CN109214855B - 素材接收方法、装置及系统 - Google Patents

Abstract

本发明涉及计算机程序应用技术领域，尤其涉及一种素材接收方法、装置及系统。本方案在待上传素材满足格式为视频、个数超过预设值且不存在于本地数据库的条件下，将待上传素材的链接地址发送到消息队列服务器中，通过消息队列服务器将素材拉取和检测的任务分发给集群中空闲的服务器，充分利用空闲服务器的带宽资源和计算资源，将素材拉取由串行拉取变为并行拉取，大幅节省素材拉取和检测时间，在不提供额外资源的前提下加快了素材上传速度。

Description

素材接收方法、装置及系统

技术领域

本发明涉及互联网技术领域，尤其涉及一种素材接收方法、装置及系统。

背景技术

互联网广告领域中，在进行广告内容展示前，请求方向后台服务器发送请求，后台服务器根据该请求拉取媒体广告素材，将广告素材处理成广告内容进行展示。

现有技术方案是由web服务器独立完成整个流程，包括处理请求中的参数校验、鉴权、素材拉取、素材检测、数据存储等一系列工作，流程以串行的方式进行，如附图1所示。

现有技术基于串行流程由单台服务器独立处理请求，请求中每个环节会直接影响到整个流程，服务器在素材拉取时受限于服务器下载带宽，服务器下载大素材文件耗时长直接导致请求方上传素材过程耗时很长，甚至会有某些请求会出现超时的现象，这种情况下，往往服务器处理结果是上传成功，但用户方会返回超时，用户方得到的信息是上传失败，造成双方数据不一致。另一种情况是服务器直接响应用户请求拉取素材，可能出现重复拉取素材的情况，浪费服务器带宽资源及存储空间资源。

发明内容

针对现有技术的上述问题，本发明的目的在于提供一种素材接收方法、装置及系统。本技术方案可以解决现有技术中的素材重复上传问题和多个大素材文件同时上传导致的耗时长或超时问题。

第一方面，本发明提供一种素材接收方法，所述方法包括：

接收用户终端发送的素材上传请求，将所述素材上传请求中满足第一预设条件的待上传素材作为第一素材；

判断所述第一素材的数量是否大于第一阈值；

如果第一素材的数量大于所述第一阈值，则向消息队列服务器发送协同请求，所述协同请求用于通过消息队列服务器请求与所述消息队列服务器通信的空闲服务器协同处理所述第一素材；

从所述消息队列服务器获取第一素材的处理结果；

对所述处理结果进行校验，以及根据校验结果向所述用户终端返回素材上传的状态信息。

第二方面，本发明提供一种素材接收方法，所述方法包括：

接收请求服务器发送的协同请求，所述协同请求包含请求标识、第一素材的链接地址和本地存储地址；

建立以所述请求标识命名的标识队列，同时建立包含所述请求标识、单个第一素材的链接地址和本地存储地址的下载任务，将所述下载任务添加到公共消息队列，供空闲服务器获取和处理；

接收空闲服务器返回的处理结果；

将所述处理结果添加至名称与该处理结果携带的请求标识相同的标识队列，供所述请求服务器获取。

第三方面，本发明提供一种素材接收方法，所述方法包括：

从消息队列服务器获取下载任务，所述下载任务包含第一素材的链接地址和本地存储地址；

根据所述第一素材的链接地址下载素材；

将下载的素材按照本地存储地址进行存储；

对下载的素材进行分析，得到第一素材的处理结果；

将所述处理结果发送给消息队列服务器。

第四方面，本发明提供一种素材接收装置，所述装置包括：

请求接收单元，用于接收用户终端发送的素材上传请求，将所述素材上传请求中满足第一预设条件的待上传素材作为第一素材；

第一判断单元，用于判断所述第一素材的数量是否大于第一阈值；

请求发送单元，用于在第一素材的数量大于所述第一阈值时，向消息队列服务器发送协同请求，所述协同请求用于通过消息队列服务器请求与所述消息队列服务器通信的空闲服务器协同处理所述第一素材；

获取单元，用于从所述消息队列服务器获取第一素材的处理结果；

校验单元，用于对所述处理结果进行校验，以及根据校验结果向所述用户终端返回素材上传的状态信息。

第五方面，本发明提供一种素材接收装置，所述装置包括：

第一接收单元，用于接收请求服务器发送的协同请求，所述协同请求包含请求标识、第一素材的链接地址和本地存储地址；

处理单元，用于建立以所述请求标识命名的标识队列，同时建立包含所述请求标识、单个第一素材的链接地址和本地存储地址的下载任务，将所述下载任务添加到公共消息队列，供空闲服务器获取和处理；

第二接收单元，用于接收空闲服务器返回的处理结果；

添加单元，用于将所述处理结果添加至名称与该处理结果携带的请求标识相同的标识队列，供所述请求服务器获取。

第六方面，本发明提供一种素材接收装置，所述装置包括：

任务获取单元，用于从消息队列服务器获取下载任务，所述下载任务包含第一素材的链接地址和本地存储地址；

下载单元，用于根据所述第一素材的链接地址下载素材；

存储单元，用于将下载的素材按照本地存储地址进行存储；

分析单元，用于对下载的素材进行分析，得到第一素材的处理结果；

发送单元，用于将所述处理结果发送给消息队列服务器。

第七方面，本发明提供一种素材接收系统，所述系统包括：

请求服务器，用于接收用户终端发送的素材上传请求，将所述素材上传请求中满足第一预设条件的待上传素材作为第一素材；判断所述第一素材的数量是否大于第一阈值；在第一素材的数量大于所述第一阈值时，向消息队列服务器发送协同请求，所述协同请求包含请求标识、第一素材的链接地址和本地存储地址；

消息队列服务器，用于响应所述请求服务器发送的协同请求，建立以所述请求标识命名的标识队列，同时建立包含所述请求标识、单个第一素材的链接地址和本地存储地址的下载任务，将所述下载任务添加到公共消息队列；

空闲服务器，用于从所述消息队列服务器的公共消息队列拉取下载任务，根据所述第一素材的链接地址下载素材，将下载的素材按照本地存储地址进行存储，以及分析所述素材得到第一素材的处理结果，将所述处理结果返回给所述消息队列服务器；

所述消息队列服务器，还用于接收空闲服务器发送的处理结果，将所述处理结果添加至名称与该处理结果携带的请求标识相同的标识队列；

所述请求服务器，还用于从所述标识队列获取所述处理结果，对所述处理结果进行校验，以及根据校验结果向所述用户终端返回素材上传的状态信息。

第八方面，本发明提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集；所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如第一方面所述的素材接收方法。

本发明具有如下有益效果：

本发明通过检测素材上传请求中素材的格式和素材散列值，找出素材类别为视频且素材散列值不存在于接收方数据库的第一素材，在第一素材的数量大于第一阈值的情况下，将第一素材的链接地址放入消息队列服务器，由空闲服务器协同处理素材文件，本发明利用集群中空闲服务器对多个文件并行下载和处理，解决了在同时上传多个大文件的情况下素材下载耗时过长的问题，将素材拉取由串行拉取变为并行拉取，大幅节省了素材拉取和检测时间，最大化地利用了集群中的服务器资源，在不提供额外资源的前提下加快了素材上传速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是现有素材上传技术中web服务器处理素材的方法流程图；

图2是本发明实施例提供的素材接收方案的服务架构图；

图3是本发明实施例提供的素材接收方案的应用场景图；

图4是本发明实施例提供的一种素材接收方法中请求服务器处理流程的示意图；

图5是本发明实施例提供的一种素材接收方法中规避素材重复上传操作的流程示意图；

图6是本发明实施例提供的一种素材接收方法中消息队列服务器处理流程的示意图；

图7是本发明实施例提供的一种素材接收方法中空闲服务器处理流程的示意图；

图8是本发明实施例提供的一种素材接收装置的结构框图；

图9是本发明实施例提供的一种素材接收装置的结构框图；

图10是本发明实施例提供的一种素材接收装置的结构框图；

图11是本发明实施例提供的一种素材接收系统的结构框图；

图12是本发明实施例提供的一种服务器的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

现有的广告素材上传技术基于串行流程，由单台服务器独立处理请求，服务器在拉取素材时受下载带宽和自身处理速度的限制，在请求包含多个素材或者素材文件过大情况下，容易导致整个上传过程耗时过长，甚至出现处理超时显现，带来服务器处理结果与用户方接收到的反馈信息不一致。此外，现有技术没有考虑素材重复上传问题，实际上，在服务器的数据库已存储素材的情况下，用户再次上传该素材，如果服务器重新重复拉取并存储该素材，会浪费服务器带宽资源和存储空间资源。

针对以上缺陷，本发明提供一种素材下载方案，本技术方案可以解决现有技术中的素材重复上传问题和多个大素材文件同时上传导致的耗时长或超时，以及由此引发的数据不一致问题。

本技术方案所需硬件环境为Web服务器集群(大于1台)和消息队列服务器，旨在共享整个集群带宽资源和运算资源，保证服务器的接口响应速度和最大化利用服务器资源。图2是本发明实施例提供的素材接收方案的服务架构图，请参见图2，该服务架构包括消息队列服务器和多台Web服务器，每台Web服务器均与所述消息队列服务器进行数据交互，Web服务器与用户终端通信。

具体的，所述消息队列服务器可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群。消息队列服务器可以包括有实现所述用户终端的相关功能的功能组件和基础数据。

具体的，所述Web服务器可以包括有实现所述用户终端的相关功能的功能组件和基础数据。

具体的，所述用户终端可以包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备等类型的实体设备；其中，智能可穿戴设备可以包括智能手环、智能手表、智能眼镜、智能头盔等。当然，所述用户终端并不限于上述具有一定实体的电子设备，其还可以为运行于上述电子设备中的软体。具体的，例如，所述用户终端可以为游戏服务商提供给用户的网页页面，也可以为该些服务商提供给用户的应用。

当用户方需要上传素材时，用户方只需要在上传素材时计算待上传素材的素材散列值，并将该素材散列值附加到素材上传请求中，通过用户终端向Web服务器发送素材上传请求，Web服务器接收所述素材上传请求后，会对素材上传请求包含的各素材的素材信息进行分析，判断素材上传请求中是否存在多个素材类别为视频且素材散列值不存在于Web服务器数据库的待上传素材，如果存在，则进入协同处理流程，利用集群中空闲的Web服务器共同处理待上传素材。

协同处理流程包括：在消息队列服务器建立一标识队列，并在公共消息队列中写入下载任务，每个下载任务对应一待上传素材，下载任务包括待请求标识、上传素材的下载链接地址和web服务器数据库存储地址，所述标识队列以请求标识命名。服务器集群中空闲的Web服务器会开启进程来监听公共消息队列，当公共消息队列中写入下载任务时，空闲的Web服务器会从公共消息队列中拉取下载任务，按照待上传素材的下载链接地址下载素材，并将下载的素材按照web服务器数据库存储地址进行存储，然后对下载的素材进行检测处理，以及将处理结果返回给消息队列服务器，消息队列服务器根据处理结果携带的请求标识将其存入对应的标识队列中。

发起协同处理事务的Web服务器监听标识队列，一旦标识队列被写入处理结果，即拉取处理结果进行校验，以及根据校验结果向用户方返回素材上传状态。

本发明方案可应用于广告业务中的广告交换网络前台项目的素材上传场景中，例如图3所示，实现在不增加资源的前提下，对外提供更加流畅的素材上传接口服务。

图3为系统下单及投放广告的场景，本发明方案用于DSP(Demand Side Platform需求方平台)与广告交换网络之间进行数据交互，DSP具体可以包括用户终端，广告交换网络可以包括Web集群服务器和消息队列服务器。本发明方案还可以用于常规的素材上传场景中，用户通过web页面发起素材上传请求，后台服务器响应该上传请求进行处理。

以下介绍本发明的一种素材接收方法的实施例，本实施例中，将发起协同处理请求的Web服务器称作请求服务器，将其他参与协同处理的Web服务器称作空闲服务器。本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

本发明实施例提供一种素材接收方法，图4是本发明实施例提供的一种素材接收方法中请求服务器处理流程的示意图，下面结合图4以请求服务器角度对所述素材接收方法进行说明。所述方法可以包括：

S401：接收用户终端发送的素材上传请求，将所述素材上传请求中满足第一预设条件的待上传素材作为第一素材。

本发明实施例中，所述素材上传请求包含至少一个待上传素材的素材信息，所述素材信息包括素材类别、素材的链接地址和素材散列值。

其中，素材的链接地址是指素材在用户终端上的存储地址。素材类别主要包括图片和视频，图片的格式可以是JPG、JPEG、PNG、GIF格式，视频的格式可以是AVI、WMV、RM、RMVB、MPEG1、MPEG2、MPEG4(MP4)、3GP、ASF、SWF、VOB、DAT、MOV、M4V、FLV、F4V、MKV、MTS、TS等格式。本实施例中，素材上传接口参数新增一个素材散列值，素材散列值是由上传方根据文件内容按照固定的散列算法进行哈希后得到的一串唯一字符串，用以标识该素材。现有技术中，当Web服务器接收到用户终端上传素材的请求后，会直接获取素材文件，不存在判断该素材是否已下载的机制，导致素材重复下载的情况，浪费了带宽资源，并降低了服务器的处理效率。本方案在上传素材之前计算素材的素材散列值，将素材散列值附加到素材上传请求中，利用素材散列值唯一标识该待上传素材，Web服务器在接收到所述素材上传请求后，将素材上传请求包含的素材散列值与已存储的素材的素材散列值进行比对，如果Web服务器已存储的素材中存在与请求上传的素材的素材散列值相同的素材，则说明请求上传的素材已存在于Web服务器中，直接调用即可，而不必重复下载。通过素材散列值来对素材进行标识，为Web服务器辨识待上传素材是否需要下载提供了依据，可以节省素材获取时间和存储空间。

本发明实施例中，素材散列值的计算可以在用户终端进行，也可以在其他装置上计算得到然后通过用户终端上传。素材散列值可以通过MD5算法求取，素材散列值即为计算得到的MD5值。

MD5，即“Message-Digest Algorithm 5(信息-摘要算法)”，是从MD3、MD4发展而来的一种加密算法，其主要通过采集文件的信息摘要，以此进行计算并加密。通过MD5算法进行加密，文件就可以获得一个唯一的MD5值，MD5值可以用来确定文件是否正确。

MD5是输入不定长度信息、输出固定长度128-bits的算法。经过程序流程，生成四个32位数据，最后联合起来成为一个128-bits散列。基本方式为：求余、取余、调整长度、与链接变量进行循环运算，得出结果。鉴于MD5的算法实现为公知技术，在此不展开说明。

在一个具体的实施例中，所述第一预设条件包括：1.待上传素材的素材类别为视频；2.待上传素材的素材散列值与本地数据库存储的任一素材的素材散列值均不同。所述第一素材是素材类别为视频且素材散列值不存在于本地的待上传素材。

S402：判断所述第一素材的数量是否大于第一阈值。

本实施例中，所述第一阈值优选为1以上的整数。即当第一素材的数量为多个时，请求服务器的带宽和处理速度不足以使其在短时间能完成素材处理，此时需要优化素材处理方案，利用其他空闲服务器协同处理素材；而当第一素材的数量为一个时，请求服务器自身就能完成素材处理，不需要借助于其他空闲服务器。在一个具体的实施例中，所述第一阈值可以为1。

S403：如果第一素材的数量大于所述第一阈值，则向消息队列服务器发送协同请求，所述协同请求用于通过消息队列服务器请求与所述消息队列服务器通信的空闲服务器协同处理所述第一素材。

本发明实施例中，所述协同请求包含请求标识、多个第一素材的链接地址和本地存储地址。所述请求标识用于唯一标识该协同请求，请求标识可以采用字符串表示。所述本地存储地址为请求服务器中存储素材的数据库的链接地址，用户终端上传的素材存储于该数据库内。

所述消息队列服务器用于建立以所述请求标识命名的标识队列，同时建立包含所述请求标识、单个第一素材的连接地址和本地存储地址的下载任务，以及将所述下载任务添加到公共消息队列。与所述消息队列服务器通信的空闲服务器用于从所述公共消息队列拉取下载任务，根据所述第一素材的链接地址下载素材，将下载的素材按照本地存储地址进行存储，以及分析所述素材得到第一素材的处理结果，将所述处理结果返回给所述消息队列服务器。所述消息队列服务器还用于将所述处理结果添加至名称与该处理结果携带的请求标识相同的标识队列。

在一个具体的实施例中，分析素材获得处理结果包括：对素材的码率、大小、分辨率等进行检测。所述第一素材的处理结果包括第一素材的素材码率、素材大小和素材分辨率。

S404：从所述消息队列服务器获取第一素材的处理结果。

具体的，在消息队列服务器创建以请求标识命名的标识队列后，请求服务器会持续监听该标识队列，获取其他空闲服务器对下载任务的处理结果；请求服务器一旦监听到标识队列中写入处理结果，就从标识队列中获取数据，被获取的数据会从标识队列中移出，这样就不会从标识队列获取重复的数据。

S405：对所述处理结果进行校验，以及根据校验结果向所述用户终端返回素材上传的状态信息。

在一个具体的实施例中，当协同请求包含的所有第一素材都被处理完成，并且请求服务器已获取到本次素材上传请求包含的所有素材的处理结果后，对各素材的处理结果进行校验，如果所有素材的处理结果都校验通过，则将所述处理结果进行数据存储，并向用户终端返回素材上传成功的状态信息，如果一个或者多个素材的处理结果校验未通过，则向用户终端返回素材上传失败的状态信息。进一步地，在返回素材上传失败的状体信息时，还可以展示校验未通过的素材的相关信息，以便用户进行素材文件的修改调整。

具体的，对单个素材的处理结果进行校验可以是：将所述处理结果与预设的校验条件进行比对，判断所述处理结果是否满足预设条件；如果所述处理结果满足预设条件，则校验通过，将所述处理结果进行数据存储；如果所述处理结果不满足预设条件，则校验未通过。其中，预设的校验条件可以是对素材大小、码率和分辨率的要求，例如可以包括：1.素材大小满足不大于第一阈值，2.素材码率满足不小于第二阈值，3.素材分辨率满足不小于第三阈值。

本实施例通过检测素材上传请求中素材的格式和素材散列值，找出素材类别为视频且素材散列值不存在于接收方数据库的第一素材，在第一素材的数量大于第一阈值的情况下，将第一素材的链接地址放入消息队列服务器，由空闲服务器协同处理素材文件，本发明利用集群中空闲服务器对多个文件并行下载和处理，解决了在同时上传多个大文件的情况下素材下载耗时过长的问题，将素材拉取由串行拉取变为并行拉取，大幅节省了素材拉取和检测时间，最大化地利用了集群中的服务器资源，在不提供额外资源的前提下加快了素材上传速度。

对于素材上传请求中不满足第一预设条件的待上传素材，包括已下载至请求服务器和未下载至请求服务器两种情况，对于已下载至请求服务器的素材如果再按照素材的链接地址进行获取，就会出现重复获取素材，浪费带宽的问题，为避免重复下载，本发明实施例提供了一种规避素材重复上传的方法。图5是本发明实施例提供的一种素材接收方法中规避素材重复上传操作的流程示意图。请参见图5，所述方法包括：

S501：判断所述素材上传请求中不满足第一预设条件的待上传素材是否满足第二预设条件。

在一个具体的实施例中，本步骤包括：将待上传素材的素材散列值与本地已存储素材的素材散列值进行比对；如果待上传素材的素材散列值与本地已存储素材的素材散列值相同，则判定所述待上传素材满足第二预设条件；如果待上传素材的素材散列值与本地已存储素材的素材散列值不相同，则判定所述待上传素材不满足第二预设条件。第二预设条件可以是：本地存储有与待上传素材的散列值相同的散列值。

S502：如果待上传素材满足所述第二预设条件，则根据所述待上传素材的素材散列值从本地获取素材并处理。

具体的，所述根据所述待上传素材的素材散列值从本地获取素材包括：确定与待上传素材的素材散列值相同的本地已存储素材；根据本地已存储素材的素材散列值与本地存储地址的映射关系，查询与待上传素材的素材散列值对应的本地存储地址；根据查询得到的本地存储地址获取素材。

进一步对获取到的素材进行处理，分析素材的码率、分辨率和大小等信息，得到处理结果。

S503：如果待上传素材不满足所述第二预设条件，则根据所述待上传素材的链接地址下载素材并处理。

具体的，如果待上传素材不满足第二预设条件，则说明本地没有下载过该素材文件，可以根据待上传素材的连接地址下载素材，并分析素材的码率、分辨率和大小等信息，得到处理结果。

本实施例通过匹配素材散列值，解决了相同素材重复上传问题，减轻了用户方素材上传压力同时也加快素材上传速度。

本发明实施例提供一种素材接收方法，图6是本发明实施例提供的一种素材接收方法中消息队列服务器处理流程的示意图，下面结合附图6以消息队列服务器角度对本实施例的素材接收方法进行说明。所述方法可以包括：

S601：接收请求服务器发送的协同请求，所述协同请求包含请求标识、第一素材的链接地址和本地存储地址。

具体的，当请求服务器接收到的素材上传请求中包含多个素材类型为视频且素材散列值与已存储素材散列值不同的待上传素材时，需要依次拉取素材文件并处理，这个过程耗时较长，依靠请求服务器自身不能在短时间处理完这些素材，本发明实施例提出将这些素材的拉取和检测工作分离出来，单独建立服务并行处理，具体包括：由消息队列服务器建立多个下载任务，供其他空闲服务器拉取下载任务进行处理。

本步骤中，请求服务器在判定接收到的素材上传请求中包含多个素材类型为视频且素材散列值与已存储素材散列值不同的待上传素材时，向消息队列服务器发送协同请求，所述协同请求用于通过消息队列服务器请求与所述消息队列服务器通信的空闲服务器协同处理素材。

S602：建立以所述请求标识命名的标识队列，同时建立包含所述请求标识、单个第一素材的链接地址和本地存储地址的下载任务，将所述下载任务添加到公共消息队列，供空闲服务器获取和处理。

本发明实施例中，消息队列服务器收到协同请求后，会根据协同请求建立标识队列和下载任务，标识队列以请求标识命名，下载任务与第一素材一一对应，即每个素材对应一项下载任务，每项下载任务包括请求标识、第一素材的链接地址和本地存储地址。标识队列一旦建立，请求服务器就监听该标识队列，准备从标识队列获取数据。

下载任务被添加至公共消息队列，集群中空闲的服务器监听所述公共消息队列，当发现公共消息队列中有下载任务时，就从该公共消息队列提取一项下载任务，下载任务一旦被提取即从公共消息队列中移出，避免出现同一下载任务被多次提取的现象。空闲的服务器获取到下载任务后，会根据下载任务中第一素材的链接地址下载素材，将下载的素材按照本地存储地址进行存储，然后对下载的素材进行分析得到第一素材的处理结果，并将所述处理结果发送给消息队列服务器。

S603：接收空闲服务器返回的处理结果。

具体的，所述处理结果包含请求标识。

S604：将所述处理结果添加至名称与该处理结果携带的请求标识相同的标识队列，供所述请求服务器获取。

本发明实施例提供一种素材接收方法，图7是本发明实施例提供的一种素材接收方法中空闲服务器处理流程的示意图，下面结合附图7以空闲服务器角度对本实施例的素材接收方法进行说明。所述方法可以包括：

S701：从消息队列服务器获取下载任务，所述下载任务包含第一素材的链接地址和本地存储地址。

S702：根据所述第一素材的链接地址下载素材；

S703：将下载的素材按照本地存储地址进行存储；

S704：对下载的素材进行分析，得到第一素材的处理结果；

S705：将所述处理结果发送给消息队列服务器。

其中，所述从消息队列服务器获取下载任务包括：

监听消息队列服务器中的公共消息队列，判断所述公共消息队列中是否存在下载任务；如果存在下载任务，则提取所述下载任务，并将提取的所述下载任务从所述公共消息队列中移出；如果不存在下载任务，则执行监听消息队列服务器中的公共消息队列的步骤。

在一个可能的实施例中，所述处理结果包括请求标识；所述消息队列服务器用于将所述处理结果添加至名称与该处理结果携带的请求标识相同的标识队列。

本发明实施例中，集群中的任一空闲服务器都可以从公共消息队列中领取下载任务，为确保处理效率，空闲服务器每次领取一项下载任务。本发明实施例利用集群中空闲服务器对多个文件并行下载和处理，解决了在同时上传多个大文件的情况下素材下载耗时过长的问题，将素材拉取由串行拉取变为并行拉取，大幅节省了素材拉取和检测时间，最大化地利用了集群中的服务器资源，在不提供额外资源的前提下加快了素材上传速度。

本发明实施例还提供了一种素材接收装置，请参见图8，所述素材接收装置800包括：

请求接收单元810，用于接收用户终端发送的素材上传请求，将所述素材上传请求中满足第一预设条件的待上传素材作为第一素材；

第一判断单元820，用于判断所述第一素材的数量是否大于第一阈值；

请求发送单元830，用于在第一素材的数量大于所述第一阈值时，向消息队列服务器发送协同请求，所述协同请求用于通过消息队列服务器请求与所述消息队列服务器通信的空闲服务器协同处理所述第一素材；

获取单元840，用于从所述消息队列服务器获取第一素材的处理结果；

校验单元850，用于对所述处理结果进行校验，以及根据校验结果向所述用户终端返回素材上传的状态信息。

在一个可能的实现方式中，所述素材上传请求包含至少一个待上传素材的素材信息，所述素材信息包括素材类别、素材的链接地址和素材散列值；所述第一素材是素材类别为视频且素材散列值不存在于本地的待上传素材。

在一个可能的实现方式中，所述校验单元850还用于：将所述处理结果与预设的校验条件进行比对，判断所述处理结果是否满足预设条件；如果所述处理结果满足预设条件，则将所述处理结果进行数据存储，并向用户终端发送素材上传成功的状态信息；如果所述处理结果不满足预设条件，则向用户终端发送素材上传失败的状态信息。

在一个可能的实现方式中，所述装置还包括：

第二判断单元，用于判断所述素材上传请求中不满足第一预设条件的待上传素材是否满足第二预设条件；

第一获取单元，用于当待上传素材满足第二预设条件时，根据所述待上传素材的素材散列值从本地获取素材并处理；

第二获取单元，用于当待上传素材不满足第二预设条件时，根据所述待上传素材的链接地址下载素材并处理。

在一个可能的实现方式中，所述第二判断单元还用于：将待上传素材的素材散列值与本地已存储素材的素材散列值进行比对；如果待上传素材的素材散列值与本地已存储素材的素材散列值相同，则判定所述待上传素材满足第二预设条件；如果待上传素材的素材散列值与本地已存储素材的素材散列值不相同，则判定所述待上传素材不满足第二预设条件；所述根据所述待上传素材的素材散列值从本地获取素材包括：确定与待上传素材的素材散列值相同的本地已存储素材；根据本地已存储素材的素材散列值与本地存储地址的映射关系，查询与待上传素材的素材散列值对应的本地存储地址；根据查询得到的本地存储地址获取素材。

本发明实施例还提供了一种素材接收装置，请参阅图9，所述素材接收装置900包括：

第一接收单元910，用于接收请求服务器发送的协同请求，所述协同请求包含请求标识、第一素材的链接地址和本地存储地址；

处理单元920，用于建立以所述请求标识命名的标识队列，同时建立包含所述请求标识、单个第一素材的链接地址和本地存储地址的下载任务，将所述下载任务添加到公共消息队列，供空闲服务器获取和处理；

第二接收单元930，用于接收空闲服务器返回的处理结果；

添加单元940，用于将所述处理结果添加至名称与该处理结果携带的请求标识相同的标识队列，供所述请求服务器获取。

本发明实施例还提供了一种素材接收装置，请参阅图10，所述素材接收装置1000包括：

任务获取单元1010，用于从消息队列服务器获取下载任务，所述下载任务包含第一素材的链接地址和本地存储地址；

下载单元1020，用于根据所述第一素材的链接地址下载素材；

存储单元1030，用于将下载的素材按照本地存储地址进行存储；

分析单元1040，用于对下载的素材进行分析，得到第一素材的处理结果；

发送单元1050，用于将所述处理结果发送给消息队列服务器。

本发明实施例还提供了一种素材接收系统，请参阅图11，所述素材接收系统1100包括：

请求服务器1110，用于接收用户终端发送的素材上传请求，将所述素材上传请求中满足第一预设条件的待上传素材作为第一素材；判断所述第一素材的数量是否大于第一阈值；在第一素材的数量大于所述第一阈值时，向消息队列服务器发送协同请求，所述协同请求包含请求标识、第一素材的链接地址和本地存储地址；

消息队列服务器1120，用于响应所述请求服务器发送的协同请求，建立以所述请求标识命名的标识队列，同时建立包含所述请求标识、单个第一素材的链接地址和本地存储地址的下载任务，将所述下载任务添加到公共消息队列；

空闲服务器1130，用于从所述消息队列服务器的公共消息队列拉取下载任务，根据所述第一素材的链接地址下载素材，将下载的素材按照本地存储地址进行存储，以及分析所述素材得到第一素材的处理结果，将所述处理结果返回给所述消息队列服务器。

进一步地，所述消息队列服务器1120，还用于接收空闲服务器发送的处理结果，将所述处理结果添加至名称与该处理结果携带的请求标识相同的标识队列；

所述请求服务器1110，还用于从所述标识队列获取所述处理结果，对所述处理结果进行校验，以及根据校验结果向所述用户终端返回素材上传的状态信息。

需要说明的是：上述实施例提供的素材接收装置和系统，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的素材接收装置与素材接收方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本发明实施例提供了一种服务器，该服务器包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的素材接收方法。

存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及素材接收。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

本发明实施例还提供了一种服务器的结构示意图，请参阅图12，该服务器1200用于实施上述实施例中提供的素材接收方法，具体来讲，所述服务器结构可以包括上述素材接收装置。该服务器1200可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，CPU)1210(例如，一个或一个以上处理器)和存储器1230，一个或一个以上存储应用程序1223或数据1222的存储介质1220(例如一个或一个以上海量存储设备)。其中，存储器1230和存储介质1220可以是短暂存储或持久存储。存储在存储介质1220的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1210可以设置为与存储介质1220通信，在服务器1200上执行存储介质1220中的一系列指令操作。服务器1200还可以包括一个或一个以上电源1260，一个或一个以上有线或无线网络接口1250，一个或一个以上输入输出接口1240，和/或，一个或一个以上操作系统1221，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

本发明的实施例还提供了一种存储介质，所述存储介质可设置于服务器之中以保存用于实现方法实施例中一种素材接收方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的素材接收方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

由上述本发明提供的素材接收方法、装置、服务器或存储介质的实施例可见，本发明通过消息队列将素材拉取和检测任务分发到空闲机器，充分利用空闲机器的带宽资源和服务器计算资源，将素材拉取由串行拉取变为并行拉取，大大节省素材拉取和检测时间，在不提供额外资源的情况下，使请求处理速度达到最快。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种素材接收方法，其特征在于，所述方法包括：

接收用户终端发送的素材上传请求，将所述素材上传请求中满足第一预设条件的待上传素材作为第一素材，所述第一预设条件为待上传素材的素材类别为视频且待上传素材的素材散列值与本地数据库存储的任一素材的素材散列值均不同；

判断所述第一素材的数量是否大于第一阈值；

如果第一素材的数量大于所述第一阈值，则向消息队列服务器发送协同请求，所述协同请求用于通过消息队列服务器请求与所述消息队列服务器通信的服务器集群中的空闲服务器协同处理所述第一素材，协同处理流程包括：在所述消息队列服务器建立以素材上传请求的请求标识命名的标识队列，并在公共消息队列中写入下载任务，每个下载任务对应一待上传素材，所述服务器集群中的空闲服务器开启进程监听公共消息队列，当公共消息队列中写入下载任务时，空闲服务器从公共消息队列中拉取下载任务，根据下载任务下载素材，并对下载的素材进行检测处理，以及将处理结果返回给所述消息队列服务器，所述消息队列服务器根据处理结果携带的请求标识将其存入对应的标识队列中；

从所述消息队列服务器获取第一素材的处理结果；

对所述处理结果进行校验，以及根据校验结果向所述用户终端返回素材上传的状态信息。

2.根据权利要求1所述的方法，其特征在于，所述接收用户终端发送的素材上传请求，将所述素材上传请求中满足第一预设条件的待上传素材作为第一素材包括：

接收用户终端发送的素材上传请求，所述素材上传请求包含至少一个待上传素材的素材信息，所述素材信息包括素材类别、素材的链接地址和素材散列值；

根据所述待上传素材的素材信息，判断所述待上传素材是否满足第一预设条件；

将满足所述第一预设条件的待上传素材作为第一素材。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

判断所述素材上传请求中不满足第一预设条件的待上传素材是否满足第二预设条件，所述第二预设条件为：本地数据库存储有与待上传素材的散列值相同的散列值；

如果待上传素材满足所述第二预设条件，则根据所述待上传素材的素材散列值从本地获取素材并处理；

如果待上传素材不满足所述第二预设条件，则根据所述待上传素材的链接地址下载素材并处理。

4.根据权利要求3所述的方法，其特征在于，所述判断所述素材上传请求中不满足第一预设条件的待上传素材是否满足第二预设条件包括：

将待上传素材的素材散列值与本地已存储素材的素材散列值进行比对；

如果待上传素材的素材散列值与本地已存储素材的素材散列值相同，则判定所述待上传素材满足第二预设条件；

如果待上传素材的素材散列值与本地已存储素材的素材散列值不相同，则判定所述待上传素材不满足第二预设条件。

5.根据权利要求3所述的方法，其特征在于，所述根据所述待上传素材的素材散列值从本地获取素材包括：

确定与待上传素材的素材散列值相同的本地已存储素材；

根据本地已存储素材的素材散列值与本地存储地址的映射关系，查询与待上传素材的素材散列值对应的本地存储地址；

根据查询得到的本地存储地址获取素材。

6.一种素材接收装置，其特征在于，所述装置包括：

请求接收单元，用于接收用户终端发送的素材上传请求，将所述素材上传请求中满足第一预设条件的待上传素材作为第一素材，所述第一预设条件为待上传素材的素材类别为视频且待上传素材的素材散列值与本地数据库存储的任一素材的素材散列值均不同；

第一判断单元，用于判断所述第一素材的数量是否大于第一阈值；

请求发送单元，用于在第一素材的数量大于所述第一阈值时，向消息队列服务器发送协同请求，所述协同请求用于通过消息队列服务器请求与所述消息队列服务器通信的服务器集群中的空闲服务器协同处理所述第一素材，协同处理流程包括：在所述消息队列服务器建立以素材上传请求的请求标识命名的标识队列，并在公共消息队列中写入下载任务，每个下载任务对应一待上传素材，所述服务器集群中的空闲服务器开启进程监听公共消息队列，当公共消息队列中写入下载任务时，空闲服务器从公共消息队列中拉取下载任务，根据下载任务下载素材，并对下载的素材进行检测处理，以及将处理结果返回给所述消息队列服务器，所述消息队列服务器根据处理结果携带的请求标识将其存入对应的标识队列中；

获取单元，用于从所述消息队列服务器获取第一素材的处理结果；

校验单元，用于对所述处理结果进行校验，以及根据校验结果向所述用户终端返回素材上传的状态信息。

7.一种素材接收系统，其特征在于，所述系统包括：

请求服务器，用于接收用户终端发送的素材上传请求，将所述素材上传请求中满足第一预设条件的待上传素材作为第一素材，所述第一预设条件为待上传素材的素材类别为视频且待上传素材的素材散列值与本地数据库存储的任一素材的素材散列值均不同；判断所述第一素材的数量是否大于第一阈值；在第一素材的数量大于所述第一阈值时，向消息队列服务器发送协同请求，所述协同请求包含请求标识、第一素材的链接地址和本地存储地址；所述协同请求用于通过消息队列服务器请求与所述消息队列服务器通信的服务器集群中的空闲服务器协同处理所述第一素材；

消息队列服务器，用于响应所述请求服务器发送的协同请求，建立以所述请求标识命名的标识队列，同时建立包含所述请求标识、单个第一素材的链接地址和本地存储地址的下载任务，将所述下载任务添加到公共消息队列；

空闲服务器，用于从所述消息队列服务器的公共消息队列拉取下载任务，根据所述第一素材的链接地址下载素材，将下载的素材按照本地存储地址进行存储，以及分析所述素材得到第一素材的处理结果，将所述处理结果返回给所述消息队列服务器；

所述消息队列服务器，还用于接收空闲服务器发送的处理结果，将所述处理结果添加至名称与该处理结果携带的请求标识相同的标识队列；

所述请求服务器，还用于从所述标识队列获取所述处理结果，对所述处理结果进行校验，以及根据校验结果向所述用户终端返回素材上传的状态信息。

8.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，

所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至5任一项所述的素材接收方法。

Images