CN112486074A - 数据处理系统、方法及装置 - Google Patents

Abstract

本申请实施例提供了数据处理系统、方法及装置，其中，所述数据处理系统包括：第一客户端以及至少一个存储服务节点；所述第一客户端，被配置为向存储服务节点发送用户提交的第一数据处理请求，所述第一数据处理请求中携带有待处理对象的标识信息以及对应的第一数据处理策略；所述至少一个存储服务节点，被配置为接收所述第一数据处理请求，调用与所述第一数据处理策略对应的数据处理模块根据所述标识信息在本地数据库中查询所述待处理对象，基于所述第一数据处理策略对所述待处理对象进行处理，将处理结果存入数据缓存模块，并将所述处理结果返回至所述第一客户端。

Description

数据处理系统、方法及装置

技术领域

本申请实施例涉及计算机技术领域，特别涉及一种数据处理系统。本申请一个或者多个实施例同时涉及数据处理方法，数据处理装置，一种计算设备，以及一种计算机可读存储介质。

背景技术

随着技术的发展，越来越多的服务系统开始为用户提供基于云端的存储设备以用于进行数据存储；并且这种存储设备可为用户提供便利的数据备份选项，在一定程度上为用户提供了便利。

但当客户端存在数据处理请求时，需向存储设备发送数据下载请求，由存储设备将客户端所需的数据传输到客户端，再由客户端对下载的数据进行处理。并且每个客户端存在相同的数据处理需求时，都需要重复这些过程，如果多个客户端同时获取相同的数据，存储设备需要传输多份相同的数据，并且，每个客户端需进行相同的数据处理过程。由于通信代价和服务调用开销的不可避免性，这样会造成存储设备和客户端之间的网络资源占用率高，反复的远程服务调用会造成较大的响应延迟，同时增加了每个客户端的数据处理压力。

发明内容

有鉴于此，本申请施例提供了一种数据处理系统。本申请一个或者多个实施例同时涉及数据处理方法，数据处理装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中每个客户端均需配置运算模块和缓存模块，并且在客户端存在运算需求时，需从存储设备下载文件，并且在多个客户端存在相同运算需求的情况下，各客户端需进行重复计算，存在网络资源较多的技术缺陷。

根据本申请实施例的第一方面，提供了一种数据处理系统，包括：

第一客户端以及至少一个存储服务节点；

所述第一客户端，被配置为向存储服务节点发送用户提交的第一数据处理请求，所述第一数据处理请求中携带有待处理对象的标识信息以及对应的第一数据处理策略；

所述至少一个存储服务节点，被配置为接收所述第一数据处理请求，调用与所述第一数据处理策略对应的数据处理模块根据所述标识信息在本地数据库中查询所述待处理对象，基于所述第一数据处理策略对所述待处理对象进行处理，将处理结果存入数据缓存模块，并将所述处理结果返回至所述第一客户端。

根据本申请实施例的第二方面，提供了第一种数据处理方法，包括：

接收用户通过第一客户端提交的第一数据处理请求，所述第一数据处理请求中携带有待处理对象的标识信息以及对应的第一数据处理策略；

调用与所述第一数据处理策略对应的数据处理模块根据所述标识信息在本地数据库中查询所述待处理对象，并基于所述第一数据处理策略对所述待处理对象进行处理；

将生成的处理结果存入数据缓存模块，并将所述处理结果返回至所述第一客户端。

根据本申请实施例的第三方面，提供了第二种数据处理方法，包括：

接收用户提交的第一数据处理请求，所述第一数据处理请求中携带有待处理对象的标识信息以及对应的第一数据处理策略；

确定包含与所述第一处理策略对应的数据处理模块的至少一个初始存储服务节点；

按照预设筛选条件在所述至少一个初始存储服务节点中筛选目标存储服务节点，并向所述目标存储服务节点发送所述第一数据处理请求。

根据本申请实施例的第四方面，提供了第一种数据处理装置，包括：

接收模块，被配置为接收用户通过第一客户端提交的第一数据处理请求，所述第一数据处理请求中携带有待处理对象的标识信息以及对应的第一数据处理策略；

调用模块，被配置为调用与所述第一数据处理策略对应的数据处理模块根据所述标识信息在本地数据库中查询所述待处理对象，并基于所述第一数据处理策略对所述待处理对象进行处理；

返回模块，被配置为将生成的处理结果存入数据缓存模块，并将所述处理结果返回至所述第一客户端。

根据本申请实施例的第五方面，提供了第二种数据处理装置，包括：

接收模块，被配置为接收用户提交的第一数据处理请求，所述第一数据处理请求中携带有待处理对象的标识信息以及对应的第一数据处理策略；

确定模块，被配置为确定包含与所述第一处理策略对应的数据处理模块的至少一个初始存储服务节点；

筛选模块，被配置为按照预设筛选条件在所述至少一个初始存储服务节点中筛选目标存储服务节点，并向所述目标存储服务节点发送所述第一数据处理请求。

根据本申请实施例的第六方面，提供了一种计算设备，包括：

存储器和处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，其中，所述处理器执行所述计算机可执行指令时实现所述数据处理方法的步骤。

根据本申请实施例的第七方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现所述数据处理的步骤。

本申请一个实施例实现了一种数据处理系统、方法及装置，其中，所述数据处理系统包括第一客户端以及至少一个存储服务节点；所述第一客户端，被配置为向存储服务节点发送用户提交的第一数据处理请求，所述第一数据处理请求中携带有待处理对象的标识信息以及对应的第一数据处理策略；所述至少一个存储服务节点，被配置为接收所述第一数据处理请求，调用与所述第一数据处理策略对应的数据处理模块根据所述标识信息在本地数据库中查询所述待处理对象，基于所述第一数据处理策略对所述待处理对象进行处理，将处理结果存入数据缓存模块，并将所述处理结果返回至所述第一客户端。

通过将数据处理模块和数据缓存模块集成于存储服务节点，在客户端存在数据处理需求时，可由存储服务节点对待处理对象进行数据处理，将处理结果存储至数据缓存模块，并返回处理结果，而省去了客户端从存储服务节点下载待处理对象这一过程，并且，存储服务节点中数据缓存模块所存储的数据可由其他客户端进行共享，既有利于提高数据处理系统的数据处理效率，同时有利于节省网络资源占用率，从而提升网络资源利用率。

附图说明

图1是本申请一个实施例提供的一种数据处理系统的系统架构图；

图2是本申请一个实施例提供的第一种数据处理方法的流程图；

图3是本申请一个实施例提供的第二种数据处理方法的流程图；

图4是本申请一个实施例提供的一种所述数据处理方法应用于视频领域的流程图；

图5是本申请一个实施例提供的第一种数据处理装置的结构示意图；

图6是本申请一个实施例提供的第二种数据处理装置的结构示意图；

图7是本申请一个实施例提供的一种计算设备的结构框图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。

在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

首先，对本申请一个或多个实施例涉及的名词术语进行解释。

存储：用于存储数据的设备或者组件，传统的存储组件通常只支持写入和读取操作。

计算：当需要对存储设备中的内容进行计算(如：计算md5，截图，转码等操作)时，需要获取存储设备中的内容，进行运算后，保存运算的中间结果。

在本申请中，提供了一种数据处理系统。本申请一个或者多个实施例同时涉及数据处理方法，数据处理装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。

本申请实施例提供的所述数据处理可以应用于任何需要对数据进行处理的领域，例如对视频领域的视频文件的转码处理、截图处理、加密处理、对音频领域的音频文件的处理、对通信领域的通信文件的处理、对自媒体领域的文件的处理等等；为了便于理解，本申请实施例以所述数据处理系统应用于对视频领域的视频文件的转码处理为例进行详细介绍，但不局限于此。

那么在所述数据处理系统应用于对视频领域的视频文件的转码处理为例的情况下，所述数据处理请求中携带的待处理对象即可以理解为视频文件。

参见图，图1示出了根据本申请一个实施例提供的一种数据处理系统的系统架构图。

如图1所示，数据处理系统包括第一客户端102、至少一个第二客户端104、至少一个存储服务节点106以及服务端108。

具体实施时，所述第一客户端102，被配置为向存储服务节点发送用户提交的第一数据处理请求，所述第一数据处理请求中携带有待处理对象的标识信息以及对应的第一数据处理策略；

所述至少一个存储服务节点104，被配置为接收所述第一数据处理请求，调用与所述第一数据处理策略对应的数据处理模块根据所述标识信息在本地数据库中查询所述待处理对象，基于所述第一数据处理策略对所述待处理对象进行处理，将处理结果存入数据缓存模块，并将所述处理结果返回至所述第一客户端。

本申请实施例中，每个存储服务节点106中均集成了数据处理模块以及缓存模块，不同的数据处理模块用于对不同类型的数据进行处理，即存储服务节点104可通过第一数据处理请求中携带的第一数据处理策略，调用对应的可实现所述第一数据处理策略的数据处理模块进行数据处理；缓存模块用于对数据处理模块生成的处理结果进行存储，并且缓存模块中存储的数据可由第一客户端以及至少一个第二客户端间进行共享。

实际应用中，所述第一数据处理策略即对数据进行处理的处理策略或处理方式，可以是对待处理文件进行摘要提取、加密计算、转码处理、对待处理视频进行截图等。

例如，第一客户端102向存储服务节点106发送第一数据处理请求，请求存储服务节点对视频文件V1进行转码处理，存储服务节点106接收请求后，调用用于进行视频文件转码的转码模块在存储服务节点106的本地数据库查询所述视频文件V1，并由所述转码模块对视频文件V1进行转码，将转码结果存入缓存模块，并将转码结果返回至第一客户端102。

另外，所述数据处理系统还包括：至少一个第二客户端104；

所述至少一个第二客户端104，被配置为向所述存储服务节点106发送用户提交的第二数据处理请求，所述第二数据处理请求中携带有待处理对象的标识信息以及对应的第二数据处理策略；

所述存储服务节点106，还被配置为接收所述第二数据处理请求，根据所述第二数据处理策略以及所述标识信息查询所述数据缓存模块中是否存储有对应的处理结果，若是，则将所述数据处理结果返回至所述至少一个第二客户端104。

具体的，本申请实施例所述的数据处理系统中，除包含第一客户端102外，还可包含至少一个第二客户端104；所述第二客户端104同样可接收用户提交的数据处理请求，并将所述数据处理请求发送至所述存储服务节点106，以由所述存储服务节点106调用预先配置的数据处理模块进行数据处理，但存储服务节点106在接收到所述第二客户端104发送的数据处理请求后，可先根据数据处理请求中携带的第二数据处理策略以及待处理对象的标识信息查询缓存模块中是否包含有对应的数据处理结果；若包含，则无需再次对所述待处理对象进行处理，而直接将存储的数据处理结果返回至第二客户端104即可。

沿用上例，存储服务节点106接收到第一客户端102发送的转码请求，调用用于进行视频文件转码的转码模块对视频文件V1进行转码，并将转码结果存入缓存模块。在第二客户端104同样存在对视频文件V1进行转码的需求的情况下，存储服务节点104可直接将缓存模块中存储的视频文件V1的转码结果返回至第二客户端104，而无需再次对视频文件V1进行转码操作。

通过以上方式响应第二客户端的数据处理请求，使得存储服务节点的缓存模块中的数据可在不同客户端之间进行共享，对于同样的数据处理请求，存储服务节点无需调用数据处理模块进行重复计算，有利于节省系统的计算资源。

具体实施时，由于本申请提供的数据处理系统中包含至少一个存储服务节点，并且所述至少一个存储服务节点以分布式架构的形式存在，因此，第一客户端在接收到用户的数据处理请求后，可通过预设条件选择目标存储服务节点，相应的，所述第一客户端102，还被配置为：

确定包含与所述第一处理策略对应的数据处理模块的至少一个第一初始存储服务节点；

获取与所述至少一个第一初始存储服务节点间的距离值；

将与所述至少一个第一初始存储服务节点间的距离值小于预设距离阈值的第一初始存储服务节点确定为目标存储服务节点，并向所述目标存储服务节点发送所述第一数据处理请求。

具体的，所述预设条件即为距离，第一客户端102接收到用户提交的数据处理请求后，第一客户端102可根据所述数据处理请求中包含的第一处理策略确定对应的至少一个第一初始存储服务节点，所述至少一个第一初始存储服务节点中均包含可用于按照所述第一处理策略进行数据处理的数据处理模块，确定所述至少一个第一初始存储服务节点后，再确定第一客户端102与所述至少一个第一初始存储服务节点间的距离值，并将距离值小于预设阈值的第一初始存储服务节点确定为目标存储服务节点，以向所述目标存储服务节点发送第一数据处理请求。

通过以上方式确定目标存储服务节点，通过选择距离小于预设阈值的第一存储服务节点作为目标存储服务节点，有利于减少客户端至存储服务节点间的数据传输路径，从而有利于提高数据传输效率。

此外，所述第一客户端102，还被配置为：

确定包含与所述第一处理策略对应的数据处理模块的至少一个第二初始存储服务节点；

获取所述至少一个第二初始存储服务节点的数据处理优先级；

根据所述数据处理优先级确定至少一个第二初始存储服务节点作为目标存储服务节点，并向所述目标存储服务节点发送所述第一数据处理请求。

进一步的，第一客户端102，还被配置为：将数据处理优先级大于预设优先级阈值的至少一个第二初始存储服务节点作为所述目标服务节点。

具体的，如前所述，可通过预设条件选择目标存储服务节点，所述预设条件除前述实施例的距离外，还可以是存储服务节点的数据处理优先级。

第一客户端102接收到用户提交的数据处理请求后，第一客户端102可根据所述数据处理请求中包含的第一处理策略确定对应的至少一个第二初始存储服务节点，所述至少一个第二初始存储服务节点中均包含可用于按照所述第一处理策略进行数据处理的数据处理模块，确定所述至少一个第二初始存储服务节点后，再确定所述至少一个第二初始存储服务节点分别对应的数据处理优先级，并将优先级大于预设优先级阈值的至少一个第二初始存储服务节点确定为目标存储服务节点，以向所述目标存储服务节点发送第一数据处理请求。

通过以上方式确定目标存储服务节点，通过选择数据处理优先级大于预设优先级阈值的至少一个第二存储服务节点作为目标存储服务节点，通过优先级高的存储服务节点进行数据处理，有利于提高数据处理系统的数据处理效率。

可选地，所述第一客户端102，进一步被配置为：

确定与所述至少一个第二初始存储服务节点间的距离；

将与所述至少一个第二初始存储服务节点间的距离值小于预设距离阈值的第二初始存储服务节点确定为目标存储服务节点，并向所述目标存储服务节点发送所述第一数据处理请求。

具体的，如前所述，若预设条件为数据处理优先级，并且通过预设条件选择确定大于预设优先级阈值的数据处理优先级中存在多个第二初始存储服务节点，如果根据第一客户端102提交的数据处理请求中的待处理对象的标识信息以及第一数据处理策略确定对所述待处理对象进行数据处理所需的网络资源量小于预设阈值的情况下，则可在大于预设优先级阈值的数据处理优先级包含的多个第二初始存储服务节点中，选择一个作为目标存储服务节点；

另外，通过客户端与所述多个第二初始存储服务节点间的距离确定目标存储服务节点，即将与第一客户端102间的距离小于预设距离阈值的第二初始存储服务节点作为目标存储服务节点。

通过结合数据处理优先级以及与第一客户端102间的距离确定目标存储服务节点，并通过所述目标存储服务节点进行数据处理，有利于提高数据处理效率，并有利于减少网络资源的资源消耗量，从而提高网络资源利用率。

可选地，所述存储服务节点106，还被配置为：

接收用户通过所述第一客户端102提交的数据转码请求，所述数据转码请求中包含待转码多媒体文件的标识信息以及对应的转码策略；

调用转码模块根据所述标识信息在本地数据库查询所述待转码多媒体文件，基于所述转码策略对所述待转码多媒体文件进行转码处理，将转码结果存储至所述数据缓存模块，并将所述转码结果返回至所述第一客户端102。

具体的，本申请实施例所述的数据处理请求包括但不限于转码请求(用于请求存储服务节点对多媒体文件进行转码)、截图请求(用于请求存储服务节点对视频帧进行截图处理)、摘要提取请求(用于请求存储服务节点对多媒体文件进行摘要提取)或加密请求(用于对多媒体文件进行加密处理)等；

其中，所述多媒体文件可以是视频文件或音频文件等，以所述数据处理请求为转码请求，所述待处理对象为视频文件为例，如前所述，第一客户端102向存储服务节点106发送转码请求，请求存储服务节点106对视频文件V1进行转码处理，存储服务节点106接收请求后，调用用于进行视频文件转码的转码模块在存储服务节点106的本地数据库查询所述视频文件V1，并由所述转码模块对视频文件V1进行转码，将转码结果存入缓存模块，并将转码结果返回至第一客户端102。

可选地，所述的数据处理系统还包括：服务端108；

所述存储服务节点106，被配置为向所述服务端108发送多媒体文件下载请求；

所述服务端108，还被配置为接收所述多媒体文件下载请求，根据所述多媒体文件下载请求中携带的文件类型，在本地数据库读取与所述文件类型对应的多媒体文件，并将所述多媒体文件返回至所述存储服务节点106。

具体的，本申请实施例所述的数据处理系统中还可以包含服务端108，所述服务端108用于生成所述多媒体文件，所述存储服务节点106用于存储服务端108生成的多媒体文件，在服务端108生成新的多媒体文件的情况下，由存储服务节点106向服务端108发送多媒体文件下载请求；服务端108接收到多媒体文件下载请求后，根据所述多媒体文件下载请求中携带的文件类型，在服务端108的本地数据库读取与所述文件类型对应的多媒体文件，并将所述多媒体文件返回至所述存储服务节点106。

在接收客户端的数据处理请求之前，预先在服务端下载多媒体文件，而无需在接收到数据处理请求后实时进行文件下载，有利于提升数据处理效率。

本申请实施例提供一种数据处理系统，包括第一客户端以及至少一个存储服务节点；所述第一客户端，被配置为向存储服务节点发送用户提交的第一数据处理请求，所述第一数据处理请求中携带有待处理对象的标识信息以及对应的第一数据处理策略；所述至少一个存储服务节点，被配置为接收所述第一数据处理请求，调用与所述第一数据处理策略对应的数据处理模块根据所述标识信息在本地数据库中查询所述待处理对象，基于所述第一数据处理策略对所述待处理对象进行处理，将处理结果存入数据缓存模块，并将所述处理结果返回至所述第一客户端。

本申请实施例通过将数据处理模块和数据缓存模块集成于存储服务节点，在客户端存在数据处理需求时，可由存储服务节点对待处理对象进行数据处理，将处理结果存储至数据缓存模块，并返回处理结果，而省去了客户端从存储服务节点下载待处理对象这一过程，并且，存储服务节点中数据缓存模块所存储的数据可由其他客户端进行共享，既有利于提高数据处理系统的数据处理效率，同时有利于节省网络资源占用率，从而提升网络资源利用率。

参见图2，图2示出了根据本申请一个实施例提供的第一种数据处理方法的流程图，包括以下步骤：

步骤202，接收用户通过第一客户端提交的第一数据处理请求。

其中，所述第一数据处理请求中携带有待处理对象的标识信息以及对应的第一数据处理策略。

步骤204，调用与所述第一数据处理策略对应的数据处理模块根据所述标识信息在本地数据库中查询所述待处理对象，并基于所述第一数据处理策略对所述待处理对象进行处理。

步骤206，将生成的处理结果存入数据缓存模块，并将所述处理结果返回至所述第一客户端。

本申请实施例提供的数据处理方法应用于存储服务节点，所述存储服务节点除接收用户通过第一客户端提交的第一数据处理请求外，还可接收用户通过第二客户端提交的第二数据处理请求，以实现通过集成于存储服务节点的数据处理模块以及缓存模块为不同客户端提供服务，具体可通过以下方式实现：

接收用户通过第二客户端提交的第二数据处理请求，所述第二数据处理请求中携带有待处理对象的标识信息以及对应的第二数据处理策略；

根据所述第二数据处理策略以及所述标识信息查询所述数据缓存模块中是否存储有对应的处理结果；

若是，则将所述数据处理结果返回至所述第二客户端；

若否，则调用与所述第二数据处理策略对应的数据处理模块根据所述标识信息在本地数据库中查询所述待处理对象，并基于所述第二数据处理策略对所述待处理对象进行处理；

将生成的处理结果存入数据缓存模块，并将所述处理结果返回至所述第二客户端。

可选地，所述第一数据处理请求包括数据转码请求，所述方法还包括：

接收用户通过所述第一客户端提交的数据转码请求，所述数据转码请求中包含待转码多媒体文件的标识信息以及对应的转码策略；

调用转码模块根据所述标识信息在本地数据库查询所述待转码多媒体文件，基于所述转码策略对所述待转码多媒体文件进行转码处理，将转码结果存储至所述数据缓存模块，并将所述转码结果返回至所述第一客户端。

本申请实施例通过将数据处理模块和数据缓存模块集成于存储服务节点，在客户端存在数据处理需求时，可由存储服务节点对待处理对象进行数据处理，将处理结果存储至数据缓存模块，并返回处理结果，而省去了客户端从存储服务节点下载待处理对象这一过程，并且，存储服务节点中数据缓存模块所存储的数据可由其他客户端进行共享，既有利于提高数据处理系统的数据处理效率，同时有利于节省网络资源占用率，从而提升网络资源利用率。

上述为本实施例的应用于存储服务节点的数据处理方法的示意性方案。需要说明的是，该数据处理方法的技术方案与上述的数据处理系统的技术方案属于同一构思，应用于存储服务节点的数据处理方法的技术方案未详细描述的细节内容，均可以参见上述数据处理系统的技术方案的描述。

参见图3，图3示出了根据本申请一个实施例提供的第二种数据处理方法的流程图，包括以下步骤：

步骤302，接收用户提交的第一数据处理请求，所述第一数据处理请求中携带有待处理对象的标识信息以及对应的第一数据处理策略。

步骤304，确定包含与所述第一处理策略对应的数据处理模块的至少一个初始存储服务节点。

步骤306，按照预设筛选条件在所述至少一个初始存储服务节点中筛选目标存储服务节点，并向所述目标存储服务节点发送所述第一数据处理请求。

可选地，按照预设筛选条件在所述至少一个初始存储服务节点中筛选目标存储服务节点，具体可通过以下方式实现：

获取与所述至少一个初始存储服务节点间的距离值；

将与所述至少一个初始存储服务节点间的距离值小于预设距离阈值的第一初始存储服务节点确定为目标存储服务节点。

可选地，所述按照预设筛选条件在所述至少一个初始存储服务节点中筛选目标存储服务节点，具体可通过以下方式实现：

获取所述至少一个初始存储服务节点的数据处理优先级；

将数据处理优先级大于预设优先级阈值的至少一个第二初始存储服务节点作为所述目标服务节点。

另外，若大于预设优先级阈值的数据处理优先级中包含多个第二初始存储服务节点，则可通过确定客户端与所述至少一个第二初始存储服务节点间的距离，并将客户端与所述至少一个第二初始存储服务节点间的距离值小于预设距离阈值的第二初始存储服务节点确定为目标存储服务节点。

本申请实施例通过将数据处理模块和数据缓存模块集成于存储服务节点，在客户端存在数据处理需求时，可由存储服务节点对待处理对象进行数据处理，将处理结果存储至数据缓存模块，并返回处理结果，而省去了客户端从存储服务节点下载待处理对象这一过程，并且，存储服务节点中数据缓存模块所存储的数据可由其他客户端进行共享，既有利于提高数据处理系统的数据处理效率，同时有利于节省网络资源占用率，从而提升网络资源利用率。

上述为本实施例的应用于客户端的数据处理方法的示意性方案。需要说明的是，该数据处理方法的技术方案与上述的数据处理系统的技术方案属于同一构思，应用于客户端的数据处理方法的技术方案未详细描述的细节内容，均可以参见上述数据处理系统的技术方案的描述。

参见图4，以本申请实施例提供的所述数据处理方法应用在对视频领域的视频文件进行转码的应用为例，对所述数据处理方法进行进一步说明。其中，图4示出了本申请一个实施例提供的一种数据处理方法应用于视频领域的流程图，具体包括以下步骤：

步骤402，第一客户端接收用户提交的数据处理请求。

其中，所述数据处理请求中携带有待转码视频文件的标识信息以及对应的转码策略。

步骤404，确定包含与转码策略对应的转码模块的至少一个第一初始存储服务节点。

步骤406，获取与所述至少一个第一初始存储服务节点间的距离值。

将与至少一个第一初始存储服务节点间的距离值小于预设距离阈值的第一初始存储服务节点确定为目标存储服务节点。

步骤408，向目标存储服务节点发送第一数据处理请求。

步骤410，存储服务节点调用与转码策略对应的转码模块进行数据处理。

转码模块根据所述标识信息在存储服务节点的本地数据库中查询待处理对象，基于所述转码策略对所述待转码视频文件进行处理，将处理结果存入数据缓存模块。

步骤412，将处理结果返回至第一客户端。

步骤414，第二客户端向存储服务节点发送用户提交的第二数据处理请求。

其中，第二数据处理请求中携带有待转码视频文件的标识信息以及对应的转码策略。

步骤416，存储服务节点根据转码策略以及所述标识信息查询所述数据缓存模块中是否存储有对应的处理结果。

若是，则执行步骤418。

步骤418，将数据处理结果返回至第二客户端。

本申请实施例通过将数据处理模块和数据缓存模块集成于存储服务节点，在客户端存在数据处理需求时，可由存储服务节点对待处理对象进行数据处理，将处理结果存储至数据缓存模块，并返回处理结果，而省去了客户端从存储服务节点下载待处理对象这一过程，并且，存储服务节点中数据缓存模块所存储的数据可由其他客户端进行共享，既有利于提高数据处理系统的数据处理效率，同时有利于节省网络资源占用率，从而提升网络资源利用率。

与上述方法实施例相对应，本申请还提供了数据处理装置实施例，图5示出了本申请一个实施例提供的第一种数据处理装置的结构示意图。如图5所示，该装置包括：

接收模块502，被配置为接收用户通过第一客户端提交的第一数据处理请求，所述第一数据处理请求中携带有待处理对象的标识信息以及对应的第一数据处理策略；

调用模块504，被配置为调用与所述第一数据处理策略对应的数据处理模块根据所述标识信息在本地数据库中查询所述待处理对象，并基于所述第一数据处理策略对所述待处理对象进行处理；

返回模块506，被配置为将生成的处理结果存入数据缓存模块，并将所述处理结果返回至所述第一客户端。

可选地，所述数据处理装置，还包括：

第二数据处理请求接收模块，被配置为接收用户通过第二客户端提交的第二数据处理请求，所述第二数据处理请求中携带有待处理对象的标识信息以及对应的第二数据处理策略；

第一查询模块，被配置为根据所述第二数据处理策略以及所述标识信息查询所述数据缓存模块中是否存储有对应的处理结果；

若所述查询模块的运行结果为是，则运行结果返回模块；

所述运行结果返回模块，被配置为将所述数据处理结果返回至所述第二客户端。

可选地，若所述查询模块的运行结果为否，则运行处理模块；

所述处理模块，被配置为调用与所述第二数据处理策略对应的数据处理模块根据所述标识信息在本地数据库中查询所述待处理对象，并基于所述第二数据处理策略对所述待处理对象进行处理；

存储模块，被配置为将生成的处理结果存入数据缓存模块，并将所述处理结果返回至所述第二客户端。

可选地，所述第一数据处理请求包括数据转码请求，所述装置还包括：

请求接收模块，被配置为接收用户通过所述第一客户端提交的数据转码请求，所述数据转码请求中包含待转码多媒体文件的标识信息以及对应的转码策略；

第二查询模块，被配置为调用转码模块根据所述标识信息在本地数据库查询所述待转码多媒体文件，基于所述转码策略对所述待转码多媒体文件进行转码处理，将转码结果存储至所述数据缓存模块，并将所述转码结果返回至所述第一客户端。

上述为本实施例的第一种数据处理装置的示意性方案。需要说明的是，该数据处理装置的技术方案与上述的第一种数据处理方法的技术方案属于同一构思，数据处理装置的技术方案未详细描述的细节内容，均可以参见上述第一种数据处理方法的技术方案的描述。

与上述方法实施例相对应，本申请还提供了数据处理装置实施例，图6示出了本申请一个实施例提供的第二种数据处理装置的结构示意图。如图6所示，该装置包括：

接收模块602，被配置为接收用户提交的第一数据处理请求，所述第一数据处理请求中携带有待处理对象的标识信息以及对应的第一数据处理策略；

确定模块604，被配置为确定包含与所述第一处理策略对应的数据处理模块的至少一个初始存储服务节点；

筛选模块606，被配置为按照预设筛选条件在所述至少一个初始存储服务节点中筛选目标存储服务节点，并向所述目标存储服务节点发送所述第一数据处理请求。

可选地，所述筛选模块606，包括：

第一获取子模块，被配置为获取与所述至少一个初始存储服务节点间的距离值；

第一确定子模块，被配置为将与所述至少一个初始存储服务节点间的距离值小于预设距离阈值的第一初始存储服务节点确定为目标存储服务节点。

可选地，所述筛选模块606，包括：

第二获取子模块，被配置为获取所述至少一个初始存储服务节点的数据处理优先级；

第二确定子模块，被配置为将数据处理优先级大于预设优先级阈值的至少一个第二初始存储服务节点作为所述目标服务节点。

可选地，所述筛选模块606，还包括：

距离确定子模块，被配置为确定与所述至少一个第二初始存储服务节点间的距离；

第三确定子模块，被配置为将与所述至少一个第二初始存储服务节点间的距离值小于预设距离阈值的第二初始存储服务节点确定为目标存储服务节点。

上述为本实施例的第二种数据处理装置的示意性方案。需要说明的是，该数据处理装置的技术方案与上述的第二种数据处理方法的技术方案属于同一构思，数据处理装置的技术方案未详细描述的细节内容，均可以参见上述第二种数据处理方法的技术方案的描述。

图7示出了根据本申请一个实施例提供的一种计算设备700的结构框图。该计算设备700的部件包括但不限于存储器710和处理器720。处理器720与存储器710通过总线730相连接，数据库750用于保存数据。

计算设备700还包括接入设备740，接入设备740使得计算设备700能够经由一个或多个网络760通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备740可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。

在本申请的一个实施例中，计算设备700的上述部件以及图7中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图7所示的计算设备结构框图仅仅是出于示例的目的，而不是对本申请范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。

计算设备700可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备700还可以是移动式或静止式的服务器。

其中，处理器720用于执行如下计算机可执行指令，所述处理器用于执行所述计算机可执行指令，其中，所述处理器执行所述计算机可执行指令时实现所述数据处理方法的步骤。

上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的数据处理方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。

本申请一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现所述数据处理方法的步骤。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的数据处理方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述数据处理方法的技术方案的描述。

上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请实施例所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本申请实施例的内容，可作很多的修改和变化。本申请选取并具体描述这些实施例，是为了更好地解释本申请实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

Claims (20)

1.一种数据处理系统，其特征在于，包括：第一客户端以及至少一个存储服务节点；

所述第一客户端，被配置为向存储服务节点发送用户提交的第一数据处理请求，所述第一数据处理请求中携带有待处理对象的标识信息以及对应的第一数据处理策略；

所述至少一个存储服务节点，被配置为接收所述第一数据处理请求，调用与所述第一数据处理策略对应的数据处理模块根据所述标识信息在本地数据库中查询所述待处理对象，基于所述第一数据处理策略对所述待处理对象进行处理，将处理结果存入数据缓存模块，并将所述处理结果返回至所述第一客户端。

2.根据权利要求1所述的数据处理系统，其特征在于，还包括：至少一个第二客户端；

所述至少一个第二客户端，被配置为向所述存储服务节点发送用户提交的第二数据处理请求，所述第二数据处理请求中携带有待处理对象的标识信息以及对应的第二数据处理策略；

所述存储服务节点，还被配置为接收所述第二数据处理请求，根据所述第二数据处理策略以及所述标识信息查询所述数据缓存模块中是否存储有对应的处理结果，若是，则将所述数据处理结果返回至所述至少一个第二客户端。

3.根据权利要求1所述的数据处理系统，其特征在于，所述第一客户端，还被配置为：

确定包含与所述第一处理策略对应的数据处理模块的至少一个第一初始存储服务节点；

获取与所述至少一个第一初始存储服务节点间的距离值；

将与所述至少一个第一初始存储服务节点间的距离值小于预设距离阈值的第一初始存储服务节点确定为目标存储服务节点，并向所述目标存储服务节点发送所述第一数据处理请求。

4.根据权利要求1所述的数据处理系统，其特征在于，所述第一客户端，还被配置为：

确定包含与所述第一处理策略对应的数据处理模块的至少一个第二初始存储服务节点；

获取所述至少一个第二初始存储服务节点的数据处理优先级；

根据所述数据处理优先级确定至少一个第二初始存储服务节点作为目标存储服务节点，并向所述目标存储服务节点发送所述第一数据处理请求。

5.根据权利要求4所述的数据处理系统，其特征在于，所述第一客户端，还被配置为：

将数据处理优先级大于预设优先级阈值的至少一个第二初始存储服务节点作为所述目标服务节点。

6.根据权利要求4或5所述的数据处理系统，其特征在于，所述第一客户端，进一步被配置为：

确定与所述至少一个第二初始存储服务节点间的距离；

将与所述至少一个第二初始存储服务节点间的距离值小于预设距离阈值的第二初始存储服务节点确定为目标存储服务节点，并向所述目标存储服务节点发送所述第一数据处理请求。

7.根据权利要求1所述的数据处理系统，其特征在于，所述存储服务节点，还被配置为：

接收用户通过所述第一客户端提交的数据转码请求，所述数据转码请求中包含待转码多媒体文件的标识信息以及对应的转码策略；

调用转码模块根据所述标识信息在本地数据库查询所述待转码多媒体文件，基于所述转码策略对所述待转码多媒体文件进行转码处理，将转码结果存储至所述数据缓存模块，并将所述转码结果返回至所述第一客户端。

8.根据权利要求1所述的数据处理系统，其特征在于，还包括：服务端；

所述存储服务节点，被配置为向所述服务端发送多媒体文件下载请求；

所述服务端，还被配置为接收所述多媒体文件下载请求，根据所述多媒体文件下载请求中携带的文件类型，在本地数据库读取与所述文件类型对应的多媒体文件，并将所述多媒体文件返回至所述存储服务节点。

9.一种数据处理方法，其特征在于，应用于存储服务节点，包括：

接收用户通过第一客户端提交的第一数据处理请求，所述第一数据处理请求中携带有待处理对象的标识信息以及对应的第一数据处理策略；

调用与所述第一数据处理策略对应的数据处理模块根据所述标识信息在本地数据库中查询所述待处理对象，并基于所述第一数据处理策略对所述待处理对象进行处理；

将生成的处理结果存入数据缓存模块，并将所述处理结果返回至所述第一客户端。

10.根据权利要求9所述的数据处理方法，其特征在于，还包括：

接收用户通过第二客户端提交的第二数据处理请求，所述第二数据处理请求中携带有待处理对象的标识信息以及对应的第二数据处理策略；

根据所述第二数据处理策略以及所述标识信息查询所述数据缓存模块中是否存储有对应的处理结果；

若是，则将所述数据处理结果返回至所述第二客户端。

11.根据权利要求10所述的数据处理方法，其特征在于，若所述数据缓存模块中未存储有对应的处理结果，则所述方法还包括：

调用与所述第二数据处理策略对应的数据处理模块根据所述标识信息在本地数据库中查询所述待处理对象，并基于所述第二数据处理策略对所述待处理对象进行处理；

将生成的处理结果存入数据缓存模块，并将所述处理结果返回至所述第二客户端。

12.根据权利要求9所述的数据处理方法，其特征在于，所述第一数据处理请求包括数据转码请求，所述方法还包括：

接收用户通过所述第一客户端提交的数据转码请求，所述数据转码请求中包含待转码多媒体文件的标识信息以及对应的转码策略；

调用转码模块根据所述标识信息在本地数据库查询所述待转码多媒体文件，基于所述转码策略对所述待转码多媒体文件进行转码处理，将转码结果存储至所述数据缓存模块，并将所述转码结果返回至所述第一客户端。

13.一种数据处理方法，其特征在于，应用于客户端，包括：

接收用户提交的第一数据处理请求，所述第一数据处理请求中携带有待处理对象的标识信息以及对应的第一数据处理策略；

确定包含与所述第一处理策略对应的数据处理模块的至少一个初始存储服务节点；

按照预设筛选条件在所述至少一个初始存储服务节点中筛选目标存储服务节点，并向所述目标存储服务节点发送所述第一数据处理请求。

14.根据权利要求13所述的数据处理方法，其特征在于，所述按照预设筛选条件在所述至少一个初始存储服务节点中筛选目标存储服务节点，包括：

获取与所述至少一个初始存储服务节点间的距离值；

将与所述至少一个初始存储服务节点间的距离值小于预设距离阈值的第一初始存储服务节点确定为目标存储服务节点。

15.根据权利要求13所述的数据处理方法，其特征在于，所述按照预设筛选条件在所述至少一个初始存储服务节点中筛选目标存储服务节点，包括：

获取所述至少一个初始存储服务节点的数据处理优先级；

将数据处理优先级大于预设优先级阈值的至少一个第二初始存储服务节点作为所述目标服务节点。

16.根据权利要求15所述的数据处理方法，其特征在于，还包括：

确定与所述至少一个第二初始存储服务节点间的距离；

将与所述至少一个第二初始存储服务节点间的距离值小于预设距离阈值的第二初始存储服务节点确定为目标存储服务节点。

17.一种数据处理装置，其特征在于，应用于存储服务节点，包括：

接收模块，被配置为接收用户通过第一客户端提交的第一数据处理请求，所述第一数据处理请求中携带有待处理对象的标识信息以及对应的第一数据处理策略；

调用模块，被配置为调用与所述第一数据处理策略对应的数据处理模块根据所述标识信息在本地数据库中查询所述待处理对象，并基于所述第一数据处理策略对所述待处理对象进行处理；

返回模块，被配置为将生成的处理结果存入数据缓存模块，并将所述处理结果返回至所述第一客户端。

18.一种数据处理装置，其特征在于，应用于客户端，包括：

接收模块，被配置为接收用户提交的第一数据处理请求，所述第一数据处理请求中携带有待处理对象的标识信息以及对应的第一数据处理策略；

确定模块，被配置为确定包含与所述第一处理策略对应的数据处理模块的至少一个初始存储服务节点；

筛选模块，被配置为按照预设筛选条件在所述至少一个初始存储服务节点中筛选目标存储服务节点，并向所述目标存储服务节点发送所述第一数据处理请求。

19.一种计算设备，其特征在于，包括：

存储器和处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，其中，所述处理器执行所述计算机可执行指令时实现权利要求9-12或13-16任意一项所述数据处理方法的步骤。

20.一种计算机可读存储介质，其特征在于，其存储有计算机指令，该指令被处理器执行时实现权利要求9-12或13-16任意一项所述数据处理方法的步骤。

Images