CN108256118A - 数据处理方法、装置、系统、计算设备以及存储介质 - Google Patents

Abstract

本申请提供了一种数据处理方法，所述方法包括：接收第一客户端发送的任务处理请求，所述任务处理请求携带多个待处理文件，所述多个待处理文件包括：多个样本文件以及用于处理所述多个样本文件的可执行程序文件；将所述多个样本文件划分为多个文件集合，每个文件集合包括至少一个所述可执行程序文件对应的至少一个样本文件；将所述可执行程序文件与所述多个文件集合分配给所述多个分布式处理节点，以使所述处理节点采用其接收到的所述可执行程序文件处理其对应的所述样本文件并获得所述样本文件的处理结果；及从所述多个分布式处理节点获取每个所述可执行程序文件对应的各个样本文件的所述处理结果。

Description

数据处理方法、装置、系统、计算设备以及存储介质

技术领域

本申请涉及信息技术领域，尤其涉及一种数据处理方法、装置、系统、计算设备以及存储介质。

背景技术

随着信息技术的发展，越来越多的人们利用计算设备来完成包含许多数据或文件的任务，例如，复杂的数据算法任务、复杂的数据分析任务等等，当数据或文件的数量少时，人们利用计算设备能够很好地完成任务，一旦数据或文件的数量暴增，即使利用计算设备进行大量的数据或文件处理，也会给用户带来耗时严重的不好体验，所以如何快速地处理大量的数据或文件是解决上述问题的关键。

发明内容

本申请提出了以下技术方案，能够分布式处理可执行程序文件及其样本文件并获得可执行程序文件的处理结果。

本申请实例提出了一种数据处理方法，所述方法包括：接收第一客户端发送的任务处理请求，所述任务处理请求携带多个待处理文件，所述多个待处理文件包括：多个样本文件以及用于处理所述多个样本文件的可执行程序文件；将所述多个样本文件划分为多个文件集合，每个文件集合包括至少一个所述可执行程序文件对应的至少一个样本文件；将所述可执行程序文件与所述多个文件集合分配给所述多个分布式处理节点，以使所述处理节点获得所述可执行程序文件对所述样本文件的处理结果；及获取所述多个分布式处理节点发送的每个所述可执行程序文件对应的各个样本文件的所述处理结果。

本申请实例还提出了一种数据处理装置，所述装置包括：接收模块，接收第一客户端发送的任务处理请求，所述任务处理请求携带多个待处理文件，所述多个待处理文件包括：多个样本文件以及用于处理所述多个样本文件的可执行程序文件；划分模块，将所述多个样本文件划分为多个文件集合，每个文件集合包括至少一个所述可执行程序文件对应的至少一个样本文件；分配模块，将所述可执行程序文件与所述多个文件集合分配给所述多个分布式处理节点，以使所述处理节点获得所述可执行程序文件对所述样本文件的处理结果；及获取模块，获取所述多个分布式处理节点发送的每个所述可执行程序文件对应的各个样本文件的所述处理结果。

在一些实例中，所述装置进一步包括：生成模块，生成包含所述处理结果的记录文件；记录发送模块，发送所述记录文件至记录文件提供服务器，以便所述记录文件提供服务器提供所述记录文件给所述第一应用客户端。

在一些实例中，所述任务处理请求还携带第二客户端的地址，所述第二客户端用于展示所述处理结果；所述装置进一步包括：结果发送模块，根据所述第二客户端的地址将所述处理结果发送至所述第二客户端。

在一些实例中，所述划分模块，根据所述样本文件的数量以及所述分布式处理节点的数量，将所述多个样本文件划分为多个文件集合。

在一些实例中，所述划分模块，包括：第一确定单元，根据所述样本文件的数量以及所述分布式处理节点的数量，确定每个分布式处理节点处理的所述样本文件的数量；第二确定单元，根据所述每个分布式处理节点处理的所述样本文件的数量，确定每个分布式处理节点一次处理所述样本文件的数量；及划分单元，根据所述每个分布式处理节点一次处理所述样本文件的数量，将所述多个样本文件划分为多个文件集合。

在一些实例中，所述分配模块，包括：节点确定单元，对于一个所述可执行程序文件，确定所述可执行程序文件对应的多个所述处理节点；第一发送单元，发送该可执行程序文件给所确定的所述多个处理节点；第二发送单元，向所确定的所述多个处理节点分别发送该可执行程序文件对应的一个所述文件集合；第三发送单元，当接收到任一个所述处理节点发送的一个所述文件集合中的各个样本文件的所述处理结果时，向该处理节点发送该可执行程序文件对应的下一个所述文件集合，直至发送完该可执行程序文件对应的最后一个所述文件集合。

在一些实例中，所述装置进一步包括：调用模块，调用套接字接口与每个所述分布式处理节点建立通信连接；其中，所述分配模块，通过所述通信连接将所述可执行程序文件与所述多个文件集合分配给所述多个分布式处理节点；所述获取模块，通过所述通信连接获取所述多个分布式处理节点发送的每个所述可执行程序文件对应的各个样本文件的所述处理结果。

在一些实例中，所述接收模块，当监听到调度服务器接收到所述第一客户端发送的所述任务处理请求时，获取所述调度服务器发送的所述任务处理请求。

本申请实例还提出了一种数据处理系统，包括：所述系统包括主节点服务器和子节点服务器：所述主节点服务器，接收第一客户端发送的任务处理请求，所述任务处理请求携带多个待处理文件，所述多个待处理文件包括：多个样本文件以及用于处理所述多个样本文件的可执行程序文件；将所述多个样本文件划分为多个文件集合，每个文件集合包括至少一个所述可执行程序文件对应的至少一个样本文件；所述主节点服务器，将所述可执行程序文件与所述多个文件集合分配给所述多个子节点服务器；所述子节点服务器，接收所述主节点服务器发送的所述可执行程序文件与所述多个文件集合，获得所述可执行程序文件对所述样本文件的处理结果，将所述处理结果发送至所述主节点服务器；所述主节点服务器，获取所述多个子节点服务器发送的每个所述可执行程序文件对应的各个样本文件的所述处理结果。

本申请实例还提出了一种计算设备，包括存储器、处理器以及存储在所述存储器上并在所述处理器上运行的计算机程序；所述处理器执行所述计算机程序时实现上述的方法。

本申请实例还提出了一种存储介质，存储有一个或多个程序，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行上述的方法。

应用本发明的技术方案，通过将所述可执行程序文件与所述多个文件集合分配给所述多个分布式处理节点，以使所述处理节点采用其接收到的所述可执行程序文件处理其对应的所述样本文件并获得所述样本文件的处理结果，能够高效、批量的获得可执行程序文件对各个样本文件的处理结果。特别是在查杀病毒的应用场景中，能够批量地将杀毒引擎的可执行程序文件和待查杀病毒的样本文件分配给分布式处理节点进行查杀病毒处理并快速获得处理结果，使得测试人员或用户能够根据处理结果对杀毒引擎的可执行程序文件的性能进行测评和分析，或者对云服务器的安全环境进行鉴定。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一个实例的数据处理方法适用的系统结构示意图；

图2A为本申请一个实例的数据处理方法的流程图；

图2B为本申请一个实例的数据处理方法的流程图；

图3A为本申请一个实例的数据处理方法的交互流程图；

图3B为本申请一个实例的主节点服务器与子节点分服务器之间的结构示意图；

图4为本申请一个实例中在客户端中提交任务处理请求的界面实例；

图5为本申请一个实例的数据处理装置的结构示意图；

图6为本申请一个实例的数据处理系统的结构示意图；

图7为本申请一个实例的计算设备的硬件的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了描述上的简洁和直观，下文通过描述若干代表性的实施例来对本发明的方案进行阐述。实施例中大量的细节仅用于帮助理解本发明的方案。但是很明显，本发明的技术方案实现时可以不局限于这些细节。为了避免不必要地模糊了本发明的方案，一些实施方式没有进行细致地描述，而是仅给出了框架。下文中，“包括”是指“包括但不限于”，“根据……”是指“至少根据……，但不限于仅根据……”。下文中没有特别指出一个成分的数量时，意味着该成分可以是一个也可以是多个，或可理解为至少一个。

图1示出了本申请实例的数据处理方法适用的系统100结构示意图。该系统100至少包括终端设备101、主节点服务器103、子节点服务器104以及网络105，该系统100还可以包括调度服务器102。

其中，终端设备101是指具有数据计算处理功能的设备，包括但不限于(安装有通信模块的)智能手机、掌上电脑、平板电脑等。终端设备101上安装有操作系统，包括但不限于：Android操作系统、Symbian操作系统、Windows mobile操作系统、以及苹果iPhone OS操作系统等等。

终端设备101安装有第一客户端(如，任务处理网页客户端或任务处理PC客户端)，该第一客户端通过网络105与主节点服务器103安装有分配处理文件的应用服务器软件进行信息交互，主节点服务器103接收第一客户端发送的任务处理请求。

该系统100可以包括由一台或多台主节点服务器103组成的主节点服务器群，主节点服务器103安装有用于分配处理文件的应用服务器软件；主节点服务器103通过网络105将待处理文件分配给其对应的子节点服务器104。

该系统100可以包括由多台子节点服务器104组成的子节点服务器群，每个主节点服务器103对应多个子节点服务器104，子节点服务器104安装有处理文件的应用服务器软件；子节点服务器104通过网络105将处理结果发送至主节点服务器103。

调度服务器102安装有用于任务调度的应用服务器软件，调度服务器102可以通过网络105接收第一客户端上传的任务处理请求，并通过网络105将任务处理请求中的待处理文件分配给主节点服务器103。

网络105可以是有线网络，也可以是无线网络。

主节点服务器103、子节点服务器104以及调度服务器102可以是物理上的划分，即主节点服务器103、子节点服务器104以及调度服务器102均是一个独立硬件服务器设备；主节点服务器103、子节点服务器104以及调度服务器102还可以是逻辑上的划分，即主节点服务器103、子节点服务器104以及调度服务器102均是一个软件模块，且上述软件模块可以设置在一个硬件服务器设备中，也可以设置不同的硬件服务器设备中。

本申请的实例提出了一种数据处理方法，可应用于系统100中的主节点服务器103，该方法可以实现为主节点服务器103中的用于分配处理文件的应用服务器软件。结合图2A、图2B和图3进行说明，该方法200A包括以下步骤：

步骤201：接收第一客户端发送的任务处理请求，所述任务处理请求携带多个待处理文件。

其中，所述多个待处理文件包括：多个样本文件以及用于处理所述多个样本文件的可执行程序文件。

上述样本文件可以包括待查杀病毒的文件(如，待杀毒的视频文件、待查杀的音频播发器可执行文件等)、待运行的计算文件(如，待执行的矩阵算法文件)、待运行的编程文件(如，C++待运行编程文件)；相应地，上述可执行程序文件可以包括杀毒引擎可执行程序文件(如，电脑管家可执行程序文件或TAV杀毒引擎可执行程序文件)、算法可执行程序文件(如，MATLAB可执行程序文件)、编程可执行程序文件(如，C++可执行程序文件)等。

在一些实例中，用户登录第一客户端(如，任务处理PC客户端)，上传样本文件(如，待查杀病毒的样本文件，以下简称待查杀文件)和可执行程序文件(如，TAV杀毒引擎可执行程序文件)，并触发提交任务指令，图4示出了在第一客户端中提交任务处理请求的界面实例400，其中，界面实例400中，展示了上传控件401，用户触发该上传控件401可以上传用户指定的可执行程序文件(如，X版本的TAV杀毒引擎可执行程序文件)，当用户触发界面实例400中的提交控件402时，第一客户端响应于该提交指令，向主节点服务器103发送任务处理请求，该任务处理请求携带多个待处理文件，该任务处理请求通过HTTP传输通道或HTTPS传输通道发送，主节点服务器103接收第一客户端发送的该任务处理请求。

在一些实例中，所述接收第一客户端发送的任务处理请求进一步包括：当主节点服务器103监听到调度服务器接收到所述第一客户端发送的所述任务处理请求时，从所述调度服务器102提取所述任务处理请求(即步骤S205：获取调度服务器102发送的任务处理请求)。

在一些实例中，主节点服务器103可以从调度服务器102中接收第一客户端发送的任务处理请求，第一客户端执行步骤301：向调度服务器102发送任务处理请求，主节点服务器103绑定对应端口和IP地址，当通过该端口监听到调度服务器102接收到第一客户端发送的任务处理请求时，执行步骤302：从调度服务器102获取任务处理请求。

其中，上述获取任务处理请求的具体方式可以为：主节点服务器103向调度服务器102发送获取请求，此时，主节点服务器103至少有部分对应的子节点服务器当前处于空闲状态(即，无需要处理的文件或数据)。在网络中可以有多个主节点服务器103，当调度服务器102接收到多个主节点服务器103的获取请求后，可以按照时间优先原则，将任务处理请求发送给最先发送该获取请求的主节点服务器103，从而能够充分利用主节点服务器103的资源，快速完成任务处理请求。

步骤202：将所述多个样本文件划分为多个文件集合，每个文件集合包括至少一个所述可执行程序文件对应的至少一个样本文件。

在一些实例中，当主节点服务器103接收到该任务处理请求时，执行步骤303：将该任务处理请求中的所述多个样本文件划分为多个文件集合。

其中，所述将所述多个样本文件划分为多个文件集合，包括：根据所述样本文件的数量(如，1000个待查杀文件)以及所述分布式处理节点的数量(如，20个子节点服务器104)，将所述多个样本文件划分为多个文件集合(如，将待查杀文件划分为100个文件集合，其中每个文件集合包含10个待查杀文件)。

在一些实例中，所述根据所述样本文件的数量以及所述分布式处理节点的数量，将所述多个样本文件划分为多个文件集合，包括：步骤206：根据所述样本文件的数量以及所述分布式处理节点的数量，确定每个分布式处理节点处理的所述样本文件的数量；步骤207：根据所述每个分布式处理节点处理的所述样本文件的数量，确定每个分布式处理节点一次处理所述样本文件的数量；及步骤208：根据所述每个分布式处理节点一次处理所述样本文件的数量，将所述多个样本文件划分为多个文件集合。

例如，图3B示出了一个主节点服务器103对应20个子节点服务器104的结构示意图，当该主节点服务器103接收到的该任务处理请求中携带的1000个待查杀文件和一个TAV杀毒引擎可执行程序文件，确定其对应的每个子节点服务器104处理的所述样本文件的数量为50个待查杀文件，确定每个子节点服务器104根据TAV杀毒引擎可执行程序文件一次其对应的处理10个待查杀文件，那么每个文件集合中有10个待查杀文件，即样本文件，则将1000个待查杀文件划分为100个文件集合，根据平均原则，每个子节点服务器104将分配到5个文件集合，即子节点服务器104需要处理5次由主节点服务器103分配的子任务(即包含一个文件集合的子任务)。

需要说明的是，一个子节点服务器104一次处理文件的数量可以是固定的，也可以是根据样本文件的大小和难度进行变化的。

步骤203：将所述可执行程序文件与所述多个文件集合分配给所述多个分布式处理节点，以使所述处理节点采用其接收到的所述可执行程序文件处理其对应的所述样本文件并获得所述样本文件的处理结果(即以使所述处理节点获得所述可执行程序文件对所述样本文件的处理结果)。

在一些实例中，当主节点服务器103将所述多个样本文件划分为多个文件集合后，执行步骤304：分配所述可执行程序文件与所述多个文件集合给多个子节点服务器。

其中，将所述可执行程序文件与所述多个文件集合分配给所述多个分布式处理节点，包括：步骤209：对于一个所述可执行程序文件(如，TAV杀毒引擎可执行程序文件)，主节点服务器103确定其对应的多个所述处理节点(如，从主节点服务器103对应的20个子节点服务器104中选择10个子节点服务器104，或者，选择全部子节点服务器104)；步骤210：主节点服务器103将该可执行程序文件(如，TAV杀毒引擎可执行程序文件)发送给所确定的所述多个处理节点(如，同时、依次或随机的先后顺序发送给该10个子节点服务器104)；步骤211：主节点服务器103同时、依次或随机的先后顺序向所确定的所述多个处理节点(如，子节点服务器104)分别发送该可执行程序文件对应的一个所述文件集合(如，包含有10个待查杀文件的一个文件集合)；子节点服务器104接收到其对应的主节点服务器103发送的一个文件集合后，根据之前接收到的可执行程序文件执行步骤315：处理文件集合中的样本文件并获取样本文件的处理结果(如，子节点服务器104安装TAV杀毒引擎可执行程序文件，运行该TAV杀毒引擎可执行程序文件，并对该文件集合中的每个待查杀文件进行杀毒并获取每个待查杀文件的查杀结果)，子节点服务器104对该文件集合中的处理结果进行汇总，并将汇总的处理结果发送给主节点服务器103，步骤212：当主节点服务器103接收到任一个所述处理节点发送的一个所述文件集合中的各个样本文件的所述处理结果时(如，接收到第1个文件集合中的各个样本文件的处理结果时)，向该处理节点发送该可执行程序文件对应的下一个所述文件集合(如，向该子节点服务器104发送第2个文件集合)，直至发送完该可执行程序文件对应的最后一个所述文件集合(如，若该子节点服务器104需要处理10个文件集合，直到发送完第10个文件集合，就不再发送文件集合)。

需要说明的是，当一个主节点服务器103从其对应的全部子节点服务器104(如，20个子节点服务器104)中选择第一部分子节点服务器104(如，5个子节点服务器104)根据该任务处理请求携带的可执行程序文件处理其对应的样本文件时，该主节点服务器103还可以接收第一客户端发送的其他任务处理请求，并选择剩下部分子节点服务器104(如，剩下的15个子节点服务器104)中的全部或部分子节点服务器104根据其他任务处理请求携带的可执行程序文件处理其对应的样本文件，从而充分地利用了子节点服务器的分布式处理资源，提高了任务处理效果和效率，进而为用户带来良好的体验。

在一些实例中，所述方法200进一步包括：主节点服务器103调用套接字接口(即Socket接口)与每个所述分布式处理节点(如，子节点服务器104)建立通信连接；其中，通过所述通信连接(即Socket通信连接)将所述可执行程序文件与所述多个文件集合分配给所述多个分布式处理节点；通过所述通信连接从所述多个分布式处理节点获取每个所述可执行程序文件对应的各个样本文件的所述处理结果。

例如，子节点服务器104绑定自身的IP地址以及服务端口号，子节点服务器104实时监听主节点服务器103的Socket通信连接，当主节点服务器103需要向子节点服务器104发送可执行程序文件或文件集合时，读取存储在主节点服务器103本地的子节点服务器104的地址列表(如，IP列表)，在主节点服务器103和其对应的所有子节点服务器104启动时，调用Socket接口，与其所有的子节点服务器104进行Socket通信连接，主节点服务器103根据地址列表以及对应的端口号，向子节点服务器104发送通信连接请求，当子节点服务器104监听到该通信连接请求时，响应于该通信连接请求，即成功创建了Socket通信连接，主节点服务器103开始向子节点服务器104发送文件(如，可执行程序文件或文件集合)，子节点服务器104执行步骤306：通过该Socket通信连接发送处理结果至其对应的主节点服务器103。

其中，在建立Socket通信连接后，主节点服务器103与子节点服务器104各维护两个队列，这两个队列分别用来存储对方发送的消息或文件和向对方发送的消息或文件，主节点服务器103与子节点服务器104通过Socket通信连接可以快速实现信息的交互，且通信成本较低，主节点服务器103与子节点服务器104的运行环境部署简单，仅有Socket接口开放的需求。

需要说明的是，上述实例中，主节点服务器103存储其对应的子节点服务器104的地址信息(如，IP地址)，主节点服务器103根据该地址信息创建上述Socket通信连接，实现主节点服务器103仅仅通过维护一个txt文件中记录的地址信息控制其对应的子节点服务器104的数量，从而快速的对其对应的子节点服务器104进行扩容和缩容，这种扩容和缩容的方式简单且高效。

步骤204：从所述多个分布式处理节点获取每个所述可执行程序文件对应的各个样本文件的所述处理结果。

在一些实例中，主节点服务器103接收其对应的子节点服务器104(如，对待查杀文件进行处理的子节点服务器104)发送的每个所述可执行程序文件对应的各个样本文件的所述处理结果(如，待查杀文件的查杀结果)。

本申请实施例适用于输入大数据量或者耗时较长的程序，由于现有技术中的单节点计算设备无法满足快速处理输入大数据量或者耗时较长的程序，而现有技术中的Hadoop集群虽然可以完成大数据的处理，但是Hadoop集群针对的业务服务非常单一，不能满足用户的多元化业务需求，且Hadoop集群的成本要求高，运行环境部署复杂。而本申请实施例则可以满足用户的各种各样的业务需求，无论是可以执行操作系统命令的批量操作还是可以执行分发的样本文件又或者是可以执行可执行程序文件，只要可通过命名行方式执行的操作都可以应用。同时，样本文件处理速度不依赖于主节点服务器103和/或子节点服务器104的数量，仅依赖主节点服务器103的网络带宽和内存配置，且无需对中间数据进行备份存储。

其中，上述任务处理请求进一步还携带第二客户端的地址(如，用户的邮箱客户端的地址信息)，所述第二客户端用于展示所述处理结果。

在一些实例中，该方法200进一步包括：当主节点服务器103接收到每个样本文件的处理结果后，步骤213：根据所述第二客户端的地址(如，用户的邮箱客户端的地址信息)，主节点服务器103执行步骤307：将所述处理结果发送至所述第二客户端，方便用户登录该第二客户端对处理结果进行查看，进而为用户提供了数据分析以及数据处理的基础；同时用户还可以通过对该处理结果的分析完成对该可执行程序软件(如，TAV杀毒引擎可执行程序文件)的测试以及评价(如，判断TAV杀毒引擎可执行程序文件的报毒能力以及TAV杀毒引擎可执行程序文件是否有未知问题)。此外，当应用场景是对云服务器侧的环境安全鉴定时，当用户对一个文件黑白风险情况进行鉴定时，由于涉及到的云服务用户数量庞大，于是就对杀毒引擎的扫描能力提出较高的要求，按照本申请实施例的处理方式批量处理大量样本文件，可大大缩短用户等待的时间，具有很高的应用价值。

在一些实例中，所述方法200进一步包括：步骤214：主节点服务器103生成包含所述处理结果的记录文件(如，Log文件)；及步骤215：将所述记录文件发送至记录文件提供服务器，以便所述记录文件提供服务器将所述记录文件提供给供所述第一客户端(如，用户登录第一客户端，触发查看记录文件的指令，第一客户端响应于该查看指令向记录文件提供服务器发送查看请求，该查看请求携带处理任务标识，第一客户端接收记录文件提供服务器返回的对应记录文件，供用户查看)。

需要说明的是，当用户不需要指定可执行程序文件对样本文件进行处理时，上述待处理文件可以不包括可执行程序文件，仅包括样本文件，此时，调度服务器102接收到该样本文件后，根据用户的业务需要(任务处理请求可表明该业务需求)，从调度服务器102本地中获取到与该业务需要相应的可执行程序文件，并将可执行程序文件和样本文件发送至对应的主节点服务器103，再由主节点服务器103将可执行程序文件和样本文件分配给其对应的子节点服务器104；或者，主节点服务器103接收到调度服务器102发送的样本文件后，并提供相应的可执行程序文件，将可执行程序文件和样本文件分配给其对应的子节点服务器104；分配的具体实施方式前文已经详细阐述过了，此处就不再赘述。

此外，还可以将本申请实施例的实施方式进行业务封装，提供可调用的API给用户，用户只需调用对应的API即可通过主节点服务器103和子节点服务器104完成指定的任务(如，上述查杀样本文件)，上述API可以包括如表1所示：

表1

API	用途或功能
		Exec	执行操作系统命令
ExecWithLog	执行操作系统命令并生成Log文件
		ExecPython	执行Python文件
SendMessage	发送消息
		CreateFile	创建文件
IsFileExist	判断文件是否存在
		GetFile	获取文件
GetFileResult	获取文件内容

上述API对用户发送的消息根据用途或功能封装成相应的TCP消息，用户还可以根据自己的需求定制自己的API。对于用户接收到的消息，操作系统会根据消息的类型调用对应的预封装的解析方法，然后返回可视化的消息内容或者消息界面给用户。上述操作系统可以包括windows操作系统、Linux操作系统。

基于上述方法实例，本申请实例还提出了一种数据处理装置，应用于主节点服务器103，如图5所示，所述装置500包括：接收模块501、划分模块502、分配模块503以及获取模块504，且各个模块的具体功能如下：

接收模块501，接收第一客户端发送的任务处理请求，所述任务处理请求携带多个待处理文件。

其中，所述多个待处理文件包括：多个样本文件以及用于处理所述多个样本文件的可执行程序文件。

划分模块502，将所述多个样本文件划分为多个文件集合，每个文件集合包括至少一个所述可执行程序文件对应的至少一个样本文件。

分配模块503，将所述可执行程序文件与所述多个文件集合分配给所述多个分布式处理节点，以使所述处理节点采用其接收到的所述可执行程序文件处理其对应的所述样本文件并获得所述样本文件的处理结果(即以使所述处理节点获得所述可执行程序文件对所述样本文件的处理结果)。

获取模块504，从所述多个分布式处理节点获取每个所述可执行程序文件对应的各个样本文件的所述处理结果。

在一些实例中，所述装置500进一步包括：生成模块，生成包含所述处理结果的记录文件；记录发送模块，将所述记录文件发送至记录文件提供服务器，以便所述记录文件提供服务器将所述记录文件提供给供所述第一应用客户端。

在一些实例中，所述任务处理请求还携带第二客户端的地址，所述第二客户端用于展示所述处理结果；所述装置500进一步包括：结果发送模块，根据所述第二客户端的地址将所述处理结果发送至所述第二客户端。

在一些实例中，所述划分模块502，根据所述样本文件的数量以及所述分布式处理节点的数量，将所述多个样本文件划分为多个文件集合。

在一些实例中，所述划分模块502，包括：第一确定单元，根据所述样本文件的数量以及所述分布式处理节点的数量，确定每个分布式处理节点处理的所述样本文件的数量；第二确定单元，根据所述每个分布式处理节点处理的所述样本文件的数量，确定每个分布式处理节点一次处理所述样本文件的数量；及划分单元，根据所述每个分布式处理节点一次处理所述样本文件的数量，将所述多个样本文件划分为多个文件集合。

在一些实例中，所述分配模块503，包括：节点确定单元，对于一个所述可执行程序文件，确定其对应的多个所述处理节点；第一发送单元，将该可执行程序文件发送给所确定的所述多个处理节点；第二发送单元，向所确定的所述多个处理节点分别发送该可执行程序文件对应的一个所述文件集合；第三发送单元，当接收到任一个所述处理节点发送的一个所述文件集合中的各个样本文件的所述处理结果时，向该处理节点发送该可执行程序文件对应的下一个所述文件集合，直至发送完该可执行程序文件对应的最后一个所述文件集合。

在一些实例中，所述装置500进一步包括：调用模块，调用套接字接口与每个所述分布式处理节点建立通信连接；其中，所述分配模块503，通过所述通信连接将所述可执行程序文件与所述多个文件集合分配给所述多个分布式处理节点；所述获取模块504，通过所述通信连接从所述多个分布式处理节点获取每个所述可执行程序文件对应的各个样本文件的所述处理结果。

在一些实例中，所述接收模块501，当监听到调度服务器102接收到所述第一客户端发送的所述任务处理请求时，从所述调度服务器提取所述任务处理请求。

基于上述方法实例，本申请实例还提出了一种数据处理系统，如图6所示，包括：所述系统600包括主节点服务器602和子节点服务器603：且各个服务器的具体功能如下：

所述主节点服务器602，接收第一客户端发送的任务处理请求，所述任务处理请求携带多个待处理文件，所述多个待处理文件包括：多个样本文件以及用于处理所述多个样本文件的可执行程序文件；将所述多个样本文件划分为多个文件集合，每个文件集合包括至少一个所述可执行程序文件对应的至少一个样本文件；将所述可执行程序文件与所述多个文件集合分配给所述多个子节点服务器603，以使所述子节点服务器603采用其接收到的所述可执行程序文件处理其对应的所述样本文件并获得所述样本文件的处理结果(即以使所述子节点服务器603获得所述可执行程序文件对所述样本文件的处理结果)；从所述多个子节点服务器603获取每个所述可执行程序文件对应的各个样本文件的所述处理结果。上述系统600中，主节点服务器602可以有一个或多个，每个主节点服务器602对应一个或多个子节点服务器603。根据网络配置，第一客户端可以把任务处理请求发送到其对应的主节点服务器602。

所述子节点服务器603，接收所述主节点服务器602发送的所述可执行程序文件与所述多个文件集合；根据所述可执行程序文件处理其对应的所述样本文件并获得所述样本文件的处理结果；将所述处理结果发送至所述主节点服务器602。

所述处理系统600还包括调度服务器601。其中，所述主节点服务器602，接收第一客户端发送的任务处理请求，进一步包括：所述调度服务器601，接收第一客户端发送的任务处理请求；所述主节点服务器602，当监听到所述调度服务器601接收到所述第一客户端发送的任务处理请求时，从所述调度服务器601拉取所述处理任务请求。上述系统600中，调度服务器601也可以有一个或多个，每个调度服务器601对应一个或多个主节点服务器602。根据网络配置，第一客户端可以把任务处理请求发送到其对应的调度服务器601。

所述系统600中，所述主节点服务器602，进一步调用套接字接口与每个所述子节点服务器603建立通信连接；其中，所述主节点服务器602通过所述通信连接将所述可执行程序文件与所述多个文件集合分配给所述多个子节点服务器603；通过所述通信连接从所述子节点服务器603获取每个所述可执行程序文件对应的各个样本文件的所述处理结果。

图7示出了处理装置500所在的计算设备700的组成结构图。此计算设备700可以是服务器。如图7所示，该计算设备包括一个或者多个处理器(CPU)702、通信模块704、存储器706、用户接口710，以及用于互联这些组件的通信总线708。

处理器702可通过通信模块704接收和发送数据以实现网络通信和/或本地通信。

用户接口710包括一个或多个输出设备712，其包括一个或多个扬声器和/或一个或多个可视化显示器。用户接口710也包括一个或多个输入设备714，其包括诸如，键盘，鼠标，声音命令输入单元或扩音器，触屏显示器，触敏输入板，姿势捕获摄像机或其他输入按钮或控件等。

存储器706可以是高速随机存取存储器，诸如DRAM、SRAM、DDR RAM、或其他随机存取固态存储设备；或者非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备，或其他非易失性固态存储设备。

存储器706存储处理器702可执行的指令集，包括：

操作系统716，包括用于处理各种基本系统服务和用于执行硬件相关任务的程序；

应用718，包括用于数据处理的各种应用程序，这种应用程序能够实现上述各实例中的处理流程。比如：应用718包括图5所示的处理装置500中的部分或全部模块，各模块501-504中的至少一个模块可以存储有机器可执行指令，处理器702通过执行存储器706中各模块501-504中至少一个模块中的机器可执行指令，进而能够实现上述各模块501-504中的至少一个模块的功能。再比如：应用718包括图6所示的系统600中的部分或全部服务器，各服务器601-603中的至少一个可以存储有机器可执行指令，处理器702通过执行存储器706中各服务器601-603中至少一个的机器可执行指令，进而能够实现上述各服务器601-603中的至少一个的功能。也就是说，服务器601-603中的任一者可以独立实现为设备700，服务器601-603中的任两者或这三者也可以组合成一个设备700。

需要说明的是，上述各流程和各结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。各模块的划分仅仅是为了便于描述采用的功能上的划分，实际实现时，一个模块可以分由多个模块实现，多个模块的功能也可以由同一个模块实现，这些模块可以位于同一个设备中，也可以位于不同的设备中。

各实施例中的硬件模块可以以硬件方式或硬件平台加软件的方式实现。上述软件包括机器可读指令，存储在非易失性存储介质中。因此，各实施例也可以体现为软件产品。

各例中，硬件可以由专门的硬件或执行机器可读指令的硬件实现。例如，硬件可以为专门设计的永久性电路或逻辑器件(如专用处理器，如FPGA或ASIC)用于完成特定的操作。硬件也可以包括由软件临时配置的可编程逻辑器件或电路(如包括通用处理器或其它可编程处理器)用于执行特定操作。

另外，本申请的每个实例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本申请。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本申请，本申请还提供了一种非易失性存储介质，其中存储有数据处理程序，这种数据处理程序可用于执行本申请上述方法实例中的任何一种实例。

图5中模块以及图6中服务器对应的机器可读指令可以使计算机上操作的操作系统等来完成这里描述的部分或者全部操作。非易失性计算机可读存储介质可以是插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器。安装在扩展板或者扩展单元上的CPU等可以根据指令执行部分和全部实际操作。

另外，在本申请各个实例中的装置及各模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上装置或模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (14)

1.一种数据处理方法，其特征在于，所述方法包括：

接收第一客户端发送的任务处理请求，所述任务处理请求携带多个待处理文件，所述多个待处理文件包括：多个样本文件以及用于处理所述多个样本文件的可执行程序文件；

将所述多个样本文件划分为多个文件集合，每个文件集合包括至少一个所述可执行程序文件对应的至少一个样本文件；

将所述可执行程序文件与所述多个文件集合分配给所述多个分布式处理节点，以使所述处理节点获得所述可执行程序文件对所述样本文件的处理结果；及

获取所述多个分布式处理节点发送的每个所述可执行程序文件对应的各个样本文件的所述处理结果。

2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

生成包含所述处理结果的记录文件；及

发送所述记录文件至记录文件提供服务器，以便所述记录文件提供服务器提供所述记录文件给所述第一应用客户端。

3.根据权利要求1所述的方法，其特征在于，所述任务处理请求还携带第二客户端的地址，所述第二客户端用于展示所述处理结果；

所述方法进一步包括：

根据所述第二客户端的地址发送所述处理结果至所述第二客户端。

4.根据权利要求1所述的方法，其特征在于，所述将所述多个样本文件划分为多个文件集合，包括：

根据所述样本文件的数量以及所述分布式处理节点的数量，将所述多个样本文件划分为多个文件集合。

5.根据权利要求4所述的方法，其特征在于，所述根据所述样本文件的数量以及所述分布式处理节点的数量，将所述多个样本文件划分为多个文件集合，包括：

根据所述样本文件的数量以及所述分布式处理节点的数量，确定每个分布式处理节点处理的所述样本文件的数量；

根据所述每个分布式处理节点处理的所述样本文件的数量，确定每个分布式处理节点一次处理所述样本文件的数量；及

根据所述每个分布式处理节点一次处理所述样本文件的数量，将所述多个样本文件划分为多个文件集合。

6.根据权利要求1所述的方法，其特征在于，将所述可执行程序文件与所述多个文件集合分配给所述多个分布式处理节点，包括：

对于一个所述可执行程序文件，确定所述可执行程序文件对应的多个所述处理节点；

发送该可执行程序文件给所确定的所述多个处理节点；

向所确定的所述多个处理节点分别发送该可执行程序文件对应的一个所述文件集合；

当接收到任一个所述处理节点发送的一个所述文件集合中的各个样本文件的所述处理结果时，向该处理节点发送该可执行程序文件对应的下一个所述文件集合，直至发送完该可执行程序文件对应的最后一个所述文件集合。

7.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

调用套接字接口与每个所述分布式处理节点建立通信连接；

其中，通过所述通信连接将所述可执行程序文件与所述多个文件集合分配给所述多个分布式处理节点；

通过所述通信连接获取所述多个分布式处理节点发送的每个所述可执行程序文件对应的各个样本文件的所述处理结果。

8.根据权利要求1所述的方法，其特征在于，所述接收第一客户端发送的任务处理请求，包括：

当监听到调度服务器接收到所述第一客户端发送的所述任务处理请求时，获取所述调度服务器发送的所述任务处理请求。

9.一种数据处理装置，其特征在于，所述装置包括：

接收模块，接收第一客户端发送的任务处理请求，所述任务处理请求携带多个待处理文件，所述多个待处理文件包括：多个样本文件以及用于处理所述多个样本文件的可执行程序文件；

划分模块，将所述多个样本文件划分为多个文件集合，每个文件集合包括至少一个所述可执行程序文件对应的至少一个样本文件；

分配模块，将所述可执行程序文件与所述多个文件集合分配给所述多个分布式处理节点，以使所述处理节点获得所述可执行程序文件对所述样本文件的处理结果；及

获取模块，获取所述多个分布式处理节点发送的每个所述可执行程序文件对应的各个样本文件的所述处理结果。

10.一种数据处理系统，其特征在于，所述系统包括主节点服务器和子节点服务器：

所述主节点服务器，接收第一客户端发送的任务处理请求，所述任务处理请求携带多个待处理文件，所述多个待处理文件包括：多个样本文件以及用于处理所述多个样本文件的可执行程序文件；将所述多个样本文件划分为多个文件集合，每个文件集合包括至少一个所述可执行程序文件对应的至少一个样本文件；

所述主节点服务器，将所述可执行程序文件与所述多个文件集合分配给所述多个子节点服务器；

所述子节点服务器，接收所述主节点服务器发送的所述可执行程序文件与所述多个文件集合，获得所述可执行程序文件对所述样本文件的处理结果，将所述处理结果发送至所述主节点服务器；

所述主节点服务器，获取所述多个子节点服务器发送的每个所述可执行程序文件对应的各个样本文件的所述处理结果。

11.根据权利要求10所述的处理系统，其特征在于，所述处理系统还包括调度服务器；

其中，所述调度服务器，接收第一客户端发送的任务处理请求；

所述主节点服务器，当监听到所述调度服务器接收到所述第一客户端发送的任务处理请求时，获取所述调度服务器发送的所述处理任务请求。

12.根据权利要求10所述的处理系统，其特征在于，

所述主节点服务器，进一步调用套接字接口与每个所述子节点服务器建立通信连接；

其中，所述主节点服务器通过所述通信连接将所述可执行程序文件与所述多个文件集合分配给所述多个子节点服务器，通过所述通信连接获取所述子节点服务器发送的每个所述可执行程序文件对应的各个样本文件的所述处理结果。

13.一种计算设备，其特征在于，包括存储器、处理器以及存储在所述存储器上并在所述处理器上运行的计算机程序；所述处理器执行所述计算机程序时实现权利要求1-8任一项所述的方法。

14.一种存储介质，其特征在于，存储有一个或多个程序，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行权利要求1-8中任一项所述的方法。