CN113630408B - 数据处理方法、装置、存储介质及服务器 - Google Patents

Abstract

本申请实施例公开了一种数据处理方法、装置、存储介质及服务器，其中，所述方法包括：接收至少一个待处理数据包；逐一解析所述至少一个待处理数据包；每当解析一个所述待处理数据包获取到对应的待处理数据时，将所述待处理数据分发至处理终端。通过该方案，能够实现每接收到一个待处理数据包则对其进行解析，节省了获取和解析待处理数据包的时间，且每当获取到一个待处理数据则分发待处理数据至处理终端，进而能够及时得到处理终端的处理结果反馈，提高了数据处理的整体效率。

Description

数据处理方法、装置、存储介质及服务器

技术领域

本申请涉及数据处理技术领域，具体涉及一种数据处理方法、装置、存储介质及服务器。

背景技术

传统方案中，在进行数据处理时，先将多个数据包压缩成一个压缩包发送给服务器，当服务器接收到压缩包后则持久化到本地磁盘存储，之后对压缩包进行解压，得到多个数据包中的待处理数据并存储至本地磁盘，保证待处理数据不会丢失。

而服务器还需要将所有待处理数据分发给处理终端进行处理，进而获取到处理结果。

当压缩包的数据量过大时，服务器接收及解压压缩包会存在较长耗时，且服务器将所有待处理数据分发给处理终端也存在较长耗时，依次类推，服务器接收到处理结果会相应延迟，进而影响数据处理的整体进程。

发明内容

本申请实施例提供一种数据处理方法、装置、存储介质及服务器，能够提高数据处理效率。

第一方面，本申请实施例提供一种数据处理方法，包括：

接收至少一个待处理数据包；

逐一解析所述至少一个待处理数据包；

每当解析一个所述待处理数据包获取到对应的待处理数据时，将所述待处理数据分发至处理终端。

第二方面，本申请实施例还提供一种数据处理装置，所述数据处理装置包括：

数据接收模块，用于接收至少一个待处理数据包；

数据解析模块，用于逐一解析所述至少一个待处理数据包；

数据分发模块，用于每当解析一个所述待处理数据包获取到对应的待处理数据时，将所述待处理数据分发至处理终端数据处理装置。

第三方面，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如本申请任一实施例提供的数据处理方法。

第四方面，本申请实施例还提供一种服务器数据处理装置，包括处理器和存储器，所述存储器有计算机程序，所述处理器通过调用所述计算机程序，用于执行如本申请任一实施例提供的数据处理方法。

本申请实施例提供的技术方案，可以应用于数据处理装置，包括：接收至少一个待处理数据包；逐一解析所述至少一个待处理数据包；每当解析一个所述待处理数据包获取到对应的待处理数据时，将所述待处理数据分发至处理终端。基于该方案，每接收到一个待处理数据包则对其进行解析以获取待处理数据，加快了获取到待处理数据的速度，且每当获取到一个待处理数据则分发待处理数据至处理终端，使得处理终端能及时得到待处理数据以进行数据处理，提高了数据处理的效率，提高了数据处理的整体效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的数据处理方法的第一种流程示意图。

图2是待处理数据集中包含待处理数据包的示意图。

图3是本申请实施例提供的数据处理方法的第二种流程示意图。

图4是本申请实施例提供的数据处理方法应用于文件标注的场景示意图。

图5是本申请实施例提供的数据处理装置的第一种结构示意图。

图6是本申请实施例提供的数据处理装置的第二种结构示意图。

图7是本申请实施例提供的服务器的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请的保护范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例提供一种数据处理方法、装置、存储介质及服务器，其中，数据处理方法的执行主体可以是本申请实施例提供的数据处理装置，或者集成了该数据处理装置的服务器，其中该数据处理装置可以采用硬件或者软件的方式实现。服务器可以为单独的一台服务器，也可以是多台服务器构成的服务器集群。该数据处理装置可以在服务器集群中。

请参照图1，图1为本申请实施例提供的数据处理方法的流程示意图。该数据处理方法应用于本申请提供的服务器，如图1所示，本申请实施例提供的数据处理方法的流程可以如下：

在100中，接收至少一个待处理数据包。

其中，当接收待处理数据包后，直接在服务器的内存中对待处理数据包进行处理，无需存储到数据存储模块。

示例性地，待处理数据集可存储在用户终端，由用户终端将待处理数据集中的待处理数据打包为待处理数据包之后，发送至服务器。

其中，待处理数据集中包含有一个或者多个待处理数据，而一个待处理数据包中可包含一个或多个待处理数据，用户终端可将所有待处理数据打包成至少一个待处理数据包。其中，待处理数据可为图片、音频、视频、文件、数据块或其混合等，此处并不进行限定。

当用户终端将待处理数据包发送给服务器时，可以设置发送方式为每次仅将待处理数据集中的一个或两个待处理数据包发送至服务器，此处并不对每次发送待处理数据包的数量进行限定，只需小于待处理数据集中所有待处理数据包的数量即可，也即实现对待处理数据集中部分待处理数据进行发送。

请参阅图2，图2为待处理数据集中包含多个待处理数据的示意图，如图2所示，一个待处理数据集中包括有n个待处理数据：待处理数据E1、待处理数据E2…待处理数据En。而一个或多个待处理数据被打包为待处理数据包Z1…Zn。

在200中，逐一解析至少一个待处理数据包。

每当服务器接收一个待处理数据包，则对待处理数据包进行解析，进而得到待处理数据。其中，通过对待处理数据包的文件结构进行解析，进而能够确定待处理数据包中待处理数据的存储情况，以及待处理数据地址、待处理数据的数据量以及待处理数据名称等。

比如，当待处理数据包为文件压缩包时，可通过文件压缩包的结构进行解析，得到文件压缩包的解压方式，进而对文件压缩包进行解压缩处理得到待处理数据。

其中，待处理数据集中至少包括一个待处理数据，用户终端可以将至少任意一个待处理数据打包成待处理数据包，也可以按照顺序将至少一个待处理数据打包成待处理数据包，也可以将指定的至少一个待处理数据打包成待处理数据包。

相应地，待处理数据集中至少包括一个待处理数据包，用户终端可以将任意一个待处理数据包依次发送给服务器，也可以按照打包顺序发送，也可每次指定一个或多个待处理数据包发送给服务器，由于指定待处理数据包发送的方式有多种，可以基于多种方式实现，此处并不一一列举。

需要说明的是，只要能够将待处理数据集中的一个或多个待处理数据包发送给服务器的方式均可用于本申请。

可知，凡是能够将待处理数据集中部分待处理数据发送给服务器，使得服务器接收到部分待处理数据的方式，即可缩短服务器接收待处理数据的时长，进而可以提高数据传输以及后续数据处理的效率。

基于此，凡是能够实现服务器接收待处理数据集中部分待处理数据的方式均属于本申请方案的延伸，属于本申请所要求的保护范围。

优选地，为保证以服务器解析待处理数据包的效率，可设置每次接收的待处理数据包的数量不超过待处理数据集中所有待处理数据包的总数量即可。

在300中，每当解析一个待处理数据包获取到对应的待处理数据时，将待处理数据分发至处理终端。

每当服务器接收到一个待处理数据包，对该待处理数据包进行解析得到待处理数据之后，则立刻将该待处理数据分发至处理终端进行数据处理。

其中，待处理数据为指定类型的数据，处理终端则根据指定的类型对数据进行处理。比如，待处理数据为待标注数据时，则处理终端用于对待标注数据进行标注，而当待处理数据为待分类数据时，则处理终端用于对待分类数据进行分类，具体的实施方式此处不再列举，只需说明处理终端是用于对待处理数据进行不同方式的处理即可。

通过逐一对待处理数据集中的待处理数据包进行解析，并逐一得到待处理数据后将其分发给处理终端进行处理，进而实现了以较小的网络占用量传输待处理数据包和待处理数据，也避免了待处理数据包和待处理数据占用过多内存，且通过逐一解析及分发，实现了流水线式的分发方式，相比于现有技术中对待处理数据进行统一接收、统一解析及统一分发而言，避免了传输量冗余，节省了网络占用量，进而加快了待处理数据包和待处理数据的传输进程，提高了数据处理效率。

可选地，在一实施例中，每当解析一个待处理数据包获取到对应的待处理数据时，将待处理数据分发至处理终端，包括：

每当解析一个待处理数据包获取到对应的待处理数据时，存储获取到的待处理数据，并获取待处理数据的存储信息；

根据存储信息读取待处理数据，并将读取的待处理数据分发至处理终端。

在一示例中，若为一个服务器，在服务器获取待处理数据包后对其进行解析，得到待处理数据，并存储待处理数据生成存储信息。当进行数据分发时，根据存储信息获取待处理数据分发给处理终端。

在另一示例中，若为服务器集群，则包括数据服务器和分发服务器，数据服务器用于获取待处理数据包后对其进行解析，得到待处理数据，并存储待处理数据生成存储信息，之后将存储信息发送给分发服务器。

当分发服务器接收到存储信息之后，根据存储信息从数据处理器中获取待处理数据，并将获取的待处理数据分发给处理终端。

本实施例通过以服务器的内存读入待处理数据包，而内存读取待处理数据包的速度高效且便于数据缓存，进而能够提高所有待处理数据包的读取效率，使得对数据包的读取效率提高。

当读取到待处理数据后，将待处理数据存储在指定位置，进而获取存储信息，通过存储数据，不会造成数据遗失。之后，在进行数据分发时，可根据存储信息读取待处理数据，并将待处理数据分发给处理终端。

可选地，在一实施例中，存储获取到的待处理数据，包括：

将获取到的待处理数据上传至云端存储器。

本实施例通过以服务器的内存解析待处理数据包，且对待处理数据包进行解析之后并不会在内存中存储该待处理数据包对应的待处理数据，而是每接收一个待处理数据包，则将解析得到的待处理数据传输至云端存储器并存储。

示例性地，若为一个服务器，则服务器解析得到待处理数据后直接将该待处理数据上传至云端存储器存储，并记录存储信息。当进行数据分发时，则根据存储信息从云端存储器获取待处理数据分发给处理终端。

示例性地，若为服务器集群，则包括数据服务器和分发服务器。当数据服务器解析得到待处理数据后，则将待处理数据上传至云端存储器存储并记录存储信息，之后将存储信息下发给分发服务器，以使分发服务器根据存储信息从云端存储器中获取待处理数据，并将待处理数据分发给处理终端。

以此，将待处理数据存储在云端存储器，能够方便处理终端从云端存储器获取待处理数据，且不会占用服务器过多内存，不会影响服务器其它进程，便于优化服务器性能，也避免了待处理数据不会因物理因素丢失。

再者，每当服务器通过获取一个待处理数据包之后，则立刻对待处理数据包进行解析得到待处理数据，并转至云端存储器存储，也实现了将从待处理数据集中的获取并解析多个待处理数据，并在不同时刻将解析的待处理数据传输至云端存储器，既通过传输网络占用量小的待处理数据而提高了传输效率，避免了传输卡顿，也提高了待处理数据同步至云端存储器的时效性，方便后续其它处理终端从云端存储器及时获取到该待处理数据，以对待处理数据进行处理，提高了数据传输及处理的整体效率。

由上可知，在本申请中，服务器在接收待传输数据包过程中，通过将解析的待处理数据转存至云端存储器。以此，使得待处理数据包在传输过程中的网络占用量减小，提高了传输效率，且将待处理数据存储在云端存储器并不存储在服务器的内存中，能够避免占用服务器内存，进而避免了影响了服务器其它进程，提高了服务器的性能。

进一步地，上述实施例中数据存储和数据分发中的数据传输方式可采用多线程并行的方式，比如，数据接收、数据解析、数据存储和数据分发均可采用多线程并行的方式。

本实施例采用并发传输的方式同时传输多个待处理数据包或待处理数据，能够提高传输效率。其中，并发传输的方式是通过多个发送端对应一个接收端，进而以多个发送端将多个数据并发传输给一个接收端。

在本实施例中，是为每个待处理数据包或待处理数据各设置一个发送端，通过多个发送端发送多个待处理数据包或待处理数据，实现了多个待处理数据包或待处理数据的同步传输，且避免了原来单对单传输方式对发送端造成的压力，能够提高服务器对待处理数据的传输效率。

可选地，在一实施例中，每当解析一个待处理数据包获取到对应的待处理数据时，存储获取到的待处理数据，并获取待处理数据的存储信息，包括：

每当解析一个待处理数据包获取到对应的待处理数据时，获取待处理数据的数据量；

当数据量大于预设阈值时，以预设阈值为基准拆分待处理数据，得到多个子数据；

存储多个子数据，并获取多个子数据的存储信息；

根据存储信息读取待处理数据，并将读取的待处理数据分发至处理终端，包括：

根据多个子数据的存储信息读取多个子数据，并将读取的多个子数据分发至处理终端。

在本实施例中，通过分析待处理数据的待处理数据的数据量，进而将数据量与预设阈值进行比较，当数据量大于预设阈值时，则说明待处理数据的数据量过大，则需要对待处理数据进行拆分处理，而当待处理数据的数据量小于或等于预设阈值时，则说明待处理数据的数据量可以直接进行存储，则并不需要再对待处理数据进行拆分处理。

其中，待处理数据的数据量以字节数进行表示。

而预设阈值可以由用户自定义设定，也可设置为默认数值，也可根据存储器可存储情况而自适应调节，此处并不对预设阈值的设置方式及数值进行限定。

示例性地，当设置了预设阈值之后，每当服务器得到一个待处理数据，则分析该待处理数据的数据量，进而判断是否需要对待处理数据进行拆分。

此处进行举例说明，比如，设置预设阈值为10MB，若待处理数据E1的数据量为8MB，则判定待处理数据E1的数据量小于预设阈值，则不对待处理数据E1进行拆分处理；若待处理数据待处理数据E2的数据量为15MB，则判定待处理数据E2的数据量大于预设阈值，则需要对待处理数据E2进行拆分处理。

当需要对待处理数据进行拆分时，则将拆分得到的多个子数据依次存储，且当存储完成一个待处理数据对应的多个子数据之后，根据存储信息获取多个子数据，并将多个子数据分发给处理终端。

基于预设阈值的设置方式，相应的，本申请对待处理数据拆分后的得到的子数据的大小也并不做限定，只要能够实现在待处理数据过大时对待处理数据进行拆分即可，进而可以保证待处理数据以较小的数据占用量进行传输，能够提高传输效率。

本申请实施例中，通过设置预设阈值，进而判断是否需要对待处理数据进行拆分，以便控制待处理数据传输至云端存储器或处理终端时的网络占用量，进而提高了待处理数据的存储及分发的效率，进而提高了后续其它处理终端获取待处理数据的效率。

其中，对待处理数据进行拆分是以预设阈值为基准的，即根据字节对待处理数据进行拆分，得到多个子数据，子数据的数量为待处理数据的数据量与预设阈值的比值，需要说明的是，此处限定子数据的数量为整数。

示例性地，可根据预设阈值对待处理数据进行顺序拆分，也可根据预设阈值对待处理数据进行均分，此处仅列举两种拆分方式，由于拆分方式有多种，此处并不逐一列举。以下以此示例中提及的两种拆分方式进行举例说明，比如：

预设阈值为10MB，若待处理数据E2的数据量为15MB，则将待处理数据E2拆分为两个子数据，两个子数据分别为子数据EP1和子数据EP2。若采用顺序拆分的方式，则子数据EP1的数据量为10MB，子数据EP2的数据量为5MB；若采用均分的方式，则子数据EP1的数据量为7.5MB，子数据EP2的数据量为7.5MB。

基于此，则可表明本实施例中也并不对子数据的数据量进行限定，只要满足每个子数据的数据量小于或等于预设阈值即可。

请参阅图3，图3为本申请实施例提供的数据处理方法的第二种流程示意图。

该实施例中，步骤S310，每当解析一个待处理数据包获取到对应的待处理数据时，存储获取到的待处理数据，并获取待处理数据的存储信息，包括：

步骤S311、每当解析一个待处理数据包获取到对应的待处理数据时，获取待处理数据的数据量；

步骤S312、当数据量大于预设阈值时，以预设阈值为基准拆分待处理数据，得到多个子数据；

步骤S313、存储多个子数据，并获取多个子数据的存储信息；

步骤S320，根据存储信息读取待处理数据，并将读取的待处理数据分发至处理终端，包括：

步骤S321、根据多个子数据的存储信息读取多个子数据，并将读取的多个子数据分发至处理终端。

在本实施例中，通过对待处理数据E1进行判断，当待处理数据E1的数据量小于预设阈值，将待处理数据E1存储在服务器或云端存储器中，在进行数据分发时，根据待处理数据E1的存储信息进而获取到待处理数据E1，并将待处理数据E1发送给处理终端。

当对待处理数据E2进行判断时，若待处理数据E2的数据量大于预设阈值，将待处理数据E2拆分成子数据EP1和子数据EP2先将子数据EP1存储在服务器或云端存储器中，之后将子数据EP2存储在服务器或云端存储器中，在进行数据分发时，根据子数据EP1和子数据EP2的存储信息获取子数据EP1和子数据EP2，并将子数据EP1和子数据EP2发送给处理终端。

进一步地，在一实施例中，可采用多线程并行的方式传输多个子数据。

本申请实施例进一步提供对于同一个待处理数据的子数据进行同步传输的方案。通过同步同一个待处理数据的多个子数据的存储及分发的传输时间，便于后续其它处理终端从云端同时获取到多个子文件，进而提高了子数据的传输及处理效率。

示例性地，当将待处理数据读入内存后，则会在内存中自动生成相应的数据信息，比如，将待处理数据待处理数据E1读入内存后，则内存中形成待处理数据E1的数据模块，该数据模块具有待处理数据E1的完整的数据信息，其中，数据信息包括存储信息、数据名称、数据量等。

相应地，当对待处理数据进行拆分后，也在数据信息中记录该拆分结果。比如，待处理数据待处理数据E2拆分成两个子数据EP1和子数据EP2，则在待处理数据E2的数据信息中记录子数据EP1和子数据EP2的数据名称、数据量及存储信息等。由于数据信息中所记载的内容依据待处理数据的变化而增加或删除，此处并不进行赘述，只需说明的是，只要待处理数据经过被读取、拆分或存储等操作，则数据信息中则自动增加记录，通过数据信息能够快速获取并查看待处理数据的内容。

可选地，在一实施例中，待处理数据包为数据压缩包，待处理数据为待标注数据，处理终端为标注终端；

逐一解析至少一个待处理数据包，包括：

逐一对至少一个数据压缩包进行解压缩处理；

每当解析一个待处理数据包获取到对应的待处理数据时，将待处理数据分发至处理终端，包括：

每当解压缩一个数据压缩包获取到对应的待标注数据时，将待标注数据分发至标注终端。

其中，待标注数据可为图片、音频、视频、文件、数据块或其混合等，此处并不进行限定。

而将待标注数据分发至标注终端后，则由标注终端对待标注数据进行标注处理。其中，标注终端可通过对待标注数据进行自动识别进行标注，也可通过标注专家使用标注终端对待标注数据进行标注。而对待标注数据进行标注的内容并不限于如对图片进行图片分类，比如，将其中的人物标注出来，或者对音频进行分类，比如，通过音频内容标注出作曲家、曲目类别、歌词等内容，或者对文件进行批注，比如，将其中的标题、目录、字数等信息标注出来。由于对待标注数据进行标注处理的方式以及可标注的内容有多种，此处也并不进行限定，只需说明处理待标注终端是对待标注数据进行标注处理即可。

可选地，在一实施例中，将待标注数据分发至标注终端之后，还包括：

接收标注终端发送的标注结果，并将标注结果与对应的待标注数据关联后存储。

当通过标注终端对待标注数据进行标注之后，标注终端将标注结果反馈给服务器，以便将标注结果与待标注数据进行一一对应，之后将标注结果与对应的待标注数据存储在一起，便于查看标注结果。

现有技术中，是通过将所有待处理数据压缩后传送给服务器，对压缩包解压得到所有待标注数据后并存储，此种方式造成传输量大，传输效率低。且服务器解压所有待标注数据之后才将所有待标注数据分发给标注终端，则造成标注终端接收到的数据量过大，影响标注进程，且影响后续的标注结果反馈，进而造成数据标注的整体效率低下。

而本申请的方案解决了这一问题，请参阅图4，图4是本申请实施例提供的数据处理方法应用于文件标注的场景示意图。本申请的方案是：在服务器集群中包括数据服务器、分发服务器和云端存储器，数据服务器每次接收至少一个待标注数据包，并对待标注数据包进行解析得到待标注数据并存储该待标注数据，比如，待处理数据E1和待处理数据E2，其中，若待处理数据E2的数据量大于预设阈值，则对待处理数据E2进行拆分处理得到子数据EP1和子数据EP2，并将待处理数据E1、子数据EP1和子数据EP2存储在云端存储器，并记录存储信息后，将存储信息依次发送给分发服务器，以使分发服务器从云端存储器中读取待处理数据E1后将待处理数据E1分发给标注终端，从云端存储器中读取到子数据EP1和子数据EP2后，将子数据EP1和子数据EP2同时分发给标注终端。

本申请中通过逐一接收待标注数据包，并逐一解析得到待标注数据后将其发送至云端存储器进行存储，之后每当存储一个待标注数据则向分发服务器发送存储位置，使得分发服务器依次读取待标注数据，并依次分发给标注终端，实现了流水线式的数据传输及处理过程，提高了数据标注的效率。且本申请中还通过对待标注数据的数据量进行判断，进而对待标注数据进行拆分，以此缓解了传输过程中的压力，提高了数据传输及处理的效率。

可以理解地，本申请方法中可设置一个服务器或者服务器集群用于实现本申请的方法，此处对于服务器的数量并未进行限定，只要能够实现本申请方法即可。

可以理解地，本申请中的标注终端可以为一个或多个，此处并不进行数量的限制，只要能够接收待标注数据并进行标注即可。

请参照图5，图5为本申请实施例提供的数据处理装置的第一种结构示意图。如图5所示，该数据处理装置100可以包括：

数据接收模块10，用于接收至少一个待处理数据包；

数据解析模块20，用于逐一解析至少一个待处理数据包；

数据分发模块30，用于每当解析一个待处理数据包获取到对应的待处理数据时，将待处理数据分发至处理终端。

可选地，在一实施例中，如图6所示，图6为本申请实施例提供的数据处理装置的第二种结构示意图，数据处理装置100还包括：

数据存储模块40，用于每当解析一个待处理数据包获取到对应的待处理数据时，存储获取到的待处理数据，并获取待处理数据的存储信息，将存储信息发送至数据分发模块30；

数据分发模块30，还用于接收数据存储模块40发送的存储信息，并根据存储信息读取待处理数据，并将读取的待处理数据分发至处理终端。

通过数据接收模块10接收待处理数据包，通过数据解析模块20逐一解析待处理数据包，通过数据存储模块40存储获取到的待处理数据，且数据存储模块40则生成对应的存储信息。其中，不同待处理数据可分区域存储，以便对待处理数据进行区分，方便后续从数据存储模块40中获取待处理数据。

当数据存储模块40存储待处理数据后，则获取待处理数据的存储信息，并将存储信息发送给数据分发模块30。

当数据分发模块30接收到存储信息之后，则根据存储信息从数据存储模块40中获取对应的待处理数据，进而将待处理数据分发给处理终端。

可选地，在一实施例中，每当解析一个待处理数据包获取到对应的待处理数据时，存储获取到的待处理数据，并获取待处理数据的存储信息，将存储信息发送至数据分发模块30时，数据存储模块40还用于：

每当解析一个待处理数据包获取到对应的待处理数据时，获取待处理数据的数据量；

当数据量大于预设阈值时，以预设阈值为基准拆分待处理数据，得到多个子数据；

存储多个子数据，并获取多个子数据的存储信息。

可选地，在一实施例中，在根据存储信息读取待处理数据，并将读取的待处理数据分发至处理终端时，数据分发模块30用于：

根据多个子数据的存储信息读取多个子数据，并将读取的多个子数据分发至处理终端。

可选地，在一实施例中，当存储获取到的待处理数据时，数据存储模块40还用于：

将获取到的待处理数据上传至云端存储器。

数据处理装置100包括数据接收模块10和数据解析模块20，当数据接收模块10接收到待处理数据包之后，通过数据解析模块20对待处理数据包进行解析得到待处理数据，并在数据存储模块40存储待处理数据之后，将待处理数据转存至云端存储器。

当云端存储器接收到待处理数据后，对待处理数据进行存储，则数据存储模块40记录待处理数据的存储信息，并将存储信息发送给数据分发模块30。

当数据分发模块30接收到存储信息后，则根据存储信息从云端存储器中获取待处理数据，当获取到待处理数据后，将待处理数据分发给处理终端。

本实施例中通过在云端存储器存储待处理数据，以此既避免了数据丢失，也不占用内存空间。

可选地，在一实施例中，采用多线程并行的方式将获取到的待处理数据上传至云端存储器。

可选地，在一实施例中，待处理数据包为数据压缩包，待处理数据为待标注数据，处理终端为标注终端；

当逐一解析至少一个待处理数据包时，数据解析模块20用于：

逐一对至少一个数据压缩包进行解压缩处理；

每当解析一个待处理数据包获取到对应的待处理数据时，将待处理数据分发至处理终端时，数据解析模块20用于：

每当解压缩一个数据压缩包获取到对应的待标注数据时，将待标注数据分发至标注终端。

可选地，在一实施例中，每当将待标注数据分发至标注终端之后，数据分发模块30还用于：

接收标注终端发送的标注结果，并将标注结果与对应的待标注数据关联后存储。

应当说明的是，本申请实施例提供的数据处理装置100与上文实施例中的服务器数据处理方法属于同一构思，其具体实现过程详见以上相关实施例，此处不再赘述。

本申请实施例提供一种存储介质，其上存储有计算机程序，当其存储的计算机程序在本申请实施例提供的服务器的处理器210上执行时，使得服务器的处理器210执行以上任一适用服务器200的数据处理方法中的步骤。其中，存储介质可以是磁碟、光盘、只读存储器(Read Only Memory，ROM)或者随机存取器(Random Access Memory，RAM)等。

本申请还提供一种服务器200，请参照图7，服务器200包括处理器210和存储器220。

本申请实施例中的处理器210可以是通用处理器210，比如ARM架构的处理器210。

存储器220中存储有计算机程序，其可以为高速随机存取存储器，还可以为非易失性存储器，比如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件等。相应地，存储器220还可以包括存储器控制器，以提供处理器210对存储器220的访问。处理器210通过执行存储器220中的计算机程序，用于执行以上任一适于服务器的数据处理方法，比如：

接收至少一个待处理数据包；

逐一解析至少一个待处理数据包；

每当解析一个待处理数据包获取到对应的待处理数据时，将待处理数据分发至处理终端。

以上对本申请所提供的一种数据处理方法、装置、存储介质及服务器进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种数据处理方法，其特征在于，应用于数据服务器，方法包括：

接收至少两个待处理数据包，所述至少两个待处理数据包通过对待处理数据集中至少两个待处理数据打包得到；

逐一解析所述至少两个待处理数据包；

每当解析一个所述待处理数据包获取到对应的待处理数据时，存储获取到的待处理数据，并生成所述待处理数据的存储信息；

每当生成一个存储信息时，将生成的存储信息发送至分发服务器，以使所述分发服务器根据接收到的存储信息读取对应的待处理数据，并将读取到的待处理数据分发至处理终端。

2.如权利要求1所述的数据处理方法，其特征在于，所述每当解析一个所述待处理数据包获取到对应的待处理数据时，存储获取到的待处理数据，并生成所述待处理数据的存储信息之后，还包括：

获取所述待处理数据的存储信息；

根据所述存储信息读取所述待处理数据，并将读取的待处理数据分发至所述处理终端。

3.如权利要求2所述的数据处理方法，其特征在于，所述每当解析一个所述待处理数据包获取到对应的待处理数据时，存储获取到的待处理数据，并生成所述待处理数据的存储信息，包括：

每当解析一个所述待处理数据包获取到对应的待处理数据时，获取所述待处理数据的数据量；

当所述数据量大于预设阈值时，以所述预设阈值为基准拆分所述待处理数据，得到多个子数据；

存储所述多个子数据，并生成所述多个子数据的存储信息；

根据所述存储信息读取所述待处理数据，并将读取的待处理数据分发至所述处理终端，包括：

根据所述多个子数据的存储信息读取所述多个子数据，并将读取的多个子数据分发至所述处理终端。

4.如权利要求3所述的数据处理方法，其特征在于，所述存储所述获取到的待处理数据，包括：

将所述获取到的待处理数据上传至云端存储器。

5.如权利要求4所述的数据处理方法，其特征在于，所述将所述获取到的待处理数据上传至云端存储器，包括：

采用多线程并行的方式将所述获取到的待处理数据上传至所述云端存储器。

6.如权利要求1至5任一项所述的数据处理方法，其特征在于，所述待处理数据包为数据压缩包，所述待处理数据为待标注数据，所述处理终端为标注终端；

所述逐一解析所述至少两个待处理数据包，包括：

逐一对所述至少两个数据压缩包进行解压缩处理；

所述每当解析一个所述待处理数据包获取到对应的待处理数据时，存储获取到的待处理数据，并生成所述待处理数据的存储信息，包括：

每当解压缩一个所述数据压缩包获取到对应的待标注数据时，存储获取到的待标注数据，并生成所述待标注数据的存储信息；

每当生成一个存储信息时，将生成的存储信息发送至分发服务器，以使所述分发服务器根据接收到的存储信息读取对应的待标注数据，并将读取到的待标注数据分发至所述标注终端。

7.如权利要求6所述的数据处理方法，其特征在于，所述将获取到的待标注数据分发至所述标注终端之后，还包括：

接收所述标注终端发送的标注结果，并将所述标注结果与对应的待标注数据关联后存储。

8.一种数据处理装置，其特征在于，所述数据处理装置包括：

数据接收模块，用于接收至少两个待处理数据包，所述至少两个待处理数据包通过对待处理数据集中至少两个待处理数据打包得到；

数据解析模块，用于逐一解析所述至少两个待处理数据包；

数据存储模块，用于每当解析一个所述待处理数据包获取到对应的待处理数据时，存储获取到的待处理数据，并生成所述待处理数据的存储信息；

数据分发模块，用于每当生成一个存储信息时，将生成的存储信息发送至分发服务器，以使所述分发服务器根据接收到的存储信息读取对应的待处理数据，并将读取到的待处理数据分发至处理终端。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1至7任一项所述的数据处理方法。

10.一种服务器，包括处理器和存储器，所述存储器存储有计算机程序，其特征在于，所述处理器通过调用所述计算机程序，用于执行如权利要求1至7任一项所述的数据处理方法。

Images