CN112187663A - 基于通信负载的数据传输方法、装置及系统 - Google Patents

Abstract

本申请提供一种基于通信负载的数据传输方法、装置及系统，涉及大数据技术领域。中心处理设备与多个通信设备连接，方法应用于任一通信设备，包括：确定出待传输数据的类别数；预估每个类别的待传输数据的数据量；根据通信设备在当前状态下的最大并发线程数确定出用于传输数据的计划并发线程数；根据待传输数据的类别数、每个类别的待传输数据的数据量和计划并发线程数对通信设备的通信资源进行分组，分组后得到的每个通信资源组的线程数相同或不同，且每个类别的待传输数据均有对应的通信资源组；生成与类别对应的识别标识，并根据对应的通信资源组和对应的识别标识，传输该类别的待传输数据，以使中心处理设备根据识别标识将接收的数据分类存储。

Description

基于通信负载的数据传输方法、装置及系统

技术领域

本申请涉及大数据技术领域，具体而言，涉及一种基于通信负载的数据传输方法、装置及系统。

背景技术

随着科技的迅速发展，大数据时代悄然来临。大数据时代下，每天会产生海量数据，而对这些数据的传输，以及对大数据的分析处理(例如分类、序列特征提取、数据可视化等)，对中心处理设备(例如中心服务器)的性能提出了极大的挑战，处理设备宕机的风险显著提升。

发明内容

为了至少克服现有技术中的上述不足，本申请的目的在于提供一种基于通信负载的数据传输方法、装置及系统，以缓解中心处理设备的压力。

第一方面，本申请实施例提供一种基于通信负载的数据传输方法，中心处理设备与多个通信设备连接，所述方法应用于任一通信设备，所述方法包括：

确定出待传输数据的类别数；

预估每个类别的待传输数据的数据量；

根据通信设备在当前状态下的最大并发线程数，确定出用于传输数据的计划并发线程数；

根据所述待传输数据的类别数、每个类别的待传输数据的数据量和所述计划并发线程数，对所述通信设备的通信资源进行分组，其中，分组后得到的每个通信资源组的线程数相同或不同，且每个类别的待传输数据均有对应的通信资源组；

生成与类别对应的识别标识，并根据对应的通信资源组和对应的识别标识，传输该类别的待传输数据，以使所述中心处理设备根据所述识别标识将接收的数据分类存储。

有益效果：通过在通信设备端对待传输数据进行分类后再进行传输，能够减少中心处理设备(例如中心服务器)任务量，从而可以减轻中心处理设备的压力。而结合通信设备的并发线程数、待传输数据的类别数和每个类别对应的数据量，对通信设备的通信资源进行灵活分配，可以有效提高数据的传输效率。

结合第一方面，在第一方面的第一种可能的实现方式中，所述生成与类别对应的识别标识，并根据对应的通信资源组和对应的识别标识，传输该类别的待传输数据，包括：

根据所述待传输数据的类别，生成与所述中心处理设备约定的识别标识；

根据所述识别标识，生成与该类别对应的通信资源组使用的连接验证信息，其中，所述连接验证信息中包含所述识别标识，所述连接验证信息用于在所述通信设备与所述中心处理设备建立通信连接时进行验证，以使所述中心处理设备在对包含所述识别标识的所述连接验证信息进行验证时，确定出将要接收的数据的类别；

根据所述连接验证信息，向所述中心处理设备传输该类别的待传输数据。

有益效果：采用在通信设备与中心处理设备建立连接时的验证信息上加识别标识，可以实现在接收数据前识别待传输数据的类别，以缓解中心处理设备在决定接收数据后或者接受数据后才能实现对数据的分类而引起的资源占用问题，可以进一步减小中心处理设备在接收数据时需要同时处理的工作量，进一步提升数据传输的效率。

结合第一方面，在第一方面的第二种可能的实现方式中，在所述生成与类别对应的识别标识，并根据对应的通信资源组和对应的识别标识，传输该类别的待传输数据之前，所述方法还包括：

根据每个类别的待传输数据的实时性，将该类别的待传输数据划分为第一数据和第二数据，其中，所述第一数据表示实时性相对更强的待传输数据，所述第二数据表示实时性相对更弱的待传输数据；

根据所述第一数据和所述第二数据在该类别的待传输数据中的占比，对该类别对应的通信资源进行划分，得到用于传输所述第一数据的第一资源组和传输所述第二数据的第二资源组；

对所述第一数据进行打包，得到多个第一数据包，其中，所述第一数据包的大小相同或不同，且所述第一数据包的大小位于第一预设范围内；

对所述第二数据进行打包，得到多个第二数据包，其中，所述第二数据包的大小相同或不同，且所述第二数据包的大小位于第二预设范围内，所述第二预设范围的最大值高于所述第一预设范围的最大值，所述第一数据包和所述第二数据包为所述待传输数据。

有益效果：在同一数据传输的过程中，采用不同方式对不同实时性数据进行灵活的传输(主要通过数据包的大小不同来实现)。对于实时性强的数据，可以采用较小的数据包传输，实现快速传输；而对于实时性弱的数据可以采用较大的数据包传输，从而尽可能减少由于多次建立通信连接而消耗的时间，以提高数据的传输效率。

结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，对所述第一数据进行打包，得到多个第一数据包，包括：

确定出所述第一数据的数据量S，以及，确定出所述第一资源组的线程数k，其中S和k均大于零；

将所述第一数据划分为k份，其中，k份数据中每份数据的数据量不同，且其中数据量最大的一份数据与数据量最小的一份数据之间的数据量差异在预设数据量差异范围内；

根据数据量大小，将每份数据进行打包，得到多个数据包，其中，对数据量相对更大的一份数据进行打包而得到的单个数据包的大小更大，且每份数据对应的数据包的平均大小，与其他任一份数据对应的数据包的平均大小之间的差异为两倍；

对应的，在生成与类别对应的识别标识，并根据对应的通信资源组和对应的识别标识，传输该类别的待传输数据时，每个线程负责对应该份数据的数据包的传输。

有益效果：将实时性较强的第一数据划分对应线程数的份数，每一线程对应负责一份数据的传输，其中，一份数据可以包括多条数据、多个数据包。而对于不同份的数据，可以打包为不同大小的数据包，从而在保证数据传输的实时性的同时，也可以尽可能地减少建立通信时的时间，从而提高数据传输的效率。并且通过这样的划分方式和打包方式，可以尽可能协调各份待传输数据的传输时间，尽可能使各份待传输数据的传输时间趋于一致，从而能够提高数据传输的效率。

结合第一方面的第二种可能的实现方式，在第一方面的第四种可能的实现方式中，对所述第二数据进行打包，得到多个第二数据包，包括：

确定出所述第二数据的数据量H，以及，确定出所述第二资源组的线程数j，其中H和j均大于零；

将所述第二数据打包为多个第一大小的数据包和多个第二大小的数据包，其中，所述第一大小和所述第二大小均在第二预设范围内，且所述第一大小与所述第二大小之间差异在预设倍数以上；

对应的，在生成与类别对应的识别标识，并根据对应的通信资源组和对应的识别标识，传输该类别的待传输数据时，每个线程负责对所述第一大小的数据包和/或所述第二大小的数据包的传输。

有益效果：与第一数据不同，第二数据的实时性较弱，因此可以打包为更大一点的数据包，尽可能减少建立通信时浪费的时间。而为了保证数据传输的灵活性，可以同时打包一些相对较小的数据包，避免传输数据时对通信设备的大量通信资源的长时间占用的情况，可以尽可能在提高数据传输效率的同时，减小因长时间占用过多通信资源而对通信设备造成的风险。另外，此种方式中，用于传输第二数据的线程可以灵活使用，从而可以进一步降低数据传输过程中因某些线程或数据造成的故障风险。

结合第一方面，在第一方面的第五种可能的实现方式中，所述根据所述待传输数据的类别数、每个类别的待传输数据的数据量和所述计划并发线程数，对所述通信设备的通信资源进行分组，包括：

根据所述计划并发线程数，确定出预设比例的机动线程数，并确定出包含所述机动线程数的通信资源的机动资源组，其中，所述机动资源组用于动态调配通信资源，以对其他通信资源组的数据传输进行辅助；

确定出每个类别的待传输数据的数据量之间的数据比例；

根据所述数据比例和类别数，将剩余通信资源按照线程数进行分组，得到与类别数一致的通信资源组，且不同通信资源组中线程数之间的比例与每个类别的数据比例对应，其中，所述剩余通信资源表示所述通信设备包含计划并发线程数的通信资源中除去所述机动资源组的通信资源后剩余的通信资源。

有益效果：根据待传输数据的类别和对应的数据量，将通信设备的通信资源划分为机动资源组和各类别对应的通信资源组，通信资源组负责对应类别的待传输数据的传输，而机动资源组用于动态调配通信资源，以对其他通信资源组的数据传输进行辅助，可以尽可能灵活地协调对待传输数据地传输。

结合第一方面的第五种可能的实现方式，在第一方面的第六种可能的实现方式中，在传输所述待传输数据的过程中，所述方法还包括：

获取每个类别的待传输数据的传输进度；

确定出与所述传输进度最高的高进度类别的进度差异超出预设进度差的待加速类别；

在所述待加速类别数低于所述机动资源组中预设比例的线程数时，调用所述机动资源组中一半的线程数对所述待加速类别的待处理数据进行传输；

在所述待加速类别数不低于所述机动资源组中预设比例的线程数时，保留用于应急的最低线程数，调用所述机动资源组中保留所述最低线程数的线程后的剩余线程对所述待加速类别的待处理数据进行传输，其中，所述机动资源组对所述待加速类别的待处理数据进行传输时，均选择该类别当前的待传输数据中数据包大小最小的数据包进行传输。

有益效果：可以根据每个类别的待传输数据的传输进度，确定出待加速类别，在待加速类别数低于机动资源组中预设比例的线程数时，可以调用机动资源组中一半的线程数对待加速类别的待处理数据进行传输，以尽可能对待加速类别对应的数据的传输进度进行加速，提高数据传输的效率。而在待加速类别数不低于机动资源组中预设比例的线程数时，可以保留用于应急的最低线程数，其余的线程则可以对待加速类别的待处理数据进行传输，在此种加速模式下，均对待传输数据中数据包大小最小的数据包进行传输，以快速提升传输进度，并且能够尽可能避免对看激动资源组的通信资源占用时间过长的情况，从而保证传输的稳定性。

结合第一方面的第六种可能的实现方式，在第一方面的第七种可能的实现方式中，每个类别的待传输数据包括基于实时性划分的第一数据和第二数据，对所述第一数据进行打包得到的多个第一数据包的大小处于第一预设范围内，对所述第二数据进行打包得到的多个第二数据包的大小处于第二预设范围内，所述第一预设范围的最大值小于所述第二预设范围的最大值，所述调用所述机动资源组中一半的线程数对所述待加速类别的待处理数据进行传输，包括：

确定出所述待加速类别的数量，并对所述机动资源组中一半的线程数与所述数量进行取整运算，确定出每个所述待加速类别对应的加速线程数量；

确定出每个所述待加速类别的待传输数据中第一数据包的余量和第二数据包的余量之间的余量差异；

在所述待加速类别的所述余量差异高于预设余量差，且所述第一数据包的余量高于所述第二数据包的余量时，调用该待加速类别对应的加速线程中一半的线程对其第一数据包进行传输，调用该待加速类别对应的加速线程中另一半的线程对其第二数据包进行传输；

在所述待加速类别的所述余量差异高于预设余量差，且所述第二数据包的余量高于所述第一数据包的余量时，调用该待加速类别对应的加速线程中所有的线程对其第二数据包进行传输；

在所述待加速类别的所述余量差异不高于预设余量差时，调用该待加速类别对应的加速线程中不低于四分之三的线程对其第二数据包进行传输，调用该待加速类别对应的加速线程中剩余的加速线程对其第一数据包进行传输。

有益效果：确定出待加速类别的数量，并确定出对应每个待加速类别的线程数，进一步根据待加速类别的待传输数据中第一数据包的余量和第二数据包的余量之间的余量差异，确定对该类别的数据进行传输加速的模式：在第一数据包的余量高于第二数据包的余量时，则均衡分配通信资源，若第二数据包的余量高于第一数据包的余量，则全力对第二数据包的传输进行加速，在待加速类别的余量差异不高于预设余量差时，侧重于对第二数据包的传输进行加速。第二数据的实时性较弱，采用此种方式对待加速类别的数据的传输进行加速，可以尽可能减少因建立通信而浪费的时间，尽可能高效地实现对待加速类别的数据的加速传输。

第二方面，本申请实施例提供一种数据传输装置，中心处理设备与多个通信设备连接，所述方法应用于任一通信设备，所述装置包括：

类别数确定模块，用于确定出待传输数据的类别数；

数据量预估模块，用于预估每个类别的待传输数据的数据量；

线程数确定模块，用于根据通信设备在当前状态下的最大并发线程数，确定出用于传输数据的计划并发线程数；

通信资源分组模块，用于根据所述待传输数据的类别数、每个类别的待传输数据的数据量和所述计划并发线程数，对所述通信设备的通信资源进行分组，其中，分组后得到的每个通信资源组的线程数相同或不同，且每个类别的待传输数据均有对应的通信资源组；

数据传输模块，用于生成与类别对应的识别标识，并根据对应的通信资源组和对应的识别标识，传输该类别的待传输数据，以使所述中心处理设备根据所述识别标识将接收的数据分类存储。

第三方面，本申请实施例提供一种数据传输系统，包括中心处理设备和多个通信设备，每个所述通信设备连接与所述中心处理设备连接，

所述通信设备，用于确定出待传输数据的类别数；预估每个类别的待传输数据的数据量；根据通信设备在当前状态下的最大并发线程数，确定出用于传输数据的计划并发线程数；根据所述待传输数据的类别数、每个类别的待传输数据的数据量和所述计划并发线程数，对所述通信设备的通信资源进行分组，其中，分组后得到的每个通信资源组的线程数相同或不同，且每个类别的待传输数据均有对应的通信资源组；生成与类别对应的识别标识，并根据对应的通信资源组和对应的识别标识，传输该类别的待传输数据至所述中心处理设备；

所述中心处理设备，用于根据所述识别标识，确定出待传输数据的类别；并根据所述类别，确定出存储该类别的数据的目标存储空间；接收所述待传输数据，并将所述待传输数据存储至所述目标存储空间。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的数据传输系统的示意图；

图2为本申请实施例提供的电子设备的结构框图；

图3为本申请实施例提供的基于通信负载的数据传输方法的流程图；

图4为本申请实施例提供的基于通信负载的数据传输装置的结构框图。

图标：100-数据传输系统；110-通信设备；120-中心处理设备；200-电子设备；210-存储器；220-通信模块；230-总线；240-处理器；300-基于通信负载的数据传输装置；310-类别数确定模块；320-数据量预估模块；330-线程数确定模块；340-通信资源分组模块；350-数据传输模块。

具体实施方式

下面结合说明书附图对本申请进行具体说明，方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。在本申请的描述中，除非另有说明，“至少一个”包括一个或多个。“多个”是指两个或两个以上。例如，A、B和C中的至少一个，包括：单独存在A、单独存在B、同时存在A和B、同时存在A和C、同时存在B和C，以及同时存在A、B和C。在本申请中，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

如图1所示，本申请实施例提供一种数据传输系统100的示意图。

在本实施例中，数据传输系统100可以包括一个或多个通信设备110，以及中心处理设备120，每个通信设备110均与中心处理设备120连接，可以实现通信设备110与中心处理设备120之间的数据通信，例如数据传输、数据访问等。

在大数据时代下，中心处理设备120每天都会接收到来自通信设备110传送的大量数据，其面临的压力也是与日俱增。对于大数据的分析处理(可以包括数据的分类、序列特征提取、数据可视化等)，通常由中心处理设备完成，对中心处理设备120的性能提出了极大的挑战，处理设备的宕机风险显著提升。

基于此，本申请实施例提供一种基于通信负载的数据传输方法，以缓解中心处理设备的压力。在对基于通信负载的数据传输方法进行介绍前，此处先对方法运行的环境进行介绍。

如图2所示，电子设备200可以为服务器(即中心处理设备120)，也可以为终端(即通信终端110)。当电子设备200为服务器时，例如可以为网络服务器、数据库服务器、云服务器或由多个子服务器构成的服务器集成等；或者，当电子设备200为终端时，例如可以为个人电脑(personal computer，PC)、平板电脑、智能手机、个人数字助理(personal digitalassistant，PDA)等。当然，上述列举的设备为用于便于理解本实施例，其不应作为对本实施例的限定。

在本实施例中，电子设备200可以包括：存储器210、通信模块220、总线230和处理器240。其中，处理器240、通信模块220和存储器210通过总线230连接。

处理器240用于执行存储器210中存储的可执行模块，例如计算机程序。图3所示的电子设备200的组件和结构只是示例性的，而非限制性的，根据需要，电子设备200也可以具有其他组件和结构。

存储器210可能包含高速随机存取存储器(Random Access Memory RAM)，也可能还包括非不稳定的存储器(Non-Volatile Memory)，例如至少两个磁盘存储器。本实施例中，存储器210存储了实现本申请实施例提供的数据传输方法所需要的程序。

总线230可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图1中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类别的总线。

处理器240可能是一种具有信号的处理能力集成电路芯片。在实现过程中，电子设备200所实现的方法的各步骤可以通过处理器240中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器240可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门电路或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。电子设备200所运行的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。

本申请任意实施例揭示的流过程或定义的装置所执行的方法可以应用于处理器240中，或者由处理器240实现。处理器240在接收到执行指令后，通过总线230调用存储在存储器210中的程序后，处理器240通过总线230控制通信模块220则可以实现运行数据传输方法的流程。

在本实施例中，数据传输方法可以由通信终端执行，但由于涉及到与中心处理设备的数据交互，因此，数据传输方法的一部分步骤也可以通过通信终端与中心处理设备的配合来实现，此处不作限定，可以根据实际需要的设定为准。

如图3所示，图3为本申请实施例提供的一种基于通信负载的数据传输方法的流程图。在本实施例中，基于通信负载的数据传输方法可以包括：步骤S10、步骤S20、步骤S30、步骤S40和步骤S50。

步骤S10：确定出待传输数据的类别数。

步骤S20：预估每个类别的待传输数据的数据量。

步骤S30：根据通信设备在当前状态下的最大并发线程数，确定出用于传输数据的计划并发线程数。

步骤S40：根据所述待传输数据的类别数、每个类别的待传输数据的数据量和所述计划并发线程数，对所述通信设备的通信资源进行分组，其中，分组后得到的每个通信资源组的线程数相同或不同，且每个类别的待传输数据均有对应的通信资源组。

步骤S50：生成与类别对应的识别标识，并根据对应的通信资源组和对应的识别标识，传输该类别的待传输数据，以使所述中心处理设备根据所述识别标识将接收的数据分类存储。

例如，通信设备可以对待传输数据进行分类，确定出的待传输数据的类别数为20个类别。通信设备可以对每个类别的待传输数据的数据量进行预估或者统计，确定出每个类别的待传输数据的数据量。以及，可以根据通信设备在当前状态下的最大并发线程数(例如最大并发线程数为1500个线程)，从而可以结合通信设备保持正常运行状态下所需要的线程数(例如300个线程)，从而确定出可以用于传输数据的计划并发线程数(1200个线程)。而后，通信设备可以根据待传输数据的类别数(20个类别)、每个类别的待传输数据的数据量和计划并发线程数(1200个线程)，以对通信设备的通信资源进行分组，其中，分组后得到的每个通信资源组的线程数相同或不同，且每个类别的待传输数据均有对应的通信资源组。以及，通信设备可以生成与类别对应的识别标识，并根据对应的通信资源组和对应的识别标识，传输该类别的待传输数据，以使中心处理设备根据识别标识将接收的数据(即通信设备传输的待传输数据)分类存储。

基于上述步骤，通过在通信设备端对待传输数据进行分类后再进行传输，能够减少中心处理设备任务量，从而可以减轻中心处理设备的压力。而结合通信设备的并发线程数、待传输数据的类别数和每个类别对应的数据量，对通信设备的通信资源进行灵活分配，可以有效提高数据的传输效率。

在本实施例中，为了灵活地协调对待传输数据地传输，通信设备在根据待传输数据的类别数、每个类别的待传输数据的数据量和计划并发线程数，对通信设备的通信资源进行分组时，可以通过以下方式实现：

通信设备可以根据计划并发线程数，确定出预设比例的机动线程数，并确定出包含机动线程数的通信资源的机动资源组，其中，机动资源组用于动态调配通信资源，以对其他通信资源组的数据传输进行辅助。以及，通信设备可以确定出每个类别的待传输数据的数据量之间的数据比例，并根据数据比例和类别数，将剩余通信资源按照线程数进行分组，得到与类别数一致的通信资源组，且不同通信资源组中线程数之间的比例与每个类别的数据比例对应，其中，剩余通信资源表示通信设备包含计划并发线程数的通信资源中除去机动资源组的通信资源后剩余的通信资源。

通信设备通过根据待传输数据的类别和对应的数据量，将通信设备的通信资源划分为机动资源组和各类别对应的通信资源组，通信资源组负责对应类别的待传输数据的传输，而机动资源组用于动态调配通信资源，以对其他通信资源组的数据传输进行辅助，可以尽可能灵活地协调对待传输数据地传输。

在本实施例中，为了提高数据传输的效率，在生成与类别对应的识别标识，并根据对应的通信资源组和对应的识别标识，传输该类别的待传输数据之前，通信设备可以根据每个类别的待传输数据的实时性，将该类别的待传输数据划分为第一数据和第二数据，其中，第一数据表示实时性相对更强的待传输数据，第二数据表示实时性相对更弱的待传输数据。进一步的，通信设备可以根据第一数据和第二数据在该类别的待传输数据中的占比，对该类别对应的通信资源进行划分，得到用于传输第一数据的第一资源组和传输所述第二数据的第二资源组；对第一数据进行打包，得到多个第一数据包，其中，第一数据包的大小相同或不同，且第一数据包的大小位于第一预设范围内。以及，通信设备可以对第二数据进行打包，得到多个第二数据包，其中，第二数据包的大小相同或不同，且第二数据包的大小位于第二预设范围内，第二预设范围的最大值高于第一预设范围的最大值，第一数据包和第二数据包为待传输数据。

通过这样的方式，通信设备可以在同一数据传输的过程中，采用不同方式对不同实时性数据进行灵活的传输(主要通过数据包的大小不同来实现)。对于实时性强的数据，可以采用较小的数据包传输，实现快速传输；而对于实时性弱的数据可以采用较大的数据包传输，从而尽可能减少由于多次建立通信连接而消耗的时间，以提高数据的传输效率。

在本实施例中，为了提高传输效率，通信设备可以在对第一数据进行打包，得到多个第一数据包时，通过以下方式实现：

通信设备可以确定出第一数据的数据量S，以及，确定出第一资源组的线程数k，其中S和k均大于零。而后，可以将第一数据划分为k份，其中，k份数据中每份数据的数据量不同，且其中数据量最大的一份数据与数据量最小的一份数据之间的数据量差异在预设数据量差异范围内。以及，可以根据数据量大小，将每份数据进行打包，得到多个数据包，其中，对数据量相对更大的一份数据进行打包而得到的单个数据包的大小更大，且每份数据对应的数据包的平均大小，与其他任一份数据对应的数据包的平均大小之间的差异为两倍；对应的，在生成与类别对应的识别标识，并根据对应的通信资源组和对应的识别标识，传输该类别的待传输数据时，每个线程负责对应该份数据的数据包的传输。

通过这样的方式，通信设备可以将实时性较强的第一数据划分对应线程数的份数，每一线程对应负责一份数据的传输，其中，一份数据可以包括多条数据、多个数据包。而对于不同份的数据，可以打包为不同大小的数据包，从而在保证数据传输的实时性的同时，也可以尽可能地减少建立通信时的时间，从而提高数据传输的效率。并且通过这样的划分方式和打包方式，可以尽可能协调各份待传输数据的传输时间，尽可能使各份待传输数据的传输时间趋于一致，从而能够提高数据传输的效率。

在本实施例中，为了提高传输效率，且进一步降低数据传输过程中的风险，在通信设备对第二数据进行打包，得到多个第二数据包时，可以采用以下方式实现：

通信设备可以确定出第二数据的数据量H，以及，确定出第二资源组的线程数j，其中H和j均大于零。进一步的，通信设备可以将第二数据打包为多个第一大小的数据包和多个第二大小的数据包，其中，第一大小和第二大小均在第二预设范围内，且第一大小与第二大小之间差异在预设倍数以上。对应的，在通信设备生成与类别对应的识别标识，并根据对应的通信资源组和对应的识别标识，传输该类别的待传输数据时，每个线程可以负责对第一大小的数据包和/或第二大小的数据包的传输。

与第一数据不同，第二数据的实时性较弱，因此可以打包为更大一点的数据包，尽可能减少建立通信时浪费的时间。而为了保证数据传输的灵活性，可以同时打包一些相对较小的数据包，避免传输数据时对通信设备的大量通信资源的长时间占用的情况，可以尽可能在提高数据传输效率的同时，减小因长时间占用过多通信资源而对通信设备造成的风险。另外，此种方式中，用于传输第二数据的线程可以灵活使用，从而可以进一步降低数据传输过程中因某些线程或数据造成的故障风险。

在本实施例中，为了进一步提升数据传输的效率，通信设备在生成与类别对应的识别标识，并根据对应的通信资源组和对应的识别标识，传输该类别的待传输数据时，可以通过以下方式实现：

通信设备可以根据待传输数据的类别，生成与中心处理设备约定的识别标识；并根据识别标识，生成与该类别对应的通信资源组使用的连接验证信息，其中，连接验证信息中包含识别标识，而连接验证信息用于在通信设备与中心处理设备建立通信连接时进行验证，以使中心处理设备在对包含识别标识的连接验证信息进行验证时，确定出将要接收的数据的类别。进一步的，通信设备可以根据连接验证信息，向中心处理设备传输该类别的待传输数据。

采用在通信设备与中心处理设备建立连接时的验证信息上加识别标识，可以实现在接收数据前识别待传输数据的类别，以缓解中心处理设备在决定接收数据后或者接受数据后才能实现对数据的分类而引起的资源占用问题，可以进一步减小中心处理设备在接收数据时需要同时处理的工作量，进一步提升数据传输的效率。

在本实施例中，为了保证数据传输的稳定性，通信设备在传输待传输数据的过程中，通信设备可以获取每个类别的待传输数据的传输进度；并确定出与传输进度最高的高进度类别的进度差异超出预设进度差的待加速类别。在待加速类别数低于机动资源组中预设比例的线程数时，可以调用机动资源组中一半的线程数对待加速类别的待处理数据进行传输。以及，在待加速类别数不低于机动资源组中预设比例的线程数时，通信设备可以保留用于应急的最低线程数，调用机动资源组中保留最低线程数的线程后的剩余线程对待加速类别的待处理数据进行传输，其中，机动资源组对待加速类别的待处理数据进行传输时，均选择该类别当前的待传输数据中数据包大小最小的数据包进行传输。

通过这样的方式，通信设备可以根据每个类别的待传输数据的传输进度，确定出待加速类别，在待加速类别数低于机动资源组中预设比例的线程数时，可以调用机动资源组中一半的线程数对待加速类别的待处理数据进行传输，以尽可能对待加速类别对应的数据的传输进度进行加速，提高数据传输的效率。而在待加速类别数不低于机动资源组中预设比例的线程数时，可以保留用于应急的最低线程数，其余的线程则可以对待加速类别的待处理数据进行传输，在此种加速模式下，均对待传输数据中数据包大小最小的数据包进行传输，以快速提升传输进度，并且能够尽可能避免对看激动资源组的通信资源占用时间过长的情况，从而保证传输的稳定性。

在本实施例中，为了进一步提升对待加速类别的数据的加速传输，在每个类别的待传输数据包括基于实时性划分的第一数据和第二数据，且对第一数据进行打包得到的多个第一数据包的大小处于第一预设范围内，对第二数据进行打包得到的多个第二数据包的大小处于第二预设范围内，第一预设范围的最大值小于第二预设范围的最大值的条件下，通信设备在调用机动资源组中一半的线程数对所述待加速类别的待处理数据进行传输时，可以采用以下方式实现：

通信设备可以确定出待加速类别的数量，并对机动资源组中一半的线程数与该待加速类别的数量进行取整运算，确定出每个待加速类别对应的加速线程数量。进一步的，通信设备可以确定出每个待加速类别的待传输数据中第一数据包的余量和第二数据包的余量之间的余量差异；并在待加速类别的余量差异高于预设余量差，且第一数据包的余量高于第二数据包的余量时，调用该待加速类别对应的加速线程中一半的线程对其第一数据包进行传输，调用该待加速类别对应的加速线程中另一半的线程对其第二数据包进行传输。以及，在待加速类别的余量差异高于预设余量差，且第二数据包的余量高于第一数据包的余量时，通信设备可以调用该待加速类别对应的加速线程中所有的线程对其第二数据包进行传输。以及，在待加速类别的余量差异不高于预设余量差时，通信设备可以调用该待加速类别对应的加速线程中不低于四分之三的线程对其第二数据包进行传输，调用该待加速类别对应的加速线程中剩余的加速线程对其第一数据包进行传输。

通过这样的方式，通信设备可以确定出待加速类别的数量，并确定出对应每个待加速类别的线程数，进一步根据待加速类别的待传输数据中第一数据包的余量和第二数据包的余量之间的余量差异，确定对该类别的数据进行传输加速的模式：在第一数据包的余量高于第二数据包的余量时，则均衡分配通信资源，若第二数据包的余量高于第一数据包的余量，则全力对第二数据包的传输进行加速，在待加速类别的余量差异不高于预设余量差时，侧重于对第二数据包的传输进行加速。第二数据的实时性较弱，采用此种方式对待加速类别的数据的传输进行加速，可以尽可能减少因建立通信而浪费的时间，尽可能高效地实现对待加速类别的数据的加速传输。

另一方面，中心处理设备则而可以根据识别标识，确定出待传输数据的类别；而根据确定出的类别，可以进一步确定出存储该类别的数据的目标存储空间，并接收待传输数据，以将待传输数据存储至目标存储空间，从而完成对数据的接收。由于在通信设备端已经对待传输数据进行分类，之后再进行传输，减少了中心处理设备任务量，从而可以减轻中心处理设备的压力。

如图4所示，本申请实施例还提供一种数据传输装置300，中心处理设备与多个通信设备连接，所述方法应用于任一通信设备，所述数据传输装置300包括：

类别数确定模块310，用于确定出待传输数据的类别数。

数据量预估模块320，用于预估每个类别的待传输数据的数据量。

线程数确定模块330，用于根据通信设备在当前状态下的最大并发线程数，确定出用于传输数据的计划并发线程数。

通信资源分组模块340，用于根据所述待传输数据的类别数、每个类别的待传输数据的数据量和所述计划并发线程数，对所述通信设备的通信资源进行分组，其中，分组后得到的每个通信资源组的线程数相同或不同，且每个类别的待传输数据均有对应的通信资源组。

数据传输模块350，用于生成与类别对应的识别标识，并根据对应的通信资源组和对应的识别标识，传输该类别的待传输数据，以使所述中心处理设备根据所述识别标识将接收的数据分类存储。

在本实施例中，所述数据传输模块350，还用于根据所述待传输数据的类别，生成与所述中心处理设备约定的识别标识；根据所述识别标识，生成与该类别对应的通信资源组使用的连接验证信息，其中，所述连接验证信息中包含所述识别标识，所述连接验证信息用于在所述通信设备与所述中心处理设备建立通信连接时进行验证，以使所述中心处理设备在对包含所述识别标识的所述连接验证信息进行验证时，确定出将要接收的数据的类别；根据所述连接验证信息，向所述中心处理设备传输该类别的待传输数据。

在本实施例中，所述数据传输装置300还包括数据打包模块，用于在所述数据传输模块350生成与类别对应的识别标识，并根据对应的通信资源组和对应的识别标识，传输该类别的待传输数据之前，根据每个类别的待传输数据的实时性，将该类别的待传输数据划分为第一数据和第二数据，其中，所述第一数据表示实时性相对更强的待传输数据，所述第二数据表示实时性相对更弱的待传输数据；根据所述第一数据和所述第二数据在该类别的待传输数据中的占比，对该类别对应的通信资源进行划分，得到用于传输所述第一数据的第一资源组和传输所述第二数据的第二资源组；对所述第一数据进行打包，得到多个第一数据包，其中，所述第一数据包的大小相同或不同，且所述第一数据包的大小位于第一预设范围内；对所述第二数据进行打包，得到多个第二数据包，其中，所述第二数据包的大小相同或不同，且所述第二数据包的大小位于第二预设范围内，所述第二预设范围的最大值高于所述第一预设范围的最大值，所述第一数据包和所述第二数据包为所述待传输数据。

在本实施例中，所述数据打包模块，还用于确定出所述第一数据的数据量S，以及，确定出所述第一资源组的线程数k，其中S和k均大于零；将所述第一数据划分为k份，其中，k份数据中每份数据的数据量不同，且其中数据量最大的一份数据与数据量最小的一份数据之间的数据量差异在预设数据量差异范围内；根据数据量大小，将每份数据进行打包，得到多个数据包，其中，对数据量相对更大的一份数据进行打包而得到的单个数据包的大小更大，且每份数据对应的数据包的平均大小，与其他任一份数据对应的数据包的平均大小之间的差异为两倍。此时，所述数据传输模块350在生成与类别对应的识别标识，并根据对应的通信资源组和对应的识别标识，传输该类别的待传输数据时，则用于控制每个线程负责对应该份数据的数据包的传输。

在本实施例中，所述数据打包模块，还用于确定出所述第二数据的数据量H，以及，确定出所述第二资源组的线程数j，其中H和j均大于零；将所述第二数据打包为多个第一大小的数据包和多个第二大小的数据包，其中，所述第一大小和所述第二大小均在第二预设范围内，且所述第一大小与所述第二大小之间差异在预设倍数以上。此时，所述数据传输模块350在生成与类别对应的识别标识，并根据对应的通信资源组和对应的识别标识，传输该类别的待传输数据时，则用于控制每个线程负责对所述第一大小的数据包和/或所述第二大小的数据包的传输。

在本实施例中，所述通信资源分组模块340，还用于根据所述计划并发线程数，确定出预设比例的机动线程数，并确定出包含所述机动线程数的通信资源的机动资源组，其中，所述机动资源组用于动态调配通信资源，以对其他通信资源组的数据传输进行辅助；确定出每个类别的待传输数据的数据量之间的数据比例；根据所述数据比例和类别数，将剩余通信资源按照线程数进行分组，得到与类别数一致的通信资源组，且不同通信资源组中线程数之间的比例与每个类别的数据比例对应，其中，所述剩余通信资源表示所述通信设备包含计划并发线程数的通信资源中除去所述机动资源组的通信资源后剩余的通信资源。

在本实施例中，所述数据传输装置300还包括传输加速模块，用于在所述数据传输模块350传输所述待传输数据的过程中，获取每个类别的待传输数据的传输进度；确定出与所述传输进度最高的高进度类别的进度差异超出预设进度差的待加速类别；在所述待加速类别数低于所述机动资源组中预设比例的线程数时，调用所述机动资源组中一半的线程数对所述待加速类别的待处理数据进行传输；在所述待加速类别数不低于所述机动资源组中预设比例的线程数时，保留用于应急的最低线程数，调用所述机动资源组中保留所述最低线程数的线程后的剩余线程对所述待加速类别的待处理数据进行传输，其中，所述机动资源组对所述待加速类别的待处理数据进行传输时，均选择该类别当前的待传输数据中数据包大小最小的数据包进行传输。

在本实施例中，在每个类别的待传输数据包括基于实时性划分的第一数据和第二数据，对所述第一数据进行打包得到的多个第一数据包的大小处于第一预设范围内，对所述第二数据进行打包得到的多个第二数据包的大小处于第二预设范围内，所述第一预设范围的最大值小于所述第二预设范围的最大值时，所述传输加速模块，还用于确定出所述带加速类别的数量，并对所述机动资源组中一半的线程数与所述数量进行取整运算，确定出每个所述待加速类别对应的加速线程数量；确定出每个所述待加速类别的待传输数据中第一数据包的余量和第二数据包的余量之间的余量差异；在所述待加速类别的所述余量差异高于预设余量差，且所述第一数据包的余量高于所述第二数据包的余量时，调用该待加速类别对应的加速线程中一半的线程对其第一数据包进行传输，调用该待加速类别对应的加速线程中另一半的线程对其第二数据包进行传输；在所述待加速类别的所述余量差异高于预设余量差，且所述第二数据包的余量高于所述第一数据包的余量时，调用该待加速类别对应的加速线程中所有的线程对其第二数据包进行传输；在所述待加速类别的所述余量差异不高于预设余量差时，调用该待加速类别对应的加速线程中不低于四分之三的线程对其第二数据包进行传输，调用该待加速类别对应的加速线程中剩余的加速线程对其第一数据包进行传输。

本申请实施例还提供一种存储介质，在所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现本实施例中的数据传输方法。

综上所述，本申请实施例提供一种数据传输方法及装置，中心处理设备与多个通信设备连接，所述方法应用于任一通信设备，所述方法包括：确定出待传输数据的类别数；预估每个类别的待传输数据的数据量；根据通信设备在当前状态下的最大并发线程数，确定出用于传输数据的计划并发线程数；根据所述待传输数据的类别数、每个类别的待传输数据的数据量和所述计划并发线程数，对所述通信设备的通信资源进行分组，其中，分组后得到的每个通信资源组的线程数相同或不同，且每个类别的待传输数据均有对应的通信资源组；生成与类别对应的识别标识，并根据对应的通信资源组和对应的识别标识，传输该类别的待传输数据，以使所述中心处理设备根据所述识别标识将接收的数据分类存储。

通过在通信设备端对待传输数据进行分类后再进行传输，能够减少中心处理设备(例如中心服务器)任务量，从而可以减轻中心处理设备的压力。而结合通信设备的并发线程数、待传输数据的类别数和每个类别对应的数据量，对通信设备的通信资源进行灵活分配，可以有效提高数据的传输效率。

可以理解的是，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种基于通信负载的数据传输方法，其特征在于，中心处理设备与多个通信设备连接，所述方法应用于任一通信设备，所述方法包括：

确定出待传输数据的类别数；

预估每个类别的待传输数据的数据量；

根据通信设备在当前状态下的最大并发线程数，确定出用于传输数据的计划并发线程数；

根据所述待传输数据的类别数、每个类别的待传输数据的数据量和所述计划并发线程数，对所述通信设备的通信资源进行分组，其中，分组后得到的每个通信资源组的线程数相同或不同，且每个类别的待传输数据均有对应的通信资源组；

生成与类别对应的识别标识，并根据对应的通信资源组和对应的识别标识，传输该类别的待传输数据，以使所述中心处理设备根据所述识别标识将接收的数据分类存储。

2.根据权利要求1所述的基于通信负载的数据传输方法，其特征在于，所述生成与类别对应的识别标识，并根据对应的通信资源组和对应的识别标识，传输该类别的待传输数据，包括：

根据所述待传输数据的类别，生成与所述中心处理设备约定的识别标识；

根据所述识别标识，生成与该类别对应的通信资源组使用的连接验证信息，其中，所述连接验证信息中包含所述识别标识，所述连接验证信息用于在所述通信设备与所述中心处理设备建立通信连接时进行验证，以使所述中心处理设备在对包含所述识别标识的所述连接验证信息进行验证时，确定出将要接收的数据的类别；

根据所述连接验证信息，向所述中心处理设备传输该类别的待传输数据。

3.根据权利要求1所述的基于通信负载的数据传输方法，其特征在于，在所述生成与类别对应的识别标识，并根据对应的通信资源组和对应的识别标识，传输该类别的待传输数据之前，所述方法还包括：

根据每个类别的待传输数据的实时性，将该类别的待传输数据划分为第一数据和第二数据，其中，所述第一数据表示实时性相对更强的待传输数据，所述第二数据表示实时性相对更弱的待传输数据；

根据所述第一数据和所述第二数据在该类别的待传输数据中的占比，对该类别对应的通信资源进行划分，得到用于传输所述第一数据的第一资源组和传输所述第二数据的第二资源组；

对所述第一数据进行打包，得到多个第一数据包，其中，所述第一数据包的大小相同或不同，且所述第一数据包的大小位于第一预设范围内；

对所述第二数据进行打包，得到多个第二数据包，其中，所述第二数据包的大小相同或不同，且所述第二数据包的大小位于第二预设范围内，所述第二预设范围的最大值高于所述第一预设范围的最大值，所述第一数据包和所述第二数据包为所述待传输数据。

4.根据权利要求3所述的基于通信负载的数据传输方法，其特征在于，对所述第一数据进行打包，得到多个第一数据包，包括：

确定出所述第一数据的数据量S，以及，确定出所述第一资源组的线程数k，其中S和k均大于零；

将所述第一数据划分为k份，其中，k份数据中每份数据的数据量不同，且其中数据量最大的一份数据与数据量最小的一份数据之间的数据量差异在预设数据量差异范围内；

根据数据量大小，将每份数据进行打包，得到多个数据包，其中，对数据量相对更大的一份数据进行打包而得到的单个数据包的大小更大，且每份数据对应的数据包的平均大小，与其他任一份数据对应的数据包的平均大小之间的差异为两倍；

对应的，在生成与类别对应的识别标识，并根据对应的通信资源组和对应的识别标识，传输该类别的待传输数据时，每个线程负责对应该份数据的数据包的传输。

5.根据权利要求3所述的基于通信负载的数据传输方法，其特征在于，对所述第二数据进行打包，得到多个第二数据包，包括：

确定出所述第二数据的数据量H，以及，确定出所述第二资源组的线程数j，其中H和j均大于零；

将所述第二数据打包为多个第一大小的数据包和多个第二大小的数据包，其中，所述第一大小和所述第二大小均在第二预设范围内，且所述第一大小与所述第二大小之间差异在预设倍数以上；

对应的，在生成与类别对应的识别标识，并根据对应的通信资源组和对应的识别标识，传输该类别的待传输数据时，每个线程负责对所述第一大小的数据包和/或所述第二大小的数据包的传输。

6.根据权利要求1所述的基于通信负载的数据传输方法，其特征在于，所述根据所述待传输数据的类别数、每个类别的待传输数据的数据量和所述计划并发线程数，对所述通信设备的通信资源进行分组，包括：

根据所述计划并发线程数，确定出预设比例的机动线程数，并确定出包含所述机动线程数的通信资源的机动资源组，其中，所述机动资源组用于动态调配通信资源，以对其他通信资源组的数据传输进行辅助；

确定出每个类别的待传输数据的数据量之间的数据比例；

根据所述数据比例和类别数，将剩余通信资源按照线程数进行分组，得到与类别数一致的通信资源组，且不同通信资源组中线程数之间的比例与每个类别的数据比例对应，其中，所述剩余通信资源表示所述通信设备包含计划并发线程数的通信资源中除去所述机动资源组的通信资源后剩余的通信资源。

7.根据权利要求6所述的基于通信负载的数据传输方法，其特征在于，在传输所述待传输数据的过程中，所述方法还包括：

获取每个类别的待传输数据的传输进度；

确定出与所述传输进度最高的高进度类别的进度差异超出预设进度差的待加速类别；

在所述待加速类别数低于所述机动资源组中预设比例的线程数时，调用所述机动资源组中一半的线程数对所述待加速类别的待处理数据进行传输；

在所述待加速类别数不低于所述机动资源组中预设比例的线程数时，保留用于应急的最低线程数，调用所述机动资源组中保留所述最低线程数的线程后的剩余线程对所述待加速类别的待处理数据进行传输，其中，所述机动资源组对所述待加速类别的待处理数据进行传输时，均选择该类别当前的待传输数据中数据包大小最小的数据包进行传输。

8.根据权利要求7所述的基于通信负载的数据传输方法，其特征在于，每个类别的待传输数据包括基于实时性划分的第一数据和第二数据，对所述第一数据进行打包得到的多个第一数据包的大小处于第一预设范围内，对所述第二数据进行打包得到的多个第二数据包的大小处于第二预设范围内，所述第一预设范围的最大值小于所述第二预设范围的最大值，所述调用所述机动资源组中一半的线程数对所述待加速类别的待处理数据进行传输，包括：

确定出所述待加速类别的数量，并对所述机动资源组中一半的线程数与所述数量进行取整运算，确定出每个所述待加速类别对应的加速线程数量；

确定出每个所述待加速类别的待传输数据中第一数据包的余量和第二数据包的余量之间的余量差异；

在所述待加速类别的所述余量差异高于预设余量差，且所述第一数据包的余量高于所述第二数据包的余量时，调用该待加速类别对应的加速线程中一半的线程对其第一数据包进行传输，调用该待加速类别对应的加速线程中另一半的线程对其第二数据包进行传输；

在所述待加速类别的所述余量差异高于预设余量差，且所述第二数据包的余量高于所述第一数据包的余量时，调用该待加速类别对应的加速线程中所有的线程对其第二数据包进行传输；

在所述待加速类别的所述余量差异不高于预设余量差时，调用该待加速类别对应的加速线程中不低于四分之三的线程对其第二数据包进行传输，调用该待加速类别对应的加速线程中剩余的加速线程对其第一数据包进行传输。

9.一种数据传输装置，其特征在于，中心处理设备与多个通信设备连接，所述方法应用于任一通信设备，所述装置包括：

类别数确定模块，用于确定出待传输数据的类别数；

数据量预估模块，用于预估每个类别的待传输数据的数据量；

线程数确定模块，用于根据通信设备在当前状态下的最大并发线程数，确定出用于传输数据的计划并发线程数；

通信资源分组模块，用于根据所述待传输数据的类别数、每个类别的待传输数据的数据量和所述计划并发线程数，对所述通信设备的通信资源进行分组，其中，分组后得到的每个通信资源组的线程数相同或不同，且每个类别的待传输数据均有对应的通信资源组；

数据传输模块，用于生成与类别对应的识别标识，并根据对应的通信资源组和对应的识别标识，传输该类别的待传输数据，以使所述中心处理设备根据所述识别标识将接收的数据分类存储。

10.一种数据传输系统，其特征在于，包括中心处理设备和多个通信设备，每个所述通信设备连接与所述中心处理设备连接，

所述通信设备，用于确定出待传输数据的类别数；预估每个类别的待传输数据的数据量；根据通信设备在当前状态下的最大并发线程数，确定出用于传输数据的计划并发线程数；根据所述待传输数据的类别数、每个类别的待传输数据的数据量和所述计划并发线程数，对所述通信设备的通信资源进行分组，其中，分组后得到的每个通信资源组的线程数相同或不同，且每个类别的待传输数据均有对应的通信资源组；生成与类别对应的识别标识，并根据对应的通信资源组和对应的识别标识，传输该类别的待传输数据至所述中心处理设备；

所述中心处理设备，用于根据所述识别标识，确定出待传输数据的类别；并根据所述类别，确定出存储该类别的数据的目标存储空间；接收所述待传输数据，并将所述待传输数据存储至所述目标存储空间。

Images