CN114283045B - 数据处理方法、装置、电子设备以及存储介质 - Google Patents
数据处理方法、装置、电子设备以及存储介质 Download PDFInfo
- Publication number
- CN114283045B CN114283045B CN202111342578.1A CN202111342578A CN114283045B CN 114283045 B CN114283045 B CN 114283045B CN 202111342578 A CN202111342578 A CN 202111342578A CN 114283045 B CN114283045 B CN 114283045B
- Authority
- CN
- China
- Prior art keywords
- data
- processed
- sub
- queue
- queues
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 147
- 238000000034 method Methods 0.000 claims abstract description 63
- 238000010276 construction Methods 0.000 claims description 11
- 238000012163 sequencing technique Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000000638 solvent extraction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据处理方法、装置、电子设备以及存储介质，涉及数据处理技术领域。该方法包括：获取多个待处理数据，并获取多个待处理数据各自对应的数据长度，基于多个待处理数据各自对应的数据长度对多个待处理数据进行排序，获得待处理队列，其中，待处理队列由按照数据长度排序的多个待处理数据组成，基于电子设备的属性信息，将待处理队列划分为至少两组待处理子队列，通过预设模型，分别对所述至少两组待处理子队列进行处理，从而实现对数据的处理，并通过按照待处理数据的数据长度以及电子设备的属性信息对待处理数据进行排序分组，在不损失精确度的情况下，加快数据处理的速度。
Description
技术领域
本申请涉及数据处理技术领域，更具体地，涉及一种数据处理方法、装置、电子设备以及存储介质。
背景技术
随着科学技术的发展，如图形处理器(graphics processing unit，GPU)和中央处理器(central processing unit，CPU)等硬件的计算速度不断加快。然而，虽然硬件在计算速度上已经有了很大进步，但是计算资源仍处于不足状态，使得对数据处理较慢。
发明内容
鉴于上述问题，本申请提出了一种数据处理方法、装置、电子设备以及存储介质，以解决上述问题。
第一方面，本申请实施例提供了一种数据处理方法，所述方法包括：获取多个待处理数据，并获取所述多个待处理数据各自对应的数据长度；基于所述多个待处理数据各自对应的数据长度对所述多个待处理数据进行排序，获得待处理队列；将所述待处理队列划分为至少两组待处理子队列；通过预设模型，分别对所述至少两组待处理子队列进行处理。
第二方面，本申请实施例提供了一种数据处理装置，所述装置包括：待处理数据获取模块，用于获取多个待处理数据，并获取所述多个待处理数据各自对应的数据长度；待处理队列获取模块，用于基于所述多个待处理数据各自对应的数据长度对所述多个待处理数据进行排序，获得待处理队列；待处理队列划分模块，用于将所述待处理队列划分为至少两组待处理子队列；待处理子队列处理模块，用于通过预设模型，分别对所述至少两组待处理子队列进行处理。
第三方面，本申请实施例提供了一种电子设备，包括存储器和处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时所述处理器执行上述方法。
第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述方法。
本申请实施例提供的数据处理方法、装置、电子设备以及存储介质，获取多个待处理数据，并获取多个待处理数据各自对应的数据长度，基于多个待处理数据各自对应的数据长度对多个待处理数据进行排序，获得待处理队列，其中，待处理队列由按照数据长度排序的多个待处理数据组成，基于电子设备的属性信息，将待处理队列划分为至少两组待处理子队列，通过预设模型，分别对所述至少两组待处理子队列进行处理，从而实现对数据的处理，并通过按照待处理数据的数据长度以及电子设备的属性信息对待处理数据进行排序分组，在不损失精确度的情况下，加快数据处理的速度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出了本申请实施例提供的数据处理方法的流程示意图；
图2示出了本申请一个实施例提供的数据处理方法的流程示意图；
图3示出了本申请一个实施例提供的数据处理方法的流程示意图；
图4示出了本申请一个实施例提供的数据处理方法的流程示意图；
图5示出了本申请的图4所示的数据处理方法的步骤S480的流程示意图；
图6示出了本申请的图4所示的数据处理方法的步骤S490的流程示意图；
图7示出了本申请一个实施例提供的数据处理方法的流程示意图；
图8示出了本申请实施例提供的数据处理装置的模块框图；
图9示出了本申请实施例用于执行根据本申请实施例的数据处理方法的电子设备的框图；
图10示出了本申请实施例的用于保存或者携带实现根据本申请实施例的数据处理方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
目前，硬件的计算速度不断加快，虽然硬件在计算速度上已经有了很大进步，但是在一些数据处理情况下计算资源仍处于不足状态。例如，深度学习模型在长数据的情况下，需要更多的处理时间。具体而言，因为神经网络层，从上至下的形状是一样的，也就是对同一批待处理数据进行处理时，同一批待处理数据的长度需要是一样的，否则矩阵长度不匹配，无法进行相应计算。同一批待处理数据的长度可能相差较大，因此，在将同一批待处理数据处理为长度一致时，需要耗费较长的时间，降低了数据处理的速度。
针对上述问题，发明人经过长期的研究发现，并提出了本申请实施例提供的数据方法、装置、服务器以及存储介质，通过按照待处理数据的数据长度对待处理数据进行排序分组，在不损失精确度的情况下，加快数据处理的速度。基于此，同一批待处理数据中的待处理数据的长度相同或相近，因此，在进行数据长度的补全时处理量较小，可以有效的缩短处理时长和处理量，加快数据处理的速度。其中，具体的数据处理方法在后续的实施例中进行详细的说明。
请参阅图1，图1示出了本申请实施例提供的数据处理方法的流程示意图。在具体的实施例中，所述数据处理方法应用于如图8所示的数据处理装置200以及配置有数据处理装置200的电子设备100(图9)。下面将以电子设备为例，说明本实施例的具体流程。下面将针对图1所示的流程进行详细的阐述，所述数据处理方法具体可以包括以下步骤：
步骤S110：获取多个待处理数据，并获取所述多个待处理数据各自对应的数据长度。
在本实施例中，电子设备可以获取多个待处理数据，获取多个待处理数据的同时可以获取多个待处理数据各自对应的数据长度。
在一些实施方式中，电子设备可以预先设置并存储待处理数据获取时间，当到该待处理数据获取时间时，电子设备获取多个待处理数据。其中，待处理数据可以从需要完成的业务中获取。电子设备还可以实时获取待处理数据。作为一种方式，电子设备实时获取待检测数据过程中，当电子设备检测到有业务需要进行数据处理时，获取业务中包括的待处理数据。
步骤S120：基于所述多个待处理数据各自对应的数据长度对所述多个待处理数据进行排序，获得待处理队列。
在一些实施方式中，可以根据多个待处理数据各自对应的长度对多个待处理数据进行排序，获取待处理队列，可以理解的是，待处理队列是多个待处理数据按照数据长度排序后构成的。作为一种方式，可以按照数据长度从长到短的顺序对多个待处理数据进行排序，获得待处理队列。作为另一种方式，还可以按照数据长度从短到长的顺序对多个待处理数据进行排序，获得待处理队列。其中，具体的排序方式在此不做限定。
在一些实施方式中，多个待处理数据中可以包括数据长度一样的待处理数据。可以获取待处理数据对应的获取时间，当对多个待处理数据进行排序时，待处理数据的数据长度一样时，将待处理数据对应的获取时间早的排在待处理数据对应的获取时间晚的后面。例如，待处理数据data_1长度为4，对应的获取时间为10点20、待处理数据data_2长度为4，对应的获取时间为10点22、待处理数据data_3长度为6，对应的获取时间为10点20，则按照数据长度从长到短的顺序进行排序的顺序为待处理数据data_3、待处理数据data_1和待处理数据data_2；则按照数据长度从短到长的顺序进行排序的顺序为待处理数据data_1、待处理数据data_2和待处理数据data_3。
步骤S130：基于所述电子设备的属性信息，将所述待处理队列划分为至少两组待处理子队列。
在本实施例中，电子设备可以根据电子设备的属性信息，将待处理队列划分为至少两组待处理子队列，其中，每组待处理子队列中包括的待处理数据量可以相等，也可以不相等，在此不做限定。
在一些实施方式中，电子设备的属性信息可以包括GPU性能以及显存等，在此不做限定。电子设备可以在GPU性能较低时，对多个待处理数据按数据长度进行排序以及将待处理队列划分为至少两组待处理子队列。电子设备可以在显存较低时，对多个待处理数据按数据长度进行排序以及将待处理队列划分为至少两组待处理子队列。
在一些实施方式中，以电子设备的属性信息包括GPU性能为例。假设GPU性能包括第一GPU性能和第二GPU性能，且第一GPU性能优于第二GPU性能。基于此，当电子设备的GPU性能为第一GPU性能时，则可以将待处理队列划分为N1组待处理子队列，当电子设备的GPU性能为第二GPU性能时，则可以将待处理队列划分为N2组待处理子队列，其中，N1＜N2。即，N1组待处理子队列中的每组待处理子队列中的待处理数据的数量较多，N2组待处理子队列中的每组待处理子队列中的待处理数据的数量较少。
在一些实施方式中，以电子设备的属性信息包括显存为例。假设显存包括第一显存和第二显存，且第一显存优于第二显存。基于此，当电子设备的显存为第一显存时，则可以将待处理队列划分为N3组待处理子队列，当电子设备的显存为第二显存时，则可以将待处理队列划分为N4组待处理子队列，其中，N3＜N4。即，N3组待处理子队列中的每组待处理子队列中的待处理数据的数量较多，N4组待处理子队列中的每组待处理子队列中的待处理数据的数量较少。
在一些实施方式中，电子设备中可以基于电子设备的属性信息设置待处理子队列的批量大小，根据该批量大小将待处理队列划分为至少两组待处理子队列。可以理解的是，待处理队列中的数据是经过排序后的数据，相比于完全随机的数据长度，排序后的待处理数据，相邻待处理数据的数据长度更相近，相邻待处理数据会被分到同一个待处理子队列中，便于对数据进行处理。
步骤S140：通过预设模型，分别对所述至少两组待处理子队列进行处理。
在一些实施方式中，电子设备可以获取至少两组待处理子队列中对应的数据长度最大的待处理数据的数据长度，并将至少两组待处理队列中包括的待处理数据的数据长度均填充至对应的目标数据长度之后，分别对至少两组待处理子队列进行特征构造，获得至少两组待处理子队列各自对应的特征信息，通过预设模型，分别对至少两组待处理子队列各自对应的特征信息进行处理。
在一些实施方式中，可以通过预设模型分别对至少两组待处理子队列进行预测。
本申请一个实施例提供的数据处理方法，获取多个待处理数据，并获取多个待处理数据各自对应的数据长度，基于多个待处理数据各自对应的数据长度对多个待处理数据进行排序，获得待处理队列，其中，待处理队列由按照数据长度排序的多个待处理数据组成，基于电子设备的属性信息，将待处理队列划分为至少两组待处理子队列，通过预设模型，分别对所述至少两组待处理子队列进行处理，从而实现对数据的处理，并通过按照待处理数据的数据长度以及电子设备的属性信息对待处理数据进行排序分组，在不损失精确度的情况下，加快数据处理的速度。
请参阅图2，图2示出了本申请一个实施例提供的数据处理方法的流程示意图。下面将针对图2所示的流程进行详细的阐述，所述数据处理方法具体可以包括以下步骤：
步骤S210：获取多个待处理数据，并获取所述多个待处理数据各自对应的数据长度。
其中，步骤S210的具体描述请参阅步骤S110，在此不再赘述。
步骤S220：基于所述多个待处理数据各自对应的数据长度，按数据长度从长到短的顺序对所述多个待处理数据进行排序，获得所述待处理队列。
在本实施例中，根据多个待处理数据各自对应的数据长度，按照数据长度从长到短的顺序对多个待处理数据进行排序，获得待处理队列。例如，对待处理数据data_1长度为256、待处理数据data_2长度为64和待处理数据data_3长度为512按照数据长度从长到短的顺序进行排序，获得表1中的排序结果为待处理队列。
表1
| 序号 | 数据 | 数据长度 |
| 1 | data_3 | 512 |
| 2 | data_1 | 256 |
| 3 | data_2 | 64 |
步骤S230：基于所述多个待处理数据各自对应的数据长度，按数据长度从短到长的顺序对所述多个待处理数据进行排序，获得所述待处理队列。
在本实施例中，根据多个待处理数据各自对应的数据长度，按照数据长度从短到长的顺序对多个待处理数据进行排序，获得待处理队列。例如，对待处理数据data_1长度为256、待处理数据data_2长度为64和待处理数据data_3长度为512按照数据长度从短到长的顺序进行排序，获得表2中的排序结果为待处理队列。
表2
| 序号 | 数据 | 数据长度 |
| 1 | data_2 | 64 |
| 2 | data_1 | 256 |
| 3 | data_3 | 512 |
步骤S240：基于所述电子设备的属性信息，获取批量大小。
在一些实施方式中，可以根据电子设备的属性信息设置批量大小，电子设备获取该批量大小。批量大小可以在对待处理数据进行处理前设置，批量大小也可以在对待处理数据进行处理时设置。其中，批量大小可以为batch_size，batch_size最好为2的幂数，因为硬件对2的幂次的batch_size可以发挥更佳的性能，设置成2的幂数时的计算能力更好。并且根据显存大小，尽可能大的设置batch_size，因为batch_size越大，数据处理速度越快。
在一些实施方式中，批量大小还可以根据任务、模型以及显存配置等进行设置，在此不做限定。电子设备可以获取相关任务，基于相关任务确定批量大小；电子设备还可以获取模型，基于模型确定批量大小；电子设备还可以获取显存配置，基于显存配置确定批量大小。
步骤S250：基于所述批量大小将所述待处理队列划分为至少两组待处理子队列。
在本实施例中，根据获取的批量大小将待处理队列划分为至少两组。例如，批量大小为16，待处理队列中有32条待处理数据，则将待处理队列分为2组，前16条数据为一组待处理子队列，后16条数据为一组待处理子队列；批量大小为16，待处理队列中有40条待处理数据，则将待处理队列分为3组，1-16条数据为一组待处理子队列，17-32条数据为一组待处理子队列，33-40条数据为一组待处理子队列。
步骤S260：分别对所述至少两组待处理子队列进行特征构造，获得所述至少两组待处理子队列各自对应的特征信息。
在本实施例中，分别对至少两组待处理子队列进行特征构造，例如，在BERT(BidirectionalEncoder Representations from Transformer)模型中，将文本数据分成字后，根据BERT模型提供的vocab.txt找到对应的索引位置，将每个字映射为对应的位置，拼接成列表，则完成了特征构造。获取至少两组待处理子队列各自对应的特征信息。
步骤S270：通过所述预设模型，分别对所述至少两组待处理子队列各自对应的特征信息进行处理。
在本实施例中，电子设备可以预先设置并存储预设模型，该模型用于对待处理子队列进行处理。分别将至少两组待处理子队列各自对应的特征信息输入预设模型进行处理。
本申请一个实施例提供的数据处理方法，相较于图1所示的数据处理方法，还可以基于所述电子设备的属性信息获取批量大小，根据批量大小对待处理队列进行划分，再获取至少两组待处理子队列的特征信息，通过预设模型，分别对至少两组待处理子队列各自对应的特征信息进行处理，从而实现数据处理，经过排序后待处理队列中数据长度要比没有排序前待处理队列中的数据长度要小，所以填充的文本更少，因此可以减少数据处理的时间。
请参阅图3，图3示出了本申请一个实施例提供的数据处理方法的流程示意图。在本实施例中，所述至少两组待处理子队列包括目标待处理子队列。下面将针对图3所示的流程进行详细的阐述，所述数据处理方法具体可以包括以下步骤：
步骤S310：获取多个待处理数据，并获取所述多个待处理数据各自对应的数据长度。
步骤S320：基于所述多个待处理数据各自对应的数据长度对所述多个待处理数据进行排序，获得待处理队列。
步骤S330：基于所述电子设备的属性信息，将所述待处理队列划分为至少两组待处理子队列。
其中，步骤S310-步骤S330的具体描述请参阅步骤S110-步骤S130，在此不再赘述。
步骤S340：从所述目标待处理子队列中确定数据长度最大的待处理数据，并获取所述数据长度最大的待处理数据的数据长度作为目标数据长度。
在本实施例中，目标待处理子队列为至少两组待处理子队列中的其中一组，从目标待处理子队列中确定数据长度最大的待处理数据，并获取数据长度最大的待处理数据的数据长度作为目标数据长度。例如，第一待处理子队列中数据长度最大的待处理数据的数据长度为512，则目标数据长度为512；第二待处理子队列中数据长度最大的待处理数据的数据长度为64，则目标数据长度为64。
步骤S350：将所述目标待处理队列中包括的待处理数据的数据长度均填充至所述目标数据长度。
在本实施例中，将目标待处理队列中包括的待处理数据的数据长度均填充至目标数据长度。例如，第一待处理子队列中目标数据长度为4，第一待处理子队列中包括数据data_1以及数据data_2，数据data_1的数据长度为2，数据data_2的数据长度为4，则将第一待处理子队列中的数据data_1的数据长度用0在数据data_1的后部填充至4。
步骤S360：分别对所述至少两组待处理子队列进行特征构造，获得所述至少两组待处理子队列各自对应的特征信息。
步骤S370：通过所述预设模型，分别对所述至少两组待处理子队列各自对应的特征信息进行处理。
其中，步骤S360-步骤S370的具体描述请参阅步骤S260-步骤S270，在此不再赘述。
本申请一个实施例提供的数据处理方法，相较于图1所示的数据处理方法，还可以获取划分出的待处理队列中包括的目标待处理队列中数据长度最长的数据长度，将目标待处理队列中的数据长度填充至该数据长度后，再获取至少两组待处理子队列的特征信息，通过预设模型，分别对至少两组待处理子队列各自对应的特征信息进行处理，从而实现数据处理，经过排序后待处理队列中数据长度要比没有排序前待处理队列中的数据长度要小，所以填充的文本更少，因此可以减少数据处理的时间。
请参阅图4，图4示出了本申请一个实施例提供的数据处理方法的流程示意图。下面将针对图4所示的流程进行详细的阐述，所述数据处理方法具体可以包括以下步骤：
步骤S410：获取多个待处理数据，并获取所述多个待处理数据各自对应的限制时间，其中，所述限制时间用于表征数据从被获取到被处理完成所需的时长。
在本实施例中，获取多个待处理数据，同时获取多个待处理数据各自对应的限制时间，需要说明的是，限制时间是获取待处理数据到处理完待处理数据所需要的时间，例如，获取待处理数据的时间为10点30，预计处理完该待处理数据的时间为10点31，则该待处理数据对应的限制时间为1分钟。
步骤S420：基于所述多个待处理数据各自对应的限制时间，对所述多个待处理数据进行分组，获得第一待处理数据集和第二待处理数据集，其中，所述第一待处理数据集中包括的待处理数据对应的限制时间小于预设时间，所述第二待处理数据集中包括的待处理数据对应的限制时间大于所述预设时间。
在本实施例中，电子设备可以预先设置并存储有预设时间，该预设时间用于对多个待处理数据进行分组，将多个待处理数据各自对应的限制时间与预设时间进行比较，对多个待处理数据进行分组，当待处理数据对应的限制时间小于预设时间时，将待处理数据分为第一待处理数据集；当待处理数据对应的限制时间大于预设时间时，将待处理数据分为第二待处理数据集。例如，待处理数据data_1对应的限制时间为9秒、待处理数据data_2对应的限制时间为50秒和待处理数据data_3对应的限制时间为12秒，预设时间为10s，则第一待处理数据集中包括待处理数据data_1，第二待处理数据集中包括待处理待数据data_2和待处理数据data_3。
在一些实施方式中，可以根据多个待处理数据对应的限制时间，对多个待处理数据进行分组，可以分按照时间非常紧张、时间比较紧张以及时间不紧张进行分组，分为第一待处理数据集、第二待处理数据集以及第三待处理数据集等，在此不做限定。
步骤S430：缓存所述第二待处理数据集，并获取所述第一待处理数据集包括的待处理数据各自对应的数据长度。
在本实施例中，电子设备在获取第一待处理数据集后，则可以获取第一待处理数据集包括的待处理数据各自对应的数据长度，用于对第一待处理数据集进行排序，对排序后的第一待处理数据集进行分组，获取至少两组待处理子队列，通过预设模型对至少两组待处理子队列进行处理。
另外，电子设备在获取第二待处理数据集后，则可以对第二待处理数据集进行缓存，因为不需要立即对限制时间大于预设时间的第二待处理数据集进行处理，所以对第二待处理数据集进行缓存，可以在处理完第一待处理数据集后对第二待处理数据集进行处理，从而加快整体的数据处理速度。
步骤S440：基于所述多个待处理数据各自对应的数据长度对所述多个待处理数据进行排序，获得待处理队列。
步骤S450：基于所述电子设备的属性信息，将所述待处理队列划分为至少两组待处理子队列。
步骤S460：通过预设模型，分别对所述至少两组待处理子队列进行处理。
其中，步骤S440-步骤S360的具体描述请参阅步骤S120-步骤S140，在此不再赘述。
步骤S470：当在通过所述预设模型对所述第一待处理数据集包括的待处理数据进行处理的过程中接收到新增数据时，获取所述新增数据对应的限制时间。
步骤S470可以在步骤S460之前也可以在步骤S460之后，在此不做限定。
在本实施例中，当在通过预设模型对第一待处理数据集包括的待处理数据进行处理的过程中接收到新增数据时，获取新增数据对应的限制时间。例如，当在通过预设模型对第一待处理数据集包括的待处理数据进行处理的过程中接收到新增数据data_4、新增数据data_5以及新增数据data_6时，获取新增数据data_4对应的限制时间10秒、新增数据data_5对应的限制时间12秒以及新增数据data_6对应的限制时间20秒。
步骤S480：当所述新增数据对应的限制时间小于所述预设时间时，将所述新增数据延后处理。
在一些实施方式中，将新增数据延后处理，就是当第一待处理数据集包括的待处理数据全部处理完成时，再通过预设模型对新增数据进行处理。
请参阅图5，图5示出了本申请的图4所示的数据处理方法的步骤S480的流程示意图。下面将针对图5所示的流程进行详细的阐述，所述方法具体可以包括以下步骤：
步骤S481：获取多个新增数据各自对应的数据长度。
在一些实施方式中，在获取多个新增数据各自对应的数据长度之前还可以获取多个新增数据对应的限制时间，并根据多个新增数据的限制时间对多个新增数据进行分组，用于确定处理新增数据的时间。
在本实施例中，获取多个新增数据各自对应的数据长度，例如，多个新增数据有新增数据data_4、新增数据data_5、新增数据data_6，获取多个新增数据各自对应的数据长度，新增数据data_4的数据长度为512、新增数据data_5的数据长度为64、新增数据data_6的数据长度为32。
步骤S482：基于所述多个新增数据各自对应的数据长度对所述多个新增数据进行排序，获得第一新增队列，其中，所述第一新增队列由按照数据长度排序的所述多个新增数据组成。
在一些实施方式中，可以根据多个新增数据各自对应的长度对多个新增数据进行排序，获取第一新增队列，可以理解的是，第一新增队列是多个新增数据据按照数据长度排序后构成的。作为一种方式，可以按照数据长度从长到短的顺序对多个新增数据进行排序，获得第一新增队列。作为另一种方式，还可以按照数据长度从短到长的顺序对多个新增数据进行排序，获得第一新增队列。其中，具体的排序方式在此不做限定。
步骤S483：基于所述电子设备的属性信息，将所述第一新增队列划分为至少两组第一新增子队列。
在本实施例中，电子设备可以根据电子设备的属性信息将第一新增队列划分为至少两组第一新增子队列，其中，每组第一新增子队列中包括的待处理数据量可以相等也可以不相等，在此不做限定。
在一些实施方式中，电子设备的属性信息可以包括GPU性能以及显存等，在此不做限定。电子设备还可以在GPU性能较低时，对多个新增数据按数据长度进行排序以及将第一新增队列划分为至少两组第一新增子队列。电子设备可以在显存较低时，对多个新增数据按数据长度进行排序以及将第一新增队列划分为至少两组第一新增子队列。
在一些实施方式中，电子设备中可以设置第一新增队列的批量大小，根据该批量大小将第一新增队列划分为至少两组第一新增子队列。可以理解的是，第一新增队列中的数据是经过排序后的数据，相比于完全随机的数据长度，排序后的待处理数据，数据长度更相近，这些数据长度相近的数据会被分到同一个第一新增子队列中，便于对数据进行处理。
步骤S484：通过所述预设模型，分别对所述至少两组第一新增子队列进行处理。
在一些实施方式中，电子设备可以获取至少两组第一新增子队列中对应的数据长度最大的待处理数据的数据长度，并将至少两组第一新增子队列中包括的待处理数据的数据长度均填充至对应的目标数据长度之后，分别对至少两组第一新增子队列进行特征构造，获得至少两组第一新增子队列各自对应的特征信息，通过预设模型，分别对至少两组第一新增子队列各自对应的特征信息进行处理。
步骤S485：当所述新增数据全部处理完成时，获取所述第二待处理数据集包括的待处理数据各自对应的数据长度。
在本实施例中，当新增数据全部处理完成时，需要对缓存的第二待处理数据集包括的待处理数据进行处理，因此当新增数据全部处理完成时，需要获取第二待处理数据集包括的待处理数据各自对应的数据长度。
在一些实施方式中，在获取第二待处理数据集包括的待处理数据各自对应的数据长度之前，还可以获取第二待处理数据集包括的待处理数据各自对应的限制时间，并根据第二待处理数据集包括的待处理数据各自的限制时间对第二待处理数据集进行分组，用于确定处理第二待处理数据集包括的待处理数据的时间。
步骤S486：基于所述第二待处理数据集中包括的待处理数据各自对应的数据长度对所述第二待处理数据集中包括的待处理数据进行排序，获得第二新增队列，其中，所述第二新增队列由按照数据长度排序的所述第二待处理数据集包括的待处理数据组成。
在一些实施方式中，可以根据第二待处理数据集中包括的待处理数据各自对应的数据长度对第二待处理数据集中包括的待处理数据进行排序，获取第二新增队列。作为一种方式，可以按照数据长度从长到短的顺序对第二待处理数据集中包括的待处理数据进行排序，获得第二新增队列。作为另一种方式，还可以按照数据长度从短到长的顺序对第二待处理数据集中包括的待处理数据进行排序，获得第二新增队列。其中，具体的排序方式在此不做限定。
步骤S487：基于所述电子设备的属性信息，将所述第二新增队列划分为至少两组第二新增子队列。
在本实施例中，电子设备可以根据电子设备的属性信息将第二新增队列划分为至少两组第二新增子队列，其中，每组第二新增子队列中包括的待处理数据量可以相等也可以不相等，在此不做限定。
在一些实施方式中，电子设备的属性信息可以包括GPU性能以及显存等，在此不做限定。电子设备还可以在GPU性能较低时，对第二待处理数据集中包括的待处理数据按照数据长度进行排序，并将第二新增队列划分为至少两组第二新增子队列。电子设备可以在显存较低时，对第二待处理数据集中包括的待处理数据按照数据长度进行排序，并将第二新增队列划分为至少两组第二新增子队列。
在一些实施方式中，电子设备中可以设置第二新增子队列的批量大小，根据该批量大小将第二新增队列划分为至少两组第二新增子队列。可以理解的是，第二新增队列中的数据是经过排序后的数据，相比于完全随机的数据长度，排序后的待处理数据，数据长度更相近，这些数据长度相近的数据会被分到同一个待处理子队列中，便于对数据进行处理。
步骤S488：通过所述预设模型，分别对所述至少两组第二新增子队列进行处理。
在一些实施方式中，电子设备可以获取至少两组第二新增子队列中对应的数据长度最大的待处理数据的数据长度，并将至少两组第二新增子队列中包括的待处理数据的数据长度均填充至对应的目标数据长度之后，分别对至少两组第二新增子队列进行特征构造，获得至少两组第二新增子队列各自对应的特征信息，通过预设模型，分别对至少两组第二新增子队列各自对应的特征信息进行处理。
步骤S490：当所述新增数据对应的限制时间大于所述预设时间时，将所述新增数据和所述第二待处理数据集中包括的待处理数据混合处理。
在本实施例中，当新增数据对应的限制时间大于预设时间时，可以理解的是，新增数据对应的限制时间大于预设时间时表示该新增数据不需要立即得到数据处理的结果，因此可以将新增数据和第二待处理数据集中包括的待处理数据混合处理，加快对整体数据处理的速度。
请参阅图6，图6示出了本申请的图4所示的数据处理方法的步骤S490的流程示意图。下面将针对图6所示的流程进行详细的阐述，所述方法具体可以包括以下步骤：
步骤S491：获取所述新增数据对应的数据长度，并获取所述第二数据集中包括的待处理数据各自对应的数据长度。
在本实施例中，将新增数据和第二待处理数据集中包括的待处理数据混合处理，因此需要获取新增数据对应的数据长度，并获取第二数据集中包括的待处理数据各自对应的数据长度。
在一些实施方式中，在获取新增数据对应的数据长度，并获取第二数据集中包括的待处理数据各自对应的数据长度之前，还可以获取新增数据对应的限制时间以及第二数据集中包括的待处理数据各自对应的限制时间，并根据新增数据对应的限制时间以及第二数据集中包括的待处理数据各自对应的限制时间对新增数据以及第二数据集中包括的待处理数据进行分组，用于确定处理新增数据和第二待处理数据集的混互数据的时间。
步骤S492：基于所述第二待处理数据集中包括的待处理数据各自对应的数据长度和所述新增数据对应的数据长度，对所述第二待处理数据集中包括的待处理数据和所述新增数据进行排序，获得第三新增队列，其中，所述第三新增子队列由按照数据长度排序的所述新增数据和所述第二待处理数据集中包括的待处理数据组成。
在一些实施方式中，可以根据第二待处理数据集中包括的待处理数据各自对应的数据长度和新增数据对应的数据长度，对第二待处理数据集中包括的待处理数据和新增数据进行排序，获取第三新增队列，可以理解的是，第三新增队列是多个待处理数据按照数据长度排序后构成的。作为一种方式，可以按照数据长度从长到短的顺序对第二待处理数据集中包括的待处理数据和新增数据进行排序，获得第三新增队列。作为另一种方式，还可以按照数据长度从短到长的顺序对第二待处理数据集中包括的待处理数据和新增数据进行排序，获得第三新增队列。其中，具体的排序方式在此不做限定。
步骤S493：基于所述电子设备的属性信息，将所述第三新增队列划分为至少两组第三新增子队列。
在本实施例中，电子设备可以根据电子设备的属性信息将第三新增队列划分为至少两组第三新增子队列，其中，每组第三新增子队列中包括的待处理数据量可以相等也可以不相等，在此不做限定。
在一些实施方式中，电子设备的属性信息可以包括GPU性能以及显存等，在此不做限定。电子设备还可以在GPU性能较低时，对第二待处理数据集中包括的待处理数据和新增数据进行排序，并将所述第三新增队列划分为至少两组第三新增子队列。电子设备可以在显存较低时，对第二待处理数据集中包括的待处理数据和新增数据进行排序，并将所述第三新增队列划分为至少两组第三新增子队列。
在一些实施方式中，电子设备中可以设置第三新增子队列的批量大小，根据该批量大小将第三新增队列划分为至少两组第三新增子队列。可以理解的是，第三新增子队列中的数据是经过排序后的数据，相比于完全随机的数据长度，排序后的待处理数据，数据长度更相近，这些数据长度相近的数据会被分到同一个待处理子队列中，便于对数据进行处理。
步骤S494：通过所述预设模型，分别对所述至少两组第三新增子队列进行处理。
在一些实施方式中，电子设备可以获取至少两组第三新增子队列中对应的数据长度最大的待处理数据的数据长度，并将至少两组第三新增子队列中包括的待处理数据的数据长度均填充至对应的目标数据长度之后，分别对至少两组第三新增子队列进行特征构造，获得至少两组第三新增子队列各自对应的特征信息，通过预设模型，分别对至少两组第三新增子队列各自对应的特征信息进行处理。
本申请再一个实施例提供的数据处理方法，相较于图1所示的数据处理方法，还可以根据多个待处理数据各自对应的限制时间，对多个待处理数据进行分组，并缓存限制时间大于预设时间的第二待处理数据集，在处理第一待处理数据集过程中有新增数据进来时，根据新增数据的限制时间确定处理新增数据的时间，从而实现数据处理，根据限制时间对待处理数据进行分组，可以更加合理充分利用计算资源，加快计算速度，减少数据处理时间。
请参阅图7，图7示出了本申请实施例提供的数据处理方法的流程示意图。在具体的实施例中，电子设备可以包括图形处理器GPU和中央处理器CPU。下面将针对图7所示的流程进行详细的阐述，所述数据处理方法具体可以包括以下步骤：
步骤S510：中央处理器获取多个待处理数据，并获取所述多个待处理数据各自对应的数据长度。
在本实施例中，电子设备中的中央处理器(CPU)可以获取多个待处理数据，获取多个待处理数据的同时可以获取多个待处理数据各自对应的数据长度。
在一些实施方式中，电子设备可以预先设置并存储待处理数据获取时间，当到该待处理数据获取时间时，电子设备获取多个待处理数据。其中，待处理数据可以从需要完成的业务中获取。电子设备还可以实时获取待处理数据。作为一种方式，电子设备实时获取待检测数据过程中，当电子设备检测到有业务需要进行数据处理时，获取业务中包括的待处理数据。
步骤S520：中央处理器基于所述多个待处理数据各自对应的数据长度对所述多个待处理数据进行排序，获得待处理队列。
在本实施例中，中央处理器(CPU)可以根据多个待处理数据各自对应的数据长度对所述多个待处理数据进行排序，获得待处理队列。
在一些实施方式中，可以根据多个待处理数据各自对应的长度对多个待处理数据进行排序，获取待处理队列，可以理解的是，待处理队列是多个待处理数据按照数据长度排序后构成的。作为一种方式，可以按照数据长度从长到短的顺序对多个待处理数据进行排序，获得待处理队列。作为另一种方式，还可以按照数据长度从短到长的顺序对多个待处理数据进行排序，获得待处理队列。其中，具体的排序方式在此不做限定。
在一些实施方式中，多个待处理数据中可以包括数据长度一样的待处理数据。可以获取待处理数据对应的获取时间，当对多个待处理数据进行排序时，待处理数据的数据长度一样时，将待处理数据对应的获取时间早的排在待处理数据对应的获取时间晚的后面。例如，待处理数据data_1长度为4，对应的获取时间为10点20、待处理数据data_2长度为4，对应的获取时间为10点22、待处理数据data_3长度为6，对应的获取时间为10点20，则按照数据长度从长到短的顺序进行排序的顺序为待处理数据data_3、待处理数据data_1和待处理数据data_2；则按照数据长度从短到长的顺序进行排序的顺序为待处理数据data_1、待处理数据data_2和待处理数据data_3。
步骤S530：中央处理器基于所述电子设备的属性信息，将所述待处理队列划分为至少两组待处理子队列。
在本实施例中，电子设备中的中央处理器(CPU)可以将待处理队列划分为至少两组待处理子队列，其中，每组待处理子队列中包括的待处理数据量可以相等，也可以不相等，在此不做限定。
在一些实施方式中，电子设备中可以设置待处理子队列的批量大小，根据该批量大小将待处理队列划分为至少两组待处理子队列。可以理解的是，待处理队列中的数据是经过排序后的数据，相比于完全随机的数据长度，排序后的待处理数据，相邻待处理数据的数据长度更相近，相邻待处理数据会被分到同一个待处理子队列中，便于对数据进行处理。
在一些实施方式中，电子设备的属性信息可以包括GPU性能、CPU性能以及显存等，在此不做限定。电子设备可以在中央处理器(CPU)性能较低时，将待处理队列划分为至少两组待处理子队列。电子设备还可以在图形处理器(GPU)性能较低时，将待处理队列划分为至少两组待处理子队列。电子设备可以在显存较低时，将待处理队列划分为至少两组待处理子队列。
步骤S540：图形处理器通过预设模型，分别对所述至少两组待处理子队列进行处理。
在本实施例中，电子设备中的图形处理器(GPU)可以通过预设模型分别对至少两组待处理子队列进行处理。
在一些实施方式中，电子设备可以获取至少两组待处理子队列中对应的数据长度最大的待处理数据的数据长度，并将至少两组待处理队列中包括的待处理数据的数据长度均填充至对应的目标数据长度之后，分别对至少两组待处理子队列进行特征构造，获得至少两组待处理子队列各自对应的特征信息，通过预设模型，分别对至少两组待处理子队列各自对应的特征信息进行处理。
在一些实施方式中，可以通过预设模型分别对至少两组待处理子队列进行推理。还可以通过预设模型分别对至少两组待处理子队列进行训练。
本申请一个实施例提供的数据处理方法，电子设备中的中央处理器(CPU)获取多个待处理数据，并获取多个待处理数据各自对应的数据长度，基于多个待处理数据各自对应的数据长度对多个待处理数据进行排序，获得待处理队列，其中，待处理队列由按照数据长度排序的多个待处理数据组成，将待处理队列划分为至少两组待处理子队列，再通过电子设备中的图形处理器(GPU)通过预设模型，分别对所述至少两组待处理子队列进行处理，从而实现对数据的处理，并通过对待处理数据进行排序分组，在不损失精确度的情况下，加快数据处理的速度。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
请参阅图8，图8示出了本申请实施例提供的数据处理装置的模块框图。该数据处理装置200应用于上述电子设备，下面将针对图8所示的框图进行阐述，所述数据处理装置200包括：待处理数据获取模块210、待处理队列获取模块220、待处理队列划分模块230以及待处理子队列处理模块240，其中：
待处理数据获取模块210，用于获取多个待处理数据，并获取所述多个待处理数据各自对应的数据长度。
进一步地，待处理数据获取模块210包括：限制时间获取子模块、待处理数据分组子模块以及第二待处理数据集缓存子模块，其中：
限制时间获取子模块，用于获取所述多个待处理数据各自对应的限制时间，其中，所述限制时间用于表征数据从被获取到被处理完成所需的时长。
待处理数据分组子模块，用于基于所述多个待处理数据各自对应的限制时间，对所述多个待处理数据进行分组，获得第一待处理数据集和第二待处理数据集，其中，所述第一待处理数据集中包括的待处理数据对应的限制时间小于预设时间，所述第二待处理数据集中包括的待处理数据对应的限制时间大于所述预设时间。
第二待处理数据集缓存子模块，用于缓存所述第二待处理数据集，并获取所述第一待处理数据集包括的待处理数据各自对应的数据长度。
进一步地，待处理数据获取模块210还包括：新增数据限制时间获取子模块、数据延后处理子模块以及数据混合处理子模块，其中：
新增数据限制时间获取子模块，用于当在通过所述预设模型对所述第一待处理数据集包括的待处理数据进行处理的过程中接收到新增数据时，获取所述新增数据对应的限制时间。
数据延后处理子模块，用于当所述新增数据对应的限制时间小于所述预设时间时，将所述新增数据延后处理。
数据混合处理子模块，用于当所述新增数据对应的限制时间大于所述预设时间时，将所述新增数据和所述第二待处理数据集中包括的待处理数据混合处理。
进一步地，数据延后处理子模块包括：新增数据处理单元，其中：
新增数据处理单元，用于当所述第一待处理数据集包括的待处理数据全部处理完成时，通过所述预设模型对所述新增数据进行处理。
进一步地，新增数据处理单元包括：新增数据长度获取子单元、第一新增队列获取子单元、第一新增队列划分子单元以及第一新增子队列处理子单元，其中：
新增数据长度获取子单元，用于获取多个新增数据各自对应的数据长度。
第一新增队列获取子单元，用于基于所述多个新增数据各自对应的数据长度对所述多个新增数据进行排序，获得第一新增队列，其中，所述第一新增队列由按照数据长度排序的所述多个新增数据组成。
第一新增队列划分子单元，用于基于所述电子设备的属性信息，将所述第一新增队列划分为至少两组第一新增子队列。
第一新增子队列处理子单元，用于通过所述预设模型，分别对所述至少两组第一新增子队列进行处理。
进一步地，新增数据处理单元还包括：第二待处理数据长度获取子单元、第二新增队列获取子单元、第二新增队列划分子单元以及第二新增子队列处理子单元，其中：
第二待处理数据长度获取子单元，用于当所述新增数据全部处理完成时，获取所述第二待处理数据集包括的待处理数据各自对应的数据长度。
第二新增队列获取子单元，用于基于所述第二待处理数据集中包括的待处理数据各自对应的数据长度对所述第二待处理数据集中包括的待处理数据进行排序，获得第二新增队列，其中，所述第二新增队列由按照数据长度排序的所述第二待处理数据集包括的待处理数据组成。
第二新增队列划分子单元，用于基于所述电子设备的属性信息，将所述第二新增队列划分为至少两组第二新增子队列。
第二新增子队列处理子单元，用于通过所述预设模型，分别对所述至少两组第二新增子队列进行处理。
进一步地，数据混合处理子模块包括：第三待处理数据长度获取单元、第三新增队列获取单元、第三新增队列划分单元以及第三新增子队列处理单元，其中：
第三待处理数据长度获取单元，用于获取所述新增数据对应的数据长度，并获取所述第二数据集中包括的待处理数据各自对应的数据长度。
第三新增队列获取单元，用于基于所述第二待处理数据集中包括的待处理数据各自对应的数据长度和所述新增数据对应的数据长度，对所述第二待处理数据集中包括的待处理数据和所述新增数据进行排序，获得第三新增队列，其中，所述第三新增子队列由按照数据长度排序的所述新增数据和所述第二待处理数据集中包括的待处理数据组成。
第三新增队列划分单元，用于基于所述电子设备的属性信息，将所述第三新增队列划分为至少两组第三新增子队列。
第三新增子队列处理单元，用于通过所述预设模型，分别对所述至少两组第三新增子队列进行处理。
待处理队列获取模块220，用于基于所述多个待处理数据各自对应的数据长度对所述多个待处理数据进行排序，获得待处理队列。
进一步地，待处理队列获取模块220包括：第一待处理数据排序子模块以及第二待处理数据排序子模块，其中：
第一待处理数据排序子模块，用于基于所述多个待处理数据各自对应的数据长度，按数据长度从长到短的顺序对所述多个待处理数据进行排序，获得所述待处理队列。
第二待处理数据排序子模块，用于基于所述多个待处理数据各自对应的数据长度，按数据长度从短到长的顺序对所述多个待处理数据进行排序，获得所述待处理队列。
待处理队列划分模块230，用于基于所述电子设备的属性信息，将所述待处理队列划分为至少两组待处理子队列。
进一步地，待处理队列划分模块230包括，批量大小获取子模块以及待处理队列划分子模块，其中：
批量大小获取子模块，用于基于所述电子设备的属性信息，获取批量大小。
待处理队列划分子模块，用于基于所述批量大小将所述待处理队列划分为至少两组待处理子队列。
进一步地，还数据处理装置200还包括：目标数据长度获取模块以及数据填充模块，其中：
目标数据长度获取模块，用于从所述目标待处理子队列中确定数据长度最大的待处理数据，并获取所述数据长度最大的待处理数据的数据长度作为目标数据长度；
数据填充模块，用于将所述目标待处理队列中包括的待处理数据的数据长度均填充至所述目标数据长度。
待处理子队列处理模块240，用于通过预设模型，分别对所述至少两组待处理子队列进行处理。
进一步地，待处理子队列处理模块240包括：特征信息获取子模块以及特征信息处理子模块，其中：
特征信息获取子模块，用于分别对所述至少两组待处理子队列进行特征构造，获得所述至少两组待处理子队列各自对应的特征信息。
特征信息处理子模块，用于通过所述预设模型，分别对所述至少两组待处理子队列各自对应的特征信息进行处理。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
请参阅图9，其示出了本申请实施例提供的一种电子设备100的结构框图。该电子设备100可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的电子设备100可以包括一个或多个如下部件：处理器110、存储器120以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。
其中，处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责待显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参阅图10，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质300中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质300可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质500包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质300具有执行上述方法中的任何方法步骤的程序代码310的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码310可以例如以适当形式进行压缩。
综上所述，本申请实施例提供的数据处理方法、装置、电子设备以及存储介质，获取多个待处理数据，并获取多个待处理数据各自对应的数据长度，基于多个待处理数据各自对应的数据长度对多个待处理数据进行排序，获得待处理队列，基于电子设备的属性信息，将待处理队列划分为至少两组待处理子队列，通过预设模型，分别对所述至少两组待处理子队列进行处理，从而实现对数据的处理，并通过按照待处理数据的数据长度和电子设备的属性信息对待处理数据进行排序分组，在不损失精确度的情况下，加快数据处理的速度。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (15)
1.一种数据处理方法，其特征在于，应用于电子设备，所述方法包括：
获取多个待处理数据，并获取所述多个待处理数据各自对应的数据长度；
基于所述多个待处理数据各自对应的数据长度对所述多个待处理数据进行排序，获得待处理队列；
基于所述电子设备的属性信息，将所述待处理队列划分为至少两组待处理子队列；
通过预设模型，分别对所述至少两组待处理子队列进行处理；
所述获取所述多个待处理数据各自对应的数据长度，包括：
获取所述多个待处理数据各自对应的限制时间，其中，所述限制时间用于表征数据从被获取到被处理完成所需的时长；
基于所述多个待处理数据各自对应的限制时间，对所述多个待处理数据进行分组，获得第一待处理数据集和第二待处理数据集；
缓存所述第二待处理数据集，并获取所述第一待处理数据集包括的待处理数据各自对应的数据长度。
2.根据权利要求1所述的方法，其特征在于，所述基于所述多个待处理数据各自对应的数据长度对所述多个待处理数据进行排序，获得待处理队列，包括：
基于所述多个待处理数据各自对应的数据长度，按数据长度从长到短的顺序对所述多个待处理数据进行排序，获得所述待处理队列；或者
基于所述多个待处理数据各自对应的数据长度，按数据长度从短到长的顺序对所述多个待处理数据进行排序，获得所述待处理队列。
3.根据权利要求1所述的方法，其特征在于，所述基于所述电子设备的属性信息，将所述待处理队列划分为至少两组待处理子队列，包括：
基于所述电子设备的属性信息，获取批量大小；
基于所述批量大小将所述待处理队列划分为至少两组待处理子队列。
4.根据权利要求1所述的方法，其特征在于，所述至少两组待处理子队列包括目标待处理子队列，所述方法还包括：
从所述目标待处理子队列中确定数据长度最大的待处理数据，并获取所述数据长度最大的待处理数据的数据长度作为目标数据长度；
将所述目标待处理队列中包括的待处理数据的数据长度均填充至所述目标数据长度。
5.根据权利要求1所述的方法，其特征在于，所述通过预设模型，分别对所述至少两组待处理子队列进行处理，包括：
分别对所述至少两组待处理子队列进行特征构造，获得所述至少两组待处理子队列各自对应的特征信息；
通过所述预设模型，分别对所述至少两组待处理子队列各自对应的特征信息进行处理。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述第一待处理数据集中包括的待处理数据对应的限制时间小于预设时间，所述第二待处理数据集中包括的待处理数据对应的限制时间大于所述预设时间。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
当在通过所述预设模型对所述第一待处理数据集包括的待处理数据进行处理的过程中接收到新增数据时，获取所述新增数据对应的限制时间；
当所述新增数据对应的限制时间小于所述预设时间时，将所述新增数据延后处理；或者
当所述新增数据对应的限制时间大于所述预设时间时，将所述新增数据和所述第二待处理数据集中包括的待处理数据混合处理。
8.根据权利要求7所述的方法，其特征在于，所述将所述新增数据延后处理，包括：
当所述第一待处理数据集包括的待处理数据全部处理完成时，通过所述预设模型对所述新增数据进行处理。
9.根据权利要求8所述的方法，其特征在于，当所述新增数据的数量为多个时，所述通过所述预设模型对所述新增数据进行处理，包括：
获取多个新增数据各自对应的数据长度；
基于所述多个新增数据各自对应的数据长度对所述多个新增数据进行排序，获得第一新增队列，其中，所述第一新增队列由按照数据长度排序的所述多个新增数据组成；
基于所述电子设备的属性信息，将所述第一新增队列划分为至少两组第一新增子队列；
通过所述预设模型，分别对所述至少两组第一新增子队列进行处理。
10.根据权利要求8所述的方法，其特征在于，所述当所述第一待处理数据集包括的待处理数据全部处理完成时，通过所述预设模型对所述新增数据进行处理之后，包括：
当所述新增数据全部处理完成时，获取所述第二待处理数据集包括的待处理数据各自对应的数据长度；
基于所述第二待处理数据集中包括的待处理数据各自对应的数据长度对所述第二待处理数据集中包括的待处理数据进行排序，获得第二新增队列，其中，所述第二新增队列由按照数据长度排序的所述第二待处理数据集包括的待处理数据组成；
基于所述电子设备的属性信息，将所述第二新增队列划分为至少两组第二新增子队列；
通过所述预设模型，分别对所述至少两组第二新增子队列进行处理。
11.根据权利要求7所述的方法，其特征在于，所述将所述新增数据和所述第二待处理数据集中包括的待处理数据混合处理，包括：
获取所述新增数据对应的数据长度，并获取所述第二待处理数据集中包括的待处理数据各自对应的数据长度；
基于所述第二待处理数据集中包括的待处理数据各自对应的数据长度和所述新增数据对应的数据长度，对所述第二待处理数据集中包括的待处理数据和所述新增数据进行排序，获得第三新增队列，其中，所述第三新增子队列由按照数据长度排序的所述新增数据和所述第二待处理数据集中包括的待处理数据组成；
基于所述电子设备的属性信息，将所述第三新增队列划分为至少两组第三新增子队列；
通过所述预设模型，分别对所述至少两组第三新增子队列进行处理。
12.一种数据处理装置，其特征在于，所述装置包括：
待处理数据获取模块，用于获取多个待处理数据，并获取所述多个待处理数据各自对应的数据长度；
待处理队列获取模块，用于基于所述多个待处理数据各自对应的数据长度对所述多个待处理数据进行排序，获得待处理队列；
待处理队列划分模块，用于基于电子设备的属性信息，将所述待处理队列划分为至少两组待处理子队列；
待处理子队列处理模块，用于通过预设模型，分别对所述至少两组待处理子队列进行处理；
所述待处理数据获取模块，包括限制时间获取子模块、待处理数据分组子模块以及第二待处理数据集缓存子模块，其中：
所述限制时间获取子模块，用于获取所述多个待处理数据各自对应的限制时间，其中，所述限制时间用于表征数据从被获取到被处理完成所需的时长；
所述待处理数据分组子模块，用于基于所述多个待处理数据各自对应的限制时间，对所述多个待处理数据进行分组，获得第一待处理数据集和第二待处理数据集；
所述第二待处理数据集缓存子模块，用于缓存所述第二待处理数据集，并获取所述第一待处理数据集包括的待处理数据各自对应的数据长度。
13.一种电子设备，其特征在于，包括存储器和处理器，所述存储器耦接到所述处理器，所述存储器存储指令，当所述指令由所述处理器执行时所述处理器执行如权利要求1-11任一项所述的方法。
14.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-11任一项所述的方法。
15.一种计算机程序产品, 其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求 1-11中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111342578.1A CN114283045B (zh) | 2021-11-12 | 2021-11-12 | 数据处理方法、装置、电子设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111342578.1A CN114283045B (zh) | 2021-11-12 | 2021-11-12 | 数据处理方法、装置、电子设备以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114283045A CN114283045A (zh) | 2022-04-05 |
| CN114283045B true CN114283045B (zh) | 2024-07-26 |
Family
ID=80869249
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111342578.1A Active CN114283045B (zh) | 2021-11-12 | 2021-11-12 | 数据处理方法、装置、电子设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114283045B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112966476A (zh) * | 2021-04-19 | 2021-06-15 | 马上消费金融股份有限公司 | 文本处理方法、装置、电子设备及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3005078A2 (en) * | 2013-05-24 | 2016-04-13 | Coherent Logix Incorporated | Memory-network processor with programmable optimizations |
| US9665626B1 (en) * | 2016-02-02 | 2017-05-30 | International Business Machines Corporation | Sorted merge of streaming data |
| US11354909B2 (en) * | 2019-09-26 | 2022-06-07 | International Business Machines Corporation | Adaptive queue management system |
-
2021
- 2021-11-12 CN CN202111342578.1A patent/CN114283045B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112966476A (zh) * | 2021-04-19 | 2021-06-15 | 马上消费金融股份有限公司 | 文本处理方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114283045A (zh) | 2022-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109299344B (zh) | 排序模型的生成方法、搜索结果的排序方法、装置及设备 | |
| CN111950056B (zh) | 建筑信息化模型bim展示方法及相关设备 | |
| CN110046634A (zh) | 聚类结果的解释方法和装置 | |
| CN112328823A (zh) | 多标签分类模型的训练方法、装置、电子设备及存储介质 | |
| CN111182332B (zh) | 视频处理方法、装置、服务器及存储介质 | |
| CN106782604A (zh) | 语音消息的处理方法、装置及其电子设备 | |
| CN112732628A (zh) | 核间数据处理方法、系统、片上系统以及电子设备 | |
| US11562554B1 (en) | Workload reduction for non-maximum suppression operation | |
| CN116126354A (zh) | 模型部署方法、装置、电子设备以及存储介质 | |
| CN110908797B (zh) | 调用请求数据处理方法、装置、设备、存储介质及系统 | |
| CN109684632B (zh) | 一种自然语义理解的方法、装置、计算设备 | |
| CN114048816B (zh) | 一种图神经网络数据采样方法、装置、设备及存储介质 | |
| CN114283045B (zh) | 数据处理方法、装置、电子设备以及存储介质 | |
| CN116467235B (zh) | 一种基于dma的数据处理方法、装置、电子设备及介质 | |
| CN111459682B (zh) | 频率调整方法、装置、电子设备以及存储介质 | |
| WO2021087970A1 (zh) | 标签数据的更新方法、装置、电子设备及存储介质 | |
| CN111967478A (zh) | 一种基于权重翻转的特征图重构方法、系统、存储介质及终端 | |
| CN112070144B (zh) | 图像聚类方法、装置、电子设备以及存储介质 | |
| CN116185545A (zh) | 一种页面渲染的方法及装置 | |
| CN111542837A (zh) | 三维卷积神经网络计算装置及相关产品 | |
| CN111228815B (zh) | 处理游戏的配置表的方法、装置、存储介质和系统 | |
| CN114611674A (zh) | 一种U-net模型的轻量化方法及装置 | |
| CN114662689A (zh) | 一种神经网络的剪枝方法、装置、设备及介质 | |
| CN107728806A (zh) | 输入法候选词展示方法、装置、计算机装置及存储介质 | |
| CN114117062A (zh) | 文本向量表示方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |