CN114116013B

CN114116013B - 一种数据处理方法、装置、电子设备及存储介质

Info

Publication number: CN114116013B
Application number: CN202210109599.7A
Authority: CN
Inventors: 孔令军; 庞兆春; 林宁亚; 王贤坤; 宋琪
Original assignee: Suzhou Inspur Intelligent Technology Co Ltd
Current assignee: Suzhou Inspur Intelligent Technology Co Ltd
Priority date: 2022-01-29
Filing date: 2022-01-29
Publication date: 2022-04-19
Anticipated expiration: 2042-01-29
Also published as: WO2023142733A1; CN114116013A

Abstract

本申请提供一种数据处理方法、装置、电子设备及存储介质，该方法包括：按照待处理数据的元素原始排列顺序，将待处理数据中的元素依次输入到首个处理层的各个处理单元；基于各处理单元，根据预设的有效数据管理逻辑和元素的类别标签，进行元素移位，并基于数据传输通道将经过移位后的元素发送到下一处理层的处理单元，直至所有处理层的处理单元完成元素移位操作；按照处理单元的排列顺序，依次采集最后一个处理层中各处理单元中经过移位后的元素，以得到处理后的目标数据。通过利用若干个处理层实现数据管理，且处理层中的处理单元所依据的有效数据管理逻辑较为简单，每个处理单元都能快速实现元素移位处理，从而提高了有效数据的管理效率。

Description

一种数据处理方法、装置、电子设备及存储介质

技术领域

本申请涉及集成电路技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

目前，计算机和集成电路技术得到了高速发展，计算机内部芯片在得到输入数据后，首先将对输入数据进行预处理，以使输入数据中的有效数据和无效数据能够得到区分。

在现有技术中，通常基于芯片的通用处理器运行预设的循环算法，来对输入数据中的每个元素进行有效性判断，然后再调整输入数据中的元素位置，以实现有效数据的筛选和合并。

但是，由于输入数据常常为高维向量数据，若基于现有技术进行有效数据管理，则需要进行大量的循环运算，无法保证有效数据管理效率。

发明内容

本申请提供一种数据处理方法、装置、电子设备及存储介质，以解决现有技术无法保证有效数据管理效率等缺陷。

本申请第一个方面提供一种数据处理方法，应用于数据处理系统，所述数据处理系统包括：若干个由并列的多个处理单元组成的处理层，相邻处理层对应位置的处理单元之间设有数据传输通道，所述方法包括：

获取待处理数据；其中，所述待处理数据中每个元素携带有类别标签，所述类别标签分为有效标签和无效标签两类；

按照所述待处理数据的元素原始排列顺序，将所述待处理数据中的元素依次输入到首个处理层的各个处理单元；

基于各所述处理单元，根据预设的有效数据管理逻辑和所述元素的类别标签，进行元素移位，并基于所述数据传输通道将经过移位后的元素发送到下一处理层的处理单元，以再次对所述待处理数据的元素进行移位，直至所有所述处理层的处理单元完成元素移位操作；

按照处理单元的排列顺序，依次采集最后一个处理层中各所述处理单元中经过移位后的元素，以得到处理后的目标数据。

可选的，所述处理单元根据预设的有效数据管理逻辑和所述元素的类别标签，判断是否需要将上层处理单元中的元素移位到本层，并将判断结果发送到所述上层处理单元。

可选的，还包括：

检测所述待处理数据的元素有效率；

根据所述元素有效率和所述待处理数据的数据长度，确定所述处理层的部署需求信息。

可选的，检测所述待处理数据的元素有效率，包括：

根据所述待处理数据中各元素携带的类别标签，从所述待处理数据中定位有效元素；

根据所述待处理数据中的有效元素量和所述待处理数据的数据长度，确定所述待处理数据的元素有效率。

可选的，在得到处理后的目标数据之后，所述方法还包括：

检测所述目标数据中的有效元素量；

比较所述目标数据中的有效元素量和待处理数据中的有效元素量是否一致；

当所述目标数据中的有效元素量和待处理数据中的有效元素量不一致时，进行数据处理异常报警。

可选的，还包括：

判断当前得到的所有所述目标数据中的有效元素总量是否达到有效元素获取需求；

若当前得到的所有所述目标数据中的有效元素总量未达到有效元素获取需求，则获取新的待处理数据，以增添目标数据。

可选的，在得到处理后的目标数据之后，所述方法还包括：

根据所述目标数据的元素排列顺序和各所述元素所携带的类别标签，判断所述目标数据是否达到有效数据管理标准；

当所述目标数据未达到所述有效数据管理标准时，按照所述目标数据的元素排列顺序，将所述目标数据中的元素依次输入到首个处理层的各个处理单元，以重新对所述目标数据进行元素移位操作，得到新的目标数据。

本申请第二个方面提供一种数据处理装置，应用于数据处理系统，所述数据处理系统包括：若干个由并列的多个处理单元组成的处理层，相邻处理层对应位置的处理单元之间设有数据传输通道，所述装置包括：

获取模块，用于获取待处理数据；其中，所述待处理数据中每个元素携带有类别标签，所述类别标签分为有效标签和无效标签两类；

输入模块，用于按照所述待处理数据的元素原始排列顺序，将所述待处理数据中的元素依次输入到首个处理层的各个处理单元；

处理模块，用于基于各所述处理单元，根据预设的有效数据管理逻辑和所述元素的类别标签，进行元素移位，并基于所述数据传输通道将经过移位后的元素发送到下一处理层的处理单元，以再次对所述待处理数据的元素进行移位，直至所有所述处理层的处理单元完成元素移位操作；

输出模块，用于按照处理单元的排列顺序，依次采集最后一个处理层中各所述处理单元中经过移位后的元素，以得到处理后的目标数据。

可选的，所述装置还包括：

判断模块，用检测所述待处理数据的元素有效率；根据所述元素有效率和所述待处理数据的数据长度，确定所述处理层的部署需求信息。

可选的，所述判断模块，具体用于：

可选的，所述判断模块，还用于：

检测所述目标数据中的有效元素量；

可选的，所述判断模块，还用于：

本申请第三个方面提供一种电子设备，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一个方面以及第一个方面各种可能的设计所述的方法。

本申请第四个方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一个方面以及第一个方面各种可能的设计所述的方法。

本申请技术方案，具有如下优点：

本申请提供一种数据处理方法、装置、电子设备及存储介质，该方法包括：获取待处理数据；其中，待处理数据中每个元素携带有类别标签，类别标签分为有效标签和无效标签两类；按照待处理数据的元素原始排列顺序，将待处理数据中的元素依次输入到首个处理层的各个处理单元；基于各处理单元，根据预设的有效数据管理逻辑和元素的类别标签，进行元素移位，并基于数据传输通道将经过移位后的元素发送到下一处理层的处理单元，以再次对待处理数据的元素进行移位，直至所有处理层的处理单元完成元素移位操作；按照处理单元的排列顺序，依次采集最后一个处理层中各处理单元中经过移位后的元素，以得到处理后的目标数据。上述方案提供的方法，通过利用若干个由并列的多个处理单元组成的处理层实现数据管理，且各处理单元所依据的有效数据管理逻辑较为简单，每个处理单元都能快速实现元素移位处理，从而提高了有效数据的管理效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本申请实施例基于的数据处理系统的结构示意图；

图2为本申请实施例提供的数据处理方法的流程示意图；

图3为本申请实施例提供的一种示例性的处理层的结构示意图；

图4为本申请实施例提供的另一种示例性的处理层的结构示意图；

图5为本申请实施例提供的处理单元结构示意图；

图6为本申请实施例提供的数据处理装置的结构示意图；

图7为本申请实施例提供的电子设备的结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。

在现有技术中，通常是基于芯片的通用处理器运行预设的循环算法，来对输入数据中的每个元素进行有效性判断，然后再调整输入数据中的元素位置，以实现有效数据的筛选和合并。但是，由于输入数据常常为高维向量数据，若基于现有技术进行有效数据管理，则需要进行大量的循环运算，无法保证有效数据管理效率。

例如：有效标志（vlaid tag）是外部输入的，数据（data），也是外部输入的，与valid tag一一对应，c语言循环算法示例如下：

Int counter=0;

For (int i; i<N;i ++)

{ if ( valids[i])

{ Result[counter]=A[i]

Counter ++;

}}

针对上述问题，本申请实施例提供的数据处理方法、装置、电子设备及存储介质，通过获取待处理数据；其中，待处理数据中每个元素携带有类别标签，类别标签分为有效标签和无效标签两类；按照待处理数据的元素原始排列顺序，将待处理数据中的元素依次输入到首个处理层的各个处理单元；基于各处理单元，根据预设的有效数据管理逻辑和元素的类别标签，进行元素移位，并基于数据传输通道将经过移位后的元素发送到下一处理层的处理单元，以再次对待处理数据的元素进行移位，直至所有处理层的处理单元完成元素移位操作；按照处理单元的排列顺序，依次采集最后一个处理层中各处理单元中经过移位后的元素，以得到处理后的目标数据。上述方案提供的方法，通过利用若干个由并列的多个处理单元组成的处理层实现数据管理，且各处理单元所依据的有效数据管理逻辑较为简单，每个处理单元都能快速实现元素移位处理，从而提高了有效数据的管理效率。

下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明实施例进行描述。

首先，对本申请所基于的数据处理系统的结构进行说明：

本申请实施例提供的数据处理方法、装置、电子设备及存储介质，适用于对待处理数据中的有效数据进行筛选和合并。如图1所示，为本申请实施例基于的数据处理系统的结构示意图，主要包括若干个由并列的多个处理单元组成的处理层和数据处理装置，其中，相邻处理层对应位置的处理单元之间设有数据传输通道。具体地，该数据处理装置在得到待处理数据后，将该待处理数据输入到首个处理层的各个处理单元，最后由数据处理装置在最后一个处理层采集经过移位后的元素，以得到对应的目标数据。

本申请实施例提供了一种数据处理方法，应用于数据处理系统，该数据处理系统包括：若干个由并列的多个处理单元组成的处理层，相邻处理层对应位置的处理单元之间设有数据传输通道，用于对待处理数据中的有效数据进行筛选和合并。本申请实施例的执行主体为电子设备，比如服务器、台式电脑、笔记本电脑、平板电脑及其他可用于进行数据处理的电子设备。

如图2所示，为本申请实施例提供的数据处理方法的流程示意图，该方法包括：

步骤201，获取待处理数据。

其中，待处理数据中每个元素携带有类别标签，类别标签分为有效标签和无效标签两类。

示例性的，若待处理数据为一向量A=（12，13，14，15），且类别标签为valids=（0，1，0，0），则表明元素12、14和15为无效元素，元素13为有效元素。

步骤202，按照待处理数据的元素原始排列顺序，将待处理数据中的元素依次输入到首个处理层的各个处理单元。

需要说明的是，处理层中的处理单元是从下至上依次排列的，每个处理单元可以接收一个本层元素。

具体地，可以将待处理数据中的最后一个元素，如上述向量A中的元素“15”输入到首个处理层的最底层处理单元作为本层元素，将上述向量A中的元素“14”输入到首个处理层的次底层处理单元，以此类推，至到将待处理数据中的所有元素都依次输入到首个处理层的处理单元。

步骤203，基于各处理单元，根据预设的有效数据管理逻辑和元素的类别标签，进行元素移位，并基于数据传输通道将经过移位后的元素发送到下一处理层的处理单元，以再次对待处理数据的元素进行移位，直至所有处理层的处理单元完成元素移位操作。

示例性的，如图3所示，为本申请实施例提供的一种示例性的处理层的结构示意图，图3中最左侧的处理层（layer）为首个处理层，在首个处理层中的四个处理单元完成首次的元素移位操作后，基于不同处理层中相同位置的处理单元之间的数据传输通道，向后（如图3中向右）进行元素传输，以将经过首次移位后的元素发送到下一处理层的处理单元，并基于该下一处理层中的各个处理单元，根据预设的有效数据管理逻辑和元素的类别标签，再次进行元素移位，直至所有处理层的处理单元完成元素移位操作，即直至最后一个处理层（如图3中最右侧的处理层）完成相应的元素移位操作。

步骤204，按照处理单元的排列顺序，依次采集最后一个处理层中各处理单元中经过移位后的元素，以得到处理后的目标数据。

示例性的，待处理数据为一向量A=（12，13，14，15），且类别标签为valids=（0，1，0，0），则目标数据可以为A=（0，0，0，13），对应的类别标签为valids=（0，0，0，1）。

具体地，在最后一个处理层完成元素移位操作后，可以读取当前最后一个处理层中各个处理单元的元素信息，如读取结果为（12，14，15，13），对应的类别标签为valids=（0，0，0，1），则在元素采集的过程中，拒绝前三个无效数据的输出，从而得到上述目标数据（0，0，0，13）。

具体地，在一实施例中，如图4所示，为本申请实施例提供的另一种示例性的处理层的结构示意图，图4中的data表示元素，valid表示元素的类别标签，从下至上的传输链路为判断结果传输链路。处理单元根据预设的有效数据管理逻辑和元素的类别标签，判断是否需要将上层处理单元中的元素移位到本层，并将判断结果发送到上层处理单元。

具体地，处理层中最底层的（图4中最下面的）的处理单元接收可以代替下层处理单元判断结果的控制指令（force to 0），然后根据预设的有效数据管理逻辑和已得元素的类别标签，判断是否需要将上层处理单元中的元素移位到本层，如，最底层处理单元已得元素的类别标签为0，则确定本层元素无效，必然要进行元素移位，则向上层处理单元（图4中第三个）输出判断结果1；若图4中第三个处理单元已得元素的类别标签为0，结合最底层处理单元（下层处理单元）发送的判断结果，第三个处理单元可以确定此时下层处理单元要将本层元素移位到下层处理单元，因此本层也应当将上层处理单元的元素移动到本层，据此生成判断结果1，并将该判断结果1发送到图4中的第二个处理单元，以此类推。再例如，最底层处理单元已得元素的类别标签为1，则确定本层元素有效，那么不需要进行元素移位，则向上层处理单元（图4中第三个）输出判断结果0；若图4中第三个处理单元已得元素的类别标签为0，结合最底层处理单元（下层处理单元）发送的判断结果，可以确定本层元素需要进行元素移位，据此生成判断结果1，并将该判断结果1发送到图4中的第二个处理单元，以此类推。

示例性的，如图5所示，为本申请实施例提供的处理单元结构示意图，处理单元unit由一个决策器（Move Decision）和一个多选器（MUX）构成，图5中tag表示该处理单元已得元素的类别标签，move_in表示下层处理单元发送过来的判断结果，也表示本层处理单元的动作，move_out表示本层处理单元生成的判断结果，将发送到上层处理单元，处理单元在接收本层元素（tag_in[0]和data_in[0]）的同时还接收上层处理单元的元素（tag_in[1]和data_in[1]），以便于实现元素移位，即便于将上层元素移动到本层，tag_out和data_out表示经过移位后的元素，可能是tag_in[1]和data_in[1]，也可能是tag_in[0]和data_in[0]，最后将tag_out和data_out发送到下一处理层中位置相对应的处理单元。

示例性的，若理想的目标数据是000000111的样式，即将有效元素合并在数据尾部，则可以采用如下有效数据管理逻辑的真值表进行数据处理：

在上述实施例的基础上，作为一种可实施的方式，在一实施例中，该方法还包括：

步骤301，检测待处理数据的元素有效率；

步骤302，根据元素有效率和待处理数据的数据长度，确定处理层的部署需求信息。

需要说明的是，上述实施例提供的数据处理系统中的每个layer（处理层）可以根据伴随元素的vlaid tag，将该元素向下移动一个单位距离，拥有M层layer的电路（数据处理系统），在每一个电路周期内，可将元素向下移动M个单位距离。对于资源足够的芯片来说，要处理包含N个元素的向量数据，可以部署N层layer，可以在一个电路周期内完成上述数据处理过程，并得到最终的目标数据，但是对于资源不足的芯片来说，或者对于一些有效数据占比更多的采样数据源来说，缩减一些layer是有必要的。

其中，元素有效率表示待处理数据中有效元素的占比，如待处理数据包括10个元素，有效元素有8个，那么该待处理数据的元素有效率为80%。

具体地，在一实施例中，可以根据待处理数据中各元素携带的类别标签，从待处理数据中定位有效元素；根据待处理数据中的有效元素量和待处理数据的数据长度，确定待处理数据的元素有效率。

其中，待处理数据的数据长度表征该待处理数据包括了多少个元素。

示例性的，若一个数据源发送过来的待处理数据的元素有效率固定为80%，那么其最长移动距离就是20% *N，N表示待处理数据的数据长度，那么只需要部署20%*N个layer，就可以大概率一次性输出合理结果。这样可以省去不必要的资源浪费。若其元素有效率存在一个置信区间，或者有效元素呈现正态分布，那么可以根据用户需求，选取一个合适的层数，便可以在大部分的数据处理中实现一次性完成处理。

需要进一步说明的是，本申请实施例提供的数据处理系统是基于单步移位单元的一种电路，即每个unit和每个layer，每次处理仅可以将元素移动一步，在实际应用中可以通过扩展处理单元中movedecision的数量，构建多步的移位电路（数据处理系统）。

进一步地，在一实施例中，在得到处理后的目标数据之后，该方法还包括：

步骤401，检测目标数据中的有效元素量；

步骤402，比较目标数据中的有效元素量和待处理数据中的有效元素量是否一致；

步骤403，当目标数据中的有效元素量和待处理数据中的有效元素量不一致时，进行数据处理异常报警。

具体地，若最后得到的目标元素中的有效元素量和待处理数据中的有效元素量不一致，则可以确定在数据处理过程中发生了有效数据的丢失，即电数据处理系统中出现了计算错误，据此进行数据处理异常报警。

示例性的，也可以计算待处理数据的汉明重量，数据处理系统中，使用查表法计算待处理数据的汉明重量，亦可以做电路校验，即对处理前的validtags（待处理数据）和处理后的输出的vlaidtags（目标数据）做对比校验，分别计算器汉明重量，若其汉明重量不同，则数据处理异常报警。

类似地，在一实施例中，也可以判断当前得到的所有目标数据中的有效元素总量是否达到有效元素获取需求；若当前得到的所有目标数据中的有效元素总量未达到有效元素获取需求，则获取新的待处理数据，以增添目标数据。

具体地，当本申请实施例提供的数据处理方法应用到对有效元素有一定需求量的场景下时，可以根据当前得到的所有目标数据中的有效元素总量，判断是否继续获取待处理数据，即判断是否增加数据输入量。

示例性的，若有效元素获取需求为100，当前已得的所有目标数据中的有效元素总量为80，则可以当前还没有达到有效元素获取需求，则继续获取新的待处理数据，进而得到新的目标数据，以增加有效元素总量。

在上述实施例的基础上，作为一种可实施的方式，在一实施例中，在得到处理后的目标数据之后，该方法还包括：

步骤501，根据目标数据的元素排列顺序和各元素所携带的类别标签，判断目标数据是否达到有效数据管理标准；

步骤502，当目标数据未达到有效数据管理标准时，按照目标数据的元素排列顺序，将目标数据中的元素依次输入到首个处理层的各个处理单元，以重新对目标数据进行元素移位操作，得到新的目标数据。

需要说明的是，由于数据处理系统中的处理层layer数量有限，可能会出现最后一层输出的目标数据依然存在待移位元素的情况。

示例性的，可以采用如下公式判断目标数据是否达到有效数据管理标准：

其中，

表示各处理层的动作，1表示该处理层有进行元素移位， 0表示该处理层未进行元素移位，

表示当前得到的目标数据的各元素所携带的类别标签。例如，当一个目标数据的validtags为0010时，意味着第二元素还应当继续向下移动一位，此时的movedesion向量的值为1111，意味着所有处理层已经进行了元素移位处理，经过计算得到ready=0，表示目标数据未达到有效数据管理标准。而当 validtags为 0001时，其movedecision为1110，意味着目标元素无需再进行元素移位处理，且最后一个处理层未进行元素移位处理，经过计算得到ready=1，表示目标数据已达到有效数据管理标准。

具体地，若当前的目标数据已经达到有效数据管理标准，则数据处理流程结束；若当前的目标数据未达到有效数据管理标准，则将该目标数据作为新的待处理数据，并重复上述数据处理流程，以得到新的目标数据。

本申请实施例提供的数据处理方法，通过获取待处理数据；其中，待处理数据中每个元素携带有类别标签，类别标签分为有效标签和无效标签两类；按照待处理数据的元素原始排列顺序，将待处理数据中的元素依次输入到首个处理层的各个处理单元；基于各处理单元，根据预设的有效数据管理逻辑和元素的类别标签，进行元素移位，并基于数据传输通道将经过移位后的元素发送到下一处理层的处理单元，以再次对待处理数据的元素进行移位，直至所有处理层的处理单元完成元素移位操作；按照处理单元的排列顺序，依次采集最后一个处理层中各处理单元中经过移位后的元素，以得到处理后的目标数据。上述方案提供的方法，通过利用若干个由并列的多个处理单元组成的处理层实现数据管理，且各处理单元所依据的有效数据管理逻辑较为简单，每个处理单元都能快速实现元素移位处理，从而提高了有效数据的管理效率。并且，通过判断目标数据达到了有效数据管理标准，在未达到数据管理标准的情况，对当前的目标数据进行二次处理，保证了数据处理结果的可靠性。

本申请实施例提供了一种数据处理装置，用于执行上述实施例提供的数据处理方法。

如图6所示，为本申请实施例提供的数据处理装置的结构示意图。该数据处理装置60包括：获取模块601、输入模块602、处理模块603和输出模块604。

其中，获取模块，用于获取待处理数据；其中，待处理数据中每个元素携带有类别标签，类别标签分为有效标签和无效标签两类；输入模块，用于按照待处理数据的元素原始排列顺序，将待处理数据中的元素依次输入到首个处理层的各个处理单元；处理模块，用于基于各处理单元，根据预设的有效数据管理逻辑和元素的类别标签，进行元素移位，并基于数据传输通道将经过移位后的元素发送到下一处理层的处理单元，以再次对待处理数据的元素进行移位，直至所有处理层的处理单元完成元素移位操作；输出模块，用于按照处理单元的排列顺序，依次采集最后一个处理层中各处理单元中经过移位后的元素，以得到处理后的目标数据。

具体地，在一实施例中，处理单元根据预设的有效数据管理逻辑和元素的类别标签，判断是否需要将上层处理单元中的元素移位到本层，并将判断结果发送到上层处理单元。

具体地，在一实施例中，装置还包括：

判断模块，用检测待处理数据的元素有效率；根据元素有效率和待处理数据的数据长度，确定处理层的部署需求信息。

具体地，在一实施例中，判断模块，具体用于：

根据待处理数据中各元素携带的类别标签，从待处理数据中定位有效元素；

根据待处理数据中的有效元素量和待处理数据的数据长度，确定待处理数据的元素有效率。

具体地，在一实施例中，判断模块，还用于：

检测目标数据中的有效元素量；

比较目标数据中的有效元素量和待处理数据中的有效元素量是否一致；

当目标数据中的有效元素量和待处理数据中的有效元素量不一致时，进行数据处理异常报警。

具体地，在一实施例中，判断模块，还用于：

判断当前得到的所有目标数据中的有效元素总量是否达到有效元素获取需求；

若当前得到的所有目标数据中的有效元素总量未达到有效元素获取需求，则获取新的待处理数据，以增添目标数据。

具体地，在一实施例中，判断模块，还用于：

根据目标数据的元素排列顺序和各元素所携带的类别标签，判断目标数据是否达到有效数据管理标准；

当目标数据未达到有效数据管理标准时，按照目标数据的元素排列顺序，将目标数据中的元素依次输入到首个处理层的各个处理单元，以重新对目标数据进行元素移位操作，得到新的目标数据。

关于本实施例中的数据处理装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本申请实施例提供的数据处理装置，用于执行上述实施例提供的数据处理方法，其实现方式与原理相同，不再赘述。

本申请实施例提供了一种电子设备，用于执行上述实施例提供的数据处理方法。

如图7所示，为本申请实施例提供的电子设备的结构示意图。该电子设备70包括：至少一个处理器71和存储器72。

存储器存储计算机执行指令；至少一个处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如上实施例提供的数据处理方法。

本申请实施例提供的一种电子设备，用于执行上述实施例提供的数据处理方法，其实现方式与原理相同，不再赘述。

本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如上任一实施例提供的数据处理方法。

本申请实施例的包含计算机可执行指令的存储介质，可用于存储前述实施例中提供的数据处理方法的计算机执行指令，其实现方式与原理相同，不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims

1.一种数据处理方法，应用于数据处理系统，所述数据处理系统包括：若干个由并列的多个处理单元组成的处理层，相邻处理层对应位置的处理单元之间设有数据传输通道，其特征在于，所述方法包括：

按照处理单元的排列顺序，依次采集最后一个处理层中各所述处理单元中经过移位后的元素，以得到处理后的目标数据；

其中，在得到处理后的目标数据之后，所述方法还包括：

2.根据权利要求1所述的方法，其特征在于，所述处理单元根据预设的有效数据管理逻辑和所述元素的类别标签，判断是否需要将上层处理单元中的元素移位到本层，并将判断结果发送到所述上层处理单元。

3.根据权利要求1所述的方法，其特征在于，还包括：

检测所述待处理数据的元素有效率；

4.根据权利要求3所述的方法，其特征在于，检测所述待处理数据的元素有效率，包括：

5.根据权利要求4所述的方法，其特征在于，在得到处理后的目标数据之后，所述方法还包括：

检测所述目标数据中的有效元素量；

6.根据权利要求5所述的方法，其特征在于，还包括：

7.一种数据处理装置，应用于数据处理系统，所述数据处理系统包括：若干个由并列的多个处理单元组成的处理层，相邻处理层对应位置的处理单元之间设有数据传输通道，其特征在于，所述装置包括：

输出模块，用于按照处理单元的排列顺序，依次采集最后一个处理层中各所述处理单元中经过移位后的元素，以得到处理后的目标数据；

其中，所述装置还包括：

判断模块，用于根据所述目标数据的元素排列顺序和各所述元素所携带的类别标签，判断所述目标数据是否达到有效数据管理标准；当所述目标数据未达到所述有效数据管理标准时，按照所述目标数据的元素排列顺序，将所述目标数据中的元素依次输入到首个处理层的各个处理单元，以重新对所述目标数据进行元素移位操作，得到新的目标数据。

8.一种电子设备，其特征在于，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至6任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至6任一项所述的方法。