CN114816773B - 数据处理方法、系统、电子装置和存储介质 - Google Patents

Abstract

本申请涉及一种数据处理方法、系统、电子装置和存储介质，其中，该数据处理方法应用于任一处理器核，该方法包括：获取该中央处理器发送的针对待处理的目标数据的第一起始地址、第二起始地址、目标数据的数据量；依据该数据处理器包含的处理器核的数量、本处理器核的标识、以及所述数据量，确定本处理器核对应的地址偏移量；依据该第一起始地址和所述地址偏移量，从该中央处理器对应的存储空间中读取本处理器核对应的目标数据子集；对该目标数据子集进行处理，依据该第二起始地址和该地址偏移量将该目标数据子集存储至预设的该存储空间的对应位置。通过本申请，解决了数据处理的效率低的问题，实现了高效、准确的数据并行处理设备。

Description

数据处理方法、系统、电子装置和存储介质

技术领域

本申请涉及数据处理技术领域，特别是涉及数据处理方法、系统、电子装置和存储介质。

背景技术

随着人工智能和计算机视觉技术的发展，越来越多的智能算法模型和更高的图像分辨率应用到现有的嵌入式设备上进行处理。随着应用场景的实时性、高精度等效果需求的提高，嵌入式设备的图像处理性能经常备受挑战。搭载视觉数字信号处理（DigitalSignal Processing，简称为DSP）处理器的嵌入式设备，旨在通过DSP处理器高效数据向量化处理能力，分担嵌入式设备CPU等数据计算单元的处理压力，提高整个设备运算系统的性能。

在相关技术中，通常由中央处理器（central processing unit，简称为CPU）执行串行、队列等相关策略，将输入的图像数据按帧或分块分发给不同的DSP核，并完成后续的数据处理；然而，在存在针对多个分辨率的图像数据进行处理等场景时，上述数据处理方法会带来CPU内存使用增加的问题，同时图像处理结果配对也需要增加CPU开销，从而导致数据处理的效率较低。

目前针对相关技术中数据处理的效率低的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种数据处理方法、系统、电子装置和存储介质，以至少解决相关技术中数据处理的效率低的问题。

第一方面，本申请实施例提供了一种数据处理方法，电子设备包括中央处理器和数据处理器，所述数据处理器包括至少两个处理器核，每个所述处理器核分别连接中央处理器，所述方法应用于任一处理器核，所述方法包括：

获取所述中央处理器发送的针对待处理的目标数据的第一起始地址、第二起始地址、目标数据的数据量；所述第一起始地址表征用于存储所述目标数据的起始地址，第二起始地址表征用于存储处理后的目标数据的起始地址；

依据所述数据处理器包含的处理器核的数量、本处理器核的标识、以及所述数据量，确定本处理器核对应的地址偏移量；

依据所述第一起始地址和所述地址偏移量，从所述中央处理器对应的存储空间中读取本处理器核对应的目标数据子集；其中，所述处理器核对应的目标数据子集组成所述目标数据；

对所述目标数据子集进行处理，依据所述第二起始地址和所述地址偏移量将所述目标数据子集存储至预设的所述存储空间的对应位置；其中，各处理器核存储的目标数据子集组成了处理后的目标数据。

在其中一些实施例中，所述依据所述数据处理器包含的处理器核的数量、本处理器核的标识、以及所述数据量，确定本处理器核对应的地址偏移量，包括：

获取预设的指定维度信息，并依据所述指定维度信息、所述处理器核的数量对所述数据量进行切分处理以得到均衡切分结果；

依据所述处理器核的标识和所述均衡切分结果确定所述本处理器核对应的地址偏移量。

在其中一些实施例中，所述依据所述处理器核的标识和所述均衡切分结果确定所述本处理器核对应的地址偏移量包包括：

在所述均衡切分结果指示所述数据量还包括剩余待切分数据量的情况下，获取预设的固定偏移常数；

依据所述处理器核的标识对所述固定偏移常数进行累计处理，以得到累计偏移结果，并依据所述处理器核的标识和所述累计偏移结果对所述数据量进行计算，以得到所述地址偏移量。

在其中一些实施例中，所述目标数据为多维度图像数据的情况下，所述获取预设的指定维度信息包括：

获取所述中央处理器发送的所述多维度图像数据中的所有维度信息，并获取所述维度信息对应的实际取值结果；

依据所述实际取值结果从所有所述维度信息中确定至少一个最优维度信息，并依据所述最优维度信息确定所述指定维度信息。

在其中一些实施例中，所述依据所述第一起始地址和所述地址偏移量，从所述中央处理器对应的存储空间中读取本处理器核对应的目标数据子集包括：

获取预设的设备地址偏移量；

依据所述第一起始地址和所述设备地址偏移量，计算得到第三起始地址；其中，所述第三起始地址表征对应所述数据处理器的用于存储所述目标数据的起始地址；

依据所述第三起始地址和所述地址偏移量，从所述存储空间中读取对应的所述目标数据子集。

在其中一些实施例中，所述方法还包括：

获取所述中央处理器利用流水线技术发送的所述第一起始地址、所述第二起始地址和所述数据量。

第二方面，本申请实施例提供了一种数据处理系统，所述系统包括：中央处理器和数据处理器；其中，所述数据处理器包括至少两个处理器核，每个所述处理器核分别连接中央处理器；

所述中央处理器，用于待处理的目标数据，并将所述目标数据的第一起始地址、第二起始地址、目标数据的数据量发送至所述至少两个处理器核；所述第一起始地址表征用于存储所述目标数据的起始地址，第二起始地址表征用于存储处理后的目标数据的起始地址；

每个所述处理器核，用于据所述数据处理器包含的处理器核的数量、本处理器核的标识、以及所述数据量，确定本处理器核对应的地址偏移量；

每个所述处理器依据所述第一起始地址和所述地址偏移量，从所述中央处理器对应的存储空间中读取本处理器核对应的目标数据子集；其中，所述处理器核对应的目标数据子集组成所述目标数据；

每个所述处理器对所述目标数据子集进行处理，依据所述第二起始地址和所述地址偏移量将所述目标数据子集存储至预设的所述存储空间的对应位置；其中，各处理器核存储的目标数据子集组成了处理后的目标数据。

在其中一些实施例中，所述系统还包括数据采集设备；其中，所述数据采集设备连接所述中央处理器；

所述数据采集设备，用于采集所述目标数据，并将所述目标数据发送至所述中央处理器。

第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的数据处理方法。

第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的数据处理方法。

相比于相关技术，本申请实施例提供的数据处理方法、系统、电子装置和存储介质，应用于任一处理器核，通过获取该中央处理器发送的针对待处理的目标数据的第一起始地址、第二起始地址、目标数据的数据量；依据该数据处理器包含的处理器核的数量、本处理器核的标识、以及所述数据量，确定本处理器核对应的地址偏移量；依据该第一起始地址和所述地址偏移量，从该中央处理器对应的存储空间中读取本处理器核对应的目标数据子集；对该目标数据子集进行处理，依据该第二起始地址和该地址偏移量将该目标数据子集存储至预设的该存储空间的对应位置，解决了数据处理的效率低的问题，实现了高效、准确的数据并行处理设备。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的数据处理方法的应用环境图；

图2是根据本申请实施例的一种数据处理方法的流程图；

图3是根据本申请实施例的一种数据处理方法的架构示意图；

图4是根据本申请实施例的一种数据处理系统的结构框图；

图5是根据本申请实施例的一种计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本申请提供的一种数据处理方法，可以应用于如图1所示的应用环境中。其中，中央处理器12与数据处理器中的多个处理器核14进行通信。中央处理器12将获取到的针对待处理的目标数据的第一起始地址、第二起始地址、目标数据的数据量发送至每个处理器核14；该第一起始地址表征用于存储该目标数据的起始地址，第二起始地址表征用于存储处理后的目标数据的起始地址；各处理器核14依据该数据处理器包含的处理器核的数量、本处理器核的标识、以及该数据量，确定本处理器核对应的地址偏移量，并依据该第一起始地址和该地址偏移量，从该中央处理器对应的存储空间中读取本处理器核对应的目标数据子集；其中，该处理器核对应的目标数据子集组成该目标数据据；每个处理器核14对该目标数据子集进行处理，依据该第二起始地址和该地址偏移量将该目标数据子集存储至预设的该存储空间的对应位置；其中，各处理器核存储的目标数据子集组成了处理后的目标数据。可以理解的是，上述数据处理器可以为DSP等用于并行处理数据的多核处理器。

本实施例提供了一种数据处理方法，其中，电子设备包括中央处理器和数据处理器，该数据处理器包括至少两个处理器核，每个该处理器核分别连接中央处理器，该方法应用于任一处理器核；图2是根据本申请实施例的一种数据处理方法的流程图，如图2所示，该流程包括如下步骤：

步骤S210，获取该中央处理器发送的针对待处理的目标数据的第一起始地址、第二起始地址、目标数据的数据量；该第一起始地址表征用于存储该目标数据的起始地址，第二起始地址表征用于存储处理后的目标数据的起始地址。

其中，上述目标数据可以为YUV等各种格式的单帧图像数据，也可以为文件流、数据库等非图像数据，只要存储至内存的目标数据存在行、列等维度规律即可。上述数据量用于表示对应的目标数据的所需占用的存储空间大小。上述中央处理器将获取到的同一目标数据的第一起始地址、第二起始地址、目标数据的数据量发送至上述数据处理器的各个处理器核，以使得各处理器核都能拿到相同输入源数据。该中央处理器和各处理器核之间可以通过内部直接存储器访问（interal direct memory access，简称为IDMA）等方式进行通信。

步骤S220，依据该数据处理器包含的处理器核的数量、本处理器核的标识、以及该数据量，确定本处理器核对应的地址偏移量；依据该第一起始地址和该地址偏移量，从该中央处理器对应的存储空间中读取本处理器核对应的目标数据子集；其中，该处理器核对应的目标数据子集组成该目标数据。

其中，上述处理器核的数量可以在设备出厂时根据硬件设备参数确定上述数据处理器中的所有处理器核的个数得到，可以理解的是，该处理器核的数量可以由上述中央处理器进行存储，并由该中央处理器统一发送至各处理器核；或者，也可以直接存储在上述数据处理器上。上述处理器核的标识可以由用户预先进行设置；例如，用户可以预先按照顺序将ID号从0至N分配至各个处理器核，则每个处理器核对应的处理器核的标识为ID=0，1，……，N，且N为正整数。上述地址偏移量为从上述第一起始地址，到本处理器核对应的结果地址之间的地址偏移量，或者是从上一个处理器核的结果地址开始，到本处理器核对应的结果地址之间的地址偏移量；该地址偏移量的计算方式可以为：每个处理器核可以根据预设切分策略对上述同一目标数据的数据量进行相同的切分处理，该预设切分策略可以为对该目标数据的行、列或高度等至少一个维度进行切分，针对该指定维度信息的切分依据可以为处理器核的数量、提取的关键字信息或其他可用于切分该指定维度信息的数据，只要能够对该指定维度信息进行均分即可。则各处理器核均按照相同的预设切分策略对上述目标数据的对应指定维度信息进行均分后，可以根据其对应的处理器核的标识和均分结果计算得到本处理器核对应的地址偏移量，例如，可以获取根据处理器核的数量对目标数据的数据量进行切分的各个切分位置，并由各处理器核根据处理器核的标识获取对应的切分位置，根据该切分位置计算得到对应的地址偏移量。则各处理器核可以依据第一起始地址和地址偏移量从上述中央处理器的存储空间中读取上述目标数据中的目标数据子集；具体地，ID号为0的处理器核可以根据第一起始地址从该中央处理器的存储空间上开始读取数据，直到读取数据的地址达到了上述计算得到的地址偏移量，并读取得到第1片待处理的目标数据子集，ID号为1的处理器核根据上一个处理器核结束读取数据的地址开始从该中央数据器的存储空间上开始读取数据，并根据对应的地址偏移量结束读取操作，以读取第2片目标数据子集，……，ID号为N的处理器核根据其对应的地址偏移量读取第N+1片目标数据子集，以使得每个处理器核能够准确提取到各自的待处理的目标数据子集，以进行后续的并行处理。可以理解的是，上述步骤S220是通过地址偏移的方式进行数据分片操作，因此该操作不会产生额外的内存和性能效果，从而能够使得数据处理器多核并行处理数据的效率更高。

步骤S230，对该目标数据子集进行处理，依据该第二起始地址和该地址偏移量将该目标数据子集存储至预设的该存储空间的对应位置；其中，各处理器核存储的目标数据子集组成了处理后的目标数据。

其中，在通过上述步骤S210至步骤S230使得上述各处理器核读取到各自对应的目标数据子集之后，可以由各处理器核并行处理每一片目标数据子集，得到每片对应的处理后的目标数据子集。最终由各处理器核从上述第二起始地址开始，根据上述计算得到的对应的地址偏移量将各自的目标数据子集存储到中央处理器中预设的存储空间的对应位置，从而实现了数据并行处理结果的拼接处理。

在相关技术中，通常由CPU进行对输入数据源的切分和分配处理，导致CPU内存使用增加，或者是由CPU将DSP核分成不同作用的功能核，或由数据处理器核与视觉加速芯片（简称为EVE）等其他硬件处理器协同合作，因为DSP多核之间不直接通信，该方式会不可避免的增加DSP与CPU、其他处理器件的交互频率，从而使得数据处理的效率低。而本申请实施例通过上述步骤S210至步骤S230，通过中央处理器直接将同一目标数据的相关数据信息分发至数据处理器中的多个处理器核，由每个处理器核基于各自的处理器核的标识通过同一计算过程计算得到地址偏移量，并基于对应的地址偏移量提取各自的目标数据子集，不需要在CPU端对输入数据做切分，完全避免了CPU及其他硬件处理器对数据处理的参与，并且每个处理器核都能充分参与到数据处理中，避免了复杂的控制指令和逻辑指令的分类处理，减少了非必要的消息和数据的交互带来的性能消耗，能够更加灵活方便的应用到各种场景下不同类型的输入数据处理中，从而解决了数据处理的效率低的问题，实现了高效、准确的数据并行处理方法。

需要补充说明的是，本申请实施例还可以应用于人工智能（ArtificialIntelligence，简称为AI）开放平台上。例如，该AI开放平台可以用于基于神经网络模型的图像识别、检测等方法；具体地，该AI开放平台可以在神经网络模型对目标图像进行识别之前，先通过上述实施例实现对目标图像缩放等多核并行处理，再将处理后的目标图像输入至该神经网络模型进行训练；或者也可以通过上述实施例实现对识别后得到的图像识别结果的后处理，从而可以由上述各处理器核实现服务于AI开放平台上的预处理以及后处理等功能。

在其中一些实施例中，上述依据该数据处理器包含的处理器核的数量、本处理器核的标识、以及该数据量，确定本处理器核对应的地址偏移量还包括如下步骤：

步骤S221，获取预设的指定维度信息，并依据该指定维度信息、该处理器核的数量对该数据量进行切分处理以得到均衡切分结果；依据该处理器核的标识和该均衡切分结果确定该本处理器核对应的地址偏移量。

上述指定维度信息可以由用户结合该目标数据，即张量本身的维度信息预先进行设置；例如，该指定维度信息可以是二维数据的行或列，或者，该指定维度信息也可以是图像数据的高度、宽度或通道数等信息。可以理解的是，在实际应用过程中，用户也可以结合实际情况对该指定维度信息进行灵活地更改设置。则每个处理器核可以根据预设切分策略对上述同一目标数据的数据量进行相同的切分处理，并计算得到对应的均衡切分结果。具体地，可以由各处理器核分别计算得到上述指定维度信息和本处理器核的数量之间的比值或取余等关联信息。相应地，根据该关联信息从该指定维度对上述数据量进行切分处理，可以得到该均衡切分结果。以该指定维度信息为图像数据高度H为例，即对该图像数据的高度按照处理器核个数进行均分，则该均衡切分结果可以为H/core_num或H%core_num的取值结果，且core_num用于表示处理器核的数量。其中，在计算得到上述均衡切分结果之后，以上述指定维度信息采用H为例，可以根据该处理器核的标识和该均衡切分结果，按照下述公式1进行计算：

公式1

上述公式1中，date_i用于表示第i个处理器核对应的数据读取地址结果，i为正整数；core_id(i-1)用于表示第i个处理器核对应的处理器核的标识；W用于表示上述图像数据的宽度；date_typesize用于表示上述目标数据的数据类型长度。以该目标数据存储的第一起始地址为0x00000000为例，则通过上述公式1可以计算得到，第1个处理器核的开始读取数据的地址为0，第2个处理器核的开始读取数据的地址为core_id(1)×(H/core_num)×W×date_typesize，则可以确定该第1个处理器核对应的地址偏移量为core_id(1)×(H/core_num)×W×date_typesize，以此类推，从而通过计算每个处理器核上处理的数据，确定各开始读取地址之间的相对偏移位置。

通过上述步骤S221，通过处理器核的数量对目标数据的指定维度信息进行均衡切分，使得每个处理器核分配到的切分数据都是近似平均的，从而实现了每个处理器核能够同时完成对切分数据的并行处理，有效提高了数据处理的效率。

在其中一些实施例中，上述依据该处理器核的标识和该均衡切分结果确定该本处理器核对应的地址偏移量还包括如下步骤：在该均衡切分结果指示该数据量还包括剩余待切分数据量的情况下，获取预设的固定偏移常数；根据该处理器核的标识对该固定偏移常数进行累计处理，以得到累计偏移结果，并依据该处理器核的标识和该累计偏移结果对该数据量进行计算，以得到该地址偏移量。

其中，若通过上述步骤S221计算得到上述指定维度信息与上述处理器核的数量不能整除，例如H%core_num！=0，则各处理器核在切分时可以将剩余的部分数据量按照顺序进行提取，从而可以让每个处理器核能够基本同时完成数据处理，确保数据处理器在最短的同步时间内可以实现一次数据的完整输出。上述固定偏移常数可以根据实际情况预先进行设置，例如可以预先将该固定偏移常数设置为1行数据，即此时该固定偏移常数ofs=(H%core_num！=0)；或者也可以设置为在上述剩余待切分数据量大于某一预设阈值，即检测到该剩余待切分数据量较大时，将该固定偏移常数设置为2行或3行数据等，在此不再赘述。则各处理器核在基于上述公式1读取切分数据时，可以基于各自的处理器核的标识按照顺序读取剩余待切分数据量，例如，处理器核的标识id=1的处理器核在读取数据时，可以基于该标识信息对固定偏移常数进行1次累计处理，处理器核的标识id=2的处理器核对固定偏移常数进行2次累计处理，则上述目标地址结果也可以基于该累计偏移结果进行相应的计算处理。具体地，以上述目标数据采用图像尺寸为H×W的图像数据为例，上述指定维度信息为该图像数据高度H，每个处理器核都已知图像数据的原始尺寸（即H×W）、处理器核的数量以及处理器核的标识，则本实施例中的优化分片方法包括如下步骤：

步骤S1，每个处理器核计算H/core_num和H%core_num的值。

步骤S2，每个处理器核计算其读取数据的起始位置，即上述目标地址，如公式2所示：

公式2

在上述公式2中，MIN( )用于表示取多个变量中的最小值的函数，则通过该函数

可以将剩余待切分数据量按照每次增加一行数据的固定偏 移常数分配至对应的处理器核。

步骤S3，每个处理器核计算其读取数据的高度，如公式3所示：

公式3

在上述公式3中，h_i用于表示第i个处理器核所读取的切分数据的高度值，(core_id(i-1)＜H%core_num)用于表示当core_id(i-1)的值小于H%core_num时该表达式的取值结果为1，反之结果为0。

需要补充说明的是，针对上述指定维度信息不能整除的情况，常规的均分方法可以是先根据处理器核的数量进行指定维度信息的等分处理，有余数的情况下再做一次处理。以H=23，且上述处理器核的数量core_num=4为例，则在针对H维度进行切分后，常规分片结果以及本实施例中的优化切分结果如表1所示：

表1 常规分片结果和优化分片结果

从上述表1中可知，本实施例中的优化分片操作相比于常规分片结果，能够减少一次核调度处理，能够使得处理器核代码的统一性管理更加优化，同时使得待处理器核能够有更好的性能表现。

通过上述实施例，各处理器核通过固定偏移常数对剩余待切分数据量进行均分处理，从而使得在将剩余部分的数据分配给对应的处理器核时能够分配得更加平均，均衡效果更好，进一步提高了数据处理的效率。

在其中一些实施例中，上述依据该第一起始地址和该地址偏移量，从该中央处理器对应的存储空间中读取本处理器核对应的目标数据子集还包括如下步骤：

步骤S222，获取预设的设备地址偏移量。

其中，上述设备地址偏移量是指该中央处理器与上述数据处理器之间的存储数据的地址的偏移量；需要补充说明的是，该中央处理器和该数据处理器之间的数据存储地址通常存在偏差，因此，为了提高数据处理的准确性，该设备地址偏移量可以在设备出厂时根据硬件设备参数确定，并可以由开发人员设置在数据处理器存储的计算机程序中。例如，该设备地址偏移量可以为0xFF等值，或者，若因为设备原因该中央处理器和该数据处理器之间的数据存储地址相同，则该设备地址偏移量为0。

步骤S223，依据该第一起始地址和该设备地址偏移量，计算得到第三起始地址；其中，该第三起始地址表征对应该数据处理器的用于存储该目标数据的起始地址；依据该第三起始地址和该地址偏移量，从该存储空间中读取对应的该目标数据子集。

例如，若上述设备地址偏移量为0xFF，即中央处理器的数据存储地址比数据处理器的数据存储地址大0xFF，则上述目标数据在数据处理器上的存储地址，即上述第三起始地址为第一起始地址减去设备地址偏移量的值。各处理器核根据计算得到的第三起始地址和地址偏移量，通过上述公式可以确定各自需要读取的目标数据子集的数据片大小。

通过上述步骤S222至步骤S223，各处理器核通过设备地址偏移量计算得到同一目标数据的相同起始源地址，避免了由于硬件设备因素导致的地址计算出现误差，从而有效提高了数据处理的准确性。

在其中一些实施例中，在上述目标数据为多维度图像数据的情况下，获取上述指定维度信息还包括如下步骤：获取该多维度图像数据中的所有维度信息，并获取该维度信息对应的实际取值结果；根据该实际取值结果从所有该维度信息中确定至少一个最优维度信息，并根据该最优维度信息确定该指定维度信息。

其中，上述多维度图像数据为一个完整的张量数据，则本实施例中可以根据实际情况选择该张量数据中可最优计算的维度进行分片。具体地，以上述多维度图像数据为NCHW格式数据为例，通常N都是1，且该值在中央处理器发送至各处理器核时已经做好设置。则各处理器核为了获得最优的计算，应当满足存取相同大小数据调用IDMA次数最少的条件。因此，本实施例中可以选择C和H中实际取值结果最大的维度信息作为上述最优维度信息，该最优维度信息即为上述指定维度信息。可以理解的是，该最优维度信息可以为两个或两个以上的维度信息，即各处理器核可以基于两个或两个以上的维度进行分片操作。由于通过把大维度切分成小维度，可以使得各处理器核在搬运数据的时候有更好的获取连续性，例如针对维度信息为4×8192×640的目标数据，是分成4个8192×640的切分数据，还是分成4×2048×640的切分数据，这两种切分方式对数据处理器的计算友好度是不一样的，因此通过上述实施例，通过选取的最优维度信息进行切分能够更加便于数据处理器进行计算，进一步提高数据处理器效率。

在其中一些实施例中，上述获取该中央处理器发送的该目标数据还包括如下步骤：获取该中央处理器利用流水线技术发送的该第一起始地址、该第二起始地址和该数据量。其中，在该中央处理器传输大批量的目标数据对应的数据信息时，为了保证数据处理的流畅性，可以利用流水线技术进行数据的传输和处理，即在程序执行时多条指令重叠进行操作。通过上述实施例，上述中央处理器通过流水线技术发送上述目标数据的相关信息至数据处理器，以供数据处理器进行后续并行处理，从而有效缓解了中央处理器传输监控大批目标数据对应的数据信息时，数据处理器处理不过来造成处理卡顿等情况，进一步提高了数据处理的效率。

下面通过优选实施例对本申请实施例进行描述和说明。以上述中央处理器为ARM处理器，上述数据处理器为DSP为例，图3是根据本申请实施例的一种数据处理方法的架构示意图，如图3所示，该ARM处理器作为主处理器，和多个DSP核通过IDMA进行通信。DSP核作为协处理器，协助CPU完成相关数量处理操作，DSP核包括DSP core0，DSP core1，……，DSPcoreN，N为正整数。则ARM处理器获取输入的图像数据，并将同一份图像数据对应的数据信息image分别发送给每一个DSP核，该数据信息image可以包括目标数据的第一起始地址、第二起始地址、目标数据的数据量等信息，保证每个DSP核都能拿到相同输入源数据的起始地址。各DSP核根据DSP核个数，根据计算的需要将输入源数据在指定维度上进行分片，以图像尺寸为H×W为例，各DSP核在维度H上切分，不能整除的部分按顺序添加到每个DSP核上。每个DSP核通过设置好计算代码，根据分配到当前DSP核上的数据片大小，即可得到在源数据空间和结果数据空间上的地址偏移量。多个DSP核并行处理每一片源数据，结果根据输出偏移量保存到结果空间指定位置，即完成结果拼接，理论上本实施例的单帧图像数据处理耗时可以减少到单核数据处理的1/core_num，从而通过DSP多核对输入数据按指定偏移量进行分片，实现了一帧数据的并行加速处理，解决了相关技术中在输入动态分辨率的图像数据时，输入输出采用队列管理会增加内存和性能开销，导致和串行处理一样数据处理实时效率较低的问题。本实施例提出的方法，不需要在CPU端对输入数据做切分；源数据切分由DSP核根据实际core_num完成，且支持根据计算需要在任意指定维度上，切分出不同大小的切片结果；本实施例中的分片、拼接操作，本质上仅仅是地址偏移计算，不产生额外的内存、性能开销；同时，每个DSP核都能充分参与到数据处理中，避免了复杂的控制指令和逻辑指令的分类处理，更加灵活方便的应用到各种场景下不同类型的输入数据处理中；DSP多核并行计算结束即得到最终结果，通过单帧切片并行处理的方式，完全避免了CPU及其他硬件处理器的参与，减少了非必要的消息和数据的交互带来的性能消耗。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本实施例还提供了一种数据处理系统，图4是根据本申请实施例的一种数据处理系统的结构框图，如图4所示，该系统包括：中央处理器12和数据处理器42；其中，该数据处理器42包括至少两个处理器核，每个该处理器核分别连接该中央处理器12。

该中央处理器12，用于待处理的目标数据，并将该目标数据的第一起始地址、第二起始地址、目标数据的数据量发送至该至少两个处理器核；该第一起始地址表征用于存储该目标数据的起始地址，第二起始地址表征用于存储处理后的目标数据的起始地址；每个该处理器核，用于依据该数据处理器42包含的处理器核的数量、本处理器核的标识、以及该数据量，确定本处理器核对应的地址偏移量；每个该处理器依据该第一起始地址和该地址偏移量，从该中央处理器对应的存储空间中读取本处理器核对应的目标数据子集；其中，该处理器核对应的目标数据子集组成该目标数据；每个该处理器对该目标数据子集进行处理，依据该第二起始地址和该地址偏移量将该目标数据子集存储至预设的该存储空间的对应位置；其中，各处理器核存储的目标数据子集组成了处理后的目标数据。

通过上述实施例，通过中央处理器12直接将同一目标数据的相关数据信息分发至数据处理器42中的多个处理器核，由每个处理器核基于各自的处理器核的标识通过同一计算过程计算得到地址偏移量，并基于对应的地址偏移量提取各自的目标数据子集，不需要在CPU端对输入数据做切分，完全避免了CPU及其他硬件处理器对数据处理的参与，并且每个处理器核都能充分参与到数据处理中，避免了复杂的控制指令和逻辑指令的分类处理，减少了非必要的消息和数据的交互带来的性能消耗，能够更加灵活方便的应用到各种场景下不同类型的输入数据处理中，从而解决了数据处理的效率低的问题，实现了高效、准确的数据并行处理系统。

在其中一些实施例中，上述系统还包括数据采集设备；其中，该数据采集设备连接该中央处理器12；该数据采集设备，用于采集该目标数据，并将该目标数据发送至该中央处理器12。该数据采集设备可以为用于采集图像数据的。进一步的，该数据采集设备可以通过传输设备与该中央处理器12进行数据传输。该传输设备用于经由一个网络接收或者发送数据。上述的网络包括平台的通信供应商提供的无线网络。在一个实施例中，传输设备包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实施例中，传输设备可以为射频（RadioFrequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

在其中一些实施例中，每个上述处理器核，还用于获取预设的指定维度信息，并依据该指定维度信息、该处理器核的数量对该数据量进行切分处理以得到均衡切分结果；每个该处理器核依据该处理器核的标识和该均衡切分结果确定该本处理器核对应的地址偏移量。

在其中一些实施例中，每个上述处理器核还用于在该均衡切分结果指示该数据量还包括剩余待切分数据量的情况下，获取预设的固定偏移常数；每个该处理器核根据该处理器核的标识对该固定偏移常数进行累计处理，以得到累计偏移结果，并根据该处理器核的标识和该累计偏移结果对该数据量进行计算，以得到该地址偏移量。

在其中一些实施例中，每个上述处理器核还用于获取预设的设备地址偏移量；每个该处理器核根据该第一起始地址和该设备地址偏移量，计算得到第三起始地址；其中，该第三起始地址表征对应该数据处理器42的用于存储该目标数据的起始地址；每个该处理器核依据该第三起始地址和该地址偏移量，从该存储空间中读取对应的该目标数据子集。

在其中一些实施例中，在上述目标数据为多维度图像数据的情况下，每个上述处理器核还用于获取该多维度图像数据中的所有维度信息，并获取该维度信息对应的实际取值结果；每个该处理器核根据该实际取值结果从所有该维度信息中确定至少一个最优维度信息，并根据该最优维度信息确定该指定维度信息。

在其中一些实施例中，每个上述处理器核还用于获取该中央处理器利用流水线技术发送的该述第一起始地址、该第二起始地址和该数据量。

本实施例还提供了一种计算机设备，该计算机设备可以是服务器，图5是根据本申请实施例的一种计算机设备内部的结构图，如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储目标数据子集。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述数据处理方法。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取该中央处理器发送的针对待处理的目标数据的第一起始地址、第二起始地址、目标数据的数据量；该第一起始地址表征用于存储该目标数据的起始地址，第二起始地址表征用于存储处理后的目标数据的起始地址。

S2，依据该数据处理器包含的处理器核的数量、本处理器核的标识、以及该数据量，确定本处理器核对应的地址偏移量。

S3，依据该第一起始地址和该地址偏移量，从该中央处理器对应的存储空间中读取本处理器核对应的目标数据子集；其中，该处理器核对应的目标数据子集组成该目标数据。

S4，对该目标数据子集进行处理，依据该第二起始地址和该地址偏移量将该目标数据子集存储至预设的该存储空间的对应位置；其中，各处理器核存储的目标数据子集组成了处理后的目标数据。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

另外，结合上述实施例中的数据处理方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种数据处理方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据处理方法，其特征在于，电子设备包括中央处理器和数据处理器，所述数据处理器包括至少两个处理器核，每个所述处理器核分别连接中央处理器，所述方法应用于任一处理器核，所述方法包括：

获取所述中央处理器发送的针对待处理的目标数据的第一起始地址、第二起始地址、目标数据的数据量；所述第一起始地址表征用于存储所述目标数据的起始地址，第二起始地址表征用于存储处理后的目标数据的起始地址；

依据所述数据处理器包含的处理器核的数量、本处理器核的标识、以及所述数据量，确定本处理器核对应的地址偏移量，包括：

根据预设切分策略对同一所述目标数据的数据量进行相同的切分处理，所述预设切分策略为对该目标数据的至少一个维度进行切分；获取根据处理器核的数量对目标数据的数据量进行切分的各个切分位置，并根据所述处理器核的标识获取对应的切分位置，根据所述切分位置计算得到对应的所述地址偏移量；

依据所述第一起始地址和所述地址偏移量，从所述中央处理器对应的存储空间中读取本处理器核对应的目标数据子集；其中，所述处理器核对应的目标数据子集组成所述目标数据；

对所述目标数据子集进行处理，依据所述第二起始地址和所述地址偏移量将所述目标数据子集存储至预设的所述存储空间的对应位置；其中，各处理器核存储的目标数据子集组成了处理后的目标数据。

2.根据权利要求1所述的数据处理方法，其特征在于，所述依据所述数据处理器包含的处理器核的数量、本处理器核的标识、以及所述数据量，确定本处理器核对应的地址偏移量，包括：

获取预设的指定维度信息，并依据所述指定维度信息、所述处理器核的数量对所述数据量进行切分处理以得到均衡切分结果；

依据所述处理器核的标识和所述均衡切分结果确定所述本处理器核对应的地址偏移量。

3.依据权利要求2所述的数据处理方法，其特征在于，所述依据所述处理器核的标识和所述均衡切分结果确定所述本处理器核对应的地址偏移量包括：

在所述均衡切分结果指示所述数据量还包括剩余待切分数据量的情况下，获取预设的固定偏移常数；

依据所述处理器核的标识对所述固定偏移常数进行累计处理，以得到累计偏移结果，并依据所述处理器核的标识和所述累计偏移结果对所述数据量进行计算，以得到所述地址偏移量。

4.根据权利要求2所述的数据处理方法，其特征在于，在所述目标数据为多维度图像数据的情况下，所述获取预设的指定维度信息包括：

获取所述中央处理器发送的所述多维度图像数据中的所有维度信息，并获取所述维度信息对应的实际取值结果；

依据所述实际取值结果从所有所述维度信息中确定至少一个最优维度信息，并依据所述最优维度信息确定所述指定维度信息。

5.根据权利要求1所述的数据处理方法，其特征在于，所述依据所述第一起始地址和所述地址偏移量，从所述中央处理器对应的存储空间中读取本处理器核对应的目标数据子集包括：

获取预设的设备地址偏移量；

依据所述第一起始地址和所述设备地址偏移量，计算得到第三起始地址；其中，所述第三起始地址表征对应所述数据处理器的用于存储所述目标数据的起始地址；

依据所述第三起始地址和所述地址偏移量，从所述存储空间中读取对应的所述目标数据子集。

6.根据权利要求1至权利要求5任一项所述的数据处理方法，其特征在于，所述方法还包括：

获取所述中央处理器利用流水线技术发送的所述第一起始地址、所述第二起始地址和所述数据量。

7.一种数据处理系统，其特征在于，所述系统包括：中央处理器和数据处理器；其中，所述数据处理器包括至少两个处理器核，每个所述处理器核分别连接中央处理器；

所述中央处理器，用于接收待处理的目标数据，并将所述目标数据的第一起始地址、第二起始地址、目标数据的数据量发送至所述至少两个处理器核；所述第一起始地址表征用于存储所述目标数据的起始地址，第二起始地址表征用于存储处理后的目标数据的起始地址；

每个所述处理器核，用于依据所述数据处理器包含的处理器核的数量、本处理器核的标识、以及所述数据量，确定本处理器核对应的地址偏移量；

每个所述处理器核还用于根据预设切分策略对同一所述目标数据的数据量进行相同的切分处理，所述预设切分策略为对该目标数据的至少一个维度进行切分；每个所述处理器核获取根据处理器核的数量对目标数据的数据量进行切分的各个切分位置，并根据所述处理器核的标识获取对应的切分位置，根据所述切分位置计算得到对应的所述地址偏移量；

每个所述处理器依据所述第一起始地址和所述地址偏移量，从所述中央处理器对应的存储空间中读取本处理器核对应的目标数据子集；其中，所述处理器核对应的目标数据子集组成所述目标数据；

每个所述处理器对所述目标数据子集进行处理，依据所述第二起始地址和所述地址偏移量将所述目标数据子集存储至预设的所述存储空间的对应位置；其中，各处理器核存储的目标数据子集组成了处理后的目标数据。

8.根据权利要求7所述的数据处理系统，其特征在于，所述系统还包括数据采集设备；其中，所述数据采集设备连接所述中央处理器；

所述数据采集设备，用于采集所述目标数据，并将所述目标数据发送至所述中央处理器。

9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至权利要求6中任一项所述的数据处理方法。

10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至权利要求6中任一项所述的数据处理方法。

Images