CN115731111A - 图像数据处理装置及方法、电子设备 - Google Patents

Abstract

本申请公开了图像数据处理装置及方法、电子设备；其中，所述装置包括第一数据增强电路，配置成对输入图像执行第一图像增强处理以生成第一增强图像；第二数据增强电路，配置成对所述输入图像执行第二图像增强处理以生成第二增强图像；其中，所述第二图像增强处理不同于所述第一图像增强处理且与所述第一图像增强处理并行执行；预处理电路，配置成将所述第一增强图像和所述第二增强图像分别转换为第一数据格式和第二数据格式；以及数据缓存及分发电路，配置成将所述第一数据格式的图像数据和所述第二数据格式的图像数据分发至处理器；其中，所述第一数据格式和所述第二数据格式是所述处理器可处理的数据格式。

Description

图像数据处理装置及方法、电子设备

技术领域

本申请涉及电子技术，涉及但不限于图像数据处理装置及方法、电子设备。

背景技术

训练(Training)是人工智能领域的一个术语，指的是给一个模型(例如神经网络或其他模型等)输入足够多的训练数据，通常叫做数据集(Data Set)，由模型从这些训练数据中“学习”到指定的特征，即，利用这些训练数据训练模型的模型参数，从而使得该模型具备指定的功能。如果输入的数据量不够大，则模型学习不到指定的特征，或者学习到错误的特征，导致训练后的模型不能够满足功能需求。所以，当用以训练的数据量不够大时，通常需要对现有的训练数据进行数据增强操作(Data Augmentation)，以提高模型的学习准确性。然而，目前数据增强的处理效率较差。

发明内容

有鉴于此，本申请提供的图像数据处理装置及方法、电子设备，能够提高数据增强的处理效率。本申请提供的图像数据处理装置及方法、电子设备是这样实现的：

本申请提供的图像数据处理装置，包括：第一数据增强电路，配置成对输入图像执行第一图像增强处理以生成第一增强图像；第二数据增强电路，配置成对所述输入图像执行第二图像增强处理以生成第二增强图像；其中，所述第二图像增强处理不同于所述第一图像增强处理且与所述第一图像增强处理并行执行；预处理电路，配置成将所述第一增强图像和所述第二增强图像分别转换为第一数据格式和第二数据格式；以及数据缓存及分发电路，配置成将所述第一数据格式的图像数据和所述第二数据格式的图像数据分发至处理器；其中，所述第一数据格式和所述第二数据格式是所述处理器可处理的数据格式。

本申请提供的电子设备，包括本申请任一实施例所述的图像数据处理装置。

在本申请中，图像数据处理装置包括至少两个不同的数据增强电路，这些电路对同一输入图像并行执行图像增强处理；如此，一方面，由于是由多个可并行工作的硬件电路完成对同一输入图像的图像增强处理的，因此无需反复从存储设备中读取同一输入图像来完成对同一图像的不同数据增强操作，从而提高数据增强的整体效率；另一方面，由硬件电路来实现对输入图像的数据增强，相比于软件实现方案，数据增强速度提高了几十倍甚至上百倍，从而能够满足各个场景的实时性要求。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。基于各个附图可以重新组合为新的图像数据处理装置，即各个电路模块可以任意组合，从而得到新的图像数据处理装置。

图1为本申请提供的图像数据处理装置的结构示意图；

图2为本申请提供的图像数据处理装置的另一结构示意图；

图3为本申请提供的图像数据处理装置的又一结构示意图；

图4为本申请提供的图像数据处理装置的再一结构示意图；

图5为本申请提供的图像数据处理装置的另一结构示意图；

图6为本申请提供的图像数据处理装置的又一结构示意图；

图7为本申请提供的图像数据处理装置的再一结构示意图；

图8为本申请提供的图像数据处理装置的另一结构示意图；

图9为本申请提供的图像数据处理装置的又一结构示意图；

图10为对某一图像进行数据增强后的结果示意图；

图11为图像数据增强方法的实现流程示意图；

图12为本申请提供的图像数据处理装置的又一结构示意图；

图13为本申请提供的一种电子设备示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请的目的，不是旨在限制本申请。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

需要指出，本申请所涉及的术语“第一\第二\第三”不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请能够以除了在这里图示或描述的以外的顺序实施。

本申请提供一种图像数据处理装置，图1为本申请提供的图像数据处理装置的结构示意图，如图1所示，图像数据处理装置1包括第一数据增强电路11、第二数据增强电路12、预处理电路13和数据缓存及分发电路14；其中，

第一数据增强电路11，配置成对输入图像执行第一图像增强处理以生成第一增强图像；

第二数据增强电路12，配置成对所述输入图像执行第二图像增强处理以生成第二增强图像；其中，所述第二图像增强处理不同于所述第一图像增强处理且与所述第一图像增强处理并行执行；

预处理电路13，配置成将所述第一增强图像和所述第二增强图像分别转换为第一数据格式和第二数据格式；以及

数据缓存及分发电路14，配置成将所述第一数据格式的图像数据和所述第二数据格式的图像数据分发至处理器15；其中，所述第一数据格式和所述第二数据格式是所述处理器15可处理的数据格式。

在本申请实施例中，图像数据处理装置1包括至少两个不同的数据增强电路，这些电路对同一输入图像并行执行图像增强处理；如此，一方面，由于是由多个可并行工作的硬件电路完成对同一输入图像的图像增强处理的，因此无需反复从存储设备中读取同一输入图像来完成对同一图像的不同数据增强操作，从而提高数据增强的整体效率；另一方面，由硬件电路来实现对输入图像的数据增强，相比于软件实现方案，数据增强速度提高了几十倍甚至上百倍，从而能够满足各个场景的实时性要求。

例如，图像数据处理装置1能够满足各种类型的人工智能(ArtificialIntelligence，AI)模型的训练阶段的实时性需求。即，采用该图像数据处理装置，则无需在完成对所有图像的图像增强处理之后再进行模型训练。换言之，采用本申请的图像数据处理装置，可以边对输入图像进行图像增强处理，边利用输出的增强结果训练待训练的AI模型的模型参数。

关于数据增强电路：

需要说明的是，在本申请中，不限定图像数据处理装置1包括几个数据增强电路。例如，图像数据处理装置1包括32个或64个等相互并联的功能不同的数据增强电路，分别用于实现对同一输入图像的不同增强处理。总之，图像数据处理装置1包括至少两个可以并行工作的功能不同的数据增强电路，且各个不同数据增强电路相互并联，从而使得图像数据处理装置能够在极短的时间内完成对第一样本的不同数据变换。可以理解地，电路的功能不同，意味着相应的内部结构也不同。

示例性地，包括至少两个不同的数据增强电路的图像数据处理装置1对输入图像能够分别实现旋转、翻转、平移、仿射变换、边缘增强、颜色更换、高斯模糊、添加噪声、添加马赛克、缩放、擦除、填充等图像增强操作。即，一个数据增强电路完成对所述输入图像的旋转，另一数据增强电路完成对所述输入图像的翻转，又一数据增强电路完成对所述输入图像的平移，等等，在此不再赘述。

关于预处理电路13：

可以理解地，在本申请中，对第一增强图像和第二增强图像的预处理操作是采用硬件电路来实现的，而不是由CPU或者图形处理器(Graphics Processing Unit，GPU)执行预处理程序来实现的，如此能够提升数据预处理的速度，从而进一步提高数据增强的整体效率。

在一些实施例中，每两个或更多个数据增强电路可以共用一个预处理电路13。示例性地，每两个或更多个数据增强电路的输出端与一个预处理电路的输入端相连接，从而由该预处理电路对接收的各个数据增强电路输出的增强图像进行预处理。预处理电路在对接收的多个增强图像进行预处理时，可以按照接收时间的先后顺序对这些图像进行预处理操作。

进一步地，在一些实施例中，如图2所示，预处理电路13包括：第一预处理子电路131和第二预处理子电路132；其中，第一预处理子电路131与第二预处理子电路132并联连接；第一预处理子电路，配置成将所述第一增强图像转换为所述第一数据格式，第二预处理子电路，配置成将所述第二增强图像转换为所述第二数据格式。

由此可见，每一数据增强电路的输出端分别对应一个预处理子电路；预处理子电路的数目与数据增强电路的数目相等。如此，当数据增强电路对所述输入图像进行图像增强处理之后，对应连接的预处理子电路能够立即对前端产生的图像数据进行预处理操作，而无需排队等待，从而进一步提升了数据增强的整体处理效率，进而增强了图像数据处理装置的实时性。

在本申请中，每一预处理子电路包括至少一种预处理功能。例如，一个预处理子电路，配置成实现以下功能中的至少之一：缩放、剪切、整型数转浮点数、浮点数归一化等操作。在一些实施例中，需要对增强图像进行多次不同的预处理操作才能够满足待训练的AI模型的输入要求。

然而，如果由CPU或GPU执行软件代码来实现这些预处理功能，每执行一种预处理操作都需要把得到的结果写入存储设备，然后到执行下一个预处理操作时再从存储设备中读取该结果，可见其读数据和写数据的操作较多，预处理的整体效率较低。

有鉴于此，在一些实施例中，预处理子电路包括至少两个呈串联关系的预处理单元；如此，无需每进行一次预处理操作就将结果写入存储设备，也就无需在进行下一预处理操作时从存储设备中读取上一预处理操作的结果，而是前一预处理单元的处理结果直接输出给后一预处理单元即可，该后一预处理单元基于接收的处理结果继续进行相应的预处理操作即可，从而有效提升了预处理的整体效率。可以理解地，这些预处理单元的功能不同，也就意味着各个不同功能的预处理单元的电路结构不同

进一步地，在一些实施例中，图像数据处理装置1还包括控制器，控制器可以根据预先配置的预处理需求，按需开启和关闭对应的预处理单元。比如，某一预处理子电路包括用以实现缩放的预处理单元1、用以实现剪切的预处理单元2、用以实现整型数转浮点数的预处理单元3、用以实现浮点数归一化的预处理单元4；而当前待训练的AI模型对样本的输入要求为：输入数据为整型数；那么，在数据增强电路输出的增强图像的数据格式为整型数的情况下，控制器可以关闭预处理单元3和预处理单元4，而开启预处理单元1和预处理单元2即可；如此，既能够确保输入至待训练的AI模型的数据的准确性，又能够支持不同输入要求的待训练的AI模型的训练需求，从而提升图像数据处理装置1的适用范围。

在一些实施例中，如图3所示，图像数据处理装置1还包括第三数据增强电路31，该电路31配置成基于所述第一增强图像和/或所述第二增强图像生成第三增强图像；相应地，预处理电路13配置成将第三增强图像转换为第一数据格式或第二数据格式。

进一步地，在一些实施例中，如图4所示，预处理电路13还包括第三预处理子电路41，配置成将所述第三增强图像转换为第一数据格式或第二数据格式。

需要说明的是，为了方便描述，将配置成对所述输入图像进行增强处理的数据增强电路组称为一级增强电路层，将配置成对一级增强电路输出的增强图像再次进行图像增强处理的数据增强电路组称为二级增强电路层。

在本申请中，对于图像数据处理装置包括几级增强电路层不做限定，至少包括一级数据增强电路。下一级的增强电路层配置成对上一级的增强电路层输出的增强图像进行进一步增强，从而得到不同的增强图像。以及，对于下一级的增强电路层中的某一数据增强电路对应的上一级的数据增强电路的数目也不多限定，可以是一路或多路。

示例性地，第三数据增强电路31配置成至少基于一路数据增强电路输出的增强图像，生成第三增强图像。

在第三数据增强电路31配置成基于一路输出的增强图像生成第三增强图像的实施例中，其与前端对应的数据增强电路的功能是不同的，如此可以得到不同于任何其他增强图像的增强图像。

举例而言，如图5所示，一级增强电路层包括数据增强电路501、数据增强电路502、···、数据增强电路50N，二级增强电路层包括数据增强电路511、数据增强电路512、···、数据增强电路51N；其中，一级增强电路层的每一数据增强电路具有两个输出端，一个输出端与下一级的某一数据增强电路相连接，另一输出端与预处理电路13的输入端相连接。

例如，数据增强电路501的输出端与数据增强电路511的输入端相连接，且数据增强电路501的输出端与预处理电路13的输入端相连接；其中，数据增强电路501具有图像翻转功能，数据增强电路511具有颜色更换功能；如此，当某一图像输入至数据增强电路501中，得到该图像的翻转图像；该翻转图像输入至数据增强电路511中，得到该翻转图像的颜色更换图像，即前端输入的图像依次经历了翻转和颜色变换。又如，数据增强电路502具有高斯模糊功能，与之连接的数据增强电路512具有边缘增强功能；再如，数据增强电路50N具有旋转功能，与之连接的数据增强电路51N具有平移功能。总之，相串联的数据增强电路的功能是不同的，但是每一级包括的数据增强电路可以是相同的，只不过相串联的数据增强电路不同而已。

在第三数据增强电路31配置成基于至少两路输出的增强图像生成第三增强图像的实施例中，对于如何基于多张增强图像生成第三增强图像的方法不做限定，可以是多种多样的。例如，第三数据增强电路31将输入的多张增强图像直接融合得到第三增强图像；又如，第三数据增强电路31将各路输入的增强图像再次进行图像增强处理之后进行融合得到第三增强图像。

关于数据缓存及分发电路14：

在一些实施例中，数据缓存及分发电路14，还配置成基于分发定时信号来控制分发所述第一数据格式的图像数据和/或所述第二数据格式的图像数据的定时。

进一步地，在一些实施例中，如图6所示，图像数据处理装置1还包括定时电路61；定时电路61，配置成提供第一分发定时信号和第二分发定时信号；相应地，数据缓存及分发电路14，配置成：响应于所述第一分发定时信号，将所述第一数据格式的图像数据分发至所述处理器15；响应于所述第二分发定时信号，将所述第二数据格式的图像数据分发至所述处理器15；其中，所述第二分发定时信号与所述第一分发定时信号之间具有定时差。

示例性地，定时差对应于(例如大于或等于)处理器15处理第一数据格式的图像数据所需的时间与其处理第二数据格式的图像数据所需的时间之间的时间差；或者，定时差为处理某一格式图像的时延；或者，定时差为两个图像帧之间的时间差，等等。

关于处理器15：

在本申请中，不限定图像数据处理装置1是否包括处理器15。在一些实施例中，如图7所示，图像数据处理装置1还包括处理器15；处理器15配置成基于所述第一数据格式的图像数据和所述第二数据格式的图像数据执行神经网络模型的训练。

当然，在图像数据处理装置1包括两个以上的数据增强电路的情况下，处理器15还配置成基于各个数据增强电路对应的图像数据执行神经网络模型的训练。

在一些实施例中，如图8所示，图像数据处理装置1还包括数据解码电路81和数据格式转换电路82；其中，数据解码电路81，配置成对样本图像进行解码；数据格式转换电路82，配置成将数据解码电路81输出的图像数据的数据格式转换为处理器15可处理的数据格式，得到所述输入图像。

可以理解地，数据解码功能由硬件电路实现，相比于由CPU或GPU执行解码程序来实现(即软件的方法来实现)，其解码效率能够提升几十倍。在一些实施例中，数据解码电路81可以支持多种格式的图像数据的解码。例如，该数据解码电路81支持JPEG格式和PNG格式的图像的解码。

同样地，数据格式转换电路82由硬件电路实现，相比于由CPU或GPU执行格式转换程序来实现，其格式转换效率得到明显提升。

示例性地，数据格式转换电路82配置成将YUV格式的图像数据转换为RGB格式的图像数据。在本申请实施例中，数据格式转换电路82支持多种格式到相应格式的图像数据转换。图像数据处理装置1可以根据格式转换要求和数据解码电路81输出的图像数据的数据格式，控制数据格式转换电路82工作在相应的模式下。例如，数据格式转换电路82中包括第一格式到第二格式的转换子电路1、第三格式到第二格式的转换子电路2、第五格式到第六格式的转换子电路3、第七格式到第六格式的转换子电路4，等等；假设格式转换要求为转换为第二格式，数据解码电路81输出的图像数据的数据格式为第三格式，则可以导通转换子电路2；若数据解码电路81输出的图像数据的数据格式为第一格式，则可以导通转换子电路1。总之，图像数据处理装置可以根据格式转换要求和实际输入的图像数据的数据格式，灵活选择能够完成任务的转换子电路。

可以理解地，考虑到不同的样本图像可能来源不同，相应解码后的图像的数据格式也可能是不同的，因此为了适配这种情况，进一步地，在一些实施例中，如图9所示，图像数据处理装置1还包括第一组开关元件91和第二组开关元件92；其中，

第一组开关元件91，配置成基于数据解码电路81输出的图像数据的数据格式是否为所述处理器15可处理来控制数据解码电路81的输出端与数据格式转换电路82的输入端之间的通断状态；以及，

第二组开关元件92，配置成基于数据解码电路81输出的图像数据的数据格式是否为所述处理器15可处理来控制数据解码电路81的输出端与相应数据增强电路的输入端之间的通断状态。

示例性地，第一组开关元件91，配置成如果数据解码电路81输出的图像数据的数据格式为处理器15可处理的格式，则断开数据解码电路81的输出端与转换电路82的输入端之间的电路；相应地，第二组开关元件92，配置成导通数据解码电路81的输出端与相应数据增强电路的输入端之间的电路。

第一组开关元件91，配置成如果数据解码电路81输出的图像数据的数据格式不是处理器15可处理的格式，则导通数据解码电路81的输出端与转换电路82的输入端之间的电路；相应地，第二组开关元件92，配置成断开数据解码电路81的输出端与相应数据增强电路的输入端之间的电路。

如此，使得图像数据处理装置1既能够处理解码后满足格式要求的数据，也能够处理解码后不满足格式要求的数据，从而允许样本图像集合中的样本图像可以多样化，不同格式的样本图像均可最终被处理为处理器15可处理的数据格式，进而降低对采集的样本图像的格式要求，允许用以训练神经网络模型的样本图像的格式多样性，从而节省采集成本。

当然，在另一些实施例中，数据解码电路81与数据格式转换电路82之间不包括第一组开关元件91和第二组开关元件92，数据解码电路81的输出端与数据格式转换电路82的输入端相连接。

在本申请中，不限定图像数据处理装置1是否包括存储设备。在一些实施例中，图像数据处理装置1不包括配置成存储所述第一数据格式和/或所述第二数据格式的图像数据的存储设备。换言之，因为图像数据处理装置1足以满足处理器15执行神经网络模型的训练的实时性的要求，因此无需将所有样本图像的数据增强结果均收集至存储设备中，然后再从存储设备中逐一读取来训练神经网络模型的模型参数。由此可见，本申请提供的图像数据处理装置1能够间接提升神经网络模型的训练效率。

需要说明的是，在本申请中，上述任何电路都可以任意组合，从而得到包括至少两个相互并联的功能不同的数据增强电路的图像数据处理装置。可以理解地，在本申请中，整个数据增强过程的各个环节，如数据解码、数据格式转换、数据变换、数据预处理以及数据缓存及分发等各个步骤均采用硬件电路来实现；如此，能够保证数据增强处理的实时性，使得数据缓存及分发电路14能够将预处理电路13输出的图像数据直接分发给处理器15，而无需将这些数据写入存储设备中，从而达到边进行数据增强处理边利用数据增强结果进行模型训练的目的。

图像类的神经网络模型，其输入的数据集通常是图像，图像的数据增强比较直观，如图10所示，原本只有一张仓鼠图像，对这张图像进行旋转、翻转、平移、仿射变换、边缘增强、颜色更换、高斯模糊、添加噪声、以及添加马赛克等等各种操作，就可以得到64张图像，这个过程就是数据增强。无论图像如何变换，人眼基本上能够判断出来这是一只仓鼠，基于这些数据集对神经网络进行训练，从而期望神经网络经过学习也可以像人眼一样，有能力从这些带有干扰的图像中学习到“仓鼠之所以是仓鼠”的内在数据特征。

在一些实施例中，图像的数据增强过程或者通过CPU实现，或者通过GPU实现，基本都是软件方法，而且往往离线完成，即完成数据增强后把新生成的数据写入硬盘。只有当神经网络开始进行训练时，系统才开始从硬盘读取增强后的数据，送给神经网络。之所以这么做，是因为数据增强过程是纯软件操作，比较耗费时间，无法做到实时数据增强，实时送给神经网络。如图7所示，该图表示了该软件方法的实施过程，各分解步骤描述如下。

首先，对图像进行解码。图像的格式例如是PNG格式或JPEG格式，两者都是经过编码压缩的格式，需要特定的解码器进行解码才能得到图像。此处图像解码过程可以通过CPU直接解码，也可以通过GPU进行解码。解码后得到YUV格式的图像。

接着，对YUV格式的图像进行格式转换，以人工智能模型的输入为RGB格式数据为例，则将YUV格式的图像转换为RGB格式。

然后，对RGB格式的图像进行数据增强，这一步可以通过GPU或CPU实现，其实质是做各种图像变换。如图11所示，在通过GPU或CPU，即软件的方式实现数据增强时，每次只做一种类型的数据增强，并不是所有的数据增强都在这里一步完成。

最后，对经过数据增强的数据进行预处理，处理成神经网络直接能够使用的数据，通常这一步骤包括缩放、剪切、整型数转浮点数、以及浮点数归一化等操作。预处理之后的数据写入存储设备，先统一放到硬盘中备用。特别注意，由于这一步骤涉及的预处理操作比较多，如果是用CPU和GPU实现，每一个操作都要把结果写入存储设备，然后到下一个操作再从存储设备读出来，这个写和读存储设备的动作会很多，效率极低。

以上步骤每走一遍只能得到一种图像变换，所以需要反复进行才能得到训练过程所需要的各种各样的数据增强数据。

可见，上述通过软件实现的实施例的缺点主要是慢，软件处理相对于硬件处理，速度要慢得多；而且无法做到实时数据增强，通常只能离线做。

有鉴于此，如下实施例有两个着眼点：第一，尽量用硬件电路来实现数据增强过程；第二，保证数据增强电路的输出能够直接送给神经网络处理器。

如图12所示，图像数据处理装置1包括：硬件性质的图像解码器(即数据解码电路81)、数据格式转换电路82、32个并联的功能不同的数据增强电路、神经网络模型的数据的预处理子电路、数据缓存及分发电路14；其中，

步骤1，设置的硬件图像解码器，该解码器支持JPEG解码和PNG解码。硬件图像解码器相对于软件解码，其处理速度提升了几十倍。

步骤2，硬件图像解码器的输出是YUV图像给数据格式转换电路82，该电路用于将YUV格式的图像转换为RGB格式的图像。

步骤3，设置32个不同功能的数据增强电路，用于实现不同类型的数据增强；

步骤4，每个数据增强电路的输出端搭配一个预处理子电路，把图像数据转换成神经网络模型可以直接使用的数据类型和数据排列方式。

步骤5，所有预处理子电路的输出给一个数据缓存及分发电路14，该电路负责将32路的数据分发给处理器15。

步骤6，处理器15根据实时输入的数据对待训练的神经网络模型进行深度学习。

在本申请中，(1)将数据增强流程的各个步骤做成硬件电路，这样处理速度可以得到很大提升；(2)对于处理器15而言，从输入的JPEG图像或PNG图像开始，就可以进行实时数据增强，缩短训练时间，加快深度学习过程。

在一些实施例中，图像解码部分可以考虑支持更多编码格式，比如WebP之类。

在一些实施例中，对于图像格式转换部分，可以支持更多的格式。

在一些实施例中，数据增强电路的个数可以设置更多，不限于32个。

本申请实施例还提供一种电子设备，如图13所示，该电子设备130在实施的过程中可以为各种类型的包括图像数据处理装置1的设备，或者是包括由任意电路组合而成的包括至少两个功能不同且相互并联的数据增强电路的图像数据处理装置的设备。各种类型的电子设备，例如，可以包括计算机设备、笔记本电脑、平板电脑、手机、车载设备或可穿戴设备等。总之，本申请对电子设备的类型并不限定。

基于前述的实施例，本申请提供一种图像数据处理方法，该方法包括：通过第一数据增强电路11，对输入图像执行第一图像增强处理以生成第一增强图像；通过第二数据增强电路12，对所述输入图像执行第二图像增强处理以生成第二增强图像；其中，所述第二图像增强处理不同于所述第一图像增强处理且与所述第一图像增强处理并行执行；通过预处理电路13，将所述第一增强图像和所述第二增强图像分别转换为第一数据格式和第二数据格式；以及通过数据缓存及分发电路14，将所述第一数据格式的图像数据和所述第二数据格式的图像数据分发至处理器；其中，所述第一数据格式和所述第二数据格式是所述处理器可处理的数据格式。

以上方法实施例的描述，与上述装置实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请方法实施例中未披露的技术细节，请参照本申请装置实施例的描述而理解。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”或“一些实施例”或“另一些实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”或“在一些实施例中”或“在另一些实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施过程构成任何限定。上述本申请序号仅仅为了描述，不代表实施例的优劣。上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如对象A和/或对象B，可以表示：单独存在对象A，同时存在对象A和对象B，单独存在对象B这三种情况。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的，例如，所述电路的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个模块或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或模块的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的模块可以是、或也可以不是物理上分开的，作为模块显示的部件可以是、或也可以不是物理模块；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部模块来实现本实施例方案的目的。

本申请所提供的几个装置实施例中所揭露的装置，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或装置实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或装置实施例。

以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种图像数据处理装置，其特征在于，包括：

第一数据增强电路，配置成对输入图像执行第一图像增强处理以生成第一增强图像；

第二数据增强电路，配置成对所述输入图像执行第二图像增强处理以生成第二增强图像；其中，所述第二图像增强处理不同于所述第一图像增强处理且与所述第一图像增强处理并行执行；

预处理电路，配置成将所述第一增强图像和所述第二增强图像分别转换为第一数据格式和第二数据格式；以及

数据缓存及分发电路，配置成将所述第一数据格式的图像数据和所述第二数据格式的图像数据分发至处理器；其中，所述第一数据格式和所述第二数据格式是所述处理器可处理的数据格式。

2.根据权利要求1所述的装置，其特征在于，所述数据缓存及分发电路，还配置成基于分发定时信号来控制分发所述第一数据格式的图像数据和/或所述第二数据格式的图像数据的定时。

3.根据权利要求1所述的装置，其特征在于，所述处理器，配置成基于所述第一数据格式的图像数据和所述第二数据格式的图像数据执行神经网络模型的训练。

4.根据权利要求1所述的装置，其特征在于，所述预处理电路包括第一预处理子电路和第二预处理子电路，其中，所述第一预处理子电路，配置成将所述第一增强图像转换为所述第一数据格式，所述第二预处理子电路，配置成将所述第二增强图像转换为所述第二数据格式，其中，所述第一预处理子电路与所述第二预处理子电路并联连接。

5.根据权利要求1所述的装置，其特征在于，还包括：

第三数据增强电路，配置成基于所述第一增强图像和/或所述第二增强图像生成第三增强图像；

所述预处理电路，还配置成将所述第三增强图像转换为所述第一数据格式或所述第二数据格式。

6.根据权利要求1所述的装置，其特征在于，还包括：

数据解码电路，配置成对样本图像进行解码；

数据格式转换电路，配置成将所述数据解码电路输出的图像数据的数据格式转换为所述处理器可处理的数据格式，得到所述输入图像。

7.根据权利要求6所述的装置，其特征在于，还包括：

第一组开关元件，配置成基于所述数据解码电路输出的图像数据的数据格式是否为所述处理器可处理来控制所述数据解码电路的输出端与所述数据格式转换电路的输入端之间的通断状态；以及，

第二组开关元件，配置成基于所述数据解码电路输出的图像数据的数据格式是否为所述处理器可处理来控制所述数据解码电路的输出端与相应所述数据增强电路的输入端之间的通断状态。

8.根据权利要求2所述的装置，其特征在于，还包括：

定时电路，配置成提供第一分发定时信号和第二分发定时信号；

其中，所述数据缓存及分发电路，配置成：

响应于所述第一分发定时信号，将所述第一数据格式的图像数据分发至所述处理器；

响应于所述第二分发定时信号，将所述第二数据格式的图像数据分发至所述处理器；

其中，所述第二分发定时信号与所述第一分发定时信号之间具有定时差。

9.根据权利要求1至8中的任一项所述的装置，其特征在于，所述装置不包括：

配置成存储所述第一数据格式和/或所述第二数据格式的图像数据的存储设备。

10.一种电子设备，其特征在于，所述电子设备包括权利要求1至9中的任一项所述的图像数据处理装置。

Images