CN112446428B - 一种图像数据处理方法及装置 - Google Patents

Abstract

本申请提供一种图像数据处理方法及装置，该方法包括：接收待处理图像数据；对于预先训练的图像数据处理网络的任一单元block，通过特征提取模块对输入数据进行特征提取，以得到第一特征信息；基于所述第一特征信息与该block包括的各批归一化BN模块的均值的距离，确定与所述第一特征信息匹配的目标BN模块；通过所述目标BN模块对所述第一特征信息进行归一化处理，得到所述待处理图像数据的第二特征信息；通过所述预先训练的图像数据处理网络的处理模块对所述预先训练的图像数据处理网络的最后一个block输出的第二特征信息进行图像数据处理。该方法可以提高图像数据处理网络的场景适用性，优化图像数据处理效果。

Description

一种图像数据处理方法及装置

技术领域

本申请涉及深度学习领域技术，尤其涉及一种图像数据处理方法及装置。

背景技术

机器学习中，通常会假设训练数据跟测试数据分布一致。但是，随着不同应用场景的出现，测试数据与训练数据往往存在很大差异。此时，通过训练集训练好的模型在测试场景中表现会比较差。而如果基于某特定场景来训练模型，则需要耗费大量的资源标注数据，工作量大且应用受限。

发明内容

有鉴于此，本申请提供一种图像数据处理方法及装置。

具体地，本申请是通过如下技术方案实现的：

根据本申请实施例的第一方面，提供一种图像数据处理方法，包括：

接收待处理图像数据；

对于预先训练的图像数据处理网络的任一单元block，通过特征提取模块对输入数据进行特征提取，以得到第一特征信息；其中，对于首个block，输入数据为所述待处理图像数据，对于非首个block，输入数据为上一block的输出特征；

基于所述第一特征信息与该block包括的各批归一化BN模块的均值的距离，确定与所述第一特征信息匹配的目标BN模块；其中，所述预先训练的图像数据处理网络每个block包括至少两个BN模块，同一block中，不同BN模块对应不同数据分布；

通过所述目标BN模块对所述第一特征信息进行归一化处理，得到所述待处理图像数据的第二特征信息；

通过所述预先训练的图像数据处理网络的处理模块对所述预先训练的图像数据处理网络的最后一个block输出的第二特征信息进行图像数据处理，并输出图像数据处理结果。

根据本申请实施例的第二方面，提供一种图数据处理装置，包括：

接收单元，用于接收待处理图像数据；

特征提取单元，用于对于预先训练的图像数据处理网络的任一单元block，通过特征提取模块对输入数据进行特征提取，以得到第一特征信息；其中，对于首个block，输入数据为所述待处理图像数据，对于非首个block，输入数据为上一block的输出特征；

确定单元，用于基于所述第一特征信息与该block包括的各批归一化BN模块的均值的距离，确定与所述第一特征信息匹配的目标BN模块；其中，所述预先训练的图像数据处理网络每个block包括至少两个BN模块，同一block中，不同BN模块对应不同数据分布；

归一化处理单元，用于通过所述目标BN模块对所述第一特征信息进行归一化处理，得到所述待处理图像数据的第二特征信息；

处理单元，用于通过所述预先训练的图像数据处理网络的处理模块对所述预先训练的图像数据处理网络的最后一个block输出的第二特征信息进行图像数据处理，并输出图像数据处理结果。

根据本申请实施例的第三方面，提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述图像数据处理方法。

根据本申请实施例的第四方面，提供一种机器可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述图像数据处理方法。

本申请实施例的图像数据处理方法，通过在图像数据处理网络的各block中设置多个BN模块，并分别利用不同的BN模块学习不同的数据分布，进而，在利用训练好的图像数据处理网络执行图像数据处理任务时，可以利用不同BN模块对不同数据分布的待处理图像数据进行归一化处理，通过多BN模块的结构设计，不同BN模块学习不同数据分布的特征，优化了训练好的网络模型对不同数据分布的数据的处理效果，提高了图像数据处理网络的场景适用性，而且在网络模型训练时，对该多BN模块结构的单个网络模型进行训练即可适应不同数据分布的数据处理需求，而不需要为了应对不同数据分布的数据处理需求而训练多个网络模型，因此，可以不需要增加不同数据分布的样本数量，降低了样本需求量。

附图说明

图1是本申请一示例性实施例示出的一种图像数据处理方法的流程示意图；

图2是本申请一示例性实施例示出的一种图像数据处理网络模型的示意图；

图3是本申请一示例性实施例示出的一种图像数据处理装置的结构示意图；

图4是本申请又一示例性实施例示出的另一种图像数据处理装置的结构示意图；

图5是本申请一示例性实施例示出的一种电子设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。

请参见图1，为本申请实施例提供的一种图像数据处理方法的流程示意图，如图1所示，该方法可以包括以下步骤：

需要说明的是，本申请实施例中，图像数据可以包括但不限于图片数据、视频数据或视频图像数据等。

步骤S100、接收待处理图像数据。

步骤S110、对于预先训练的图像数据处理网络的任一block，通过特征提取模块对输入数据进行特征提取，以得到第一特征信息。

示例性的，对于首个block，输入数据为步骤S100中的待处理图像数据；对于非首个block，输入数据为上一block的输出特征。

本申请实施例中，图像数据处理网络可以包括级联的多个block，各block均可以包括用于特征提取的卷积(conv)层(可以称为特征提取模块)和用于对特征信息进行归一化处理的BN(Batch Normalization，批归一化)层(可以称为BN模块)。

对于任一block，可以通过特征提取模块对输入数据进行特征提取。

示例性的，对于首个block，输入的数据可以为外部输入的待处理数据，即待处理图像数据；对于非首个block，输入的数据为上一个block输出的处理后的特征信息。

步骤S120、基于第一特征信息与该block包括的各BN模块的均值的距离，确定与第一特征信息匹配的目标BN模块；其中，预先训练的图像数据处理网络每个block包括至少两个BN模块。

本申请实施例中，考虑到用于对图像数据处理网络进行训练时的训练数据，以及利用训练好的图像数据处理网络进行图像数据处理时的待处理数据的数据分布可能会存在不一致的情况，进而导致处理效果较差。

此外，考虑到数据分布主要可以通过均值(Mean)和方差(Variance)来表征，而深度神经网络中BN(Batch Normalization，批归一化)层(可以称为BN模块)包含可学习的均值和方差两个参数，因此，可以利用BN模块来刻画数据的分布，利用不同的BN模块学习不同的数据分布。

相应地，为了使图像数据处理网络能适用不同数据分布的图像数据的处理，优化实际场景中的图像数据处理效果，构建图像数据处理网络时，对于图像数据处理网络的每个block，可以设置至少两个BN模块，从而，图像数据处理网络训练过程中，可以通过不同的BN模块可以学习不同数据分布，以便完成训练后可以通过不同的BN模块对不同数据分布的数据进行特征提取，优化模型训练效果，进而优化图像数据处理效果。

示例性的，对于不同数据分布的数据，可以依据该数据的特征信息与BN模块的均值的距离，选择用于对该数据的特征信息进行归一化处理的BN模块。

需要说明的是，在本申请实施例中，可以依据实际应用场景存在的数据分布的类型，设置各block中BN模块的数量，例如，存在几种类型的数据分布，一个block中就设置几个BN模块，以提高图像数据处理网络的场景适用性，优化图像数据处理效果。

示例性的，同一图像数据处理网络模型中各block中BN模块的数量相同。

示例性的，由于待处理图像数据的特征信息与BN模块的均值的距离可以很好地保证待处理数据的数据分布与BN模块的匹配程度，因此，可以基于待处理数据的特征信息与BN模块的均值的距离，确定用于对待处理数据的特征信息进行归一化处理的BN模块。

相应地，对于预先训练的图像数据处理网络的任一block，可以通过特征提取模块对输入数据进行特征提取，以得到的第一特征信息，并基于分别确定第一特征信息与该block包括的各BN模块的均值的距离，并基于该距离确定该block中与第一特征信息匹配的BN模块(本文中称为目标BN模块)。

需要说明的是，在本申请实施例中，对于级联的多个block，首个block可以按照上述方式确定第一特征信息匹配的目标BN模块，对于非首个block，可以基于上一个block输出的信息中携带的目标BN模块的索引信息，确定目标BN模块，即各block中BN模块的索引与该BN模块匹配的数据分布可以预先配置好，当首个block按照上述方式确定了目标BN模块时，可以将目标BN模块的索引信息发送给下一个block，该block可以基于该目标BN模块的索引信息确定特征信息对应的数据分布，进而，确定自身用于对特征信息进行归一化处理的目标BN模块，其具体实现在此不做赘述。

步骤S130、通过目标BN模块对第一特征信息进行归一化处理，得到待处理图像数据的第二特征信息。

本申请实施例中，当按照上述方式确定了目标BN模块时，可以通过目标BN模块对第一特征信息进行归一化处理，得到待处理图像数据的归一化处理后的特征信息(本文中称为第二特征信息)，通过利用与待处理图像数据的数据分布匹配的BN模块对待处理图像数据的特征信息进行归一化处理，优化了归一化处理的效果。

示例性的，通过目标BN模块对第一特征信息进行归一化处理可以包括基于目标BN模块中保存的均值和方差对第一特征信息进行归一化处理。

例如，可以通过将第一特征信息减去目标BN模块中保存的均值，然后，除以目标BN模块中保存的方差的方式，对第一特征信息进行归一化处理。

步骤S140、通过预先训练的图像数据处理网络的处理模块对该预先训练的图像数据处理网络的最后一个block输出的第二特征信息进行图像数据处理，并输出图像数据处理结果。

本申请实施例中，当各block均处理完成时，可以通过预先训练的图像数据处理网络的处理模块对最后一个block输出的第二特征信息进行图像数据处理，以得到图像数据处理结果，并输出该图像数据处理结果。

示例性的，该图像数据处理可以包括但不限于图像分类、目标检测或图像分割等。

示例性的，对于图像分类，图像数据处理结果可以包括图像的类别标签；对于目标检测，图像数据处理结果可以包括图像中目标的位置信息(如目标的标注框的左上角的位置信息以及标注框的宽高信息等)；对于图像分割，图像数据处理结果可以包括一个掩膜图像(与输入图像等分辨率)，每个像素包括一个指定类别的值，用于标识对应像素位置是否存在特定目标。

可见，在图1所示方法流程中，通过在图像数据处理网络的各block中设置多个BN模块，并分别利用不同的BN模块学习不同的数据分布，进而，在利用训练好的图像数据处理网络执行图像数据处理任务时，可以利用不同BN模块对不同数据分布的待处理图像数据进行归一化处理，从而，可以提高图像数据处理网络的场景适用性，优化图像数据处理效果。

在一些实施例中，步骤S110中，基于第一特征信息与该block包括的各BN模块的均值的距离，确定与第一特征信息匹配的目标BN模块，可以包括：

确定第一特征信息的特征均值；

基于该特征均值，与该block包括的各BN模块的均值，分别确定该特征均值与各BN模块的均值的距离，并将最小距离关联的BN模块确定为目标BN模块。

示例性的，可以通过第一特征信息的特征均值与BN模块的均值之间的距离，来表征第一特征信息与BN模块的均值的距离。

示例性的，该特征均值与BN模块的均值之间的距离，与待处理图像数据的数据分布与BN模块的匹配程度负相关。

相应地，对于任一block，当通过特征提取得到了第一特征信息时，可以确定第一特征信息的特征均值(如全局平均值)，并分别确定该特征均值与各BN模块的均值的距离，进而，比较该特征均值与各BN模块的均值的距离，确定最小距离，并将该最小距离关联的BN模块确定为目标BN模块。

示例性的，可以采用L1或L2距离度量方式确定特征均值与BN模块的均值的距离。

在另一些实施例中，步骤S110中，基于第一特征信息与该block包括的各BN模块的均值的距离，确定与第一特征信息匹配的目标BN模块，可以包括：

确定第一特征信息不同通道间的关系矩阵的均值；

基于该均值，与预先训练的图像数据处理网络的各BN模块的均值，分别确定该均值与各BN模块的均值的距离，并将最小距离关联的BN模块确定为目标BN模块。

示例性的，可以通过第一特征信息不同通道间的关系矩阵(如高斯核)的均值与BN模块的均值之间的距离，来表征第一特征信息与BN模块的均值的距离。

示例性的，该均值与BN模块的均值之间的距离，与待处理图像数据的数据分布与BN模块的匹配程度负相关。

相应地，对于任一block，当通过特征提取得到了第一特征信息时，可以确定第一特征信息不同通道间的关系矩阵的均值，并分别确定该均值与各BN模块的均值的距离，进而，比较该均值与各BN模块的均值的距离，确定最小距离，并将该最小距离关联的BN模块确定为目标BN模块。

在一些实施例中，上述图像数据处理网络可以通过以下方式训练：

通过图像数据处理网络的特征提取模块，对批量输入的训练样本进行特征提取，以得到训练样本的第三特征信息；

对第三特征信息进行分组，以得到多组第三特征信息；不同组的第三特征信息的数据分布不一致，同一组的第三特征信息的数据分布一致；

将不同组的第三特征信息输入到图像数据处理网络的不同BN模块中进行归一化处理，以得到训练样本的第四特征信息；对于图像数据处理网络的任一block，不同组的第三特征信息输入到不同的BN模块，同一组的第三特征信息输入到同一BN模块；

将图像数据处理网络的最后一个block中各BN模块输出的第四特征信息合并后输入到处理模块进行图像数据处理。

示例性的，在利用构建的图像数据处理网络执行图像数据处理任务之前，需要完成对该图像数据处理网络的训练。

训练过程中，可以通过图像数据处理网络的特征提取模块(即首个block中的特征提取模块)，对批量输入的训练样本进行特征提取，以得到训练样本的特征信息(本文中称为第三特征信息)，并对第三特征信息进行分组，得到多组第三特征信息。

其中，不同组的第三特征信息的数据分布不一致，同一组的第三特征信息的数据分布一致。

对于任一block，不同组的第三特征信息，可以输入到不同的BN模块进行归一化处理，以得到训练样本的归一化处理后的特征信息(本文中称为第四特征信息)。

其中，同一组的第三特征信息输入到同一BN模块，以保证一个BN模块学习到一种数据分布。

需要说明的是，在训练过程中，数据可以分批输入，每一批数据中均包括各不同数据分布的数据，且每一批数据中，相同数据分布的数据连续输入，同一数据分布的数据的输入量可以预先配置，进而，可以依据输入的数据的顺序确定其所属的数据分布。

举例来说，假设共包括4000个训练样本，该4000个数据样本包括4种不同的数据分布(也可以称为数据域，假设分别为域A、域B、域C和域D，且域A～域D的训练样本各为1000个)，则可以将数据分4批输入，每一批输入1000个，且每一批输入的训练样本，前250个为域A的训练样本，然后为250个域B的训练样本，再然后为250个域C的训练样本，最后为250个域D的训练样本，则在进行网络训练时，对于输入的一批数据，前250个(第1～250个)为一个域(即一种数据分布)，输入到同一BN模块(假设为BN模块a)进行学习；第251～500输入到BN模块b，第501～750个输入到BN模块c，第751～1000个输入到BN模块d。

需要说明的是，在对图像数据处理网络进行训练之前，BN模块与数据分布之间并不存在必然的对应关系，即本申请实施例中，当对图像数据处理网络进行训练时，既可以按照上述方式由BN模块a学习域A的数据分布，BN模块b学习域B的数据分布，BN模块c学习域C的数据分布，BN模块d学习域D的数据分布，也可以由BN模块a学习域D的数据分布，BN模块b学习域C的数据分布，BN模块c学习域B的数据分布，BN模块d学习域A的数据分布(不同BN模块学习不同的数据分布)。

此外，特征提取模块输出第三特征信息的顺序与训练样本输入时的排序一致。

仍以上一示例为例，对于输入的1000个训练样本，特征提取模块进行第三特征信息输出时，输出的1000个第三特征信息中，第1～250个为域A的训练样本的第三特征信息，第251～500个为域B的训练样本的第三特征信息…同理，第751～1000个为域D的训练样本的第三特征信息。

相应地，在一个示例中，上述对第三特征信息进行分组，以得到多组第三特征信息，可以包括：

基于第三特征信息归属的训练样本，以及，不同数据分布的训练样本的输入顺序，确定不同数据分布的训练样本的第三特征信息；

将不同数据分布的训练样本的第三特征信息划分为不同组；同一组的训练样本的第三特征信息的数据分布一致；

上述将不同组的第三特征信息输入到图像数据处理网络的不同BN模块中进行归一化处理，包括：

基于各组的第三特征信息对应的数据分布，将各组的第三特征信息，输入到匹配的BN模块进行归一化处理；不同的BN模块对应不同的数据分布。

示例性的，将不同组的第三特征信息输入到图像数据处理网络的不同BN模块中进行归一化处理，可以包括：

对于任一组第三特征信息，将该组第三特征信息输入到对应的BN模块，通过该BN模块确定输入的第三特征信息的均值和方差，并基于该第三特征信息的均值和方差，与该BN模块保存的均值和方差进行滑动平均处理，并保存处理后的均值和方差；

通过该BN模块基于该第三特征信息的均值和方差对输入的第三特征信息进行归一化处理。

示例性的，训练样本的输入顺序可以包括批量输入的训练样本的排序，例如，批量输入100个训练样本中，排序第10的训练样本的输入顺序为第10。

示例性的，BN模块的功能是对特征信息进行归一化操作，即基于特征信息均值和方差，对输入的特征信息进行归一化处理。

此外，BN模块可以以滑动平均的方式，保存处理后的均值和方差。

例如，对于输入的数据，可以计算该数据的均值和方差，并与之前保存的均值和方差进行滑动平均处理，保存处理得到的均值和方差。

需要说明的是，在训练过程中，对于任一block，conv层提取到的特征信息可以批量输入到对应的BN模块。

对于任一BN模块，当在训练过程中首次输入数据时，可以保存计算得到的输入数据的均值和方差，而不需要进行滑动平均处理；对于非首次输入的数据，可以按照上述方式处理。

相应地，对于任一组第三特征信息，将该组第三特征信息输入到对应的BN模块，通过该BN模块确定输入的第三特征信息的均值和方差，一方面，可以基于该第三特征信息的均值和方差，与该BN模块保存的均值和方差进行滑动平均处理，并保存处理后的均值和方差。

另一方面，BN模块可以基于该第三特征信息的均值和方差，对输入的第三特征信息进行归一化处理。

即将输入的第三特征信息减去该第三特征信息的均值，然后，除以该第三特征信息的方差，以得到归一化处理后的结果。

在一个示例中，上述基于该第三特征信息的均值和方差，与该BN模块保存的均值和方差进行滑动平均处理，可以包括：

基于该第三特征信息的均值和方差的第一权重，以及该BN模块保存的均值和方差的第二权重，对该第三特征信息的均值和方差，与该BN模块保存的均值和方差进行加权平均处理；其中，第一权重小于第二权重，第一权重与第二权重的和为1。

举例来说，假设第一权重为0.1，第二权重为0.9，对于输入的第三特征信息，BN模块可以计算该第三特征信息的均值和方差，并将该第三特征信息的均值和方差，与当前保存的均值和方差进行滑动平均处理，以保存处理后的均值和方差。即：

M2＝0.1*M1+0.9*M0

V2＝0.1*V1+0.9*V0

其中，M1为第三特征信息的均值，V1为第三特征信息的方差；M0为当前保存的均值，V0为当前保存的方差；M2为处理后的均值，V2为处理后的方差。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面结合具体实例对本申请实施例提供的技术方案进行说明。

考虑到传统网络模型训练方案中，由于网络模型是单block结构，因此，若采用包括不同数据分布的数据的训练样本对单个网络模型进行训练，则训练好的网络模型的性能会比较差。而若分别通过不同数据分布的训练样本训练不同的网络模型，则又会大大增加所需要的样本数量。

假设训练一个网络模型需要至少100个训练样本，若按照现有网络模型训练方式，使用100个包括数据分布A的数据和数据分布B的数据的训练样本，对一个网络模型进行训练，训练好的网络模型对数据分布A的数据和数据分布B的数据的处理性能均会较差；而若需要分别训练用于对数据分布A的数据进行处理的网络模型1，和用于对数据分布B的数据进行处理的网络模型2，则需要分别准备100个数据分布A的训练样本用于对网络模型1进行训练，以及准备100个数据分布B的训练样本用于对网络模型2进行训练，即需要准备200个训练样本。

此外，考虑到数据的分布主要由均值和方差来表征。在深度神经网络中，BN层中包含可学习的均值和方差两个参数，因此，BN层可以刻画数据的分布，而不同的BN层可以学习到不同的数据分布。

相应地，在训练中，对于任一block，可以采用多BN层结构，可以让网络尽可能地学习到不同的分布。

如图2所示，对于图像数据处理网络中的任一block，可以由单BN层结构优化为多BN层结构，在训练过程中，conv层提取的特征信息，通过conv_slice进行分组，并分别输入到不同的BN层进行处理，进而，由conv/bn层将不同BN层输出的特征信息合并后，通过rule(规则)层输出。

在测试时，可以选择与数据更接近的BN层来完成其特征处理，以提高处理效果，优化模型性能。

具体地，模型训练好后，则可测试其性能。在测试时，可根据测试数据的情况合理选择其中一个BN分支来完成特征提取。

BN层(即上述目标BN模块)选择的方式可以包括但不限于：

1)、计算样本的特征均值(可取全局平均值)，分别与不同BN层的均值做比较(如采用L1或L2距离度量方式)，然后选择距离最近的BN层分支；

2)、计算样本不同通道间的关系矩阵(如高斯核，如下公式所示)的均值，分别与不同BN层的均值做比较，然后选择距离最近的BN层分支。

实施例一

以图像分类为例，其完整处理流程如下：

1、模型训练

示例性的，为了实现模型训练，需要准备预设数量(需满足模型训练的最少样本数量需求)的训练样本，该预设数量的训练样本至少包括两个不同Domain(域)(不同数据分布)的训练样本。

示例性的，以训练样本可以可见光图像数据(假设为域A)和红外图像(假设为域B)。

基于所准备的训练样本，可以对预先构建的图像分类网络模型进行训练，该预先构建的图像分类的每一个block包括两个BN模块(假设分别为BN模块1和BN模块2)，BN模块1用于学习可见光图像数据的数据分布，BN模块2用于学习红外图像数据的数据分布。

在训练过程中，训练样本可以分批输入，假设一批数据包括100个训练样本，其中，前50个为可见光图像，后50个为红外光图像，输入的训练样本经过图像分类网络模型的首个block的特征提取模块进行特征提取之后，对于前50个训练样本的特征信息(上述第三特征信息)输入的BN模块1进行归一化处理，后50个训练样本的特征信息输入到BN模块2进行归一化处理。

归一化处理后的特征信息合并输入到下一block。

对于上一block输入的特征信息，先进行特征信息提取，然后对于前50个特征信息(每一个特征信息对应一个训练样本)，输入该block的BN模块1，后50个特征信息输入到该block的BN模块2。

对于最后一个block输出的特征信息，处理模块可以对该特征信息进行图像分类处理。

在训练过程中，可以基于处理模块的图像分类结果，以及训练样本标注的类别，确定分类的准确率，以得到图像分类网络模型的损失，并基于该损失对图像分类网络模型进行参数调优，直至网络模型收敛时，利用测试集对图像分类网络模型的分类准确性进行测试，当达到预设准确率阈值时，确定网络模型训练完成。

2、图像分类

当接收到待分类图像时，将该待分类图像输入到训练好的图像分类网络模型，通过首个block的特征提取模块进行特征提取后，确定特征信息(即上述第一特征信息)的特征均值，并基于该特征均值，与该block中BN模块1和BN模块2的均值，确定该特征均值与BN模块1、BN模块2的距离，并将该最小距离关联的BN模块确定为目标BN模块。

假设目标BN模块为BN模块1，可以通过BN模块1对该特征信息进行归一化处理，并将归一化处理后的特征信息(即上述第二特征信息)输入到下一个block。

对于最后一个block输出的第二特征信息，可以通过处理模块进行图像分类处理，以得到待分类图像的分类结果。

实施例二

以目标检测为例，其完整处理流程如下：

1、模型训练

示例性的，为了实现模型训练，需要准备预设数量(需满足模型训练的最少样本数量需求)的训练样本，该预设数量的训练样本至少包括两个不同Domain(域)(不同数据分布)的训练样本。

示例性的，以训练样本包括亚洲人脸图片数据(假设为域A)、欧洲人脸图片数据(假设为域B)以及美洲人脸图片数据(假设为域C)为例。

基于所准备的训练样本，可以对预先构建的目标检测网络模型进行训练，该预先构建的目标检测的每一个block包括三个BN模块(假设分别为BN模块1、BN模块2和BN模块3)，BN模块1用于学习亚洲人脸图片数据的数据分布，BN模块2用于学习欧洲人脸图片数据的数据分布，BN模块3用于学习美洲人脸图片数据的数据分布。

在训练过程中，训练样本可以分批输入，假设一批数据包括120个训练样本，其中，前40个为亚洲人脸图片，然后40个为欧洲人脸图片，最后4个为美洲人脸图片，输入的训练样本经过目标检测网络模型的首个block的特征提取模块进行特征提取之后，对于前40个训练样本的特征信息(上述第三特征信息)输入的BN模块1进行归一化处理，然后40个训练样本的特征信息输入到BN模块2进行归一化处理，最后40个训练样本的特征信息输入到BN模块3进行归一化处理。

对于非首个block，先对上一个block输出的特征信息进行特征信息提取，然后对于前40个特征信息(每一个特征信息对应一个训练样本)，输入该block的BN模块1，然后40个特征信息输入到该block的BN模块2，最后40个特征信息输入到该block的BN模块3。

对于最后一个block输出的特征信息，处理模块可以对该特征信息进行目标检测处理。

在训练过程中，可以基于处理模块的目标检测结果(以人脸检测为例)，以及训练样本标注的目标位置信息，确定目标检测的准确率，以得到目标检测网络模型的损失，并基于该损失对目标检测网络模型进行参数调优，直至网络模型收敛时，利用测试集对目标检测网络模型的检测准确性进行测试，当达到预设准确率阈值时，确定网络模型训练完成。

2、目标检测

当接收到待检测图片时，将该待检测图片输入到训练好的目标检测网络模型，通过首个block的特征提取模块进行特征提取后，确定特征信息(即上述第一特征信息)的特征均值，并基于该特征均值，与该block中BN模块1、BN模块2以及BN模块3的均值，确定该特征均值与BN模块1、BN模块2以及BN模块3的距离，并将该最小距离关联的BN模块确定为目标BN模块。

假设目标BN模块为BN模块3，可以通过BN模块3对该特征信息进行归一化处理，并将归一化处理后的特征信息(即上述第二特征信息)输入到下一个block。

对于最后一个block输出的第二特征信息，可以通过处理模块进行目标检测处理，以得到待检测图片的目标检测结果，即人脸在图片中的位置信息。

示例性的，在得到人脸在图片中的位置信息之后，可以基于位置信息对人脸图片中的人脸进行人脸识别，其具体实现在此不做赘述。

需要说明的是，在本申请实施例中，目标检测并不限于人脸检测，其也可以包括车辆等其他目标检测；相应地，在得到目标检测结果之后，可以进一步基于检测结果，进行车辆等其他目标识别，其具体实现在此不做赘述。

以上对本申请提供的方法进行了描述。下面对本申请提供的装置进行描述：

请参见图3，为本申请实施例提供的一种图像数据处理装置的结构示意图，如图3所示，该图像数据处理装置可以包括：

接收单元310，用于接收待处理图像数据；

特征提取单元320，用于对于预先训练的图像数据处理网络的任一单元block，通过特征提取模块对输入数据进行特征提取，以得到第一特征信息；其中，对于首个block，输入数据为所述待处理图像数据，对于非首个block，输入数据为上一block的输出特征；

确定单元330，用于基于所述第一特征信息与该block包括的各批归一化BN模块的均值的距离，确定与所述第一特征信息匹配的目标BN模块；其中，所述预先训练的图像数据处理网络每个block包括至少两个BN模块；

归一化处理单元340，用于通过所述目标BN模块对所述第一特征信息进行归一化处理，得到所述待处理图像数据的第二特征信息；

处理单元350，用于通过所述预先训练的图像数据处理网络的处理模块对所述预先训练的图像数据处理网络的最后一个block输出的第二特征信息进行图像数据处理。

在一些实施例中，所述确定单元330基于所述第一特征信息与该block包括的各BN模块的均值的距离，确定与所述第一特征信息匹配的目标BN模块，包括：

确定所述第一特征信息的特征均值；

基于所述特征均值，与该block包括的各BN模块的均值，分别确定所述特征均值与各BN模块的均值的距离，并将最小距离关联的BN模块确定为所述目标BN模块。

在一些实施例中，所述确定单元330基于所述第一特征信息与该block包括的各BN模块的均值的距离，确定与所述第一特征信息匹配的目标BN模块，包括：

确定所述第一特征信息不同通道间的关系矩阵的均值；

基于该均值，与该block包括的各BN模块的均值，分别确定该均值与各BN模块的均值的距离，并将最小距离关联的BN模块确定为所述目标BN模块。

在一些实施例中，如图4所示，所述装置还包括：

训练单元360，用于通过以下方式对图像数据处理网络进行训练：

通过所述图像数据处理网络的特征提取模块，对批量输入的训练样本进行特征提取，以得到所述训练样本的第三特征信息；

对所述第三特征信息进行分组，以得到多组第三特征信息；不同组的第三特征信息的数据分布不一致，同一组的第三特征信息的数据分布一致；

将不同组的第三特征信息输入到所述图像数据处理网络的不同BN模块中进行归一化处理，以得到所述训练样本的第四特征信息；其中，对于所述图像数据处理网络的任一block，不同组的第三特征信息输入到不同的BN模块，同一组的第三特征信息输入到同一BN模块；

将所述图像数据处理网络的最后一个block中各BN模块输出的第四特征信息合并后输入到处理模块进行图像数据处理。

在一些实施例中，所述训练单元360对第三特征信息进行分组，以得到多组第三特征信息，包括：

基于所述第三特征信息归属的训练样本，以及，不同数据分布的所述训练样本的输入顺序，确定不同数据分布的训练样本的第三特征信息；

将不同数据分布的训练样本的第三特征信息划分为不同组；同一组的训练样本的第三特征信息的数据分布一致；

所述训练单元360将不同组的第三特征信息输入到所述图像数据处理网络的不同BN模块中进行归一化处理，包括：

基于各组的第三特征信息对应的数据分布，将各组的第三特征信息，输入到匹配的BN模块进行归一化处理；不同的BN模块对应不同的数据分布。

在一些实施例中，所述训练单元360将不同组的第三特征信息输入到所述图像数据处理网络的不同BN模块中进行归一化处理，包括：

对于任一组第三特征信息，将该组第三特征信息输入到对应的BN模块，通过该BN模块确定输入的第三特征信息的均值和方差，并基于该第三特征信息的均值和方差，与该BN模块保存的均值和方差进行滑动平均处理，并保存处理后的均值和方差；

通过该BN模块基于该第三特征信息的均值和方差对输入的第三特征信息进行归一化处理。

在一些实施例中，所述训练单元360基于该第三特征信息的均值和方差，与该BN模块保存的均值和方差进行滑动平均处理，包括：

基于该第三特征信息的均值和方差的第一权重，以及该BN模块保存的均值和方差的第二权重，对该第三特征信息的均值和方差，与该BN模块保存的均值和方差进行加权平均处理；其中，第一权重小于第二权重，第一权重与第二权重的和为1。

请参见图5，为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备可以包括处理器501、通信接口502、存储器503和通信总线504。处理器501、通信接口502以及存储器503通过通信总线404完成相互间的通信。其中，存储器503上存放有计算机程序；处理器501可以通过执行存储器503上所存放的程序，执行上文描述的图像数据处理方法。

本文中提到的存储器503可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，存储器502可以是：RAM(Radom AccessMemory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

在可选实施例中，还提供了一种机器可读存储介质，如图5中的存储器502，该机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现上文描述的图像数据处理方法。例如，所述机器可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (12)

1.一种图像数据处理方法，其特征在于，包括：

接收待处理图像数据；

对于预先训练的图像数据处理网络的任一单元block，通过特征提取模块对输入数据进行特征提取，以得到第一特征信息；其中，对于首个block，输入数据为所述待处理图像数据，对于非首个block，输入数据为上一block的输出特征；对于所述预先训练的图像数据处理网络的任一单元block，每个block包含多个批归一化BN模块，每个批归一化BN模块对应不同应用场景数据分布的特征；

基于所述第一特征信息与该block包括的各批归一化BN模块的均值的距离，确定与所述第一特征信息匹配的目标BN模块；

通过所述目标BN模块对所述第一特征信息进行归一化处理，得到所述待处理图像数据的第二特征信息；

通过所述预先训练的图像数据处理网络的处理模块对所述预先训练的图像数据处理网络的最后一个block输出的第二特征信息进行图像数据处理，并输出图像数据处理结果。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一特征信息与该block包括的各BN模块的均值的距离，确定与所述第一特征信息匹配的目标BN模块，包括：

确定所述第一特征信息的特征均值；

基于所述特征均值，与该block包括的各BN模块的均值，分别确定所述特征均值与各BN模块的均值的距离，并将最小距离关联的BN模块确定为所述目标BN模块。

3.根据权利要求1所述的方法，其特征在于，所述基于所述第一特征信息与该block包括的各BN模块的均值的距离，确定与所述第一特征信息匹配的目标BN模块，包括：

确定所述第一特征信息不同通道间的关系矩阵的均值；

基于该均值，与该block包括的各BN模块的均值，分别确定该均值与各BN模块的均值的距离，并将最小距离关联的BN模块确定为所述目标BN模块。

4.根据权利要求1-3任一项所述的方法，其特征在于，对图像数据处理网络的训练包括：

通过所述图像数据处理网络的特征提取模块，对批量输入的训练样本进行特征提取，以得到所述训练样本的第三特征信息；

对所述第三特征信息进行分组，以得到多组第三特征信息；不同组的第三特征信息的数据分布不一致，同一组的第三特征信息的数据分布一致；

将不同组的第三特征信息输入到所述图像数据处理网络的不同BN模块中进行归一化处理，以得到所述训练样本的第四特征信息；其中，对于所述图像数据处理网络的任一block，不同组的第三特征信息输入到不同的BN模块，同一组的第三特征信息输入到同一BN模块；

将所述图像数据处理网络的最后一个block中各BN模块输出的第四特征信息合并后输入到处理模块进行图像数据处理。

5.根据权利要求4所述的方法，其特征在于，所述对所述第三特征信息进行分组，以得到多组第三特征信息，包括：

基于所述第三特征信息归属的训练样本，以及，不同数据分布的所述训练样本的输入顺序，确定不同数据分布的训练样本的第三特征信息；

将不同数据分布的训练样本的第三特征信息划分为不同组；同一组的训练样本的第三特征信息的数据分布一致；

所述将不同组的第三特征信息输入到所述图像数据处理网络的不同BN模块中进行归一化处理，包括：

基于各组的第三特征信息对应的数据分布，将各组的第三特征信息，输入到匹配的BN模块进行归一化处理；不同的BN模块对应不同的数据分布。

6.根据权利要求5所述的方法，其特征在于，所述将不同组的第三特征信息输入到所述图像数据处理网络的不同BN模块中进行归一化处理，包括：

对于任一组第三特征信息，将该组第三特征信息输入到对应的BN模块，通过该BN模块确定输入的第三特征信息的均值和方差，并基于该第三特征信息的均值和方差，与该BN模块保存的均值和方差进行滑动平均处理，并保存处理后的均值和方差；

通过该BN模块基于该第三特征信息的均值和方差对输入的第三特征信息进行归一化处理。

7.根据权利要求6所述的方法，其特征在于，所述基于该第三特征信息的均值和方差，与该BN模块保存的均值和方差进行滑动平均处理，包括：

基于该第三特征信息的均值和方差的第一权重，以及该BN模块保存的均值和方差的第二权重，对该第三特征信息的均值和方差，与该BN模块保存的均值和方差进行加权平均处理；其中，第一权重小于第二权重，第一权重与第二权重的和为1。

8.一种图像数据处理装置，其特征在于，包括：

接收单元，用于接收待处理图像数据；

特征提取单元，用于对于预先训练的图像数据处理网络的任一单元block，通过特征提取模块对输入数据进行特征提取，以得到第一特征信息；其中，对于首个block，输入数据为所述待处理图像数据，对于非首个block，输入数据为上一block的输出特征；对于所述预先训练的图像数据处理网络的任一单元block，每个block包含多个批归一化BN模块，每个批归一化BN模块对应不同应用场景数据分布的特征；

确定单元，用于基于所述第一特征信息与该block包括的各批归一化BN模块的均值的距离，确定与所述第一特征信息匹配的目标BN模块；

归一化处理单元，用于通过所述目标BN模块对所述第一特征信息进行归一化处理，得到所述待处理图像数据的第二特征信息；

处理单元，用于通过所述预先训练的图像数据处理网络的处理模块对所述预先训练的图像数据处理网络的最后一个block输出的第二特征信息进行图像数据处理，并输出图像数据处理结果。

9.根据权利要求8所述的装置，其特征在于，所述确定单元基于所述第一特征信息与该block包括的各BN模块的均值的距离，确定与所述第一特征信息匹配的目标BN模块，包括：

确定所述第一特征信息的特征均值；

基于所述特征均值，与该block包括的各BN模块的均值，分别确定所述特征均值与各BN模块的均值的距离，并将最小距离关联的BN模块确定为所述目标BN模块。

10.根据权利要求8所述的装置，其特征在于，所述确定单元基于所述第一特征信息与该block包括的各BN模块的均值的距离，确定与所述第一特征信息匹配的目标BN模块，包括：

确定所述第一特征信息不同通道间的关系矩阵的均值；

基于该均值，与该block包括的各BN模块的均值，分别确定该均值与各BN模块的均值的距离，并将最小距离关联的BN模块确定为所述目标BN模块。

11.根据权利要求8-10任一项所述的装置，其特征在于，所述装置还包括：

训练单元，用于通过以下方式对图像数据处理网络进行训练：

通过所述图像数据处理网络的特征提取模块，对批量输入的训练样本进行特征提取，以得到所述训练样本的第三特征信息；

对所述第三特征信息进行分组，以得到多组第三特征信息；不同组的第三特征信息的数据分布不一致，同一组的第三特征信息的数据分布一致；

将不同组的第三特征信息输入到所述图像数据处理网络的不同BN模块中进行归一化处理，以得到所述训练样本的第四特征信息；其中，对于所述图像数据处理网络的任一block，不同组的第三特征信息输入到不同的BN模块，同一组的第三特征信息输入到同一BN模块；

将所述图像数据处理网络的最后一个block中各BN模块输出的第四特征信息合并后输入到处理模块进行图像数据处理。

12.根据权利要求11所述的装置，其特征在于，所述训练单元对所述第三特征信息进行分组，以得到多组第三特征信息，包括：

基于所述第三特征信息归属的训练样本，以及，不同数据分布的所述训练样本的输入顺序，确定不同数据分布的训练样本的第三特征信息；

将不同数据分布的训练样本的第三特征信息划分为不同组；同一组的训练样本的第三特征信息的数据分布一致；

所述训练单元将不同组的第三特征信息输入到所述图像数据处理网络的不同BN模块中进行归一化处理，包括：

基于各组的第三特征信息对应的数据分布，将各组的第三特征信息，输入到匹配的BN模块进行归一化处理；不同的BN模块对应不同的数据分布。