CN110232407B - 图像处理方法和装置、电子设备和计算机存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法和装置、电子设备和和计算机存储介质，其中，方法包括：基于当前图像的全局特征数据，生成第一神经网络中目标网络层的网络调整参数；基于所述第一神经网络对所述当前图像进行特征提取处理，获得所述目标网络层输出的特征数据；基于所述目标网络层的网络调整参数对所述目标网络层输出的特征数据进行调整；根据所述目标网络层调整后的特征数据得到所述当前图像的图像处理结果，本实施例可以改变第一神经网络中目标网络层输出的特征数据，使属于同一类别的图像通过第一神经网络可以获得相似的特征表示，还可以使多种类的图像通过第一神经网络均获得很好的特征表示。

Description

图像处理方法和装置、电子设备和计算机存储介质

技术领域

本申请涉及计算机视觉技术，尤其是一种图像处理方法和装置、电子设备和计算机存储介质。

背景技术

卷积神经网络(Convolutional Neural Networks,CNN)具有强大的表达能力，会带来效果的显著提升，被广泛应用于计算机视觉技术的各个领域中，例如：物体检测、场景识别、物体追踪等。卷积神经网络是一个多层网络结构，通常每一个网络层都会对输入特征数据进行处理，并输出更高层的特征数据，作为对当前图像更好的特征表示，并最终通过分类器得出结果。

由于卷积神经网络中的每一个网络层通常是在一个局部去进行这种处理，所看到的内容有限，缺乏全局信息的指导，很难对所有种类的图像都获得很好的特征表示，尤其是对于规模较小的网络。

发明内容

本申请实施例提供一种图像处理的技术方案。

根据本申请实施例的一个方面，提供一种图像处理方法，包括：

基于当前图像的全局特征数据，生成第一神经网络中目标网络层的网络调整参数；

基于所述第一神经网络对所述当前图像进行特征提取处理，获得所述目标网络层输出的特征数据；

基于所述目标网络层的网络调整参数对所述目标网络层输出的特征数据进行调整；

根据所述目标网络层调整后的特征数据得到所述当前图像的图像处理结果。

可选地，在本申请上述方法实施例中，所述基于当前图像的全局特征数据，生成第一神经网络中目标网络层的网络调整参数之前，还包括：

通过第二神经网络对所述当前图像进行特征提取处理，得到所述当前图像的全局特征数据。

可选地，在本申请上述任一方法实施例中，所述基于所述目标网络层的网络调整参数对所述目标网络层输出的特征数据进行调整，包括：

基于所述目标网络层的网络调整参数，对所述目标网络层输出的特征数据的分布进行调整。

可选地，在本申请上述任一方法实施例中，所述目标网络层包括所述第一神经网络中的至少一个网络层；

所述基于当前图像的全局特征数据，生成第一神经网络中目标网络层的网络调整参数，包括：

基于所述当前图像的全局特征数据，分别生成所述目标网络层中每一个网络层的网络调整参数；

所述基于所述目标网络层的网络调整参数，对所述目标网络层输出的特征数据的分布进行调整，包括：

根据所述目标网络层中每一个网络层的网络调整参数，分别对相应所述网络层输出的特征数据的分布进行调整。

可选地，在本申请上述任一方法实施例中，所述基于所述目标网络层的网络调整参数，对所述目标网络层输出的特征数据的分布进行调整，包括：

基于所述目标网络层的网络调整参数中的至少部分网络调整参数，分别对所述目标网络层输出的特征数据中每一个通道的特征数据的分布进行调整。

可选地，在本申请上述任一方法实施例中，所述目标网络层包括所述第一神经网络中的至少一个浅层网络层。

可选地，在本申请上述任一方法实施例中，所述基于当前图像的全局特征数据，生成第一神经网络中目标网络层的网络调整参数，包括：

基于所述当前图像的全局特征数据，生成所述第一神经网络中目标网络层的平移参数和/或伸缩参数；

所述基于所述目标网络层的网络调整参数，对所述目标网络层输出的特征数据进行调整，包括：

根据所述平移参数，对所述目标网络层输出的特征数据中每一个通道的特征数据的分布进行平移调整；和/或，

根据所述伸缩参数，对所述目标网络层输出的特征数据中每一个通道的特征数据的分布进行伸缩调整。

可选地，在本申请上述任一方法实施例中，所述全局特征数据包括：形状特征数据和纹理特征数据。

根据本申请实施例的又一个方面，提供一种图像处理装置，包括：

调整参数生成单元，用于基于当前图像的全局特征数据，生成第一神经网络中目标网络层的网络调整参数；

特征提取单元，用于基于所述第一神经网络对所述当前图像进行特征提取处理，获得所述目标网络层输出的特征数据；

特征调整单元，用于基于所述目标网络层的网络调整参数对所述目标网络层输出的特征数据进行调整；

结果输出单元，用于根据所述目标网络层调整后的特征数据得到所述当前图像的图像处理结果。

可选地，在本申请上述装置实施例中，所述装置，还包括：

全局特征提取单元，用于通过第二神经网络对所述当前图像进行特征提取处理，得到所述当前图像的全局特征数据。

可选地，在本申请上述任一装置实施例中，所述特征调整单元，用于基于所述目标网络层的网络调整参数，对所述目标网络层输出的特征数据的分布进行调整。

可选地，在本申请上述任一装置实施例中，所述目标网络层包括所述第一神经网络中的至少一个网络层；

所述调整参数生成单元，用于基于所述当前图像的全局特征数据，分别生成所述目标网络层中每一个网络层的网络调整参数；

所述特征调整单元，用于根据所述目标网络层中每一个网络层的网络调整参数，分别对相应所述网络层输出的特征数据的分布进行调整。

可选地，在本申请上述任一装置实施例中，所述特征调整单元，具体用于基于所述目标网络层的网络调整参数中的至少部分网络调整参数，分别对所述目标网络层输出的特征数据中每一个通道的特征数据的分布进行调整。

可选地，在本申请上述任一装置实施例中，所述目标网络层包括所述第一神经网络中的至少一个浅层网络层。

可选地，在本申请上述任一装置实施例中，所述调整参数生成单元，具体用于基于所述当前图像的全局特征数据，生成所述第一神经网络中目标网络层的平移参数和/或伸缩参数；

所述特征调整单元，具体用于根据所述平移参数，对所述目标网络层输出的特征数据中每一个通道的特征数据的分布进行平移调整；和/或，根据所述伸缩参数，对所述目标网络层输出的特征数据中每一个通道的特征数据的分布进行伸缩调整。

可选地，在本申请上述任一装置实施例中，所述全局特征数据包括：形状特征数据和纹理特征数据。

根据本申请实施例的再一个方面，提供的一种电子设备，包括上述任一实施例所述的装置。

根据本申请实施例的再一个方面，提供的一种电子设备，包括：

存储器，用于存储可执行指令；以及

处理器，用于执行所述可执行指令从而完成上述任一实施例所述的方法。

根据本申请实施例的再一个方面，提供的一种计算机程序，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现上述任一实施例所述方法的指令。

根据本申请实施例的再一个方面，提供的一种计算机存储介质，用于存储计算机可读指令，所述指令被执行时实现上述任一实施例所述的方法。

根据本申请实施例的再一个方面，提供的一种计算机程序产品，包括计算机可读代码，其特征在于，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现上述任意一项所述的方法的指令。

基于本申请上述实施例提供的图像处理方法和装置、电子设备和计算机存储介质，通过获取当前图像的全局特征数据，作为全局信息，来指导对第一神经网络中目标网络层输出的特征数据的调整，可以改变第一神经网络中目标网络层输出的特征数据，使属于同一类别的图像通过第一神经网络可以获得相似的特征表示，还可以使多种类的图像通过第一神经网络均获得很好的特征表示。

下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：

图1为本申请实施例提供的图像处理方法的一个流程示意图。

图2为本申请实施例提供的图像处理方法的另一流程示意图。

图3为用于实现本申请一些实施例的图像处理方法的神经网络的结构示意图。

图4为本申请实施例提供的图像处理装置的一个结构示意图。

图5为本申请一些实施例提供的电子设备的结构示意图。

具体实施方式

现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本申请实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、第三程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

图1为本申请实施例提供的图像处理方法的一个流程图。该方法可以由终端设备或服务器执行，例如：照相机、摄像机、手机、车载电脑等移动终端设备。如图1所示，该方法包括：

102，基于当前图像的全局特征数据，生成第一神经网络中目标网络层的网络调整参数。

在本申请实施例中，当前图像为应用于相应的计算机视觉任务的图像，可以为从图像采集设备或网络等获取的原始图像，例如：绘制的图片、照片或视频帧等，也可以为从原始图像中切分出来的包含原始图像中的部分信息的图像块等，还可以为从图像处理设备等获取的对原始图像或图像块进行一定的处理后得到的图像，本申请实施例对当前图像的来源和形式不作限定。当前图像的尺寸应当与第一神经网络对输入图像的尺寸要求相适应，为了获得具有预定尺寸的当前图像，可选地，可以对当前图像进行相应比例的缩放处理，例如，通过神经网络对当前图像进行相应比例的缩放处理，但本申请实施例对当前图像的尺寸和缩放处理的实现方式不作限定。

在本申请实施例中，全局特征数据为表示当前图像的整体属性的特征数据。

104，基于第一神经网络对当前图像进行特征提取处理，获得目标网络层输出的特征数据。

在本申请实施例中，第一神经网络为训练好的神经网络，例如：训练好的网络参数的数量小于某一数值的规模较小的神经网络，但本申请实施例对此不作限定。可选地，第一神经网络可以为卷积神经网络(Convolutional Neural Network，CNN)、深度神经网络(Deep Neural Network，DNN)或循环神经网络(Recurrent Neural Network，RNN)等，本申请实施例对第一神经网络的类型不作限定。可选地，第一神经网络可以为应用于不同的计算机视觉任务的神经网络，例如：目标识别任务、目标分类任务或目标检测任务等，第一神经网络也可以为适用于不同的应用场景的神经网络，例如：安防监控场景、人脸解锁场景或人脸支付场景等，本申请实施例对第一神经网络的应用范围不作限定。可选地，第一神经网络的网络结构可以根据计算机视觉任务的需求设计，例如：可以包括卷积层、非线性Relu层、池化层和全连接层等，也可以采用现有的网络结构，例如：SqueezeNet、MobileNet或ShuffleNet等网络结构，本申请实施例对第一神经网络的网络结构不作限定。

可选地，对输出的特征数据进行调整的第一神经网络的目标网络层，可以为第一神经网络中的某一个网络层，也可以为第一神经网络中的某几个网络层，例如：第一神经网络中输出低层特征数据的第二至第四个卷积层，本申请实施例对进行特征数据调整的第一神经网络中目标网络层的数量和位置不作限定。可选地，经过目标网络层进行特征提取获得的特征数据，可能体现的是当前图像对应的低层特征，例如，当前图像的边缘特征等，本实施例中目标网络层输出的特征数据的表现的特征由目标网络层在第一神经网络中的位置决定，本实施例不限制目标网络层输出的特征数据的性质。

106，基于目标网络层的网络调整参数对目标网络层输出的特征数据进行调整。

在本申请实施例中，可以依据全局特征数据生成调整策略，并根据该调整策略对第一神经网络中目标网络层输出的特征数据进行调整。可选地，可以根据该调整策略，对第一神经网络中目标网络层输出的特征数据的特征值进行调整，也可以根据该调整策略，对第一神经网络中目标网络层输出的特征数据的分布进行调整，本申请实施例对特征数据进行调整的方式不作限定。

108，根据目标网络层调整后的特征数据得到当前图像的图像处理结果。

在本申请实施例中，可以将目标网络层经过调整后的特征数据输入到下一网络层，通过第一神经网络的输出端输出当前图像的处理结果，其中，下一网络层为第一神经网络中以目标网络层的输出作为输入的网络层，例如：通过下一网络层对调整后的特征数据进行特征提取处理，得到当前图像的处理结果。其中，处理结果可以为当前图像对应的计算机视觉任务的结果，例如：当前图像的整体属性，但本申请实施例对此不作限定。

基于本申请实施例提供的图像处理方法，在通过第一神经网络对当前图像进行处理的过程中，利用当前图像的全局特征数据，并依据全局特征数据对第一神经网络中目标网络层输出的特征数据进行调整，使第一神经网络基于调整后的特征数据得到当前图像的图像处理结果，通过获取当前图像的全局特征数据，作为全局信息，来指导对第一神经网络中目标网络层输出的特征数据的调整，可以改变第一神经网络中目标网络层输出的特征数据，使属于同一类别的图像通过第一神经网络可以获得相似的特征表示，可以使所有种类的图像通过第一神经网络均获得很好的特征表示，特别是对于规模较小的网络，可以实现领域自适应的效果，从而提升神经网络的性能。

在本申请的一些实施例中，在步骤102之前，还包括：

通过第二神经网络对当前图像进行特征提取处理，得到当前图像的全局特征数据。

可选地，可以通过第二神经网络对当前图像进行处理，获取当前图像的全局特征数据，也可以通过第二神经网络对当前图像的低层特征数据(Low-level feature)进行处理，获取当前图像的全局特征数据，其中，当前图像的低层特征数据可以为第一神经网络中某一个网络层输出的特征数据，例如：第一神经网络中的第一个卷积层输出的特征数据，但本申请实施例并不以此为限，其中，低层特征数据可以包括边缘数据、角点数据和曲线数据等，本申请实施例对通过第二神经网络获取全局特征数据的实现方式不作限定。

在本申请实施例中，第二神经网络为训练好的神经网络，且第二神经网络为规模较第一神经网络的规模更小的神经网络，例如：网络层数小于某一数值的较浅层的神经网络，以在提升第一神经网络的性能的同时，不会造成神经网络整体规模的大幅度增加。在一个可选的例子中，第二神经网络可以为大小不超过2M的神经网络，也就是说，第二神经网络的存储空间可以不超过2M。可选地，第二神经网络可以为卷积神经网络、浅层神经网络(Shallow Neural Network，SNN)或循环神经网络等，本申请实施例对第二神经网络的类型不作限定。在一个可选的例子中，第二神经网络可以根据需求通过设计一个较浅层的网络结构来实现，例如，可以包括卷积层、非线性Relu层、池化层和全连接层等，本申请实施例对第二神经网络的网络结构不作限定。

在一些可选的实施例中，还可以包括第三神经网络，通过第二神经网络获取所述当前图像的全局特征数据，通过第三神经网络依据全局特征数据，对第一神经网络中目标网络层输出的特征数据进行调整。第二神经网络的网络结构可以根据获取当前图像的全局特征数据的需求进行设计，例如：可以包括卷积层、非线性Relu层、池化层和全连接层等，本申请实施例对第二神经网络的网络结构不作限定。在一个可选的例子中，为了更快地对当前图像进行降维处理，获取全局特征数据，可以使第二神经网络中具有较大步长(stride)的卷积核的数目占有较大的比重，例如：使第二神经网络中步长为2的卷积核的数目占有较大的比重。

可选地，也可以通过第二神经网络对当前图像的低层特征数据进行处理，得到当前图像的全局特征数据，例如：通过第二神经网络对当前图像的低层特征数据进行特征提取处理，得到当前图像的全局特征数据。在一个可选的例子中，可以通过第一神经网络获取当前图像的某一低层特征数据，然后再通过第一神经网络对该低层特征数据进行处理的过程中，通过第二神经网络对该低层特征数据进行处理，得到当前图像的全局特征数据，并通过第三神经网络依据全局特征数据，对第一神经网络中目标网络层输出的特征数据进行调整。

可选地，第三神经网络的网络结构可以根据依据全局特征数据对第一神经网络中目标网络层输出的特征数据进行调整的需求进行设计，例如：可以包括两个全连接层等，本申请实施例对第三神经网络的网络结构不作限定。可选地，第三神经网络的数量可以与第一神经网络中需要对输出的特征数据进行调整的目标网络层的数量相同。在一个可选的例子中，当目标网络层为第一神经网络中的一个网络层时，可以通过一个第三神经网络，依据全局特征数据，对该目标网络层输出的特征数据进行调整。在另一个可选的例子中，当目标网络层为第一神经网络中的二个以上网络层时，可以通过二个以上第三神经网络中的每一个第三神经网络，分别依据全局特征数据，对二个以上目标网络层中与该第三神经网络对应的目标网络层输出的特征数据进行调整，其中，二个以上第三神经网络中的各第三神经网络可以采用相同的网络结构，但本申请实施例对此不作限定。

可选地，可以通过第三神经网络，依据全局特征数据，对第一神经网络中目标网络层输出的特征数据的特征值进行调整。在一个可选的例子中，可以通过第三神经网络，根据全局特征数据，生成对第一神经网络中目标网络层输出的特征数据中的部分或全部特征数据的特征值进行调整的数据，然后通过第三神经网络，根据该数据，对相应的特征数据的特征值进行调整，例如：基于加法和/或乘法运算对相应的特征数据的特征值进行调整。可选地，可以通过第三神经网络，依据全局特征数据，对第一神经网络中目标网络层输出的特征数据的分布进行调整。在一个可选的例子中，可以通过第三神经网络，根据全局特征数据，生成对第一神经网络中目标网络层输出的特征数据的分布进行调整的数据，然后通过第三神经网络，根据该数据，对相应的特征数据的分布进行调整，例如：基于加法和/或乘法运算对相应的特征数据的分布进行调整。可以简化第二神经网络的网络结构，提高第二神经网络的处理速度，节约图像处理的计算和存储资源。

在本申请的一些实施例中，步骤106包括：基于目标网络层的网络调整参数，对目标网络层输出的特征数据的分布进行调整。

可选地，通过第三神经网络，依据全局特征数据，对第一神经网络中目标网络层输出的特征数据的分布进行调整时，若目标网络层为第一神经网络中的二个以上网络层，第三神经网络的数量与目标网络层的数量相同，可以通过第三神经网络中的每一个第三神经网络，分别依据全局特征数据，对第一神经网络的目标网络层中与该第三神经网络对应的目标网络层输出的特征数据的分布进行调整。

可选地，步骤106可以包括：通过该第三神经网络，根据全局特征数据，生成对第一神经网络中与该第三神经网络对应的目标网络层输出的特征数据的分布进行调整的第一数据。通过该第三神经网络，根据第一数据，对第一神经网络中与该第三神经网络对应的目标网络层输出的特征数据的分布进行调整。

在一些可选实施例中，目标网络层包括第一神经网络中的至少一个网络层；

步骤104包括：基于当前图像的全局特征数据，分别生成目标网络层中每一个网络层的网络调整参数。

步骤106包括：根据目标网络层中每一个网络层的网络调整参数，分别对相应网络层输出的特征数据的分布进行调整。

可选地，对于一个单独的自底向上的神经网络中的网络层，越靠近底部的网络层越先输出特征数据，越靠近上部的网络层越后输出特征数据，并且除位于最底部的网络层外，每一个网络层输出的特征数据，都是根据位于其下方并与其相邻的一个网络层输出的特征数据得到的。当二个以上目标网络层中的部分或全部位于一个单独的自底向上的神经网络中时，在通过第三神经网络，依据全局特征数据，对第一神经网络中目标网络层输出的特征数据的分布进行调整时，除在该单独的自底向上的神经网络中最靠近底部的一个目标网络层外，其余每一个目标网络层输出的特征数据，都是基于位于其下方的目标网络层输出的特征数据对应的调整后的特征数据而得到。

例如：目标网络层包括两个网络层，即第一网络层和第二网络层，相邻的位于一个单独的自底向上的神经网络中，第三神经网络包括二个分别与第一网络层和第二网络层相对应的第三神经网络，如，前第三神经网络和后第三神经网络，在通过第一神经网络对当前图像进行处理的过程中，当第一网络层输出特征数据后，通过前第三神经网络，根据全局特征数据，生成对第一网络层输出的特征数据进行调整的第一数据，并通过前第三神经网络，根据该第一数据，对第一网络层输出的特征数据的分布进行调整，然后通过第二网络层根据该调整后的特征数据得到并输出相应的特征数据，当第二网络层输出特征数据后，通过后第三神经网络，根据全局特征数据，生成对第二网络层输出的特征数据进行调整的第一数据，并通过后第三神经网络，根据该第一数据，对第二网络层输出的特征数据的分布进行调整，然后通过与该第二网络层相邻的一网络层，根据该调整后的特征数据得到并输出相应的特征数据。

本申请实施例通过在第二神经网络之后设置与第一神经网络中目标网络层的数量相同的第三神经网络，通过一个第三神经网络对目标网络层中的一个网络层输出的特征数据的分步进行调整，有利于进一步简化附加网络(第二神经网络和第三神经网络)的网络结构，提高对目标网络层输出的特征数据进行调整的处理速度，节约图像处理的计算和存储资源。

在本申请的一些实施例中，通过第三神经网络，依据全局特征数据，对第一神经网络中目标网络层输出的特征数据的分布进行调整时，可以通过第三神经网络，依据全局特征数据，对第一神经网络中目标网络层输出的每一个通道的特征数据的分布进行调整，若目标网络层为第一神经网络中的二个以上网络层，第三神经网络的数量与目标网络层的数量相同，对于每一个第三神经网络，其操作包括：通过该第三神经网络，根据全局特征数据，生成对第一神经网络中与该第三神经网络对应的目标网络层输出的特征数据的分布进行调整的第一数据。通过第三神经网络，根据第一数据，对第一神经网络中与第三神经网络对应的目标网络层输出的每一个通道的特征数据的分布进行调整。

在本申请实施例中，第一神经网络中目标网络层输出的特征数据通常包括多个通道，可以通过第三神经网络，根据全局特征数据，生成对第一神经网络中目标网络层输出的每一个通道的特征数据的分布进行调整的第一数据，并通过第三神经网络，根据第一数据，对第一神经网络中目标网络层输出的每一个通道的特征数据的分布的进行调整。可选地，可以基于目标网络层输出的每一个通道的特征数据的分布形式，确定通过第三神经网络，根据全局特征数据，生成的对该目标网络层输出的每一个通道的特征数据的分布进行调整的第一数据，从而通过第三神经网络，根据第一数据，对该目标网络层输出的每一个通道的特征数据的分布进行调整。在一个可选的例子中，目标网络层输出的每一个通道的特征数据均符合混合高斯分布，可以通过第三神经网络，根据全局特征数据，生成对目标网络层输出的每一个通道的特征数据的混合高斯分布进行调整的第一数据，从而通过第三神经网络，根据第一数据，对该目标网络层输出的每一个通道的特征数据的混合高斯分布进行调整。

本申请实施例通过第三神经网络分别对第一神经网络中目标网络层输出的每一个通道的特征数据的分布进行调整，可以改变第一神经网络中目标网络层输出的每一个通道的特征数据，从而可以保证基于调整后的特征数据得到的目标特征数据的质量。

在本申请的一些实施例中，当通过第三神经网络，依据全局特征数据，对第一神经网络中目标网络层输出的特征数据的分布进行调整时，若目标网络层为第一神经网络中的二个以上输出低层特征数据的网络层，例如：第一神经网络中输出低层特征数据的第二至第四个卷积层，且第三神经网络的数量与目标网络层的数量相同，则可以通过第三神经网络中的每一个第三神经网络，分别依据全局特征数据，对第一神经网络的目标网络层中与第三神经网络对应的输出低层特征数据的目标网络层输出的特征数据的分布进行调整。由于在卷积神经网络中输出低层特征数据的每一个网络层都会保留较多的输入输出的邻近关系，所以可以近似认为卷积神经网络每一个网络层输出的每一个通道的特征数据都符合一个混合高斯分布，则可以通过改变混合高斯分布的期望和/或方差，来实现对目标网络层输出的特征数据的分布进行调整。

图2为本申请实施例提供的图像处理方法的另一流程示意图。如图2所示，在该实施例中，步骤104可替换为步骤204，基于当前图像的全局特征数据，生成第一神经网络中目标网络层的平移参数和/或伸缩参数。

在一个可选的例子中，可以通过第三神经网络，根据全局特征数据，只生成对与该第三神经网络对应的目标网络层输出的每一个通道的特征数据的混合高斯分布进行调整的平移量数据。在另一个可选的例子中，可以通过第三神经网络，根据全局特征数据，只生成对与该第三神经网络对应的目标网络层输出的每一个通道的特征数据的混合高斯分布进行调整的伸缩量数据，在又一个可选的例子中，可以通过第三神经网络，根据全局特征数据，同时生成对与该第三神经网络对应的目标网络层输出的每一个通道的特征数据的混合高斯分布进行调整的平移量数据和伸缩量数据。

步骤106可替换为步骤206，根据平移参数，对目标网络层输出的特征数据中每一个通道的特征数据的分布进行平移调整；和/或，根据伸缩参数，对目标网络层输出的特征数据中每一个通道的特征数据的分布进行伸缩调整。

在一个可选的例子中，可以通过第三神经网络，只根据平移参数，基于加法运算分别对与该第三神经网络对应的目标网络层输出的每一个通道的特征数据的混合高斯分布进行平移调整，以改变每一个通道的特征数据的混合高斯分布的期望。在另一个可选的例子中，可以通过第三神经网络，只根据伸缩参数，基于乘法运算分别对与该第三神经网络对应的目标网络层输出的每一个通道的特征数据的混合高斯分布进行伸缩调整，以改变每一个通道的特征数据的混合高斯分布的方差。在又一个可选的例子中，可以通过第三神经网络，同时根据平移参数和伸缩参数，基于加法运算分别对与该第三神经网络对应的目标网络层输出的每一个通道的特征数据的混合高斯分布进行平移调整，并基于乘法运算分别对与该第三神经网络对应的目标网络层输出的每一个通道的特征数据的混合高斯分布进行伸缩调整，以改变每一个通道的特征数据的混合高斯分布的期望和方差。

本申请实施例通过对第一神经网络中输出低层特征数据的目标网络层输出的每一个通道的特征数据的分布进行调整，可以实现对当前图像中每一类特征数据的分布进行调整，从而可以有效保证同类图像具有相似的特征分布。

在本申请的一些实施例中，例如，通过第二神经网络对当前图像的低层特征数据进行处理，得到当前图像的全局特征数据时，当前图像的低层特征数据可以为第一神经网络输出的特征数据。第一神经网络中的目标网络层也可以为第一神经网络中输出低层特征数据的网络层，例如：第一神经网络中的第二至第四个卷积层。可选地，第一神经网络还可以包括输出中层特征数据(Mid-level feature)的网络层和/或输出高层特征数据(Global-level feature)的网络层。可以通过第三神经网络，依据全局特征数据，对第一神经网络中除第一网络层外输出低层特征数据的目标网络层输出的特征数据进行调整。

本申请实施例通过第二神经网络根据第一神经网络输出的低层特征数据获取当前图像的全局特征数据，可以在保证第一神经网络性能得到提升的基础上，进一步减小第二神经网络的规模，节约图像处理的计算和存储资源。

在本申请的一些实施例中，全局特征数据可以包括：形状特征数据和纹理特征数据，其中，形状特征数据可以反映图像中的轮廓等信息，纹理特征数据可以反映图像中的光照和材质等信息。本申请实施例通过第二神经网络获取当前图像的形状特征数据和纹理特征数据，可以帮助第二神经网络获取当前图像更多的信息，从而增强全局特征数据的整体属性，更好指导第二神经网络对第一神经网络中目标网络层输出的特征数据的调整。例如，如果不通过本实施例提供的全局特征数据对目标网络层输出的特征数据进行调整，晚上的猫和玩具，可能因光线问题，材质/轮廓带来的不同在图像上体现的不够充分，使得模型对各部分特征的提取会比较接近；加入本实施例的调整之后，全局特征数据会体现整张图的风格，从而判断出在这个场景下，各局部提取的特征该如何调整才能反应出图片内物体的语义特征。本实施例对纹理特征数据的获取可以通过在训练第二神经网络时增加对纹理特征数据的学习来实现，因此，在通过训练好的第二神经网络依据全局特征数据对第一神经网络中目标网络层输出的特征数据进行调整时，并不需要增加而外的辅助信息，可以通过第二神经网络实现对第一神经网络中目标网络层输出的特征数据的自适应调整。

图3为用于实现本申请一些实施例的图像处理方法的神经网络的结构示意图。如图3所示，该神经网络包括：第一神经网络310、第二神经网络320和两个第三神经网络330，其中，第一神经网络310包括：四个网络模块311、312、313和314。通过第一神经网络710对当前图像进行处理可以得到第一特征数据a，通过第二神经网络320对第一特征数据a进行处理可以得到当前图像的全局特征数据b，依次通过第一神经网络310中的四个网络模块311、312、313和314对第一特征数据a进行处理可以得到当前图像的目标特征数据c，其中，在通过第一神经网络310对第一特征数据a进行处理的过程中，分别通过第三神经网络320依据全局特征数据b对网络模块312输出的特征数据进行调整，通过第三神经网络330依据全局特征数据b对网络模块313输出的特征数据进行调整，最后由网络模块314基于调整后的特征数据得到目标特征数据c。

本申请实施例提供的图像处理方法应用范围广泛，例如：可以应用于待处理图像的形式多样的情况，有效解决属于同一类别的图像可能会获得差异很大的特征表示的问题，也可以应用于场景识别任务，适应多种多样的场景图像，实现对不同天气、光线和角度等情形下拍摄的图像的分类等。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

图4为本申请实施例提供的图像处理装置的一个结构示意图。该实施例的装置可用于实现本申请上述各方法实施例。如图4所示，该实施例的装置包括：

调整参数生成单元41，用于基于当前图像的全局特征数据，生成第一神经网络中目标网络层的网络调整参数。

特征提取单元42，用于基于第一神经网络对当前图像进行特征提取处理，获得目标网络层输出的特征数据。

特征调整单元43，用于基于目标网络层的网络调整参数对目标网络层输出的特征数据进行调整。

结果输出单元44，用于根据目标网络层调整后的特征数据得到当前图像的图像处理结果。

基于本申请实施例提供的图像处理装置，在通过第一神经网络对当前图像进行处理的过程中，利用当前图像的全局特征数据，并依据全局特征数据对第一神经网络中目标网络层输出的特征数据进行调整，使第一神经网络基于调整后的特征数据得到当前图像的图像处理结果，通过获取当前图像的全局特征数据，作为全局信息，来指导对第一神经网络中目标网络层输出的特征数据的调整，可以改变第一神经网络中目标网络层输出的特征数据，使属于同一类别的图像通过第一神经网络可以获得相似的特征表示，可以使所有种类的图像通过第一神经网络均获得很好的特征表示，特别是对于规模较小的网络，可以实现领域自适应的效果，从而提升神经网络的性能。

在本申请的一些实施例中，本申请实施例提供的装置，还包括：

全局特征提取单元，用于通过第二神经网络对当前图像进行特征提取处理，得到当前图像的全局特征数据。

在一些可选的实施例中，特征调整单元43，用于基于目标网络层的网络调整参数，对目标网络层输出的特征数据的分布进行调整。

可选地，目标网络层包括第一神经网络中的至少一个网络层；

调整参数生成单元41，用于基于当前图像的全局特征数据，分别生成目标网络层中每一个网络层的网络调整参数；

特征调整单元43，用于根据目标网络层中每一个网络层的网络调整参数，分别对相应网络层输出的特征数据的分布进行调整。

可选地，特征调整单元43，具体用于基于目标网络层的网络调整参数中的至少部分网络调整参数，分别对目标网络层输出的特征数据中每一个通道的特征数据的分布进行调整。

在本申请的一些实施例中，目标网络层包括第一神经网络中的至少一个浅层网络层。

在本申请的一些实施例中，调整参数生成单元41，具体用于基于当前图像的全局特征数据，生成第一神经网络中目标网络层的平移参数和/或伸缩参数；

特征调整单元43，具体用于根据平移参数，对目标网络层输出的特征数据中每一个通道的特征数据的分布进行平移调整；和/或，根据伸缩参数，对目标网络层输出的特征数据中每一个通道的特征数据的分布进行伸缩调整。

在本申请的一些实施例中，全局特征数据包括：形状特征数据和纹理特征数据。

本申请实施例的另一个方面，还提供了一种电子设备，包括处理器，该处理器包括上述任意一项实施例提供的图像处理装置。

本申请实施例的又一个方面，还提供了一种电子设备，包括：存储器，用于存储可执行指令；

以及处理器，用于与该存储器通信以执行所述可执行指令从而完成上述任意一项实施例提供的图像处理方法。

本申请实施例的还一个方面，还提供了一种计算机存储介质，用于存储计算机可读取的指令，该指令被执行时执行上述任意一项实施例提供的图像处理方法。

本申请实施例的再一个方面，还提供了一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在设备上运行时，该设备中的处理器执行用于实现上述任意一项实施例提供的图像处理方法的指令。

本申请实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图5，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备500的结构示意图：如图5所示，计算机系统500包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)501，和/或一个或多个加速单元513等，加速单元513可包括但不限于GPU、FPGA、其他类型的专用处理器等，处理器可以根据存储在只读存储器(ROM)502中的可执行指令或者从存储部分508加载到随机访问存储器(RAM)503中的可执行指令而执行各种适当的动作和处理。通信部512可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，处理器可与只读存储器502和/或随机访问存储器503中通信以执行可执行指令，通过总线504与通信部512相连、并经通信部512与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，基于当前图像的全局特征数据，生成第一神经网络中目标网络层的网络调整参数；基于第一神经网络对当前图像进行特征提取处理，获得目标网络层输出的特征数据；基于目标网络层的网络调整参数对目标网络层输出的特征数据进行调整；根据目标网络层调整后的特征数据得到当前图像的图像处理结果。

此外，在RAM 503中，还可存储有装置操作所需的各种程序和数据。CPU501、ROM502以及RAM503通过总线504彼此相连。在有RAM503的情况下，ROM502为可选模块。RAM503存储可执行指令，或在运行时向ROM502中写入可执行指令，可执行指令使中央处理单元501执行上述通信方法对应的操作。输入/输出(I/O)接口505也连接至总线504。通信部512可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

需要说明的，如图5所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图5的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如加速单元513和CPU501可分离设置或者可将加速单元513集成在CPU501上，通信部509可分离设置，也可集成设置在CPU501或加速单元513上，等等。这些可替换的实施方式均落入本申请公开的保护范围。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，基于当前图像的全局特征数据，生成第一神经网络中目标网络层的网络调整参数；基于第一神经网络对当前图像进行特征提取处理，获得目标网络层输出的特征数据；基于目标网络层的网络调整参数对目标网络层输出的特征数据进行调整；根据目标网络层调整后的特征数据得到当前图像的图像处理结果。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的方法中限定的上述功能。

在一个或多个可选实施方式中，本申请实施例还提供了一种计算机程序程序产品，用于存储计算机可读指令，该指令被执行时使得计算机执行上述任一可能的实现方式中的方法。

该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选例子中，该计算机程序产品具体体现为计算机存储介质，在另一个可选例子中，该计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。

在一个或多个可选实施方式中，本申请实施例还提供了一种图像处理方法及其对应的装置和电子设备、计算机存储介质、计算机程序以及计算机程序产品，其中，该方法包括：。

在一些实施例中，该图像处理的指示可以具体为调用指令，第一装置可以通过调用的方式指示第二装置执行图像处理，相应地，响应于接收到调用指令，第二装置可以执行上述图像处理方法中的任意实施例中的步骤和/或流程。

应理解，本申请实施例中的“第一”、“第二”等术语仅仅是为了区分，而不应理解成对本申请实施例的限定。

还应理解，在本申请中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本申请中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

还应理解，本申请对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

可能以许多方式来实现本申请的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。

本申请的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本申请的原理和实际应用，并且使本领域的普通技术人员能够理解本申请从而设计适于特定用途的带有各种修改的各种实施例。

Claims (16)

1.一种图像处理方法，其特征在于，包括：

基于当前图像的全局特征数据，生成第一神经网络中目标网络层的网络调整参数；

基于所述第一神经网络对所述当前图像进行特征提取处理，获得所述目标网络层输出的特征数据；

基于所述目标网络层的网络调整参数对所述目标网络层输出的特征数据进行调整；

根据所述目标网络层调整后的特征数据得到所述当前图像的图像处理结果；

所述基于当前图像的全局特征数据，生成第一神经网络中目标网络层的网络调整参数之前，还包括：

通过第二神经网络对所述当前图像进行特征提取处理，得到所述当前图像的全局特征数据；其中，所述第二神经网络为训练好的神经网络，且所述第二神经网络为规模较所述第一神经网络的规模更小的神经网络；

所述基于所述目标网络层的网络调整参数对所述目标网络层输出的特征数据进行调整，包括：

通过第三神经网络，依据所述第二神经网络获取当前图像的全局特征数据，对所述第一神经网络中目标网络层输出的特征数据的特征值进行调整；其中，所述第三神经网络的数量与所述第一神经网络中需要对输出的特征数据进行调整的目标网络层的数量相同。

2.根据权利要求1所述的方法，其特征在于，所述基于所述目标网络层的网络调整参数对所述目标网络层输出的特征数据进行调整，包括：

基于所述目标网络层的网络调整参数，对所述目标网络层输出的特征数据的分布进行调整。

3.根据权利要求2所述的方法，其特征在于，所述目标网络层包括所述第一神经网络中的至少一个网络层；

所述基于当前图像的全局特征数据，生成第一神经网络中目标网络层的网络调整参数，包括：

基于所述当前图像的全局特征数据，分别生成所述目标网络层中每一个网络层的网络调整参数；

所述基于所述目标网络层的网络调整参数，对所述目标网络层输出的特征数据的分布进行调整，包括：

根据所述目标网络层中每一个网络层的网络调整参数，分别对相应所述网络层输出的特征数据的分布进行调整。

4.根据权利要求2或3所述的方法，其特征在于，所述基于所述目标网络层的网络调整参数，对所述目标网络层输出的特征数据的分布进行调整，包括：

基于所述目标网络层的网络调整参数中的至少部分网络调整参数，分别对所述目标网络层输出的特征数据中每一个通道的特征数据的分布进行调整。

5.根据权利要求1至3中任意一项所述的方法，其特征在于，所述目标网络层包括所述第一神经网络中的至少一个浅层网络层。

6.根据权利要求1至3中任意一项所述的方法，其特征在于，所述基于当前图像的全局特征数据，生成第一神经网络中目标网络层的网络调整参数，包括：

基于所述当前图像的全局特征数据，生成所述第一神经网络中目标网络层的平移参数和/或伸缩参数；

所述基于所述目标网络层的网络调整参数对所述目标网络层输出的特征数据进行调整，包括：

根据所述平移参数，对所述目标网络层输出的特征数据中每一个通道的特征数据的分布进行平移调整；和/或，

根据所述伸缩参数，对所述目标网络层输出的特征数据中每一个通道的特征数据的分布进行伸缩调整。

7.根据权利要求1至3中任意一项所述的方法，其特征在于，所述全局特征数据包括：形状特征数据和纹理特征数据。

8.一种图像处理装置，其特征在于，包括：

调整参数生成单元，用于基于当前图像的全局特征数据，生成第一神经网络中目标网络层的网络调整参数；

特征提取单元，用于基于所述第一神经网络对所述当前图像进行特征提取处理，获得所述目标网络层输出的特征数据；

特征调整单元，用于基于所述目标网络层的网络调整参数对所述目标网络层输出的特征数据进行调整；

结果输出单元，用于根据所述目标网络层调整后的特征数据得到所述当前图像的图像处理结果；

所述装置，还包括：全局特征提取单元，用于通过第二神经网络对所述当前图像进行特征提取处理，得到所述当前图像的全局特征数据；其中，所述第二神经网络为训练好的神经网络，且所述第二神经网络为规模较所述第一神经网络的规模更小的神经网络；

所述特征调整单元，还包括用于通过第三神经网络，依据所述第二神经网络获取当前图像的全局特征数据，对所述第一神经网络中目标网络层输出的特征数据的特征值进行调整，其中，所述第三神经网络的数量与所述第一神经网络中需要对输出的特征数据进行调整的目标网络层的数量相同。

9.根据权利要求8所述的装置，其特征在于，所述特征调整单元，用于基于所述目标网络层的网络调整参数，对所述目标网络层输出的特征数据的分布进行调整。

10.根据权利要求9所述的装置，其特征在于，所述目标网络层包括所述第一神经网络中的至少一个网络层；

所述调整参数生成单元，用于基于所述当前图像的全局特征数据，分别生成所述目标网络层中每一个网络层的网络调整参数；

所述特征调整单元，用于根据所述目标网络层中每一个网络层的网络调整参数，分别对相应所述网络层输出的特征数据的分布进行调整。

11.根据权利要求9或10所述的装置，其特征在于，所述特征调整单元，具体用于基于所述目标网络层的网络调整参数中的至少部分网络调整参数，分别对所述目标网络层输出的特征数据中每一个通道的特征数据的分布进行调整。

12.根据权利要求8至10中任意一项所述的装置，其特征在于，所述目标网络层包括所述第一神经网络中的至少一个浅层网络层。

13.根据权利要求8至10中任意一项所述的装置，其特征在于，所述调整参数生成单元，具体用于基于所述当前图像的全局特征数据，生成所述第一神经网络中目标网络层的平移参数和/或伸缩参数；

所述特征调整单元，具体用于根据所述平移参数，对所述目标网络层输出的特征数据中每一个通道的特征数据的分布进行平移调整；和/或，根据所述伸缩参数，对所述目标网络层输出的特征数据中每一个通道的特征数据的分布进行伸缩调整。

14.根据权利要求8至10中任意一项所述的装置，其特征在于，所述全局特征数据包括：形状特征数据和纹理特征数据。

15.一种电子设备，其特征在于，包括：

存储器，用于存储可执行指令；以及

处理器，用于执行所述可执行指令从而完成权利要求1至7中任意一项所述的方法。

16.一种计算机存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时实现权利要求1至7中任意一项所述的方法。

Images