CN111784555A - 图像处理方法、装置及设备 - Google Patents

Abstract

本发明提供一种图像处理方法、装置及设备，可提高对具有一定并行度的应用平台的利用率。该方法包括：获得待处理的目标图像；确定目标图像对应的N个目标特征图；将N个目标特征图输入至神经网络，得到图像处理结果；神经网络包括N个特征处理子网络和图像处理子网络；N个特征处理子网络对目标特征图进行处理并输出特征处理结果至图像处理子网络；N个特征处理子网络中的至少一个包括分组卷积层，每一分组卷积层包括多个并联的卷积层、且各卷积层对应的输入通道数相同；N个特征处理子网络对应的输入通道数相同、且由一个分组卷积层对应的输入通道数确定；图像处理子网络用于对输入的特征处理结果进行图像处理得到图像处理结果。

Description

图像处理方法、装置及设备

技术领域

本发明涉及机器学习技术领域，尤其涉及的是一种图像处理方法、装置及设备。

背景技术

机器学习可以用于实现图像处理，包括目标检测(Object Detection)、图像分类(Image Classification)、图像识别等方面。这些方面中，一般都会涉及到通过卷积层进行特征提取的操作，而这一操作会影响神经网络的性能。为了进一步提升神经网络的性能，通常会增加卷积层(下面将其称为常规卷积层)的层数(深度)与通道数(宽度)。但是，伴随着常规卷积层的层数与通道数越来越大，神经网络的计算量和参数量也越来越大，这让神经网络在AI(人工智能)芯片等硬件平台上的部署成为瓶颈。

为了降低计算开销，相关方式中，在神经网络中采用Depthwise(深度)卷积层替换常规卷积层，不同于常规卷积时通道间的强相关性(每个卷积核会依赖于之前的所有通道处理结果)，Depthwise是一个卷积核负责一个通道子图，即特征图中的一个通道子图只被一个卷积核执行卷积，所以所需的计算量和参数量都会减少。

但是，上述方式应用到具有一定并行度的应用平台时，以应用于AI芯片为例，AI芯片的每个逻辑单元是支持多通道并行处理的，由于Depthwise是一个卷积核负责一个通道，所以每次卷积操作都只利用了逻辑单元中一个通道的处理资源，浪费了其他通道的处理资源。因此，上述方式中，对可多通道并行处理的应用平台的利用率较低，导致整体的执行效率也较低。

发明内容

有鉴于此，本发明提供一种图像处理方法、装置及设备，可提高对具有一定并行度的应用平台的利用率。

本发明第一方面提供一种图像处理方法，应用于电子设备，该方法包括：

获得待处理的目标图像；

确定所述目标图像对应的N个目标特征图，不同目标特征图包含的通道子图的数量K相同，N大于1；

将所述N个目标特征图输入至已训练的神经网络，得到图像处理结果；所述神经网络包括N个特征处理子网络和图像处理子网络；

所述N个特征处理子网络对输入的目标特征图进行处理并输出特征处理结果至所述神经网络中的图像处理子网络；所述N个特征处理子网络中的至少一个包括至少一个分组卷积层，每一分组卷积层包括多个并联的卷积层、且各卷积层对应的输入通道数相同；所述N个特征处理子网络对应的输入通道数相同；所述N个特征处理子网络对应的输入通道数由一个分组卷积层对应的输入通道数确定，一个分组卷积层对应的输入通道数为一个分组卷积层包含的所有卷积层所对应的输入通道总数；

所述图像处理子网络用于对输入的特征处理结果进行图像处理得到所述图像处理结果。

根据本发明的一个实施例，所述神经网络还包括：第一特征图子网络和第二特征图子网络，所述第一特征图子网络用于对所述目标图像进行处理得到所述目标图像对应的一个特征图；所述第二特征图子网络用于对所述第一特征图子网络得到的一个特征图进行处理得到N个目标特征图；

所述确定所述目标图像对应的N个目标特征图包括：

将所述目标图像输入至所述神经网络中的第一特征图子网络得到一个特征图，并输出至所述神经网络中的第二特征图子网络，得到所述N个目标特征图。

根据本发明的一个实施例，所述第二特征图子网络对所述第一特征图子网络得到的一个特征图分离成N个特征图，得到所述N个目标特征图，每一目标特征图包含的通道子图的数量为所述第一特征图子网络得到的一个特征图所包含的通道子图的数量的1/N；或者，

所述第二特征图子网络对所述第一特征图子网络得到的一个特征图进行拷贝N-1份，将拷贝得到的N-1个特征图和所述第一特征图子网络得到的一个特征图确定为所述N个目标特征图。

根据本发明的一个实施例，所述N个特征处理子网络中不同特征处理子网络包括的分组卷积层的数量相同或不同；和/或，

所述N个特征处理子网络中至少一个特征处理子网络不存在任一分组卷积层。

根据本发明的一个实施例，所述图像处理子网络包括：通道合并层、通道重排层、图像处理层；

所述通道合并层，用于按照设定的通道合并原则将来自所述N个特征处理子网络输出的N个特征处理结果进行通道合并，得到通道合并图；

所述通道重排层，用于将所述通道合并图所包括的通道子图进行分组得到多个通道子图组，同一通道子图组包括的通道子图属于同一特征处理结果，按照设定的重排方式对多个通道子图组中的通道子图进行重排，得到重排特征图；

所述图像处理层，用于依据设定的图像处理方式对所述重排特征图进行处理得到图像处理结果。

根据本发明的一个实施例，

所述设定的重排方式为相邻两个通道子图组关联不同的特征处理结果，通道子图组关联的特征处理结果为通道子图组中通道子图所属的特征处理结果。

本发明第二方面提供一种图像处理装置，应用于电子设备，该装置包括：

图像获得模块，用于获得待处理的目标图像；

目标特征图确定模块，用于确定所述目标图像对应的N个目标特征图，不同目标特征图包含的通道子图的数量K相同，N大于1；

图像处理模块，用于将所述N个目标特征图输入至已训练的神经网络，得到图像处理结果；所述神经网络包括N个特征处理子网络和图像处理子网络；

所述N个特征处理子网络对输入的目标特征图进行处理并输出特征处理结果至所述神经网络中的图像处理子网络；所述N个特征处理子网络中的至少一个包括至少一个分组卷积层，每一分组卷积层包括多个并联的卷积层、且各卷积层对应的输入通道数相同；所述N个特征处理子网络对应的输入通道数相同；所述N个特征处理子网络对应的输入通道数由一个分组卷积层对应的输入通道数确定，一个分组卷积层对应的输入通道数为一个分组卷积层包含的所有卷积层所对应的输入通道总数；

所述图像处理子网络用于对输入的特征处理结果进行图像处理得到所述图像处理结果。

根据本发明的一个实施例，所述神经网络还包括：第一特征图子网络和第二特征图子网络，所述第一特征图子网络用于对所述目标图像进行处理得到所述目标图像对应的一个特征图；所述第二特征图子网络用于对所述第一特征图子网络得到的一个特征图进行处理得到N个目标特征图；

所述目标特征图确定模块确定所述目标图像对应的N个目标特征图时，具体用于：

将所述目标图像输入至所述神经网络中的第一特征图子网络得到一个特征图，并输出至所述神经网络中的第二特征图子网络，得到所述N个目标特征图。

根据本发明的一个实施例，所述第二特征图子网络对所述第一特征图子网络得到的一个特征图分离成N个特征图，得到所述N个目标特征图，每一目标特征图包含的通道子图的数量为所述第一特征图子网络得到的一个特征图所包含的通道子图的数量的1/N；或者，

所述第二特征图子网络对所述第一特征图子网络得到的一个特征图进行拷贝N-1份，将拷贝得到的N-1个特征图和所述第一特征图子网络得到的一个特征图确定为所述N个目标特征图。

根据本发明的一个实施例，所述N个特征处理子网络中不同特征处理子网络包括的分组卷积层的数量相同或不同；和/或，

所述N个特征处理子网络中至少一个特征处理子网络不存在任一分组卷积层。

根据本发明的一个实施例，所述图像处理子网络包括：通道合并层、通道重排层、图像处理层；

所述通道合并层，用于按照设定的通道合并原则将来自所述N个特征处理子网络输出的N个特征处理结果进行通道合并，得到通道合并图；

所述通道重排层，用于将所述通道合并图所包括的通道子图进行分组得到多个通道子图组，同一通道子图组包括的通道子图属于同一特征处理结果，按照设定的重排方式对多个通道子图组中的通道子图进行重排，得到重排特征图；

所述图像处理层，用于依据设定的图像处理方式对所述重排特征图进行处理得到图像处理结果。

根据本发明的一个实施例，

所述设定的重排方式为相邻两个通道子图组关联不同的特征处理结果，通道子图组关联的特征处理结果为通道子图组中通道子图所属的特征处理结果。

本发明第三方面提供一种电子设备，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如前述实施例所述的图像处理方法。

本发明第四方面提供一种机器可读存储介质，其上存储有程序，该程序被处理器执行时，实现如前述实施例中所述的图像处理方法。

本发明实施例具有以下有益效果：

本发明实施例中，神经网络包括N个特征处理子网络，用于对目标特征图进行处理得到特征处理结果，N个特征处理子网络中的至少一个包括至少一个分组卷积层，每一分组卷积层包括多个并联的卷积层，分组卷积层中各个卷积层可以各自负责不同的通道，而且每个卷积层可以负责多个通道，从而在具有一定并行度的应用平台如AI芯片上时，每个卷积层可以利用逻辑单元中的多个通道资源，相比于Depthwise而言，可充分发挥应用平台的并行度，提升了对应用平台的利用率，整体的执行效率也较高，每一分组卷积层中各卷积层对应的输入通道数相同，也可使得不同逻辑单元的处理数据模式更加一致。

此外，神经网络包含多个(N大于1)特征处理子网络，这些特征处理子网络不同的情况下，抽象能力也会不同，可以从目标特征图中提取出不同层次的特征，更有利于提升神经网络的性能。

附图说明

图1是本发明一实施例的图像处理方法的流程示意图；

图2是本发明一实施例的神经网络的结构框图；

图3是本发明一实施例的更具体的一种神经网络的结构框图；

图4是本发明一实施例的更具体的另一种神经网络的结构框图；

图5是本发明一实施例的通道合并与通道重排的示意图；

图6是本发明一实施例的图像处理装置的结构框图；

图7是本发明一实施例的电子设备的结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种器件，但这些信息不应限于这些术语。这些术语仅用来将同一类型的器件彼此区分开。例如，在不脱离本发明范围的情况下，第一器件也可以被称为第二器件，类似地，第二器件也可以被称为第一器件。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

相关方式中，神经网络中的3x3卷积均采用Depthwise，如此，每个卷积核的参数量只需应对特征图中一个通道子图即可，这样相比于常规卷积操作来说，整个网络的参数量和计算量可以大大减小。

但是，也正是如此，AI芯片中的一个逻辑单元在基于卷积核执行卷积处理时，只能针对一个通道子图进行卷积，假设一个特征图有64个通道子图，即使AI芯片有8个逻辑单元，也要各个逻辑单元分别执行8次才可能完成一个特征图的卷积处理。然而，AI芯片是具有一定并行度的芯片，一个逻辑单元有能力针对多个通道子图(一般有8个，具体不限于此)进行卷积处理。上述方式中，未能充分利用AI芯片的各逻辑单元的并行处理能力，对AI芯片的利用率较低，处理效率也很低；而且，神经网络中的3x3卷积均采用Depthwise实现，会导致不同通道间的特征相关程度较低，影响网络输出结果的精准度。

本发明实施例中，神经网络包括N个特征处理子网络，用于对目标特征图进行处理得到特征处理结果，N个特征处理子网络中的至少一个包括至少一个分组卷积层(GroupConvolution)，每一分组卷积层包括多个并联的卷积层，分组卷积层中各个卷积层可以各自负责不同的通道，而且每个卷积层可以负责多个通道，从而在具有一定并行度的应用平台如AI芯片上时，每个卷积层可以利用逻辑单元中的多个通道资源，相比于Depthwise而言，可充分发挥应用平台的并行度，提升了对应用平台的利用率，整体的执行效率也较高，每一分组卷积层中各卷积层对应的输入通道数相同，也可使得不同逻辑单元的处理数据模式更加一致。

此外，神经网络包含多个(N大于1)特征处理子网络，这些特征处理子网络不同的情况下，抽象能力也会不同，可以从目标特征图中提取出不同层次的特征，更有利于提升神经网络的性能。

优选来说，不同分组卷积层中的卷积层的输入通道数也均相同，进一步使得应用平台中不同逻辑单元的处理数据模式更加一致，有利于提高应用平台的资源利用率。

本发明实施例可以应用在需要进行目标检测、目标分类、目标识别等场景中，具体的比如有：需进行车辆检测或车牌识别等的交通场景，需进行人脸识别、指纹识别等的门禁场景中，周界防范、小区监控、园区监控等需要进行目标(如行人)检测的监控场景中等等，具体应用场景不限。

下面对本发明实施例的图像处理方法进行更具体的描述，但不应以此为限。

在一个实施例中，图像处理方法应用于电子设备，参看图1，该方法可以包括以下步骤：

S100：获得待处理的目标图像；

S200：确定所述目标图像对应的N个目标特征图，不同目标特征图包含的通道子图的数量K相同，N大于1；

S300：将所述N个目标特征图输入至已训练的神经网络，得到图像处理结果；所述神经网络包括N个特征处理子网络和图像处理子网络；所述N个特征处理子网络对输入的目标特征图进行处理并输出特征处理结果至所述神经网络中的图像处理子网络；所述N个特征处理子网络中的至少一个包括至少一个分组卷积层，每一分组卷积层包括多个并联的卷积层、且各卷积层对应的输入通道数相同；所述N个特征处理子网络对应的输入通道数相同；所述N个特征处理子网络对应的输入通道数由一个分组卷积层对应的输入通道数确定，一个分组卷积层对应的输入通道数为一个分组卷积层包含的所有卷积层所对应的输入通道总数；所述图像处理子网络用于对输入的特征处理结果进行图像处理得到所述图像处理结果。

本发明实施例中，图像处理方法的执行主体为电子设备，电子设备可以是计算机设备、移动终端、成像设备等，具体类型不做限定，只要是具有一定图像处理能力的设备即可。

优选来说，电子设备中可以包含具有一定并行度的芯片如AI芯片，可以由AI芯片来实现图像处理方法，其中，上述的神经网络可以设置在电子设备或外部设备中，AI芯片可以调用该神经网络来实现上述的步骤S300，当然，具体不限于此。

步骤S100中，获得待处理的目标图像。

目标图像可以是电子设备中已保存的图像，可以从本地已保存的图像中获得。或者，在电子设备为成像设备的情况下，目标图像可以由电子设备采集获得。或者，在电子设备为其他设备的情况下，目标图像可以是由电子设备相连接的成像设备采集后发送给电子设备。当然，目标图像的获得方式并不作为限制。

目标图像中可以包含目标对象，目标对象的具体类型不限，比如可以为行人、车辆、车牌、人脸、指纹、文字等等。当然，目标图像中也可以不包含目标对象，这具体取决于进行图像处理的目的，比如仅仅希望增强图像质量的情况下，目标图像中也可以不包含目标对象。在下面的实施例内容中，以目标图像中包含目标对象为例展开说明，但不应以此为限。

步骤S200中，确定所述目标图像对应的N个目标特征图，不同目标特征图包含的通道子图的数量K相同，N大于1。

N个目标特征图可以从目标图像中得到。可以由上述的神经网络来确定所述目标图像对应的N个目标特征图，即，可将目标图像输入至该神经网络中，以由该神经网络确定所述目标图像对应的N个目标特征图。

当然，N个目标特征图的确定方式不限于上述方式，也可以采用其他方式确定，比如利用已有的特征提取算法来从目标图像中提取得到，特征提取算法比如包括Harris(角点检测)、SIFT(尺度不变特征变换)、SURF(加速稳健特征)、HOG(方向梯度直方图)等算法，具体不做限定。

N大于1，比如可以取值为2、3、4等，具体取值不限，神经网络有多少个特征处理子网络，便需要多少个目标特征图。N个目标特征图可以不同，也可以相同。

不同目标特征图包含的通道子图的数量K相同，K的取值不做限定。优选来说K为偶数，比如可以取值为16、32、64等。

步骤S300中，将所述N个目标特征图输入至已训练的神经网络，得到图像处理结果。

所述神经网络包括N个特征处理子网络和图像处理子网络。所述N个特征处理子网络对输入的目标特征图进行处理并输出特征处理结果至所述神经网络中的图像处理子网络。所述图像处理子网络用于对输入的特征处理结果进行图像处理得到所述图像处理结果。

N个目标特征图在输入至神经网络中时，具体是分别输入至N个特征处理子网络，以由N个特征处理子网络分别对N个目标特征图进行处理得到N个特征处理结果。因而，在此情况下，目标特征图包含的通道子图的数量K与一个特征子网络对应的输入通道数相同。

图像处理子网络对输入的N个特征处理结果进行图像处理得到图像处理结果，图像处理结果可以包括：目标检测结果、分类结果、目标识别结果等，可根据需要对神经网络进行训练来实现，具体不做限定。比如，在需要进行目标检测时，图像处理结果可以包括从目标图像中检测出的目标对象的位置信息，当然还可以包括其他信息，比如置信度等。

本发明实施例中，N个特征处理子网络中的至少一个包括至少一个分组卷积层，每一分组卷积层包括多个并联的卷积层、且各卷积层对应的输入通道数相同。换言之，N个特征处理子网络可以均包含有至少一个分组卷积层；或者，N个特征处理子网络中也可以有部分不存在分组卷积层、部分包含分组卷积层，具体不做限定，只要N个特征处理子网络互不相同即可，这不同可以体现在分组卷积层的不同，也可以体现在其他层(比如其他类型的卷积层)的不同。以N为2为例，2个特征处理子网络可以均包含分组卷积层，当然包含的分组卷积层数量可以相同或不同，或者，2个特征处理子网络中一个包含分组卷积层，另一个不包含分组卷积层。

N个特征处理子网络对应的输入通道数相同、且由一个分组卷积层对应的输入通道数确定，比如每个特征处理子网络对应的输入通道数都等于一个分组卷积层对应的输入通道数，当然具体不作限定，在特征处理子网络还包括其他卷积层时，特征处理子网络对应的输入通道数也可以不等于一个分组卷积层对应的输入通道数，只要在输入分组卷积层时有分组卷积层对应的输入通道数的通道子图即可。

其中，一个分组卷积层对应的输入通道数为一个分组卷积层包含的所有卷积层所对应的输入通道总数，这里的输入通道指的是卷积层中可输入通道子图的通道，比如，一个分组卷积层有8个卷积层，一个卷积层对应8个输入通道，则分组卷积层对应的输入通道数为64。

相比于常规卷积层而言，分组卷积层可以大大减少执行卷积处理所需的参数量，下面通过举例，比较一下常规卷积层与分组卷积层执行卷积处理所需的参数量。

假设一个目标特征图的尺寸为C*H*W(C为通道数、H为高度、W为宽度)，常规卷积层与分组卷积层的卷积核均有N1个，输出的通道子图数量与卷积核的数量相同也是N1，则：

常规卷积层中，每个卷积核需要对输入的特征图的C个通道子图执行卷积，因而，每个卷积核的尺寸为C*K1*K1，N个卷积核的总参数量为N*C*K1*K1。

分组卷积层顾名思义，就是对输入的特征图进行分组，得到多组通道子图，然后不同卷积层对不同组通道子图分别执行卷积处理，相互之间不影响。如果设定要分成G个组，则每组通道子图的数量为C/G，每组输出的通道子图数量需为N1/G，则每组通道子图所输入的卷积层的卷积核数量需为N1/G，每个卷积核的尺寸为(C/G)*K1*K1，分组卷积层的所有卷积核的总数仍为N1个，由于每个卷积核只对一组通道子图进行卷积，因此，卷积核的总参数量为N1*(C/G)*K1*K1。

通过上述例子可见，在输入的通道子图数量及输出的通道子图数量均相同的情况下，相比而言，分组卷积层的总参数量只为常规卷积层的1/G。因此，本发明实施例中，特征处理子网络中采用分组卷积层，相比于采用常规卷积层而言，可以大大减少整个网络所需的参数量。

而且，由于分组卷积层中各个卷积层各自负责多个不同的通道子图的卷积处理，以应用于AI芯片为例，每个卷积层可以利用逻辑单元中的多个通道资源，相比于Depthwise卷积而言，对AI芯片的利用率更高。

每个分组卷积层中各卷积层对应的输入通道数M相同，输入通道数M可以根据应用平台的并行度决定，比如AI芯片中，每个逻辑单元可以并行地对8个通道子图进行卷积操作，则M可以为8，每个逻辑单元可以利用分组卷积层中的一个卷积层对输入的8个通道子图进行卷积操作，充分利用逻辑单元的通道处理资源，且不同逻辑单元的处理数据模式基本一致。当然，上述只是以AI芯片为例的，对于其他不同计算规格的芯片来说，可以通过整体调整M，将上述的神经网络快速适配到相应的芯片中。

分组卷积层的分组数(即卷积层个数)可以在确定上述M、以及分组卷积层的总通道数C的情况下确定，分组卷积层的分组数为C/8。

上述的神经网络可以用于实现目标检测、图像分类、图像识别等功能。以图像识别为例，可以将包含待识别的目标对象的目标图像输入至已训练的神经网络中，由神经网络识别目标图像中的目标对象，得到识别出的对象信息。

在一个实施例中，所述神经网络还包括：第一特征图子网络和第二特征图子网络，所述第一特征图子网络用于对所述目标图像进行处理得到所述目标图像对应的一个特征图；所述第二特征图子网络用于对所述第一特征图子网络得到的一个特征图进行处理得到N个目标特征图。

相应的，在步骤S200中，所述确定所述目标图像对应的N个目标特征图，可以包括：

将所述目标图像输入至所述神经网络中的第一特征图子网络得到一个特征图，并输出至所述神经网络中的第二特征图子网络，得到所述N个目标特征图。

参看图2，以N为2为例，神经网络200可以包括第一特征图子网络201、第二特征图子网络202、特征处理子网络2031、特征处理子网络2032和图像处理子网络204。将目标图像输入神经网络200后，第一特征图子网络201对输入目标图像的进行处理(这里的处理可包括特征提取)得到目标图像对应的一个特征图；第二特征图子网络202对第一特征图子网络201得到的一个特征图进行处理得到两个目标特征图，分别将两个目标特征图输出至特征处理子网络2031和特征处理子网络2032；特征处理子网络2031对输入的一个目标特征图进行处理并输出特征处理结果至图像处理子网络204；特征处理子网络2032对输入的一个目标特征图进行处理并输出特征处理结果至图像处理子网络204；图像处理子网络204对输入的特征处理结果进行图像处理得到所述图像处理结果。

可以理解，上述只是以N为2举例来说的，实际N也可以为其他值，相应的，目标特征图以及特征处理子网络的数量随之变化，具体不再赘述。

可选的，第一特征图子网络可以由至少一个卷积层构成，这里的卷积层可以包括分组卷积层，也可以包括其他类型的卷积层，只要可实现对目标图像的处理以得到一个特征图即可。当然，第一特征图子网络还可以包括其他层，比如池化层、激活层等，具体不做限定。

在一个实施例中，所述第二特征图子网络对所述第一特征图子网络得到的一个特征图分离成N个特征图，得到所述N个目标特征图，每一目标特征图包含的通道子图的数量为所述第一特征图子网络得到的一个特征图所包含的通道子图的数量的1/N。

以N为2为例，第二特征图子网络将输入的一个特征图分离成2个特征图，得到2个目标特征图，目标特征图包含的通道子图的数量为该特征图所包含的通道子图的数量的1/2。

比如，第一特征图子网络得到的一个特征图包含32个通道子图，经第二特征图子网络进行通道分离后，第1-16个通道子图作为一个目标特征图，第17-32个通道子图作为另一个目标特征图，具体分离方式不限，并不一定要按照上述顺序进行分离。

可以理解，这里特征图包含的通道子图的数量只是举例，实际也可以是其他数量，比如可以为64、128等，具体不做限定，可视N的取值、以及特征处理子网对应的输入通道数量而定。

在一个实施例中，所述第二特征图子网络对所述第一特征图子网络得到的一个特征图进行拷贝N-1份，将拷贝得到的N-1个特征图和所述第一特征图子网络得到的一个特征图确定为所述N个目标特征图。

本实施例中，特征图不再进行通道分离，而是通过拷贝特征图得到更多的特征图。以N为2为例，第二特征图子网络对第一特征图子网络得到的一个特征图进行拷贝1份，得到拷贝的1个特征图，将拷贝得到的1个特征图与第一特征图子网络得到的一个特征图作为2个目标特征图，两个目标特征图相同，包含的通道子图的数量也是相同的。

比如，第一特征图子网络得到的一个特征图包含32个通道子图，经第二特征图子网络拷贝1份后，得到一个同样包含32个通道子图的特征图，将这两个包含32个通道子图的特征图作为两个目标特征图。

可以理解，上述两种方式只是第二特征子网络基于一个特征图确定N个目标特征图的两种优选方式，并不作为限制。

在一个实施例中，所述N个特征处理子网络中不同特征处理子网络包括的分组卷积层的数量相同或不同；和/或，

所述N个特征处理子网络中至少一个特征处理子网络不存在任一分组卷积层。

N个特征处理子网络是不同的，不同之处可以为分组卷积层的数量不同和/或其他层的数量不同。

继续以N为2为例，比如，一个特征处理子网络中包含两个以上的分组卷积层，而另一个特征处理子网络包含的分组卷积层的数量少于该一个特征处理子网络包含的分组卷积层的数量，如包含1个或0个(0个即不存在任一分组卷积层)；又如，一个特征处理子网络包含1个分组卷积层，但包含2个以上其他卷积层(非分组卷积层)，另一个特征处理子网络也包含1个分组卷积层，但包含的其他卷积层的数量少于该一个特征处理子网络包含的其他卷积层的数量，等等。

下面继续以N为2为例，给出两种2个特征处理子网络的结构：

第一，参看图3，特征处理子网络2031不存在任一卷积层(包括分组卷积层和其他卷积层)，不对目标特征图进行任何操作(即shortcut)，不带来任何计算量和参数量，可以进一步降低神经网络的计算量和参数量；特征处理子网络2032可以包含级联的4个卷积层，卷积核的大小分别为3x3、1x1、3x3、1x1，其中，卷积核大小为3x3的卷积层可以采用分组卷积层。

当然，特征处理子网络2032也不限于此，还可以增加或减少卷积层，比如特征处理子网络2032也可以只包括一个卷积核大小3x3的分组卷积层、及一个卷积核大小1x1的卷积层。可以理解，分组卷积层的卷积核大小也不局限于3x3。

该例子中，由于特征处理子网络2031不做处理，而特征处理子网络2032进行进一步的特征提取处理，所以特征处理子网络2031和特征处理子网络2032的抽象能力不同，输出的特征处理结果也不同，图像处理子网络204基于特征处理子网络2031和特征处理子网络2032输出的特征处理结果，可以更有利于图像的处理比如确定目标对象的相关信息，提升神经网络的性能。

第二，参看图4，特征处理子网络2031包含级联的2个卷积层，卷积核的大小分别为3x3、1x1；特征处理子网络2032包括级联的3个卷积层，卷积核的大小分别为1x1、3x3、1x1；其中，卷积核为3x3的卷积层可以采用分组卷积层。

当然，特征处理子网络2031和特征处理子网络2032也不限于此，还可以增加或减少分组卷积层、其他卷积层、和/或其他类型的处理层(如池化层等)。

该例子中，特征处理子网络2031和特征处理子网络2032仍是不同的，输出的特征处理结果也不同，图像处理子网络204基于特征处理子网络2031和特征处理子网络2032输出的特征处理结果，可以更有利于图像的处理比如确定目标对象的相关信息，提升神经网络的性能。

在一个实施例中，所述图像处理子网络包括：通道合并层、通道重排层、图像处理层。所述通道合并层，用于按照设定的通道合并原则将来自所述N个特征处理子网络输出的N个特征处理结果进行通道合并，得到通道合并图。所述通道重排层，用于将所述通道合并图所包括的通道子图进行分组得到多个通道子图组，同一通道子图组包括的通道子图属于同一特征处理结果，按照设定的重排方式对多个通道子图组中的通道子图进行重排，得到重排特征图。所述图像处理层，用于依据设定的图像处理方式对所述重排特征图进行处理得到图像处理结果。

N个特征处理子网络输出的N个特征处理结果可以是包含多个通道子图的特征图，且N个特征处理结果包含的通道子图的数量可以相同。

继续以N为2为例，参看图3和图4，通道合并层2041可以按照设定的通道合并原则将两个特征处理结果进行合并，得到通道合并图。举例来说，假设每个特征处理结果包含32个通道子图，则通道合并层2041合并所得的通道合并图包含64个通道子图。

优选来说，在输入特征子网络的特征图是通过分离手段获得的情况下，为了在后续通道重排时可以得到更充分的混合，同时为了避免在多个如图3或者图4包含的2个特征子网络的结构发生堆叠时，最左边的几个通道子图和最右边的几个通道子图无法和其他通道子图进行信息融合的问题，上述的通道合并原则可以为：按照排序序号由小至大的顺序进行通道合并，其中，特征处理子网络中输入的目标特征图在分离前的特征图中越靠前，其输出的特征处理结果在进行通道合并时的排序序号越大。当然，上述的通道合并原则并不作为限制。

为了使得特征可以充分混合，以提升最终的图像处理结果的准确性，在通道合并完成后，还需进行通道重排。

可选的，所述设定的重排方式为相邻两个通道子图组关联不同的特征处理结果，通道子图组关联的特征处理结果为通道子图组中通道子图所属的特征处理结果。

继续以N为2为例，参看图3和图4，通道重排层2042将所述通道合并图所包括的通道子图进行分组得到多个通道子图组，比如分成的每个通道子图组中包含的通道子图数为分组卷积层中每个卷积层的输入通道数M，同一通道子图组包括的通道子图属于同一特征处理结果，按照设定的重排方式对多个通道子图组中的通道子图进行重排，得到重排特征图。

举例来说，参看图5，以分组卷积层中每个卷积层的输入通道数M为8为例，假设通道合并图有64个通道子图，其中包括32个第一通道子图和32个第二通道子图，第一通道子图来自特征处理子网络2032输出的特征处理结果A2，第二通道子图来自特征处理子网络2031输出的特征处理结果A1，将64个通道子图进行分组，得到4个包含8个第一通道子图的第一通道子图组、及4个包含8个第二通道子图的第二通道子图组(这里的8是由分组卷积层中每个卷积层的输入通道数决定的)，将分组后的通道子图组进行通道重排，包含交替排布的第一通道子图组和第二通道子图组的重排特征图。

上述方式中，以多个通道子图为一个小组的通道重排方案，可以使得神经网络更加适配芯片的运算过程。

可以理解，上述的重排方式只是优选的方式，实际当然还可以有其他的重排方式，只要能够使得特征可以得到一定程度的混合即可，在此不再赘述。

继续参看图3和图4，图像处理层2043依据设定的图像处理方式对所述重排特征图进行处理得到图像处理结果。比如，图像处理层2043依据设定的目标识别方式对重排特征图进行处理，以识别出目标图像中的目标对象；又如图像处理层2043依据设定的目标检测方式对重排特征图进行处理，以检测出目标图像中的目标对象，等等。

本发明还提供一种图像处理装置，应用于电子设备，参看图6，该图像处理装置100包括：

图像获得模块101，用于获得待处理的目标图像；

目标特征图确定模块102，用于确定所述目标图像对应的N个目标特征图，不同目标特征图包含的通道子图的数量K相同，N大于1；

图像处理模块103，用于将所述N个目标特征图输入至已训练的神经网络，得到图像处理结果；所述神经网络包括N个特征处理子网络和图像处理子网络；

所述N个特征处理子网络对输入的目标特征图进行处理并输出特征处理结果至所述神经网络中的图像处理子网络；所述N个特征处理子网络中的至少一个包括至少一个分组卷积层，每一分组卷积层包括多个并联的卷积层、且各卷积层对应的输入通道数相同；所述N个特征处理子网络对应的输入通道数相同；所述N个特征处理子网络对应的输入通道数由一个分组卷积层对应的输入通道数确定，一个分组卷积层对应的输入通道数为一个分组卷积层包含的所有卷积层所对应的输入通道总数；

所述图像处理子网络用于对输入的特征处理结果进行图像处理得到所述图像处理结果。

在一个实施例中，所述神经网络还包括：第一特征图子网络和第二特征图子网络，所述第一特征图子网络用于对所述目标图像进行处理得到所述目标图像对应的一个特征图；所述第二特征图子网络用于对所述第一特征图子网络得到的一个特征图进行处理得到N个目标特征图；

所述目标特征图确定模块确定所述目标图像对应的N个目标特征图时，具体用于：

将所述目标图像输入至所述神经网络中的第一特征图子网络得到一个特征图，并输出至所述神经网络中的第二特征图子网络，得到所述N个目标特征图。

在一个实施例中，所述第二特征图子网络对所述第一特征图子网络得到的一个特征图分离成N个特征图，得到所述N个目标特征图，每一目标特征图包含的通道子图的数量为所述第一特征图子网络得到的一个特征图所包含的通道子图的数量的1/N；或者，

所述第二特征图子网络对所述第一特征图子网络得到的一个特征图进行拷贝N-1份，将拷贝得到的N-1个特征图和所述第一特征图子网络得到的一个特征图确定为所述N个目标特征图。

在一个实施例中，所述N个特征处理子网络中不同特征处理子网络包括的分组卷积层的数量相同或不同；和/或，

所述N个特征处理子网络中至少一个特征处理子网络不存在任一分组卷积层。

在一个实施例中，所述图像处理子网络包括：通道合并层、通道重排层、图像处理层；

所述通道合并层，用于按照设定的通道合并原则将来自所述N个特征处理子网络输出的N个特征处理结果进行通道合并，得到通道合并图；

所述通道重排层，用于将所述通道合并图所包括的通道子图进行分组得到多个通道子图组，同一通道子图组包括的通道子图属于同一特征处理结果，按照设定的重排方式对多个通道子图组中的通道子图进行重排，得到重排特征图；

所述图像处理层，用于依据设定的图像处理方式对所述重排特征图进行处理得到图像处理结果。

在一个实施例中，

所述设定的重排方式为相邻两个通道子图组关联不同的特征处理结果，通道子图组关联的特征处理结果为通道子图组中通道子图所属的特征处理结果。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元。

本发明还提供一种电子设备，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如前述实施例中所述的图像处理方法。

本发明图像处理装置的实施例可以应用在电子设备上。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图7所示，图7是本发明根据一示例性实施例示出的图像处理装置100所在电子设备的一种硬件结构图，除了图7所示的处理器510、内存530、接口520、以及非易失性存储器540之外，实施例中装置100所在的电子设备通常根据该电子采集设备的实际功能，还可以包括其他硬件，对此不再赘述。

本发明还提供一种机器可读存储介质，其上存储有程序，该程序被处理器执行时，实现如前述实施例中所述的图像处理方法。

本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。机器可读存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。机器可读存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (9)

1.一种图像处理方法，其特征在于，应用于电子设备，该方法包括：

获得待处理的目标图像；

确定所述目标图像对应的N个目标特征图，不同目标特征图包含的通道子图的数量K相同，N大于1；

将所述N个目标特征图输入至已训练的神经网络，得到图像处理结果；所述神经网络包括N个特征处理子网络和图像处理子网络；

所述N个特征处理子网络对输入的目标特征图进行处理并输出特征处理结果至所述神经网络中的图像处理子网络；所述N个特征处理子网络中的至少一个包括至少一个分组卷积层，每一分组卷积层包括多个并联的卷积层、且各卷积层对应的输入通道数相同；所述N个特征处理子网络对应的输入通道数相同；所述N个特征处理子网络对应的输入通道数由一个分组卷积层对应的输入通道数确定，一个分组卷积层对应的输入通道数为一个分组卷积层包含的所有卷积层所对应的输入通道总数；

所述图像处理子网络用于对输入的特征处理结果进行图像处理得到所述图像处理结果。

2.如权利要求1所述的图像处理方法，其特征在于，所述神经网络还包括：第一特征图子网络和第二特征图子网络，所述第一特征图子网络用于对所述目标图像进行处理得到所述目标图像对应的一个特征图；所述第二特征图子网络用于对所述第一特征图子网络得到的一个特征图进行处理得到N个目标特征图；

所述确定所述目标图像对应的N个目标特征图包括：

将所述目标图像输入至所述神经网络中的第一特征图子网络得到一个特征图，并输出至所述神经网络中的第二特征图子网络，得到所述N个目标特征图。

3.如权利要求2所述的图像处理方法，其特征在于，所述第二特征图子网络对所述第一特征图子网络得到的一个特征图分离成N个特征图，得到所述N个目标特征图，每一目标特征图包含的通道子图的数量为所述第一特征图子网络得到的一个特征图所包含的通道子图的数量的1/N；或者，

所述第二特征图子网络对所述第一特征图子网络得到的一个特征图进行拷贝N-1份，将拷贝得到的N-1个特征图和所述第一特征图子网络得到的一个特征图确定为所述N个目标特征图。

4.如权利要求1所述的图像处理方法，其特征在于，所述N个特征处理子网络中不同特征处理子网络包括的分组卷积层的数量相同或不同；和/或，

所述N个特征处理子网络中至少一个特征处理子网络不存在任一分组卷积层。

5.一种图像处理装置，其特征在于，应用于电子设备，该装置包括：

图像获得模块，用于获得待处理的目标图像；

目标特征图确定模块，用于确定所述目标图像对应的N个目标特征图，不同目标特征图包含的通道子图的数量K相同，N大于1；

图像处理模块，用于将所述N个目标特征图输入至已训练的神经网络，得到图像处理结果；所述神经网络包括N个特征处理子网络和图像处理子网络；

所述N个特征处理子网络对输入的目标特征图进行处理并输出特征处理结果至所述神经网络中的图像处理子网络；所述N个特征处理子网络中的至少一个包括至少一个分组卷积层，每一分组卷积层包括多个并联的卷积层、且各卷积层对应的输入通道数相同；所述N个特征处理子网络对应的输入通道数相同；所述N个特征处理子网络对应的输入通道数由一个分组卷积层对应的输入通道数确定，一个分组卷积层对应的输入通道数为一个分组卷积层包含的所有卷积层所对应的输入通道总数；

所述图像处理子网络用于对输入的特征处理结果进行图像处理得到所述图像处理结果。

6.如权利要求5所述的图像处理装置，其特征在于，所述神经网络还包括：第一特征图子网络和第二特征图子网络，所述第一特征图子网络用于对所述目标图像进行处理得到所述目标图像对应的一个特征图；所述第二特征图子网络用于对所述第一特征图子网络得到的一个特征图进行处理得到N个目标特征图；

所述目标特征图确定模块确定所述目标图像对应的N个目标特征图时，具体用于：

将所述目标图像输入至所述神经网络中的第一特征图子网络得到一个特征图，并输出至所述神经网络中的第二特征图子网络，得到所述N个目标特征图。

7.如权利要求6所述的图像处理装置，其特征在于，所述第二特征图子网络对所述第一特征图子网络得到的一个特征图分离成N个特征图，得到所述N个目标特征图，每一目标特征图包含的通道子图的数量为所述第一特征图子网络得到的一个特征图所包含的通道子图的数量的1/N；或者，

所述第二特征图子网络对所述第一特征图子网络得到的一个特征图进行拷贝N-1份，将拷贝得到的N-1个特征图和所述第一特征图子网络得到的一个特征图确定为所述N个目标特征图。

8.如权利要求5所述的图像处理装置，其特征在于，所述N个特征处理子网络中不同特征处理子网络包括的分组卷积层的数量相同或不同；和/或，

所述N个特征处理子网络中至少一个特征处理子网络不存在任一分组卷积层。

9.一种电子设备，其特征在于，包括处理器及存储器；所述存储器存储有可被处理器调用的程序；其中，所述处理器执行所述程序时，实现如权利要求1-4中任意一项所述的图像处理方法。

Images