CN111079900B - 一种基于自适应连接神经网络的图像处理方法及装置 - Google Patents

Abstract

本发明公开了一种基于自适应连接神经网络的图像处理方法及装置，所述方法包括如下步骤：步骤S1，构建自适应连接神经网络，对输入的特征图，分别提取其像素级特征、局部特征以及全局特征，并自适应地融合像素级特征、局部特征、全局特征；步骤S2，于图像处理任务中，选择适用的深度卷积网络结构，将其中部分或全部卷积层替换成所述自适应连接神经网络的AC‑Net模块，或直接使用所述自适应连接神经网络。

Description

一种基于自适应连接神经网络的图像处理方法及装置

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于自适应连接神经网络的图像处理方法及装置。

背景技术

人工神经网络在过去三十年中得到了广泛的研究和应用，在人工智能和计算机视觉领域取得了显著的成就。当前，基于人工神经网络的深度学习技术已经在诸如物体分类、文本处理、推荐引擎、图像搜索、面部识别、年龄和语音识别、人机对话以及情感计算等领域取得了巨大进展。

在人工神经网络的发展过程中，有两种类型的人工神经网络对研究界产生了很大的影响。第一类是多层感知器(Multi-Layer Perceptron，MLP)，其由输入层，输出层和隐层构成，通过反向传播算法，使网络获得拟合复杂数据的能力。然而，由于MLP隐藏层的每个神经元节点不共享权重，MLP的网络参数往往数量庞大，在训练阶段容易过拟合。此外，MLP难以表示二维数据(例如图像)的空间结构；第二类是卷积神经网络(CNN)，CNN将相邻神经元分组，并通过捕获每个神经元的局部模式(即感受野)来表示二维数据。CNN实现了权重共享，局部特征提取，尽管CNN已经被证明显著优于MLP，但它有两个缺点：一方面，由于其只从局部邻域像素间提取特征，CNN各层内部的卷积运算不具备全局推理能力，因此，卷积运算在识别具有相似外观的对象方面有困难，在实际应用中，CNN通过叠加大量的局部卷积操作来捕获全局依赖关系，但仍然存在计算效率低、优化困难、消息传递效率低等局限性，另一方面，传统的CNN不能直接应用于非欧数据(如图数据)，这种无序的，散乱的数据形式CNN难以处理。而随着人工智能技术的发展，卷积神经网络在近几年已被广泛应用在图像识别处理领域，因此，亟待解决卷积神经网络的上述问题。

为了解决CNN中的局部性问题，最近提出的非局部网络对所有特征节点施加全局依赖，然而，完全的非局部网络会造成退化，所以局部信息和全局信息需要共同考虑，因此有必要从图像感知甚至像素感知的角度联合考虑全局和局部推理。最近还有许多其他工作设法来解决CNN上述问题，并取得了令人鼓舞的成果。然而，所有这些方法要么过于局部化，要么过于全局化。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种基于自适应连接神经网络的图像处理方法及装置，通过引入新的自适应连接神经网络(ACNET)，对传统的卷积神经网络(CNN)进行了改进，克服传统卷积神经网络难以获取全局特征带来的影响，提高图像处理的效率。

为达上述及其它目的，本发明提出一种基于自适应连接神经网络的图像处理方法，包括如下步骤：

步骤S1，构建自适应连接神经网络，对输入的特征图，分别提取其像素级特征、局部特征以及全局特征，并自适应地融合所述像素级特征、局部特征、全局特征；

步骤S2，于图像处理任务中，选择适用的深度卷积网络结构，将其中部分或全部卷积层替换成所述自适应连接神经网络的AC-Net模块，或直接使用所述自适应连接神经网络。

优选地，步骤S1进一步包括：

步骤S100，使用自变换操作提取所输入的特征图的像素级特征；

步骤S101，使用卷积操作提取所输入的特征图的局部特征；

步骤S102，使用多层感知器操作提取所输入的特征图全局特征；

步骤S103使用AC-Net模块融合自变换操作得到的像素级特征、使用卷积操作得到的局部特征，以及使用多层感知器操作得到的全局特征，生成局部与全局自适应的特征。

优选地，于步骤S100中，所述自变换操作利用n×m个卷积核为1×1的卷积对输入的n×h×w的特征做卷积操作后得到的m×h×w输出特征。

优选地，于步骤S101中，所述卷积操作利用n×m个卷积核为3×3的卷积对输入的n×h×w的特征做卷积操作后得到的m×h×w输出特征。

优选地，步骤S102进一步包括：

步骤S102a，对输入的特征图，使用平均池化，得到m×1×1的中间特征；

步骤S102b，对所述m×1×1的中间特征使用全连接操作，输出n×h×w的特征图。

优选地，步骤S103进一步包括：

步骤S103a，对得到的像素级特征、局部特征、全局特征进行自适应的加权求和操作；

步骤S103b，对经步骤S103a得到的局部与全局自适应的特征做非线性激活。

优选地，于步骤S2中，在图像识别任务中，对所选择的深度卷积网络中所有的3×3的卷积层，全部替换成所述ACNet模块。

优选地，于步骤S2中，在图像检测及分割任务中，将其所选网络中所有3×3的卷积层全部替换为所述ACNet模块。

为达到上述目的，本发明还提供一种基于自适应连接神经网络的图像处理装置，包括：

自适应连接神经网络构建单元，用于构建自适应连接神经网络，对输入的特征图，分别提取其像素级特征、局部特征以及全局特征，并自适应地融合像素级特征、局部特征、全局特征；

图像处理实现模块，用于在图像处理任务中，选择适用的深度卷积网络结构，将其中部分或全部卷积层替换成所述自适应连接神经网络的AC-Net模块，或直接使用所述自适应连接神经网络。

优选地，所述自适应连接神经网络进一步包括：

Self Trans模块，用于使用自变换操作提取所输入的特征图的像素级特征；

卷积模块，用于使用卷积操作提取所输入的特征图的局部特征；

MLP模块，用于使用多层感知器操作提取所输入的特征图的全局特征；

AC-Net模块，用于融合自变换操作得到的像素级特征、使用卷积操作得到的局部特征，以及使用全连接操作得到的全局特征，生成局部与全局自适应的特征。

与现有技术相比，本发明一种基于自适应连接神经网络的图像处理方法及装置通过引入自适应连接神经网络(ACNET)，ACNET通过自适应地确定特征节点之间的连接状态，在处理特征表示时，自适应地融合像素级特征、局部特征、全局特征，提高网络分类、分割的性能，对传统的卷积神经网络(CNN)进行改进，克服了传统卷积神经网络难以获取全局特征带来的影响，提高图像处理的效率。

附图说明

图1为本发明一种基于自适应连接神经网络的图像处理方法的步骤流程图；

图2为本发明一种基于自适应连接神经网络的图像处理装置的系统架构图；

图3为本发明具体实施例中自适应连接神经网络的细部结构图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种基于自适应连接神经网络的图像处理方法的步骤流程图。如图1所示，本发明一种基于自适应连接神经网络的图像处理方法，包括如下步骤：

步骤S1，构建自适应连接神经网络(AC-Net模块)，对输入的特征图，分别提取其像素级特征、局部特征以及全局特征，并自适应地融合所述像素级特征、局部特征、全局特征。在本发明具体实施例中，所构建的AC-Net模块是一个堆叠的结构，在实际图像处理应用中，用于替换相应神经网络结构的卷积层，其最上层为输入的图像，每层输出的特征图输出至下一层，这里所说的输入的特征图则指的是其上一层的输出。

具体地，步骤S1进一步包括：

步骤S100，使用自变换操作(Self Trans模块)提取所输入的特征图的像素级特征；

在本发明具体实施例中，所述自变换操作，利用n×m个卷积核为1×1的卷积对输入的n×h×w的特征做卷积操作后得到的m×h×w输出特征，n代表通道，h，w代表特征图的高和宽。

步骤S101，使用卷积操作(CNN模块)提取所输入的特征图的局部特征。

在本发明具体实施例中，所述卷积操作利用n×m个卷积核为3×3的卷积对输入的n×h×w的特征做卷积操作后得到的m×h×w输出特征。

步骤S102，使用多层感知器操作(MLP模块)提取所输入的特征图的全局特征；

在本发明具体实施例中，所述多层感知器操作利用平均池化及全连接操作对输入的n×h×w的特征提取全局特征。

具体地，步骤S102进一步包括：

步骤S102a，使用平均池化，得到一个的中间特征。具体地，于步骤S102中，对输入的特征图，使用平均池化，先得到一个m×1×1的特征；

步骤S102b，使用全连接操作，得到一个的输出特征。于步骤S102b中，全连接操作的输入为平均池化后的m×1×1的特征图，然后经全连接操作得到的输出为n×h×w的特征图。

步骤103，利用自适应连接神经网络(AC-Net模块)融合自变换操作(Self Trans模块)得到的像素级特征、使用卷积操作(CNN模块)得到的局部特征，以及使用全连接操作(MLP模块)得到的全局特征，生成局部与全局自适应的特征。

具体地，步骤S103进一步包括：

步骤S103a，对得到的像素级特征、局部特征、全局特征进行自适应的加权求和操作。

具体地，假设x为输入信号，即上一层得到的特征图，也即为Self Trans模块、卷积模块以及MLP模块的输入，则AC-Net模块得到的输出为：

其中y_i表示AC-Net网络结构中输出信号的第i个数据点的输出，j为与第i个数据点相关的数据点的索引。具体来说，第j个数据点可属于三个不同的集合，包括{第i个数据点自身}，{第i个数据点的领域N(i)}，{所有x上的数据点}。这三个集合也代表了三个不同的推理模态：自变换，局部变换，全局变换，对应的模块为Self Trans模块，CNN模块，MLP模块，u_ij，v_ij，w_ij为可学习的参数，其中α，β，γ满足以下约束：

α+β+γ＝1

λ_α,λ_β,λ_γ为控制参数，可通过学习确定，是自适应的，其所对应的模块即为AC-Net模块。

步骤S103b，对经步骤S103a得到的局部与全局自适应的特征做非线性激活。

在本发明具体实施例中，非线性激活可采用BatchNormalization批标准化以及非线性激活函数，即将步骤S103a所得到的加权求和后的结果，经BatchNormalization批标准化以及非线性激活函数处理，得到与输入的维度一样的输出，n×h×w。

步骤S2，于图像处理任务中，选择适用的深度卷积网络结构，将其中部分或全部卷积层替换成所述AC-Net模块，或直接使用所述自适应连接神经网络ACNET，实现图像处理任务。

所述AC-Net模块能够与任何已有的深度卷积神经网络结构相融合，用户既可以使用已公开的模型结构以及预训练模型，又可以使用步骤S1构建的网络结构，在训练时所述AC-Net模块可无缝插入结构中，达到即插即用的效果。在图像处理任务中，用户可以自行选择适用的深度卷积网络结构，将其中部分或全部卷积层替换成本发明提出的AC-Net模块，或直接使用本发明构建的自适应连接神经网络。

在本发明一实施例中，假设图像识别任务中，采用图像分类数据集ImageNet-1k，训练集有128万张图片，验证集有5万张图片，具有1000个类别的图片。

在本发明具体实施利中，可基于ResNet50，使用上述AC-Net模块对其进行改进，具体地，对ResNet-50中所有的3×3的卷积层，全部替换成所述ACNet模块，经过训练后，得到所需要图像识别模型，Top1分类准确率由76.4％上升到77.5％。

在本发明另一实施例中，假设在图像检测及分割任务中，使用以ResNet50-FPN作为骨干网络的Mask-RCNN作为比较基准，同样的，可将其网络中所3×3的卷积层全部替换为本发明的ACNet模块，经过COCO 2017检测及分割数据集训练后，检测任务的AP由38.0％上升到39.5％，分割任务的AP由34.6％上升到35.2。

这里需说明的是，对于使用深度卷积神经网络的各种任务，都可以通过将深度卷积神经网络中的卷积层替换为本发明相应的ACNet模块来生成局部与全局自适应的特征，从而提高任务的性能。

图2为本发明一种基于自适应连接神经网络的图像处理装置的系统架构图。如图2所示，本发明一种基于自适应连接神经网络的图像处理装置，包括：

自适应连接神经网络构建单元201，用于构建自适应连接神经网络(AC-Net)，对每层提取的特征图，分别提取其像素级特征、局部特征以及全局特征，以自适应地融合像素级特征、局部特征、全局特征。

在本发明具体实施利中，所述自适应连接神经网络ACNet定义了一个简单而基本的单元，名为“node”。如图3所示，节点可被视为图像的像素(图3(a))、音频的采样(图3(b))和一般图的节点(图3(c))，但需说明的是，本发明之自适应连接神经网络ACNet仅需针对图像数据处理。具体地，给定输入数据，自适应地训练ACNet搜索每个节点的最优连接，即连接节点本身、其邻居节点、所有可能的节点的连接，不同的节点是自适应连接的，也就是说，有些节点可能是自己推测的，有些节点可能与它的邻域有关，而其他节点则具有全局视野。因此，自适应连接神经网络ACNet可以看作是Self Trans、CNN和MLP的综合(图3(d))。通过学习不同类型连接的重要性程度，搜索最优连接是不同的，这可以通过反向传播进行优化。

具体地，自适应连接神经网络进一步包括：

Self Trans模块，用于使用自变换操作提取所输入的特征图的像素级特征；

在本发明具体实施例中，所述Self Trans模块，利用n×m个卷积核为1×1的卷积对输入的n×h×w的特征做卷积操作后得到的m×h×w输出特征。

卷积(CNN)模块，用于使用卷积操作提取所输入的特征图的局部特征。

在本发明具体实施例中，所述卷积(CNN)模块利用n×m个卷积核为3×3的卷积对输入的n×h×w的特征做卷积操作后得到的m×h×w输出特征。

MLP模块，用于使用多层感知器操作提取所输入的特征图的全局特征；

MLP模块具体用于：

使用平均池化，得到一个的中间特征，即对输入的特征图，使用平均池化，先得到一个m×1×1的特征；

使用全连接操作，得到一个的输出特征，即对平均池化后的m×1×1的特征图，经全连接操作得到的输出为n×h×w的特征图。

AC-Net模块，用于融合自变换操作(Self Trans模块)得到的像素级特征、使用卷积操作(CNN模块)得到的局部特征，以及使用全连接操作(MLP模块)得到的全局特征，生成局部与全局自适应的特征。

在本发明具体实施例中，假设x为输入信号，则AC-Net模块得到的输出为：

其中y_i表示网络结构中输出信号的第i个数据点的输出，j为与第i个数据点相关的数据点的索引。具体来说，第j个数据点可属于三个不同的集合，包括{第i个数据点自身}，{第i个数据点的领域N(i)}，{所有x上的数据点}。这三个集合也代表了三个不同的推理模态：自变换，局部变换，全局变换，对应的模块分别为Self Trans模块，CNN模块，MLP模块，u_ij，v_ij，w_ij是可学习的参数。其中α，β，γ满足一下约束：

α+β+γ＝1

λ_α,λ_β,λ_γ为控制参数，可通过学习确定，是自适应的，其所对应的模块即为AC-Net模块。

图像处理实现模块202，用于在图像处理任务中，选择适用的深度卷积网络结构，将其中部分或全部卷积层替换成所述AC-Net模块，或直接使用所述自适应连接神经网络ACNET。

本发明所构建的所述AC-Net模块能够与任何已有的深度卷积神经网络结构相融合，用户既可以使用已公开的模型结构以及预训练模型，又可以使用步骤S1构建的网络结构，在训练时所述AC-Net模块可无缝插入结构中，达到即插即用的效果。在图像处理任务中，用户可以自行选择适用的深度卷积网络结构，将其中部分或全部卷积层替换成本发明提出的AC-Net模块，或直接使用本发明构建的自适应连接神经网络。

综上所述，本发明一种基于自适应连接神经网络的图像处理方法及装置通过引入自适应连接神经网络(ACNET)，ACNET通过自适应地确定特征节点之间的连接状态，在处理特征表示时，自适应地融合像素级特征、局部特征、全局特征，提高网络分类、分割的性能，对传统的卷积神经网络(CNN)进行改进，克服了传统卷积神经网络难以获取全局特征带来的影响，提高图像处理的效率。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (8)

1.一种基于自适应连接神经网络的图像处理方法，包括如下步骤：

步骤S1，构建自适应连接神经网络，对输入的特征图，分别提取其像素级特征、局部特征以及全局特征，并自适应地融合所述像素级特征、局部特征、全局特征；

步骤S2，于图像处理任务中，选择适用的深度卷积网络结构，将其中部分或全部卷积层替换成所述自适应连接神经网络的AC-Net模块，或直接使用所述自适应连接神经网络；

步骤S1进一步包括：

步骤S100，使用自变换操作提取所输入的特征图的像素级特征；

步骤S101，使用卷积操作提取所输入的特征图的局部特征；

步骤S102，使用多层感知器操作提取所输入的特征图全局特征；

步骤S103使用AC-Net模块融合自变换操作得到的像素级特征、使用卷积操作得到的局部特征，以及使用多层感知器操作得到的全局特征，生成局部与全局自适应的特征；

步骤S103进一步包括：

步骤S103a，对得到的像素级特征、局部特征、全局特征进行自适应的加权求和操作；

具体地，x为输入信号，即上一层得到的特征图，也即为自变换操作、卷积操作以及多层感知器操作的输入，则AC-Net模块得到的输出为：

其中y_i表示AC-Net网络结构中输出信号的第i个数据点的输出，j为与第i个数据点相关的数据点的索引；第j个数据点可属于三个不同的集合，包括{第i个数据点自身}，{第i个数据点的领域N(i)}，{所有x上的数据点}；u_ij，v_ij，w_ij为可学习的参数，其中α，β，γ满足以下约束：

α+β+γ＝1

λ_α,λ_β,λ_γ为控制参数，可通过学习确定，是自适应的，其所对应的模块即为AC-Net模块；

步骤S103b，对经步骤S103a得到的局部与全局自适应的特征做非线性激活。

2.如权利要求1所述的一种基于自适应连接神经网络的图像处理方法，其特征在于：于步骤S100中，所述自变换操作利用n×m个卷积核为1×1的卷积对输入的n×h×w的特征做卷积操作后得到的m×h×w输出特征。

3.如权利要求2所述的一种基于自适应连接神经网络的图像处理方法，其特征在于：于步骤S101中，所述卷积操作利用n×m个卷积核为3×3的卷积对输入的n×h×w的特征做卷积操作后得到的m×h×w输出特征。

4.如权利要求3所述的一种基于自适应连接神经网络的图像处理方法，其特征在于，步骤S102进一步包括：

步骤S102a，对输入的特征图，使用平均池化，得到m×1×1的中间特征；

步骤S102b，对所述m×1×1的中间特征使用全连接操作，输出n×h×w的特征图。

5.如权利要求1所述的一种基于自适应连接神经网络的图像处理方法，其特征在于：于步骤S2中，在图像识别任务中，对所选择的深度卷积网络中所有的3×3的卷积层，全部替换成所述ACNet模块。

6.如权利要求1所述的一种基于自适应连接神经网络的图像处理方法，其特征在于：于步骤S2中，在图像检测及分割任务中，将其所选网络中所有3×3的卷积层全部替换为所述ACNet模块。

7.一种基于自适应连接神经网络的图像处理装置，用于实现权利要求1至6任一所述的图像处理方法，包括：

自适应连接神经网络构建单元，用于构建自适应连接神经网络，对输入的特征图，分别提取其像素级特征、局部特征以及全局特征，并自适应地融合像素级特征、局部特征、全局特征；

图像处理实现模块，用于在图像处理任务中，选择适用的深度卷积网络结构，将其中部分或全部卷积层替换成所述自适应连接神经网络的AC-Net模块，或直接使用所述自适应连接神经网络。

8.如权利要求7所述的一种基于自适应连接神经网络的图像处理装置，其特征在于，所述自适应连接神经网络进一步包括：

Self Trans模块，用于使用自变换操作提取所输入的特征图的像素级特征；

卷积模块，用于使用卷积操作提取所输入的特征图的局部特征；

MLP模块，用于使用多层感知器操作提取所输入的特征图的全局特征；

AC-Net模块，用于融合自变换操作得到的像素级特征、使用卷积操作得到的局部特征，以及使用全连接操作得到的全局特征，生成局部与全局自适应的特征。

Images