CN106548207A - 一种基于神经网络的图像处理方法及装置 - Google Patents

Abstract

本发明公开了一种基于神经网络的图像处理方法及装置，以解决现有技术中图像处理准确率低的问题。方法包括：接收待处理图像；采用预置的包含至少一个变换层为因子分解双线性层的神经网络，对所述待处理图像进行处理得到处理结果；其中，所述因子分解双线性层中的每个神经元的输出结果为该神经元的输入特征向量的线性一次项和表征该神经元的输入特征向量之间相关性的因子分解二次项的和值。本发明技术方案，在神经元的输出结果中增加表征神经元的输入特征向量的相关性的因子分解二次项，提高了神经网络的表达能力，采用该表达能力强的神经网络对图像进行处理，提高了对图像处理的准确性。

Description

一种基于神经网络的图像处理方法及装置

技术领域

本发明涉及计算机领域，特别涉及一种基于神经网络的图像处理方法及装置。

背景技术

由于神经网络的优越性，在计算机领域采用神经网络进行图像处理越来越普遍，目前常用的神经网络包括GoogleNet、VGG、ResNet等，这些神经网络通常由多个基本单元堆叠而成，每个基本单元由一个线性卷积层和一个非线性激活层(如tanh、sigmoid、relu等激活函数)组成，这些神经网络具有对图像进行复杂建模和提取特征的能力。

然而，由于这些神经网络的基本单元包含的卷积层为线性卷积层，因此在一定程序上限制了神经网络的表达能力。而在实际应用中，图像中的图案较为复杂多样，采用表达能力有限的神经网络对图像进行处理的准确性较差。

目前针对神经网络表达能力有限的问题，提出了以下改进方案：

方案1，将传统机器学习中的随机森林表示成可导的形式加在神经网络的顶端，以替换原神经网络中最后的线性分类层，该种改进方案引入大量的训练参数，提高了神经网络训练复杂度且降低训练效率；

方案2，对神经网络的最后一层卷积层特征进行一次二次外积操作得到二次项特征，再进行平均以及最后的分类操作，由于外积操作使得特征维数为原特征维数的平方，该种改进方案加入了大量的分类参数，使得神经网络训练复杂度提高且降低训练效率。

综上，目前虽然有提出对神经网络进行优化以提高神经网络表达能力的改进方案，但是改进方案增加大量的参数，在很大程度上提高了神经网络的训练复杂度和降低了训练效率，很难应用到实际应用中。因此，目前采用神经网络对图像进行处理仍然存在准确性较差的问题。

发明内容

鉴于上述问题，本发明提供一种基于神经网络的图像处理方法及装置，提高图像处理的准确性。

本发明一方面，提供一种基于神经网络的图像处理方法，该方法包括：

接收待处理图像；

采用预置的包含至少一个变换层为因子分解双线性层的神经网络，对所述待处理图像进行处理得到处理结果；其中，所述因子分解双线性层中的每个神经元的输出结果为该神经元的输入特征向量的线性一次项和表征该神经元的输入特征向量之间相关性的因子分解二次项的和值。

本发明另一方面，提供一种基于神经网络的图像处理装置，该装置包括：

接收单元，用于接收待处理图像；

处理单元，用于采用至少一个变换层设置为因子分解双线性层的神经网络，对所述待处理图像进行处理，得到处理结果；其中，所述因子分解双线性层中的每个神经元的输出结果为该神经元的输入特征向量的线性一次项和表征该神经元的输入特征向量之间相关性的因子分解二次项的和值。

本发明实施例提供的基于神经网络的图像处理方法，对图像进行处理的神经网络中的至少一层变换层为因子分解双线性层，其中因子分解双线性层的每个神经元的输出结果为该神经元的输入特征向量的线性一次项和表征该神经元的输入特征向量之间相关性的因子分解二次项的和值。采用本发明技术方案，一方面，在神经元的输出结果中增加表征神经元的输入特征向量的相关性的因子分解二次项，使得该神经网络的变换层具有非线性特性，从而提高了神经网络的表达能力，采用该表达能力强的神经网络对图像进行处理，提高了对图像处理的准确性；另一方面，该种增加因子分解二次项的方式无需增加大量的参数，因此不会大幅度的增加神经网络的训练复杂度，训练效率高，易于实现；再一方面，该种增加因子分解二次项的方式不会对神经网络的整体结构进行额外的变化，拓展性强。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中基于神经网络的图像处理方法的流程图；

图2为本发明实施例中神经网络的变换层的示意图；

图3为本发明实施例中基于神经网络的图像处理装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

以上是本发明的核心思想，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。

图1为本发明实施例提供的基于神经网络的图像处理方法的流程图，该方法包括：

步骤101、接收待处理图像；

步骤102、采用预置的包含至少一个变换层为因子分解双线性层的神经网络，对所述待处理图像进行处理得到处理结果。

优选地，本发明实施例中，该神经网络层中，可以是其所有的变换层(如卷积层、全连层等)均设置为因子分解双线性层，也可以是其中一部分的变换层设置为因子分解双线性层，本领域技术人员可以根据实际的需求灵活设置。

当然，本领域技术人员还可将本发明实施例中的因子分解双线性层应用到所有网络结构中满足基本线性变化的各种层中，本申请不做严格限定。

本发明实施例中，对待处理图像进行处理，可以是对待处理图像进行图像分类得到待处理图像的类别(如输出待处理图像类别为猫图像或狗图像)，也可以是对待处理图像进行物体检测得到待处理图像包含的物体(如输出待处理图像中包含小汽车、自行车、三轮车、人等，并用框标注)。除此之外，本领域技术人员还可以使用该神经网络对图像进行其他的处理，本申请并不做严格限定。

为便于本领域技术人员对本发明技术方案的理解，下面对本发明实施例中的因子分解双线性层进行详细的说明。

本发明实施例中，因子双分解线性层的特性在于，每个神经元的输出结果为该神经元的输入特征向量的线性一次项和表征该神经元的输入特征向量之间相关性的因子分解二次项的和值。

所述因子分解双线性层中的神经元的输出结果的表达式可如下式(1)：

y＝w₀+W₁X+X^TF^TFX式(1)

其中，式(1)中，

即式(1)变换后如式(2)

式(1)、式(2)中，y为神经元的输出结果，w₀+W₁X为线性一次项，X^TF^TFX为因子分解二次项，其中：w₀为预置的偏置项，W₁∈R^1×n为神经元与该神经元的输入特征向量的变换权值，X∈R^n×1为该神经元的输入特征向量，x_i为该神经元的第i维输入特征向量，w_i为W₁中的第i维权重值；f_i为F的第i个列向量，f_j为F的第j个列向量，F∈R^k×n为预置的二次项权重矩阵，k小于n，＜f_i,f_j＞为F中f_i与f_j的点积。

优选地，为了进一步提升神经网络的性能，防止在将神经网络的变换层设置为因子分解双线性层后神经网络存在过拟合问题，本发明实施例中，前述神经元的输出结果表达式可如式(3)所示，该式(3)与式(2)相比引入了k维二值掩码m：

对前述式(3)进行变换后得到式(4)

式(3)、式(4)中，y为神经元的输出结果，w₀+W₁X为线性一次项，为因子分解二次项，其中：w₀为预置的偏置项，W₁∈R^1×n为神经元与该神经元的输入特征向量的变换权值，X∈R^n×1为该神经元的输入特征向量，x_i为该神经元的第i维输入特征向量，w_i为W₁中的第i维权重值；f_i为F的第i个列向量，f_j为F的第j个列向量，F∈R^k×n为预置的二次项权重矩阵，k小于n，m为k维二值掩码，其中m中的任一因子m_j满足伯努利分布，m_j取1的概率为p，取0的概率为1-p。

前述p的取值可以为0.4～0.8。优选地，前述p取值为0.5。

将前述式(3)中的k个因子展开后，得到式(3)的另一个表达式如式(5)：

式(5)中，c_j为F的第j个行向量。

优选地，本发明实施例中，W₁和F可预先通过梯度下降方式训练得到。其中F中的k远小于n，k的取值本领域技术人员可根据神经元的输入特征向量的维数、图像处理类型(图像分类、物体检测等)综合确定得到。例如：输入特征向量X的维数为512，则经过训练得到F中的k为20时效果较优。

优选地，本发明实施例在对前述包含因子分解双线性层的神经网络进行测试时，为提高测试效率，移除训练得到的因子分解双线性层的神经元输入结果中的掩码m，但为了和训练时随机drop相匹配，每个因子项的权重可乘以p，即测试用的因子分解双线性层的神经元的输出结果可如式(6)：

如图2所示，假设某一神经网络的输入为一张8*8的图像，该神经网络的第一个变换层(即卷积层)的卷积核为4*4，则得到5*5个神经元，每个神经元对应16个输入特征向量，则该神经元的输出结果可采用式(1)、式(2)、式(3)、式(4)或式(5)所示。例如，输出的第一个神经元y₁对应的输入特征向量X^T为[x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11,x12,x13,x14,x15,x16]。

基于前述图1所示的方法相同构思，本发明实施例还提供一种基于神经网络的图像处理装置，该装置的结构如图3所示，包括：

接收单元31，用于接收待处理图像；

处理单元32，用于采用至少一个变换层设置为因子分解双线性层的神经网络，对所述待处理图像进行处理，得到处理结果；其中，所述因子分解双线性层中的每个神经元的输出结果为该神经元的输入特征向量的线性一次项和表征该神经元的输入特征向量之间相关性的因子分解二次项的和值。

其中，本发明实施例中因子分解双线性层中神经元的输出结果可如前述方法中的式(1)、式(2)、式(3)、式(4)和式(5)中的任意一种，在此不再赘述。

优选地，本发明实施例中，处理单元32对所述待处理图像进行处理得到处理结果，具体为：

对所述待处理图像进行图像分类，得到所述待处理图像的类别；或者，

对所述待处理图像进行物体检测，得到所述待处理图像包含的物体。

本发明实施例提供的基于神经网络的图像处理方法，对图像进行处理的神经网络中的至少一层变换层为因子分解双线性层，其中因子分解双线性层的每个神经元的输出结果为该神经元的输入特征向量的线性一次项和表征该神经元的输入特征向量之间相关性的因子分解二次项的和值。采用本发明技术方案，一方面，在神经元的输出结果中增加表征神经元的输入特征向量的相关性的因子分解二次项，使得该神经网络的变换层具有非线性特性，提高了神经网络的表达能力，采用该表达能力强的神经网络对图像进行处理，提高了对图像处理的准确性；另一方面，该种增加因子分解二次项的方式无需增加大量的参数，因此不会大幅度的增加神经网络的训练复杂度，训练效率高，易于实现；再一方面，该种增加因子分解二次项的方式不会对神经网络的整体结构进行额外的变化，拓展性强。本申请发明人，在将设置有因子分解双线性层的神经网络应用于对图像进行车辆识别、车辆检测等场景中，发现识别的准确率相比传统的神经网络提高了10％。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于神经网络的图像处理方法，其特征在于，所述方法包括：

接收待处理图像；

采用预置的包含至少一个变换层为因子分解双线性层的神经网络，对所述待处理图像进行处理得到处理结果；其中，所述因子分解双线性层中的每个神经元的输出结果为该神经元的输入特征向量的线性一次项和表征该神经元的输入特征向量之间相关性的因子分解二次项的和值。

2.根据权利要求1所述的方法，其特征在于，所述因子分解双线性层中的神经元的输出结果如下式：

y＝w₀+W₁X+X^TF^TFX

其中，

式中，y为神经元的输出结果，w₀+W₁X为线性一次项，X^TF^TFX为因子分解二次项，其中：w₀为预置的偏置项，W₁∈R^1×n为神经元与该神经元的输入特征向量的变换权值，X∈R^n×1为该神经元的输入特征向量，x_i为该神经元的第i维输入特征向量，w_i为W₁中的第i维权重值；f_i为F的第i个列向量，f_j为F的第j个列向量，F∈R^k×n为预置的二次项权重矩阵，k小于n，＜f_i,f_j＞为F中f_i与f_j的点积。

3.根据权利要求1所述的方法，其特征在于，所述因子分解双线性层中的神经元的输出结果如下式：

$y=w_0+W_{1}X+\underset{i=1}{\overset{n}{\&Sigma;}}\underset{j=1}{\overset{n}{\&Sigma;}}<m\&CenterDot;f_i,m\&CenterDot;f_j>x_i{x}_j$

其中，

式中，y为神经元的输出结果，w₀+W₁X为线性一次项，为因子分解二次项，其中：w₀为预置的偏置项，W₁∈R^1×n为神经元与该神经元的输入特征向量的变换权值，X∈R^n×1为该神经元的输入特征向量，x_i为该神经元的第i维输入特征向量，w_i为W₁中的第i维权重值；f_i为F的第i个列向量，f_j为F的第j个列向量，F∈R^k×n为预置的二次项权重矩阵，k小于n，m为k维二值掩码，其中m中的任一因子m_j满足伯努利分布。

4.根据权利要求2或3所述的方法，其特征在于，所述F为预先通过梯度下降方式训练得到。

5.根据权利要求1所述的方法，其特征在于，所述变换层为神经网络中的卷积层和/或全连层。

6.根据权利要求1～3和5中任一项所述的方法，其特征在于，所述对所述待处理图像进行处理得到处理结果，具体为：

对所述待处理图像进行图像分类，得到所述待处理图像的类别；或者，

对所述待处理图像进行物体检测，得到所述待处理图像包含的物体。

7.一种基于神经网络的图像处理装置，其特征在于，所述装置包括：

接收单元，用于接收待处理图像；

处理单元，用于采用至少一个变换层设置为因子分解双线性层的神经网络，对所述待处理图像进行处理，得到处理结果；其中，所述因子分解双线性层中的每个神经元的输出结果为该神经元的输入特征向量的线性一次项和表征该神经元的输入特征向量之间相关性的因子分解二次项的和值。

8.根据权利要求7所述的装置，其特征在于，所述因子分解双线性层中的神经元的输出结果如下式：

y＝w₀+W₁X+X^TF^TFX

其中，

式中，y为神经元的输出结果，w₀+W₁X为线性一次项，X^TF^TFX为因子分解二次项，其中：w₀为预置的偏置项，W₁∈R^1×n为神经元与该神经元的输入特征向量的变换权值，X∈R^n×1为该神经元的输入特征向量，x_i为该神经元的第i维输入特征向量，w_i为线性一次项的第i维权重值；f_i为F的第i个列向量，f_j为F的第j个列向量，F∈R^k×n为预置的二次项权重矩阵，k小于n，＜f_i,f_j＞为F中f_i与f_j的点积。

9.根据权利要求7所述的装置，其特征在于，所述因子分解双线性层中的神经元的输出结果如下式：

$y=w_0+W_{1}X+\underset{i=1}{\overset{n}{\&Sigma;}}\underset{j=1}{\overset{n}{\&Sigma;}}<m\&CenterDot;f_i,m\&CenterDot;f_j>x_i{x}_j$

其中，

式中，y为神经元的输出结果，w₀+W₁X为线性一次项，为因子分解二次项，其中：w₀为预置的偏置项，W₁∈R^1×n为神经元与该神经元的输入特征向量的变换权值，X∈R^n×1为该神经元的输入特征向量，x_i为该神经元的第i维输入特征向量，w_i为线性一次项的第i维权重值；f_i为F的第i个列向量，f_j为F的第j个列向量，F∈R^k×n为预置的二次项权重矩阵，k小于n，m为k维二值掩码，其中m中的任一因子m_j满足伯努利分布。

10.根据权利要求7～9任一项所述的装置，其特征在于，所述处理单元对所述待处理图像进行处理得到处理结果，具体为：

对所述待处理图像进行图像分类，得到所述待处理图像的类别；或者，

对所述待处理图像进行物体检测，得到所述待处理图像包含的物体。