CN110796250A

CN110796250A - 应用于卷积神经网络的卷积处理方法、系统及相关组件

Info

Publication number: CN110796250A
Application number: CN201910963711.1A
Authority: CN
Inventors: 金良; 范宝余; 郭振华
Original assignee: Inspur Electronic Information Industry Co Ltd
Current assignee: Inspur Electronic Information Industry Co Ltd
Priority date: 2019-10-11
Filing date: 2019-10-11
Publication date: 2020-02-14
Also published as: WO2021068376A1

Abstract

本申请公开了一种应用于卷积神经网络的卷积处理方法，包括：获取目标操作对象；所述目标操作对象具体为输入特征；对所述目标操作对象进行边窗卷积计算，得到多个方向的计算结果；对所述多个方向的计算结果进行交叉熵的最优化处理，得到所述目标操作对象的卷积结果。本发明解决了原有卷积神经网络中以卷积核为中心点做卷积操作时带来的性能损失，通过综合分析多个方向上的边窗卷积操作，提高了卷积操作获取数据更泛化特征的能力，以此提高了卷积神经网络的性能。相应的，本申请还公开了一种应用于卷积神经网络的卷积处理系统、装置及可读存储介质。

Description

应用于卷积神经网络的卷积处理方法、系统及相关组件

技术领域

本发明涉及深度学习领域，特别涉及一种应用于卷积神经网络的卷积处理方法、系统及相关组件。

背景技术

在深度学习中，卷积神经网络是一类比较重要的神经网络，其最大特点是卷积运算，常用于在训练过程中，通过卷积提取不同的特征，然后将所有这些特征有机组合起来做相应决策。

但是由于传统的卷积操作时选择了卷积核中心点作相应的乘加运算，当某个像素在边界上，将窗口中心放在像素上做卷积操作会模糊边缘，这样会降低特征的可分辨性，再加上卷积神经网络通常有很多层，每层有多个卷积核filter，层与层之间连接成有向无环图，这样的以中心位置的卷积会加剧可分辨性下降的情况，从而降低卷积神经网络的性能。

因此，如何提供一种解决上述技术问题的方案是目前本领域技术人员需要解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种应用于卷积神经网络的卷积处理方法、系统及相关组件，以便解决模糊边缘的技术问题。其具体方案如下：

一种应用于卷积神经网络的卷积处理方法，包括：

获取目标操作对象；所述目标操作对象具体为输入特征；

对所述目标操作对象进行边窗卷积计算，得到多个方向的计算结果；

对所述多个方向的计算结果进行交叉熵的最优化处理，得到所述目标操作对象的卷积结果。

优选的，所述对所述目标操作对象进行边窗卷积计算，得到多个方向的计算结果的过程，具体包括：

确定四个计算边窗的方向分别为左上、右上、左下、右下；

分别利用四个所述计算边窗对所述目标操作对象进行边窗卷积计算，得到四个方向的计算结果。

优选的，当所述目标操作对象为多个，所述分别利用所述计算边窗对所述目标操作对象进行边窗卷积计算，得到四个方向的计算结果的过程，具体包括：

利用左上方向的所述计算边窗对多个所述目标操作对象进行统一的边窗卷积计算，得到左上方向的多个计算结果；

利用右上方向的所述计算边窗对多个所述目标操作对象进行统一的边窗卷积计算，得到右上方向的多个计算结果；

利用左下方向的所述计算边窗对多个所述目标操作对象进行统一的边窗卷积计算，得到左下方向的多个计算结果；

利用右下方向的所述计算边窗对多个所述目标操作对象进行统一的边窗卷积计算，得到右下方向的多个计算结果。

优选的，所述对所述多个方向的计算结果进行交叉熵的最优化处理，得到所述目标操作对象的卷积结果的过程，具体包括：

对所述多个方向的计算结果进行交叉熵的最优化处理，将交叉熵值最小的计算结果确定为所述目标操作对象的卷积结果。

优选的，所述目标操作对象具体为边界输入特征和/或纹理输入特征。

优选的，当卷积核为多个时，所述卷积处理方法还包括：对每个所述卷积核对应的卷积结果进行加权平均，得到所述目标操作对象的最终卷积结果。

相应的，本发明还公开了一种应用于卷积神经网络的卷积处理系统，包括：

获取模块，用于获取目标操作对象；所述目标操作对象具体为输入特征；

计算模块，用于对所述目标操作对象进行边窗卷积计算，得到多个方向的计算结果；

结果确定模块，用于对所述多个方向的计算结果进行交叉熵的最优化处理，得到所述目标操作对象的卷积结果。

优选的，所述计算模块具体用于：

确定四个计算边窗的方向分别为左上、右上、左下、右下；

相应的，本发明还公开了一种应用于卷积神经网络的卷积处理装置，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上文所述应用于卷积神经网络的卷积处理方法的步骤。

相应的，本发明还公开了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述应用于卷积神经网络的卷积处理方法的步骤。

本发明公开了一种应用于卷积神经网络的卷积处理方法，包括：获取目标操作对象；所述目标操作对象具体为输入特征；对所述目标操作对象进行边窗卷积计算，得到多个方向的计算结果；对所述多个方向的计算结果进行交叉熵的最优化处理，得到所述目标操作对象的卷积结果。本发明解决了原有卷积神经网络中以卷积核为中心点做卷积操作时带来的性能损失，通过综合分析多个方向上的边窗卷积操作，提高了卷积操作获取数据更泛化特征的能力，以此提高了卷积神经网络的性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例中一种应用于卷积神经网络的卷积处理方法的步骤流程图；

图2a为本发明实施例中边窗的图像示意图；

图2b、图2c、图2d分别为本发明实施例中不同方向的边窗的图像示意图；

图3为本发明实施例中一种具体的应用于卷积神经网络的卷积处理方法的步骤流程图；

图4为本发明实施例中一种应用于卷积神经网络的卷积处理系统的结构分布图；

图5为本发明实施例中一种应用于卷积神经网络的卷积处理装置的结构分布图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由于传统的卷积操作时选择了卷积核中心点作相应的乘加运算，当某个像素在边界上，将窗口中心放在像素上做卷积操作会模糊边缘，这样会降低特征的可分辨性，再加上卷积神经网络通常有很多层，每层有多个filter，层与层之间连接成有向无环图，这样的以中心位置的卷积会加剧可分辨性下降的情况，从而降低卷积神经网络的性能。而本申请解决了原有卷积神经网络中以卷积核为中心点做卷积操作时带来的性能损失，通过综合分析多个方向上的边窗卷积操作，提高了卷积操作获取数据更泛化特征的能力，以此提高了卷积神经网络的性能。

本发明实施例公开了一种应用于卷积神经网络的卷积处理方法，参见图1所示，包括：

S11：获取目标操作对象；所述目标操作对象具体为输入特征；

可以理解的是，该卷积处理方法适用于所有卷积神经网络内的输入特征上，这里的输入特征既包括初始输入层的第一层输入特征，例如图像像素，也包括神经网络中的隐藏层、输出层涉及的输入特征，如底层的细粒度特征、高层的语义特征等。

S12：对所述目标操作对象进行边窗卷积计算，得到多个方向的计算结果；

可以理解的是，边窗(side window)定义如图2a所示，其中θ为window与水平线之间角度，r为window的半径，ρ∈{0，r}，{x，y}为目标像素i的位置，r是用户定义的参数，用来控制所有的边窗，通过改变θ和{x，y}值，window的方向以及与之对应目标像素i可控制。为了简化在连续空间的计算量，通常仅计算在离散空间8个方向边窗，令θ＝k×π/2，k∈[0，3]，当ρ＝r时，可以得到上下左右四个方向上的边窗，分别用大写字母U(up)、D(down)、L(left)、R(right)表示，如图2b、图2c所示；当ρ＝0时，可以得到左上、右上、左下、右下四个方向的边窗，分别用字母NW(northwest)、NE(northeast)、SE(southeast)、SW(southwest)表示，如图2d所示。在每一个边窗计算卷积操作，可以获取到8个方向的输出，作为该方向的计算结果。

S13：对所述多个方向的计算结果进行交叉熵的最优化处理，得到所述目标操作对象的卷积结果。

该步骤具体包括：对所述多个方向的计算结果进行交叉熵的最优化处理，将交叉熵值最小的计算结果确定为所述目标操作对象的卷积结果。

可以理解的是，该步骤中对多个方向的计算结果进行交叉熵的最优化处理，可以替换为L2范数或其他聚类方法来度量最后的输出，以确定最后的卷积结果。由于最终的卷积效果是综合分析多个方向的卷积结果得出的，因此更能反映出目标特性，在后续卷积神经网络的不断处理中，可以获取到更加泛化的特征，从而提高卷积神经网络的学习能力。

但是在训练过程中，由于卷积神经网络中需要基于目标函数或损失函数求取一阶偏导数，而基于L2范数的边窗卷积计算算法可能会导致算法收敛速度变慢，例如基于sigmoid非激活函数，当输入数据数值过大或过小时，一阶偏导数趋于零。因此本申请中选择了学习速度有明显优势的交叉熵的最优化处理，基于交叉熵的最优化，选择当前处理点中最小的交叉熵值对应的计算结果。

进一步的，所述目标操作对象具体为边界输入特征和/或纹理输入特征。此外，本实施例中目标操作对象还可以是可进行卷积处理操作的其他类型的输入特征。

可以理解的是，上述说明是以卷积核filter数目为1时的卷积处理方法，当卷积核filter为多个时，对每个卷积核对应的卷积结果进行加权平均，得到目标操作对象的最终卷积结果。具体的，按照caffe(Convolutional Architecture for Fast FeatureEmbedding)的数据格式nchw，其中n为batch批量数据，c为channel输入数据的通道数，h为hight高度，w为width宽度。即假设输入数据的形状shape为[1，384，13，13]，卷积核的卷积核大小kernel_size为3，填充pad为1，卷积步长stride为1，卷积核的数目num_out为256，由于pad为1，stride为1，因此通过卷积操作得到输出数据的shape为[1，256，13，13]。在应用本实施例的卷积处理方法时，将输入对象作为目标操作对象，对输入数据做8个方向的边窗卷积计算时，得到8个方向的计算结果，再进行最优化处理，可获取到当前通道当前点上的边窗卷积结果(shape为[1，1，1，1])；由于输入数据的通道数为384，在当前点的其他通道上，按照上述步骤，计算其他通道边窗卷积结果(shape为[1，384，1，1])；将当前所有通道上的边窗卷积结果加权平均，得到当前点的输出结果(shape为[1，1，1，1])；紧接着，按照上述3个步骤，计算输入数据其他点在当前filer中的边窗卷积结果(shape为[1，1，13，13])；最后，由于filter数目为256，计算在其他filter中边窗卷积结果(shape为[1，256，13，13])，从而得到整个输入对象的最终卷积结果。

本实施例公开了一种应用于卷积神经网络的卷积处理方法，包括：获取目标操作对象；所述目标操作对象具体为输入特征；对所述目标操作对象进行边窗卷积计算，得到多个方向的计算结果；对所述多个方向的计算结果进行交叉熵的最优化处理，得到所述目标操作对象的卷积结果。本实施例解决了原有卷积神经网络中以卷积核为中心点做卷积操作时带来的性能损失，通过综合分析多个方向上的边窗卷积操作，提高了卷积操作获取数据更泛化特征的能力，以此提高了卷积神经网络的性能。

本发明实施例公开了一种具体的应用于卷积神经网络的卷积处理方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的，参见图3所示：

S21：获取目标操作对象；所述目标操作对象具体为输入特征；

S22：确定四个计算边窗的方向分别为左上、右上、左下、右下；

可以理解的是，边窗的选择需要权衡目标特性和计算量，上一实施例中边窗卷积计算存在大量的重复性计算，速度上可能会大打折扣，基于此点进行改进，本实施例中只选择了图2d中的四个方向，在保证边窗卷积计算效果的同时降低了计算量。

S23：分别利用四个所述计算边窗对所述目标操作对象进行边窗卷积计算，得到四个方向的计算结果。

具体的，该步骤可以按照以下方法执行：

可以理解的是，为了充分利用显卡或CPU的性能，调整多个目标操作对象的操作顺序，先统一计算同一个方向所有的边窗卷积，然后计算另一个方向的边窗卷积，这样可以充分利用显卡性能，提高计算速度。因此本实施例并非限定了计算顺序为左上、右上、左下、右下，该计算顺序仅为举例，以其他计算顺序进行计算，只要在同一方向进行了所有的边窗卷积计算，均可实现本实施例提高计算速度的效果。

S24：对所述多个方向的计算结果进行交叉熵的最优化处理，得到所述目标操作对象的卷积结果。

相对于现有技术中卷积神经网络的卷积操作，本实施例将之前已卷积核为中心的一次卷积计算，替换为多个方向的边窗卷积计算，通过交叉熵的最优化处理得到最终卷积结果，充分利用卷积神经网络局部感受野特性，使得提取到的特征更能反映目标的本身特性，特征的泛化性能更强，进一步来讲，本实施例中的卷积可以提取到更为泛化的特征，因此可以设计出相对比较浅且比较窄的网络，这样能够提高卷积神经网络的性能，降低模型的参数量。

相应的，本发明还公开了一种应用于卷积神经网络的卷积处理系统，参见图4所示，包括：

获取模块01，用于获取目标操作对象；所述目标操作对象具体为输入特征；

计算模块02，用于对所述目标操作对象进行边窗卷积计算，得到多个方向的计算结果；

结果确定模块03，用于对所述多个方向的计算结果进行交叉熵的最优化处理，得到所述目标操作对象的卷积结果。

在一些具体的实施例中，所述计算模块02具体用于：

确定四个计算边窗的方向分别为左上、右上、左下、右下；

在一些具体的实施例中，计算模块02具体用于：

在一些具体的实施例中，所述结果确定模块03具体用于：

在一些具体的实施例中，所述目标操作对象具体为边界输入特征和/或纹理输入特征。

在一些具体的实施例中，所述卷积处理系统还包括：加权平均模块，用于当卷积核为多个时，对每个所述卷积核对应的卷积结果进行加权平均，得到所述目标操作对象的最终卷积结果。

本发明实施例解决了原有卷积神经网络中以卷积核为中心点做卷积操作时带来的性能损失，通过综合分析多个方向上的边窗卷积操作，提高了卷积操作获取数据更泛化特征的能力，以此提高了卷积神经网络的性能。

相应的，本发明还公开了一种应用于卷积神经网络的卷积处理装置，参见图5所示，包括处理器11和存储器12；其中，所述处理11执行所述存储器12中保存的计算机程序时实现以下步骤：

获取目标操作对象；所述目标操作对象具体为输入特征；

在一些具体的实施例中，所述处理器11执行所述存储器12中保存的计算机子程序时，具体可以实现以下步骤：

确定四个计算边窗的方向分别为左上、右上、左下、右下；

当卷积核为多个时，对每个所述卷积核对应的卷积结果进行加权平均，得到所述目标操作对象的最终卷积结果。

进一步的，本实施例中的卷积处理装置，还可以包括：

输入接口13，用于获取外界导入的计算机程序，并将获取到的计算机程序保存至所述存储器12中，还可以用于获取外界终端设备传输的各种指令和参数，并传输至处理器11中，以便处理器11利用上述各种指令和参数展开相应的处理。本实施例中，所述输入接口13具体可以包括但不限于USB接口、串行接口、语音输入接口、指纹输入接口、硬盘读取接口等。

输出接口14，用于将处理器11产生的各种数据输出至与其相连的终端设备，以便于与输出接口14相连的其他终端设备能够获取到处理器11产生的各种数据。本实施例中，所述输出接口14具体可以包括但不限于USB接口、串行接口等。

通讯单元15，用于在卷积处理装置和外部服务器之间建立远程通讯连接，以便于卷积处理装置能够将镜像文件挂载到外部服务器中。本实施例中，通讯单元15具体可以包括但不限于基于无线通讯技术或有线通讯技术的远程通讯单元。

键盘16，用于获取用户通过实时敲击键帽而输入的各种参数数据或指令。

显示器17，用于对卷积处理过程的相关信息进行实时显示，以便于用户及时地了解当前卷积神经网络的处理情况。

鼠标18，可以用于协助用户输入数据并简化用户的操作。

进一步的，本申请实施例还公开了一种计算机可读存储介质，这里所说的计算机可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动硬盘、CD-ROM或技术领域内所公知的任意其他形式的存储介质。计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取目标操作对象；所述目标操作对象具体为输入特征；

在一些具体的实施例中，所述计算机可读存储介质中存储的计算机子程序被处理器执行时，具体可以实现以下步骤：

确定四个计算边窗的方向分别为左上、右上、左下、右下；

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种应用于卷积神经网络的卷积处理方法、系统及相关组件进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种应用于卷积神经网络的卷积处理方法，其特征在于，包括：

获取目标操作对象；所述目标操作对象具体为输入特征；

2.根据权利要求1所述卷积处理方法，其特征在于，所述对所述目标操作对象进行边窗卷积计算，得到多个方向的计算结果的过程，具体包括：

确定四个计算边窗的方向分别为左上、右上、左下、右下；

3.根据权利要求2所述卷积处理方法，其特征在于，当所述目标操作对象为多个，所述分别利用所述计算边窗对所述目标操作对象进行边窗卷积计算，得到四个方向的计算结果的过程，具体包括：

4.根据权利要求1至3任一项所述卷积处理方法，其特征在于，所述对所述多个方向的计算结果进行交叉熵的最优化处理，得到所述目标操作对象的卷积结果的过程，具体包括：

5.根据权利要求4所述卷积处理方法，其特征在于，所述目标操作对象具体为边界输入特征和/或纹理输入特征。

6.根据权利要求5所述卷积处理方法，其特征在于，当卷积核为多个时，所述卷积处理方法还包括：

对每个所述卷积核对应的卷积结果进行加权平均，得到所述目标操作对象的最终卷积结果。

7.一种应用于卷积神经网络的卷积处理系统，其特征在于，包括：

8.根据权利要求7所述卷积处理系统，其特征在于，所述计算模块具体用于：

确定四个计算边窗的方向分别为左上、右上、左下、右下；

9.一种应用于卷积神经网络的卷积处理装置，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述应用于卷积神经网络的卷积处理方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述应用于卷积神经网络的卷积处理方法的步骤。