CN113362384A - 多通道亚像素卷积神经网络的高精度工业零件测量算法 - Google Patents

Abstract

本发明涉及机器视觉工业测量技术领域，具体涉及多通道亚像素卷积神经网络的高精度工业零件测量算法。发明将图像信号中高频率和低频率的分量同时作为神经网络的输入，利用Roberts交叉微分算子和Sobel微分算子对图像进行计算，得到两种互补的边缘图像信息，然后将原始图像与两种边缘图像作为神经网络的输入，这样可以使能量较小的高频带信息在重建过程中起到作用，并得到保留，更有利于测量高精度工业零件。设计的网络由6层卷积神经网络构成，网络包含两个残差块，每个残差块由两个卷积层组成，从而使网络能学习到更多的图像细节特征。最后将两部分高分辨率重建图像叠加，从而使重建图像具有更清晰的细节，得到高分辨率的亚像素高清晰的图像。

Description

多通道亚像素卷积神经网络的高精度工业零件测量算法

技术领域

本发明涉及机器视觉工业测量技术领域，具体涉及多通道亚像素卷积神经网络的高精度工业零件测量算法。

背景技术

随着计算机视觉工业测量技术的发展，高精度的边缘检测和边缘定位技术应运而生。边缘检测也是高精度机器视觉测量领域对所获取的图像进行分析判别的必要预处理步骤，在边缘被提取的前提下，其他基于边缘的诸如轮廓检测、尺寸测算等步骤才能进一步展开，从而完成整个高精度机器视觉的流程。高效且精确的检测技术将极大突破图像采集设备的硬件限制，既能提高边缘检测的精度，也可以降低设备成本和能源消耗，但是目前的很多提取算法存在一定程度的缺陷，需要进行优化或者多种算法组合。

发明内容

针对上述技术背景提到的不足，本发明的目的在于提供多通道亚像素卷积神经网络的高精度工业零件测量算法。

本发明的目的可以通过以下技术方案实现：

多通道亚像素卷积神经网络的高精度工业零件测量算法，所述高精度工业零件测量算法采用两种算子来提取图像边缘特征，分别是Roberts交叉微分算子和Sobel微分算子，生成工业零件的边缘图像LX1，LX2，再将原始图像与边缘图像一起作为神经网络的输入，网络由6层卷积神经网络构成，网络包含两个残差块，每个残差块由两个卷积层组成，从而使网络能学习到更多的图像细节特征，最后将两部分高分辨率重建图像叠加，从而使重建图像具有更清晰的细节，从而得到高分辨率的亚像素高清晰的图像。

进一步的，所述高精度工业零件测量算法的具体步骤如下：

S1、采用边缘提取Roberts、Sobel对图像进行边缘得取，得到图像的边缘图像LX1，LX2；

S2、使用低分辨率多通道图像X和边缘图像LX1，LX2一同作为网络输入Y；

S3、设计的网络为6层的深度卷积网络，网络包含两个残差块，每个残差块由两个卷积层组成，在每个残差块之间增加跳跃连接，跳跃连接使用恒等映射，从而使网络能学习到更多的图像细节特征，

网络中的激活函数选择Leaky ReLU，Leaky ReLU数学表达式为：

式(1)中的参数a取0～1之间的小数，Leaky ReLU是对ReLU的改进，ReLU在输入值为负时，输出始终为0，因此将导致神经元不能更新参数，Leaky ReLU对这一现象进行了改进，可确保输出为负值时，也有一个很小的输出，从而能确保参数不断被更新，得到满意结果；

S4、在Conv1层通过卷积完成特征提取，首先利用32个3×3的卷积核对输入网络的双通道图像进行卷积操作来提取特征，以此得到32幅特征图并构成C1层，然后运用激活函数对特征进行非线性映射，具体实现公式为

F₁(Y)＝max(0,W₁*Y+B₁)+a*min(0,W₁*Y+B₁) (2)

其中，F₁(Y)表示该层输出的特征图；参数a＝0.01；*表示卷积操作；W₁和B₁分别表示Conv1的卷积核和偏差，W₁＝c×n₁×f₁×f₁，n₁是该层滤波器数量，n₁＝32，c表示所处理图像的通道数，本文中c＝3，f₁×f₁表示该层卷积核的大小为3×3；

S5、Conv2、Conv3、Conv4和Conv5为非线性映射层，C1层的特征图作为残差网络的输入，Conv2与Conv3分别与32个3×3的卷积核进行卷积操作，分别得到包含32幅特征图的C2和C3层，实现方法与Conv1相同，Conv2和Conv3实现公式分别为：

F₂(Y)＝max(0,W₂*F₁(Y)+B₂)+a*min(0,W₂*F₁(Y)+B₂) (3)

F₃(Y)＝max(0,W₃*F₂(Y)+B₃)+a*min(0,W₃*F₂(Y)+B₃) (4)

W₂和B₂分别表示Conv2的卷积核和偏差，W₃和B₃分别表示Conv2的卷积核和偏差；

S6、第一个残差块输出C3的特征图与其恒等映射分支C1的特征图进行卷积操作，形成包含32幅特征图的C4层，Conv4卷积操作公式分为

F₄(Y)＝max(0,W₄*(F₃(Y)+F₁(Y))+B₄)+a*min(0,W₄*(F₃(Y)+F₁(Y))+B₄) (5)

式(5)中，W₄和B₄分别表示Conv4的卷积核和偏差，W4＝n3×n4×f4×f4；

S7、第二个残差块的输出特征图及其恒等映射的分支特征图与32个3×3的卷积核进行卷积操作形成32幅特征图的C5层，其实现方法与Conv1相同，

F₅(Y)＝max(0,W₅*F₄(Y)+B₅)+a*min(0,W₅*F₄(Y)+B₅) (6)

S8、最后一层Conv6是上采样与重建，如果r为放大系数，首先在C6层通过大小为1×1的亚像素卷积核生成r2幅特征图，然后重新排列这些特征图并得到放大r倍的高分辨率的图像即HR，其过程操作可表示为

HR＝F₆(Y)＝PS(W₆*(F₅(Y)+F₃(Y))+B₆) (7)

式(7)中，W6和B6表示卷积核与偏差，W6＝n4×n5×f6×f6，F5(Y)，F3(Y)分别表示第2个残差模块的卷积分支和恒等映射分支；PS表示一个周期的变换算子，用于实现像素的重新排列，生成一个r×H×r×W高分辨率图像，F6(Y)表示重建后的高分辨率图像，通过亚像素卷积层实现超分辨率重建操作，将学习到的特征图中位于同一位置的像素点进行重新排列，得到高分辨率深度图像。

进一步的，所述Roberts交叉微分算子为一种斜向偏差分的梯度计算方法，梯度的大小代表边缘的强度，梯度的方向与边缘的走向垂直(正交)，交叉微分算子定义如下：

▽f(i,j)＝|f(i+1,j+1)-f(i,j)|+|f(i+1,j)-f(i,j+1)| (8)

按照图像处理的模板描述形式为

因此，有下式：

▽f(i,j)＝|D₁(f(i,j))|+|D₂(f(i,j))| (9)。

进一步的，所述Sobel算子为一种一阶微分算子，它利用像素邻近区域的梯度值来计算1个像素的梯度，然后根据确定的绝对值来取舍，Di及Dj分别代表经横向及纵向边缘检测的图像Sobel算子垂直方向和水平方向，Di可以检测出图像中的水平方向的边缘，Dj则可以检测图像中垂直方向的边缘，

SobeL微分算子定义如下：

用图像处理的模板描述形式为：

和

因此，有下式：

进一步的，所述Roberts交叉微分算子求解过程如下：

设有灰度图像为

对图像f罩不住的地方处理结果令为0，其他像素按式(9)来计算，如对f(2,2)进行计算，那么它对应的图像子块为

根据公式(9)计算结果为g(2,2)＝|0-8|+|6-7|＝9，遍历整个图像，最终得到图像f的Roberts边缘信息为

进一步的，所述Sobel微分算子求解过程如下：

假设灰度图像仍为

采用Sobel微分算子的图像模版对f进行计算，对f罩不住的地方，则结果令为0，其他像素按式(12)计算，如对f(2,2)进行计算，则其对应的图像子块为

根据公式(12)计算结果为

遍历整个图像，最终得到图像f的Sobel边缘信息为

本发明的有益效果：

1、发明将图像信号中高频率和低频率的分量同时作为神经网络的输入，利用Roberts交叉微分算子和Sobel微分算子对图像进行计算，得到两种互补的边缘图像信息，然后将原始图像与两种边缘图像作为神经网络的输入，这样可以使能量较小的高频带信息在重建过程中起到作用，并得到保留，更有利于测量高精度工业零件。避免了传统方法将低分辨率图像转化为高分辨率图像过程中容易忽略了能量较小的高频分量，比如图像中的边缘和纹理细节。

2、本发明设计的网络由6层卷积神经网络构成，网络包含两个残差块，每个残差块由两个卷积层组成，从而使网络能学习到更多的图像细节特征。最后将两部分高分辨率重建图像叠加，从而使重建图像具有更清晰的细节，从而得到高分辨率的亚像素高清晰的图像。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图；

图1是六层卷积层神经网络框架；

图2是亚像素卷积层原理。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

多通道亚像素卷积神经网络的高精度工业零件测量算法，

采用两种算子来提取图像边缘特征：分别是Roberts交叉微分算子和Sobel微分算子

Roberts交叉微分算子：

Roberts算子利用局部差分算子寻找边缘，边缘定位精度较高，但容易丢失一部分边缘，不具备抑制噪声的能力。该算子对具有陡峭边缘且含噪声少的图像效果较好，尤其是边缘正负45度较多的图像，但定位准确率较差；

Sobel算子：

Sobel算子考虑了综合因素，对噪声较多的图像处理效果更好，Sobel算子边缘定位效果不错，但检测出的边缘容易出现多像素宽度。

这两种算子具有互补性，因此考虑采用两种算子，生成工业零件的边缘图像LX1，LX2。

再将原始图像与边缘图像一起作为神经网络的输入，网络由6层卷积神经网络构成，网络包含两个残差块，每个残差块由两个卷积层组成，从而使网络能学习到更多的图像细节特征。最后将两部分高分辨率重建图像叠加，从而使重建图像具有更清晰的细节，从而得到高分辨率的亚像素高清晰的图像。

算法具体步骤如下：

S1、采用边缘提取Roberts、Sobel对图像进行边缘得取，得到图像的边缘图像LX1，LX2；

S2、使用低分辨率深度图像X和边缘图像LX1，LX2一同作为网络输入Y；

S3、设计的网络为6层的深度卷积网络。网络包含两个残差块，每个残差块由两个卷积层组成，在每个残差块之间增加跳跃连接，跳跃连接使用恒等映射，从而使网络能学习到更多的图像细节特征。

网络中的激活函数选择Leaky ReLU，Leaky ReLU数学表达式为：

式(1)中的参数a取0～1之间的小数。Leaky ReLU是对ReLU的改进，ReLU在输入值为负时，输出始终为0，因此将导致神经元不能更新参数，Leaky ReLU对这一现象进行了改进，可确保输出为负值时，也有一个很小的输出，从而能确保参数不断被更新，得到满意结果。

S4、在Conv1层通过卷积完成特征提取。首先利用32个3×3的卷积核对输入网络的双通道图像进行卷积操作来提取特征，以此得到32幅特征图并构成C1层。然后运用激活函数对特征进行非线性映射，具体实现公式为

F₁(Y)＝max(0,W₁*Y+B₁)+a*min(0,W₁*Y+B₁) (2)

其中，F₁(Y)表示该层输出的特征图；参数a＝0.01；*表示卷积操作；W₁和B₁分别表示Conv1的卷积核和偏差，W₁＝c×n₁×f₁×f₁，n₁是该层滤波器数量，n₁＝32，c表示所处理图像的通道数，本文中c＝3，f₁×f₁表示该层卷积核的大小为3×3。

S5、Conv2、Conv3、Conv4和Conv5为非线性映射层。C1层的特征图作为残差网络的输入，Conv2与Conv3分别与32个3×3的卷积核进行卷积操作，分别得到包含32幅特征图的C2和C3层，实现方法与Conv1相同。Conv2和Conv3实现公式分别为：

F₂(Y)＝max(0,W₂*F₁(Y)+B₂)+a*min(0,W₂*F₁(Y)+B₂) (3)

F₃(Y)＝max(0,W₃*F₂(Y)+B₃)+a*min(0,W₃*F₂(Y)+B₃) (4)

W₂和B₂分别表示Conv2的卷积核和偏差，W₃和B₃分别表示Conv2的卷积核和偏差。

S6、第一个残差块输出C3的特征图与其恒等映射分支C1的特征图进行卷积操作，形成包含32幅特征图的C4层。Conv4卷积操作公式分为

F₄(Y)＝max(0,W₄*(F₃(Y)+F₁(Y))+B₄)+a*min(0,W₄*(F₃(Y)+F₁(Y))+B₄)(5)

式(5)中，W₄和B₄分别表示Conv4的卷积核和偏差，W4＝n3×n4×f4×f4。

S7、第二个残差块的输出特征图及其恒等映射的分支特征图与32个3×3的卷积核进行卷积操作形成32幅特征图的C5层，其实现方法与Conv1相同。

F₅(Y)＝max(0,W₅*F₄(Y)+B₅)+a*min(0,W₅*F₄(Y)+B₅) (6)

S8、最后一层Conv6是上采样与重建。如果r为放大系数，首先在C6层通过大小为1×1的亚像素卷积核生成r2幅特征图，然后重新排列这些特征图并得到放大r倍的高分辨率的图像即HR。其过程操作可表示为

HR＝F₆(Y)＝PS(W₆*(F₅(Y)+F₃(Y))+B₆) (7)

式(7)中，W6和B6表示卷积核与偏差，W6＝n4×n5×f6×f6。F5(Y)，F3(Y)分别表示第2个残差模块的卷积分支和恒等映射分支；PS表示一个周期的变换算子，用于实现像素的重新排列，生成一个r×H×r×W高分辨率图像，F6(Y)表示重建后的高分辨率图像。通过亚像素卷积层实现超分辨率重建操作。将学习到的特征图中位于同一位置的像素点进行重新排列，得到高分辨率深度图像。

Roberts交叉微分算子和Sobel算子的具体求解方法如下：

1、Roberts交叉微分算子是一种斜向偏差分的梯度计算方法，梯度的大小代表边缘的强度，梯度的方向与边缘的走向垂直(正交)。交叉微分算子定义如下：

▽f(i,j)＝|f(i+1,j+1)-f(i,j)|+|f(i+1,j)-f(i,j+1)| (8)

按照图像处理的模板描述形式为

因此，有下式：

▽f(i,j)＝|D₁(f(i,j))|+|D₂(f(i,j))| (9)

2、Sobel算子是一种一阶微分算子，它利用像素邻近区域的梯度值来计算1个像素的梯度，然后根据确定的绝对值来取舍。Di及Dj分别代表经横向及纵向边缘检测的图像Sobel算子垂直方向和水平方向，Di可以检测出图像中的水平方向的边缘，Dj则可以检测图像中垂直方向的边缘。

SobeL微分算子定义如下：

用图像处理的模板描述形式为：

和

因此，有下式：

采用两种微分算子具体求解过程：

Roberts交叉微分算子边缘计算，设有灰度图像为

对图像f罩不住的地方处理结果令为0，其他像素按式(9)来计算，如对f(2,2)进行计算，那么它对应的图像子块为

根据公式(9)计算结果为g(2,2)＝|0-8|+|6-7|＝9，遍历整个图像，最终得到图像f的Roberts边缘信息为

Sobel微分算子边缘计算，假设灰度图像仍为

采用Sobel微分算子的图像模版对f进行计算，对f罩不住的地方，则结果令为0，其他像素按式(12)计算，如对f(2,2)进行计算，则其对应的图像子块为

根据公式(12)计算结果为

遍历整个图像，最终得到图像f的Sobel边缘信息为

根据上述过程，可以计算出图像的边缘信息。

亚像素卷积层原理如图2所示，设LR图像大小为2x2，网络的放大倍数为2，经过网络，得到大小为4x4的HR输出图像。直接将LR图像块和4个大小为1x1的卷积核进行卷积计算，然后将得到的4个大小为2x2的特征图进行像素重新排列，生成4x4大小的高分辨率图像。

上述模型网络通过训练得到相关的卷积核相关参数。采集原始图像尺寸200*200，利用Roberts、Sobel对图像进行边缘得取，得到图像的边缘图像。放大倍数取r＝2,3,4。使用Caffe深度学习工具箱进行神经网络模型的搭建和训练。最后训练完成，可以得到相关放大倍数的高分辨率图像。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (6)

1.多通道亚像素卷积神经网络的高精度工业零件测量算法，其特征在于，所述高精度工业零件测量算法采用两种算子来提取图像边缘特征，分别是Roberts交叉微分算子和Sobel微分算子，生成工业零件的边缘图像LX1，LX2，再将原始图像与边缘图像一起作为神经网络的输入，网络由6层卷积神经网络构成，网络包含两个残差块，每个残差块由两个卷积层组成，从而使网络能学习到更多的图像细节特征，最后将两部分高分辨率重建图像叠加，从而使重建图像具有更清晰的细节，从而得到高分辨率的亚像素高清晰的图像。

2.根据权利要求1所述的多通道亚像素卷积神经网络的高精度工业零件测量算法，其特征在于，所述高精度工业零件测量算法的具体步骤如下：

S1、采用边缘提取Roberts、Sobel对图像进行边缘得取，得到图像的边缘图像LX1，LX2；

S2、使用低分辨率多通道图像X和边缘图像LX1，LX2一同作为网络输入Y；

S3、设计的网络为6层的深度卷积网络，网络包含两个残差块，每个残差块由两个卷积层组成，在每个残差块之间增加跳跃连接，跳跃连接使用恒等映射，从而使网络能学习到更多的图像细节特征，

网络中的激活函数选择Leaky ReLU，Leaky ReLU数学表达式为：

式(1)中的参数a取0～1之间的小数，Leaky ReLU是对ReLU的改进，ReLU在输入值为负时，输出始终为0，因此将导致神经元不能更新参数，Leaky ReLU对这一现象进行了改进，可确保输出为负值时，也有一个很小的输出，从而能确保参数不断被更新，得到满意结果；

S4、在Conv1层通过卷积完成特征提取，首先利用32个3×3的卷积核对输入网络的双通道图像进行卷积操作来提取特征，以此得到32幅特征图并构成C1层，然后运用激活函数对特征进行非线性映射，具体实现公式为

F₁(Y)＝max(0,W₁*Y+B₁)+a*min(0,W₁*Y+B₁) (2)

其中，F₁(Y)表示该层输出的特征图；参数a＝0.01；*表示卷积操作；W₁和B₁分别表示Conv1的卷积核和偏差，W₁＝c×n₁×f₁×f₁，n₁是该层滤波器数量，n₁＝32，c表示所处理图像的通道数，本文中c＝3，f₁×f₁表示该层卷积核的大小为3×3；

S5、Conv2、Conv3、Conv4和Conv5为非线性映射层，C1层的特征图作为残差网络的输入，Conv2与Conv3分别与32个3×3的卷积核进行卷积操作，分别得到包含32幅特征图的C2和C3层，实现方法与Conv1相同，Conv2和Conv3实现公式分别为：

F₂(Y)＝max(0,W₂*F₁(Y)+B₂)+a*min(0,W₂*F₁(Y)+B₂) (3)

F₃(Y)＝max(0,W₃*F₂(Y)+B₃)+a*min(0,W₃*F₂(Y)+B₃) (4)

W₂和B₂分别表示Conv2的卷积核和偏差，W₃和B₃分别表示Conv2的卷积核和偏差；

S6、第一个残差块输出C3的特征图与其恒等映射分支C1的特征图进行卷积操作，形成包含32幅特征图的C4层，Conv4卷积操作公式分为

F₄(Y)＝max(0,W₄*(F₃(Y)+F₁(Y))+B₄)+a*min(0,W₄*(F₃(Y)+F₁(Y))+B₄) (5)

式(5)中，W₄和B₄分别表示Conv4的卷积核和偏差，W4＝n3×n4×f4×f4；

S7、第二个残差块的输出特征图及其恒等映射的分支特征图与32个3×3的卷积核进行卷积操作形成32幅特征图的C5层，其实现方法与Conv1相同，

F₅(Y)＝max(0,W₅*F₄(Y)+B₅)+a*min(0,W₅*F₄(Y)+B₅) (6)

S8、最后一层Conv6是上采样与重建，如果r为放大系数，首先在C6层通过大小为1×1的亚像素卷积核生成r2幅特征图，然后重新排列这些特征图并得到放大r倍的高分辨率的图像即HR，其过程操作可表示为

HR＝F₆(Y)＝PS(W₆*(F₅(Y)+F₃(Y))+B₆) (7)

式(7)中，W6和B6表示卷积核与偏差，W6＝n4×n5×f6×f6，F5(Y)，F3(Y)分别表示第2个残差模块的卷积分支和恒等映射分支；PS表示一个周期的变换算子，用于实现像素的重新排列，生成一个r×H×r×W高分辨率图像，F6(Y)表示重建后的高分辨率图像，通过亚像素卷积层实现超分辨率重建操作，将学习到的特征图中位于同一位置的像素点进行重新排列，得到高分辨率深度图像。

3.根据权利要求1所述的多通道亚像素卷积神经网络的高精度工业零件测量算法，其特征在于，所述Roberts交叉微分算子为一种斜向偏差分的梯度计算方法，梯度的大小代表边缘的强度，梯度的方向与边缘的走向垂直(正交)，交叉微分算子定义如下：

按照图像处理的模板描述形式为

因此，有下式：

4.根据权利要求1所述的多通道亚像素卷积神经网络的高精度工业零件测量算法，其特征在于，所述Sobel微分算子为一种一阶微分算子，它利用像素邻近区域的梯度值来计算1个像素的梯度，然后根据确定的绝对值来取舍，Di及Dj分别代表经横向及纵向边缘检测的图像Sobel微分算子垂直方向和水平方向，Di可以检测出图像中的水平方向的边缘，Dj则可以检测图像中垂直方向的边缘，

SobeL微分算子定义如下：

用图像处理的模板描述形式为：

和

因此，有下式：

5.根据权利要求3所述的多通道亚像素卷积神经网络的高精度工业零件测量算法，其特征在于，所述Roberts交叉微分算子求解过程如下：

设有灰度图像为

对图像f罩不住的地方处理结果令为0，其他像素按式(9)来计算，如对f(2,2)进行计算，那么它对应的图像子块为

根据公式(9)计算结果为g(2,2)＝|0-8|+|6-7|＝9，遍历整个图像，最终得到图像f的Roberts边缘信息为

6.根据权利要求4所述的多通道亚像素卷积神经网络的高精度工业零件测量算法，其特征在于，所述Sobel微分算子求解过程如下：

假设灰度图像仍为

采用Sobel微分算子的图像模版对f进行计算，对f罩不住的地方，则结果令为0，其他像素按式(12)计算，如对f(2,2)进行计算，则其对应的图像子块为

根据公式(13)计算结果为

遍历整个图像，最终得到图像f的Sobel边缘信息为

Images