CN110033469B - 一种亚像素边缘检测方法及系统 - Google Patents

Abstract

本发明提供一种亚像素边缘检测方法及系统，能够提高钢板边缘检测的精度和抗干扰能力。所述方法包括：获取钢板表面图像，降低每张图像的分辨率；将降低分辨率后的图像输入到已构建的超分辨卷积神经网络进行图像超分辨率重建，得到高分辨率图像；对得到的高分辨率图像，提取N个一维向量上点的像素值，并输入到已构建的卷积神经网络中提取图像特征，其中，一维向量为在边缘处等间距取的N个与边缘垂直的一维向量；将提取的图像特征输入到双向长短期记忆网络，得到边缘点像素位置信息。本发明适用于钢板边缘检测。

Description

一种亚像素边缘检测方法及系统

技术领域

本发明涉及机器视觉领域，特别是指一种亚像素边缘检测方法及系统。

背景技术

钢板制造业是国家发展重工业经济的重要条件，其产品在冶金工业、电力工业、汽车制造、船舶制造、飞机制造等领域得到了广泛的应用。工业钢板作为各类大型设备制造的基础，在轧钢生产过程中钢板尺寸是很重要的参数，直接决定着钢板的成材率和后续产品质量。在现代板材生产中，不论是轧制过程还是最终产品的调整中，尺寸控制技术可显著提高经济效益和产品竞争力。

现有的边缘检测技术均采用传统的模式识别或机器学习方法，在工业相机获取钢板图片后，经过灰度转换，进行图像滤波、图像增强等预处理，然后对预处理后的图片采用边缘检测算法抽取反映灰度变化的边缘点，然后确定边缘位置。

现有的边缘检测技术通常是考察图像的每个像素在某个领域内灰度的变化，利用像素灰度是否有阶跃变化来检测边缘，但是，由于钢板在生产过程中受到轧制工艺和系统控制等因素影响，其表容易面出现擦疤、划伤、起皮等缺陷，在这种情况下，现有的边缘检测技术可能会将疤痕等地方检测为边缘而发生错误，导致检测精度低。另外，现有的边缘检测根据不同场景需要多次调整阈值参数。在工业级面阵电荷耦合元件(Charge-CoupledDevices，CCD)相机的分辨率较低的情况下，现有的边缘检测技术难以满足大视场的高精度边缘测量。

发明内容

本发明要解决的技术问题是提供一种亚像素边缘检测方法及系统，以解决现有技术所存在的检测精度低、抗噪声性能差，无法满足工业生产要求的问题。

为解决上述技术问题，本发明实施例提供一种亚像素边缘检测方法，包括：

获取钢板表面图像，降低每张图像的分辨率；

将降低分辨率后的图像输入到已构建的超分辨卷积神经网络进行图像超分辨率重建，得到高分辨率图像；

对得到的高分辨率图像，提取N个一维向量上点的像素值，并输入到已构建的卷积神经网络中提取图像特征，其中，一维向量为在边缘处等间距取的N个与边缘垂直的一维向量；

将提取的图像特征输入到双向长短期记忆网络，得到边缘点像素位置信息。

进一步地，所述降低每张图像的分辨率包括：

通过双线性插值降低每张图像的分辨率，得到低分辨率图像。

进一步地，所述将降低分辨率后的图像输入到已构建的超分辨卷积神经网络进行图像超分辨率重建，得到高分辨率图像包括：

将降低分辨率后得到的低分辨率图像输入到已构建的超分辨卷积神经网络；

对输入的低分辨率图像使用双线性插值将低分辨率图像放大成目标尺寸；

对得到的目标尺寸图像，通过三层卷积网络拟合非线性映射，输出高分辨率图像。

进一步地，所述对得到的高分辨率图像，提取N个一维向量上点的像素值，并输入到已构建的卷积神经网络中提取图像特征包括：

对得到的高分辨率图像，在边缘处等间距地取N个与边缘垂直的一维向量，提取每个一维向量上点的像素值；

将N个一维向量上点的像素值输入到已构建的卷积神经网络中提取图像特征。

进一步地，所述卷积神经网络为VGG16网络。

进一步地，将N个一维向量对应的特征信息输入到双向长短期记忆网络中，双向长短期记忆网络输出的是每个向量上边缘点像素位置信息。

进一步地，在获取钢板表面图像之后，所述方法还包括：

对获取的钢板表面图像进行边缘点提取，输出每张图像中钢板边缘处等间距N个点的像素坐标作为标签，所述标签用于计算边缘点误差。

本发明实施例还提供一种亚像素边缘检测系统，包括：

获取模块，用于获取钢板表面图像，降低每张图像的分辨率；

重建模块，用于将降低分辨率后的图像输入到已构建的超分辨卷积神经网络进行图像超分辨率重建，得到高分辨率图像；

提取模块，用于对得到的高分辨率图像，提取N个一维向量上点的像素值，并输入到已构建的卷积神经网络中提取图像特征，其中，一维向量为在边缘处等间距取的N个与边缘垂直的一维向量；

确定模块，用于将提取的图像特征输入到双向长短期记忆网络，得到边缘点像素位置信息。

本发明的上述技术方案的有益效果如下：

上述方案中，采用超分辨卷积神经网络进行图像超分辨率重建，将低分辨率图像转换为高分辨率图像；针对得到的高分辨率图像，采用卷积神经网络提取图像特征，将提取的图像特征输入到双向长短期记忆网络来进一步学习图像边缘点的位置信息，从而实现钢板边缘的精确检测。本发明实施例所述的亚像素边缘检测方法，对于有疤痕等干扰的钢板也能准确检测且具有良好的抗干扰能力。

附图说明

图1为本发明实施例提供的亚像素边缘检测方法的流程示意图；

图2为本发明实施例提供的亚像素边缘检测网络的结构示意图；

图3(a)为本发明实施例提供的有疤痕钢板表面原图示意图；

图3(b)为本发明实施例提供的无疤痕钢板表面原图示意图；

图3(c)为本发明实施例提供的有疤痕钢板表面图像边缘检测结果示意图；

图3(d)为本发明实施例提供的无疤痕钢板表面图像边缘检测结果示意图；

图4为本发明实施例提供的亚像素边缘检测系统的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有的检测精度低、抗噪声性能差，无法满足工业生产要求的问题，提供一种亚像素边缘检测方法及系统。

实施例一

如图1所示，本发明实施例提供的亚像素边缘检测方法，包括：

S101，获取钢板表面图像，降低每张图像的分辨率；

S102，将降低分辨率后的图像输入到已构建的超分辨卷积神经网络(Super-Resolution Convolutional Neural Network，SRCNN)进行图像超分辨率重建，得到高分辨率图像；

S103，对得到的高分辨率图像，提取N个一维向量上点的像素值，并输入到已构建的卷积神经网络中提取图像特征，其中，一维向量为在边缘处等间距取的N个与边缘垂直的一维向量；

S104，将提取的图像特征输入到双向长短期记忆网络(Long Short-Term Memory，LSTM)，得到边缘点像素位置信息。

本发明实施例所述的亚像素边缘检测方法，采用超分辨卷积神经网络进行图像超分辨率重建，将低分辨率图像转换为高分辨率图像；针对得到的高分辨率图像，采用卷积神经网络提取图像特征，将提取的图像特征输入到双向长短期记忆网络来进一步学习图像边缘点的位置信息，从而实现钢板边缘的精确检测。本发明实施例所述的亚像素边缘检测方法，对于有疤痕等干扰的钢板也能准确检测且具有良好的抗干扰能力。

本实施例中，得到的钢板边缘点像素位置信息，可以用来对钢板进行精确尺寸测量。

为了更好地理解低分辨率图像和高分辨率图像，对其进行说明：

图像分辨率指图像中存储的信息量，是每英寸图像内有多少个像素点，分辨率的单位为PPI(Pixels Per Inch)，通常叫做像素每英寸。一般来说，图像中信息量丰富的叫高分辨率图像，信息量少的叫低分辨率图像。本实施例中，可以将信息量大于预设的第一阈值的图像称为高分辨率图像，将信息量小于预设的第二阈值的图像称为低分辨率图像。

本实施例中，可以通过500万像素电荷耦合元件(CCD)工业相机采集钢板表面图像。

本实施例中，可以通过LABVIEW对采集得到的钢板表面图像进行边缘点提取，输出每张图像中钢板边缘处等间距N(例如，90)个点的像素坐标作为标签，其中，所述标签用于计算边缘点误差。

在前述亚像素边缘检测方法的具体实施方式中，进一步地，所述降低每张图像的分辨率包括：

通过双线性插值降低每张图像的分辨率，得到低分辨率图像，其中，得到的低分辨率图像作为超分辨卷积神经网络(SRCNN)的输入。

在前述亚像素边缘检测方法的具体实施方式中，进一步地，所述将降低分辨率后的图像输入到已构建的超分辨卷积神经网络进行图像超分辨率重建，得到高分辨率图像包括：

将降低分辨率后得到的低分辨率图像输入到已构建的超分辨卷积神经网络；

对输入的低分辨率图像使用双线性插值将低分辨率图像放大成目标尺寸；

对得到的目标尺寸图像，通过三层卷积网络拟合非线性映射，输出高分辨率图像。

本实施例中，所述超分辨卷积神经网络实现了将低分辨率图像转换为高分辨率图像的操作，以丰富边缘点信息，方便后续特征提取及预测精确的边缘位置信息。

在前述亚像素边缘检测方法的具体实施方式中，进一步地，所述对得到的高分辨率图像，提取N个一维向量上点的像素值，并输入到已构建的卷积神经网络中提取图像特征包括：

对得到的高分辨率图像，在边缘处等间距地取N个与边缘垂直的一维向量，提取每个一维向量上点的像素值；

将N个一维向量上点的像素值输入到已构建的卷积神经网络中提取图像特征。

本实施例中，所述卷积神经网络可以为经典卷积神经网络(VGG16网络)。

本实施例中，对所述超分辨卷积神经网络输出的所述高分辨率图像，通过LABVIEW在边缘处等间距地取90个与边缘垂直的一维向量，提取每个一维向量上点的像素值；将这90个一维向量上的点的像素值输入到已搭建的经典卷积神经网络(VGG16)中提取图像特征。

本实施例中，VGG16网络输入的维度为(90,1,2448,1)，其中，90为Batchsize(每批次样本数量)，1为height，2448为width，1为通道数；VGG16网络的输出维度为(90,1,1,4096)，其中，90为Batchsize，1为输出特征图的height，1为输出特征图的width，4096为通道数。

在前述亚像素边缘检测方法的具体实施方式中，进一步地，将N个一维向量对应的特征信息输入到双向长短期记忆网络中，双向长短期记忆网络输出的是每个向量上边缘点像素位置信息。

本实施例中，将90个一维向量对应的特征信息输入到双向长短期记忆网络中，获得更加精确的边缘点像素位置信息。

本实施例中，通过执行S101-S104，可以完成超分辨卷积神经网络(SRCNN)、卷积神经网络和双向LSTM的训练，得到如图2所示的亚像素边缘检测网络的结构示意图，图2中的SRCNN Block表示超分辨率重建网络；VGG16Block表示VGG卷积神经网络；Bi-directionLSTM Block表示双向长短期记忆网络；其中，训练SRCNN可以将低分辨率图像变为高分辨率图像，以丰富边缘点信息，便于卷积神经网络提取图像特征及双向LSTM预测精确的边缘位置信息；训练卷积神经网络与双向LSTM来进一步提取图像边缘点的特征，由于LSTM能够分析输入信息之间的整体逻辑序列与复杂的关联性，因此训练好网络对图像中的疤痕等干扰能够很好地进行处理。网络训练完成之后，可以将上文得到的钢板边缘处90个像素坐标标签和训练好的网络进行测试后输出的边缘处90个像素点坐标进行误差计算。

本实施例中，如图2所示，亚像素边缘检测网络的工作流程包括：

(1)获取的钢板表面图像经过双线性插值降低分辨率，利用SRCNN网络将每张低分辨率图像(维度为(2048,612,1))转换为高分辨率图像(维度为(2048,2448,1))；

(2)对得到的高分辨率图像，在边缘处等间距地取N(例如，90)个与边缘垂直的一维向量，提取每个一维向量上点的像素值；将N个一维向量上点的像素值(维度为(1,2448,1))输入到已构建的卷积神经网络(VGG16网络)中提取图像特征；

(3)将N个一维向量对应的特征信息(维度为(1,90,4096))输入到双向长短期记忆网络中，最后经过全连接层输出的是每个向量上边缘点像素位置信息(维度为(90,1))。

本实施例中，利用训练完成的亚像素边缘检测网络检测钢板边缘，得到如图3(a)-(d)所示的钢板边缘检测效果示意图。

经过实验验证，采用本实施例所述的亚像素边缘检测方法对表面有各种疤痕、污点的钢板边缘能很好地进行检测，检测误差在0.24mm以内，在边缘检测的精度上比现有方法高，能够满足工业生产检测精度的要求，对于钢板上的疤痕等噪声也有良好的抗干扰能力，且边缘检测成本低。本实施例所述的亚像素边缘检测方法在稳定地检测到钢板边缘的同时，其精度也能达到精准地进行钢板尺寸测量的要求，在生产更高质量的钢板产品过程中具有极大地应用价值。

实施例二

本发明还提供一种亚像素边缘检测系统的具体实施方式，由于本发明提供的亚像素边缘检测系统与前述亚像素边缘检测方法的具体实施方式相对应，该亚像素边缘检测系统可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述亚像素边缘检测方法具体实施方式中的解释说明，也适用于本发明提供的亚像素边缘检测系统的具体实施方式，在本发明以下的具体实施方式中将不再赘述。

如图4所示，本发明实施例还提供一种亚像素边缘检测系统，包括：

获取模块11，用于获取钢板表面图像，降低每张图像的分辨率；

重建模块12，用于将降低分辨率后的图像输入到已构建的超分辨卷积神经网络进行图像超分辨率重建，得到高分辨率图像；

提取模块13，用于对得到的高分辨率图像，提取N个一维向量上点的像素值，并输入到已构建的卷积神经网络中提取图像特征，其中，一维向量为在边缘处等间距取的N个与边缘垂直的一维向量；

确定模块14，用于将提取的图像特征输入到双向长短期记忆网络，得到边缘点像素位置信息。

本发明实施例所述的亚像素边缘检测系统，采用超分辨卷积神经网络进行图像超分辨率重建，将低分辨率图像转换为高分辨率图像；针对得到的高分辨率图像，采用卷积神经网络提取图像特征，将提取的图像特征输入到双向长短期记忆网络来进一步学习图像边缘点的位置信息，从而实现钢板边缘的精确检测。本发明实施例所述的亚像素边缘检测方法，对于有疤痕等干扰的钢板也能准确检测且具有良好的抗干扰能力。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种亚像素边缘检测方法，其特征在于，包括：

获取钢板表面图像，降低每张图像的分辨率；并对获取的钢板表面图像进行边缘点提取，输出每张图像中钢板边缘处等间距N个点的像素坐标作为标签，所述标签用于计算边缘点误差；

将降低分辨率后的图像输入到已构建的超分辨卷积神经网络进行图像超分辨率重建，得到高分辨率图像，丰富边缘点信息；

对得到的高分辨率图像，提取N个一维向量上点的像素值，并输入到已构建的卷积神经网络中提取图像特征，其中，一维向量为在边缘处等间距取的N个与边缘垂直的一维向量；

将提取的图像特征输入到双向长短期记忆网络，分析输入信息之间的整体逻辑序列与复杂的关联性，得到边缘点像素位置信息，检测误差在0.24mm以内；

所述降低每张图像的分辨率包括：

通过双线性插值降低每张图像的分辨率，得到低分辨率图像；

所述将降低分辨率后的图像输入到已构建的超分辨卷积神经网络进行图像超分辨率重建，得到高分辨率图像包括：

将降低分辨率后得到的低分辨率图像输入到已构建的超分辨卷积神经网络；

对输入的低分辨率图像使用双线性插值将低分辨率图像放大成目标尺寸；

对得到的目标尺寸图像，通过三层卷积网络拟合非线性映射，输出高分辨率图像；

所述得到的高分辨率图像，提取N个一维向量上点的像素值，并输入到已构建的卷积神经网络中提取图像特征包括：

对得到的高分辨率图像，在边缘处等间距地取N个与边缘垂直的一维向量，提取每个一维向量上点的像素值；

将N个一维向量上点的像素值输入到已构建的卷积神经网络中提取图像特征；

所述卷积神经网络为VGG16网络；

所述将提取的图像特征输入到双向长短期记忆网络，包括：将N个一维向量对应的特征信息输入到双向长短期记忆网络中，双向长短期记忆网络输出的是每个向量上边缘点像素位置信息。

2.一种亚像素边缘检测系统，其特征在于，包括：

获取模块，用于获取钢板表面图像，降低每张图像的分辨率；并对获取的钢板表面图像进行边缘点提取，输出每张图像中钢板边缘处等间距N个点的像素坐标作为标签，所述标签用于计算边缘点误差；

重建模块，用于将降低分辨率后的图像输入到已构建的超分辨卷积神经网络进行图像超分辨率重建，得到高分辨率图像，丰富边缘点信息；

提取模块，用于对得到的高分辨率图像，提取N个一维向量上点的像素值，并输入到已构建的卷积神经网络中提取图像特征，其中，一维向量为在边缘处等间距取的N个与边缘垂直的一维向量；

确定模块，用于将提取的图像特征输入到双向长短期记忆网络，分析输入信息之间的整体逻辑序列与复杂的关联性，得到边缘点像素位置信息，检测误差在0.24mm以内；

所述降低每张图像的分辨率包括：通过双线性插值降低每张图像的分辨率，得到低分辨率图像；

所述将降低分辨率后的图像输入到已构建的超分辨卷积神经网络进行图像超分辨率重建，得到高分辨率图像包括：将降低分辨率后得到的低分辨率图像输入到已构建的超分辨卷积神经网络；对输入的低分辨率图像使用双线性插值将低分辨率图像放大成目标尺寸；对得到的目标尺寸图像，通过三层卷积网络拟合非线性映射，输出高分辨率图像；

所述得到的高分辨率图像，提取N个一维向量上点的像素值，并输入到已构建的卷积神经网络中提取图像特征包括：对得到的高分辨率图像，在边缘处等间距地取N个与边缘垂直的一维向量，提取每个一维向量上点的像素值；将N个一维向量上点的像素值输入到已构建的卷积神经网络中提取图像特征；

所述卷积神经网络为VGG16网络；

所述将提取的图像特征输入到双向长短期记忆网络，包括：将N个一维向量对应的特征信息输入到双向长短期记忆网络中，双向长短期记忆网络输出的是每个向量上边缘点像素位置信息。

Images