CN108490000A - 一种棒线材表面缺陷在线检测装置和方法 - Google Patents

Abstract

本发明涉及一种棒线材表面缺陷在线检测的装置和方法，采用多光谱相机和红、绿、蓝、近红外光源组合的图像采集装置，同步获取待检测棒线材表面灰度图像与深度图像，并通过灰度图像与深度图像融合方法检测棒线材的表面缺陷。多光谱相机采集红、绿、蓝和近红外光源在棒线材表面的反射光，从采集到的图像中分离出红（R）、绿（G）、蓝（B）和近红外（NIR）通道图像，将NIR通道图像作为灰度图像，将R、G、B通道图像用三维重建算法重建三维表面，并得到深度图像。通过灰度图像与深度图像的像素级融合检测棒线材表面缺陷区域，将缺陷区域的灰度图像和深度图像输入到卷积神经网络进行缺陷分类，得到缺陷识别结果。

Description

一种棒线材表面缺陷在线检测装置和方法

技术领域

本发明涉及一种利用多光谱成像技术进行棒线材表面缺陷在线检测的方法与实现装置，属于光学测量领域。通过多光谱相机与红、绿、蓝、近红外光源的组合同时获取棒线材表面的灰度图像与深度图像，通过灰度图像与深度图像融合方法在线检测与识别棒线材表面缺陷，提高缺陷检测与识别的准确率。

背景技术

棒线材表面缺陷是影响棒线材质量的重要因素，目前对于棒线材表面缺陷的检测大多采用超声、红外、磁漏、涡流等传统无损检测方法，这些方法只能用于离线或低速的情况，并且检测到的缺陷类型非常有限。随着CCD摄像和计算机图像处理技术的发展，基于机器视觉的表面检测技术受到了越来越多的关注，但是，目前的表面检测系统大多采用以带钢、中厚板等扁平材为检测对象的两维检测方法，这种两维检测方式在棒线材的应用上难以取得好的效果，原因如下：

(1)棒线材的断面是弧面，如果采用两维图像检测方式，在采集到的图像中会存在阴影和光照不均现象，为后续的图像处理增加了难度。

(2)棒线材表面覆盖着大量氧化铁皮，氧化铁皮在外观上没有明显规律，且与棒线材表面轧疤、压痕、夹杂等真实缺陷无明显区别，难以区分。

棒线材表面缺陷从外观上看可分为两类：一类是轧疤、压痕、凹坑等在外观上可以看到有深度变化的缺陷；另一类是折叠、裂纹、夹杂等在外观上难以看到深度变化的缺陷。采用三维检测方法可以检测有深度变化的缺陷，并且由于氧化铁皮几乎没有深度变化，因此可以通过三维检测方法去除氧化铁皮干扰，但是无法检测没有深度变化的缺陷。如果将两维检测与三维检测相结合，那么就可以同时检测有无深度变化的缺陷，并去除氧化铁皮的干扰，提高检测准确率。但是，将两维检测与三维检测相结合应用于棒线材表面缺陷检测，需要解决以下3个问题：

(1)三维检测与两维检测在检测分辨率与检测速度上的同步问题。由于三维检测的数据量大，因此存在检测分辨率与检测速度的矛盾问题，难以达到与两维检测相当的分辨率与速度，如果两种方法得不到同步，就无法实现两者的优势互补。

(2)两维图像中的阴影与光照不均现象。需要减少阴影和光照不均现象，从而提高两维检测时的图像质量。

(3)灰度信息与深度信息的融合问题。传统的两维检测与三维检测由不同的相机实现，不同相机得到的图像对应的不是同一区域，需要对图像进行配准，增加了信息融合的难度。

本发明将利用多光谱成像技术解决上述问题，通过多光谱相机采集红、绿、蓝、近红外光源在棒线材表面的反射光，从多光谱相机采集的多光谱图像中分离出红、绿、蓝、近红外通道图像，通过红、绿、蓝通道图像可重构三维表面，得到表面深度图像，近红外通道图像可作为表面灰度图像，因此，一台相机可同时获取表面深度图像与灰度图像，并通过深度图像与灰度图像融合方法检测与识别棒线材的表面缺陷。

发明内容

一种棒线材表面缺陷在线检测装置，采用多光谱相机和红、绿、蓝、近红外光源组合的图像采集装置，所述多光谱相机具有红、绿、蓝和近红外四种传感器，分别对红、绿、蓝、近红外光敏感，所述红、绿、蓝和近红外光源都采用LED单色光，均匀分布在多光谱相机的四周，并照射到棒线材表面同一区域。所述红、绿、蓝、近红外光源组合的图像采集装置共需4台，分别安装在待检测棒线材的左上、右上、右下、左下方，所述多光谱相机的光路经过棒线材的轴心，并与轴心的垂直线成45°角。多光谱相机采集区域与光源照射区域相同，该区域的周长大于棒线材圆周周长的1/4，4台图像采集装置的采集区域可覆盖棒线材的整个圆周。

利用权利要求1所述的一种棒线材表面缺陷在线检测方法，所述的多光谱相机采集红、绿、蓝和近红外光源在棒线材表面的反射光，得到包含红、绿、蓝和近红外通道的多光谱图像，从多光谱图像中分离出红、绿、蓝和近红外通道图像，将近红外通道图像作为棒线材表面的灰度图像，将红、绿、蓝通道图像作为棒线材表面同一区域在不同光照角度照射的图像，通过三维重建算法得到表面深度图像，通过表面灰度图像与深度图像的像素级融合检测棒线材表面缺陷区域，将缺陷区域的灰度图像和深度图像输入到卷积神经网络进行缺陷分类识别，得到缺陷识别结果。

具体方法如下：

根据光度立体学(Photometric Stereo)原理，对于发光强度为E的光源，其反射光的光强为：

I＝ρEl·n (I)

式(1)中，n为表面上某点处的单位法向量；ρ为漫反射系数；l＝(l_x l_y l_z)，为光源单位方向向量；E为入射光强。

ρ_R，ρ_G，ρ_B为红、绿、蓝光源的漫反射系数，E_R，E_G，E_B为红、绿、蓝光源的入射光强，通过调试光源，使ρ_RE_R＝ρ_GE_G＝ρ_BE_B＝ρE。则根据式(1)有：

式(2)中，I_R,I_G,I_B分别为R、G、B通道图像的亮度，l_R,l_G,l_B分别为红、绿、蓝光源入射光的方向向量。

设光源方向矩阵为反射光强为：I_RGB＝(I_R I_G I_B)^T，则表面法向量为：

n＝L^-1·I_RGB/|L^-1·I_RGB| (3)

设图像坐标系(x,y)中某点的深度为Z(x,y)，定义其沿x方向和y方向的梯度分别为P(x,y),Q(x,y)，则有：

定义表面单位法向量n在x,y,z方向上的分量为：N_x、N_y、N_z，根据式(4)可得：

(P,Q)＝(N_x./N_z,N_y./N_z) (5)

设Z的初始值Z⁰(x,y)＝0，根据以下的迭代公式可求出Z(x,y)的值：

Z^m(x,y)经过多次迭代可得到最优解。

将式(6)得到的表面深度数据投影到图像平面上，得到表面深度图像。由于NIR通道得到的灰度图像，以及前面步骤得到的深度图像对应的是棒线材表面的同一区域，因此无需图像配准就可以直接进行图像的像素级融合，从而可以更准确地检测缺陷所在的区域。将缺陷区域的灰度图像和深度图像输入到卷积神经网络进行缺陷分类识别，卷积神经网络已经用缺陷样本进行了离线学习，最终得到缺陷的识别结果。

本发明通过两维检测与三维检测的结合实现棒线材表面缺陷检测，有益效果体现在：

(1)本发明通过同一台多光谱相机可同时得到棒线材表面灰度图像与深度图像，因此，灰度图像与深度图像在分辨率与采集速度上是同步的，这就解决了两维检测与三维检测在分辨率与速度上的同步问题。

(2)从多光谱相机中分离的NIR通道图像是棒线材表面的红外成像，与可见光图像相比，NIR图像中的阴影和光照不均匀现象大为减少，从而提高了灰度图像的质量。

(3)表面灰度图像与深度图像由同一台多光谱相机得到，对应的是棒线材的同一区域，无需图像配准就可以实现图像融合。

附图说明

图1为所述图像采集装置的示意图，图1中：1为多光谱相机，2为红色光源，3为绿色光源，4为蓝色光源，5为近红外光源，6为待检测的棒线材，7为待检测棒线材6表面的图像采集区域。

图2为所述图像采集装置在棒线材周向安装的示意图。图2中：1、2、3、4为图像采集装置，分别包含多光谱相机1a、2a、3a、4a，红色光源1b、2b、3b、4b，绿色光源1c、2c、3c、4c，蓝色光源1d、2d、3d、4d和近红外光源1e、2e、3e、4e，5为待检测的棒线材。

图3为所述多光谱相机采集的多光谱图像处理流程图。

具体实施方式

图1中，所述多光谱相机1具有红、绿、蓝和近红外四种传感器，分别对红、绿、蓝、近红外光敏感。所述红色光源2、绿色光源3、蓝色光源4和近红外光源5均为LED单色光源，发光波长与多光谱相机相对应的四种传感器的光谱响应曲线峰值相等。多光谱相机1的光路经过棒线材6的轴心，红色光源2、绿色光源3、蓝色光源4和近红外光源5均匀分布在多光谱相机1的四周，光源发射的不同波长光照射到棒线材6表面的同一区域7，区域7的周长大于棒线材6圆周周长的1/4。多光谱相机1采集红色光源2、绿色光源3、蓝色光源4和近红外光源5在区域7的反射光，得到多光谱图像，以作进一步处理。

图2中，图像采集装置1、图像采集装置2、图像采集装置3和图像采集装置4分别安装在棒线材的左上、右上、右下、左下方，多光谱相机1a、多光谱相机2a、多光谱相机3a和多光谱相机4a的光路经过棒线材的轴心，并与轴心的垂直线成45°角。由于图像采集装置的图像采集区域覆盖棒线材圆周超过1/4的周长，因此图像采集装置1、图像采集装置2、图像采集装置3和图像采集装置4的图像采集区域可覆盖棒线材5的整个圆周。

图3为多光谱相机采集到的多光谱图像处理流程，具体步骤为：

(1)从多光谱图像中分离出红(R)、绿(G)、蓝(B)和近红外(NIR)通道图像；

(2)将NIR通道图像作为钢轨表面的灰度图像；

(3)将R、G、B通道图像作为棒线材表面同一区域在不同光照角度照射的图像，通过式(6)得到表面深度数据；

(4)将步骤3中得到的表面深度数据投影到图像平面上，得到表面深度图像；

(5)由于步骤2得到的灰度图像和步骤4得到的深度图像对应的是棒线材表面的同一区域，无需图像配准就可以直接进行图像的像素级融合；

(6)通过深度图像与灰度图像的像素级融合进行图像的分割和缺陷边缘提取，从而可以更准确地检测缺陷所在的区域；

(7)将缺陷区域的灰度图像和深度图像输入到卷积神经网络进行缺陷分类识别，卷积神经网络已经用缺陷样本进行了离线学习；

(8)最终得到缺陷的识别结果。

Claims (2)

1.一种棒线材表面缺陷在线检测装置，其特征在于：采用多光谱相机和红、绿、蓝、近红外光源组合的图像采集装置，所述多光谱相机具有红、绿、蓝和近红外四种传感器，分别对红、绿、蓝、近红外光敏感，所述红、绿、蓝和近红外光源都采用LED单色光，均匀分布在多光谱相机的四周，并照射到棒线材表面同一区域，所述红、绿、蓝、近红外光源组合的图像采集装置共需4台，分别安装在待检测棒线材的左上、右上、右下、左下方，所述多光谱相机的光路经过棒线材的轴心，并与轴心的垂直线成45°角，多光谱相机采集区域与光源照射区域相同，该区域的周长大于棒线材圆周周长的1/4，4台图像采集装置的采集区域可覆盖棒线材的整个圆周。

2.利用权利要求1所述的一种棒线材表面缺陷在线检测方法，其特征在于：所述的多光谱相机采集红、绿、蓝和近红外光源在棒线材表面的反射光，得到包含红、绿、蓝和近红外通道的多光谱图像，从多光谱图像中分离出红、绿、蓝和近红外通道图像，将近红外通道图像作为棒线材表面的灰度图像，将红、绿、蓝通道图像作为棒线材表面同一区域在不同光照角度照射的图像，通过三维重建算法得到表面深度图像，通过表面灰度图像与深度图像的像素级融合检测棒线材表面缺陷区域，将缺陷区域的灰度图像和深度图像输入到卷积神经网络进行缺陷分类识别，得到缺陷识别结果。