CN112651968B - 一种基于深度信息的木板形变与凹坑检测方法 - Google Patents

Abstract

本发明公开了一种基于深度信息的木板形变与凹坑检测方法，所述方法采用的硬件平台构架包括图像采集装置、检测台以及工控机。相较于传统的图像缺陷检测容易受光照条件影响，检测准确率不高等问题，本发明使用机构光深度相机，可以获得高分辨率率的深度图片，且其不易受光照条件或阴影的影响，不仅适合用于解决木质板材表面凹坑的缺陷检测，还可以非接触式地实现对板材的弯曲形变进行检测，以及对木板的全方位的尺寸测量。

Description

一种基于深度信息的木板形变与凹坑检测方法

技术领域

本发明涉及缺陷检测领域，具体涉及一种基于深度信息的木板形变与凹坑检测方法。

背景技术

随着社会经济的蓬勃发展以及改革开放之后生活水平的不断提高，木质板材的使用量也越来越多，特别是现在政府和企业都在推动智能智造，各大工厂的自动化和智能化程度越来越高，这就要求木质板材的生产设备越趋智能。

木质板材的生产流程以及制造工艺现已渐趋完备，技术条件也越来越成熟，但是在生产过程中总会遇到一些无可避免的磕碰，导致板材表面产生比较明显的凹坑缺陷，严重影响板材的外观和质量，而且木制板材有时也会受到环境影响，如天气过于潮湿或给雨水淋湿时，木板可能会因为严重受潮而发生弯曲形变，且其形变不可恢复。

由于凹坑处的颜色和纹理与板材表面相差无几，传统的图像处理的缺陷检测方式往往不能够很好地解决存在凹坑的板材变形问题，而且传统的板材的形变检测通常需要特定的接触式检测装置才能实现。

发明内容

本发明的目的是提供以一种基于深度信息的木板形变与凹坑检测方法，用以解决传统木材缺陷图像检测方法容易受到光照条件影响，检测准确率低的问题。

为了实现上述任务，本发明采用以下技术方案：

一种基于深度信息的木板形变与凹坑检测方法，所述方法采用的硬件平台构架包括图像采集装置、检测台以及工控机，其中：

图像采集装置与工控机连接并架设在检测台正上方，待检测的木板放置于所述检测台上；通过图像采集装置采集木板的图像和深度信息传送至工控机，由工控机完成图像处理得到检测结果；所述方法包括：

通过图像采集装置获取检测台上木板的2D彩色图像，将2D彩色图像进行灰度化处理，得到灰度图；对灰度图像进行中值滤波，平滑图像以剔除灰度图中的噪声信息；对中值滤波后的图像进行边缘检测，对图像进行一次求导得到图像边缘；利用卷积核分别对图像中像素的横向与纵向作平面卷积，计算出在X-Y方向上的差分近似值；基于预设的梯度阈值，确定图像中的边缘点，继而得到图像的边缘轮廓信息；提取出边缘轮廓信息后对图像中木板的矩形边缘进行拟合，拟合出木板所在矩形区域位置，并以木板所在位置的矩形区域作为感兴趣区域ROI；

在感兴趣区域ROI建立一条检测线，读取检测线所在行的深度信息；在检测线所在行上通过深度差值从左往右遍历深度像素；凹坑边缘两端处的深度差值最大，以此确定凹坑边缘两端位置；将确定的凹坑边缘两端点之间用直线进行补全，将凹坑处原本的深度值用直线部分的深度值替代；将补全后的直线部分的深度值通过最小二乘的线性拟合方法，逼近拟合所述检测线所在行的深度值；若木板没有发生形变，则拟合直线与检测线所在行的不同像素处深度值之间的误差为0或接近0；若木板已经发生形变，则所述误差大于某个设定的阈值，以此可以判断木板是否发生形变。

进一步地，若检测出木板发生形变，则将其归类为不合格板材，无需进行下一步检测；无弯曲形变的木板则进行下一步处理：

利用图像采集装置获取感兴趣区域ROI的深度图，对深度图中的噪声信息进行高斯滤波；使用深度差值的方法检测凹坑的边缘：遍历每个深度像素点，如果相邻像素点之间的深度值相差大于设定的阈值，则认为这两点不在同一水平面上，得到凹坑边缘点，确定出凹坑的轮廓边缘以及凹坑区域；

利用灰度直方图方法，通过对ROI区域的深度值进行统计分布，提取深度图的灰度直方图，根据大部分的深度灰度像素集中在木板表面的高度，凹坑处的深度灰度像素较少的特点，将凹坑与板材表面深度信息区分开来，以确定凹坑的轮廓边缘及凹坑区域；

分别遍历通过深度差值的方法、灰度直方图方法得到的凹坑区域，将两种方法下确定的同一个凹坑区域的重叠部分作为该凹坑的最终凹坑区域。

进一步地，确定所述最终凹坑区域之后：

将凹坑区域的轮廓转换为多个不同的连通域；

对凹坑不同的连通域计算得出每个凹坑的中心坐标及面积信息。

进一步地，所述方法还包括：

测量ROI矩形区域在世界坐标下的真实长度与宽度；对ROI中凹坑的连通域边缘以外的像素深度值遍历相加后取均值，计算得出木板平面到图像采集装置的距离β1；对ROI区域外的像素深度值遍历相加后取均值，计算得出检测台到图像采集装置的距离β2；由β2-β1计算出木板的厚度。

进一步地，所述基于预设的梯度阈值，确定图像中的边缘点，包括：

其中，A表示中值滤波后的图像的像素，G_x表示图像坐标系中X方向上的差分近似值，G_y表示图像坐标系中Y方向上的差分近似值；

计算梯度|G|＝|G_x|+|G_y|，若梯度|G|＞α_threshold，则表示该像素为边缘点；其中α_threshold表示预设的梯度阈值。

进一步地，所述凹坑边缘两端处的深度差值最大，以此确定凹坑边缘两端位置，包括：

在确定凹坑边缘两端时，通过深度差值与深度阈值相比来确定；其中，深度阈值为一个预设的值，大于该值则认为该位置属于凹坑边缘端点位置，或：

深度阈值通过将一条检测线上所有深度差值计算出后，通过统计计算的方式来确定；其中，若某一个或多个点处的深度差值大于平均深度差值，或大于平均深度差值一定程度，则认为这些点为凹坑边缘端点；由此可确定一个或多个凹坑。

进一步地，所述方法还包括：

分别对感兴趣区域ROI的横向、纵向不同位置进行多次形变检测，用以提高检测要求。

与现有技术相比，本发明具有以下技术特点：

现有的板材形变检测技术多数需要特定的检测装置，且板材凹坑检测多为2D图像处理检测，容易受到光照、板材纹理等因素影响，另外，传统的板材测量多为人工操作。本发明则是一种利用结构光深度3D相机的非接触式基于深度信息的检测方法，通过深度差值和深度直方图两种方法结合，可以获得高分辨率率的深度图片，且其不易受光照条件或阴影的影响，能准确定位出凹坑区域，不仅适合用于解决木质板材表面凹坑的缺陷检测，还可以非接触式地实现对板材的弯曲形变进行检测，以及对木板的全方位的尺寸测量。

附图说明

图1为本发明方法的硬件平台构架示意图；

图2为ROI区域示意图；

图3为ROI上沿长度方向建立一条检测线的示意图；

图4的(a)为无形变有凹坑的木板的检测线所在行在坐标系中的深度信息变化情况，(b)为有形变且有凹坑的木板的检测线所在行在坐标系中的深度信息变化情况；

图5的(a)为对图4的(a)中的凹坑边缘点用直线补全后的示意图，(b)为对图4的(b)中的凹坑边缘点用直线补全后的示意图；

图6为本发明一个实施例中采用的九条检测线的示意图；

图7为图像深度灰度图；

图8为深度边缘检测效果示意图；

图9为深度灰度直方图；

图10为本发明方法的流程示意图。

具体实施方式

参见图1，本发明公开了一种基于深度信息的木板形变与凹坑检测方法，该方法所采用的硬件平台构架包括图像采集装置、检测台以及工控机，其中：

图像采集装置与工控机连接并架设在检测台正上方，待检测的木板放置于所述检测台上；通过图像采集装置采集木板的图像信息和深度信息传送至工控机，由工控机完成图像处理得到检测结果。本发明的实施例中，所述图像采集装置采用结构光深度3D相机。

在进行木板图像采集之前，需要对图像采集装置进行标定，具体方法为：

在不同位置、不同角度下利用3D相机对置于检测台上的标定板拍照后进行标定，以获得3D相机的内外参数，使得世界坐标系与3D相机所获取图像中的像素坐标系建立联系，用于后续的木板尺寸或面积的测量。

对图像采集装置标定后，按照以下方法进行木板所在区域的定位：

1.木板所在区域的定位

1.1通过图像采集装置获取检测台上木板的2D彩色图像。

1.2将2D彩色图像进行灰度化处理，即对2D彩色图像的RGB三通道各像素加权求和，得到灰度图。

Gray(i,j)＝0.299*R(i,j)+0.578*G(i,j)+0.114*B(i,j)

1.3得到灰度图像之后进行中值滤波，平滑图像以剔除灰度图中的噪声信息。中值滤波就是取某像素点周围9个像素的中值作为新的像素值。

g＝median(x-1,y-1)+f(x,y-1)+f(x+1,y-1)+f(x-1,y)+f(x,y)+f(x+1,y)+f(x-1,y+1)+f(x,y+1)+f(x+1,y+1)]

1.4对中值滤波后的图像进行边缘检测，对图像进行一次求导得到图像边缘；利用卷积核分别对图像中像素的横向与纵向作平面卷积，可以计算出在X-Y方向上的差分近似值。

其中，A表示中值滤波后的图像的像素，G_x表示图像坐标系中X方向上的差分近似值，G_y表示图像坐标系中Y方向上的差分近似值。

计算梯度|G|＝|G_x|+|G_y|，若梯度|G|＞α_threshold，则表示该像素为边缘点；其中α_threshold表示预设的梯度阈值。

1.5通过1.4筛选出的所有边缘点构成图像的边缘轮廓信息；提取出边缘轮廓信息后对图像中木板的矩形边缘进行拟合，拟合出木板所在矩形区域位置，并以木板所在位置的矩形区域作为感兴趣区域ROI进行下一步处理，提取出感兴趣区域可以为后续的处理减少计算量，参见图2。

2.木板的变形检测

2.1在感兴趣区域ROI建立一条检测线，读取检测线所在行的深度信息，如图3所示。

2.2若检测线所在行中遇有凹坑，这一行的深度信息在直角坐标系中如图4所示；

由于木板形变的曲率通常远小于凹坑边缘处的曲率，所以在检测线所在行上通过深度差值从左往右遍历深度像素，凹坑边缘两端处的深度差值最大，则可以确定凹坑边缘两端位置，如图中圆圈标示。其中，所述深度差值是指相邻深度像素的差值；在确定凹坑边缘两端时，可通过深度差值与深度阈值相比来确定；其中，深度阈值可以为一个预设的值，大于该值则认为该位置属于凹坑边缘端点位置；深度阈值还可以通过将一条检测线上所有深度差值计算出后，通过统计计算的方式来确定；例如某一个或多个点处的深度差值大于平均深度差值，或大于平均深度差值一定程度，则认为这些点为凹坑边缘端点；由此可确定一个或多个凹坑。

2.3将确定的凹坑边缘两端点之间用直线进行补全，即将凹坑处原本的深度值用直线部分的深度值替代；补全后的深度值如图5所示。

2.4将补全后的直线部分的深度值通过最小二乘的线性拟合方法，逼近拟合所述检测线所在行的深度值；若木板没有发生形变，则拟合直线与检测线所在行的不同像素处深度值之间的误差e_rr为0或接近0；若木板已经发生形变，则所述误差e_rr会大于某个设定的阈值，以此可以判断木板是否发生形变。

2.5采用2.1至2.4的方法，分别对感兴趣区域ROI的横向、纵向不同位置进行多次形变检测，用以提高检测要求，且其处理数据小，执行效率高；如图6的示例中，横向纵向共进行了9次检测。通过上述方法，可解决存在凹坑的变形板材的检测问题。

2.6若检测出木板发生形变，则将其归类为不合格板材，无需进行下一步检测；无弯曲形变的木板则进行下一步处理。

3.计算凹坑的轮廓边缘

3.1利用图像采集装置获取感兴趣区域ROI的深度图；灰度值越大，则凹陷深度越深，如图7所示；将数字图像处理的思路应用于深度图像中。

3.2对深度图中的噪声信息进行高斯滤波。

3.3使用深度差值的方法检测凹坑的边缘；遍历每个深度像素点，如果相邻像素点之间的深度值相差大于设定的阈值，则认为这两点不在同一水平面上，如图8所示：

其中，p表示相邻像素点之间的深度差值，depth(i,j)表示像素点(i,j)处的深度值，l、k表示遍历步长。

即如果p值大于设定的阈值threshold-p*depth(i,j)，则认为该点属于凹坑的边缘点；进而得到凹坑的轮廓边缘，从而确定凹坑区域。

3.4通过对ROI区域的深度值进行统计分布，提取深度图的灰度直方图，如图9所示，可以看到大部分的深度灰度像素集中在木板表面的高度，凹坑处的深度灰度像素较少，以此可以将凹坑与板材表面深度信息区分开来，以确定凹坑的轮廓边缘。

3.5分别遍历通过3.3、3.4两种方法计算得到的凹坑区域，两种方法下的同一个凹坑区域的确定结果会有些许出入；取其重叠部分作为该凹坑的最终的凹坑区域。可以用于后续利用自动化的方法对凹坑进行修补。

4.凹坑面积计算

4.1将凹坑区域的轮廓转换为多个不同的连通域。

4.2对凹坑不同的连通域计算得出每个凹坑的中心坐标及面积信息。

5.测量木板的尺寸

5.1测量ROI矩形区域在世界坐标下的真实长度与宽度。

5.2对ROI中凹坑的连通域边缘以外的像素深度值遍历相加后取均值，可以计算得出木板平面到图像采集装置的距离β1。

5.3对ROI区域外的像素深度值遍历相加后取均值，可以计算得出检测台到图像采集装置的距离β2。

5.4由β2-β1计算出木板的厚度。

最后将木板的尺寸信息，凹坑所在区域中心坐标和面积信息在UI界面中显示，并记录日志信息，方便工作人员查看数据。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (6)

1.一种基于深度信息的木板形变与凹坑检测方法，其特征在于，所述方法采用的硬件平台构架包括图像采集装置、检测台以及工控机，其中：

图像采集装置与工控机连接并架设在检测台正上方，待检测的木板放置于所述检测台上；通过图像采集装置采集木板的图像和深度信息传送至工控机，由工控机完成图像处理得到检测结果；所述方法包括：

通过图像采集装置获取检测台上木板的2D彩色图像，将2D彩色图像进行灰度化处理，得到灰度图；对灰度图像进行中值滤波，平滑图像以剔除灰度图中的噪声信息；对中值滤波后的图像进行边缘检测，对图像进行一次求导得到图像边缘；利用卷积核分别对图像中像素的横向与纵向作平面卷积，计算出在X-Y方向上的差分近似值；基于预设的梯度阈值，确定图像中的边缘点，继而得到图像的边缘轮廓信息；提取出边缘轮廓信息后对图像中木板的矩形边缘进行拟合，拟合出木板所在矩形区域位置，并以木板所在位置的矩形区域作为感兴趣区域ROI；

所述基于预设的梯度阈值，确定图像中的边缘点，包括：

and

其中，A表示中值滤波后的图像的像素，G_x表示图像坐标系中X方向上的差分近似值，G_y表示图像坐标系中Y方向上的差分近似值；

计算梯度|G|＝|G_x|+|G_y|，若梯度|G|＞α_threshold，则表示该像素为边缘点；其中α_threshold表示预设的梯度阈值；

在感兴趣区域ROI建立一条检测线，读取检测线所在行的深度信息；在检测线所在行上通过深度差值从左往右遍历深度像素；凹坑边缘两端处的深度差值最大，以此确定凹坑边缘两端位置；将确定的凹坑边缘两端点之间用直线进行补全，将凹坑处原本的深度值用直线部分的深度值替代；将补全后的直线部分的深度值通过最小二乘的线性拟合方法，逼近拟合所述检测线所在行的深度值；若木板没有发生形变，则拟合直线与检测线所在行的不同像素处深度值之间的误差为0或接近0；若木板已经发生形变，则所述误差大于某个设定的阈值，以此可以判断木板是否发生形变。

2.根据权利要求1所述的基于深度信息的木板形变与凹坑检测方法，其特征在于，若检测出木板发生形变，则将其归类为不合格板材，无需进行下一步检测；无弯曲形变的木板则进行下一步处理：

利用图像采集装置获取感兴趣区域ROI的深度图，对深度图中的噪声信息进行高斯滤波；使用深度差值的方法检测凹坑的边缘：遍历每个深度像素点，如果相邻像素点之间的深度值相差大于设定的阈值，则认为这两点不在同一水平面上，得到凹坑边缘点，确定出凹坑的轮廓边缘以及凹坑区域；

利用灰度直方图方法，通过对ROI区域的深度值进行统计分布，提取深度图的灰度直方图，根据大部分的深度灰度像素集中在木板表面的高度，凹坑处的深度灰度像素较少的特点，将凹坑与板材表面深度信息区分开来，以确定凹坑的轮廓边缘及凹坑区域；

分别遍历通过深度差值的方法、灰度直方图方法得到的凹坑区域，将两种方法下确定的同一个凹坑区域的重叠部分作为该凹坑的最终凹坑区域。

3.根据权利要求2所述的基于深度信息的木板形变与凹坑检测方法，其特征在于，确定所述最终凹坑区域之后：

将凹坑区域的轮廓转换为多个不同的连通域；

对凹坑不同的连通域计算得出每个凹坑的中心坐标及面积信息。

4.根据权利要求3所述的基于深度信息的木板形变与凹坑检测方法，其特征在于，所述方法还包括：

测量ROI矩形区域在世界坐标下的真实长度与宽度；对ROI中凹坑的连通域边缘以外的像素深度值遍历相加后取均值，计算得出木板平面到图像采集装置的距离β1；对ROI区域外的深度值遍历相加后取均值，计算得出检测台到图像采集装置的距离β2；由β2-β1计算出木板的厚度。

5.根据权利要求1所述的基于深度信息的木板形变与凹坑检测方法，其特征在于，所述凹坑边缘两端处的深度差值最大，以此确定凹坑边缘两端位置，包括：

在确定凹坑边缘两端时，通过深度差值与深度阈值相比来确定；其中，深度阈值为一个预设的值，大于该值则认为该位置属于凹坑边缘端点位置，或：

深度阈值通过将一条检测线上所有深度差值计算出后，通过统计计算的方式来确定；其中，若某一个或多个点处的深度差值大于平均深度差值，或大于平均深度差值一定程度，则认为这些点为凹坑边缘端点；由此可确定一个或多个凹坑。

6.根据权利要求1所述的基于深度信息的木板形变与凹坑检测方法，其特征在于，所述方法还包括：

分别对感兴趣区域ROI的横向、纵向不同位置进行多次形变检测，用以提高检测要求。

Images