CN113689429A - 一种基于计算机视觉的木板缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于计算机视觉的木板缺陷检测方法，包括步骤一：获取木板的初始图像，对初始图像进行语义分割处理；步骤二：对语义分割后得到的木板图像进行灰度化得到灰度图，对灰度图进行边缘检测，得到木纹纹理的边缘检测图像，获取边缘检测图像中木纹纹理的间距与方向确定瓦片的尺寸与瓦片的布置，根据尺寸将灰度图分割为多块瓦片，对瓦片内的木纹进行变化的描述，得到描述数据；结合描述数据得到对应的瓦片内节子区域的概率，进而得到概率图像；步骤三：对灰度图的进行阈值分割得到节子的阈值分割图，根据概率图像与阈值分割图像所确定的节子的交集，得到节子的位置。本发明通过节子周围的木纹纹理变化来辅助节子的检测，结果更加准确。

Description

一种基于计算机视觉的木板缺陷检测方法

技术领域

本发明涉及大数据测定材料领域，尤其涉及一种基于计算机视觉的木板缺陷检测方法。

背景技术

图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，是应用深度学习算法的一种实践应用，往往可以通过图像识别借助于测定木板材料的化学或物理性质来测试或分析木板，但是目前对木板缺陷检测往往是利用人工进行检测的。对获取到的木板图像进行阈值分割，通过木板颜色与节子颜色的差异特征对节子进行检测。通过颜色特征检测节子缺陷对颜色差异要求较高，木板中存在颜色与节子颜色相近的其他因素时，无法完成相应的检测任务。节子颜色较深，趋近于黑色，虫洞与部分脏污颜色与节子颜色相近，通过颜色特征很难区分虫洞与脏污的影响，从而导致误检。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于计算机视觉的木板缺陷检测方法。

为了实现上述目的，本发明采用了如下技术方案：

一种基于计算机视觉的木板缺陷检测方法，该方法包括以下步骤，步骤一：获取木板的初始图像，对获取到的初始图像进行语义分割处理，得到木板图像；步骤二：对语义分割后得到的木板图像进行进行灰度化得到灰度图图，对所述灰度图边缘检测，得到木纹纹理的边缘检测图像，获取所述边缘检测图像中木纹纹理的间距与方向确定瓦片的尺寸与瓦片的布置，根据所述尺寸将所述灰度图分割为多块瓦片，对瓦片内的木纹进行变化的描述，得到描述数据；结合描述数据得到对应的瓦片内节子区域的概率，进而得到概率图像；其中，所述描述数据包括密集程度、纹理间距比和纹理倾斜程度，所述密集程度为所述瓦片中木纹纹理的像素比，所述纹理间距比为在所述瓦片中任意两条纹理之间的平均长度差异比，所述纹理倾斜程度为所述瓦片中木纹纹理的相对倾斜角度； 步骤三：对所述灰度图的进行阈值分割得到节子的阈值分割图，根据概率图像所确定的节子与阈值分割图像所确定的节子的交集，得到节子的位置。

进一步，所述步骤一中采用语义分割网络进行语义分割处理，所述语义分割网络使用的数据集为俯视采集的木板图像数据集，将数据集中的木板图像中属于背景类的像素标注为0，属于木板的像素标注为1；所使用的loss函数为交叉熵损失函数。

进一步，将所述灰度图分割为多块瓦片：先对灰度图，利用canny算子得到边缘图像，采用直线检测得到图像中直线，然后统计直线的倾角得到木板木纹纹理的大方向；语义分割后得到木板的连通域，该连通域作为遮罩抠取初始图像，灰度化处理后得到木板的灰度图像，根据纹理的大走向对图片进行转正，让纹理与水平面垂直；确定瓦片尺寸，根据行序列，背景像素为0，纹理像素为1，对两个1之间的距离进行间距判断，为了确保每个瓦片中至少包含两条纹理，根据两条纹理的间距比确定纹理走向，取最大间距的2倍作为瓦片分割的尺寸；获取瓦片尺寸的具体过程为：建立平面直角坐标系，统计第一行两纹理像素1间的距离

,统计5行两像素点间的距离，其中n为间距个数，求五行所有的平均值

;公式为：

;

取平均值

的2倍作为瓦片的长宽，以坐标轴的原点为起点将图片分割成若干个边长为2

大小的瓦片，以边长为2倍的最大间距为瓦片的边长，将图像进行分割，得到多块方瓦片,以坐标原点为起始点，边长为2

进行分割，记录每块瓦片的位置坐标。

进一步，所述密集程度为所述瓦片中木纹纹理的像素比的获取步骤为：根据瓦片中0、1像素个数的比值得到密集程度；

所述纹理间距比为在所述瓦片中任意两条纹理之间的长度差异比的获取步骤为：获取木纹纹理与瓦片边缘的交点，获取同一条纹理中两交点之间的像素点数量为纹理间距，任意两纹理之间的差异与纹理间距之比为所述纹理间距比。

进一步，所述纹理倾斜程度为所述瓦片中木纹纹理的相对倾斜角度的步骤包括：将瓦片中直线的斜率记为K，由

求得夹角

，则对夹角概率进行归一化处理，以90度为临界点对夹角进行分段处理；当α∈（0°，90°）时，纹理倾斜程度为

当α∈（90°，180°）时，纹理倾斜程度为

。

进一步，结合描述数据得到对应的瓦片内节子区域的概率的步骤包括：所述密集程度、纹理间距比和纹理倾斜程度的乘积为所述节子区域的概率。

进一步，得到概率图像具体为：根据瓦片的概率值与瓦片八邻域间的概率变化情况得到节子的概率图像；所述瓦片的概率值为所述节子区域的概率；由每块瓦片的概率结合矢量图可得到整张图像的节子概率分布图。

进一步，结合概率图像所确定的节子与阈值分割图像所确定的节子判断是否存在关联瓦片的步骤包括：结合阈值分割图与节子概率图最终确定节子位置，设定阈值，当概率

时，

；

I是和当前阈值分割连通域相关联的瓦片数量，

为I个关联瓦片内第i个瓦片的节子概率；判断是否关联的过程为：得到阈值分割的连通域；求各瓦片和当前连通域的交集占比zb，

；

式中，J为当前瓦片和连通域的交集面积，W为当前瓦片的面积；判断是否为关联瓦片若是

,则该瓦片为该连通域的关联瓦片。

本发明与现有技术相比，其有益效果为：通过节子周围的木纹纹理变化来辅助节子的检测，使检测结果更加准确，基于人工智能和图像处理确定节子的位置，工作效率和准确性较高。

附图说明

图1为本发明系统流程图；

图2为木板分割图；

图3为木板纹理图；

图4为直线检测图；

图5为瓦片分割示意图；

图6为瓦片交点示意图；

图7为矢量示意图；

图8为概率分布示意图；

图9为阈值分割示意图；

图10为虫洞周围纹理图；

图11为节子周围纹理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

本发明逻辑层次：不同的木板由于年轮的特征，纵切面表面都会有竖直的木纹纹理。节子周围的木纹纹理会越来越密集，对图像进行瓦片分割处理，通过每块瓦片的木纹纹理描述得到节子可能存在的概率图像，结合概率图像与阈值分割图像判定节子的位置。

本发明整体逻辑，系统实现的过程为：首先采集图像，通过语义分割得到木板图像，对木板图像进行处理得到边缘检测图像。计算木板木纹纹理间距，得到最大间距值，根据最大间距确定瓦片的尺寸大小，根据木纹纹理的方向确定瓦片的布置方式，通过瓦片的纹理描述得到节子的概率图像。结合节子的概率图像与阈值分割图像得到节子的位置。

该方法包括：

步骤一：获取木板的初始图像，对获取到的初始图像进行语义分割处理，得到木板图像；

步骤二：对语义分割后得到的木板图像进行灰度化得到灰度图图，对所述灰度图进行进行边缘检测，得到木纹纹理的边缘检测图像，获取所述边缘检测图像中木纹纹理的间距与方向确定瓦片的尺寸与瓦片的布置，根据所述尺寸将所述灰度图分割为多块瓦片，所述对瓦片内的木纹进行变化的描述，得到描述数据；结合描述数据得到对应的瓦片内节子区域的概率，进而得到概率图像；其中，所述描述数据包括密集程度、纹理间距比和纹理倾斜程度，所述密集程度为所述瓦片中木纹纹理的像素比，所述纹理间距比为在所述瓦片中任意两条纹理之间的平均长度差异比，所述纹理倾斜程度为所述瓦片中木纹纹理的相对倾斜角度；

步骤三：对所述灰度图的进行阈值分割得到节子的阈值分割图，结合概率图像所确定的节子与阈值分割图像所确定的节子判断是否存在关联瓦片，得到节子的位置。

参见图1本发明的主要目的是: 利用计算机视觉，通过处理采集的木板图像得到木纹纹理的密集度和纹理走向描述，从而计算出节子的概率分布图像，结合概率图像与阈值分割图像实现对节子的精准检测。为了实现本发明所述内容，本发明设计了一种基于机器视觉的木板缺陷检测的方法。步骤一：获取木板的初始图像，对获取到的初始图像进行语义分割处理。本发明需要根据木板表面木纹纹理情况判断节子的概率，所以需要先采集木板的图像。本发明采用DNN语义分割的方式来识别分割图像中的目标。该DNN网络的相关内容如下：使用的数据集为俯视采集的木板图像数据集，木板的样式为多种多样的。需要分割的像素共分为两类，即训练集对应标签标注过程为：单通道的语义标签，对应位置像素属于背景类的像素标注为0，属于木板的像素标注为1.网络的任务是分类，所有使用的loss函数为交叉熵损失函数。至此，步骤一完成，通过DNN实现了对目标图像的处理，获得图像中目标的连通域信息。

步骤二：对语义分割后得到的木板图像进行边缘检测，得到木纹纹理的边缘检测图像。根据木纹纹理的间距与方向确定瓦片的尺寸与瓦片的布置，通过对每块瓦片的纹理进行描述得到节子存在的概率图像。逻辑：木纹纹理变化是节子所在区域的特征，木纹纹理的疏密与木纹纹理的走向变化，能够反映该处越是节子，而不是虫洞或者脏污。木纹纹理越密集且纹理走向变化越大，该区域为节子的概率越大。

所以本发明获得节子概率图像的过程为：对灰度图像进行瓦片化处理；对瓦片内的木纹进行变化的描述，得到描述数据M、T、G ；结合描述数据M、T、G得到对应的瓦片节子区域的概率；得到概率图像。

下面是对上述概括过程的具体展开：

图像瓦片化的过程为：

先对灰度图，利用canny算子得到边缘图像，采用直线检测（霍夫）得到图像中直线，然后统计直线的倾角得到木板木纹纹理的大方向，转动图像，保证木纹纹理的大方向垂直于水平面。语义分割后得到木板的连通域，该连通域作为遮罩抠取木板的原始图像，灰度化处理后得到木板的灰度图像。如图2所示，提取图像中的边缘信息，具体方法采用canny算子提取图片中的边缘信息，结果如图3所示。倾斜的纹理会影响对纹理走向的判断，根据纹理的大走向对图片进行转正，让纹理与水平面垂直。图片转正的具体过程为：采用霍夫变换对图像中的木纹纹理进行直线检测，得到多条直线，如图4所示。计算每条直线与水平面的夹角

，取所有夹角

的平均值，记为

。取

为转正角度，对图片进行转正处理。

确定瓦片尺寸，根据行序列，背景像素为0，纹理像素为1，对两个1之间的距离进行间距判断，为了确保每个瓦片中至少包含两条纹理，根据两条纹理的间距比确定纹理走向，取最大间距的2倍作为瓦片分割的尺寸。获取瓦片尺寸的具体过程为：以图片左下角为原点建立平面直角坐标系，统计第一行两纹理像素1间的距离

。为了防止某一木纹纹理第一行像素点缺失导致某一距离过大，统计5行两像素点间的距离，其中n为间距个数，求五行所有的平均值

。公式为：

为了保证每个瓦片中至少存在两条木纹纹理轮廓，取平均值

的2倍作为瓦片的长宽，以坐标轴的原点为起点将图片分割成若干个边长为2

大小的瓦片，对于边缘不足一个单位瓦片长度的区域进行裁剪，不予以考虑。

以边长为2倍的最大间距为瓦片的边长，将图像进行分割，得到多块方瓦片。

以坐标原点为起始点，边长为2

进行分割，记录每块瓦片的位置坐标，分割瓦片示意图如图5所示。

木纹变化描述过程：

由于越趋近节子，木纹纹理会越密集，所以瓦片中0、1像素个数的比值能够反映木纹纹理的密集程度，比值越大，纹理越密集，是节子区域的概率越大。得到密集程度的具体过程为：统计瓦片中纹理（白）像素与背景（黑）像素的个数，记纹理像素个数为x,背景像素个数为y。求纹理像素个数x与背景像素个数y比值作为木纹纹理的像素比，记为M，

纹理越密集，瓦片中纹理像素个数x越多，比值M越大。同理计算所有瓦片的比值M，结合瓦片坐标所对应的瓦片在原始图像中的坐标信息，转换得到目标在原始图像中的坐标。得到整张图像木纹纹理的密集程度，M越大（越趋近于1），节子概率越高。

通常一片瓦片中的两条纹理上下间距基本相同，越趋近节子，纹理的走向会发生变化，导致两条纹理的上下间距比产生变化，间距比越小，越趋近节子。取两间距终点连线，可得瓦片中纹理的矢量，从而确定纹理变化的方向。所述纹理间距比为在所述瓦片中任意两条纹理之间的长度差异比的获取步骤为：获取木纹纹理与瓦片边缘的交点，获取同一条纹理中两交点之间的像素点数量为纹理间距，任意两纹理之间的差异与纹理间距之比为所述纹理间距比。具体的，间距比与纹理矢量图获取的具体方法：以瓦片左下角为原点建立平面直角坐标系，如图6所示，记录木纹纹理与瓦片边缘交点的坐标位置，记a,b,c,d。

统计ab、cd间像素个数，得到两纹理间的距离，即ab距离为A,cd距离为B。计算A-B与A的比值，得到的比值为纹理间距比T，纹理间距比T可以反应纹理间的变化程度，比值越大，越趋近于节子,计算公式为：

，瓦片中纹理数量大于2时，取两两纹理间距离的平均值，再由平均值计算纹理间距比值T。 由ab坐标得到其中点坐标e(p,q)，ab坐标得到其中点坐标f(s,t)，由e、f两点坐标得到向量，表示为

。由每个瓦片的向量得到纹理矢量图，如图7所示。

正常区域的木纹基本垂直于水平面，越趋近于节子，木纹纹理与水平面的夹角越小。瓦片中纹理与水平面的平均夹角可以反映纹理走向。

得到纹理倾斜程度的具体过程为：如图6所示，取ab、cd中点两点e(p,q)、f(s,t)可得到一条直线,若p=s，则斜率不存在，即纹理与瓦片边缘垂直；若p≠s，则该直线的斜率为

对于瓦片中有超过两条纹理时，记木纹纹理与瓦片边缘交点个数为n（n为偶数），每两个交点确定一条木纹纹理，计算瓦片中所有直线的斜率K并求它们的平均斜率

，直线数为

，即

根据平均斜率判断木纹纹理的走向，即当

为正时，

越小（趋近于0），木纹纹理向右倾斜程度越大；当

为负时，

越大（趋近于0），木纹纹理向左倾斜程度越大。

结合描述得到瓦片概率：

将0、1像素比值反映的密集度、瓦片中纹理间距比反映的纹理走向与瓦片中纹理与水平面的平均夹角反映的纹理走相结合，得到每个瓦片的节子概率值。

概率图获取的具体方法为：

1、由

求得夹角

，由于木纹纹理越趋近于水平判定为节子的概率越高，则对夹角概率进行归一化处理，以90度为临界点对夹角进行分段处理。

2、α∈（0°，90°）时，纹理倾斜程度为

α∈（90°，180°）时，纹理倾斜程度为

通过归一化处理得到归一化之后的纹理倾斜程度。

3、归一化得到的纹理倾斜程度G、纹理间距比T和密集程度M相乘得到节子的概率F,即

。F的值越大，该瓦片位于节子区域的概率越大。

得到概率图像：

根据瓦片的概率值与瓦片八邻域间的概率变化情况得到节子的概率图像。由每块瓦片的概率结合矢量图可得到整张图像的节子概率分布图，如图8所示。

至此，步骤三完成，根据木纹纹理的间距确定瓦片的大小，根据木纹纹理与水平面的夹角确定图像转正角度，根据瓦片中黑白像素的比值确定纹理的密集程度，根据间距得到间距比与矢量图，根据每个瓦片中纹理直线的平均斜率确定纹理的走向。步骤三：根据概率图像与阈值分割图像得到节子的位置。采用传统阈值分割对初始图像进行分割获取分割后的阈值分割图像，通过概率图像与阈值分割后获取的阈值分割图像结合，最终确定节子的位置。根据概率图像可以得到节子的位置，结合阈值分割图像最终确定节子的位置。如图所示，图9为阈值分割示意图，黑点为目标点，可能为节子、虫洞或脏污。

结合阈值分割图与节子概率图最终确定节子位置，设定阈值，当节子区域的概率

时，此处N取0.6，实施者可根据不同情况设定阈值。

I是和当前阈值分割连通域相关联的瓦片数量，

为I个关联瓦片内第i个瓦片的节子概率。

判断是否关联的过程为：

1）得到阈值分割的连通域

2）求各瓦片和当前连通域的交集占比zb

式中，J为当前瓦片和连通域的交集面积，W为当前瓦片的面积。

3）判断是否为关联瓦片

若是

,

经验值为0.4则该瓦片为该连通域的关联瓦片。

如图8图9示意图所示，最终确定B为节子，A与C为虫洞或脏污等干扰因素；图8中2区域可能为木板某些特殊的纹理，结合两幅图片，取交集，最终确定节子的位置。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于计算机视觉的木板缺陷检测方法，其特征在于，该方法包括以下步骤：

步骤一：获取木板的初始图像，对获取到的初始图像进行语义分割处理，得到木板图像；

步骤二：对语义分割后得到的木板图像进行灰度化得到灰度图图，对所述灰度图进行边缘检测，得到木纹纹理的边缘检测图像，获取所述边缘检测图像中木纹纹理的间距与方向确定瓦片的尺寸与瓦片的布置，根据所述尺寸将所述灰度图分割为多块瓦片，对瓦片内的木纹进行变化的描述，得到描述数据；结合描述数据得到对应的瓦片内节子区域的概率，进而得到概率图像；其中，所述描述数据包括密集程度、纹理间距比和纹理倾斜程度，所述密集程度为所述瓦片中木纹纹理的像素比，所述纹理间距比为在所述瓦片中任意两条纹理之间的平均长度差异比，所述纹理倾斜程度为所述瓦片中木纹纹理的相对倾斜角度；

步骤三：对所述灰度图的进行阈值分割得到节子的阈值分割图，根据概率图像所确定的节子与阈值分割图像所确定的节子的交集，得到节子的位置。

2.根据权利要求1所述的一种基于计算机视觉的木板缺陷检测方法，其特征在于，所述步骤一中采用语义分割网络进行语义分割处理，所述语义分割网络使用的数据集为俯视采集的木板图像数据集，将数据集中的木板图像中属于背景类的像素标注为0，属于木板的像素标注为1；所使用的loss函数为交叉熵损失函数。

3.根据权利要求1或2所述的一种基于计算机视觉的木板缺陷检测方法，其特征在于，将所述灰度图分割为多块瓦片：先对灰度图，利用canny算子得到边缘图像，采用直线检测得到图像中直线，然后统计直线的倾角得到木板木纹纹理的大方向；语义分割后得到木板的连通域，该连通域作为遮罩抠取初始图像，灰度化处理后得到木板的灰度图像，根据纹理的大走向对图片进行转正，让纹理与水平面垂直；确定瓦片尺寸，根据行序列，背景像素为0，纹理像素为1，对两个1之间的距离进行间距判断，为了确保每个瓦片中至少包含两条纹理，根据两条纹理的间距比确定纹理走向，取最大间距的2倍作为瓦片分割的尺寸；获取瓦片尺寸的具体过程为：建立平面直角坐标系，统计第一行两纹理像素1间的距离

,统计5行两像素点间的距离，其中n为间距个数，求五行所有的平均值

;公式为：

;

取平均值

的2倍作为瓦片的长宽，以坐标轴的原点为起点将图片分割成若干个边长为2

大小的瓦片；以边长为2倍的最大间距为瓦片的边长，将图像进行分割，得到多块方瓦片,以坐标原点为起始点，边长为2

进行分割，记录每块瓦片的位置坐标。

4.根据权利要求1或2所述的一种基于计算机视觉的木板缺陷检测方法，其特征在于，所述密集程度为所述瓦片中木纹纹理的像素比的获取步骤为：根据瓦片中0、1像素个数的比值得到密集程度；

所述纹理间距比为在所述瓦片中任意两条纹理之间的长度差异比的获取步骤为：获取木纹纹理与瓦片边缘的交点，获取同一条纹理中两交点之间的像素点数量为纹理间距，任意两纹理之间的差异与纹理间距之比为所述纹理间距比。

5.根据权利要求1或2所述的一种基于计算机视觉的木板缺陷检测方法，其特征在于，所述纹理倾斜程度为所述瓦片中木纹纹理的相对倾斜角度的步骤包括：将瓦片中直线的斜率记为K，由

求得夹角

，则对夹角概率进行归一化处理，以90度为临界点对夹角进行分段处理；当α∈（0°，90°）时，纹理倾斜程度为

当α∈（90°，180°）时，纹理倾斜程度为

。

6.根据权利要求1所述的一种基于计算机视觉的木板缺陷检测方法，其特征在于，结合描述数据得到对应的瓦片内节子区域的概率的步骤包括：所述密集程度、纹理间距比和纹理倾斜程度的乘积为所述节子区域的概率。

7.根据权利要求1或2所述的一种基于计算机视觉的木板缺陷检测方法，其特征在于，得到概率图像具体为：根据瓦片的概率值与瓦片八邻域间的概率变化情况得到节子的概率图像；所述瓦片的概率值为所述节子区域的概率；由每块瓦片的概率结合矢量图可得到整张图像的节子概率分布图。

8.根据权利要求1或2所述的一种基于计算机视觉的木板缺陷检测方法，其特征在于，结合概率图像所确定的节子与阈值分割图像所确定的节子判断是否存在关联瓦片的步骤包括：结合阈值分割图与节子概率图最终确定节子位置，设定阈值，当概率

时，

；

I是和当前阈值分割连通域相关联的瓦片数量，

为I个关联瓦片内第i个瓦片的节子概率；判断是否关联的过程为：得到阈值分割的连通域；求各瓦片和当前连通域的交集占比zb，

；

式中，J为当前瓦片和连通域的交集面积，W为当前瓦片的面积；判断是否为关联瓦片若是

,则该瓦片为该连通域的关联瓦片。

Images