CN113269739A - 一种木材节子缺陷定量检测方法 - Google Patents

一种木材节子缺陷定量检测方法 Download PDF

Info

Publication number
CN113269739A
CN113269739A CN202110546082.XA CN202110546082A CN113269739A CN 113269739 A CN113269739 A CN 113269739A CN 202110546082 A CN202110546082 A CN 202110546082A CN 113269739 A CN113269739 A CN 113269739A
Authority
CN
China
Prior art keywords
rect1
wood
rect2
intersected
rectangular frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110546082.XA
Other languages
English (en)
Other versions
CN113269739B (zh
Inventor
方益明
郭显鑫
凌荣耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shaoxing
Original Assignee
University of Shaoxing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shaoxing filed Critical University of Shaoxing
Priority to CN202110546082.XA priority Critical patent/CN113269739B/zh
Publication of CN113269739A publication Critical patent/CN113269739A/zh
Application granted granted Critical
Publication of CN113269739B publication Critical patent/CN113269739B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30161—Wood; Lumber

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种木材节子缺陷定量检测方法，属于木材节子缺陷检测技术领域，该方法包括以下步骤：步骤1，建立木材节子缺陷定量检测模型；步骤2，在上述木材节子缺陷定量检测模型中输入待检测图像数据；步骤3，采用上述木材节子缺陷定量检测模型对待检测图像数据进行检测，得到检测结果。上述建立木材节子缺陷定量检测模型具体包括以下步骤：获得改进的Faster R‑CNN模型；收集训练样本数据；采用改进的Faster R‑CNN模型，利用训练样本数据对改进的Faster R‑CNN模型进行训练，从而得到木材节子缺陷定量检测模型，本发明方法具有较高的检测准确率和较低的误检率和漏检率。

Description

一种木材节子缺陷定量检测方法
技术领域
本发明属于木材缺陷检测技术领域，具体是涉及一种木材节子缺陷定量检测方法。
背景技术
木材缺陷是木材检验的主要对象之一，在各种木材缺陷中节子是最普通最常见的一种木材缺陷，节子就是所谓包含在树干或主枝木材中的枝条部分或死枝条的基部。按节子的性质可分为健全节、腐朽节、漏节。节子能够破坏木材结构的完整性以及均匀性，由于节子与周围木材的材质伸缩系数不同，会引起木材的开裂，在板材中死节脱落而形成空洞。不同大小的节子对木材力学性能的影响不同，例如当节径比(节子直径与检尺径的比值)为10％时，木材的抗弯强度下降14％，顺纹抗压强度下降12％；当节径比为50％时，木材的抗弯强度下降51％，顺纹抗压强度下降52％，因此在木材应用中，需要根据节子的大小合理地选择木材地用途，这样木材的应用就有局限性。此外，节径比是木材检验中用于确定木材等级的重要参数，根据锯材检验标准GB/T 153-2009和GB/T 4817-2009，特等锯材中节子的大小不能超过材宽的15％，一等锯材中节子的大小不能超过材宽的30％，二等锯材中节子的大小不能超过材宽的40％。因此，在木材检验和木材应用中，对节子缺陷进行高精度定量检测具有重要的意义。
近年来，基于光学图像的节子检测技术得到了快速发展，很多研究表明该方法能够取得较好的检测结果。如一种基于子区域变尺度高斯拟合模型的缺陷识别方法，是通过对木制雪糕棒表面的黑节子进行检测，准确识别率达92.8％；还有通过划分子快的方法，利用支持向量机对每个子块图像进行识别判断，最后将子块图像拼接起来，实现对木材节子缺陷的定位检测；通常类似上述的方法由两个步骤组成：1)木材图像特征提取，利用灰度共生矩阵、Gabor变换、局部二进制模式分析等方法提取木材表面图像的灰度或者纹理特征；2)节子缺陷分裂器识别，采用人工神经网络、支持向量机、凸优化等方法构建分类器，分类器作用是将节子图像与正常木材图像区分开来，然而当树种、树龄、光照强度不同时，木材以及节子的颜色特征和纹理特征存在较大差异，另外在建立分类器时人工设计的非正式提取的数据特征对于木材节子的检测由较大的影响，并不能很好的满足木材以及节子的多样性变化，没有很好的鲁棒性，节子检测难以取得较高的精度。
深度学习作为机器视觉领域的新的研究方向，具有较高的检测准确率和较低的误检率和漏检率。其中快速的基于区域的卷积网络(faster region-based convolutionalneural networks,Faster R-CNN)目前被很广泛地使用，Faster R-CNN模型用非常深的网络结构，从大量样本图像中“智能”地学习、记忆目标的深层次非线性特征，目前Faster R-CNN已经在工业CT图像缺陷检测、铁轨路基检测、异性纤维识别等领域中得到广泛应用，基于Faster R-CNN的区域视觉特征提取通常包含以下几个环节，1)输入样本图像；2)将图像输入CNN，进行特征提取；3)每张图片使用区域建议网络(RPN)生成300个建议窗口(proposals)；4)把建议窗口映射到CNN的最后一层卷积feature map上；5)通过Rolpooling层使每个RoI生成固定尺寸的feature map；6)利用Softmax Loss(探测分类概率)和Smooth L1 Loss(探测边框回归)对分类概率和边框回归(Bounding box regression)联合训练，训练得到的Faster R-CNN模型显著地提高了目标识别的精度。因此，如果将FasterR-CNN模型应用到木材检测中，深度研究木材检测和Faster R-CNN模型相结合具有重大的意义。
现有技术申请号为CN201911201861.5的中国专利，提出了一种基于Faster R-CNN的木材内部缺陷检测方法，该发明方法通过Faster R-CNN模型训练特征矩阵图像数据库从而改进原始Faster R-CNN模型，从而获得木材缺陷识别模型，具体是输入特征矩阵图像数据库；通过Faster R-CNN模型的卷基层，提取对应特征矩阵图像的特征，输出为提取的特征；通过Faster R-CNN模型的RPN网络的RoI pooling，将不同大小的特征矩阵图像转换为固定长度的输出；通过Faster R-CNN模型的RPN网络，获取对应特征矩阵图像的候选框，输出为多个候选框；比较每个候选框的得分，对于对应特征矩阵图像中得分较高的候选框的特征进行串联得到对应图像的特征表示；通过改进的Faster R-CNN模型的RPN网络的分类网络的完全连阶层对上述得分较高的候选框进行分类和区域位置调整，从而得到训练学习的内容；通过特征矩阵图像和对应木材内部缺陷位置及大小的若干次训练学习，得到木材缺陷识别模型。该发明方法是用于木材内部缺陷检测，用于木材缺陷检测时，该发明方法结果中经常会出现多个候选框，通过多个候选框的比较，得到得分较高的候选框，用于对应特征矩阵图像中的特征进行串联得到对应图像的特征表示，会显著提高检测结果的准确性，同样这在其他领域的目标检测中，也是一个优点，比如街道行人检测时，可以较好地检测出重叠目标。但是该方法用于木材节子缺陷检测时，若检测结果中经常会出现多个相交的锚定框，会对检测结果造成较大影响，因为节子本质是树枝在树干内的残留物，一个位置上不可能长出两个或多个树枝，因此当出现多个相交的锚定框时就意味着检测结果出现错误，降低检测准确率。
因此，需要提出一种新型的可应用于木材节子缺陷检测的方法。
发明内容
发明目的：为了克服现有技术中方法对节子检测鲁棒性差，检测准确率低，误检率高等不足，本发明提供一种木材节子缺陷定量检测方法，具有较高的检测准确率和较低的误检率与漏检率。
技术方案：为实现上述目的，本发明的+名称，该方法包括以下步骤：
进一步地，步骤1，建立木材节子缺陷定量检测模型；
步骤2，在上述木材节子缺陷定量检测模型中输入待检测图像数据；
步骤3，采用上述木材节子缺陷定量检测模型对待检测图像数据进行检测，得到检测结果。
进一步地，所述步骤S1包括以下步骤：
11)获得改进的Faster R-CNN模型；
12)收集训练样本数据；
13)采用改进的Faster R-CNN模型，利用训练样本数据对改进的Faster R-CNN模型进行训练，从而得到木材节子缺陷定量检测模型。
进一步地，所述12)收集训练样本数据，该训练样本数据为含有节子缺陷的图像数据以及不含节子缺陷的图像数据。
进一步地，对训练样本数据中每一幅图像中的节子位置进行标注。
进一步地，所述13)包括以下步骤：
确定Faster R-CNN模型训练的服务器类型并在该服务器上安装需要的各种软件；
确定Faster R-CNN模型训练的参数；
通过输入已标注的训练样本数据，对Faster R-CNN模型进行训练，得到木材节子缺陷定量检测模型，检测结果包括图片形式的检测结果，图片形式的检测结果以矩形框结构来显示木材节子缺陷的位置。
进一步地，所述步骤3还包括以下步骤：图片形式检测结果中矩形框结构进行判断，判断图片形式检测结果中是否存在相交的矩形框，若存在，则计算该相交矩形框的最大外接矩形框，以该相交矩形框的最大外接矩形框作为对应的节子缺陷的位置。
进一步地，判断图片形式检测结果中是否存在相交的矩形框，具体通过以下步骤判断得到：
判断图片形式检测结果中任意两个矩形框是否相交，首先设定该任意两个矩形框为Rect1和Rect2；
然后根据公式(1)来判断两个矩形框Rect1和Rect2在x方向的投影是否有交集，
max{Rect1.xmin,Rect2.xmin}<min{Rect1.xmax,Rect2.xmax} 公式(1)
若公式(1)成立，则两个矩形框Rect1和Rect2在x方向的投影有交集，若公式(1)不成立，则两个矩形框Rect1和Rect2在x方向的投影没有交集；
接着根据公式(2)来判断两个矩形框Rect1和Rect2在y方向的投影是否有交集，
max{Rect1.ymin,Rect2.ymin}<min{Rect1.ymax,Rect2.ymax} 公式(2)
若公式(2)成立，则两个矩形框Rect1和Rect2在y方向的投影有交集，若公式(2)不成立，则两个矩形框Rect1和Rect2在y方向的投影没有交集；
如果两个矩形框Rect1和Rect2在x方向的投影有交集且两个矩形框Rect1和Rect2在y方向的投影有交集，则两个矩形框Rect1和Rect2相交，否则不相交，若得到的图片形式的检测结果中存在相交的矩形框，则计算该相交矩形框的最大外接矩形框。
进一步地，计算该相交矩形框的最大外接矩形框具体包括以下步骤：
设有n个矩形框相交，则该相交的n个矩形框的最大外接矩形框的左上角点坐标为(Rect.xmin,Rect.ymin)，该相交的n个矩形框的最大外接矩形框的右下角点坐标为(Rect.xmax,Rect.xmax)，Rect.xmin,Rect.ymin，Rect.xmax,Rect.xmax可分别通过公式(2)计算得到：
Figure BDA0003073563350000041
通过上述方法得到相交的n个矩形框的最大外接矩形框的左上角点坐标和右下角点坐标，即得到了最大外接矩形框。
进一步地，首先以相交矩形框的最大外接矩形框为感兴趣区域，取出感兴趣区域中的子块图像；
然后将上述感兴趣区域中的子块图像转换到YIQ空间中；
接着在YIQ空间中提取Y通道的图像数据；
最后采用OTSU方法对上述获得的Y通道的图像数据进行分割；
对分割后的子块图像进行逐行扫描并填充节子中间空白区域，具体是：
设分割后的子块图像中，第j行中灰度值为0的像素点的集合为Pj，则Pj通过公式(3)计算得到，
Pj＝{(i，j)|G(i，j)＝0} 公式(3)
上述公式(3)中，G(i，j)表示坐标为(i，j)的像素点的像素值；
通过公式(4)求取Pj中最左边像素点的横坐标，以及通过公式(5)求取Pj中最右边像素点的横坐标：
Imin＝min(i)，(i，j)∈Pj 公式(4)
Imax＝max(i)，(i，j)∈Pj 公式(5)
将Pj中最左边像素点的横坐标和最右边像素点之间的所有像素点的灰度值设置为0，即：
G(i，j)＝0，if Imin≤i≤Imax
经过上述逐行扫描后，完成分割后的子块图像的节子中间空白区域填充。
有益效果：本发明与现有技术比较，
1、本发明方法具有较高的检测准确率和较低的误检率和漏检率。
2、本发明的Faster R-CNN方法，提出了一种轻量级的Faster R-CNN主干网络结构，与VGG-16、Resnet101等常见卷积层相比，本发明提出的主干网络结构具有运算量小，训练时间短等突出优点，进一步使本发明方法检测速度快，效率高。
3、本发明的Faster R-CNN方法，能够有效地从大量的数据中学习得到节子的特征，具有很强的适应性，可以有效消除节子纹理颜色多样性对检测精度的影响，能很好的满足木材以及节子的多样性变化，具有很好的鲁棒性且提高了检测准确率。
4、本发明的Faster R-CNN方法，应用在节子检测中，由于节子检测中不存在重叠目标，因此本发明提出相交锚框并集处理能够有效消除Faster R-CNN方法存在的单一目标重复检测问题，消除节子误检的问题，进一步提高了结果检测准确率。
5、本发明方法通过OTSU方法，在获得的感兴趣区域内对图像进行分割，这种通过在局部感兴趣区域内利用节子与背景差异较大的特性，能够有效避免局部节子特征被大面积正常木材组织特征淹没的情况，进而提高检测精度。
6、本发明方法可以定量检测到节子位置、大小等数据，具有较精准的检测作用，且检测准确率高。
附图说明
图1是本发明方法步骤流程图。
图2是本发明实施例三中训练样本数据中部分含有节子缺陷的图像数据。
图3是本发明实施例四中对训练样本数据中图片标注过程及结果示例。
图4是本发明实施例二中选用的Faster R-CNN模型的主干网络结构。
图5是待检测图像图5(a)、图5(a)的检测结果图5(b)和图5(a)的检测结果图5(c)。
图6是待检测图像图6(a)、图6(a)的检测结果图6(b)和图6(a)的检测结果图6(c)。
图7是采用实施例十的方法对样本2图像数据检测得到的检测结果。
图8是采用实施例十一的方法对样本2图像数据检测得到的检测结果。
具体实施方式
下面结合附图对本发明作更进一步的说明。
实施例一：
本实施例的一种木材节子缺陷定量检测方法，参照图1，具体包括以下步骤：
步骤1，建立木材节子缺陷定量检测模型；
步骤2，在上述木材节子缺陷定量检测模型中输入待检测图像数据；
步骤3，采用上述木材节子缺陷定量检测模型对待检测图像数据进行检测，得到检测结果。
上述建立木材节子缺陷定量检测模型具体包括以下步骤：
11)获得改进的Faster R-CNN模型；
12)收集训练样本数据；
13)采用改进的Faster R-CNN模型，利用训练样本数据对改进的Faster R-CNN模型进行训练，从而得到木材节子缺陷定量检测模型。
实施例二：
本实施例的一种木材节子缺陷定量检测方法，基于实施例一，参照图1，采用改进的Faster R-CNN模型，利用已标注的训练样本数据对改进的Faster R-CNN模型进行训练，从而得到木材节子缺陷定量检测模型，获得改进的Faster R-CNN模型具体包括以下步骤：
确定Faster R-CNN模型的主干网络结构，经过多次实验，选用的Faster R-CNN的主干网络结构为图4所示网络结构，该网络结构为本发明实施例提出的网络结构，该FasterR-CNN主干网络结构的第一层的结构为“卷积+激活+池化”，卷积模块的卷积核大小为3*3*32，激活模块的激活函数为ReLU，其数学表达式为：f(x)＝max(0,x)；池化模块的卷积核大小为2*2*32。输入大小为480*480*3的图像，经卷积和激活后输出240*240*32的特征图，再经过池化操作，得到120*120*32的特征图。该Faster R-CNN主干网络结构的第二层、第三层结构与第一层结构类似，第一层输出的特征图经过第二层、第三层的“卷积+激活+池化”后分别得到大小为60*60*128、30*30*128的特征图。该Faster R-CNN主干网络结构的第四层、第五层的结构为“卷积+激活”，不含池化模块，这两层的卷积核大小分别为3*3*256、3*3*512，激活函数均为ReLU，输出的特征图的大小分别为30*30*256和30*30*512，该Faster R-CNN主干网络结构的第6层为上采样层，其作用是融合第三层和第五层输出的不同尺度特征图中的信息，最终输出60*60*512的特征图。本发明实施例提出的网络结构与常见的FasterR-CNN的主干网络VGG-16、Resnet101相比，本发明实施例提出的Faster R-CNN主干网络具有参数量小，运算量小，执行效率高等优点。
经过上述步骤得到本发明的Faster R-CNN的主干网络结构，利用该Faster R-CNN的主干网络结构，可以实现对传统的Faster R-CNN模型的创造性改进，改进的Faster R-CNN模型提高了对待检测样本的检测准确率。
实施例三：
本实施例的一种木材节子缺陷定量检测方法，基于实施例二，参照图1，收集训练样本数据，该训练样本数据为含有节子缺陷的图像数据以及不含节子缺陷的图像数据；对训练样本数据中每一幅图像中的节子位置进行标注；采用改进的Faster R-CNN模型，利用上述已标注的训练样本数据对改进的Faster R-CNN模型进行训练，从而得到木材节子缺陷定量检测模型。
本实施例中收集训练样本数据具体包括以下步骤，训练样本数据包括含有节子缺陷的图像数据以及不含节子缺陷的图像数据，含有节子缺陷的图像数据以及不含节子缺陷的图像数据通过以下步骤得到。
含有节子缺陷的图像数据：利用工业用线阵相机对木材锯材表面进行拍摄，该表面包括木材锯材样本的横截面和竖截面，对含有节子缺陷的表面进行拍摄，采集得到含有节子缺陷的图像数据，相机分辨率设置为50-100DPI，最优的，相机分辨率设置为70DPI，因为分辨率太高会导致数据量太大，训练和识别的计算量过大；分辨率太低容易引起信息丢失，导致检测精度下降，采集得到的部分含有节子缺陷的图像数据如图2所示。
不含节子缺陷的图像数据：利用工业用线阵相机对木材锯材表面进行拍摄，该表面包括木材锯材样本的横截面和竖截面，对不含节子缺陷的表面进行拍摄，采集得到不含节子缺陷的图像数据，相机分辨率设置为50-100DPI，最优的，相机分辨率设置为70DPI。
通过上述方法得到训练样本数据，利用该训练样本数据对模型进行训练，进一步提高了模型训练的检测准确率。
实施例四：
本实施例的一种木材节子缺陷定量检测方法，基于实施例三，对训练样本数据中每一幅图像中的节子位置进行标注，利用专用标注软件，标注信息保存为XML格式文件，参照图3，图3(a)为利用专用标注软件对其中一幅图像中的节子位置进行标注的结果，从图3(a)中可以看出，该图像共包含两个节子，分别用两个矩形框对两个节子进行标注，图3(b)为对应的XML文件中部分截图，该文件中记录了节子的位置信息，可以看出分别用了xmin，ymin，xmax，ymax四个参数记录了每个矩形框的左上角和右下角的x坐标和y坐标，即矩形框的左上角位置坐标是(xmin，ymin)，矩形框的右下角位置坐标是(xmax，ymax)。通过该标注方法对训练样本数据中每一幅图像中的节子位置进行标注，采用改进的Faster R-CNN模型，利用上述已标注的训练样本数据对改进的Faster R-CNN模型进行训练，提高了模型的检测准确率。
实施例五：
本实施例的一种木材节子缺陷定量检测方法，基于实施例四，参照图1，采用改进的Faster R-CNN模型，利用已标注的训练样本数据对改进的Faster R-CNN模型进行训练，从而得到木材节子缺陷定量检测模型，具体包括以下步骤：
确定Faster R-CNN模型训练的服务器类型并在该服务器上安装需要的各种软件；
确定Faster R-CNN模型训练的参数；
通过输入已标注的训练样本数据，对Faster R-CNN模型进行训练，得到木材节子缺陷定量检测模型。
通过上述步骤最终得到木材节子缺陷定量检测模型，用于对待检测图像数据进行检测，得到检测结果。
实施例六：
本实施例的一种木材节子缺陷定量检测方法，基于实施例五，确定Faster R-CNN模型训练的参数，利用训练样本数据对改进的Faster R-CNN模型进行训练，使用公开训练好的ImageNet分类模型初始化RPN和Fast R-CNN共享的网络层,其余层使用均值为0、标准差为0.01的高斯分布随机初始化。经过多次比较实验，将迭代学习次数设置为250：前50次的迭代学习率设置为0.001，后续100次的迭代学习率设置为0.0001，最后100次的迭代学习率设置为0.00001。权重衰减因子为0.0005，动量设置为0.9。
对改进的Faster R-CNN模型进行上述参数设置，然后利用训练样本数据对该Faster R-CNN模型进行训练，进一步提高了模型对待检测样本的检测准确率。
实施例七：
本实施例的一种木材节子缺陷定量检测方法，基于实施例六，Faster R-CNN模型的训练在塔式深度学习服务器上运行，具体参数为：18核36线程、3.1G主频的金牌6254C处理器；128G内存；4块RTX3090显卡。且在塔式深度学习服务器上安装Python 3.7.6、Pytorch1.5.1、VS 2017、CUDA 10.2、cuDNN 7.6.5等软件，最终实现Faster R-CNN模型的训练。
上述模型训练的服务器类型可以进一步提高模型对待检测样本的检测准确率。
通过上述方法得到木材节子缺陷定量检测模型；在木材节子缺陷定量检测模型中输入待检测图像数据；采用木材节子缺陷定量检测模型对待检测图像数据进行检测，得到检测结果。在本发明实施例中，检测结果包括图片形式和文本形式，图片形式的检测结果以矩形框结构显示木材节子缺陷的位置。
实施例八：
本实施例的一种木材节子缺陷定量检测方法，基于实施例七，具体包括以下步骤：
步骤1，建立木材节子缺陷定量检测模型；步骤2，在上述木材节子缺陷定量检测模型中输入待检测图像数据；步骤3，采用上述木材节子缺陷定量检测模型对待检测图像数据进行检测，得到检测结果。
其中步骤2还包括以下步骤，待检测图像数据主要来自需要检测的木材样本，主要通过工业用线阵相机对需要检测的木材样本表面进行拍摄，该表面包括木材样本的横截面和竖截面，采集得到的图像数据即待检测图像数据，本实施例中相机分辨率设置为50-100DPI，最优的，相机分辨率设置为70DP。将上述步骤得到的待检测图像数据输入到木材节子缺陷定量检测模型中，利用木材节子缺陷定量检测模型对待检测图像数据进行检测，得到检测结果。
实施例九：
本实施例的一种木材节子缺陷定量检测方法，基于实施例八，具体包括以下步骤：步骤1，建立木材节子缺陷定量检测模型；步骤2，在上述木材节子缺陷定量检测模型中输入待检测图像数据；步骤3，采用上述木材节子缺陷定量检测模型对待检测图像数据进行检测，得到检测结果。对于需要检测的木材样本，采集其表面图像，然后将图像输入到训练后的Faster R-CNN模型中，最后得到检测结果。本实施例中待检测图像包括图5(a)所示图像，将图5(a)所示图像数据输入到木材节子缺陷定量检测模型中，得到检测结果，图5(a)所示检测结果对应图5(b)和5(c)，图5(b)是检测结果的图片显示形式，图5(c)是检测结果的文本显示形式。从图中可以看出，图5(a)包括3个节子，图5(b)包括3个矩形框，图5(c)包括3个位置描述，图5(a)中3个节子缺陷位置分别对应图5(b)中的3个矩形框，图5(a)中3个节子缺陷位置分别对应图5(c)中3个节子检测结果位置描述。从检测结果看，本发明实施例FasterR-CNN模型能够准确检测出木材表面图像中的节子，而且置信系数较高。
实施例十：
本实施例的一种木材节子缺陷定量检测方法，基于实施例八，具体包括以下步骤：步骤1，建立木材节子缺陷定量检测模型；步骤2，在上述木材节子缺陷定量检测模型中输入待检测图像数据；步骤3，采用上述木材节子缺陷定量检测模型对待检测图像数据进行检测，得到检测结果。检测结果包括图片形式和文本形式，图片形式的检测结果以矩形框结构来显示木材节子缺陷的位置。
其中步骤3还包括以下步骤，参照图1，对上述步骤3中得到的图片形式检测结果中矩形框结构进行判断，判断图片形式检测结果中是否存在相交的矩形框，若存在，则计算该相交矩形框的最大外接矩形框，以该相交矩形框的最大外接矩形框作为对应的节子缺陷的位置。
判断图片形式检测结果中是否存在相交的矩形框，具体通过以下步骤判断得到：
判断图片形式检测结果中任意两个矩形框是否相交，首先设定该任意两个矩形框为Rect1和Rect2；
然后根据公式(1)来判断两个矩形框Rect1和Rect2在x方向的投影是否有交集，
max{Rect1.xmin,Rect2.xmin}<min{Rect1.xmax,Rect2.xmax} 公式(1)
若公式(1)成立，则两个矩形框Rect1和Rect2在x方向的投影有交集，若公式(1)不成立，则两个矩形框Rect1和Rect2在x方向的投影没有交集。
上述公式(1)中，Rect1.xmin指矩形框Rect1的左上角x坐标，Rect2.xmin指矩形框Rect2的左上角x坐标，max{Rect1.xmin,Rect2.xmin}指矩形框Rect1的左上角x坐标和矩形框Rect2的左上角x坐标的最大值，Rect1.xmax指矩形框Rect1的右下角x坐标，Rect2.xmax指矩形框Rect2的右下角x坐标，min{Rect1.xmax,Rect2.xmax}指矩形框Rect1的右下角x坐标和矩形框Rect2的右下角x坐标的最小值。
接着根据公式(2)来判断两个矩形框Rect1和Rect2在y方向的投影是否有交集，
max{Rect1.ymin,Rect2.ymin}<min{Rect1.ymax,Rect2.ymax} 公式(2)
若公式(2)成立，则两个矩形框Rect1和Rect2在y方向的投影有交集，若公式(2)不成立，则两个矩形框Rect1和Rect2在y方向的投影没有交集。
上述公式(2)中，Rect1.ymin指矩形框Rect1的左上角y坐标，Rect2.ymin指矩形框Rect2的左上角y坐标，max{Rect1.ymin,Rect2.ymin}指矩形框Rect1的左上角y坐标和矩形框Rect2的左上角y坐标的最大值，Rect1.ymax指矩形框Rect1的右下角y坐标，Rect2.ymax指Rect2.xmax指矩形框Rect2的右下角y坐标，min{Rect1.ymax,Rect2.ymax}指矩形框Rect1的右下角y坐标和矩形框Rect2的右下角y坐标的最小值。
最后如果两个矩形框Rect1和Rect2在x方向的投影有交集且两个矩形框Rect1和Rect2在y方向的投影有交集，则两个矩形框Rect1和Rect2相交，否则不相交。
若得到的图片形式检测结果中存在相交的矩形框，则计算该相交矩形框的最大外接矩形框。计算该相交矩形框的最大外接矩形框具体包括以下步骤：
设有n个矩形框相交，则该相交的n个矩形框的最大外接矩形框的左上角点坐标为(Rect.xmin,Rect.ymin)，该相交的n个矩形框的最大外接矩形框的右下角点坐标为(Rect.xmax,Rect.xmax)，Rect.xmin,Rect.ymin，Rect.xmax,Rect.xmax可分别通过公式(2)计算得到：
Figure BDA0003073563350000121
通过上述方法得到相交的n个矩形框的最大外接矩形框的左上角点坐标和右下角点坐标，即得到了最大外接矩形框，以该相交矩形框的最大外接矩形框作为对应的节子缺陷的位置，通过上述方法确定得到的节子缺陷的位置更加精准。
实施例十一：
本实施例的一种木材节子缺陷定量检测方法，基于实施例十，参照图1，在本实施例中，还包括以下步骤，
首先以相交矩形框的最大外接矩形框为感兴趣区域，取出感兴趣区域中的子块图像，在本发明实施例中，实际操作过程中取出感兴趣区域中的子块图像主要是通过在MATLAB仿真软件中进行；
然后将上述感兴趣区域中的子块图像转换到YIQ空间中，YIQ空间是指亮度-色彩-饱和度(luminance-in-phase-quadrature，YIQ)颜色空间，实际操作过程中将感兴趣区域中的子块图像转换到YIQ空间中主要是通过在MATLAB仿真软件中进行；
接着在YIQ空间中提取Y通道的图像数据，实际操作过程中该步骤也是主要在MATLAB仿真软件中进行；
最后采用OTSU方法对上述获得的Y通道的图像数据进行分割；
OTSU方法的具体实现步骤是：
先求出图像的灰度直方图，遍历图像中的一个灰度等级，以此灰度等级作为阈值T；
然后令图像中像素灰度值I(i，j)小于阈值T的像素为前景图像，像素灰度值I(i，j)大于阈值T的像素为背景图像，w0为前景图像像素数占总像素数的比例，w1为背景图像像素数占总像素数的比例。u0为前景图像像素灰度的加权平均值，u1为背景图像像素灰度的加权平均值；
接着按下式计算类间方差：
g＝w0*w1*(u0-u1)2
最后采用遍历的方法得到使类间方差g为最大时的阈值T0，依据下式，可以得到分割后的图像：
Figure BDA0003073563350000131
上述公式中，G(i，j)表示分割后的图像中坐标为(i，j)的像素点的像素值
实际操作过程中，上述采用OTSU方法对上述获得的Y通道的图像数据进行分割主要是通过在MATLAB仿真软件中进行。
对通过上述方法分割后的子块图像进行逐行扫描并填充节子中间空白区域，具体是：
设分割后的子块图像中，第j行中灰度值为0的像素点的集合为Pj，则Pj通过公式(3)计算得到，
Pj＝{(i，j)|G(i，j)＝0} 公式(3)
上述公式(3)中，G(i，j)表示分割后的子块图像中坐标为(i，j)的像素点的像素值；
通过公式(4)求取Pj中最左边像素点的横坐标，以及通过公式(5)求取Pj中最右边像素点的横坐标：
Imin＝min(i)，(i，j)∈Pj 公式(4)
Imax＝max(i)，(i，j)∈Pj 公式(5)
将Pj中最左边像素点的横坐标和最右边像素点之间的所有像素点的灰度值设置为0，即：
G(i，j)＝0，if Imin≤i≤Imax
经过上述逐行扫描后，完成分割后的子块图像的节子中间空白区域填充，从而重新确定节子缺陷位置，通过上述方法重新确定得到的节子缺陷位置更加精确。
实施例十二：
本实施例的一种木材节子缺陷定量检测方法，基于实施例十一，对现待检测图像进行节子检测的步骤具体包括：步骤1，建立木材节子缺陷定量检测模型；步骤2，在上述木材节子缺陷定量检测模型中输入待检测图像数据；步骤3，采用上述木材节子缺陷定量检测模型对待检测图像数据进行检测，得到检测结果。
现准备2份待检测图像对本发明提出的方法进行实验验证，2份样本包括样本1图像数据和样本2图像数据。
样本1图像数据参照图5(a)，样本2图像数据参照图6(a)。
通过上述实施例九方法，分别对样本1图像数据和样本2图像数据进行检测，得到的结果如下：图5(a)的检测结果对应图5(b)和5(c)，图5(b)是检测结果的图片显示形式，图5(c)是检测结果的文本显示形式，从图中可以看出，图5(a)包括3个节子，图5(b)包括3个矩形框，图5(c)包括3个位置描述，图5(a)中3个节子缺陷位置分别对应图5(b)中的3个矩形框，图5(a)中3个节子缺陷位置分别对应图5(c)中3个节子检测结果位置描述；
图6(a)的检测结果对应图6(b)和6(c)，图6(b)是检测结果的图片显示形式，图6(c)是检测结果的文本显示形式，从图中可以看出，图6(a)包括2个节子，图6(b)包括3个矩形框，图6(c)包括3个位置描述，图6(a)中其中1个节子缺陷位置(简称节子1)对应图6(b)中的1个矩形框(矩形框A)以及图6(c)中1个节子检测结果位置描述，而图6(a)中另1个节子缺陷位置(简称节子2)对应图6(b)中的2个矩形框(矩形框B、矩形框C)以及图6(c)中2个节子检测结果位置描述，出现了一个节子多个检测结果，图6(b)中3个矩形框信息分别如下表所示：
表1
Figure BDA0003073563350000141
从图6(b)中和表1中可以看出，矩形框B和矩形框C本质上对应同一个节子。而木材表面图像反映的是木材表面信息，其每一个像素点与木材表面的物理信息是一一对应的。节子是树枝在树干内的残留物，因此不可能在同一个位置出现两个节子，因此，这种一个节子被标出两个矩形框的检测结果是错误的，需要对其进一步甄别。
采用实施例十的方法对样本2图像数据进行重新检测，得到相交的n个矩形框的最大外接矩形框的左上角点坐标和右下角点坐标，即得到了最大外接矩形框，以该相交矩形框的最大外接矩形框作为对应的节子缺陷的位置，检测结果如图7所示。图7中包括2个矩形框，图6(a)包括2个节子，图6(a)中节子1对应图7中的1个矩形框，该矩形框即为矩形框A，矩形框A为：(223,299,253,340)，图6(a)中节子2对应图7中另1个矩形框，该矩形框就是矩形框B和矩形框C的最大外接矩形框(矩形框D)，矩形框D为：(292,202,327,235)，以矩形框D作为图6(a)中节子2的检测结果，进一步提高了检测结果精确度。
采用实施例十一的方法对样本2图像数据进行重新检测，首先基于实施例十的方法，求得最大外接矩形框(矩形框D)，然后通过实施例十一的方法列出样本2最大外接矩形框中子块图像的处理过程，得到表2：
表2样本2各最大外接矩形中子块图像的处理过程
Figure BDA0003073563350000151
然后对分割后的子块图像进行逐行扫描并填充节子中间空白区域，逐行扫描，完成子块图像的节子中间空白区域填充得到结果如图8所示，图8(a)为样本1中节子1的检测结果，图8(b)为样本1中节子2的检测结果，该检测结果记录了节子位置、大小等数据，进一步提高了检测结果精确度。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种木材节子缺陷定量检测方法，其特征在于：该方法包括以下步骤：
步骤1，建立木材节子缺陷定量检测模型；
步骤2，在上述木材节子缺陷定量检测模型中输入待检测图像数据；
步骤3，采用上述木材节子缺陷定量检测模型对待检测图像数据进行检测，得到检测结果。
2.根据权利要求1所述的木材节子缺陷定量检测方法，其特征在于：所述步骤S1包括以下步骤：
11)获得改进的Faster R-CNN模型；
12)收集训练样本数据；
13)采用改进的Faster R-CNN模型，利用训练样本数据对改进的Faster R-CNN模型进行训练，从而得到木材节子缺陷定量检测模型。
3.根据权利要求2所述的木材节子缺陷定量检测方法，其特征在于：所述12)收集训练样本数据，该训练样本数据为含有节子缺陷的图像数据以及不含节子缺陷的图像数据。
4.根据权利要求3所述的木材节子缺陷定量检测方法，其特征在于：对训练样本数据中每一幅图像中的节子位置进行标注。
5.根据权利要求4所述的木材节子缺陷定量检测方法，其特征在于：所述13)包括以下步骤：
确定Faster R-CNN模型训练的服务器类型并在该服务器上安装需要的各种软件；
确定Faster R-CNN模型训练的参数；
通过输入已标注的训练样本数据，对Faster R-CNN模型进行训练，得到木材节子缺陷定量检测模型，检测结果包括图片形式的检测结果，图片形式的检测结果以矩形框结构来显示木材节子缺陷的位置。
6.根据权利要求5所述的木材节子缺陷定量检测方法，其特征在于：所述步骤3还包括以下步骤：图片形式检测结果中矩形框结构进行判断，判断图片形式检测结果中是否存在相交的矩形框，若存在，则计算该相交矩形框的最大外接矩形框，以该相交矩形框的最大外接矩形框作为对应的节子缺陷的位置。
7.根据权利要求6所述的木材节子缺陷定量检测方法，其特征在于：
判断图片形式检测结果中是否存在相交的矩形框，具体通过以下步骤判断得到：
判断图片形式检测结果中任意两个矩形框是否相交，首先设定该任意两个矩形框为Rect1和Rect2；
然后根据公式(1)来判断两个矩形框Rect1和Rect2在x方向的投影是否有交集，
max{Rect1.xmin,Rect2.xmin}<min{Rect1.xmax,Rect2.xmax} 公式(1)
若公式(1)成立，则两个矩形框Rect1和Rect2在x方向的投影有交集，若公式(1)不成立，则两个矩形框Rect1和Rect2在x方向的投影没有交集；
接着根据公式(2)来判断两个矩形框Rect1和Rect2在y方向的投影是否有交集，
max{Rect1.ymin,Rect2.ymin}<min{Rect1.ymax,Rect2.ymax} 公式(2)
若公式(2)成立，则两个矩形框Rect1和Rect2在y方向的投影有交集，若公式(2)不成立，则两个矩形框Rect1和Rect2在y方向的投影没有交集；
如果两个矩形框Rect1和Rect2在x方向的投影有交集且两个矩形框Rect1和Rect2在y方向的投影有交集，则两个矩形框Rect1和Rect2相交，否则不相交，若得到的图片形式的检测结果中存在相交的矩形框，则计算该相交矩形框的最大外接矩形框。
8.根据权利要求7所述的木材节子缺陷定量检测方法，其特征在于：
计算该相交矩形框的最大外接矩形框具体包括以下步骤：
设有n个矩形框相交，则该相交的n个矩形框的最大外接矩形框的左上角点坐标为(Rect.xmin,Rect.ymin)，该相交的n个矩形框的最大外接矩形框的右下角点坐标为(Rect.xmax,Rect.xmax)，Rect.xmin,Rect.ymin，Rect.xmax,Rect.xmax可分别通过公式(2)计算得到：
Figure FDA0003073563340000021
通过上述方法得到相交的n个矩形框的最大外接矩形框的左上角点坐标和右下角点坐标，即得到了最大外接矩形框。
9.根据权利要求8所述的木材节子缺陷定量检测方法，其特征在于：还包括以下步骤：
首先以相交矩形框的最大外接矩形框为感兴趣区域，取出感兴趣区域中的子块图像；
然后将上述感兴趣区域中的子块图像转换到YIQ空间中；
接着在YIQ空间中提取Y通道的图像数据；
最后采用OTSU方法对上述获得的Y通道的图像数据进行分割；
对分割后的子块图像进行逐行扫描并填充节子中间空白区域，具体是：
设分割后的子块图像中，第j行中灰度值为0的像素点的集合为Pj，则Pj通过公式(3)计算得到，
Pj＝{(i,j)|G(i,j)＝0} 公式(3)
上述公式(3)中，G(i,j)表示坐标为(i,j)的像素点的像素值；
通过公式(4)求取Pj中最左边像素点的横坐标，以及通过公式(5)求取Pj中最右边像素点的横坐标：
Imin＝min(i),(i,j)∈Pj 公式(4)
Imax＝max(i),(i,j)∈Pj 公式(5)
将Pj中最左边像素点的横坐标和最右边像素点之间的所有像素点的灰度值设置为0，即：
G(i,j)＝0,if Imin≤i≤Imax
经过上述逐行扫描后，完成分割后的子块图像的节子中间空白区域填充。
CN202110546082.XA 2021-05-19 2021-05-19 一种木材节子缺陷定量检测方法 Active CN113269739B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110546082.XA CN113269739B (zh) 2021-05-19 2021-05-19 一种木材节子缺陷定量检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110546082.XA CN113269739B (zh) 2021-05-19 2021-05-19 一种木材节子缺陷定量检测方法

Publications (2)

Publication Number Publication Date
CN113269739A true CN113269739A (zh) 2021-08-17
CN113269739B CN113269739B (zh) 2024-02-27

Family

ID=77232152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110546082.XA Active CN113269739B (zh) 2021-05-19 2021-05-19 一种木材节子缺陷定量检测方法

Country Status (1)

Country Link
CN (1) CN113269739B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200175352A1 (en) * 2017-03-14 2020-06-04 University Of Manitoba Structure defect detection using machine learning algorithms
CN111351860A (zh) * 2019-11-29 2020-06-30 浙江农林大学 基于Faster R-CNN的木材内部缺陷检测方法
CN111951212A (zh) * 2020-04-08 2020-11-17 北京交通大学 对铁路的接触网图像进行缺陷识别的方法
CN112508857A (zh) * 2020-11-17 2021-03-16 华南理工大学 基于改进型Cascade R-CNN的铝材表面缺陷检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200175352A1 (en) * 2017-03-14 2020-06-04 University Of Manitoba Structure defect detection using machine learning algorithms
CN111351860A (zh) * 2019-11-29 2020-06-30 浙江农林大学 基于Faster R-CNN的木材内部缺陷检测方法
CN111951212A (zh) * 2020-04-08 2020-11-17 北京交通大学 对铁路的接触网图像进行缺陷识别的方法
CN112508857A (zh) * 2020-11-17 2021-03-16 华南理工大学 基于改进型Cascade R-CNN的铝材表面缺陷检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
范佳楠;刘英;胡忠康;赵乾;沈鹭翔;周晓林;: "基于Faster R-CNN的实木板材缺陷检测识别系统", 林业工程学报, no. 03, 25 May 2019 (2019-05-25) *
萧嘉奕;马艳;周竹;方益明;: "基于Faster R-CNN模型的木材表面节子缺陷检测", 木材工业, no. 02, 8 March 2020 (2020-03-08) *

Also Published As

Publication number Publication date
CN113269739B (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
CN107977671B (zh) 一种基于多任务卷积神经网络的舌象分类方法
CN111325203B (zh) 一种基于图像校正的美式车牌识别方法及系统
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN111862064B (zh) 一种基于深度学习的银质丝材表面瑕疵识别方法
CN112598672A (zh) 一种基于深度学习的路面病害图像分割方法和系统
CN109840483B (zh) 一种滑坡裂缝检测与识别的方法及装置
CN115393727B (zh) 一种路面线性裂缝识别方法、电子设备及存储介质
CN112149535B (zh) 一种结合SegNet和U-Net的车道线检测方法和装置
CN113971779A (zh) 一种基于深度学习的水尺自动读数方法
CN112651968A (zh) 一种基于深度信息的木板形变与凹坑检测方法
CN112001901A (zh) 基于卷积神经网络的苹果缺陷检测方法及系统
CN116229265A (zh) 一种自动无损提取大豆植株表型的方法
CN115345858A (zh) 一种超声心动图质量评价方法、系统及终端设备
CN116740758A (zh) 一种防止误判的鸟类图像识别方法及系统
CN111062437A (zh) 一种基于深度学习的桥梁结构病害自动目标检测模型
CN110246139A (zh) 基于双阈值的浮游生物原位图像roi快速提取方法
CN110705535A (zh) 一种试卷版面文字行自动检测的方法
CN114882204A (zh) 船名自动识别方法
CN113962929A (zh) 光伏电池组件缺陷检测方法、系统及光伏电池组件生产线
CN111179278B (zh) 一种图像检测的方法、装置、设备和存储介质
CN113269739B (zh) 一种木材节子缺陷定量检测方法
CN106778722A (zh) 图片处理方法及装置
CN115908774A (zh) 一种基于机器视觉的变形物资的品质检测方法和装置
CN113763384A (zh) 工业质检中的缺陷检测方法、缺陷检测装置
CN114864031A (zh) 一种基于区块链的数据治理协同方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant