CN111351860A - 基于Faster R-CNN的木材内部缺陷检测方法 - Google Patents

基于Faster R-CNN的木材内部缺陷检测方法 Download PDF

Info

Publication number
CN111351860A
CN111351860A CN201911201861.5A CN201911201861A CN111351860A CN 111351860 A CN111351860 A CN 111351860A CN 201911201861 A CN201911201861 A CN 201911201861A CN 111351860 A CN111351860 A CN 111351860A
Authority
CN
China
Prior art keywords
stress wave
wood
faster
cnn
matrix image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911201861.5A
Other languages
English (en)
Inventor
冯海林
陈力
杜晓晨
李剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang A&F University ZAFU
Original Assignee
Zhejiang A&F University ZAFU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang A&F University ZAFU filed Critical Zhejiang A&F University ZAFU
Priority to CN201911201861.5A priority Critical patent/CN111351860A/zh
Publication of CN111351860A publication Critical patent/CN111351860A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/06—Visualisation of the interior, e.g. acoustic microscopy
    • G01N29/0654—Imaging
    • G01N29/069—Defect imaging, localisation and sizing using, e.g. time of flight diffraction [TOFD], synthetic aperture focusing technique [SAFT], Amplituden-Laufzeit-Ortskurven [ALOK] technique
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/07—Analysing solids by measuring propagation velocity or propagation time of acoustic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4409—Processing the detected response signal, e.g. electronic circuits specially adapted therefor by comparison
    • G01N29/4418—Processing the detected response signal, e.g. electronic circuits specially adapted therefor by comparison with a model, e.g. best-fit, regression analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4481—Neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/46—Wood
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/023—Solids
    • G01N2291/0238—Wood
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/028—Material parameters
    • G01N2291/0289—Internal structure, e.g. defects, grain size, texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Wood Science & Technology (AREA)
  • Computing Systems (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)

Abstract

本发明公开了基于Faster R‑CNN的木材内部缺陷检测方法，属于木材内部缺陷检测技术领域，具体包括：建立木材缺陷识别模型，确定目标试样；采用木材缺陷识别模型对目标试样进行检测，得到木材内部缺陷的方位和大小；建立木材缺陷识别模型包括建立特征矩阵图像数据库，通过Faster R‑CNN模型训练特征矩阵图像数据库改进Faster R‑CNN模型，从而获得木材缺陷识别模型，本专利采用深度学习算法替代传统浅层学习算法，利用该种基于快速的深度神经网络进行木材缺陷检测，可以实现快速精确地检测目标缺陷在木材内部具体位置。

Description

基于Faster R-CNN的木材内部缺陷检测方法
技术领域
本发明属于木材内部缺陷检测技术领域，具体是涉及一种基于Faster R-CNN的木材内部缺陷检测方法。
背景技术
木材无损检测技术因在古树名木保护、木质资源利用领域中存在着重要的研究意义和应用价值，而迅速发展成一项实用技术。其主要特点为突破了被测木材形状和尺寸的桎梏，可以广泛应用于古建筑、活立木、原木的缺陷识别和力学性能检测上。目前的木材无损检测技术存在着成本、精度、效率上的缺陷，如何快速、准确地提取木材缺陷的特征依然是木材无损检测领域的一大难题。
现有技术中采用应力波来进行木材无损检测，应力波木材无损检测技术基于应力波特性，敲击木材，在木材中生成应力波，应力波在木材中以一定速率传播，当木材内部出现腐朽、孔洞时，由于应力波不能沿直线进行传播，传播时间会增加，即应力波经过树木的缺陷区域的速度要慢于木材的正常区域。操作如图1所示，先使用一定数量的应力波传感器平均放置在树木的横截面上，然后用脉冲锤来敲击其中一个传感器时，木材内部产生应力波，其余的传感器收集应力波在木材内部不同方向的传播时间和传播速度变化就能确定木材的一些性质，如弹性模量、空洞等。因此，可以通过分析应力波传播时间或传播速度的变化规律来判断被测试样内部是否存在缺陷。但是这种基础的应力波木材无损检测方法存在着成本、精度、效率上的缺陷。
传统技术中的神经网络算法如应用向后反馈(BP)算法、支持向量机算法(SVM) 应用于木材缺陷识别领域中，取得了一定的进展。而随着计算机图形处理器(GPU)技术的革新，深度学习(deep learning,，DL)这样区别于常用的BP和SVM等浅层学习算法的思想给机器学习领域带了新的发展，卷积神经网络(convolutional neural networks， CNN)是一类包含卷积计算的深度前馈神经网络，作为深度学习的代表算法之一，DL 通过无监督学习有效避免了维数灾难，可以显著降低网络模型的参数规模,减少对训练数据量的依赖，目前被大量应用于计算机视觉等领域，CNNs网络已经成为视觉特征提取的有效方法。
一种快速的基于区域的卷积网络(faster region-based convolutional neuralnetworks, Faster R-CNN)目前被很广泛地使用。基于Faster R-CNN的区域视觉特征提取通常包含以下几个环节，1)输入测试图像；2)将图像输入CNN，进行特征提取；3)每张图片使用区域建议网络(RPN)生成300个建议窗口(proposals)；4)把建议窗口映射到 CNN的最后一层卷积feature map上；5)通过Rol pooling层使每个RoI生成固定尺寸的feature map；6)利用Softmax Loss(探测分类概率)和Smooth L1 Loss(探测边框回归) 对分类概率和边框回归(Bounding box regression)联合训练。
如上分析，Faster R-CNN已经成为物体区域检测的有效方法，因而也可以采用Faster R-CNN检测木材的缺陷区域。但是现有的Faster R-CNN模型完全没有涉及到与应力波图像、木材缺陷等相关的信息，而是基于VOC2007中20类常见的物体预训练得到的模型。综上所述，需要提出一种新型的木材无损检测方法。
发明内容
发明目的：为了克服现有技术中存在的不足，现有技术中木材内部缺陷无损检测方法无法定量、快速、自适应、低成本、高精度和高效率地检测目标缺陷在木材内部具体位置的情况，本发明提供基于Faster R-CNN的木材内部缺陷检测方法。
技术方案：为实现上述目的，本发明的基于Faster R-CNN的木材内部缺陷检测方法，包括以下步骤：
S1建立木材缺陷识别模型；
S2确定目标试样；
S3采用木材缺陷识别模型对目标试样进行检测，得到木材内部缺陷的方位和大小。
进一步地，所述S1包括以下步骤：建立木材缺陷识别模型
S11建立特征矩阵图像数据库；
S12通过Faster R-CNN模型训练特征矩阵图像数据库改进Faster R-CNN模型，从而获得木材缺陷识别模型。
进一步地，所述S11包括以下步骤：
S111利用应力波无损检测技术建立原始特征矩阵图像数据库；
S112使用仿真程序生成仿真特征矩阵图像数据库；
S113将原始特征矩阵图像数据库和仿真特征矩阵图像数据库共同作为特征矩阵图像数据库。
进一步地，所述S111包括以下步骤：
S1111选定若干个待测树木；
S1112利用应力波木材无损检测仪对树木进行应力波木材无损检测，具体是使用一定数量的应力波传感器均匀放置在待测树木的横截面上，接着用脉冲锤按序敲击应力波传感器，当敲击其中一个应力波传感器时，木材内部产生应力波，其余的应力波传感器收集在木材内部不同方向的应力波，应力波木材无损检测仪得到两两传感器之间的应力波传播时间，根据两两传感器之间的应力波传播距离和对应的两两传感器之间的应力波传播时间得到对应的两两传感器之间的应力波传播速度，两两传感器之间的应力波传播速度由公式(1)得到：
Figure RE-GDA0002502422670000031
上述公式(1)中，i是指第i个应力波传感器，j是指第j个应力波传感器，v(i,j)是指第i个应力波传感器和第j个应力波传感器之间的应力波传播速度，Δt(i,j)是指i个应力波传感器和第j个应力波传感器之间的应力波传播时间，l是指第i个应力波传感器和第j个应力波传感器之间的应力波传播距离，S是指待测树木的横截面的周长，π≥θ＝∠(x1,x2)；
由此类推，设应力波传感器的个数为x，最终得到x×x的二维应力波速度矩阵A，矩阵A如公式(2)所示：
Figure RE-GDA0002502422670000032
上述公式中，v(1,x)是指第1个应力波传感器与第x个应力波传感器之间的应力波传播速度，以此类推；
S1113将所述应力波速度矩阵A转化为矩阵B，转化公式如公式(3)所示，
Figure RE-GDA0002502422670000033
上述公式(3)中，A(i,j)是指矩阵A中第i个应力波传感器和第j个应力波传感器之间的应力波传播速度，AMIN是指去除A(i,j)(i＝j)后矩阵A中数值的极小值，AMAX是指去除A(i,j)(i＝j)后矩阵A中数值的极大值，B(i,j)是指矩阵B中第i个应力波传感器和第j个应力波传感器之间的应力波传播相对速度；
矩阵B如公式(4)所示：
Figure RE-GDA0002502422670000041
S1114应力波木材无损检测仪的每个应力波传感器都是独立的检测通道，应力波传感器两两之间组成应力波信号传播通道来获取数据，将矩阵B中各值对应的应力波信号传播通道对应上色表示成颜色通道，得到特征矩阵图，由此类推，得到若干张特征矩阵图，得到原始特征矩阵图像数据库。
进一步地，所述S112包括以下步骤：使用仿真程序生成仿真特征矩阵图像数据库，具体是通过人工手动绘图绘出需要仿真的缺陷位置，仿真程序将自动生成对应缺陷位置的仿真缺陷木材应力波速度特征矩阵图，并自动保留缺陷大小、位置特征数据，得到若干张仿真特征矩阵图像数据库。
进一步地，所述S12包括以下步骤：
S121输入所述特征矩阵图像数据库；
S122通过改进的Faster R-CNN模型的卷基层，提取对应特征矩阵图像的特征，输出为提取的特征；
S123通过改进的Faster R-CNN模型的RPN网络的RoI pooling，将不同大小的特征矩阵图像转换为固定长度的输出；
S124通过改进的Faster R-CNN模型的RPN网络，获取对应特征矩阵图像的候选框，输出为多个候选框；
S125比较每个候选框的得分，对于对应特征矩阵图像中得分较高的候选框的特征进行串联得到对应图像的特征表示；
S126通过改进的Faster R-CNN模型的RPN网络的分类网络的完全连阶层对上述得分较高的候选框进行分类和区域位置调整，从而得到训练学习的内容；
S127通过特征矩阵图像和对应木材内部缺陷位置及大小的若干次训练学习，得到木材缺陷识别模型。
进一步地，所述S3包括以下步骤：
S31输入目标试样对应的特征矩阵图像；
S32通过改进的Faster R-CNN模型的卷基层，提取对应特征矩阵图像的特征，输出为提取的特征；
S33通过改进的Faster R-CNN模型的RPN网络，获取对应特征矩阵图像的候选框，输出为多个候选框；
S34比较每个候选框的得分，对于对应特征矩阵图像中得分较高的候选框的特征进行串联得到对应图像的特征表示；
S35通过改进的Faster R-CNN模型的RPN网络的分类网络的完全连阶层对上述得分较高的候选框进行分类和区域位置调整，从而得到对应木材内部缺陷位置和大小。
进一步地，所述S121的特征矩阵图像数据库还包括将特征矩阵图像数据库进行剪裁和翻转得到的增强训练集。
进一步地，所述S12还包括以下步骤：输入所述特征矩阵图像数据库后，通过改进的Faster R-CNN模型的RPN网络的池化层去除特征矩阵图像的重复特征。
有益效果：
本发明与现有技术比较，具有的优点是：
1、本专利的基于Faster R-CNN的木材内部缺陷检测方法，采用了快速的基于区域的卷积网络(Faster R-CNN)，采用深度学习算法替代传统浅层学习算法，利用该种基于快速的深度神经网络进行木材缺陷检测，最终实现木材内部缺陷位置、大小的检测；
2、本专利的基于Faster R-CNN的木材内部缺陷检测方法实现木材内部缺陷位置、大小的检测，基于应力波和Faster R-CNN进行木材内部缺陷检测，选用Faster R-CNN 算法对木材缺陷的应力波图像进行学习训练，提取数据中的信息从而可以获取缺陷的位置和大小，不同于传统的应力波木材无损检测，能够精确且快速地检测目标缺陷在木材内部具体位置；
3、本专利的基于Faster R-CNN的木材内部缺陷检测方法，采用的快速深度神经网络的木材缺陷检测模型，以木材内应力波传播速度生成的速度线图来作为中间数据集，并通过生成仿真线图的方式来增大样本量和建立数据库，利用区域建议网络(RPN)反复训练Faster R-CNN，得到检测模型，该检测模型可以实现快速精确地检测目标缺陷在木材内部具体位置；
4、本专利的一种基于Faster R-CNN的木材内部缺陷检测方法，采用的快速深度神经网络的木材缺陷检测模型，为了验证该模型的有效性，选取含有不同缺陷位置的木材样品n截，对应采集试样应力波传播速度数据n组，最后对比模型提取的缺陷特征位置和木材实际的缺陷特征位置得到实验结果，实验结果表明，该方法能较为准确、便捷的识别目标缺陷位置，准确率达到88％。
附图说明
图1是应力波无损检测示意图。
图2是应力波无损检测传感器原理示意图。
图3是受测缺陷样本a示意图。
图4是应力波速度矩阵转化为特征矩阵图示意图。
图5是仿真程序生成特征矩阵图。
图6是Faster R-CNN区域视觉特征提取示意图。
图7是数据集增强处理示意图。
图8是基于应力波和Faster R-CNN的木材缺陷识别方法流程图。
图9是Faster RCNN整体流程图。
具体实施方式
下面结合附图和实施例对本发明作更进一步的说明。
实施例一
本实施例的基于Faster R-CNN的木材内部缺陷检测方法，参照图8，首先建立木材缺陷识别模型，然后确定目标试样，最后采用木材缺陷识别模型对目标试样进行检测，得到木材内部缺陷的方位和大小。将应力波无损检测技术和卷积神经网络结合，通过应力波无损检测技术建立特征矩阵图像数据库，通过微调的Faster R-CNN(faster region-basedconvolutional neural networks,Faster R-CNN)训练特征矩阵图像，从而获得木材缺陷识别模型。
实施例二
本实施例的基于Faster R-CNN的木材内部缺陷检测方法，基于实施例一，建立特征矩阵图像数据库具体包括以下步骤：利用应力波无损检测技术建立原始特征矩阵图像数据库；使用仿真程序生成仿真特征矩阵图像数据库；将原始特征矩阵图像数据库和仿真特征矩阵图像数据库共同作为特征矩阵图像数据库；
其中利用应力波无损检测技术建立原始特征矩阵图像数据库具体包括以下步骤：
应力波木材无损检测技术基于应力波特性，敲击在木材中生成的应力波在木材中以一定速率传播，当木材内部出现异常时，应力波不能沿直线进行传播，传播时间会增加，即应力波在木材中的传播的时间与传播截面的纹理角、裂痕、空洞和腐朽等情况存在正相关。具体操作原理如下，当使用一定数量的应力波传感器平均放置在树木的横截面，参照图1，用脉冲锤来敲击其中一个传感器时，木材内部产生应力波，其余的传感器收集应力波在木材内部不同方向的传播时间和传播速度变化就能确定木材的一些性质，如弹性模量、空洞等。因此，可以通过分析应力波传播时间或传播速度的变化规律来判断被测试样内部是否存在缺陷。
选定若干个待测树木；
利用应力波木材无损检测仪对树木进行应力波木材无损检测，具体是使用一定数量的应力波传感器均匀放置在待测树木的横截面上，接着用脉冲锤按序敲击应力波传感器，当敲击其中一个应力波传感器时，在每次敲击传感器后，该传感器为该组数据的信号发起点，其余传感器为该组数据的信号接收点，木材内部产生应力波，其余的应力波传感器收集在木材内部不同方向的应力波，应力波木材无损检测仪得到两两传感器之间的应力波传播时间，根据两两传感器之间的应力波传播距离和对应的两两传感器之间的应力波传播时间得到对应的两两传感器之间的应力波传播速度，两两传感器之间的应力波传播速度由公式(1)得到：
Figure RE-GDA0002502422670000071
上述公式(1)中，i是指第i个应力波传感器，j是指第j个应力波传感器，v(i,j)是指第i个应力波传感器和第j个应力波传感器之间的应力波传播速度，Δt(i,j)是指i个应力波传感器和第j个应力波传感器之间的应力波传播时间，l是指第i个应力波传感器和第j 个应力波传感器之间的应力波传播距离，S是指待测树木的横截面的周长，π≥θ＝∠(x1,x2)；
由此类推，设应力波传感器的个数为x，最终得到x×x的二维应力波速度矩阵A，矩阵A如公式(2)所示：
Figure RE-GDA0002502422670000081
上述公式中，v(1,x)是指第1个应力波传感器与第x个应力波传感器之间的应力波传播速度，以此类推；
将所述应力波速度矩阵A转化为矩阵B，转化公式如公式(3)所示，
Figure RE-GDA0002502422670000082
上述公式(3)中，A(i,j)是指矩阵A中第i个应力波传感器和第j个应力波传感器之间的应力波传播速度，AMIN是指去除A(i,j)(i＝j)后矩阵A中数值的极小值，AMAX是指去除A(i,j)(i＝j)后矩阵A中数值的极大值，B(i,j)是指矩阵B中第i个应力波传感器和第j个应力波传感器之间的应力波传播相对速度；
矩阵B如公式(4)所示：
Figure RE-GDA0002502422670000083
参照图2，应力波木材无损检测仪的每个应力波传感器都是独立的检测通道，应力波传感器两两之间组成应力波信号传播通道来获取数据，当检测装备的传感器数量为x时，总信号通道数y为x的组合数
Figure RE-GDA0002502422670000084
如公式(5)所示，
Figure RE-GDA0002502422670000085
将矩阵B中各值对应的应力波信号传播通道对应上色表示成颜色通道，得到特征矩阵图，由此类推，得到若干张特征矩阵图，得到原始特征矩阵图像数据库，参照图4所示，图4为应力波速度矩阵转化为特征矩阵图的过程。
使用仿真程序生成仿真特征矩阵图像数据库；目前的木材缺陷应力波无损检测存在着操作不便、步骤繁琐、时间成本大的问题，无法满足Faster R-CNN需要大量数据训练的要求。为了解决这个问题，本专利使用仿真程序生成仿真应力波特征矩阵图来扩充样本量，仿真程序通过人工手动绘图绘出需要仿真的缺陷位置，程序将自动生成对应缺陷位置的仿真缺陷木材应力波速度特征矩阵图，并自动保留缺陷大小、位置等特征数据。程序亦可生成大量随机缺陷的仿真数据，迅速满足Faster R-CNN的训练要求。
由上述得到特征矩阵图像数据库，用于后续模型训练。
实施例三
本实施例的基于Faster R-CNN的木材内部缺陷检测方法，基于实施例二，通过Faster R-CNN模型训练特征矩阵图像数据库改进Faster R-CNN模型，从而获得木材缺陷识别模型，Faster R-CNN通常包含以下几个部分：
1)卷积层(conv layers)，用于提取图片的特征，输入为整张图片，输出为提取出的特征，称为eigen maps。
2)RPN网络(Region Proposal Network)，用于推荐候选区域，这个网络是用来代替 Fast R-CNN中的search selective的。输入为图片，输出为多个候选区域。
3)RoI pooling，和Fast R-CNN一样，将不同大小的输入转换为固定长度的输出，输入输出和Fast R-CNN中RoI pooling一样。
4)分类和回归，这一层的输出是最终目的，输出候选区域所属的类，和候选区域在图像中的精确位置。
首先通过公式(6)微调Faster R-CNN模型，
Figure RE-GDA0002502422670000091
其中i是一个mini-batch中anchor的索引，分类损失Lcls为目标与非目标的对数损失，
Figure RE-GDA0002502422670000092
是与正anchor相对应的ground-truth box的坐标向量，ti表示预测边界框的4个参数坐标，pi表示anchor i的预测概率，如果anchor正向，
Figure RE-GDA0002502422670000093
为1，反之
Figure RE-GDA0002502422670000094
为0。
输入所述特征矩阵图像数据库；通过改进的Faster R-CNN模型的卷基层，提取对应特征矩阵图像的特征，输出为提取的特征；通过改进的Faster R-CNN模型的RPN网络的RoI pooling，将不同大小的特征矩阵图像转换为固定长度的输出；通过改进的Faster R-CNN模型的RPN网络，获取对应特征矩阵图像的候选框，输出为多个候选框；比较每个候选框的得分，对于对应特征矩阵图像中得分较高的候选框的特征进行串联得到对应图像的特征表示；通过改进的Faster R-CNN模型的RPN网络的分类网络的完全连阶层对上述得分较高的候选框进行分类和区域位置调整，从而得到训练学习的内容；通过特征矩阵图像和对应木材内部缺陷位置及大小的若干次训练学习，得到木材缺陷识别模型，参照图6所示。在训练过程中，RPN生成的候选框按其分数排序。选择具有最高分数的若干个候选框作为候选框。通过分类网络的完全连接层对这些候选框进行分类和区域位置调整，最终在迭代步数内得到最佳的结果，学习到需要的内容。
采用木材缺陷识别模型对目标试样进行检测，得到木材内部缺陷的方位和大小，具体包括以下步骤：输入目标试样对应的特征矩阵图像；通过改进的Faster R-CNN模型的卷基层，提取对应特征矩阵图像的特征，输出为提取的特征；通过改进的Faster R-CNN 模型的RPN网络，获取对应特征矩阵图像的候选框，输出为多个候选框；比较每个候选框的得分，对于对应特征矩阵图像中得分较高的候选框的特征进行串联得到对应图像的特征表示；通过改进的Faster R-CNN模型的RPN网络的分类网络的完全连阶层对上述得分较高的候选框进行分类和区域位置调整，从而得到对应木材内部缺陷位置和大小。
实施例四
本实施例的基于Faster R-CNN的木材内部缺陷检测方法，基于实施例三，特征矩阵图像数据库还包括将特征矩阵图像数据库进行剪裁和翻转得到的增强训练集，首先通过剪裁和翻转来增强训练集(参照图7)，当图像进入改进的卷积神经网络后，神经网络会开始提取图像中的特征，图片中往往含有不相关的背景信息；图像初步通过池化层后，去掉重复的特征，可以提高计算效率，去除重复计算，卷积神经网路一开始只能获取图片的一些底层特征，如边缘、纹理等，之后通过不断卷积，逐渐可以获得一些复杂的特征。
实施例五
本实施例的基于Faster R-CNN的木材内部缺陷检测方法，基于实施例四，采用了快速的基于区域的卷积网络(faster region-based convolutional neural networks,Faster R-CNN)检测模型来对木材内部缺陷进行检测，Faster R-CNN采用深度学习算法替代传统浅层学习算法，实现木材内部缺陷位置、大小的检测，本实施例的基于Faster R-CNN的木材内部缺陷检测方法基于应力波和Faster R-CNN进行木材内部缺陷检测，如图8 所示，具体包括以下步骤：
充分利用多通道传感器获取木材横截面全局信息，即获取目标试样的应力波速度矩阵：具体操作是，在木材周围均匀布置传感器(具体操作时传感器的个数视木材横截面周长而定，一般情况下会均匀布置12个传感器)，依次敲击每个传感器，测得应力波在两两传感器之间的传播时间，通过配套软件得出应力波传播速度，从而获得应力波速度矩阵；
将得到的应力波传播速度进行处理，将应力波传播速度矩阵图生成特征矩阵图；
利用Faster R-CNN对应力波传播速度线图进行学习训练；
最后利用训练得到的模型去提取待测木材样本的缺陷特征。
以受测缺陷样本a为例，参照图3，德国Rinntech产的Arbotom应力波木材无损检测仪采集应力波在样本a木材内部传播速度矩阵如表1所示，
表1
Figure RE-GDA0002502422670000111
使用仿真程序生成仿真特征矩阵图像数据库；目前的木材缺陷应力波无损检测存在着操作不便、步骤繁琐、时间成本大的问题，无法满足Faster R-CNN需要大量数据训练的要求。为了解决这个问题，本专利使用仿真程序生成仿真应力波特征矩阵图来扩充样本量，仿真程序通过人工手动绘图绘出需要仿真的缺陷位置，程序将自动生成对应缺陷位置的仿真缺陷木材应力波速度特征矩阵图，并自动保留缺陷大小、位置等特征数据。程序亦可生成大量随机缺陷的仿真数据，迅速满足Faster R-CNN的训练要求，仿真数据集构成如表2所示，
表2
类别 数量(张)
含空洞 4000
含裂缝 4000
含腐朽 4000
无缺陷 4000
上述仿真程序通过人工手动绘图绘出需要仿真的缺陷位置，程序将自动生成对应缺陷位置的仿真缺陷木材应力波速度特征矩阵图，参照图5所示。
在训练过程中，RPN生成的候选框按其分数排序，选择具有最高分数的500个候选框作为候选框，通过分类网络的完全连接层对这些候选框进行分类和区域位置调整，最终在迭代步数内得到最佳的结果，学习到我们需要的内容。其过程如图9所示。采用木材缺陷识别模型对目标试样进行检测，得到木材内部缺陷的方位和大小，具体包括以下步骤：输入目标试样对应的特征矩阵图像；通过改进的Faster R-CNN模型的卷基层，提取对应特征矩阵图像的特征，输出为提取的特征；通过改进的Faster R-CNN模型的 RPN网络，获取对应特征矩阵图像的候选框，输出为多个候选框；比较每个候选框的得分，对于对应特征矩阵图像中得分较高的候选框的特征进行串联得到对应图像的特征表示；通过改进的Faster R-CNN模型的RPN网络的分类网络的完全连阶层对上述得分较高的候选框进行分类和区域位置调整，从而得到对应木材内部缺陷位置和大小。
实施例六
本实施例的基于Faster R-CNN的木材内部缺陷检测方法，基于实施例六，本实施例实验服务器配置为16G内存Intel Xeon E3-1225v5 CPU，11G内存的GTX1080Ti NvidiaGeforce GTX1080Ti GPU，操作系统为Windows 10 64位。利用Python调用Tensor Flow 深度学习框架进行神经网络的迭代测试。
本实施例中GPU(图像处理器)为GTX1080Ti，整个过程基于深度学习框架tensorflow进行迭代测试；
在测试期间，RPN生成的候选框按其分数排序，选择具有最高分数的500个候选框作为候选框，通过分类网络的完全连接层对这些候选框进行分类和区域位置调整，本实施例使用mAP作为绩效评估模型，mAP是每个类别的平均精度(AP)的平均值；召回率(Recall)，精确率(Precision)和平均精度的计算公式如下：
Figure RE-GDA0002502422670000121
Figure RE-GDA0002502422670000131
Figure RE-GDA0002502422670000132
同时，本实施例用IOU来作为缺陷定位准确率的指标，IOU这一值，可以理解为系统预测出来的框与原来图片中标记的框的重合程度，计算方法即检测结果Detection Result与Ground Truth的交集比上它们的并集，即为检测的准确率，IOU正是表达这种boundingbox和ground truth的差异的指标：
Figure RE-GDA0002502422670000133
实施例首先通过逐步增加缺陷大小并设置混合组来对照观察得到mAP的大致趋势，用以调整仿真数据结构和实验参数，对照实验的结果如图7所示，其中横坐标为迭代次数，纵坐标为实验评价指标mAP；缺陷样本1为2000组缺陷半径为样本半径十分之一的小型缺陷仿真数据，缺陷样本2为2000组缺陷半径为样本半径四分之一的中型缺陷仿真数据，缺陷样本3为2000组缺陷半径为样本半径二分之一的大型缺陷仿真数据，混合样本是2000组随机缺陷大小(缺陷半径大于样本半径十分之一且小于样本半径二分之一)的仿真数据。
通过上述二十余次实验来择优调整实验参数和仿真数据结构，最终采用876组真实木材样本采集的应力波速度线图和8000组混合仿真应力波速度线图，在剔除筛选部分质量较差以及有明显误差的图片后，最后数据库包含总计8526组图片用以训练。实验总迭代次数为30000次，通过对加入真实样本后训练模型的结果可知真实样本能提高模型的识别能力对木材缺陷识别的准确率达到87.82％。
本实施例以木材内应力波传播速度生成的速度线图来作为中间数据集，并通过生成仿真线图的方式来增大样本量和建立数据库，利用区域建议网络(RPN)反复训练FasterR-CNN，得到检测模型。为了验证该模型的有效性，选取含有不同缺陷位置的木材样品 n截，采集试样应力波传播速度数据n组，对比模型提取的缺陷特征位置和木材实际的缺陷特征位置得到实验结果n实验结果表明，(n取值视具体情况而定，n＝5)该方法能较为准确、便捷的识别目标缺陷位置，准确率达到88％。模型对木材内部不同缺陷分类的准确率如表3所示。
表3
Figure RE-GDA0002502422670000141
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.基于Faster R-CNN的木材内部缺陷检测方法，其特征在于，包括以下步骤：
S1建立木材缺陷识别模型；
S2确定目标试样；
S3采用木材缺陷识别模型对目标试样进行检测，得到木材内部缺陷的方位和大小。
2.根据权利要求1所述的基于Faster R-CNN的木材内部缺陷检测方法，其特征在于，所述S1包括以下步骤：建立木材缺陷识别模型
S11建立特征矩阵图像数据库；
S12通过Faster R-CNN模型训练特征矩阵图像数据库改进Faster R-CNN模型，从而获得木材缺陷识别模型。
3.根据权利要求2所述的基于Faster R-CNN的木材内部缺陷检测方法，其特征在于，所述S11包括以下步骤：
S111利用应力波无损检测技术建立原始特征矩阵图像数据库；
S112使用仿真程序生成仿真特征矩阵图像数据库；
S113将原始特征矩阵图像数据库和仿真特征矩阵图像数据库共同作为特征矩阵图像数据库。
4.根据权利要求3所述的基于Faster R-CNN的木材内部缺陷检测方法，其特征在于，所述S111包括以下步骤：
S1111选定若干个待测树木；
S1112利用应力波木材无损检测仪对树木进行应力波木材无损检测，具体是使用一定数量的应力波传感器均匀放置在待测树木的横截面上，接着用脉冲锤按序敲击应力波传感器，当敲击其中一个应力波传感器时，木材内部产生应力波，其余的应力波传感器收集在木材内部不同方向的应力波，应力波木材无损检测仪得到两两传感器之间的应力波传播时间，根据两两传感器之间的应力波传播距离和对应的两两传感器之间的应力波传播时间得到对应的两两传感器之间的应力波传播速度，两两传感器之间的应力波传播速度由公式(1)得到：
Figure FDA0002296080770000011
上述公式(1)中，i是指第i个应力波传感器，j是指第j个应力波传感器，v(i,j)是指第i个应力波传感器和第j个应力波传感器之间的应力波传播速度，Δt(i,j)是指i个应力波传感器和第j个应力波传感器之间的应力波传播时间，l是指第i个应力波传感器和第j个应力波传感器之间的应力波传播距离，S是指待测树木的横截面的周长，π≥θ＝∠(x1,x2)；
由此类推，设应力波传感器的个数为x，最终得到x×x的二维应力波速度矩阵A，矩阵A如公式(2)所示：
Figure FDA0002296080770000021
上述公式中，v(1,x)是指第1个应力波传感器与第x个应力波传感器之间的应力波传播速度，以此类推；
S1113将所述应力波速度矩阵A转化为矩阵B，转化公式如公式(3)所示，
Figure FDA0002296080770000022
上述公式(3)中，A(i,j)是指矩阵A中第i个应力波传感器和第j个应力波传感器之间的应力波传播速度，AMIN是指去除A(i,j)(i＝j)后矩阵A中数值的极小值，AMAX是指去除A(i,j)(i＝j)后矩阵A中数值的极大值，B(i,j)是指矩阵B中第i个应力波传感器和第j个应力波传感器之间的应力波传播相对速度；
矩阵B如公式(4)所示：
Figure FDA0002296080770000023
S1114应力波木材无损检测仪的每个应力波传感器都是独立的检测通道，应力波传感器两两之间组成应力波信号传播通道来获取数据，将矩阵B中各值对应的应力波信号传播通道对应上色表示成颜色通道，得到特征矩阵图，由此类推，得到若干张特征矩阵图，得到原始特征矩阵图像数据库。
5.根据权利要求3所述的基于Faster R-CNN的木材内部缺陷检测方法，其特征在于，所述S112包括以下步骤：使用仿真程序生成仿真特征矩阵图像数据库，具体是通过人工手动绘图绘出需要仿真的缺陷位置，仿真程序将自动生成对应缺陷位置的仿真缺陷木材应力波速度特征矩阵图，并自动保留缺陷大小、位置特征数据，得到若干张仿真特征矩阵图像数据库。
6.根据权利要求2所述的基于Faster R-CNN的木材内部缺陷检测方法，其特征在于，所述S12包括以下步骤：
S121输入所述特征矩阵图像数据库；
S122通过改进的Faster R-CNN模型的卷基层，提取对应特征矩阵图像的特征，输出为提取的特征；
S123通过改进的Faster R-CNN模型的RPN网络的RoIpooling，将不同大小的特征矩阵图像转换为固定长度的输出；
S124通过改进的Faster R-CNN模型的RPN网络，获取对应特征矩阵图像的候选框，输出为多个候选框；
S125比较每个候选框的得分，对于对应特征矩阵图像中得分较高的候选框的特征进行串联得到对应图像的特征表示；
S126通过改进的Faster R-CNN模型的RPN网络的分类网络的完全连阶层对上述得分较高的候选框进行分类和区域位置调整，从而得到训练学习的内容；
S127通过特征矩阵图像和对应木材内部缺陷位置及大小的若干次训练学习，得到木材缺陷识别模型。
7.根据权利要求1所述的基于Faster R-CNN的木材内部缺陷检测方法，其特征在于，所述S3包括以下步骤：
S31输入目标试样对应的特征矩阵图像；
S32通过改进的Faster R-CNN模型的卷基层，提取对应特征矩阵图像的特征，输出为提取的特征；
S33通过改进的Faster R-CNN模型的RPN网络，获取对应特征矩阵图像的候选框，输出为多个候选框；
S34比较每个候选框的得分，对于对应特征矩阵图像中得分较高的候选框的特征进行串联得到对应图像的特征表示；
S35通过改进的Faster R-CNN模型的RPN网络的分类网络的完全连阶层对上述得分较高的候选框进行分类和区域位置调整，从而得到对应木材内部缺陷位置和大小。
8.根据权利要求6所述的基于Faster R-CNN的木材内部缺陷检测方法，其特征在于，所述S121的特征矩阵图像数据库还包括将特征矩阵图像数据库进行剪裁和翻转得到的增强训练集。
9.根据权利要求6所述的基于Faster R-CNN的木材内部缺陷检测方法，其特征在于，所述S12还包括以下步骤：输入所述特征矩阵图像数据库后，通过改进的Faster R-CNN模型的RPN网络的池化层去除特征矩阵图像的重复特征。
CN201911201861.5A 2019-11-29 2019-11-29 基于Faster R-CNN的木材内部缺陷检测方法 Pending CN111351860A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911201861.5A CN111351860A (zh) 2019-11-29 2019-11-29 基于Faster R-CNN的木材内部缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911201861.5A CN111351860A (zh) 2019-11-29 2019-11-29 基于Faster R-CNN的木材内部缺陷检测方法

Publications (1)

Publication Number Publication Date
CN111351860A true CN111351860A (zh) 2020-06-30

Family

ID=71193032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911201861.5A Pending CN111351860A (zh) 2019-11-29 2019-11-29 基于Faster R-CNN的木材内部缺陷检测方法

Country Status (1)

Country Link
CN (1) CN111351860A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798447A (zh) * 2020-07-18 2020-10-20 太原理工大学 一种基于Faster RCNN的深度学习塑化材料缺陷检测方法
CN112525919A (zh) * 2020-12-21 2021-03-19 福建新大陆软件工程有限公司 一种基于深度学习的木板缺陷检测系统及方法
CN113160136A (zh) * 2021-03-15 2021-07-23 哈尔滨理工大学 一种基于改进Mask R-CNN的木材缺陷识别和分割方法
CN113269739A (zh) * 2021-05-19 2021-08-17 绍兴文理学院 一种木材节子缺陷定量检测方法
CN115356400A (zh) * 2022-08-11 2022-11-18 苏州大学 一种基于BiLSTM的超声波木材无损检测方法及系统
EP4180197A4 (en) * 2020-07-08 2023-12-27 Teijin Limited MOLDED ARTICLE REGION INSPECTION PROGRAM, MOLDED ARTICLE REGION INSPECTION METHOD, AND MOLDED ARTICLE REGION INSPECTION DEVICE

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4180197A4 (en) * 2020-07-08 2023-12-27 Teijin Limited MOLDED ARTICLE REGION INSPECTION PROGRAM, MOLDED ARTICLE REGION INSPECTION METHOD, AND MOLDED ARTICLE REGION INSPECTION DEVICE
CN111798447A (zh) * 2020-07-18 2020-10-20 太原理工大学 一种基于Faster RCNN的深度学习塑化材料缺陷检测方法
CN111798447B (zh) * 2020-07-18 2023-03-10 太原理工大学 一种基于Faster RCNN的深度学习塑化材料缺陷检测方法
CN112525919A (zh) * 2020-12-21 2021-03-19 福建新大陆软件工程有限公司 一种基于深度学习的木板缺陷检测系统及方法
CN113160136A (zh) * 2021-03-15 2021-07-23 哈尔滨理工大学 一种基于改进Mask R-CNN的木材缺陷识别和分割方法
CN113160136B (zh) * 2021-03-15 2024-06-14 哈尔滨理工大学 一种基于改进Mask R-CNN的木材缺陷识别和分割方法
CN113269739A (zh) * 2021-05-19 2021-08-17 绍兴文理学院 一种木材节子缺陷定量检测方法
CN113269739B (zh) * 2021-05-19 2024-02-27 绍兴文理学院 一种木材节子缺陷定量检测方法
CN115356400A (zh) * 2022-08-11 2022-11-18 苏州大学 一种基于BiLSTM的超声波木材无损检测方法及系统

Similar Documents

Publication Publication Date Title
CN111351860A (zh) 基于Faster R-CNN的木材内部缺陷检测方法
CN109977808B (zh) 一种晶圆表面缺陷模式检测与分析方法
CN111091105A (zh) 基于新的边框回归损失函数的遥感图像目标检测方法
CN110363746B (zh) 一种基于卷积神经网络的超声无损检测信号分类方法
CN109284779A (zh) 基于深度全卷积网络的物体检测方法
CN111325738B (zh) 一种用于横穿孔周边裂纹的智能检测方法及系统
CN114372955A (zh) 一种基于改进神经网络的铸件缺陷x射线图自动识别法
CN112949408A (zh) 一种过鱼通道目标鱼类实时识别方法和系统
CN111833310B (zh) 一种基于神经网络架构搜索的表面缺陷分类方法
CN111798447B (zh) 一种基于Faster RCNN的深度学习塑化材料缺陷检测方法
CN111145145B (zh) 一种基于MobileNets的图像表面缺陷检测方法
CN109584206B (zh) 零件表面瑕疵检测中神经网络的训练样本的合成方法
CN105095913A (zh) 基于近邻正则联合稀疏表示的遥感图像分类方法及系统
CN110738132A (zh) 一种具备判别性感知能力的目标检测质量盲评价方法
CN113221956A (zh) 基于改进的多尺度深度模型的目标识别方法及装置
CN114972759A (zh) 基于分级轮廓代价函数的遥感图像语义分割方法
CN115294109A (zh) 基于人工智能的实木板材生产缺陷识别系统、电子设备
CN115424074A (zh) 一种应用于工业检测的分类方法、装置及设备
CN113298007B (zh) 一种小样本sar图像目标识别方法
CN110163130A (zh) 一种用于手势识别的特征预对齐的随机森林分类器及分类方法
CN112132137A (zh) 一种基于FCN-SPP-Focal Net的抽象画图像正确方向的识别方法
CN111222576A (zh) 一种高分辨率遥感图像分类方法
CN116051808A (zh) 一种基于YOLOv5的轻量化零件识别定位方法
CN113128556B (zh) 基于变异分析的深度学习测试用例排序方法
CN113139423B (zh) 一种用于场景图检测的关系图学习方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200630

WD01 Invention patent application deemed withdrawn after publication