CN109557104A - 一种基于深度学习的木料优选锯智能检测方法 - Google Patents

一种基于深度学习的木料优选锯智能检测方法 Download PDF

Info

Publication number
CN109557104A
CN109557104A CN201811379843.1A CN201811379843A CN109557104A CN 109557104 A CN109557104 A CN 109557104A CN 201811379843 A CN201811379843 A CN 201811379843A CN 109557104 A CN109557104 A CN 109557104A
Authority
CN
China
Prior art keywords
timber
image
deep learning
detecting method
intelligent detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811379843.1A
Other languages
English (en)
Inventor
李保菊
邵明伟
李正春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Linyi Zhongwei Intelligent Technology Co Ltd
Original Assignee
Linyi Zhongwei Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Linyi Zhongwei Intelligent Technology Co Ltd filed Critical Linyi Zhongwei Intelligent Technology Co Ltd
Priority to CN201811379843.1A priority Critical patent/CN109557104A/zh
Publication of CN109557104A publication Critical patent/CN109557104A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8914—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the material examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明涉及木业自动化技术，提供一种基于深度学习的木料优选锯智能检测方法，由图像处理和深度学习的相关算法，自动对缺陷和木材等级进行识别，确定缺陷和木材等级的实际位置，进而由相关计算原则确定最终的切除列表，传递给动作执行机构对木材进行切除。本发明可完成优选锯中木料缺陷的剔除和等级的分类任务，且无需人工干预，完全实现无人值守操作，自动化程度高，容错性强，可提高木料的加工效率，提高行业的自动化水平。

Description

一种基于深度学习的木料优选锯智能检测方法
技术领域
本发明属于木业自动化技术，具体涉及一种基于深度学习的木料优选锯智能检测方法。
背景技术
在木料加工行业，需要对木材的优劣进行判断，以发挥木材的最大价值，其中，木材缺陷剔除和木材的等级分类是不可或缺的两个部分。两者的工作效率和准确程度直接关系到木料的出材效率。在这种情况下，一种名为优选锯的机械自动化设备应运而生。典型的优选锯主要由两部分组成，即工业控制系统和机械执行机构。优选锯的基本工作流程如下：首先，由工人根据木材的等级和缺陷的位置在木材表面用特制的荧光笔划线，划线的位置即木材需要截断的位置；其次，木材由传动机构通过荧光探测器，由荧光探测器确定荧光线的位置，并将信号传递给工业控制系统。工业控制系统确定木材截取位置后根据不同的规则(如等级优选，长度优选，价值优选等)对木材的最终切除位置进行计算，并将最终切除位置列表传递给机械执行机构，由机械执行机构对木材进行切除。由于电动旋转锯锯片位置和荧光探测器的位置固定且事先精确已知，在木材自荧光探测到木材位置开始向锯片方向移动相应距离后进行切除，即可在划线位置进行准确的切除。
典型优选锯的出现，使得木材的出材率提高，并大大降低了人工成本，提高了工人工作的安全系数。但是，典型的优选锯并未实现完全的自动化生产，在工作过程中，仍然需要几名工人对木材进行划线。特别是当木材较为笨重的时候，该操作就变得更加困难。
另一方面，工人长期工作后不可避免的会出现视觉疲劳，进而对木材准确位置的识别出现偏差。在这种情况下，典型的优选锯并不能提高木材的出材效率，降低人工成本。
发明内容
本发明提出一种基于深度学习的优选锯智能检测方法，由图像处理和深度学习的相关算法，自动对缺陷和木材等级进行识别，确定缺陷和木材等级的实际位置，进而由相关计算原则确定最终的切除列表，传递给动作执行机构对木材进行切除。
本发明的技术方案包括以下步骤：
(1)将需检测木料置于动力传输机构上，并确保木料能够在传送带上沿正常测量方向传送；
(2)木料通过优选锯视觉检测系统，并确保木材能够在视觉检测系统中成清晰的像，当木料通过视觉检测系统后，会得到一系列木料图像；
(3)由充足的图像样本预先训练得到的用于区分缺陷木材图像和无缺陷木材图像的分类网络，对获取得到的木料图像进行目标检测，确定木料缺陷在图像中的位置；
(4)由充足的图像样本预先训练得到的木料等级分类网络对除步骤3外的无缺陷木料图像进行检测，确定木料图像中等级分类临界线在图像中的位置。
(5)由图像坐标与物理坐标之间的单应关系，即可由步骤(3) 和步骤(4)中的图像位置，确定需截断位置的物理坐标，进而确定整个木料截断位置的清单；
(6)将木料截断位置的清单传送到动力执行机构，由动力执行结构在木料相应的位置进行截断，实现对木料缺陷的剔除和等级的分类。
为了减少测量环境对视觉检测系统的影响，步骤2还包括对捕捉到的木材图像进行感兴趣区域分割。
优选的，所述步骤2中还包括图像预处理，图像预处理算法采用形态学算法。
为了获得输出值，需要对对经过预处理的图像进行特征提取，所述步骤2还包括对捕捉到的木材图像进行卷积操作。
优选的，所述步骤5中图像点坐标与物理点坐标之间的转换关系为单应矩阵。
优选的，所述步骤3和步骤4中包括应用充足的木料样本图像对木料缺陷检测网络以及木料等级分类网络进行训练。
优选的，用于对木料缺陷检测网络以及木料等级分类网络进行训练和检测的方法采用Faster RCNN深度学习方法。
本发明的优点在于：
本发明可完成优选锯中木料缺陷的剔除和等级的分类任务，且无需人工干预，完全实现无人值守操作，自动化程度高，容错性强，可提高木料的加工效率，提高行业的自动化水平。
附图说明
图1基于深度学习的木材优选锯智能检测算法流程图；
图2图像坐标系与物理坐标系关系图；
图3木料缺陷检测结果；
图4木料等级分类结果。
具体实施方式
一种基于深度学习的的优选锯智能检测方法，其具体实现步骤如下：
(1)图像坐标和物理坐标之间的关系
Oc-XcYcZc为摄像机坐标系，o-uv为图像坐标系(图2)。在摄像机坐标系下，摄像机原点和光轴为摄像机坐标系的Z轴。空间平面Π中的一点P投影到图像平面π中，在空间平面Π中建立世界坐标系，定义P点的齐次坐标为P＝(XW,YW,ZW,1)T，对应图像点的图像齐次坐标为p＝(u,v,1)T，在透视投影几何中，我们可以得到以下关系：
其中，fx,fy,u0,v0为摄像机内部参数，R，t为摄像机外部参数，s为系数。设
则公式(1)可以被重写为
sp＝MP， (3)
由于世界坐标系是建立在空间平面Π上，因此，公式(3)可以被表示为
sp＝HP， (4)
其中，H为H＝[M1,M2,M4]，即单应矩阵表示空间平面Π到图像平面π的映射关系。
(2)图像处理
由于木材测量环境较为复杂，视觉检测系统难免会捕捉到除木材外的其他环境的图像，因此，在图像检测之前，对捕捉到的木材图像进行感兴趣区域分割(ROI)。具体算法为：由大津法确定图像灰度直方图的全局阈值，并应用此全局阈值对图像进行分割；选择最大区域，应用形态学闭操作对最大区域内部的孔洞；选择包含区域的最大矩形，该矩形即为木材的感兴趣区域。
(3)特征提取
获取得到的图像经过图像处理后，得到木材图像。对木材图像进行卷积处理后，选取一系列合适大小卷积核对图像进行卷积操作。一个卷积核对图像进行卷积，可以获取一副卷积图像，一系列大小不同的卷积核对图像进行卷积操作，可以获取得到一系列卷积图像，称为特征图谱。图像卷积操作，即卷积核在图像X和Y方向进行点乘加和操作。当选择卷积核函数的时候，有可能得到负值。对于图像而言，负值是不能存在于图像之中的。因此，定义如下非饱和激活函数：
该函数在不影响接收域的前提下，增加了决策函数的非线性特性。通常情况下，特征图谱较大。这种情况下，图像的计算效率很低，为此，我们对特征图谱，进行降采样，同时对特征图谱进行主成分提取，该过程被称为池化。用于池化的函数很多，其中，最为常用的为最大池化函数：
f(x)＝max(0,x) (6)
在这种情况下，当用于卷积操作的一系列卷积核函数沿图像X 方向和Y方向进行卷积操作时，被卷积区域的最大值将被用来作为输出值。
(4)训练
常用的深度学习算法，如R-CNN、Fast R-CNN以及Faster R-CNN，区域网络提名是不可或缺的步骤。区域网络提名可以将任意尺寸的图像作为输入，并输出一系列具有投票得分的矩形区域。本文中，我们首先将获取得到的木材图像分为两类，有缺陷木材的图像和无缺陷木材的图像，并应用全卷积网络对所得的图像进行处理。我们对每类木材图像选择充足样本进行训练，每个样本(图像)应用前述方法进行特征提取，并获取得到每个样本的特征矩阵。特征矩阵被导入全卷积网络进行训练，即可获得能够区分有缺陷木材图像和无缺陷木材图像的分类网络。同样，我们可以应用全卷积网络训练得到能够从无缺陷木材图像中进行木材等级分类的网络。
因此，通过上述分析获得的优选锯智能检测方法：
(A)将需检测木料置于动力传输机构上，并确保木料能够在传送带上沿正常测量方向传送；
(B)木料通过优选锯视觉检测系统，并确保木材能够在视觉检测系统中成清晰的像，当木料通过视觉检测系统后，会得到一系列木料图像；
(C)由充足的图像样本预先训练得到的用于区分缺陷木材图像和无缺陷木材图像的分类网络，对获取得到的木料图像进行目标检测，确定木料缺陷在图像中的位置；
(D)由充足的图像样本预先训练得到的木料等级分类网络对除步骤C外的无缺陷木料图像进行检测，确定木料图像中等级分类临界线在图像中的位置；
(E)由图像坐标与物理坐标之间的单应关系，即可由步骤(C) 和步骤(D)中的图像位置，确定需截断位置的物理坐标，进而确定整个木料截断位置的清单；
(F)将木料截断位置的清单传送到动力执行机构，由动力执行结构在木料相应的位置进行截断，实现对木料缺陷的剔除和等级的分类。
验证结果：
如图3所示，对木材图像首先应用分类网络1，获取得到木材缺陷在木材图像上的位置，进而根据图像平面与物理坐标系平面间的单应关系，计算出木材缺陷在物理尺寸上的位置。除木材缺陷部位外的图像，应用分类网络2对无缺陷图像进行识别，从而确定木材等级的分类位置。木材缺陷位置检测结果如图3所示，木材等级分类结果如图4所示。
对1000幅木材图像进行缺陷检测和等级分类识别，试验硬件环境如前所述，实验结果如表1所示：
表1检测算法结果表
提供以上实施例仅仅是为了描述本发明的目的，并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明范围内。

Claims (7)

1.一种基于深度学习的木料优选锯智能检测方法，包括动力传输机构，优选锯视觉检测系统，动作执行机构以及信息处理系统，其特征在于，所述检测方法包括以下步骤：
步骤1：将需检测木料置于动力传输机构上，并确保木料能够在传送带上沿正常测量方向传送；
步骤2：木料通过优选锯视觉检测系统，并确保木材能够在视觉检测系统中成清晰的像，当木料通过视觉检测系统后，会得到一系列木料图像；
步骤3：由充足的图像样本预先训练得到的用于区分缺陷木材图像和无缺陷木材图像的分类网络，对获取得到的木料图像进行目标检测，确定木料缺陷在图像中的位置；
步骤4：由充足的图像样本预先训练得到的木料等级分类网络对除步骤3外的无缺陷木料图像进行检测，确定木料图像中等级分类临界线在图像中的位置；
步骤5：由图像坐标与物理坐标之间进行映射转换，即可由步骤3和步骤4中的图像位置，确定需截断位置的物理坐标，进而确定整个木料截断位置的清单；
步骤6：将木料截断位置的清单传送到动力执行机构，由动力执行结构在木料相应的位置进行截断，实现对木料缺陷的剔除和等级的分类。
2.根据权利要求1所述的基于深度学习的木料优选锯智能检测方法，其特征在于：所述步骤2还包括对捕捉到的木材图像进行感兴趣区域分割。
3.根据权利要求2所述的基于深度学习的木料优选锯智能检测方法，其特征在于：所述步骤2中还包括图像预处理，图像预处理算法采用形态学算法。
4.根据权利要求3所述的基于深度学习的木料优选锯智能检测方法，其特征在于：所述步骤2还包括对捕捉到的木材图像进行卷积操作。
5.根据权利要求1所述的基于深度学习的木料优选锯智能检测方法，其特征在于：所述步骤5中图像点坐标与物理点坐标之间的转换关系为单应矩阵。
6.根据权利要求1所述的基于深度学习的木料优选锯智能检测方法，其特征在于：所述步骤3和步骤4中包括应用充足的木料样本图像对木料缺陷检测网络以及木料等级分类网络进行训练。
7.根据权利要求6所述的基于深度学习的木料优选锯智能检测方法，其特征在于：用于对木料缺陷检测网络以及木料等级分类网络进行训练和检测的方法采用Faster RCNN深度学习方法。
CN201811379843.1A 2018-11-19 2018-11-19 一种基于深度学习的木料优选锯智能检测方法 Pending CN109557104A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811379843.1A CN109557104A (zh) 2018-11-19 2018-11-19 一种基于深度学习的木料优选锯智能检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811379843.1A CN109557104A (zh) 2018-11-19 2018-11-19 一种基于深度学习的木料优选锯智能检测方法

Publications (1)

Publication Number Publication Date
CN109557104A true CN109557104A (zh) 2019-04-02

Family

ID=65866764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811379843.1A Pending CN109557104A (zh) 2018-11-19 2018-11-19 一种基于深度学习的木料优选锯智能检测方法

Country Status (1)

Country Link
CN (1) CN109557104A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110120035A (zh) * 2019-04-17 2019-08-13 杭州数据点金科技有限公司 一种可判别病疵等级的轮胎x光病疵检测方法
CN110322430A (zh) * 2019-05-17 2019-10-11 杭州数据点金科技有限公司 一种两阶段的轮胎x光病疵检测方法
CN113674233A (zh) * 2021-08-13 2021-11-19 沭阳东川木业有限公司 基于人工智能的木材优选锯视觉检测方法
CN114311151A (zh) * 2022-01-26 2022-04-12 无锡信捷电气股份有限公司 一种木料智能优选锯系统及锯料方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4922337A (en) * 1988-04-26 1990-05-01 Picker International, Inc. Time delay and integration of images using a frame transfer CCD sensor
CN1827319A (zh) * 2006-03-31 2006-09-06 江苏江佳机械有限公司 木料优选截断方法及其优选截断锯
CN107009441A (zh) * 2017-04-12 2017-08-04 成都大唐弘伟木业有限公司 一种根据原木品质对原木进行分割的系统
CN108362702A (zh) * 2017-12-14 2018-08-03 北京木业邦科技有限公司 一种基于人工智能的单板缺陷检测方法、系统及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4922337A (en) * 1988-04-26 1990-05-01 Picker International, Inc. Time delay and integration of images using a frame transfer CCD sensor
US4922337B1 (en) * 1988-04-26 1994-05-03 Picker Int Inc Time delay and integration of images using a frame transfer ccd sensor
CN1827319A (zh) * 2006-03-31 2006-09-06 江苏江佳机械有限公司 木料优选截断方法及其优选截断锯
CN107009441A (zh) * 2017-04-12 2017-08-04 成都大唐弘伟木业有限公司 一种根据原木品质对原木进行分割的系统
CN108362702A (zh) * 2017-12-14 2018-08-03 北京木业邦科技有限公司 一种基于人工智能的单板缺陷检测方法、系统及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
梁海平: "基于机器视觉的木材表面缺陷的在线检测技术研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110120035A (zh) * 2019-04-17 2019-08-13 杭州数据点金科技有限公司 一种可判别病疵等级的轮胎x光病疵检测方法
CN110322430A (zh) * 2019-05-17 2019-10-11 杭州数据点金科技有限公司 一种两阶段的轮胎x光病疵检测方法
CN113674233A (zh) * 2021-08-13 2021-11-19 沭阳东川木业有限公司 基于人工智能的木材优选锯视觉检测方法
CN114311151A (zh) * 2022-01-26 2022-04-12 无锡信捷电气股份有限公司 一种木料智能优选锯系统及锯料方法

Similar Documents

Publication Publication Date Title
CN109557104A (zh) 一种基于深度学习的木料优选锯智能检测方法
CN111080622B (zh) 神经网络训练方法、工件表面缺陷分类与检测方法及装置
US20200357109A1 (en) Method for detecting display screen quality, apparatus, electronic device and storage medium
CN108520274B (zh) 基于图像处理及神经网络分类的高反光表面缺陷检测方法
CN109886298A (zh) 一种基于卷积神经网络的焊缝质量检测方法
US9471057B2 (en) Method and system for position control based on automated defect detection feedback
CN109584227A (zh) 一种基于深度学习目标检测算法的焊点质量检测方法及其实现系统
Sharifzadeh et al. Detection of steel defect using the image processing algorithms
CN111179250B (zh) 一种基于多任务学习的工业品缺陷检测系统
CN113298757A (zh) 一种基于u-net卷积神经网络的金属表面缺陷检测方法
CN110186375A (zh) 智能化高铁白车身焊接装配特征检测装置及检测方法
CN114972342B (zh) 一种变速箱齿轮表面缺陷检测方法
CN111242899A (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
CN104867145A (zh) 基于vibe模型的ic元件焊点缺陷检测方法
CN114743102A (zh) 一种面向家具板材的瑕疵检测方法、系统及装置
CN114549493A (zh) 一种基于深度学习的磁芯缺陷检测系统及方法
CN113281115A (zh) 一种烟叶智能剪切的控制方法
JP7301783B2 (ja) 電子・電気機器部品屑の組成解析方法、電子・電気機器部品屑の処理方法、電子・電気機器部品屑の組成解析装置及び電子・電気機器部品屑の処理装置
Thiruganam et al. Automatic defect detection and counting in radiographic weldment images
CN113762247A (zh) 一种基于显著实例分割算法的道路裂缝自动检测方法
CN113822836A (zh) 标记图像的方法
CN107833222B (zh) 一种非金属零件多余物检测装置及方法
CN111738991A (zh) 一种焊缝缺陷的数字射线检测模型的创建方法
TWI749714B (zh) 瑕疵檢測方法、瑕疵分類方法及其系統
CN113781430B (zh) 一种基于深度学习的手套表面缺陷检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190402

RJ01 Rejection of invention patent application after publication