CN113066079A - 木材缺陷自动检测方法、系统及其存储介质 - Google Patents

木材缺陷自动检测方法、系统及其存储介质 Download PDF

Info

Publication number
CN113066079A
CN113066079A CN202110416096.XA CN202110416096A CN113066079A CN 113066079 A CN113066079 A CN 113066079A CN 202110416096 A CN202110416096 A CN 202110416096A CN 113066079 A CN113066079 A CN 113066079A
Authority
CN
China
Prior art keywords
image
detected
wood board
defect
wood
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110416096.XA
Other languages
English (en)
Inventor
温志平
邬沛伟
叶建林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Deepexi Technology Co Ltd
Original Assignee
Beijing Deepexi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Deepexi Technology Co Ltd filed Critical Beijing Deepexi Technology Co Ltd
Priority to CN202110416096.XA priority Critical patent/CN113066079A/zh
Publication of CN113066079A publication Critical patent/CN113066079A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30161Wood; Lumber

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像检测技术领域,具体涉及一种木材缺陷自动检测方法、装置、系统及其存储介质,其方法包括:获取木板的原始扫描图像;对所述原始扫描图像进行背景差分处理,从所述原始扫描图像中去除背景区域,得到木板区域图像;按预定的尺寸对所述木板区域图像的图像尺寸进行调整,得到待检测图像;在将所述待检测图像进行亮度自适应增强后,将所述待检测图像输入检测分析深度学习模型,获取到所检测到的缺陷信息;根据所述缺陷信息定位出每个缺陷在所述木板区域图像中的位置坐标,并对缺陷信息进行整合后输出。本发明不需要依赖人眼观察即可完成对木材的分类和筛选;其识别效率高,利于在大规模的生产自动化进行推广。

Description

木材缺陷自动检测方法、系统及其存储介质
技术领域
本发明涉及图像检测技术领域,具体涉及一种木材缺陷自动检测方法、一种木材缺陷自动检测系统以及一种存储有上述方法的可读存储介质。
背景技术
木材作为一种基础材料,凭借其自然可再生的特点,在建筑、家居等领域被广泛使用。随着社会经济的发展,市场对木材制品的需求量也在快速上升,故其对木材自动化加工的要求也更高。木材中经常会有死结、活结、裂纹和蓝变等缺陷,这些缺陷会破坏木材的均匀性和完整性,影响木材的力学特性和成品外观,不利于木材的后续加工利用,进而影响到木材的使用价值和经济价值。
因而,在现今市面上人们在对木材进行加工前,均先需要根据木材表面缺陷来对木板进行分级。而在现有技术中,其普遍采用人工目视的方式对原木表面缺陷进行分选标注,该方法通过人眼观察木材表面纹理、结构和颜色等特异信息,以完成对木材的分类和筛选;其较为依赖个人的生产实践经验,受个人的主观认知和个体精力限制较大,不利于大规模的生产自动化推广。
发明内容
为克服上述缺陷,本发明的目的即在于提供一种基于深度学习的木材缺陷自动检测方法、系统以及存储有其方法的可读存储介质。
本发明的目的是通过以下技术方案来实现的:
本发明是一种木材缺陷自动检测方法,其包括:
获取木板的原始扫描图像;
对所述原始扫描图像进行背景差分处理,从所述原始扫描图像中去除背景区域,得到木板区域图像;
按预定的尺寸对所述木板区域图像的图像尺寸进行调整,得到待检测图像;
在将所述待检测图像进行亮度自适应增强后,将所述待检测图像输入检测分析深度学习模型,获取到所检测到的缺陷信息;
根据所述缺陷信息定位出每个缺陷在所述木板区域图像中的位置坐标,并对缺陷信息进行整合后输出。
在本发明中,所述将所述待检测图像输入检测分析深度学习模型,获取到所检测到的缺陷信息包括:
将所述待检测图像输入第一检测模型,判断是否输出有第一结果,若输出有第一结果,则获取该第一结果,并将其作为缺陷信息。
在本发明中,所述按预定的尺寸对所述木板区域图像的图像尺寸进行调整,得到待检测图像包括:
获取所述木板区域图像的长宽参数,并根据所述木板区域图像的长宽参数对所述木板区域图像进行分切,得到两个以上区域不重叠的待检测图像。
在本发明中,所述将所述待检测图像输入检测分析深度学习模型,获取到所检测到的缺陷信息包括:
将所述待检测图像输入第二检测模型,判断是否输出有第二结果,若输出有第二结果,则获取该第二结果,并将其作为缺陷信息。
在本发明中,所述按预定的尺寸对所述木板区域图像的图像尺寸进行调整,得到待检测图像包括:
获取所述木板区域图像的长宽参数,并根据所述木板区域图像的长宽参数和预设的重叠区域长度,对所述木板区域图像进行分切,得到两个以上具有重叠区域的待检测图像。
在本发明中,所述对所述原始扫描图像进行背景差分处理,从所述原始扫描图像中去除背景区域,得到木板区域图像包括:
从所述原始扫描图像中对预定高度的图像区域进行截取,得到对比图像;
将所述对比图像进行拉伸,使得拉伸后的对比图像与所述原始扫描图像的高度相一致;
将所述原始扫描图像与拉伸后的对比图像分别进行灰度化处理,再减去两图像中内容相同的区域,得到差异区域;
计算所述差异区域中每个像素点的周边领域的均值,并根据其均值来确定阈值,对所述差异区域进行自适应阈值二值化处理;再进行形态学闭操作得到多个像素区域,然后筛选出面积最大的像素区域,作为前景轮廓;
根据所述前景轮廓对所述原始扫描图像进行提取,得到得到木板区域图像。
在本发明中,所述将所述待检测图像进行亮度自适应增强包括:
求得所述待检测图像中R、G、B三个通道均值,并根据R、G、B三个通道均值计算出图像的整体亮度;
将亮度数值除以预设值作为Gamma系数,根据该Gamma系数进行Gamma校正。
在本发明中,所述根据所述缺陷信息定位出每个缺陷在所述木板区域图像中的位置坐标包括:
根据所述缺陷信息获取每个缺陷在所述待检测图像中的位置坐标,并获取每张所述待检测图像之间位置关系;
根据每个缺陷在所述待检测图像中的位置坐标以及每张所述待检测图像之间位置关系,将每个缺陷的位置坐标映射至所述木板区域图像中。
基于同样的构思,本发明还提供一种木材缺陷自动检测系统,其包括:
原始图像获取模块,所述原始图像获取模块用于获取木板的原始扫描图像;
背景区域去除模块,所述背景区域去除模块与所述原始图像获取模块相连接,用于对所述原始扫描图像进行背景差分处理,从所述原始扫描图像中去除背景区域,得到木板区域图像;
图像尺寸调节模块,所述图像尺寸调节模块与所述背景区域去除模块相连接,用于按预定的尺寸对所述木板区域图像的图像尺寸进行调整,得到待检测图像;
深度学习分析模块,所述深度学习分析模块与所述图像尺寸调节模块相连接,用于在将所述待检测图像进行亮度自适应增强后,将所述待检测图像输入检测分析深度学习模型,获取到所检测到的缺陷信息;
缺陷标记输出模块,所述缺陷标记输出模块与所述深度学习分析模块相连接,用于根据所述缺陷信息定位出每个缺陷在所述木板区域图像中的位置坐标,并对缺陷信息进行整合后输出。
基于同样的构思,本发明还提供一种计算机可读程序存储介质,其存储有计算机程序指令,当所述计算机程序指令被计算机执行时,使计算机执行如上所述的方法。
在本发明的木材缺陷自动检测方法中,其获取到木材的图像,并在去除背景图像后,对图像的尺寸进行调整,然后输入预设的检测分析深度学习模型中,通过检测分析深度学习模型识别出缺陷的类型以及定位出缺陷的位置;故本发明不需要依赖人眼观察即可完成对木材的分类和筛选;其识别效率高,利于在大规模的生产自动化进行推广。
附图说明
为了易于说明,本发明由下述的较佳实施例及附图作详细描述。
图1为本发明木材缺陷自动检测方法一个实施例的工作流程示意图;
图2为本发明木材缺陷自动检测方法另一个实施例的工作流程示意图;
图3为本发明木材缺陷自动检测方法中步骤S202的工作流程示意图;
图4为本发明木材缺陷自动检测方法中原始扫描图像的示意图;
图5为本发明木材缺陷自动检测方法中步骤S203的工作原理示意图;
图6为本发明木材缺陷自动检测方法中步骤S206的工作原理示意图;
图7为本发明木材缺陷自动检测方法中步骤S209的中结果图的示意图;
图8为本发明木材缺陷自动检测系统的逻辑结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接。可以是机械连接,也可以是电连接。可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
下面以一个实施例对本发明的一种木材缺陷自动检测方法进行具体描述,请参阅图1,其包括:
S101.获取木板的原始扫描图像
通过对木板进行扫描,或者从数据库中导入已经扫描好木板的图像,以获取木板的原始扫描图像;其中,该木板的原始扫描图像中包含有木板区域图像和背景图像;
S102.在原始扫描图像中去除背景区域
对所述原始扫描图像进行背景差分处理,从所述原始扫描图像中去除背景区域,得到木板区域图像;由于在采集木板的图像时木板一般在视野的中间位置,木板原始扫描图像中包含较多背景,影响后续处理,故需要去除。
S103.调整木板区域图像的图像尺寸
按预定的尺寸对所述木板区域图像的图像尺寸进行调整,得到待检测图像;由于在现有的深度学习模型中,其预测的图像需要为正方形,而在现有的环境下,木板一般为长方形,故其需要对木板区域图像的图像尺寸进行调整,以满足深度学习模型的要求。
S104.对图像进行亮度自适应增强
将所述待检测图像进行亮度自适应增强,以提高图像的亮度,便于后续对图像进行深度学习。
S105.通过深度学习模型获取缺陷信息
将所述待检测图像输入检测分析深度学习模型,获取到所检测到的缺陷信息;该检测分析深度学习模型包括:蓝变缺陷分类模型,死结、活结和裂纹缺陷检测模型,该蓝变缺陷分类模型用于检测木板中是否存在蓝变,其中,所述蓝变是指木材因含水率、碳水化合物等含量超量,使得可可球二孢菌在木材管胞或导管中大量繁殖,变色菌侵入木材内部,蓝变真菌菌丝分泌出着色物将胞壁染色,促使木材蓝变的现象。该死结、活结和裂纹缺陷检测模型用于检测木板中是否存在死结、活结或裂纹。
S106.对缺陷信息进行整合后输出
根据所述缺陷信息定位出每个缺陷在所述木板区域图像中的位置坐标,并对缺陷信息进行整合后输出。其具体为:当检测到木板中有缺陷,则获取到被检测的待检测图像中所有缺陷的位置坐标,然后再根据待检测图像与木板区域图像之间的映射关系,定位出每个缺陷在所述木板区域图像中的位置坐标,综合所有检出缺陷类型、数量和位置等信息进行结果图像绘制,并输出结果图。
下面以另一个实施例对本发明的一种木材缺陷自动检测方法进行具体描述,请参阅图2至图7,其包括:
S201.获取木板的原始扫描图像
通过对木板进行扫描,或者从数据库中导入已经扫描好木板的图像,以获取木板的原始扫描图像;其中,该木板的原始扫描图像中包含有木板区域图像和背景图像;
S202.在原始扫描图像中去除背景区域
对所述原始扫描图像进行背景差分处理,从所述原始扫描图像中去除背景区域,得到木板区域图像;由于在采集木板的图像时木板一般在视野的中间位置,木板原始扫描图像中包含较多背景,影响后续处理,故需要去除;
请参看图4,在本实施例中其具体包括:
S2021.从原始扫描图像中截取得到对比图像
从所述原始扫描图像中对预定高度的图像区域进行截取,得到对比图像;并将所述对比图像进行拉伸,使得拉伸后的对比图像与所述原始扫描图像的高度相一致;其具体为:截取原始扫描图像底部高度为20像素、宽度为原图宽的小图作为对比图像,并将所截取到高度为20的对比图像进行纵向拉伸,使被截取后的对比图像高度与原始扫描图像相一致,通过拉伸后即可得到与原始采图尺寸相同的对比图像。
S2022.减去两图像中内容相同的区域
将所述原始扫描图像与拉伸后的对比图像分别进行灰度化处理,再减去两图像中内容相同的区域,得到差异区域;其中,两图像中内容相同的区域即为图像中的背景区域。
S2023.筛选出前景轮廓
计算所述差异区域中每个像素点的周边领域的均值,并根据其均值来确定阈值,对所述差异区域进行自适应阈值二值化处理;再进行形态学闭操作得到多个像素区域,然后筛选出面积最大的像素区域,作为前景轮廓;其具体为:通过分别以x和y方向的平移滑动的方式,获取差异区域中目标像素周边的11x11领域的均值,并根据其均值来确定局部的阈值。其中,图像形态学即数学形态学是一门建立在格伦和拓扑学基础上的图像分析学科,是数学形态学图像处理的基本理论;闭操作可以消弭狭窄的间断,消除小的孔洞;先膨胀后腐蚀的操作称之为闭操作;它具有填充物体内细小空洞,连接邻近物体和平滑边界的作用。
S2024.提取出木板区域图像
根据所述前景轮廓对所述原始扫描图像进行提取,得到得到木板区域图像。
S203.不重叠的分切木板区域图像
在原始扫描图像去除背景区域后,获取所述木板区域图像的长宽参数,并根据所述木板区域图像的长宽参数对所述木板区域图像进行分切,得到两个以上区域不重叠的待检测图像。在本实施例中由于原始扫描图像为细长条形的大尺寸图像,需将木板区域图像进行尺度缩放,短边缩放至M像素,长边按短边的缩放系数进行自适应动态缩放;再对缩放后的图像进行无重叠滑窗截取M×M大小的子区域,获得多个待检测图像;如果滑窗最后一个的图像尺寸不满足M×M大小,则对缺少部分进行填充黑色背景。由于在现有的深度学习模型中,其预测的图像需要为正方形,而在现有的环境下,木板一般为长方形,故其需要对木板区域图像分切为多个M×M的正方形图像,以满足深度学习模型的要求。由于蓝变是一个大范围渐变的表现,故在本实施例中,即使采用不重叠的分切的方式,使得被切割的蓝变后分布在两张图像中,也不会影响后续对图像的识别。
S204.对图像进行亮度自适应增强
将所述待检测图像进行亮度自适应增强,以提高图像的亮度,便于后续对图像进行深度学习。其具体为:求得所述待检测图像中R、G、B三个通道均值,并根据R、G、B三个通道均值计算出图像的整体亮度;其中,亮度的计算公式为:
亮度=0.299×R+0.587×G+0.114×B
再将亮度数值除以预设值255作为Gamma系数,根据该Gamma系数进行Gamma校正。
S205.通过第一检测模型获取第一结果
将所述待检测图像输入第一检测模型,判断是否输出有第一结果,若输出有第一结果,则获取该第一结果,并将其作为缺陷信息。在本实施例中,该第一检测模型为:蓝变缺陷分类模型,其中,该蓝变缺陷分类模型先通过获取大量的待检测图像,然后对其图像进行人工分类,分为蓝变和非蓝变两类图像;最后通过深度学习而进行构建。然后将所述待检测图像输入蓝变缺陷分类模型获取到是否具有蓝变的第一结果。其中,所述蓝变是指木材因含水率、碳水化合物等含量超量,使得可可球二孢菌在木材管胞或导管中大量繁殖,变色菌侵入木材内部,蓝变真菌菌丝分泌出着色物将胞壁染色,促使木材蓝变的现象。
S206.分切为含重叠区域的待检测图像
在原始扫描图像去除背景区域后,获取所述木板区域图像的长宽参数,并根据所述木板区域图像的长宽参数和预设的重叠区域长度,对所述木板区域图像进行分切,得到两个以上具有重叠区域的待检测图像。其具体为:将木板区域图像的短边设为M像素,沿着图像长边方向按M大小滑窗,后一次滑窗和前一次滑窗取长边方向重叠Overlap像素;然后对合成大图底部和右侧进行填充黑色背景,使其尺寸符合M×M大小,完成图像截取。在实际应用中,由于某个缺陷尺寸可能大,也可能小,容易在分切位置上被切成两半,故在本实施例中采用重叠的分切方式,避免此问题的发生。
S207.对图像进行亮度自适应增强
将所述待检测图像进行亮度自适应增强,以提高图像的亮度,便于后续对图像进行深度学习。其具体为:求得所述待检测图像中R、G、B三个通道均值,并根据R、G、B三个通道均值计算出图像的整体亮度;其中,亮度的计算公式为:
亮度=0.299×R+0.587×G+0.114×B
再将亮度数值除以预设值255作为Gamma系数,根据该Gamma系数进行Gamma校正。
S208.通过第二检测模型获取第二结果
将所述待检测图像输入第二检测模型,判断是否输出有第二结果,若输出有第二结果,则获取该第二结果,并将其作为缺陷信息。在本实施例中,该第二检测模型为:死结、活结和裂纹缺陷检测模型;其中,该死结、活结和裂纹缺陷检测模型先通过获得大量子图像;再通过人工对待检测图像进行缺陷标注,标注死结、活结和裂纹缺陷所在外界矩形坐标及其对应缺陷类别而构建。然后将所述待检测图像输入死结、活结和裂纹缺陷检测模型获取到是否具有死结、活结和/或裂纹缺陷检测模型的第二结果。其中,该死结、活结和裂纹缺陷检测模型的网络结构采用YOLOv5s。
S209.对缺陷信息进行整合后输出
分别获取包含第一结果、第二结果的缺陷信息;然后根据所述缺陷信息获取每个缺陷在所述待检测图像中的位置坐标,并获取每张所述待检测图像之间位置关系;根据每个缺陷在所述待检测图像中的位置坐标以及每张所述待检测图像之间位置关系,将每个缺陷的位置坐标映射至所述木板区域图像中。其具体为:当检测到木板中有缺陷,则获取到被检测的待检测图像中所有缺陷的位置坐标,然后再根据待检测图像的顺序确定该缺陷所在的位置与木板区域图像之间的映射关系,定位出每个缺陷在所述木板区域图像中的位置坐标,综合所有检出缺陷类型、数量和位置等信息在木板区域图像中对结果图像进行绘制,并输出结果图。故在结果图中,其能直接在木板区域图像中对蓝变、死结、活结、裂纹等缺陷进行直接标出,其结果图非常直观。
为验证本实施例提供的一种实木缺陷检测方法实际效果,采集含有蓝变样本141张,含有死节、活结的样本共302张,含有裂纹样本129张。其中,任一图像样本内可能存在多个不同缺陷的组合。统计数据如下表1,实测效果显示,蓝变、死结、活结和裂纹缺陷项准确率分别为92.6%、96.8%、94.5%、91.3%,蓝变检测耗时80ms,死结、活结和裂纹检测总计耗时90ms。根据检测准确率和检测处理耗时两项指标表明本发明申请具备较高的识别精度和识别速度。因此,该方法对提升实木自动化缺陷检测效果和效率,优化木材加工等级分选、提高木材利用率和促进木材加工自动化水平有着重要意义。
表1
Figure BDA0003025932710000111
本发明包括一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
以上可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
下面以一个实施例对本发明的一种木材缺陷自动检测系统进行具体描述,请参阅图8,其包括:
原始图像获取模块101,所述原始图像获取模块101用于获取木板的原始扫描图像;具体地,其通过对木板进行扫描,或者从数据库中导入已经扫描好木板的图像,以获取木板的原始扫描图像;其中,该木板的原始扫描图像中包含有木板区域图像和背景图像。
背景区域去除模块102,所述背景区域去除模块102与所述原始图像获取模块101相连接,用于对所述原始扫描图像进行背景差分处理,从所述原始扫描图像中去除背景区域,得到木板区域图像;由于在采集木板的图像时木板一般在视野的中间位置,木板原始扫描图像中包含较多背景,影响后续处理,故需要去除。
图像尺寸调节模块103,所述图像尺寸调节模块103与所述背景区域去除模块102相连接,用于按预定的尺寸对所述木板区域图像的图像尺寸进行调整,得到待检测图像;该图像尺寸调节模块103有两种调节方式,当后续需要输入至蓝变缺陷分类模型时,则对缩放后的图像进行无重叠滑窗截取M×M大小的子区域,获得多个待检测图像;当后续需要输入至死结、活结和裂纹缺陷检测模型时,则对缩放后的图像进行有重叠截取,获得多张待检测图像。
深度学习分析模块104,所述深度学习分析模块104与所述图像尺寸调节模块103相连接,用于在将所述待检测图像进行亮度自适应增强后,将所述待检测图像输入检测分析深度学习模型,获取到所检测到的缺陷信息;该检测分析深度学习模型包括:蓝变缺陷分类模型,死结、活结和裂纹缺陷检测模型;
其中,该蓝变缺陷分类模型由一个输入层,一个3×3卷积层,一个3×3深度可分离卷积模块,二个3×3移动翻转瓶颈卷积模块,二个5×5移动翻转瓶颈卷积模块,三个3×3移动翻转瓶颈卷积模块,三个5×5移动翻转瓶颈卷积模块,四个5×5移动翻转瓶颈卷积模块,一个3×3移动翻转瓶颈卷积模块,一个1×1卷积层,一个全局平均池化层,一个全连接层,一个Softmax激活层组成,各层依次连接。而该深度可分离卷积模块由一个3×3深度可分离卷积层,一个批量正则化层,一个Swish激活层,一个1×1卷积层,一个批量正则化层组成,各层依次连接。该移动翻转瓶颈卷积模块由一个1×1卷积层,一个批量正则化层,一个Swish激活层,一个k×k深度可分离卷积层,一个批量正则化层组成,一个Swish激活层,一个压缩与激发模块,一个1×1卷积层,一个批量正则化层,一个DropConnect层组成,各层依次连接后与模块输入进行累加获得模块的输出。其中k由移动翻转瓶颈卷积模块参数给定。该压缩与激发模块由一个全局平均池化层,一个1×1卷积层,一个Swish激活层,一个1×1卷积层,一个Sigmoid激活层组成,各层依次连接后与模块输入进行相乘获得模块的输出。
所述死结、活结和裂纹缺陷检测模型的网络结构采用YOLOv5s。其中,YOLO是一种对象检测算法,将单个卷积神经网络(CNN)应用于整个图像,将图像分成网格,并预测每个网格的类概率和边界框。
所述蓝变缺陷检测模型和死结、活结、裂纹缺陷检测模型在实施前只需要分别进行一次训练,学习到相应缺陷类型的特征信息,即可实现不定次数的推理服务。
缺陷标记输出模块105,所述缺陷标记输出模块105与所述深度学习分析模块104相连接,用于根据所述缺陷信息定位出每个缺陷在所述木板区域图像中的位置坐标,并对缺陷信息进行整合后输出。其具体为:当检测到木板中有蓝变、死结、活结和/或裂纹等缺陷时,则获取到被检测的待检测图像中所有缺陷的位置坐标,然后再根据待检测图像的顺序确定该缺陷所在的位置与木板区域图像之间的映射关系,定位出每个缺陷在所述木板区域图像中的位置坐标,综合所有检出缺陷类型、数量和位置等信息在木板区域图像中对结果图像进行绘制,并输出结果图。
本发明中采用图形图像识别技术对实木板材进行自动检测,可快速、精确和无损的指示木板缺陷类型、位置及程度,为木板生产加工提供处理指导,改善板材使用效率,提升原木板材优选分级的自动化和智能化水平。
在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种木材缺陷自动检测方法,其特征在于,包括:
获取木板的原始扫描图像;
对所述原始扫描图像进行背景差分处理,从所述原始扫描图像中去除背景区域,得到木板区域图像;
按预定的尺寸对所述木板区域图像的图像尺寸进行调整,得到待检测图像;
在将所述待检测图像进行亮度自适应增强后,将所述待检测图像输入检测分析深度学习模型,获取到所检测到的缺陷信息;
根据所述缺陷信息定位出每个缺陷在所述木板区域图像中的位置坐标,并对缺陷信息进行整合后输出。
2.根据权利要求1所述的木材缺陷自动检测方法,其特征在于,所述将所述待检测图像输入检测分析深度学习模型,获取到所检测到的缺陷信息包括:
将所述待检测图像输入第一检测模型,判断是否输出有第一结果,若输出有第一结果,则获取该第一结果,并将其作为缺陷信息。
3.根据权利要求2所述的木材缺陷自动检测方法,其特征在于,所述按预定的尺寸对所述木板区域图像的图像尺寸进行调整,得到待检测图像包括:
获取所述木板区域图像的长宽参数,并根据所述木板区域图像的长宽参数对所述木板区域图像进行分切,得到两个以上区域不重叠的待检测图像。
4.根据权利要求1所述的木材缺陷自动检测方法,其特征在于,所述将所述待检测图像输入检测分析深度学习模型,获取到所检测到的缺陷信息包括:
将所述待检测图像输入第二检测模型,判断是否输出有第二结果,若输出有第二结果,则获取该第二结果,并将其作为缺陷信息。
5.根据权利要求4所述的木材缺陷自动检测方法,其特征在于,所述按预定的尺寸对所述木板区域图像的图像尺寸进行调整,得到待检测图像包括:
获取所述木板区域图像的长宽参数,并根据所述木板区域图像的长宽参数和预设的重叠区域长度,对所述木板区域图像进行分切,得到两个以上具有重叠区域的待检测图像。
6.根据权利要求3或5所述的木材缺陷自动检测方法,其特征在于,所述对所述原始扫描图像进行背景差分处理,从所述原始扫描图像中去除背景区域,得到木板区域图像包括:
从所述原始扫描图像中对预定高度的图像区域进行截取,得到对比图像;
将所述对比图像进行拉伸,使得拉伸后的对比图像与所述原始扫描图像的高度相一致;
将所述原始扫描图像与拉伸后的对比图像分别进行灰度化处理,再减去两图像中内容相同的区域,得到差异区域;
计算所述差异区域中每个像素点的周边领域的均值,并根据其均值来确定阈值,对所述差异区域进行自适应阈值二值化处理;再进行形态学闭操作得到多个像素区域,然后筛选出面积最大的像素区域,作为前景轮廓;
根据所述前景轮廓对所述原始扫描图像进行提取,得到得到木板区域图像。
7.根据权利要求6所述的木材缺陷自动检测方法,其特征在于,所述将所述待检测图像进行亮度自适应增强包括:
求得所述待检测图像中R、G、B三个通道均值,并根据R、G、B三个通道均值计算出图像的整体亮度;
将亮度数值除以预设值作为Gamma系数,根据该Gamma系数进行Gamma校正。
8.根据权利要求7所述的木材缺陷自动检测装置,其特征在于,所述根据所述缺陷信息定位出每个缺陷在所述木板区域图像中的位置坐标包括:
根据所述缺陷信息获取每个缺陷在所述待检测图像中的位置坐标,并获取每张所述待检测图像之间位置关系;
根据每个缺陷在所述待检测图像中的位置坐标以及每张所述待检测图像之间位置关系,将每个缺陷的位置坐标映射至所述木板区域图像中。
9.一种木材缺陷自动检测系统,其特征在于,包括:
原始图像获取模块,所述原始图像获取模块用于获取木板的原始扫描图像;
背景区域去除模块,所述背景区域去除模块与所述原始图像获取模块相连接,用于对所述原始扫描图像进行背景差分处理,从所述原始扫描图像中去除背景区域,得到木板区域图像;
图像尺寸调节模块,所述图像尺寸调节模块与所述背景区域去除模块相连接,用于按预定的尺寸对所述木板区域图像的图像尺寸进行调整,得到待检测图像;
深度学习分析模块,所述深度学习分析模块与所述图像尺寸调节模块相连接,用于在将所述待检测图像进行亮度自适应增强后,将所述待检测图像输入检测分析深度学习模型,获取到所检测到的缺陷信息;
缺陷标记输出模块,所述缺陷标记输出模块与所述深度学习分析模块相连接,用于根据所述缺陷信息定位出每个缺陷在所述木板区域图像中的位置坐标,并对缺陷信息进行整合后输出。
10.一种计算机可读程序存储介质,其特征在于,其存储有计算机程序指令,当所述计算机程序指令被计算机执行时,使计算机执行根据权利要求1至8中任一项所述的方法。
CN202110416096.XA 2021-04-19 2021-04-19 木材缺陷自动检测方法、系统及其存储介质 Pending CN113066079A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110416096.XA CN113066079A (zh) 2021-04-19 2021-04-19 木材缺陷自动检测方法、系统及其存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110416096.XA CN113066079A (zh) 2021-04-19 2021-04-19 木材缺陷自动检测方法、系统及其存储介质

Publications (1)

Publication Number Publication Date
CN113066079A true CN113066079A (zh) 2021-07-02

Family

ID=76566984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110416096.XA Pending CN113066079A (zh) 2021-04-19 2021-04-19 木材缺陷自动检测方法、系统及其存储介质

Country Status (1)

Country Link
CN (1) CN113066079A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409317A (zh) * 2021-08-19 2021-09-17 深圳市信润富联数字科技有限公司 缺陷检测方法、电子装置、装置及计算机可读存储介质
CN113627492A (zh) * 2021-07-20 2021-11-09 东软医疗系统股份有限公司 扫描对象尺寸的确定方法、扫描方法、装置和电子设备
CN113787021A (zh) * 2021-08-05 2021-12-14 安吉八塔机器人有限公司 一种木材检测分类设备
CN113793322A (zh) * 2021-09-16 2021-12-14 上海安稷软件科技有限公司 一种对磁性材料自动检测的方法、电子设备和存储介质
CN114199892A (zh) * 2021-12-10 2022-03-18 江苏雷默智能科技有限公司 一种基于机器视觉的板材测量方法及系统
CN114354623A (zh) * 2021-12-30 2022-04-15 苏州凌云视界智能设备有限责任公司 弱印痕提取算法、装置、设备和介质
JP7089718B1 (ja) 2022-03-16 2022-06-23 エノ産業株式会社 皮むきされた原木の選別システム、情報処理装置、皮むきされた原木の選別方法およびプログラム
CN115082722A (zh) * 2022-08-22 2022-09-20 四川金信石信息技术有限公司 基于正向样本的设备缺陷检测方法、系统、终端及介质
CN115239714A (zh) * 2022-09-22 2022-10-25 山东汇智家具股份有限公司 一种用于地板生产的原木材料分级评价方法
CN116309375A (zh) * 2023-02-23 2023-06-23 南京林业大学 实木板材双面缺陷检测及智能加工坐标确定方法
CN117274263A (zh) * 2023-11-22 2023-12-22 泸州通源电子科技有限公司 一种显示器瘢痕缺陷检测方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5960104A (en) * 1996-08-16 1999-09-28 Virginia Polytechnic & State University Defect detection system for lumber
WO2012098605A1 (ja) * 2011-01-21 2012-07-26 株式会社 日立ハイテクノロジーズ 回路パターン検査装置およびその検査方法
KR20160054846A (ko) * 2014-11-07 2016-05-17 부산대학교 산학협력단 홀 내부의 결함 검출방법
CN108230321A (zh) * 2018-01-19 2018-06-29 深圳市亿图视觉自动化技术有限公司 缺陷检测方法及装置
CN108520274A (zh) * 2018-03-27 2018-09-11 天津大学 基于图像处理及神经网络分类的高反光表面缺陷检测方法
CN109377487A (zh) * 2018-10-16 2019-02-22 浙江大学 一种基于深度学习分割的水果表面缺陷检测方法
CN110349150A (zh) * 2019-07-16 2019-10-18 昆山亘恒智能科技有限公司 一种产品缺陷识别方法
US10636148B1 (en) * 2016-05-20 2020-04-28 Ccc Information Services Inc. Image processing system to detect contours of an object in a target object image
CN111310558A (zh) * 2019-12-28 2020-06-19 北京工业大学 一种基于深度学习和图像处理法的路面病害智能提取方法
CN111583223A (zh) * 2020-05-07 2020-08-25 上海闻泰信息技术有限公司 缺陷检测方法、装置、计算机设备及计算机可读存储介质
CN111696075A (zh) * 2020-04-30 2020-09-22 航天图景(北京)科技有限公司 一种基于双光谱图像的风机叶片缺陷智能检测方法
CN112150434A (zh) * 2020-09-22 2020-12-29 霍尔果斯奇妙软件科技有限公司 一种轮胎缺陷的检测方法、装置、设备及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5960104A (en) * 1996-08-16 1999-09-28 Virginia Polytechnic & State University Defect detection system for lumber
WO2012098605A1 (ja) * 2011-01-21 2012-07-26 株式会社 日立ハイテクノロジーズ 回路パターン検査装置およびその検査方法
KR20160054846A (ko) * 2014-11-07 2016-05-17 부산대학교 산학협력단 홀 내부의 결함 검출방법
US10636148B1 (en) * 2016-05-20 2020-04-28 Ccc Information Services Inc. Image processing system to detect contours of an object in a target object image
CN108230321A (zh) * 2018-01-19 2018-06-29 深圳市亿图视觉自动化技术有限公司 缺陷检测方法及装置
CN108520274A (zh) * 2018-03-27 2018-09-11 天津大学 基于图像处理及神经网络分类的高反光表面缺陷检测方法
CN109377487A (zh) * 2018-10-16 2019-02-22 浙江大学 一种基于深度学习分割的水果表面缺陷检测方法
CN110349150A (zh) * 2019-07-16 2019-10-18 昆山亘恒智能科技有限公司 一种产品缺陷识别方法
CN111310558A (zh) * 2019-12-28 2020-06-19 北京工业大学 一种基于深度学习和图像处理法的路面病害智能提取方法
CN111696075A (zh) * 2020-04-30 2020-09-22 航天图景(北京)科技有限公司 一种基于双光谱图像的风机叶片缺陷智能检测方法
CN111583223A (zh) * 2020-05-07 2020-08-25 上海闻泰信息技术有限公司 缺陷检测方法、装置、计算机设备及计算机可读存储介质
CN112150434A (zh) * 2020-09-22 2020-12-29 霍尔果斯奇妙软件科技有限公司 一种轮胎缺陷的检测方法、装置、设备及存储介质

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627492A (zh) * 2021-07-20 2021-11-09 东软医疗系统股份有限公司 扫描对象尺寸的确定方法、扫描方法、装置和电子设备
CN113627492B (zh) * 2021-07-20 2024-06-04 东软医疗系统股份有限公司 扫描对象尺寸的确定方法、扫描方法、装置和电子设备
CN113787021A (zh) * 2021-08-05 2021-12-14 安吉八塔机器人有限公司 一种木材检测分类设备
CN113409317B (zh) * 2021-08-19 2021-11-30 深圳市信润富联数字科技有限公司 缺陷检测方法、电子装置、装置及计算机可读存储介质
CN113409317A (zh) * 2021-08-19 2021-09-17 深圳市信润富联数字科技有限公司 缺陷检测方法、电子装置、装置及计算机可读存储介质
CN113793322A (zh) * 2021-09-16 2021-12-14 上海安稷软件科技有限公司 一种对磁性材料自动检测的方法、电子设备和存储介质
CN114199892B (zh) * 2021-12-10 2022-11-18 江苏雷默智能科技有限公司 一种基于机器视觉的板材测量方法及系统
CN114199892A (zh) * 2021-12-10 2022-03-18 江苏雷默智能科技有限公司 一种基于机器视觉的板材测量方法及系统
CN114354623A (zh) * 2021-12-30 2022-04-15 苏州凌云视界智能设备有限责任公司 弱印痕提取算法、装置、设备和介质
JP7089718B1 (ja) 2022-03-16 2022-06-23 エノ産業株式会社 皮むきされた原木の選別システム、情報処理装置、皮むきされた原木の選別方法およびプログラム
JP2023136328A (ja) * 2022-03-16 2023-09-29 エノ産業株式会社 皮むきされた原木の選別システム、情報処理装置、皮むきされた原木の選別方法およびプログラム
CN115082722A (zh) * 2022-08-22 2022-09-20 四川金信石信息技术有限公司 基于正向样本的设备缺陷检测方法、系统、终端及介质
CN115082722B (zh) * 2022-08-22 2022-11-01 四川金信石信息技术有限公司 基于正向样本的设备缺陷检测方法、系统、终端及介质
CN115239714B (zh) * 2022-09-22 2022-12-06 山东汇智家具股份有限公司 一种用于地板生产的原木材料分级评价方法
CN115239714A (zh) * 2022-09-22 2022-10-25 山东汇智家具股份有限公司 一种用于地板生产的原木材料分级评价方法
CN116309375A (zh) * 2023-02-23 2023-06-23 南京林业大学 实木板材双面缺陷检测及智能加工坐标确定方法
CN116309375B (zh) * 2023-02-23 2023-10-24 南京林业大学 实木板材双面缺陷检测及智能加工坐标确定方法
CN117274263A (zh) * 2023-11-22 2023-12-22 泸州通源电子科技有限公司 一种显示器瘢痕缺陷检测方法
CN117274263B (zh) * 2023-11-22 2024-01-26 泸州通源电子科技有限公司 一种显示器瘢痕缺陷检测方法

Similar Documents

Publication Publication Date Title
CN113066079A (zh) 木材缺陷自动检测方法、系统及其存储介质
CN108960245B (zh) 轮胎模具字符的检测与识别方法、装置、设备及存储介质
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN111062915B (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN107330979B (zh) 建筑户型的矢量图生成方法、装置及终端
CN107169953B (zh) 基于hog特征的桥梁混凝土表面裂缝检测方法
CN115100221B (zh) 一种玻璃缺陷分割方法
CN108416766B (zh) 双侧入光式导光板缺陷视觉检测方法
EP3023910A1 (en) Method and system for learning pixel visual context from object characteristics to generate rich semantic images
CN108181316B (zh) 一种基于机器视觉的竹条缺陷检测方法
CN106845408A (zh) 一种复杂环境下的街道垃圾识别方法
CN110796048A (zh) 一种基于深度神经网络的船舰目标实时检测方法
CN112330593A (zh) 基于深度学习网络的建筑物表面裂缝检测方法
US20210214765A1 (en) Methods and systems for automated counting and classifying microorganisms
CN110084302B (zh) 一种基于遥感图像的裂缝检测方法
CN113362276B (zh) 板材视觉检测方法及系统
CN115797813B (zh) 基于航拍图像的水环境污染检测方法
CN113298809B (zh) 基于深度学习和超像素分割的复材超声图像缺陷检测方法
CN114359245A (zh) 一种工业场景下产品表面缺陷检测方法
CN115829995A (zh) 基于像素级的多尺度特征融合的布匹瑕疵检测方法及系统
CN115187544A (zh) 基于DR-RSBU-YOLOv5的织物瑕疵检测方法
CN116245882A (zh) 电路板电子元件检测方法、装置及计算机设备
Jia et al. A modified centernet for crack detection of sanitary ceramics
CN111738931A (zh) 光伏阵列无人机航拍图像的阴影去除算法
CN103065296B (zh) 一种基于边缘特征的高分辨率遥感影像居民区提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination