CN111062938A - 基于机器学习的板材涨塞检测系统和检测方法 - Google Patents

基于机器学习的板材涨塞检测系统和检测方法 Download PDF

Info

Publication number
CN111062938A
CN111062938A CN201911395979.6A CN201911395979A CN111062938A CN 111062938 A CN111062938 A CN 111062938A CN 201911395979 A CN201911395979 A CN 201911395979A CN 111062938 A CN111062938 A CN 111062938A
Authority
CN
China
Prior art keywords
plate
image
attention
area
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911395979.6A
Other languages
English (en)
Other versions
CN111062938B (zh
Inventor
王志远
朱远鹏
康庆
王化明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cubespace Co ltd
Original Assignee
Cubespace Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cubespace Co ltd filed Critical Cubespace Co ltd
Priority to CN201911395979.6A priority Critical patent/CN111062938B/zh
Publication of CN111062938A publication Critical patent/CN111062938A/zh
Application granted granted Critical
Publication of CN111062938B publication Critical patent/CN111062938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30161—Wood; Lumber

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于机器学习的板材涨塞检测系统，包括传送装置、光源模块、采集模块、检测模块、控制模块。本发明实现基于机器学习的板材涨塞检测系统的检测方法，包括：利用均值漂移聚类算法对板材图像分割，提取板材特征并识别板材型号；通过模板匹配算法，得到涨塞可能存在的区域；构建注意力恒等残差网络并训练其作为图像分类器，将这些区域输入图像分类器中确定区域内是否存在涨塞，如果存在，确定涨塞类型；将涨塞位置与类型与标准模板比对，得到检测结果。本发明可代替人工检测板材涨塞的多植、漏植、错植等缺陷，提高板材检测的自动化程度，降低人工成本，提高生产效率。

Description

基于机器学习的板材涨塞检测系统和检测方法
技术领域
本发明涉及板材加工技术领域，具体涉及一种基于机器学习的板材涨塞检测系统和检测方法。
背景技术
近几年随着我国工业自动化水平的不断提高，机器视觉在缺陷检测、质量控制等工业领域的应用越来越成熟。目前板材涨塞在生产线上的检测主要通过人工检测，且由于人工视觉检查产品质量效率低，所以无法对全部板材进行检测，只能进行抽检。这样导致板材涨塞检测不仅效率低、成本高而且精度不高，所以急需开发出一种高效方便且精度高的板材涨塞检测系统。
发明内容
本发明针旨在一定程度上解决上述技术问题之一，本发明提供了一种基于机器学习的板材涨塞检测系统及其检测方法，达到了高效率、低成本、高精度的能够实现快速检测涨塞缺陷的技术效果。
本发明第一方面公开了一种基于深度学习的板材涨塞检测系统，包括传送装置、光源模块、采集模块、控制模块和检测模块。
传送装置，用于传送待检测板材至检测区域，包括遮光罩、框架、传送带和电机，所述框架为长方体框架结构，所述框架外壁为黑色亚克力板；沿长方体框架内壁敷设黑色绒布。
光源模块，用于为待检测板材提供光源，包括主光源、阴影消除光源、背景光源和光源控制器。
采集模块，用于采集所述板材的图像信息。
控制模块，用于控制机电设备，包括光电传感器、颜色传感器、控制器；所述控制器根据所述光电传感器、所述颜色传感器检测的信号控制所述图像采集装置采集图像信息。
检测模块，用于根据所述图像信息对所述板材进行涨塞检测，得到检测结果。
根据本发明的一个实施例，所述主光源包括若干高亮线光源及其光源控制器，所述高亮线光源设置在传送带上方。
根据本发明的一个实施例，所述阴影消除光源包括两个第一线性光源及其光源控制器，所述第一线性光源设置在传送带上方。
根据本发明的一个实施例，所述背景光源包括若干第二线性光源及其光源控制器，所述第二线性光源设置在传送带下方。
根据本发明的一个实施例，所述图像采集装置为线阵相机，所述线阵相机连接所述控制器。
根据本发明的一个实施例，所述光电传感器、色彩传感器分别与所述控制器连接。
本发明第二方面公开了一种基于机器学习的板材涨塞检测系统的检测方法，包括以下步骤：
S1：将待检测板材放到传送带上，开启传送带。
S2：当传送带上的第一光电传感器检测到板材进入，所述第一光电传感器发送第一检测信号至控制器，所述控制器接收所述第一检测信号，根据所述第一检测信号触发色彩传感器采集与所述待检测板材相关的色彩信息，将所述色彩信息发送至控制器。
S3：控制器接收所述色彩信息，按照预定的打光方式控制光源模块的所有光源，并发送第一控制指令给图像采集装置，图像采集装置接收所述第一控制指令，根据所述第一控制指令采集与所述待检测板材相关图像信息。
S4：当传送带上的第二光电传感器检测到所述待检测板材离开，发送第二检测信号至控制器，所述控制器接收到第二检测信号，根据所述第二检测信号生成第二控制指令，发送所述第二控制指令至所述图像采集装置,所述图像采集装置接收所述第二控制指令，停止采集与所述待检测板材相关的图像信息。
S5：控制器对采集到所述图像信息进行分析，检测所述待检测板材上的涨塞是否存在缺陷，得到检测结果。
S6：控制器根据所述检测结果生成第三控制指令，将检测后的所述板材传递至下一工序。
根据本发明的一个实施例，所述S5中根据控制器对采集到所述图像信息进行分析，检测所述待检测板材上的涨塞是否存在缺陷，得到检测结果，包括：
S5.1：建立背景模型，采集一张空传送带背景图像并框选框架区域，作为背景图像。
S5.2：采集任意角度下的一张板材图像作为模板图像，将模板图像进行图像分割后得到第一板材区域，计算模板图像区域的第一特征向量，并将所述第一特征向量存入数据库中。
S5.3：采集当前图像，将当前图像进行图像分割后得到第二板材区域，计算当前图像区域的特征向量，并将提取到的第二特征向量与模板图像的第一特征向量比较，根据比较结果确定待检侧板材是否与模板相同。
S5.4：利用涨塞模板匹配算法预先找出图像中涨塞可能出现的区域，再将这些区域输入到基于深度学习的图像分类器，确定区域内是否存在涨塞，如果存在确定涨塞类型，最后利用非极大值抑制选出最佳涨塞区域。
S5.5：对最佳涨塞区域进行坐标系转换，转换到基于板材质心的坐标系，然后与模板的涨塞位置进行匹配，得到检测结果。
根据本发明的一个实施例，所述S5.3中采集当前图像，将当前图像进行图像分割后得到第二板材区域，计算当前图像区域的第二特征向量，并将提取到的第二特征向量与模板图像的第一特征向量比较，根据比较结果确定待检测板材是否与模板相同，包括：
S5.3.1：采集当前图像，并将当前图像与背景图像相减并取绝对值，然后做全局阈值处理得到二值图，对二值图做形态学滤波去除图像噪声，并与当前图像做与操作，实现图像中板材所在区域的粗定位。
S5.3.2：采用均值漂移聚类算法对板材区域图像做图像分割，采用Blob形态学分析确定精确板材区域，并对精确板材区域进行孔洞填充，得到完整的精确板材区域。
S5.3.3：通过步骤S5.3.1和步骤S5.3.2得到当前图像分割后的第二板材区域以及模板图像的第一板材区域，计算第二板材区域的第二特征向量和第一板材区域的第一特征向量，比较所述第二特征向量与第一特征向量，得到比较结果，根据比较结果确定待检测板材是否与模板相同。
根据本发明的一个实施例，所述S5.3.2包括：
S5.3.2.1：将图像中的所有像素点转化为样本数据x＝(r,g,b,x,y)，其中r,g,b分别为像素点的红色、绿色、蓝色通道的值，x,y为像素点的像素坐标。
S5.3.2.2：在未分类的样本中随机选择一个点作为聚类中心c0。
S5.3.2.3：计算聚类中心偏移向量mt:
Figure BDA0002346314580000041
其中，ct为t时刻的聚类中心；Sh为以ct为中心点，半径为h的高维球区域；k为包含在Sh范围内的点的个数；xi为包含在Sh范围内的点。
S5.3.2.4：更新聚类中心:
ct+1＝ct+mt
S5.3.2.5：重复步骤S5.3.2.3、S5.3.2.4，直到偏移向量大小满足设定的阈值要求，记下此时的中心点。
S5.3.2.6：重复S5.3.2.2、S5.3.2.3、S5.3.2.4，直到所有的点都被分类完成。
根据本发明的一个实施例，所述S5.4中基于深度学习的图像分类器为注意力恒等残差神经网络。
根据本发明的一个实施例，所述的注意力恒等残差网络包括第一注意力恒等残差模块、第二注意力恒等残差模块、第三注意力恒等残差模块、第四注意力恒等残差模块和第五注意恒等残差模块。第一注意力恒等残差模块包含一个注意力恒等残差单元；第二注意力恒等残差模块包含三个注意力恒等残差单元；第三注意力恒等残差模块包含四个注意力恒等残差单元；第四注意力恒等残差模块包含二十三个注意力恒等残差单元；第五注意力恒等残差模块包含三个注意力残差单元。
根据本发明的一个实施例，所述恒等残差单元包括两个卷积层、两个激活函数和两个批归一化层，采用注意力机制作为特征融合结构。
根据本发明的一个实施例，所述恒等残差单元包括两个卷积层、两个激活函数和两个批归一化层，采用注意力机制作为特征融合结构。所述卷积层用于提取图像特征；所述激活函数用于为模型增加非线性特征；所述批归一化层用于归一化卷积层提取到的特征图。
根据本发明的一个实施例，所述第一恒等残差模块中恒等残差单元的卷积层均包含64个卷积核，卷积核大小为3×3。所述第一恒等残差模块中恒等残差单元的激活函数为整流线性函数。
根据本发明的一个实施例，所述第二恒等残差模块中恒等残差单元的卷积层均包含256个卷积核，卷积核大小为3×3。所述第二恒等残差模块中恒等残差单元的激活函数为整流线性函数。
根据本发明的一个实施例，所述第三恒等残差模块中恒等残差单元的卷积层均包含512个卷积核，卷积核大小为3×3。所述第三恒等残差模块中恒等残差单元的激活函数为整流线性函数。
根据本发明的一个实施例，所述第四恒等残差模块中恒等残差单元的卷积层均包含1024个卷积核，卷积核大小为3×3。所述第四恒等残差模块中恒等残差单元的激活函数为整流线性函数。
根据本发明的一个实施例，所述第五恒等残差模块中恒等残差单元的卷积层均包含2048个卷积核，卷积核大小为3×3。所述第五恒等残差模块中恒等残差单元的激活函数为整流线性函数。
根据本发明的一个实施例，所述注意力机制原理为重点关注对语义结果有重要贡献的特征，而忽略和语义结果无关的特征。
根据本发明的一个实施例，所述注意力机制计算过程如下：
(1)给定希望关注的语义Q,以及已知特征键值对(K-V)。
(2)计算Q和K的相关性，得到各个K对于V的权重系数。
Similarity(Q,Ki)＝QTKi
(3)使用指数归一化函数对权重进行归一化处理
Figure BDA0002346314580000061
(4)将权重和相应的值V进行加权求和得到最后的注意力结果
Figure BDA0002346314580000062
根据本发明的一个实施例，所述恒等残差单元的计算公式如下：
y＝x+Attention(x,F(x,W),F(x,W))
其中,y为恒等残差单元输出向量；x为恒等残差单元输入向量。
根据本发明的一个实施例，所述注意力恒等残差网络采用经验交叉熵损失函数。
根据本发明的一个实施例，所述S5.2中模板图像的特征包括：板材质心、板材尺寸，板材面积，板材区域灰度均值和方差、板材区域Hu不变矩和涨塞位置。所述板材尺寸包括板材长度尺寸和板材宽度尺寸，所述板材长度为板材区域平行于主轴方向的最大像素数量和垂直与主轴方向的最大像素数量中的较大值；所述板材宽度为板材区域平行于主轴方向的最大像素数量和垂直与主轴方向的最大像素数量中的较小值；所述板材面积为板材区域内所有像素数量的累加值。
本发明的有益效果：第一，本发明方法相比与目前使用的人工检测方法，仅仅需要工业相机等组成的简易视觉系统，实际应用中可以节约生产成本、提高生产效率，并且可以对所有板材进行检测，无需抽检，大幅提高精度。第二，本方法利用均值漂移聚类算法分割板材区域，能够适应不同板材品种的分割，具有较好的通用性和推广性。同时利用深度学习检测、定位涨塞，避免了因涨塞品种繁多人工选取特征及判断条件工作量大、易受干扰的缺点。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的基于深度学习的板材涨塞检测系统方框图；
图2是本发明实施例公开的基于深度学习的板材涨塞检测系统结构图；
图3是本发明的基于深度学习的板材涨塞的检测方法流程图；
图4是本发明的注意力恒等残差网络结构图；
图5是本发明的注意力恒等残差单元结构图；
图6A是具体实施方式中待检测板材图像；
图6B是具体实施方式中板材图像分割后得到的精确板材区域图；
图7是具体实施方式中涨塞检测结果图；
图8是本发明实施例公开的又一基于深度学习的板材涨塞检测方法流程图。
附图标记说明：100-基于深度学习的板材涨塞的检测系统；1-传送装置；1a-遮光罩；1b-框架；1c-传送带；1d-电机；2-光源模块；2a-主光源；2b-阴影消除光源；2c-背景光源；3-采集模块；4-控制模块；4a-第一光电传感器；4b-第二光电传感器；4c-色彩传感器；5-检测模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明实施例保护的范围。
实施例一：
如图1，本发明提供了一种基于机器学习的板材涨塞检测系统，如图2所示，包括传送装置、光源模块、采集模块、检测模块、控制模块。传送装置包括遮光罩、框架、传送带、电机。光源模块包括主光源、阴影消除光源、背景光源及其光源控制器。采集模块包括图像采集装置。检测模块包括视觉检测软件。控制模块包括光电传感器、色彩传感器、PLC及工控机。光源模块包括主光源、阴影消除光源、背景光源及其光源控制器。
主光源包括若干高亮线光源及其光源控制器，高亮线光源设置在传送平台上方。阴影消除光源包括两个线性光源及其光源控制器，两个线性LED光源设置在传送带上方。背景光源包括若干线性光源及其光源控制器，线性LED光源设置在传送带下方。
所述图像采集装置为线阵相机，连接工控机。所述光电传感器、颜色传感器、PLC均与工控机连接。
一种基于机器学习的板材涨塞检测系统的检测方法，如图3所示，包括：S1：将板材放到传送带上，开启传送带。
S2：当传送带上的光电传感器检测到有板材进入，通过发送信号给工控机触发颜色传感器采集色彩信息。
S3：工控机根据采集到的色彩信息，按照预定的打光方式控制所有光源，并发送信号给图像采集装置开始采集图片。
S4：当传送带上的光电传感器检测到板材离开，通过发送信号给工控机控制图像采集装置停止采集图片。
S5：工控机上的检测软件通过对采集到的图像进行图像处理分析，检测板材上的涨塞是否存在缺陷。
S6：最后，工控机根据检测结果发出相应信号，并将板材传递至下一工序，完成。
根据本发明的一个实施例，S5包括以下步骤为：S5.1：建立背景模型，采集一张空传送带背景图像并框选铝型材区域，作为背景图像。
S5.2：采集任意角度下的板材图像一张作为模板图像，将模板图像进行图像分割后得到精确板材区域，计算模板图像的区域特征向量，并将特征向量存入数据库中。
S5.3：采集当前图像，将当前图像进行图像分割后得到板材区域，计算区域特征向量，并将提取到的特征向量与模板特征向量比较，确定待检板材是否与模板相同。
S5.4：利用涨塞模板匹配算法预先找出图像中涨塞可能出现的区域，再将这些区域输入到基于深度学习的图像分类器，确定区域内是否存在涨塞，如果存在确定涨塞类型，最后利用非极大值抑制选出最佳涨塞区域。
S5.5：对最佳涨塞区域进行坐标系转换，转换到基于板材质心的坐标系，然后与模板的涨塞位置进行匹配，如图7所示，得到检测结果。
根据本发明的一个实施例，如图6A、图6B所示，S5.3包括以下步骤：S5.3.1：将当前图像与背景图像做背景差分得到二值图，然后对二值图做形态学滤波去除图像噪声，并与当前图像做与操作，实现图像中板材所在区域的粗定位。
S5.3.2：采用均值漂移聚类算法对板材区域图像做图像分割，采用Blob形态学分析确定精确板材区域，并对精确板材区域进行孔洞填充，即可得到完整的精确板材区域。
S5.3.3：计算区域特征向量，并将提取到的特征向量与模板特征向量比较，确定待检板材是否与模板相同。
S5.2中图像处理得到精确板材区域和S5.3中得到精确板材区域的方法相同。
根据本发明的一个实施例，所述S5.3.2包括：
S5.3.2.1：将图像中的所有像素点转化为样本数据x＝(r,g,b,x,y)，其中r,g,b分别为像素点的红色、绿色、蓝色通道的值，x,y为像素点的像素坐标。
S5.3.2.2：在未分类的样本中随机选择一个点作为聚类中心c0。
S5.3.2.3：计算聚类中心偏移向量mt:
Figure BDA0002346314580000101
其中，ct为t时刻的聚类中心；Sh为以ct为中心点，半径为h的高维球区域；k为包含在Sh范围内的点的个数；xi为包含在Sh范围内的点。
S5.3.2.4：更新聚类中心:
ct+1＝ct+mt
S5.3.2.5：重复步骤S5.3.2.3、S5.3.2.4，直到偏移向量大小满足设定的阈值要求，记下此时的中心点。
S5.3.2.6：重复S5.3.2.2、S5.3.2.3、S5.3.2.4，直到所有的点都被分类完成。
根据本发明的一个实施例，所述S5.4中基于深度学习的图像分类器为注意力恒等残差神经网络。
根据本发明的一个实施例，所述的注意力恒等残差网络包括第一注意力恒等残差模块、第二注意力恒等残差模块、第三注意力恒等残差模块、第四注意力恒等残差模块和第五注意力恒等残差模块。第一注意力恒等残差模块包含一个注意力恒等残差单元；第二注意力恒等残差模块包含三个注意力恒等残差单元；第三注意力恒等残差模块包含四个注意力恒等残差单元；第四注意力恒等残差模块包含二十三个注意力恒等残差单元；第五注意力恒等残差模块包含三个注意力残差单元。
根据本发明的一个实施例，所述的注意力恒等残差单元，其特征在于，所述恒等残差单元包括两个卷积层、两个激活函数和两个批归一化层，采用注意力机制作为特征融合结构。
根据本发明的一个实施例，所述恒等残差单元包括两个卷积层、两个激活函数和两个批归一化层，采用注意力机制作为特征融合结构。所述卷积层用于提取图像特征；所述激活函数用于为模型增加非线性特征；所述批归一化层用于归一化卷积层提取到的特征图。
根据本发明的一个实施例，所述第一恒等残差模块中恒等残差单元的卷积层均包含64个卷积核，卷积核大小为3×3。所述第一恒等残差模块中恒等残差单元的激活函数为整流线性函数。
根据本发明的一个实施例，所述第二恒等残差模块中恒等残差单元的卷积层均包含256个卷积核，卷积核大小为3×3。所述第二恒等残差模块中恒等残差单元的激活函数为整流线性函数。
根据本发明的一个实施例，所述第三恒等残差模块中恒等残差单元的卷积层均包含512个卷积核，卷积核大小为3×3。所述第三恒等残差模块中恒等残差单元的激活函数为整流线性函数。
根据本发明的一个实施例，所述第四恒等残差模块中恒等残差单元的卷积层均包含1024个卷积核，卷积核大小为3×3。所述第四恒等残差模块中恒等残差单元的激活函数为整流线性函数。
根据本发明的一个实施例，所述第五恒等残差模块中恒等残差单元的卷积层均包含2048个卷积核，卷积核大小为3×3。所述第五恒等残差模块中恒等残差单元的激活函数为整流线性函数。
根据本发明的一个实施例，所述注意力机制原理为重点关注对语义结果有重要贡献的特征，而忽略和语义结果无关的特征。
根据本发明的一个实施例，所述注意力机制计算过程如下：
(1)给定希望关注的语义Q,以及已知特征键值对(K-V)。
(2)计算Q和K的相关性，得到各个K对于V的权重系数。
Similarity(Q,Ki)＝QTKi
(3)使用指数归一化函数对权重进行归一化处理
Figure BDA0002346314580000111
(4)将权重和相应的值V进行加权求和得到最后的注意力结果
Figure BDA0002346314580000112
根据本发明的一个实施例，所述恒等残差单元的计算公式如下：
y＝x+Attention(x,F(x,W),F(x,W))
其中,y为恒等残差单元输出向量；x为恒等残差单元输入向量。
根据本发明的一个实施例，所述注意力恒等残差网络采用经验交叉熵损失函数，其计算公式如下：
Figure BDA0002346314580000121
Figure BDA0002346314580000122
Figure BDA0002346314580000123
其中，X是模型预测结果图；Y是数据集标注图。
根据本发明的一个实施例，S5.2中样本的特征包括：板材长度，板材宽度，板材面积，板材区域灰度均值和方差、板材区域Hu不变矩、板材质心以及涨塞位置；
其中，板材长度为板材区域平行于主轴方向的最大像素数量和垂直与主轴方向的最大像素数量中的较大值；板材宽度为板材区域平行于主轴方向的最大像素数量和垂直与主轴方向的最大像素数量中的较小值；板材面积为板材区域内所有像素数量的累加值。
进一步地，板材区域灰度均值和方差的计算步骤为：
(1)以图像分割得到的精确板材区域作为掩膜，掩膜图像是一幅二值图，将掩膜与灰度图像相乘，掩膜中为1的区域与灰度图像相乘后得到感兴趣区域，灰度图像感兴趣区域内的像素取值保持不变，区外像素取值则置为0。
(2)计算图像所有像素点的累加值，将该值与图像分割得到的板材区域面积值相除得到区域灰度均值。
(3)计算感兴趣区域内所有像素点与区域灰度均值的方差并求和，将该值与图像分割得到的板材区域面积值相除得到区域灰度方差。
根据本发明的一个实施例，S5.2中的数据库为SQLite或JSON，便于根据实际工作需要，进行选择。
优选地，板材涨塞缺陷共有漏植、错植、多植三种。涨塞的缺陷信息包括涨塞的位置中心(x,y)和涨塞的状态(正常/多植/漏植)。多植是指本不应该植入涨塞的地方植入了涨塞，漏植是指本应该植入涨塞的地方没有植入涨塞。
本发明的有益效果：本发明的有益效果：第一，本发明方法相比与目前使用的人工检测方法，仅仅需要工业相机等组成的简易视觉系统，实际应用中可以节约生产成本、提高生产效率，并且可以对所有板材进行检测，无需抽检，大幅提高精度。第二，本方法利用均值漂移聚类法分割板材区域，能够适应不同板材品种的分割，具有较好的通用性和推广性。同时利用深度学习检测、定位涨塞，避免了因涨塞品种繁多人工选取特征及判断条件工作量大、易受干扰的缺点。
实施例二：
本发明第一方面公开了一种基于深度学习的板材涨塞检测系统100，如图1所示，包括传送装置、光源模块、采集模块、控制模块和检测模块。
具体的，如图2所示，传送装置，用于传送待检测板材至检测区域，包括遮光罩、框架、传送带和电机，所述框架为长方体框架结构，所述框架外壁为黑色亚克力板；沿长方体框架内壁敷设黑色绒布。
遮光罩为黑色亚克力板，内壁覆盖黑绒布。
光源模块，用于为待检测板材提供光源，包括主光源、阴影消除光源、背景光源和光源控制器。光源控制器分别控制主光源、阴影消除光源和背景光源。
采集模块，用于采集所述板材的图像信息。
控制模块，包括光电传感器、颜色传感器、控制器；所述控制器根据所述光电传感器、所述颜色传感器检测的信号控制所述图像采集装置采集图像信息。
检测模块，用于根据所述图像信息对所述板材进行涨塞检测，得到检测结果。
根据本发明的一个实施例，所述主光源包括两个高亮线光源及其光源控制器，所述高亮线光源设置在传送带上方。
根据本发明的一个实施例，所述阴影消除光源包括两个第一线性光源及其光源控制器，所述第一线性光源设置在传送带上方。
根据本发明的一个实施例，所述背景光源包括三个第二线性光源及其光源控制器，所述第二线性光源设置在传送带下方。
根据本发明的一个实施例，所述图像采集装置为线阵相机，连接所述控制器。
根据本发明的一个实施例，所述光电传感器、色彩传感器(4c)分别与所述控制器连接。
本发明第二方面公开了一种基于深度学习的板材涨塞检测系统的检测方法，如图8所示，包括以下步骤：
S1：将待检测板材放到传送带上，开启传送带。
S2：当传送带上的第一光电传感器检测到板材进入，所述第一光电传感器发送第一检测信号至控制器，所述控制器接收所述第一检测信号，根据所述第一检测信号触发色彩传感器采集与所述待检测板材相关的色彩信息，将所述色彩信息发送至控制器。
S3：控制器接收所述色彩信息，按照预定的打光方式控制光源模块的所有光源，并发送第一控制指令给图像采集装置，图像采集装置接收所述第一控制指令，根据所述第一控制指令采集与所述待检测板材相关图像信息。
S4：当传送带上的第二光电传感器检测到所述待检测板材离开，发送第二检测信号至控制器，所述控制器接收到第二检测信号，根据所述第二检测信号生成第二控制指令，发送所述第二控制指令至所述图像采集装置,所述图像采集装置接收所述第二控制指令，停止采集与所述待检测板材相关的图像信息。
S5：控制器对采集到所述图像信息进行分析，检测所述待检测板材上的涨塞是否存在缺陷，得到检测结果。
S6：控制器根据所述检测结果生成第三控制指令，将检测后的所述板材传递至下一工序。
根据本发明的一个实施例，所述S5中根据控制器对采集到所述图像信息进行分析，检测所述待检测板材上的涨塞是否存在缺陷，得到检测结果，包括：
S5.1：建立背景模型，采集一张空传送带背景图像并框选框架区域，作为背景图像。
S5.2：采集任意姿态下的一张板材图像作为模板图像，将模板图像进行图像处理后得到第一板材区域，计算模板图像区域的第一特征向量，并将所述第一特征向量存入数据库中。
S5.3：采集当前图像，将当前图像进行图像分割后得到第二板材区域，计算当前图像区域的特征向量，并将提取到的第二特征向量与模板图像的第一特征向量比较，根据比较结果确定待检侧板材是否与模板相同。
S5.4：利用涨塞模板匹配算法预先找出图像中涨塞可能出现的区域，再将这些区域输入到基于深度学习的图像分类器，确定区域内是否存在涨塞，如果存在确定涨塞类型，最后利用非极大值抑制选出最佳涨塞区域。
S5.5：对最佳涨塞区域进行坐标系转换，转换到基于板材质心的坐标系，然后与模板的涨塞位置进行匹配，得到检测结果。
根据本发明的一个实施例，所述S5.3中采集当前图像，将当前图像进行图像分割后得到第二板材区域，计算当前图像区域的第二特征向量，并将提取到的第二特征向量与模板图像的第一特征向量比较，根据比较结果确定待检测板材是否与模板相同，包括：
S5.3.1：采集当前图像，并将当前图像与背景图像相减并取绝对值，然后做全局阈值处理得到二值图，对二值图做形态学滤波去除图像噪声，并与当前图像做与操作，确定板材在图像中所在区域。
S5.3.2：采用均值漂移聚类对板材区域图像做图像分割，采用Blob形态学分析确定精确板材区域，并对精确板材区域进行孔洞填充，得到完整的精确板材区域。
S5.3.3：通过步骤S5.3.1和步骤S5.3.2得到当前图像进行图像分割后的第二板材区域以及模板图像的第一板材区域，计算第二板材区域的第二特征向量和第一板材区域的第一特征向量，比较所述第二特征向量与第一特征向量，得到比较结果，根据比较结果确定待检测板材是否与模板相同。
根据本发明的一个实施例，如图4所示，所述的注意力恒等残差网络包括第一注意力恒等残差模块、第二注意力恒等残差模块、第三注意力恒等残差模块、第四注意力恒等残差模块和第五注意力恒等残差模块。第一注意力恒等残差模块包含一个注意力恒等残差单元；第二注意力恒等残差模块包含三个注意力恒等残差单元；第三注意力恒等残差模块包含四个注意力恒等残差单元；第四注意力恒等残差模块包含二十三个注意力恒等残差单元；第五注意力恒等残差模块包含三个注意力残差单元。
根据本发明的一个实施例，所述恒等残差单元包括两个卷积层、两个激活函数和两个批归一化层，采用注意力机制作为特征融合结构。
根据本发明的一个实施例，所述恒等残差单元包括两个卷积层、两个激活函数和两个批归一化层，采用注意力机制作为特征融合结构。所述卷积层用于提取图像特征；所述激活函数用于为模型增加非线性特征；所述批归一化层用于归一化卷积层提取到的特征图。
根据本发明的一个实施例，所述第一恒等残差模块中恒等残差单元的卷积层均包含64个卷积核，卷积核大小为3×3。所述第一恒等残差模块中恒等残差单元的激活函数为整流线性函数。
根据本发明的一个实施例，所述第二恒等残差模块中恒等残差单元的卷积层均包含256个卷积核，卷积核大小为3×3。所述第二恒等残差模块中恒等残差单元的激活函数为整流线性函数。
根据本发明的一个实施例，所述第三恒等残差模块中恒等残差单元的卷积层均包含512个卷积核，卷积核大小为3×3。所述第三恒等残差模块中恒等残差单元的激活函数为整流线性函数。
根据本发明的一个实施例，所述第四恒等残差模块中恒等残差单元的卷积层均包含1024个卷积核，卷积核大小为3×3。所述第四恒等残差模块中恒等残差单元的激活函数为整流线性函数。
根据本发明的一个实施例，所述第五恒等残差模块中恒等残差单元的卷积层均包含2048个卷积核，卷积核大小为3×3。所述第五恒等残差模块中恒等残差单元的激活函数为整流线性函数。
根据本发明的一个实施例，所述注意力机制原理为重点关注对语义结果有重要贡献的特征，而忽略和语义结果无关的特征。
根据本发明的一个实施例，如图5所示，所述注意力机制计算过程如下：
(1)给定希望关注的语义Q,以及已知特征键值对(K-V)。
(2)计算Q和K的相关性，得到各个K对于V的权重系数。
Similarity(Q,Ki)＝QTKi
(3)使用指数归一化函数对权重进行归一化处理
Figure BDA0002346314580000171
(4)将权重和相应的值V进行加权求和得到最后的注意力结果
Figure BDA0002346314580000172
根据本发明的一个实施例，所述恒等残差单元的计算公式如下：
y＝x+Attention(x,F(x,W),F(x,W))
其中,y为恒等残差单元输出向量；x为恒等残差单元输入向量。
根据本发明的一个实施例，所述注意力恒等残差网络采用经验交叉熵损失函数。
板材区域灰度均值和方差的计算步骤为：
(1)以图像分割得到的精确板材区域作为掩膜，掩膜图像是一幅二值图，将掩膜与灰度图像相乘，掩膜中为1的区域与灰度图像相乘后得到感兴趣区域，灰度图像感兴趣区域内的像素取值保持不变，区外像素取值则置为0。
(2)计算图像所有像素点的累加值，将该值与图像分割得到的板材区域面积值相除得到区域灰度均值。
(3)计算感兴趣区域内所有像素点与区域灰度均值的方差并求和，将该值与图像分割得到的板材区域面积值相除得到区域灰度方差。
根据本发明的一个实施例，所述S5.2中模板图像的特征包括：板材质心、板材尺寸，板材面积，板材区域灰度均值和方差、板材区域Hu不变矩和涨塞位置。其中，板材长度为板材区域平行于主轴方向的最大像素数量和垂直与主轴方向的最大像素数量中的较大值；板材宽度为板材区域平行于主轴方向的最大像素数量和垂直与主轴方向的最大像素数量中的较小值；板材面积为板材区域内所有像素数量的累加值。
步骤S5.3中基于深度学习的图像分类器为深度神经网络。S5.2中的数据库为SQLite或JSON。能检测板材涨塞缺陷包括：漏植、错植、多植。
本发明的有益效果：第一，本发明方法相比与目前使用的人工检测方法，仅仅需要工业相机等组成的简易视觉系统，实际应用中可以节约生产成本、提高生产效率，并且可以对所有板材进行检测，无需抽检，大幅提高精度。第二，本方法利用均值漂移聚类法分割板材区域，能够适应不同板材品种的分割，具有较好的通用性和推广性。同时利用深度学习检测、定位涨塞，避免了因涨塞品种繁多人工选取特征及判断条件工作量大、易受干扰的缺点。
显然，上述具体实施案例仅仅是为了说明本方法应用所作的举例，而非对实施方式的限定，对于该领域的一般技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化和变动，用以研究其他相关问题。因此，本发明的保护范围都应以权利要求的保护范围。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的电子设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上各实施例仅用以说明本发明的实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明的实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明的实施例各实施例技术方案的范围。

Claims (9)

1.一种基于机器学习的板材涨塞检测系统，其特征在于，包括传送装置(1)、光源模块(2)、采集模块(3)、控制模块(4)和检测模块(5)；
传送装置(1)，用于传送待检测板材至检测区域，包括遮光罩(1a)、框架(1b)、传送带(1c)和电机(1d)，所述框架(1b)为长方体框架结构，所述框架(1b)外壁为黑色亚克力板；沿长方体框架内壁敷设黑色绒布；
光源模块(2)，用于为待检测板材提供光源，包括主光源(2a)、阴影消除光源(2b)、背景光源(2c)和光源控制器；
采集模块(3)，用于采集所述板材的图像信息；
控制模块(4)，用于机电控制，包括光电传感器(4a/4b)、颜色传感器(4c)、控制器；所述控制器根据所述光电传感器(4a/4b)、所述颜色传感器检测(4c)的信号控制所述图像采集装置(3)采集图像信息；
检测模块(5)，用于根据所述图像信息对所述板材进行涨塞检测，得到检测结果。
2.根据权利要求1所述的检测系统，其特征在于，所述主光源(2a)包括若干高亮线光源及其光源控制器，所述高亮线光源设置在传送带(1c)上方的所述框架(1b)上。
3.根据权利要求1所述的检测系统，其特征在于，所述阴影消除光源(2b)包括两个第一线性光源及其光源控制器，所述第一线性光源设置在传送带(1c)上方。
4.根据权利要求1所述的检测系统，其特征在于，所述背景光源(2c)包括若干第二线性光源及其光源控制器，所述第二线性光源设置在传送带(1c)下方。
5.根据权利要求1所述的检测系统，其特征在于，所述图像采集装置(3a)为线阵相机，所述线阵相机连接所述控制器。
6.根据权利要求1所述的检测系统，其特征在于，所述光电传感器(4a/4b)、色彩传感器(4c)分别与所述控制器连接。
7.一种基于机器学习的板材涨塞检测系统的检测方法，其特征在于，所述检测方法包括：
S1：将待检测板材放到传送带上，开启传送带；
S2：当传送带上的第一光电传感器检测到板材进入，所述第一光电传感器发送第一检测信号至控制器，所述控制器接收所述第一检测信号，根据所述第一检测信号触发色彩传感器采集与所述待检测板材相关的色彩信息，将所述色彩信息发送至控制器；
S3：控制器接收所述色彩信息，按照预定的打光方式控制光源模块的所有光源，并发送第一控制指令给图像采集装置，图像采集装置接收所述第一控制指令，根据所述第一控制指令采集与所述待检测板材相关图像信息；
S4：当传送带上的第二光电传感器检测到所述待检测板材离开，发送第二检测信号至控制器，所述控制器接收到第二检测信号，根据所述第二检测信号生成第二控制指令，发送所述第二控制指令至所述图像采集装置,所述图像采集装置接收所述第二控制指令，停止采集与所述待检测板材相关的图像信息；
S5：控制器对采集到所述图像信息进行分析，检测所述待检测板材上的涨塞是否存在缺陷，得到检测结果；
S6：控制器根据所述检测结果生成第三控制指令，将检测后的所述板材传递至下一工序；
优选地，所述S5中根据控制器对采集到所述图像信息进行分析，检测所述待检测板材上的涨塞是否存在缺陷，得到检测结果，包括：
S5.1：建立背景模型，采集一张空传送带背景图像并框选框架区域，作为背景图像；
S5.2：采集任意角度下的一张板材图像作为模板图像，将模板图像进行图像分割后得到第一板材区域，计算模板图像区域的第一特征向量，并将所述第一特征向量存入数据库中；
S5.3：采集当前图像，将当前图像进行图像分割后得到第二板材区域，计算当前图像区域的特征向量，并将提取到的第二特征向量与模板图像的第一特征向量比较，根据比较结果确定待检测板材是否与模板相同；
S5.4：利用涨塞模板匹配算法预先找出图像中涨塞可能出现的区域，再将这些区域输入到基于深度学习的图像分类器，确定区域内是否存在涨塞，如果存在确定涨塞类型，最后利用非极大值抑制选出最佳涨塞区域；
S5.5：对最佳涨塞区域进行坐标系转换，转换到基于板材质心的坐标系，然后与模板的涨塞位置进行匹配，得到检测结果。
进一步优选地，所述S5.3中采集当前图像，将当前图像进行图像分割后得到第二板材区域，计算当前图像区域的第二特征向量，并将提取到的第二特征向量与模板图像的第一特征向量比较，根据比较结果确定待检测板材是否与模板相同，包括：
S5.3.1：采集当前图像，并将当前图像与背景图像相减并取绝对值，然后做全局阈值处理得到二值图，对二值图做形态学滤波去除图像噪声，并与当前图像做与操作，实现图像中板材所在区域的粗定位；
S5.3.2：采用均值漂移聚类算法对板材区域图像做图像分割，采用Blob形态学分析确定精确板材区域，并对精确板材区域进行孔洞填充，得到完整的精确板材区域；
S5.3.3：通过步骤S5.3.1和步骤S5.3.2得到当前图像分割后的第二板材区域以及模板图像的第一板材区域，计算第二板材区域的第二特征向量和第一板材区域的第一特征向量，比较所述第二特征向量与第一特征向量，得到比较结果，根据比较结果确定待检测板材是否与模板相同。
更进一步优选地，所述S5.3.2包括：
S5.3.2.1：将图像中的所有像素点转化为样本数据x＝(r,g,b,x,y)，其中r,g,b分别为像素点的红色、绿色、蓝色通道的值，x,y为像素点的像素坐标；
S5.3.2.2：在未分类的样本中随机选择一个点作为聚类中心c0；
S5.3.2.3：计算聚类中心偏移向量mt:
Figure FDA0002346314570000031
其中，ct为t时刻的聚类中心；Sh为以ct为中心点，半径为h的高维球区域；k为包含在Sh范围内的点的个数；xi为包含在Sh范围内的点；
S5.3.2.4：更新聚类中心:
ct+1＝ct+mt
S5.3.2.5：重复步骤S5.3.2.3、S5.3.2.4，直到偏移向量大小满足设定的阈值要求，记下此时的中心点；
S5.3.2.6：重复S5.3.2.2、S5.3.2.3、S5.3.2.4，直到所有的点都被分类完成。
8.根据权力要求7所述的检测方法，其特征在于，所述S5.4中基于深度学习的图像分类器为注意力恒等残差神经网络。
进一步地，所述注意力恒等残差网络包括第一注意力恒等残差模块、第二注意力恒等残差模块、第三注意力恒等残差模块、第四注意力恒等残差模块和第五注意力恒等残差模块，第一注意力恒等残差模块包含一个注意力恒等残差单元；第二注意力恒等残差模块包含三个注意力恒等残差单元；第三注意力恒等残差模块包含四个注意力恒等残差单元；第四注意力恒等残差模块包含二十三个注意力恒等残差单元；第五注意力恒等残差模块包含三个注意力残差单元。
更进一步地，所述恒等残差单元包括两个卷积层、两个激活函数和两个批归一化层，采用注意力机制作为特征融合结构。
9.根据权利要求7所述的检测方法，其特征在于，所述S5.2中模板图像的特征包括：板材质心、板材尺寸，板材面积，板材区域灰度均值和方差、板材区域Hu不变矩和涨塞位置；所述板材尺寸包括板材长度尺寸和板材宽度尺寸，所述板材长度为板材区域平行于主轴方向的最大像素数量和垂直与主轴方向的最大像素数量中的较大值；所述板材宽度为板材区域平行于主轴方向的最大像素数量和垂直与主轴方向的最大像素数量中的较小值；所述板材面积为板材区域内所有像素数量的累加值。
CN201911395979.6A 2019-12-30 2019-12-30 基于机器学习的板材涨塞检测系统和检测方法 Active CN111062938B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911395979.6A CN111062938B (zh) 2019-12-30 2019-12-30 基于机器学习的板材涨塞检测系统和检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911395979.6A CN111062938B (zh) 2019-12-30 2019-12-30 基于机器学习的板材涨塞检测系统和检测方法

Publications (2)

Publication Number Publication Date
CN111062938A true CN111062938A (zh) 2020-04-24
CN111062938B CN111062938B (zh) 2022-12-30

Family

ID=70304780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911395979.6A Active CN111062938B (zh) 2019-12-30 2019-12-30 基于机器学习的板材涨塞检测系统和检测方法

Country Status (1)

Country Link
CN (1) CN111062938B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112730431A (zh) * 2020-12-23 2021-04-30 上海兰钧新能源科技有限公司 视觉检测装置、方法和锂电池生产系统
CN113058875A (zh) * 2021-04-22 2021-07-02 慕贝尔汽车部件（太仓）有限公司 工件表面瑕疵自动检测系统
CN113102282A (zh) * 2021-03-24 2021-07-13 慕贝尔汽车部件（太仓）有限公司 工件表面瑕疵自动检测方法和系统
CN113171998A (zh) * 2021-05-27 2021-07-27 慕贝尔汽车部件（太仓）有限公司 工件表面瑕疵自动检测方法和装置
CN113483664A (zh) * 2021-07-20 2021-10-08 科派股份有限公司 一种基于线结构光视觉的屏风板自动上料系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120294507A1 (en) * 2010-02-08 2012-11-22 Kaoru Sakai Defect inspection method and device thereof
CN109711463A (zh) * 2018-12-25 2019-05-03 广东顺德西安交通大学研究院 基于注意力的重要对象检测方法
CN109829893A (zh) * 2019-01-03 2019-05-31 武汉精测电子集团股份有限公司 一种基于注意力机制的缺陷目标检测方法
CN110039374A (zh) * 2019-05-07 2019-07-23 上海智共荟智能科技有限公司 一种视觉识别引导系统、设备和方法
CN110146515A (zh) * 2019-04-19 2019-08-20 广州超音速自动化科技股份有限公司 板材钻孔及表面缺陷检测装置及使用方法
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120294507A1 (en) * 2010-02-08 2012-11-22 Kaoru Sakai Defect inspection method and device thereof
CN109711463A (zh) * 2018-12-25 2019-05-03 广东顺德西安交通大学研究院 基于注意力的重要对象检测方法
CN109829893A (zh) * 2019-01-03 2019-05-31 武汉精测电子集团股份有限公司 一种基于注意力机制的缺陷目标检测方法
CN110146515A (zh) * 2019-04-19 2019-08-20 广州超音速自动化科技股份有限公司 板材钻孔及表面缺陷检测装置及使用方法
CN110039374A (zh) * 2019-05-07 2019-07-23 上海智共荟智能科技有限公司 一种视觉识别引导系统、设备和方法
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112730431A (zh) * 2020-12-23 2021-04-30 上海兰钧新能源科技有限公司 视觉检测装置、方法和锂电池生产系统
CN113102282A (zh) * 2021-03-24 2021-07-13 慕贝尔汽车部件（太仓）有限公司 工件表面瑕疵自动检测方法和系统
CN113102282B (zh) * 2021-03-24 2022-07-26 慕贝尔汽车部件（太仓）有限公司 工件表面瑕疵自动检测方法和系统
CN113058875A (zh) * 2021-04-22 2021-07-02 慕贝尔汽车部件（太仓）有限公司 工件表面瑕疵自动检测系统
CN113058875B (zh) * 2021-04-22 2022-07-26 慕贝尔汽车部件（太仓）有限公司 工件表面瑕疵自动检测系统
CN113171998A (zh) * 2021-05-27 2021-07-27 慕贝尔汽车部件（太仓）有限公司 工件表面瑕疵自动检测方法和装置
CN113483664A (zh) * 2021-07-20 2021-10-08 科派股份有限公司 一种基于线结构光视觉的屏风板自动上料系统及方法
CN113483664B (zh) * 2021-07-20 2022-10-21 科派股份有限公司 一种基于线结构光视觉的屏风板自动上料系统及方法

Also Published As

Publication number Publication date
CN111062938B (zh) 2022-12-30

Similar Documents

Publication Publication Date Title
CN111062938B (zh) 基于机器学习的板材涨塞检测系统和检测方法
CN111325713B (zh) 基于神经网络的木材缺陷检测方法、系统及存储介质
CN110314854B (zh) 一种基于视觉机器人的工件检测分拣的装置及方法
CN107944396B (zh) 一种基于改进深度学习的刀闸状态识别方法
CN110945337A (zh) 轮胎图像识别方法和轮胎图像识别装置
CN116205919B (zh) 基于人工智能的五金零件生产质量检测方法及系统
CN105574527B (zh) 一种基于局部特征学习的快速物体检测方法
Mathavan et al. Use of a self-organizing map for crack detection in highly textured pavement images
CN108010025B (zh) 基于rcnn的屏柜的开关与指示灯定位和状态识别方法
CN101059425A (zh) 基于多光谱图像的纹理分析鉴别不同品种绿茶的方法和装置
CN104637046B (zh) 图像检测方法和装置
CN115294117B (zh) Led灯珠的缺陷检测方法及相关装置
CN110110131B (zh) 一种基于深度学习与双目立体视觉的飞机线缆支架识别与参数获取方法
CN110047063B (zh) 一种物料掉落的检测方法、装置、设备及存储介质
CN110728201B (zh) 用于指纹识别的图像处理方法及装置
CN116703911B (zh) 一种led灯生产质量检测系统
CN111583170A (zh) 图像生成装置和图像生成方法
CN110554052A (zh) 一种人造板表面缺陷检测方法及其系统
CN111161295A (zh) 一种菜品图像背景剥离方法
CN110969202A (zh) 基于颜色分量和感知哈希算法的人像采集环境验证方法及系统
CN110880184A (zh) 一种基于光流场进行摄像头自动巡检的方法及装置
CN114581824A (zh) 一种基于视频检测技术的分拣中心异常行为的识别方法
CN114612418A (zh) 一种鼠标外壳表面缺陷检测方法及装置、系统、电子设备
WO2024016632A1 (zh) 亮点定位方法、亮点定位装置、电子设备及存储介质
CN117152094A (zh) 基于计算机视觉的钢板表面缺陷分析方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant