CN112862770B - 一种基于人工智能的缺陷分析诊断系统、方法、装置 - Google Patents

一种基于人工智能的缺陷分析诊断系统、方法、装置 Download PDF

Info

Publication number
CN112862770B
CN112862770B CN202110125125.7A CN202110125125A CN112862770B CN 112862770 B CN112862770 B CN 112862770B CN 202110125125 A CN202110125125 A CN 202110125125A CN 112862770 B CN112862770 B CN 112862770B
Authority
CN
China
Prior art keywords
image
workpiece
feature
target workpiece
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110125125.7A
Other languages
English (en)
Other versions
CN112862770A (zh
Inventor
王哲
马思含
王平
黄孝川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Divo Aviation Engineering Co ltd
Original Assignee
Zhuhai Divo Aviation Engineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Divo Aviation Engineering Co ltd filed Critical Zhuhai Divo Aviation Engineering Co ltd
Priority to CN202110125125.7A priority Critical patent/CN112862770B/zh
Publication of CN112862770A publication Critical patent/CN112862770A/zh
Application granted granted Critical
Publication of CN112862770B publication Critical patent/CN112862770B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G06T5/70—
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Abstract

本发明公开了一种基于人工智能的缺陷分析诊断系统、方法、装置，属于人工智能检测领域；本发明通过工业相机对入料输送带传输到识别诊断输送带上的工业工件进行图像采集，并将采集图像信息传送至控制端，控制端进行图像处理，通过图像边缘特征图像进行形状、边缘轮廓矩特征、边缘轮廓局部特征来进行确认目标工件类型，并对识别结果通过对完成类型匹配的目标工件图像进行与目标类型特征图像进行核对确认，进而保证识别的准确性，同时通过缺陷识别单元对目标工件进行缺陷检测和输出检测结果；从而本发明能够不受待检测物的限制，任何工件通过判断其类型并进行确认，从而不同类型的工件都可以进行缺陷分析诊断。

Description

一种基于人工智能的缺陷分析诊断系统、方法、装置
技术领域
本发明公开了一种基于人工智能的缺陷分析诊断系统、方法、装置，属于人工智能检测领域。
背景技术
在生产过程中,由于工件受到生产材质和加工设备等多方面因素影响,致使其表面出现不同程度不同类型的缺陷,影响工件的质量安全和使用性能。传统的人工检测方法己无法赶上生产线的速度,并且受个人主观因素和精神状态影响,不能确保检测质量。近年来,工件缺陷检测系统逐渐广泛地被制造商投入使用,促进工业自动化、智能化的发展,但是设计一个鲁棒性好的缺陷检测系统仍然是一个挑战性的问题,因此对工件缺陷检测的研究具有理论和应用的双重意义。
现有技术中，由于生成中工件种类大小、种类不同，在进行质检时，都是采用多条缺陷分析诊断流程线，根据不同类型的工件进行分开缺陷分析诊断，从而无法实现多类型同时检测；同时在进行工件类型识别时，无法确保每个检测工件都属于此类型工件，从而造成工件检测识别错误。
发明内容
发明目的：提供本发明公开了一种基于人工智能的缺陷分析诊断系统、方法、装置，以解决上述问题。
技术方案：一种基于人工智能的缺陷分析诊断方法，包括：
获取目标工件的图像信息，并将目标工件的图像信息传送至控制端；
通过图像处理单元进行图像处理；
通过工件识别单元进行工件类型识别；
确认目标工件类型并核对；
通过缺陷识别单元进行工件缺陷检测和输出检测结果。
优选的，通过控制端进行接收目标工件的图像信息，并通过图像处理单元进行图像处理是进行通过对采集图像的灰度处理、滤波以及特征提取进行得到目标工件特征纹理图像。
优选的，图像处理的具体方法包括：
获取当前目标工件图像；
进行目标工件图像灰度转换处理；
进行目标工件图像滤波处理；
进行目标工件二值化处理；
建立目标工件特征纹理图像。
优选的，通过工件识别单元进行工件类型识别是对获取的目标工件特征纹理图像进行图像增强，从而突出工件边缘特征，进而对增强后的工件边缘图像进行形状识别，并进行类型匹配从而完成识别确认。
优选的，对增强后的工件边缘图像进行形状识别，并进行类型匹配从而完成识别确认是通过对增强后的目标工件特征纹理图像进行形状、边缘轮廓矩特征、边缘轮廓局部特征进行目标识别，并进行类型匹配从而完成识别确认。
优选的，进行目标工件图像灰度转换处理时对目标工件图像进行灰度转换；将彩色的三通道图像转化为单通道的灰度级图像；
其次进行检测目标工件图像是否存在噪声，并根据噪声进行采用高斯滤波的方法对灰度化后的图像进行平滑处理来去除可能存在的噪点，然后显示高斯滤波处理过的目标工件图像；
进而对高斯滤波处理过的目标工件图像进行二值化处理；即对于高斯滤波处理过的目标工件图像中的每一帧灰度级图像中的每一个像素，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0；这样，3*3邻域内的8个点经比较可产生8位二进制数，即得到该窗口中心像素点的LBP值；
最后建立目标工件特征纹理图像；即通过得到目标工件图像中每一个像素的中心像素点的LBP值，并以此赋给该中心点，作为该中心点的像素值，进而提取目标工件图像的局部纹理特征，进而生成目标工件特征纹理图像。
优选的，图像增强的方法如下：
通过灰度变换主要针对目标工件特征纹理图像中独立的像素点进行处理，由输入目标工件特征纹理图像像素点的灰度值决定相应的输出像素点的灰度值，设输入目标工件特征纹理图像当前的灰度范围为（
Figure DEST_PATH_IMAGE002
），增强后的目标工件特征纹理图像灰度范围为（
Figure DEST_PATH_IMAGE004
），则得到增强后的目标工件特征纹理图像的公式为：
Figure DEST_PATH_IMAGE006
式中，A表示为增强后的目标工件特征纹理图像；
B表示为输入目标工件特征纹理图像；
通过调整
Figure DEST_PATH_IMAGE008
的值可以控制图像增强的斜率，进而达到灰度范围的增强。
优选的，确认目标工件类型并核对是对完成类型匹配的目标工件图像进行与目标类型特征图像进行核对确认；具体方法如下：
获取匹配完成的目标工件图像和目标类型特征图像，且对其进行灰度处理；
进行对两幅灰度图像进行不变特征区域检测，提取它们各自的特征点及特征区域；
进行构造多支撑区域；即以特征点的特征区域为基准大小，构造 N 个均匀增大的嵌套区域，将这些支撑区域都仿射归一化为标准圆形区域；
进行环状特征区域划分；即把标准圆形区域中特征点区域的黑色像素块作为每个区域所选的样本点，这样得到每个支撑区域的P个子区域用于进行对获得的目标；
根据每个支撑区域中的每个子区域进行建立局部坐标系，并计算其每个样本点的梯度；
根据每个样本点的梯度进行计算它们的幅值和方向，以一个子区域为单位，用梯度直方图的方法把该区域上的所有样本点的梯度的幅值和方向映射到 8 维的向量上；把每个特征点子区域的 8 维向量依次按顺序排列，得到一个一维向量，并对一维向量进行归一化处理；从而得到每个特征点的特征描述；
进行特征匹配并完成图像确认。
优选的，通过缺陷识别单元进行工件缺陷检测别输出检测结果是对目标工件的周长、面积进行计算，从而确保外形无缺陷在进行缺陷检测，具体方法如下：
对目标工件图像中的每个特征像素进行标号、且进行跟踪，跟踪特征边界线的每个标号，记录二值图像物体边界的坐标序列，并依次连接坐标序列形成连通区域，并计算连通区域的长度，即为目标工件的周长；
确定目标工件图像中每个边框特征像素的灰度值，对目标工件图像中的每个特征像素进行标号、且进行跟踪，跟踪特征边界线的每个标号，并依次连接坐标序列形成连通区域，设置阈值，大于等于阈值记为黑色，小于阈值记为白色，并计算黑色像素个数，即得到目标工件面积。
优选的，上述方法中，缺陷检测的具体方法如下：
进行缺陷区域分割；将所有的可能的工件缺陷区域从工件射线图中分割出来，并将其中边界轮廓闭合的区域作为候选的缺陷区域；
进行候选区域甄别；根据分割出的候选区域的灰度值，区域面积以及与其周围区域的对比度等特征进行候选区域甄别，排除误分割出的候选区域；
进行输出工件缺陷诊断报告。
一种基于人工智能的缺陷分析诊断系统，包括：
图像采集单元，用于通过工业相机进行不同类型工件的图像采集；
图像处理单元，用于进行对采集的工件图像进行灰度转换、滤波处理、二值化处理；并建立目标工件特征纹理图像；
工件识别单元，用于进行对获得的目标工件特征纹理图像进行工件类型识别和识别确认；
缺陷识别单元，用于进行对不同工件的缺陷检测和输出检测结果。
一种基于人工智能的缺陷分析诊断装置，包括：
输送带，用于输送待测工件和进行工件诊断识别传输；
工业相机，用于采集目标工件图像；
控制端，用于进行采集目标工件图像的图像处理、类型确认、以及缺陷诊断，并输出诊断结果。
优选的，输送带包括：入料输送带和识别诊断输送带。
有益效果：本发明通过工业相机对入料输送带传输到识别诊断输送带上的工业工件进行图像采集，并将采集图像信息传送至控制端，控制端进行图像处理，通过图像边缘特征图像进行形状、边缘轮廓矩特征、边缘轮廓局部特征来进行确认目标工件类型，并对识别结果通过对完成类型匹配的目标工件图像进行与目标类型特征图像进行核对确认，进而保证识别的准确性，同时通过缺陷识别单元对目标工件进行缺陷检测和输出检测结果；从而本发明能够不受待检测物的限制，任何工件通过判断其类型并进行确认，从而不同类型的工件都可以进行缺陷分析诊断。
附图说明
图1是本发明的方法流程图。
图2是本发明的图像处理流程图。
图3是本发明的系统框图。
图4是本发明的工作框图。
图5是本发明的工件图像特征点匹配剔除流程图。
图6是本发明的工件类型图像核对确认流程图。
图7是本发明的工作流程图。
具体实施方式
如图1所示，在该实施例中，一种基于人工智能的缺陷分析诊断方法，包括：
首先对需要进行缺陷分析诊断的目标工件通过图像采集单元进行图像采集，获取目标工件的图像信息，并将目标工件的图像信息传送至控制端；
其次通过控制端进行接收目标工件的图像信息，并通过图像处理单元进行图像处理；
进而对处理后的目标工件的图像信息通过工件识别单元进行工件类型识别；
进行确认目标工件类型并核对；
最后通过缺陷识别单元进行工件缺陷检测和输出检测结果。
在进一步的实施例中，通过控制端进行接收目标工件的图像信息，并通过图像处理单元进行图像处理是进行通过对采集图像的灰度处理、滤波以及特征提取进行得到目标工件特征纹理图像，具体方法包括：
获取当前目标工件图像；
进行目标工件图像灰度转换处理；
进行目标工件图像滤波处理；
进行目标工件二值化处理；
建立目标工件特征纹理图像。
在更进一步的实施例中，上述方法中进行目标工件图像灰度转换；将彩色的三通道图像转化为单通道的灰度级图像；
其次进行检测目标工件图像是否存在噪声，并根据噪声进行采用高斯滤波的方法对灰度化后的图像进行平滑处理来去除可能存在的噪点，然后显示高斯滤波处理过的目标工件图像；
进而对高斯滤波处理过的目标工件图像进行二值化处理；即对于高斯滤波处理过的目标工件图像中的每一帧灰度级图像中的每一个像素，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0；这样，3*3邻域内的8个点经比较可产生8位二进制数，即得到该窗口中心像素点的LBP值；
最后建立目标工件特征纹理图像；即通过得到目标工件图像中每一个像素的中心像素点的LBP值，并以此赋给该中心点，作为该中心点的像素值，进而提取目标工件图像的局部纹理特征，进而生成目标工件特征纹理图像。
在进一步的实施例中，由于在生成过程中，会生成出大量的工件，这些工件存在着不同种类和大小，进而在进行工件缺陷诊断时，只能分开按照工件类型进行缺陷诊断，这样会大大增加工件缺陷检测的复杂度，同时增加诊断程序；通过控制端对处理后的目标工件的图像信息通过工件识别单元进行工件类型识别，首先对获取的目标工件特征纹理图像进行图像增强，从而突出工件边缘特征，进而对增强后的工件边缘图像进行形状识别，并进行类型匹配从而完成识别确认，从而可以根据在多种类的工件中，进行识别工件类型，从而可以有效的完成多类型工件缺陷诊断，增加检测的效率。
在更进一步的实施例中，上述工件识别方法中，在曝光不足或过度的情况下，获取的目标工件特征纹理图像的灰度可能局限在一个很小的灰度范围内，这时图像可能会很模糊不清，进而需要对获取的目标工件特征纹理图像进行图像增强，通过灰度变换主要针对目标工件特征纹理图像中独立的像素点进行处理，由输入目标工件特征纹理图像像素点的灰度值决定相应的输出像素点的灰度值，设输入目标工件特征纹理图像当前的灰度范围为（
Figure 379070DEST_PATH_IMAGE002
），增强后的目标工件特征纹理图像灰度范围为（
Figure 561790DEST_PATH_IMAGE004
），则得到增强后的目标工件特征纹理图像的公式为：
Figure DEST_PATH_IMAGE006A
式中，A表示为增强后的目标工件特征纹理图像；
B表示为输入目标工件特征纹理图像；
通过调整
Figure 748052DEST_PATH_IMAGE008
的值可以控制图像增强的斜率，进而达到灰度范围的增强，从而改变目标工件特征纹理图像数据所占的灰度范围而使图像中的工件特征更加清晰。
在更进一步的实施例中，由于在生成中，工件的类型，大小的不同，需要对传送带上的每一个工件进行识别，判断其工件类型，从而通过对增强后的目标工件特征纹理图像进行形状、边缘轮廓矩特征、边缘轮廓局部特征进行目标识别，并进行类型匹配从而完成识别确认；具体方法如下：
根据目标工件特征纹理图像建立积分图像进行图像卷积滤波；在积分图像的每个像素上的灰度值是此像素左上方所有像素灰度值的和，表达式如下：
Figure DEST_PATH_IMAGE010
式中，
Figure DEST_PATH_IMAGE012
表示目标工件特征纹理图像A的积分图像；
(X，Y)表示图像上像素的灰度值；
进行积分图像滤波；根据积分图像与目标工件特征纹理图像灰度值对比，进行图像中每一个像素根据不同的方向进行检测从而进行每一个像素边缘响应消除；
进行建立图像尺度空间；根据积分图像代替目标工件特征纹理图像进行卷积运算从而得到不同尺度的图像；
进行在图像尺度空间寻找目标工件特征纹理图像中工件特征点与特征点定位；将进行滤波后的积分图像中每个像素点的灰度值与其尺度空间内的26个点的灰度值进行比较，若当前比较的像素点的是最大值点或最小值点则予以保留成为候选特征值点，反之，若当前比较的像素点小于阈值点，则被剔除；进而进行定位所有特征像素点；
进行每个特征点的方向确定；
进行每个特征点的匹配与误匹配点的剔除。
在更进一步的实施例中，上述方法中，进行每个特征点的匹配与误匹配点的剔除，是保证图像特征的准确性，保证每个工件类型确认的准确度；具体方法如下：
从参考图像中的选取一个特征点，分别计算参考特征点与目标工件特征纹理图像中所有特征点的距离，进行选出其中的第一最小距离和第二最小距离，并计算第一最小距离和第二最小距离的比值与预设的阈值大小比较，当比值小于阈值，即说明具有最小距离的两个点匹配成功；反之则说明匹配不成功；特征点的匹配即对参考图像中的所有特征点都进行一遍上述操作；
进行优化匹配结果；即删除误匹配点，把特征点匹配结束后所得到的所有匹配对组成一个集合T，从集合T中随机选取4个匹配特征点对（共计 8 个点）计算变换矩阵K，即得到：
Figure DEST_PATH_IMAGE014
式中，F(
Figure DEST_PATH_IMAGE016
)与E（
Figure DEST_PATH_IMAGE018
）是一对匹配点，E（
Figure 64633DEST_PATH_IMAGE018
）为目标工件特征纹理图像中的一个特征点，F（
Figure 347846DEST_PATH_IMAGE016
）为参考图像中与目标工件特征纹理图特征点对应的匹配特征点；
将集合T中所有特征点与匹配点通过上述计算进行删除误匹配点，并将删除误匹配点的匹配点计入一个新集合H；
进行判断最优集合Y与新集合H中特征点元素的个数比值；若最优集合Y（初始时最优集合 Y 是空集）是空集或集合 H 中特征点元素的个数大于最优集合 Y 的特征点元素个数，则把当前集合 H 当成最优集合；并进行输出匹配结果；反之，则继续随机抽取4个匹配特征点对进行计算变换矩阵K并组成新的集合H。
在更进一步的实施例中，为了避免匹配确认中存在误差，造成匹配错误，进行对完成类型匹配的目标工件图像进行与目标类型特征图像进行核对确认；具体方法如下：
获取匹配完成的目标工件图像和目标类型特征图像，且对其进行灰度处理；
进行对两幅灰度图像进行不变特征区域检测，提取它们各自的特征点及特征区域；
进行构造多支撑区域；即以特征点的特征区域为基准大小，构造 N 个均匀增大的嵌套区域，将这些支撑区域都仿射归一化为标准圆形区域；
进行环状特征区域划分；即把标准圆形区域中特征点区域的黑色像素块作为每个区域所选的样本点，这样得到每个支撑区域的P个子区域；
根据每个支撑区域中的每个子区域进行建立局部坐标系，并计算其每个样本点的梯度；
根据每个样本点的梯度进行计算它们的幅值和方向，以一个子区域为单位，用梯度直方图的方法把该区域上的所有样本点的梯度的幅值和方向映射到 8 维的向量上；把每个特征点子区域的 8 维向量依次按顺序排列，得到一个一维向量，并对一维向量进行归一化处理；从而得到每个特征点的特征描述；
进行特征匹配并完成图像确认。
在一个实施例中，由于工件类型的不同，只确认表面缺陷诊断，不能保证每个工件的完整性和准确性，需要根据确认后的目标工件类型，进行计算其周长、面积，从而确保外形无缺陷；从而当最后确认目标工件类型时，需要通过缺陷识别单元进行工件缺陷检测别输出检测结果；具体方法如下：
进行目标工件的周长、面积计算；
进行目标工件表面缺陷检测。
在进一步的实施例中，进行目标工件的周长、面积计算具体方法如下：
对目标工件图像中的每个特征像素进行标号、且进行跟踪，跟踪特征边界线的每个标号，记录二值图像物体边界的坐标序列，并依次连接坐标序列形成连通区域，并计算连通区域的长度，即为目标工件的周长；
确定目标工件图像中每个边框特征像素的灰度值，对目标工件图像中的每个特征像素进行标号、且进行跟踪，跟踪特征边界线的每个标号，并依次连接坐标序列形成连通区域，设置阈值（即边框特征像素的灰度值），大于等于阈值记为黑色，小于阈值记为白色，并计算黑色像素个数，即得到目标工件面积。
在更进一步的实施例中，缺陷区域分割；将所有的可能的工件缺陷区域从工件射线图中分割出来，并将其中边界轮廓闭合的区域作为候选的缺陷区域；
进行候选区域甄别；根据分割出的候选区域的灰度值，区域面积以及与其周围区域的对比度等特征进行候选区域甄别，排除误分割出的候选区域；
进行输出工件缺陷诊断报告。
一种基于人工智能的缺陷分析诊断系统，包括：
图像采集单元，用于通过工业相机对不同类型工件的进行图像采集；
图像处理单元，用于进行对采集的工件图像进行灰度转换、滤波处理、二值化处理；并建立目标工件特征纹理图像；
工件识别单元，用于进行对获得的目标工件特征纹理图像进行工件类型识别和识别确认；
缺陷识别单元，用于进行对不同工件的缺陷检测和输出检测结果。
一种基于人工智能的缺陷分析诊断装置，包括：
输送带，用于输送待测工件和进行工件诊断识别传输；
工业相机，用于采集目标工件图像；
控制端，用于进行采集目标工件图像的图像处理、类型确认、以及缺陷诊断，并输出诊断结果。
在进一步的实施例中，输送带包括：入料输送带和识别诊断输送带。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

Claims (8)

1.一种基于人工智能的缺陷分析诊断方法，其特征在于，包括：
获取目标工件的图像信息，并将目标工件的图像信息传送至控制端；
通过图像处理单元进行图像处理；
通过工件识别单元进行工件类型识别；
确认目标工件类型并核对；
通过缺陷识别单元进行工件缺陷检测和输出检测结果；
所述通过工件识别单元进行工件类型识别是对获取的目标工件特征纹理图像进行图像增强，从而突出工件边缘特征，进而对增强后的工件边缘图像进行形状识别，并进行类型匹配从而完成识别确认；其中进行图像增强的方法如下：
针对目标工件特征纹理图像中独立的像素点进行灰度变换处理，由输入目标工件特征纹理图像像素点的灰度值决定相应的输出像素点的灰度值，设输入目标工件特征纹理图像当前的灰度范围为(N1～M1)，增强后的目标工件特征纹理图像灰度范围为(N2～M2)，则得到增强后的目标工件特征纹理图像的公式为：
Figure FDA0003791190460000011
式中，A表示为增强后的目标工件特征纹理图像；
B表示为输入目标工件特征纹理图像；
通过调整N1、M1、N2、M2的值控制图像增强的斜率，进而达到灰度范围的增强；
所述对增强后的工件边缘图像进行形状识别，并进行类型匹配从而完成识别确认是通过对增强后的目标工件特征纹理图像进行形状、边缘轮廓矩特征和边缘轮廓局部特征的目标识别，并进行类型匹配从而完成识别确认；具体方法如下：
根据目标工件特征纹理图像建立积分图像进行图像卷积滤波；在积分图像的每个像素上的灰度值是该像素左上方所有像素灰度值的和，表达式如下：
Figure FDA0003791190460000012
式中，A积表示目标工件特征纹理图像A的积分图像；
(X，Y)表示图像上像素的灰度值；
进行积分图像滤波；根据积分图像与目标工件特征纹理图像灰度值的对比，进行图像中每一个像素在不同的方向的检测从而进行每一个像素的边缘响应消除；
建立图像尺度空间；根据积分图像代替目标工件特征纹理图像进行卷积运算从而得到不同尺度的图像；
在图像尺度空间寻找目标工件特征纹理图像中工件特征点与特征点定位；将进行滤波后的积分图像中每个像素点的灰度值与其尺度空间内的26个点的灰度值进行比较，若当前比较的像素点的是最大值点或最小值点则予以保留成为候选特征值点，反之，若当前比较的像素点小于阈值点，则被剔除；从而进行所有特征像素点的定位；
进行每个特征点的方向确定；
进行每个特征点的匹配与误匹配点的剔除；具体方法如下：
从参考图像中的选取一个特征点，分别计算参考特征点与目标工件特征纹理图像中所有特征点的距离，进行选出其中的第一最小距离和第二最小距离，并计算第一最小距离和第二最小距离的比值与预设的阈值大小比较，当比值小于阈值，即说明具有最小距离的两个点匹配成功；反之则说明匹配不成功；依次类推，对参考图像中的所有特征点都进行特征点的匹配；
进行优化匹配结果；即删除误匹配点，把特征点匹配结束后所得到的所有匹配对组成一个集合T，从集合T共计8个点中随机选取4个匹配特征点对，计算变换矩阵K，即得到：
Figure FDA0003791190460000021
式中，F(X’，Y’)与E(X，Y)是一对匹配点，E(X，Y)为目标工件特征纹理图像中的一个特征点，F(X’，Y’)为参考图像中与目标工件特征纹理图特征点对应的匹配特征点；
将集合T中所有特征点与匹配点通过上述计算进行删除误匹配点，并将删除误匹配点的匹配点计入一个新集合H；
进行判断最优集合Y与新集合H中特征点元素的个数比值；若最优集合Y是空集或集合H中特征点元素的个数大于最优集合Y的特征点元素个数，则把当前集合H当成最优集合，其中，初始时最优集合Y是空集；并进行输出匹配结果；反之，则继续随机抽取4个匹配特征点对进行计算变换矩阵K并组成新的集合H。
2.根据权利要求1所述的一种基于人工智能的缺陷分析诊断方法，其特征在于，所述通过图像处理单元进行图像处理是通过对采集图像的灰度处理、滤波以及特征提取得到目标工件特征纹理图像，具体方法包括：
获取当前目标工件图像；
进行目标工件图像灰度转换处理；
进行目标工件图像滤波处理；
进行目标工件图像二值化处理；
建立目标工件特征纹理图像。
3.根据权利要求1所述的一种基于人工智能的缺陷分析诊断方法，其特征在于，所述确认目标工件类型并核对是对完成类型匹配的目标工件图像的与目标类型特征图像进行核对确认；具体方法如下：
获取匹配完成的目标工件图像和目标类型特征图像，且对其进行灰度处理；
对两幅灰度图像进行不变特征区域检测，提取它们各自的特征点及特征区域；
构造多支撑区域；即以特征点的特征区域为基准大小，构造N个均匀增大的嵌套区域，将这些支撑区域都仿射归一化为标准圆形区域；
进行环状特征区域划分；即把标准圆形区域中特征点区域的黑色像素块作为每个区域所选的样本点，得到每个支撑区域的P个子区域；
根据每个支撑区域中的每个子区域进行建立局部坐标系，并计算其每个样本点的梯度；
根据每个样本点的梯度进行计算它们的幅值和方向，以一个子区域为单位，用梯度直方图的方法把该区域上的所有样本点的梯度的幅值和方向映射到8维的向量上；把每个特征点子区域的8维向量依次按顺序排列，得到一个一维向量，并对一维向量进行归一化处理；从而得到每个特征点的特征描述；
进行特征匹配并完成图像确认。
4.根据权利要求1所述的一种基于人工智能的缺陷分析诊断方法，其特征在于，所述通过缺陷识别单元进行工件缺陷检测别输出检测结果是对目标工件的周长、面积进行计算，从而确保外形无缺陷再进行缺陷检测，具体方法如下：
对目标工件图像中的每个特征像素进行标号和跟踪，跟踪特征边界线的每个标号，记录二值图像物体边界的坐标序列，并依次连接坐标序列形成连通区域，并计算连通区域的长度，即为目标工件的周长；
确定目标工件图像中每个边框特征像素的灰度值，对目标工件图像中的每个特征像素进行标号和跟踪，跟踪特征边界线的每个标号，并依次连接坐标序列形成连通区域，设置阈值，大于等于阈值记为黑色，小于阈值记为白色，并计算黑色像素个数，即得到目标工件面积。
5.根据权利要求4所述的一种基于人工智能的缺陷分析诊断方法，其特征在于，缺陷检测的具体方法如下：
进行缺陷区域分割；将所有的可能的工件缺陷区域从工件射线图中分割出来，并将其中边界轮廓闭合的区域作为候选的缺陷区域；
进行候选区域甄别；根据分割出的候选区域的灰度值，区域面积以及与其周围区域的对比度等特征进行候选区域甄别，排除误分割出的候选区域；
输出工件缺陷诊断报告。
6.一种基于人工智能的缺陷分析诊断系统，其特征在于，执行权利要求1至5任意一项所述的一种基于人工智能的缺陷分析诊断方法，所述系统包括：
图像采集单元，用于通过工业相机进行不同类型工件的图像采集；
图像处理单元，用于进行对采集的工件图像进行灰度转换、滤波处理、二值化处理；并建立目标工件特征纹理图像；
工件识别单元，用于进行对获得的目标工件特征纹理图像进行工件类型识别和识别确认；
缺陷识别单元，用于进行对不同工件的缺陷检测和输出检测结果。
7.一种基于人工智能的缺陷分析诊断装置，其特征在于，执行权利要求1至5任意一项所述的一种基于人工智能的缺陷分析诊断方法，所述装置包括：输送带，用于输送待测工件和进行工件诊断识别传输；
工业相机，用于采集目标工件图像；
控制端，用于进行采集目标工件图像的图像处理、类型确认、以及缺陷诊断，并输出诊断结果。
8.根据权利要求7所述的一种基于人工智能的缺陷分析诊断装置，其特征在于，所述输送带包括：入料输送带和识别诊断输送带。
CN202110125125.7A 2021-01-29 2021-01-29 一种基于人工智能的缺陷分析诊断系统、方法、装置 Active CN112862770B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110125125.7A CN112862770B (zh) 2021-01-29 2021-01-29 一种基于人工智能的缺陷分析诊断系统、方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110125125.7A CN112862770B (zh) 2021-01-29 2021-01-29 一种基于人工智能的缺陷分析诊断系统、方法、装置

Publications (2)

Publication Number Publication Date
CN112862770A CN112862770A (zh) 2021-05-28
CN112862770B true CN112862770B (zh) 2023-02-14

Family

ID=75986805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110125125.7A Active CN112862770B (zh) 2021-01-29 2021-01-29 一种基于人工智能的缺陷分析诊断系统、方法、装置

Country Status (1)

Country Link
CN (1) CN112862770B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994882A (zh) * 2021-10-18 2023-04-21 长鑫存储技术有限公司 缺陷检测方法、装置、设备及存储介质
CN115018846B (zh) * 2022-08-09 2022-12-27 东声(苏州)智能科技有限公司 基于ai智能相机的多目标裂纹缺陷检测方法和装置
CN115575402B (zh) * 2022-10-17 2023-04-11 中国兵器装备集团西南技术工程研究所 一种收口筒形零件内壁缺陷智能识别、计算、判断方法
CN116703892B (zh) * 2023-08-01 2023-11-14 东莞市京品精密模具有限公司 一种基于图像数据的锂电池切刀磨损评估预警方法
CN117152157B (zh) * 2023-10-31 2023-12-29 南通三喜电子有限公司 基于人工智能的电子元件识别方法
CN117197700B (zh) * 2023-11-07 2024-01-26 成都中轨轨道设备有限公司 智能化无人巡检接触网缺陷识别系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008304958A (ja) * 2007-06-05 2008-12-18 Nok Corp 画像処理によるワーク欠陥検査方法
CN103149222A (zh) * 2013-02-28 2013-06-12 重庆大学 射线实时成像中缺陷检测方法
CN105069807A (zh) * 2015-08-28 2015-11-18 西安工程大学 一种基于图像处理的冲压工件缺陷检测方法
CN108010074A (zh) * 2017-10-19 2018-05-08 宁波蓝圣智能科技有限公司 一种基于机器视觉的工件检测方法及系统
CN109118471A (zh) * 2018-06-26 2019-01-01 广东工业大学 一种适用于复杂环境下的打磨工件缺陷检测方法
CN109657708A (zh) * 2018-12-05 2019-04-19 中国科学院福建物质结构研究所 基于图像识别-svm学习模型的工件识别装置及其方法
CN110443791A (zh) * 2019-08-02 2019-11-12 西安工程大学 一种基于深度学习网络的工件检测方法及其检测装置
CN110632110A (zh) * 2018-06-22 2019-12-31 宝山钢铁股份有限公司 X荧光光谱仪钢铁样品表面缺陷的视觉识别装置及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266138B1 (en) * 1999-10-12 2001-07-24 Perceptron, Inc. System and method for detecting defects in a surface of a workpiece
US20140022380A1 (en) * 2012-07-19 2014-01-23 Bell Helicopter Textron Inc. Nondestructive Inspection Techniques for Rotorcraft Composites
KR102261173B1 (ko) * 2018-12-10 2021-06-07 (주)스마트딥 나사 형상의 절삭 가공품의 표면 불량 검사 장치 및 검사 방법
JP6869490B2 (ja) * 2018-12-28 2021-05-12 オムロン株式会社 欠陥検査装置、欠陥検査方法、及びそのプログラム
CN112150412B (zh) * 2020-08-31 2022-11-22 国网浙江省电力有限公司常山县供电公司 一种基于投影曲线分析的绝缘子自爆缺陷检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008304958A (ja) * 2007-06-05 2008-12-18 Nok Corp 画像処理によるワーク欠陥検査方法
CN103149222A (zh) * 2013-02-28 2013-06-12 重庆大学 射线实时成像中缺陷检测方法
CN105069807A (zh) * 2015-08-28 2015-11-18 西安工程大学 一种基于图像处理的冲压工件缺陷检测方法
CN108010074A (zh) * 2017-10-19 2018-05-08 宁波蓝圣智能科技有限公司 一种基于机器视觉的工件检测方法及系统
CN110632110A (zh) * 2018-06-22 2019-12-31 宝山钢铁股份有限公司 X荧光光谱仪钢铁样品表面缺陷的视觉识别装置及方法
CN109118471A (zh) * 2018-06-26 2019-01-01 广东工业大学 一种适用于复杂环境下的打磨工件缺陷检测方法
CN109657708A (zh) * 2018-12-05 2019-04-19 中国科学院福建物质结构研究所 基于图像识别-svm学习模型的工件识别装置及其方法
CN110443791A (zh) * 2019-08-02 2019-11-12 西安工程大学 一种基于深度学习网络的工件检测方法及其检测装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李振兴等.基于图像像素级分割与标记映射的工件表面微小缺陷检测算法.《组合机床与自动化加工技术》.2018,(第001期),第73-76页. *

Also Published As

Publication number Publication date
CN112862770A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN112862770B (zh) 一种基于人工智能的缺陷分析诊断系统、方法、装置
CN107543828B (zh) 一种工件表面缺陷检测方法及系统
CN110148130B (zh) 用于检测零件缺陷的方法和装置
JP5546317B2 (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
CN108090434B (zh) 一种矿石快速识别方法
CN109781737B (zh) 一种软管表面缺陷的检测方法及其检测系统
CN111539330B (zh) 一种基于双svm多分类器的变电站数显仪表识别方法
CN116777907A (zh) 一种钣金件质量检测方法
CN113516619B (zh) 一种基于图像处理技术的产品表面瑕疵识别方法
Said et al. Robust automatic void detection in solder balls
CN113177924A (zh) 一种工业流水线产品瑕疵检测方法
CN114910480A (zh) 一种基于机器视觉的晶圆表面缺陷检测方法
CN111667475A (zh) 一种基于机器视觉的大枣分级检测方法
CN115690670A (zh) 一种晶圆瑕疵智能识别方法和系统
CN117094975A (zh) 钢铁表面缺陷检测方法、装置及电子设备
CN112017154A (zh) 基于Mask R-CNN模型的一种射线缺陷检测方法
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN112345534B (zh) 一种基于视觉的泡罩板中颗粒的缺陷检测方法及系统
CN114004858A (zh) 基于机器视觉识别航空线缆表面编码的方法及装置
CN110334727B (zh) 一种隧道裂缝智能匹配检测方法
CN115131355B (zh) 利用电子设备数据检测防水布异常的智能方法
CN115082449B (zh) 一种电子元器件缺陷检测方法
US20200380671A1 (en) Medical image detection
CN112907510A (zh) 一种表面缺陷检测方法
CN117474916B (zh) 一种图像检测方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant