CN115564779B - 一种零件缺陷检测方法、装置及存储介质 - Google Patents

一种零件缺陷检测方法、装置及存储介质 Download PDF

Info

Publication number
CN115564779B
CN115564779B CN202211569465.XA CN202211569465A CN115564779B CN 115564779 B CN115564779 B CN 115564779B CN 202211569465 A CN202211569465 A CN 202211569465A CN 115564779 B CN115564779 B CN 115564779B
Authority
CN
China
Prior art keywords
inflection point
standard
surface image
vector
point vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211569465.XA
Other languages
English (en)
Other versions
CN115564779A (zh
Inventor
梁帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Prophet Big Data Co ltd
Original Assignee
Dongguan Prophet Big Data Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan Prophet Big Data Co ltd filed Critical Dongguan Prophet Big Data Co ltd
Priority to CN202211569465.XA priority Critical patent/CN115564779B/zh
Publication of CN115564779A publication Critical patent/CN115564779A/zh
Application granted granted Critical
Publication of CN115564779B publication Critical patent/CN115564779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种零件缺陷检测方法、装置及存储介质,用于提高零件缺陷检测的准确性。本申请公开的零件缺陷检测方法包括:提取标准零件表面图像,根据所述标准零件表面图像确定标准拐点向量;采集零件的表面图像,根据所述零件的表面图像确定检测拐点向量;根据所述标准拐点向量和所述检测拐点向量判断所述零件是否有缺陷。本申请还提供了一种零件缺陷检测装置及存储介质。

Description

一种零件缺陷检测方法、装置及存储介质
技术领域
本申请涉及计算技术领域,尤其涉及一种零件缺陷检测方法、装置和存储介质。
背景技术
在生产型企业中,工厂的零部件检测对产品质量把控意义重大,例如汽车、飞机等机械工业对检测有很高的要求,几乎每个零部件都需要进行检测。现有技术中,检测设备一般采用深度学习识别模型对零件进行缺陷检测,将有缺陷的零件图样和没有缺陷的零件图样进行参数模型训练,通过训练后的参数模型确定待检测的产品是否有缺陷。但是,每一个进入流水线的零件摆放角度不同,获取的数据也会有较大的差异,且仅使用传统视觉会产生过多错判,从而影响生产效率。
发明内容
针对上述技术问题,本申请实施例提供了一种零件缺陷检测方法、装置及存储介质,用以提高零部件缺陷检测的准确性。
第一方面,本申请实施例提供的一种零件缺陷检测方法,包括:
提取标准零件表面图像,根据所述标准零件表面图像确定标准拐点向量;
采集零件的表面图像,根据所述零件的表面图像确定检测拐点向量;
根据所述标准拐点向量和所述检测拐点向量判断所述零件是否有缺陷。
优选的,所述根据所述标准拐点向量和所述检测拐点向量判断所述零件是否具有缺陷包括:
若根据所述标准拐点向量和所述检测拐点向量确定所述零件有下列情形之一或者组合,则判定所述零件有缺陷:
确定零件的左顶角存在破损;
确定零件制造错误;
确定零件存在破损。
优选的,所述提取标准零件表面图像,根据所述标准零件表面图像确定标准拐点向量包括:
对所述标准零件表面图像进行灰度化处理得到第二标准零件表面图像,对所述第二标准零件表面图像内矩形零件区域的四个顶角作为标记,对图像采集设备进行相机标定;
获取相机内参数和失真系数并计算出不同相机角度下所述标记的旋转矩阵和平移矩阵;
在所述第二标准零件表面图像内搜索四个顶角标记,根据所述顶角标记对应的旋转矩阵和平移矩阵对标准零件表面图像内矩形零件区域进行旋转和平移,使得矩形零件区域左上方顶点为原点,所述矩形零件区域的宽和高分别平行于画面的X轴和Y轴,记录此时四个顶点坐标(0,0),(W,0),(W,H),(0,H),其中(0,0)为左上方顶点坐标,(W,0)为右上方顶点坐标,(W,H)为右下方顶点坐标,(0,H)为左下方顶点坐标;
根据所述四个顶点坐标对所述矩形零件区域进行归一化处理,得到第三标准零件表面图像;
提取所述第三标准零件表面图像每个像素点的灰度值,将像素点分为零件像素点集合和背景像素点集合,获取零件像素点集合的聚类中心gr1和背景像素点集合的聚类中心gr2,计算得到颜色阈值
Figure GDA0004055512150000031
提取所述第三标准零件表面图像每一个零件拐点坐标ei=(xi,yi),组成标准拐点向量(e1,...,en);
其中,n为向量的长度,i为拐点的序号,i大于等于1小于等于n,且x1=min(xi),y1=min(yi)。
优选的,确定标准拐点向量之后还包括:
对于每个ei=(xi,yi),获取邻域(xi-0.5cw,yi-0.5ch,cw,ch)内的图像,计算该拐点的形状特征bi(b1i,b2i,b3i,b4i),其中(xi-0.5cw,yi-0.5ch)为区域左顶点坐标,cw为区域的宽,ch为区域的高;
其中:
Figure GDA0004055512150000032
Figure GDA0004055512150000033
Figure GDA0004055512150000034
Figure GDA0004055512150000035
Figure GDA00040555121500000311
Figure GDA0004055512150000037
Figure GDA0004055512150000038
Figure GDA0004055512150000039
Figure GDA00040555121500000310
ts1为设定的第一判断阈值,grx,y表示元素(x,y)处的灰度值。
优选的,所述采集零件的表面图像,根据所述零件的表面图像确定检测拐点向量包括:
获所述零件的表面图像上的拐点,获取拐点横坐标xmin和纵坐标的最小值ymin
当存在一个特定拐点(x0,y0)满足x0=xmin,y0=ymin时,令所述特定拐点为向量的起点,顺时针取拐点组成检测拐点向量
Figure GDA0004055512150000043
其中,n1为检测向量的长度,e1j=(x2j,y2j),j是大于等于1小于等于n1
优选的,所述根据所述四个顶点坐标对所述矩形零件区域进行归一化处理包括:
根据以下公式进行归一化处理:
Figure GDA0004055512150000041
Figure GDA0004055512150000042
其中,(x,y)为归一化处理前的图像坐标,(x′,y′)为归一化处理后的图像坐标。
优选的,所述确定零件的左顶角存在破损包括:
当所述拐点向量中不存在拐点满足x0=xmin,y0=ymin时,判定零件的左顶角存在破损。
优选的,所述确定零件制造错误包括:
对所述检测拐点向量进行修正,得到修正后的检测拐点向量(e1′1,...,e1′n);
计算修正后的检测拐点向量(e1′1,...,e1′n)与标准拐点向量(e1,...,en)的匹配得分gp
当gp小于等于设定的第六判断阈值ts6时,判定零件制造错误。
优选的,所述对所述检测拐点向量进行修正,得到修正后的检测拐点向量(e1′1,...,e1′n)包括:
当n1>n时,对于非起点e1的任一点ei,计算与检测拐点向量非起点e11每一个点的匹配得分:
Figure GDA0004055512150000051
取匹配得分最小对应检测拐点向量的点e1j作为修正后的检测坐标e1′i,得到修正后的检测拐点向量(e1′1,...,e1′n);
当n1=n时,令e1′j=e1j,得到修正后的检测拐点向量(e1′1,...,e1′n)。
具体的,所述计算修正后的检测拐点向量(e1′1,...,e1′n)与标准拐点向量(e1,...,en)的匹配得分gp包括:
计算每个点e1′i的形状特征bti(bt1i,bt2i,bt3i,bt4i);
根据以下公式计算修正后的检测拐点向量(e1′1,...,e1′n)与标准拐点向量(e1,...,en)的匹配得分gp
gp=c1gp1+(1-c1)gp2
其中:
Figure GDA0004055512150000052
Figure GDA0004055512150000053
e1′i=(x1i,y1i)
Figure GDA0004055512150000054
Figure GDA0004055512150000061
ts2为设定的第二判断阈值,ts3为设定的第三判断阈值,ts4为设定的第四判断阈值,ts5为设定的第五判断阈值,c1为历史数据训练得到的第一修正常数;
i是拐点的序号,i大于等于1小于等于n;
(xi,yi)是第i个拐点的坐标,(x1i,y1i)是修正后第i个拐点的坐标。
其中,所述计算每个点e1′i的形状特征bti(bt1i,bt2i,bt3i,bt4i)包括:
对于每个e1′i=(x′i,y′i),获取邻域(x′i-0.5cw,y′i-0.5ch,cw,ch)内的图像,计算该拐点的形状特征bti(bt1i,bt2i,bt3i,bt4i)其中(x′i-0.5cw,y′i-0.5ch)为区域左顶点坐标,cw为区域的宽,ch为区域的高;
其中:
Figure GDA0004055512150000062
Figure GDA0004055512150000063
Figure GDA0004055512150000064
Figure GDA0004055512150000065
Figure GDA0004055512150000066
Figure GDA0004055512150000067
Figure GDA0004055512150000068
Figure GDA0004055512150000069
Figure GDA00040555121500000610
ts′1为设定的第二十一判断阈值,gr′x′,y′表示元素(x′,y′)处的灰度值。
优选的,所述确定零件存在破损包括:
获取零件的检测拐点向量
Figure GDA0004055512150000071
和修正后的检测拐点向量(e1′1,...,e1′n),对于修正后的检测拐点向量(e1′1,...,e1′n)任意连续的两点e1′i,e1′i+1,在检测拐点向量
Figure GDA0004055512150000072
找到对应的点e1m=e1′i,e1m+k=e1′i+1,计算这两个拐点e1′i,e1′i+1之间的破损得分gmi
当gmi大于设定的第八判断阈值ts8时,计算两个拐点之间的破损程度得分gri
根据两个拐点之间的破损程度得分gri,计算得到零件的破损缺陷得分
Figure GDA0004055512150000073
当gz大于设定的第十判断阈值ts10时,判定零件存在破损。
预选的,所述计算这两个拐点e1′i,e1′i+1之间的破损得分gmi包括:
根据以下公式计算gmi
Figure GDA0004055512150000074
其中
Figure GDA0004055512150000075
其中,ts7为设定的第七判断阈值;
Figure GDA0004055512150000076
A=y2m-y2m+k
B=x2m+k-x2m
C=x2my2m+k-x2m+ky2m
x2是拐点的横坐标,y2是拐点的纵坐标,m是拐点的序号,k是拐点序号的偏移量,q是gw的序号,其中,m、k和q均是大于等于0的整数。
优选的,述计算两个拐点之间的破损程度得分gri包括:
根据以下公式计算两个拐点之间的破损程度得分gri
Figure GDA0004055512150000081
其中,
Figure GDA0004055512150000082
grx,y表示元素(x,y)处的灰度值,
O1={(x,y)|xd<x<xu,yd<y<yu},
当|x1i-x1i+1|<ts9 and|y1i-y1i|>ts9时,
xd=min(x1i,x1i+1)-c2
xu=max(x1i,x1i+1)+c2
yd=min(y1i,y1i+1),
yu=max(y1i,y1i+1),
当|x1i-x1i+1|>ts9 and|y1i-y1i|<ts9时,
xd=min(x1i,x1i+1)-c2
xu=max(x1i,x1i+1)+c2
yd=min(y1i,y1i+1)-c3
yu=max(y1i,y1i+1)+c3
c2为历史数据训练得到的第二修正常数,c3为历史数据训练得到的第三修正常数。
优选的,判定所述零件有缺陷之后还包括:
自动生成零件缺陷预警并实时将图像及预警发送至相关管理部门。
第二方面,本申请实施例还提供一种零件缺陷检测装置,包括:
第一模块,被配置用于提取标准零件表面图像,根据所述标准零件表面图像确定标准拐点向量;
第二模块,被配置用于采集零件的表面图像,根据所述零件的表面图像确定检测拐点向量;
检测模块,被配置用于根据所述标准拐点向量和所述检测拐点向量判断所述零件是否有缺陷。
第三方面,本申请实施例还提供一种零件缺陷检测装置,包括:存储器、处理器和用户接口;
所述存储器,用于存储计算机程序;
所述用户接口,用于与用户实现交互;
所述处理器,用于读取所述存储器中的计算机程序,所述处理器执行所述计算机程序时,实现本发明提供的零件缺陷检测方法。
第四方面,本申请实施例还提供一种处理器可读存储介质,所述处理器可读存储介质存储有计算机程序,所述处理器执行所述计算机程序时实现本发明提供的零件缺陷检测方法。
使用本发明提供的零件缺陷检测方法,首先提取标准零件表面图像,根据所述标准零件表面图像确定标准拐点向量。然后,采集待检测零件的表面图像,根据待检测零件的表面图像确定检测拐点向量。最后,根据所述标准拐点向量和所述检测拐点向量判断所述零件是否有缺陷。本发明提供的判断零件有缺陷的情形包括以下之一或者组合:零件的左顶角存在破损,零件制造错误,零件存在破损。通过本发明的方法,提高了零件缺陷检测的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅是本申请的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的模具缺陷检测方法流程示意图;
图2为本申请实施例提供的标准拐点向量确定流程示意图;
图3为本申请实施例提供的模具缺陷检测装置示意图;
图4为本申请实施例提供的另一种模具缺陷检测装置结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部份实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
下面对文中出现的一些词语进行解释:
1、本发明实施例中术语“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
2、本申请实施例中术语“多个”是指两个或两个以上,其它量词与之类似。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,并不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例的展示顺序仅代表实施例的先后顺序,并不代表实施例所提供的技术方案的优劣。
实施例一
参见图1,本申请实施例提供的一种零件缺陷检测方法示意图,如图1所示,该方法包括步骤S101到S103:
S101、提取标准零件表面图像,根据所述标准零件表面图像确定标准拐点向量;
本发明中,在进行零件缺陷检测之前,先确定标准拐点向量。标准拐点向量是根据标准零件表面图像确定的。
作为一种优选示例,本实施例中确定标准拐点向量的过程如图2所示。
S201、进行灰度化处理,对图像采集设备进行相机标定。
本步骤中,对所述标准零件表面图像进行灰度化处理得到第二标准零件表面图像,对所述第二标准零件表面图像内矩形零件区域的四个顶角作为标记,对图像采集设备进行相机标定。
S202、获取相机内参数和失真系数并计算出旋转矩阵和平移矩阵。
本步骤中,获取相机内参数和失真系数并计算出不同相机角度下所述标记的旋转矩阵和平移矩阵。
旋转矩阵是指旋转的参数;
平移矩阵是指平移的参数;
S203、进行旋转和平移。
本步骤中,在所述第二标准零件表面图像内搜索四个顶角标记,根据所述顶角标记对应的旋转矩阵和平移矩阵对标准零件表面图像内矩形零件区域进行旋转和平移,使得矩形零件区域左上方顶点为原点,所述矩形零件区域的宽和高分别平行于画面的X轴和Y轴,记录此时四个顶点坐标(0,0),(W,0),(W,H),(0,H),其中(0,0)为左上方顶点坐标,(W,0)为右上方顶点坐标,(W,H)为右下方顶点坐标,(0,H)为左下方顶点坐标。
S204、进行归一化处理。
本步骤中,根据所述四个顶点坐标对所述矩形零件区域进行归一化处理,得到第三标准零件表面图像。
优选的,根据所述四个顶点坐标对所述矩形零件区域进行归一化处理包括:
根据以下公式进行归一化处理:
Figure GDA0004055512150000121
Figure GDA0004055512150000122
其中,(x,y)为归一化处理前的图像坐标,(x′,y′)为归一化处理后的图像坐标。
S205、计算得到颜色阈值。
提取所述第三标准零件表面图像每个像素点的灰度值,将像素点分为零件像素点集合和背景像素点集合,获取零件像素点集合的聚类中心gr1和背景像素点集合的聚类中心gr2,计算得到颜色阈值
Figure GDA0004055512150000123
S206、组成标准拐点向量。
提取所述所述第三标准零件表面图像每一个零件拐点坐标ei=(xi,yi),组成标准拐点向量(e1,...,en);
其中,n为向量的长度,i为拐点的序号,i大于等于1小于等于n,且x1=min(xi),y1=min(yi)。
作为一种优选示例,确定标准拐点向量后,还可以计算拐点的形状特征。具体的,对于每个ei=(xi,yi),获取邻域(xi-0.5cw,yi-0.5ch,cw,ch)内的图像,计算该拐点的形状特征bi(b1i,b2i,b3i,b4i),其中(xi-0.5cw,yi-0.5ch)为区域左顶点坐标,cw为区域的宽,ch为区域的高;
其中:
Figure GDA0004055512150000131
Figure GDA0004055512150000132
Figure GDA0004055512150000133
Figure GDA0004055512150000134
Figure GDA0004055512150000135
Figure GDA0004055512150000136
Figure GDA0004055512150000137
Figure GDA0004055512150000138
Figure GDA0004055512150000139
ts1为设定的第一判断阈值,grx,y表示元素(x,y)处的灰度值。
也就是说,S101中,零件通过生产线的传送带到达零件检测区域,区域内固定的图像采集设备获取每一个零件的表面图像。提取标准零件表面图像进行灰度化处理后图像内矩形零件区域的四个顶角作为标记,对图像采集设备进行相机标定,获取相机内参数和失真系数并计算出不同相机角度下标记的旋转矩阵和平移矩阵。在检测到的零件的表面图像内搜索四个顶角标记,根据顶角标记对应的旋转矩阵和平移矩阵对零件表面图像内矩形零件区域进行旋转和平移操作使得矩形零件区域左上方顶点为原点,矩形区域的宽和高分别平行于画面X轴和Y轴,记录此时四个顶点坐标(0,0),(W,0),(W,H),(0,H),根据以下公式对图像进行归一化处理:
Figure GDA0004055512150000141
其中,(x,y)为归一化处理前的图像坐标,(x′,y′)为归一化处理后的图像坐标。
得到零件检测图像,提取零件检测图像每个像素点的灰度值,将像素点分为两大类(例如使用基于K-means的聚类模型像素点分为零件像素点集合和背景像素点集合),获取零件像素点集合的聚类中心gr1和背景像素点集合的聚类中心gr2,计算得到颜色阈值
Figure GDA0004055512150000142
Figure GDA0004055512150000143
提取标准零件灰度化和归一化处理后图像每一个零件拐点坐标ei=(xi,yi),其中i为拐点的序号,组成零件标准拐点向量(e1,...,en),其中n为向量的长度,x1=min(xi),y1=min(yi)。
对于每个ei=(xi,yi),获取邻域(xi-0.5cw,yi-0.5ch,cw,ch)内的图像,其中(xi-0.5cw,yi-0.5ch)为区域左顶点坐标,cw为区域的宽,ch为区域的高,计算该拐点的形状特征bi(b1i,b2i,b3i,b4i):
其中
Figure GDA0004055512150000144
Figure GDA0004055512150000145
Figure GDA0004055512150000146
Figure GDA0004055512150000147
Figure GDA0004055512150000148
Figure GDA0004055512150000149
Figure GDA0004055512150000151
Figure GDA0004055512150000152
Figure GDA0004055512150000153
ts1为设定的第一判断阈值,grx,y表示元素(x,y)处的灰度值。
S102、采集零件的表面图像,根据所述零件的表面图像确定检测拐点向量;
作为一种优选示例,获所述零件的表面图像上的拐点,获取拐点横坐标xmin和纵坐标的最小值ymin
当存在一个特定拐点(x0,y0)满足x0=xmin,y0=ymin时,令所述特定拐点为向量的起点,顺时针取拐点组成检测拐点向量
Figure GDA0004055512150000154
其中,n1为检测向量的长度,e1j=(x2j,y2j),j是大于等于1小于等于n1
例如,使用Harris算子获取零件检测图像上的拐点,获取拐点横坐标和纵坐标的最小值xmin,ymin,当存在一个拐点(x0,y0)满足x0=xmin,y0=ymin时,令该拐点为向量的起点,顺时针取拐点组成检测拐点向量
Figure GDA0004055512150000155
其中n1为检测向量的长度,e1j=(x2j,y1j)。
S103、根据所述标准拐点向量和所述检测拐点向量判断所述零件是否有缺陷。
为了提高零件缺陷检测的准确性,本发明至少提供三种方式确定零件是否有缺陷。若根据所述标准拐点向量和所述检测拐点向量确定所述零件有下列情形之一或者组合,则判定所述零件有缺陷:
确定零件的左顶角存在破损;
确定零件制造错误;
确定零件存在破损。
下面针对上述三种方法分别进行描述。
方法1:零件的左顶角存在破损:
作为一种优选示例,所述确定零件的左顶角存在破损包括:
当所述拐点向量中不存在拐点满足x0=xmin,y0=ymin时,判定零件的左顶角存在破损。
即当不存在拐点满足x0=xmin,y0=ymin时,判定零件的左顶角存在破损。
优选的,判定零件的左顶角存在破损之后,系统还可以自动生成零件缺陷预警并实时将图像及预警发送至相关管理部门对缺陷零件进行处理。
方法2:零件制造错误:
对所述检测拐点向量进行修正,得到修正后的检测拐点向量(e1′1,...,e1′n);
计算修正后的检测拐点向量(e1′1,...,e1′n)与标准拐点向量(e1,...,en)的匹配得分gp
当gp小于等于设定的第六判断阈值ts6时,判定零件制造错误。
作为一种优选示例,对所述检测拐点向量进行修正,得到修正后的检测拐点向量(e1′1,...,e1′n)包括:
当n1>n时,对于非起点e1的任一点ei,计算与检测拐点向量非起点e11每一个点的匹配得分:
Figure GDA0004055512150000171
取匹配得分最小对应检测拐点向量的点e1j作为修正后的检测坐标e1′i,得到修正后的检测拐点向量(e1′1,...,e1′n);
当n1=n时,令e1′j=e1j,得到修正后的检测拐点向量(e1′1,...,e1′n)。
作为一种优选示例,计算修正后的检测拐点向量(e1′1,...,e1′n)与标准拐点向量(e1,...,en)的匹配得分gp包括:
计算每个点e1′i的形状特征bti(bt1i,bt2i,bt3i,bt4i);
根据以下公式计算修正后的检测拐点向量(e1′1,...,e1′n)与标准拐点向量(e1,...,en)的匹配得分gp
gp=c1gp1+(1-c1)gp2
其中:
Figure GDA0004055512150000172
Figure GDA0004055512150000173
e1′i=(x1i,y1i)
Figure GDA0004055512150000174
Figure GDA0004055512150000175
ts2为设定的第二判断阈值,ts3为设定的第三判断阈值,ts4为设定的第四判断阈值,ts5为设定的第五判断阈值,c1为历史数据训练得到的第一修正常数;
i是拐点的序号,i大于等于1小于等于n;
(xi,yi)是第i个拐点的坐标,(x1i,y1i)是修正后第i个拐点的坐标。
作为一种优选示例,计算每个点e1′i的形状特征bti(bt1i,bt2i,bt3i,bt4i)包括:
对于每个e1′i=(x′i,y′i),获取邻域(x′i-0.5cw,y′i-0.5ch,cw,ch)内的图像,计算该拐点的形状特征bti(bt1i,bt2i,bt3i,bt4i)其中(x′i一0.5cw,y′i-0.5ch)为区域左顶点坐标,cw为区域的宽,ch为区域的高;
其中:
Figure GDA0004055512150000181
Figure GDA0004055512150000182
Figure GDA0004055512150000183
Figure GDA0004055512150000184
Figure GDA0004055512150000185
Figure GDA0004055512150000186
Figure GDA0004055512150000187
Figure GDA0004055512150000188
Figure GDA0004055512150000189
ts′1为设定的第二十一判断阈值,gr′x′,y′表示元素(x′,y′)处的灰度值。
当gp大于设定的第六判断阈值ts6时,判定零件为标准零件格式;反之判定零件制造错误。
作为一种优选示例,判断零件制造错误之后,系统还可以自动生成零件缺陷预警并实时将图像及预警发送至相关管理部门对缺陷零件进行处理。
方法3:零件存在破损:
获取零件的检测拐点向量
Figure GDA0004055512150000194
和修正后的检测拐点向量(e1′1,...,e1′n),对于修正后的检测拐点向量(e1′1,...,e1′n)任意连续的两点e1′i,e1′i+1,在检测拐点向量
Figure GDA0004055512150000195
找到对应的点e1m=e1′i,e1m+k=e1′i+1,计算这两个拐点e1′i,e1′i+1之间的破损得分gmi
当gmi大于设定的第八判断阈值ts8时,计算两个拐点之间的破损程度得分gri
根据两个拐点之间的破损程度得分gri,计算得到零件的破损缺陷得分
Figure GDA0004055512150000196
当gz大于设定的第十判断阈值ts10时,判定零件存在破损。
其中,作为一种优选示例,所述计算这两个拐点e1′i,e1′i+1之间的破损得分gmi包括:
根据以下公式计算gmi
Figure GDA0004055512150000191
其中
Figure GDA0004055512150000192
其中,ts7为设定的第七判断阈值;
Figure GDA0004055512150000193
A=y2m-y2m+k
B=x2m+k-x2m
C=x2my2m+k-x2m+ky2m
x2是拐点的横坐标,y2是拐点的纵坐标,m是拐点的序号,k是拐点序号的偏移量,q是gw的序号,其中,m、k和q均是大于等于0的整数。
计算两个拐点之间的破损程度得分gri包括:
根据以下公式计算两个拐点之间的破损程度得分gri
Figure GDA0004055512150000201
其中,
Figure GDA0004055512150000202
grx,y表示元素(x,y)处的灰度值,
O1={(x,y)|xd<x<xu,yd<y<yu},
当|x1i-x1i+1|<ts9 and|y1i-y1i|>ts9时,
xd=min(x1i,x1i+1)-c2
xu=max(x1i,x1i+1)+c2
yd=min(y1i,y1i+1),
yu=max(y1i,y1i+1),
当|x1i-x1i+1|>ts9 and|y1i-y1i|<ts9时,
xd=min(x1i,x1i+1)-c2
xu=max(x1i,x1i+1)+c2
yd=min(y1i,y1i+1)-c3
yu=max(y1i,y1i+1)+c3
c2为历史数据训练得到的第二修正常数,c3为历史数据训练得到的第三修正常数。
根据两个拐点之间的破损程度得分,计算得到零件的破损缺陷得分:
Figure GDA0004055512150000211
当gz大于设定的第十判断阈值ts10时,判定零件存在破损;
作为一种优选示例,判定零件存在破损之后,系统自动生成零件缺陷预警并实时将图像及预警发送至相关管理部门对缺陷零件进行处理。
使用本发明提供的零件缺陷检测方法,首先提取标准零件表面图像,根据所述标准零件表面图像确定标准拐点向量。然后,采集待检测零件的表面图像,根据待检测零件的表面图像确定检测拐点向量。最后,根据所述标准拐点向量和所述检测拐点向量判断所述零件是否有缺陷。本发明提供的判断零件有缺陷的情形包括以下之一或者组合:零件的左顶角存在破损,零件制造错误,零件存在破损。通过本发明的方法,提高了零件缺陷检测的准确率。
实施例二
基于同一个发明构思,本发明实施例还提供了一种零件缺陷检测装置,如图3所示,该装置包括:
第一模块301,被配置用于提取标准零件表面图像,根据所述标准零件表面图像确定标准拐点向量;
第二模块302,被配置用于采集零件的表面图像,根据所述零件的表面图像确定检测拐点向量;
检测模块303,被配置用于根据所述标准拐点向量和所述检测拐点向量判断所述零件是否有缺陷。
作为一种优选示例,本发明实施例中,检测模块303若根据所述标准拐点向量和所述检测拐点向量确定所述零件有下列情形之一或者组合,则判定所述零件有缺陷:
确定零件的左顶角存在破损;
确定零件制造错误;
确定零件存在破损。
作为一种优选示例,第一模块301还被配置用于确定标准拐点向量:
对所述标准零件表面图像进行灰度化处理得到第二标准零件表面图像,对所述第二标准零件表面图像内矩形零件区域的四个顶角作为标记,对图像采集设备进行相机标定;
获取相机内参数和失真系数并计算出不同相机角度下所述标记的旋转矩阵和平移矩阵;
在所述第二标准零件表面图像内搜索四个顶角标记,根据所述顶角标记对应的旋转矩阵和平移矩阵对标准零件表面图像内矩形零件区域进行旋转和平移,使得矩形零件区域左上方顶点为原点,所述矩形零件区域的宽和高分别平行于画面的X轴和Y轴,记录此时四个顶点坐标(0,0),(W,0),(W,H),(0,H),其中(0,0)为左上方顶点坐标,(W,0)为右上方顶点坐标,(W,H)为右下方顶点坐标,(0,H)为左下方顶点坐标;
根据所述四个顶点坐标对所述矩形零件区域进行归一化处理,得到第三标准零件表面图像;
提取所述第三标准零件表面图像每个像素点的灰度值,将像素点分为零件像素点集合和背景像素点集合,获取零件像素点集合的聚类中心gr1和背景像素点集合的聚类中心gr2,计算得到颜色阈值
Figure GDA0004055512150000221
提取所述所述第三标准零件表面图像每一个零件拐点坐标ei=(xi,yi),组成标准拐点向量(e1,...,en);
其中,n为向量的长度,i为拐点的序号,i大于等于1小于等于n,且x1=min(xi),y1=min(yi)。
作为一种优选示例,第一模块301还被配置用于:
对于每个ei=(xi,yi),获取邻域(xi-0.5cw,yi-0.5ch,cw,ch)内的图像,计算该拐点的形状特征bi(b1i,b2i,b3i,b4i),其中(xi-0.5cw,yi-0.5ch)为区域左顶点坐标,cw为区域的宽,ch为区域的高;
其中:
Figure GDA0004055512150000231
Figure GDA0004055512150000232
Figure GDA0004055512150000233
Figure GDA0004055512150000234
Figure GDA0004055512150000235
Figure GDA0004055512150000236
Figure GDA0004055512150000237
Figure GDA0004055512150000238
Figure GDA0004055512150000239
ts1为设定的第一判断阈值,grx,y表示元素(x,y)处的灰度值。
作为一种优选示例,第一模块301还被配置用于根据所述四个顶点坐标对所述矩形零件区域进行归一化处理:
根据以下公式进行归一化处理:
Figure GDA00040555121500002310
Figure GDA0004055512150000241
其中,(x,y)为归一化处理前的图像坐标,(x′,y′)为归一化处理后的图像坐标。
作为一种优选示例,第二模块302还被配置用于根据所述零件的表面图像确定检测拐点向量:
获所述零件的表面图像上的拐点,获取拐点横坐标xmin和纵坐标的最小值ymin
当存在一个特定拐点(x0,y0)满足x0=xmin,y0=ymin时,令所述特定拐点为向量的起点,顺时针取拐点组成检测拐点向量
Figure GDA0004055512150000242
其中,n1为检测向量的长度,e1j=(x2j,y2j),j是大于等于1小于等于n1
作为一种优选示例,检测模块303还被配置用于确定零件的左顶角存在破损:
当所述拐点向量中不存在拐点满足x0=xmin,y0=ymin时,判定零件的左顶角存在破损。
作为一种优选示例,检测模块303还被配置用于确定零件制造错误:
对所述检测拐点向量进行修正,得到修正后的检测拐点向量(e1′1,...,e1′n);
计算修正后的检测拐点向量(e1′1,...,e1′n)与标准拐点向量(e1,...,en)的匹配得分gp
当gp小于等于设定的第六判断阈值ts6时,判定零件制造错误。
所述对所述检测拐点向量进行修正,得到修正后的检测拐点向量(e1′1,...,e1′n)包括:
当n1>n时,对于非起点e1的任一点ei,计算与检测拐点向量非起点e11每一个点的匹配得分:
Figure GDA0004055512150000251
取匹配得分最小对应检测拐点向量的点e1j作为修正后的检测坐标e1′i,得到修正后的检测拐点向量(e1′1,...,e1′n);
当n1=n时,令e1′j=e1j,得到修正后的检测拐点向量(e1′1,...,e1′n)。
所述计算修正后的检测拐点向量(e1′1,...,e1′n)与标准拐点向量(e1,...,en)的匹配得分gp包括:
计算每个点e1′i的形状特征bti(bt1i,bt2i,bt3i,bt4i);
根据以下公式计算修正后的检测拐点向量(e1′1,...,e1′n)与标准拐点向量(e1,...,en)的匹配得分gp
gp=c1gp1+(1-c1)gp2
其中:
Figure GDA0004055512150000252
Figure GDA0004055512150000253
e1′i=(x1i,y1i)
Figure GDA0004055512150000254
Figure GDA0004055512150000255
ts2为设定的第二判断阈值,ts3为设定的第三判断阈值,ts4为设定的第四判断阈值,ts5为设定的第五判断阈值,c1为历史数据训练得到的第一修正常数;
i是拐点的序号,i大于等于1小于等于n;
(xi,yi)是第i个拐点的坐标,(x1i,y1i)是修正后第i个拐点的坐标。
所述计算每个点e1′i的形状特征bti(bt1i,bt2i,bt3i,bt4i)包括:
对于每个e1′i=(x′i,y′i),获取邻域(x′i-0.5cw,y′i-0.5ch,cw,ch)内的图像,计算该拐点的形状特征bti(bt1i,bt2i,bt3i,bt4i)其中(x′i-0.5cw,y′i-0.5ch)为区域左顶点坐标,cw为区域的宽,ch为区域的高;
其中:
Figure GDA0004055512150000261
Figure GDA0004055512150000262
Figure GDA0004055512150000263
Figure GDA0004055512150000264
Figure GDA0004055512150000265
Figure GDA0004055512150000266
Figure GDA0004055512150000267
Figure GDA0004055512150000268
Figure GDA0004055512150000269
ts′1为设定的第二十一判断阈值,gr′x′,y′表示元素(x′,y′)处的灰度值。
作为一种优选示例,检测模块303还被配置用于确定零件存在破损:
获取零件的检测拐点向量
Figure GDA00040555121500002610
和修正后的检测拐点向量(e1′1,...,e1′n),对于修正后的检测拐点向量(e1′1,...,e1′n)任意连续的两点e1′i,e1′i+1,在检测拐点向量
Figure GDA0004055512150000271
找到对应的点e1m=e1′i,e1m+k=e1′i+1,计算这两个拐点e1′i,e1′i+1之间的破损得分gmi
当gmi大于设定的第八判断阈值ts8时,计算两个拐点之间的破损程度得分gri
根据两个拐点之间的破损程度得分gri,计算得到零件的破损缺陷得分
Figure GDA0004055512150000275
当gz大于设定的第十判断阈值ts10时,判定零件存在破损。
所述计算这两个拐点e1′i,e1′i+1之间的破损得分gmi包括:
根据以下公式计算gmi
Figure GDA0004055512150000272
其中
Figure GDA0004055512150000273
其中,ts7为设定的第七判断阈值;
Figure GDA0004055512150000274
A=y2m-y2m+k
B=x2m+k-x2m
C=x2my2m+k-x2m+ky2m
x2是拐点的横坐标,y2是拐点的纵坐标,m是拐点的序号,k是拐点序号的偏移量,q是gw的序号,其中,m、k和q均是大于等于0的整数。
所述计算两个拐点之间的破损程度得分gri包括:
根据以下公式计算两个拐点之间的破损程度得分gri
Figure GDA0004055512150000281
其中,
Figure GDA0004055512150000282
grx,y表示元素(x,y)处的灰度值,
O1={(x,y)|xd<x<xu,yd<y<yu},
当|x1i-x1i+1|<ts9 and|y1i-y1i|>ts9时,
xd=min(x1i,x1i+1)-c2
xu=max(x1i,x1i+1)+c2
yd=min(y1i,y1i+1),
yu=max(y1i,y1i+1),
当|x1i-x1i+1|>ts9 and|y1i-y1i|<ts9时,
xd=min(x1i,x1i+1)一c2
xu=max(x1i,x1i+1)+c2
yd=min(y1i,y1i+1)-c3
yu=max(y1i,y1i+1)+c3
c2为历史数据训练得到的第二修正常数,c3为历史数据训练得到的第三修正常数。
作为一种优选示例,检测模块303还被配置用于判定所述零件有缺陷之后,自动生成零件缺陷预警并实时将图像及预警发送至相关管理部门。
需要说明的是,本实施例提供的第一模块301,能实现实施例一中步骤S101包含的全部功能,解决相同技术问题,达到相同技术效果,在此不再赘述;
需要说明的是,本实施例提供的第二模块302,能实现实施例一中步骤S102包含的全部功能,解决相同技术问题,达到相同技术效果,在此不再赘述;
需要说明的是,本实施例提供的检测模块303,能实现实施例一中步骤S103包含的全部功能,解决相同技术问题,达到相同技术效果,在此不再赘述。
需要说明的是,实施例二提供的装置与实施例一提供的方法属于同一个发明构思,解决相同的技术问题,达到相同的技术效果,实施例二提供的装置能实现实施例一的所有方法,相同之处不再赘述。
实施例三
基于同一个发明构思,本发明实施例还提供了一种零件缺陷检测装置,如图所示,该装置包括:
包括存储器402、处理器401和用户接口403;
所述存储器402,用于存储计算机程序;
所述用户接口403,用于与用户实现交互;
所述处理器401,用于读取所述存储器402中的计算机程序,所述处理器401执行所述计算机程序时,实现:
提取标准零件表面图像,根据所述标准零件表面图像确定标准拐点向量;
采集零件的表面图像,根据所述零件的表面图像确定检测拐点向量;
根据所述标准拐点向量和所述检测拐点向量判断所述零件是否有缺陷。
其中,在图4中,总线架构可以包括任意数量的互联的总线和桥,具体由处理器401代表的一个或多个处理器和存储器402代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口提供接口。处理器401负责管理总线架构和通常的处理,存储器402可以存储处理器401在执行操作时所使用的数据。
处理器401可以是CPU、ASIC、FPGA或CPLD,处理器401也可以采用多核架构。
处理器401执行存储器402存储的计算机程序时,实现实施例一中的任一零件缺陷检测方法。
需要说明的是,实施例三提供的装置与实施例一提供的方法属于同一个发明构思,解决相同的技术问题,达到相同的技术效果,实施例三提供的装置能实现实施例一的所有方法,相同之处不再赘述。
本申请还提出一种处理器可读存储介质。其中,该处理器可读存储介质存储有计算机程序,所述处理器执行所述计算机程序时实现实施例一中的任一零件缺陷检测方法。
需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (15)

1.一种零件缺陷检测方法,其特征在于,包括:
提取标准零件表面图像,根据所述标准零件表面图像确定标准拐点向量;
采集零件的表面图像,根据所述零件的表面图像确定检测拐点向量;
根据所述标准拐点向量和所述检测拐点向量判断所述零件是否有缺陷;所述根据所述标准拐点向量和所述检测拐点向量判断所述零件是否具有缺陷包括:
若根据所述标准拐点向量和所述检测拐点向量确定所述零件有下列情形之一或者组合,则判定所述零件有缺陷:
确定零件的左顶角存在破损;
确定零件制造错误;
确定零件存在破损;所述提取标准零件表面图像,根据所述标准零件表面图像确定标准拐点向量包括:
对所述标准零件表面图像进行灰度化处理得到第二标准零件表面图像,对所述第二标准零件表面图像内矩形零件区域的四个顶角作为标记,对图像采集设备进行相机标定;
获取相机内参数和失真系数并计算出不同相机角度下所述标记的旋转矩阵和平移矩阵;
在所述第二标准零件表面图像内搜索四个顶角标记,根据所述顶角标记对应的旋转矩阵和平移矩阵对标准零件表面图像内矩形零件区域进行旋转和平移,使得矩形零件区域左上方顶点为原点,所述矩形零件区域的宽和高分别平行于画面的X轴和Y轴,记录此时四个顶点坐标(0,0),(W,0),(W,H),(0,H),其中(0,0)为左上方顶点坐标,(W,0)为右上方顶点坐标,(W,H)为右下方顶点坐标,(0,H)为左下方顶点坐标;
根据所述四个顶点坐标对所述矩形零件区域进行归一化处理,得到第三标准零件表面图像;
提取所述第三标准零件表面图像每个像素点的灰度值,将像素点分为零件像素点集合和背景像素点集合,获取零件像素点集合的聚类中心gr1和背景像素点集合的聚类中心gr2,计算得到颜色阈值
Figure FDA0004055512140000021
提取所述第三标准零件表面图像每一个零件拐点坐标ei=(xi,yi),组成标准拐点向量(e1,...,en);
其中,n为向量的长度,i为拐点的序号,i大于等于1小于等于n,且x1=min(xi),y1=min(yi);
确定标准拐点向量之后还包括:
对于每个ei=(xi,yi),获取邻域(xi-0.5cw,yi-0.5ch,cw,ch)内的图像,计算该拐点的形状特征bi(b1i,b2i,b3i,b4i),其中(xi-0.5cw,yi-0.5ch)为区域左顶点坐标,cw为区域的宽,ch为区域的高;
其中:
Figure FDA0004055512140000022
Figure FDA0004055512140000023
Figure FDA0004055512140000024
Figure FDA0004055512140000025
Figure FDA0004055512140000026
Figure FDA0004055512140000027
Figure FDA0004055512140000031
Figure FDA0004055512140000032
Figure FDA0004055512140000033
ts1为设定的第一判断阈值,grx,y表示元素(x,y)处的灰度值。
2.根据权利要求1所述的方法,其特征在于,所述采集零件的表面图像,根据所述零件的表面图像确定检测拐点向量包括:
获所述零件的表面图像上的拐点,获取拐点横坐标xmin和纵坐标的最小值ymin
当存在一个特定拐点(x0,y0)满足x0=xmin,y0=ymin时,令所述特定拐点为向量的起点,顺时针取拐点组成检测拐点向量
Figure FDA0004055512140000034
其中,n1为检测向量的长度,e1j=(x2j,y2j),j是大于等于1小于等于n1
3.根据权利要求1所述的方法,其特征在于,所述根据所述四个顶点坐标对所述矩形零件区域进行归一化处理包括:
根据以下公式进行归一化处理:
Figure FDA0004055512140000035
Figure FDA0004055512140000036
其中,(x,y)为归一化处理前的图像坐标,(x′,y′)为归一化处理后的图像坐标。
4.根据权利要求2所述的方法,其特征在于,所述确定零件的左顶角存在破损包括:
当所述拐点向量中不存在拐点满足x0=xmin,y0=ymin时,判定零件的左顶角存在破损。
5.根据权利要求2所述的方法,其特征在于,所述确定零件制造错误包括:
对所述检测拐点向量进行修正,得到修正后的检测拐点向量(e1′1,...,e1′n);
计算修正后的检测拐点向量(e1′1,...,e1′n)与标准拐点向量(e1,...,en)的匹配得分gp
当gp小于等于设定的第六判断阈值ts6时,判定零件制造错误。
6.根据权利要求5所述的方法,其特征在于,所述对所述检测拐点向量进行修正,得到修正后的检测拐点向量(e1′1,...,e1′n)包括:
当n1>n时,对于非起点e1的任一点ei,计算与检测拐点向量非起点e11每一个点的匹配得分:
Figure FDA0004055512140000041
取匹配得分最小对应检测拐点向量的点e1j作为修正后的检测坐标e1′i,得到修正后的检测拐点向量(e1′1,...,e1′n);
当n1=n时,令e1′j=e1j,得到修正后的检测拐点向量(e1′1,...,e1′n)。
7.根据权利要求5所述的方法,其特征在于,所述计算修正后的检测拐点向量(e1′1,...,e1′n)与标准拐点向量(e1,...,en)的匹配得分gp包括:
计算每个点e1′i的形状特征bti(bt1i,bt2i,bt3i,bt4i);
根据以下公式计算修正后的检测拐点向量(e1′1,...,e1′n)与标准拐点向量(e1,...,en)的匹配得分gp
gp=c1gp1+(1-c1)gp2
其中:
Figure FDA0004055512140000051
Figure FDA0004055512140000052
e1′i=(x1i,y1i)
Figure FDA0004055512140000053
Figure FDA0004055512140000054
ts2为设定的第二判断阈值,ts3为设定的第三判断阈值,ts4为设定的第四判断阈值,ts5为设定的第五判断阈值,c1为历史数据训练得到的第一修正常数;
i是拐点的序号,i大于等于1小于等于n;
(xi,yi)是第i个拐点的坐标,(x1i,y1i)是修正后的第i个拐点的坐标。
8.根据权利要求7所述的方法,其特征在于,所述计算每个点e1′i的形状特征bti(bt1i,bt2i,bt3i,bt4i)包括:
对于每个e1′i=(x′i,y′i),获取邻域(x′i-0.5cw,y′i-0.5ch,cw,ch)内的图像,计算该拐点的形状特征bti(bt1i,bt2i,bt3i,bt4i)其中(x′i-0.5cw,y′i-0.5ch)为区域左顶点坐标,cw为区域的宽,ch为区域的高;
其中:
Figure FDA0004055512140000055
Figure FDA0004055512140000056
Figure FDA0004055512140000057
Figure FDA0004055512140000061
Figure FDA0004055512140000062
Figure FDA0004055512140000063
Figure FDA0004055512140000064
Figure FDA0004055512140000065
Figure FDA0004055512140000066
ts′1为设定的第二十一判断阈值,ts′gr为第二十二判断阈值,gr′x′,y′表示元素(x′,y′)处的灰度值。
9.根据权利要求6所述的方法,其特征在于,所述确定零件存在破损包括:
获取零件的检测拐点向量
Figure FDA0004055512140000067
和修正后的检测拐点向量(e1′1,...,e1′n),对于修正后的检测拐点向量(e1′1,...,e1′n)任意连续的两点e1′i,e1′i+1,在检测拐点向量
Figure FDA0004055512140000068
找到对应的点e1m=e1′i,e1m+k=e1′i+1,计算这两个拐点e1′i,e1′i+1之间的破损得分gmi
当gmi大于设定的第八判断阈值ts8时,计算两个拐点之间的破损程度得分gri
根据两个拐点之间的破损程度得分gri,计算得到零件的破损缺陷得分
Figure FDA0004055512140000069
当gz大于设定的第十判断阈值ts10时,判定零件存在破损。
10.根据权利要求9所述的方法,其特征在于,所述计算这两个拐点e1′i,e1′i+1之间的破损得分gmi包括:
根据以下公式计算gmi
Figure FDA00040555121400000610
其中
Figure FDA0004055512140000071
其中,ts7为设定的第七判断阈值;
Figure FDA0004055512140000072
A=y2m-y2m+k
B=x2m+k-x2m
C=x2my2m+k-x2m+ky2m
x2是拐点的横坐标,y2是拐点的纵坐标,m是拐点的序号,k是拐点序号的偏移量,q是gw的序号,其中,m、k和q均是大于等于0的整数。
11.根据权利要求9所述的方法,其特征在于,所述计算两个拐点之间的破损程度得分gri包括:
根据以下公式计算两个拐点之间的破损程度得分gri
Figure FDA0004055512140000073
其中,
Figure FDA0004055512140000074
grx,y表示元素(x,y)处的灰度值,
01={(x,y)|xd<x<xu,yd<y<yu},
当|x1i-x1i+1|<ts9 and|y1i-y1i|>ts9时,
xd=min(x1i,x1i+1)-c2
xu=max(x1i,x1i+1)+c2
yd=min(y1i,y1i+1),
yu=max(y1i,y1i+1),
当|x1i-x1i+1|>ts9 and|y1i-y1i|<ts9时,
xd=min(x1i,x1i+1)-c2
xu=max(x1i,x1i+1)+c2
yd=min(y1i,y1i+1)-c3
yu=max(y1i,y1i+1)+c3
c2为历史数据训练得到的第二修正常数,c3为历史数据训练得到的第三修正常数。
12.根据权利要求1所述的方法,其特征在于,判定所述零件有缺陷之后还包括:
自动生成零件缺陷预警并实时将图像及预警发送至相关管理部门。
13.一种零件缺陷检测装置,其特征在于,包括:
第一模块,被配置用于提取标准零件表面图像,根据所述标准零件表面图像确定标准拐点向量;
第二模块,被配置用于采集零件的表面图像,根据所述零件的表面图像确定检测拐点向量;
检测模块,被配置用于根据所述标准拐点向量和所述检测拐点向量判断所述零件是否有缺陷;
所述检测模块,还被配置用于按照以下方式根据所述标准拐点向量和所述检测拐点向量判断所述零件是否具有缺陷:
若根据所述标准拐点向量和所述检测拐点向量确定所述零件有下列情形之一或者组合,则判定所述零件有缺陷:
确定零件的左顶角存在破损;
确定零件制造错误;
确定零件存在破损;
所述第一模块,还被配置用于根据以下方式提取标准零件表面图像,根据所述标准零件表面图像确定标准拐点向量:
对所述标准零件表面图像进行灰度化处理得到第二标准零件表面图像,对所述第二标准零件表面图像内矩形零件区域的四个顶角作为标记,对图像采集设备进行相机标定;
获取相机内参数和失真系数并计算出不同相机角度下所述标记的旋转矩阵和平移矩阵;
在所述第二标准零件表面图像内搜索四个顶角标记,根据所述顶角标记对应的旋转矩阵和平移矩阵对标准零件表面图像内矩形零件区域进行旋转和平移,使得矩形零件区域左上方顶点为原点,所述矩形零件区域的宽和高分别平行于画面的X轴和Y轴,记录此时四个顶点坐标(0,0),(W,0),(W,H),(0,H),其中(0,0)为左上方顶点坐标,(W,0)为右上方顶点坐标,(W,H)为右下方顶点坐标,(0,H)为左下方顶点坐标;
根据所述四个顶点坐标对所述矩形零件区域进行归一化处理,得到第三标准零件表面图像;
提取所述第三标准零件表面图像每个像素点的灰度值,将像素点分为零件像素点集合和背景像素点集合,获取零件像素点集合的聚类中心gr1和背景像素点集合的聚类中心gr2,计算得到颜色阈值
Figure FDA0004055512140000091
提取所述第三标准零件表面图像每一个零件拐点坐标ei=(xi,yi),组成标准拐点向量(e1,...,en);
其中,n为向量的长度,i为拐点的序号,i大于等于1小于等于n,且x1=min(xi),y1=min(yi);
确定标准拐点向量之后还包括:
对于每个ei=(xi,yi),获取邻域(xi-0.5cw,yi-0.5ch,cw,ch)内的图像,计算该拐点的形状特征bi(b1i,b2i,b3i,b4i),其中(xi-0.5cw,yi-0.5ch)为区域左顶点坐标,cw为区域的宽,ch为区域的高;
其中:
Figure FDA0004055512140000101
Figure FDA0004055512140000102
Figure FDA0004055512140000103
Figure FDA0004055512140000104
Figure FDA0004055512140000105
Figure FDA0004055512140000106
Figure FDA0004055512140000107
Figure FDA0004055512140000108
Figure FDA0004055512140000109
ts1为设定的第一判断阈值,grx,y表示元素(x,y)处的灰度值。
14.一种零件缺陷检测装置,其特征在于,包括存储器、处理器和用户接口;
所述存储器,用于存储计算机程序;
所述用户接口,用于与用户实现交互;
所述处理器,用于读取所述存储器中的计算机程序,所述处理器执行所述计算机程序时,实现如权利要求1到12之一所述的零件缺陷检测方法。
15.一种处理器可读存储介质,其特征在于,所述处理器可读存储介质存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至12之一所述的零件缺陷检测方法。
CN202211569465.XA 2022-12-08 2022-12-08 一种零件缺陷检测方法、装置及存储介质 Active CN115564779B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211569465.XA CN115564779B (zh) 2022-12-08 2022-12-08 一种零件缺陷检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211569465.XA CN115564779B (zh) 2022-12-08 2022-12-08 一种零件缺陷检测方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN115564779A CN115564779A (zh) 2023-01-03
CN115564779B true CN115564779B (zh) 2023-05-26

Family

ID=84770611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211569465.XA Active CN115564779B (zh) 2022-12-08 2022-12-08 一种零件缺陷检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115564779B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958136B (zh) * 2023-09-19 2024-01-30 惠州市金箭精密部件有限公司 基于图像处理的丝杆螺纹生产缺陷检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022110219A1 (zh) * 2020-11-30 2022-06-02 京东方科技集团股份有限公司 一种显示面板的检测方法、装置及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530275B (zh) * 2016-10-11 2019-06-11 广州视源电子科技股份有限公司 元件错件检测方法和系统
CN114648480A (zh) * 2020-12-17 2022-06-21 杭州海康威视数字技术股份有限公司 表面缺陷检测方法、装置及系统
CN114841943A (zh) * 2022-04-25 2022-08-02 浙江大华智联有限公司 一种零件检测方法、装置、设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022110219A1 (zh) * 2020-11-30 2022-06-02 京东方科技集团股份有限公司 一种显示面板的检测方法、装置及系统

Also Published As

Publication number Publication date
CN115564779A (zh) 2023-01-03

Similar Documents

Publication Publication Date Title
CN111833306B (zh) 缺陷检测方法和用于缺陷检测的模型训练方法
CN111028213A (zh) 图像缺陷检测方法、装置、电子设备及存储介质
CN114897864B (zh) 基于数模信息的工件检测及缺陷判断方法
CN115641332B (zh) 产品边缘外观缺陷的检测方法及装置、介质、设备
JP5852919B2 (ja) ひび割れ検出方法
CN110660072B (zh) 一种直线边缘的识别方法、装置、存储介质及电子设备
CN115564779B (zh) 一种零件缺陷检测方法、装置及存储介质
CN114742789B (zh) 一种基于面结构光的通用零件拾取方法、系统及电子设备
CN113780484B (zh) 工业产品缺陷检测方法和装置
CN115984662B (zh) 一种多模态数据预训练及识别方法、装置、设备及介质
CN114266764A (zh) 一种印刷标签的字符完整性检测方法及其装置
JP2006275952A (ja) パターン評価方法、パターン位置合わせ方法およびプログラム
CN116342585A (zh) 一种产品缺陷检测方法、装置、设备及存储介质
CN117557565B (zh) 一种锂电池极片的检测方法及其装置
CN113705564B (zh) 一种指针式仪表识别读数方法
CN114399505A (zh) 工业检测中的检测方法、检测装置
CN117058411B (zh) 电池棱边外形瑕疵识别方法、装置、介质和设备
CN113989384A (zh) 相机标定方法、裁切数据生成方法、装置、设备及介质
CN116310424B (zh) 基于图像识别的设备质量评估方法、装置、终端和介质
CN113822836B (zh) 标记图像的方法
CN115719326A (zh) Pcb板缺陷检测方法及装置
CN112329845A (zh) 更换纸币的方法、装置、终端设备及计算机可读存储介质
CN116612116A (zh) 一种基于深度学习图像分割的晶体外观缺陷检测方法
JP4814116B2 (ja) 実装基板外観検査方法
CN113378847B (zh) 字符分割方法、系统、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Building 7, No. 124 Dongbao Road, Dongcheng Street, Dongguan City, Guangdong Province, 523015

Patentee after: Guangdong Prophet Big Data Co.,Ltd.

Country or region after: China

Address before: Room 102, Building 7, No. 124, Dongbao Road, Dongcheng Street, Dongguan City, Guangdong Province, 523015

Patentee before: Dongguan prophet big data Co.,Ltd.

Country or region before: China

CP03 Change of name, title or address