CN111539927B - 汽车塑料组合件紧固卡扣缺装检测装置的检测方法 - Google Patents
汽车塑料组合件紧固卡扣缺装检测装置的检测方法 Download PDFInfo
- Publication number
- CN111539927B CN111539927B CN202010314388.8A CN202010314388A CN111539927B CN 111539927 B CN111539927 B CN 111539927B CN 202010314388 A CN202010314388 A CN 202010314388A CN 111539927 B CN111539927 B CN 111539927B
- Authority
- CN
- China
- Prior art keywords
- image
- algorithm
- assembly
- value
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/414—Structure of the control system, e.g. common controller or multiprocessor systems, interface to servo, programmable interface controller
- G05B19/4147—Structure of the control system, e.g. common controller or multiprocessor systems, interface to servo, programmable interface controller characterised by using a programmable interface controller [PIC]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
- G01N2021/8861—Determining coordinates of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Analytical Chemistry (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Pathology (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Manufacturing & Machinery (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种汽车塑料组合件紧固卡扣缺装检测装置的检测过程及算法,所述塑料组合件是由操作工人将若干塑料基础件经紧固卡扣组合而成,所述检测装置是由传输带、电机、变频器、接近开关传感器、气缸、电磁阀、摄像机、计算机、PLC控制器、报警装置、触摸屏组成;通过摄像机和自动识别算法自动判断塑料组合件是否缺装,实现自动识别,并且将判断后的信号发送给PLC控制器控制气缸对塑料组合件进行拦截并且通过报警装置进行报警并停机;通过操作人员将缺装的塑料组合件取出,装置恢复工作,实现制动化控制,通过采用该装置,提高对塑料组合件的识别效率和准确率,减少人工参与,降低成本。
Description
技术领域
本发明属于机械控制领域,具体涉及一种塑料组合件紧固卡扣缺装检测装置的检测方法及算法。
背景技术
汽车塑料组合件,是指用于汽车装饰的塑料组合件。首先按塑料件组装工艺要求,操作工人把几个汽车塑料基础件在若干个连接点用紧固卡扣连接组合在一起,一般情况,塑料基础件与紧固卡扣是反色差,且大部分塑料件是深色,紧固卡扣是浅色。
传统的检测,目前采用人工目测,主要检查紧固卡扣是否缺装,一旦紧固卡扣缺装,直接影响塑料组合件的牢固性,间接影响汽车整车的稳定性、噪声等;因此,整装汽车企业要求塑料组合件的紧固卡扣一个不能缺少。
通过人工检测,每天面对成千上万件汽车塑料组合件,总在目测每个塑料组合件的紧固卡扣数,单调、枯燥而无技术性,容易视觉疲劳;再加上检测工人责任性的差异性,不可避免的出现差错;检测的效率低。
发明内容
发明目的:本发明的目的是为了解决现有技术中的不足,提供了塑料组合件紧固卡扣缺装检测装置的检测方法及算法。
技术方案:本发明所述的一种汽车塑料组合件紧固卡扣缺装的检测装置的检测方法,具体如下:
步骤一、将汽车塑料组合件的标准模板,放在待检测位置,启动计算机视觉系统,自动识别汽车塑料组合件几何中心坐标、组合件偏移θ0角,技术人员操作鼠标引导确认各紧固卡扣的中心坐标点,上述的信息将作为该类标准模板组合件的标准信息储存在计算机中;
步骤二、传输带上的接近开关传感器,一旦检测到汽车塑料组合件,自动启动计算机视觉识别系统,获取被测汽车塑料组合件的外框信息四个边角点坐标、塑料组合件几何中心坐标及组合件偏移θ1角;
步骤三、将步骤1获取的标准模板几何中心坐标与被测塑料组合件的几何中心坐标比较,对标准模板上紧固扣件的位置坐标进行平移,使其与被测塑料组合件的紧固扣件的位置虚拟重合;
步骤四、将步骤1获取的标准模板几何中心坐标旋转偏移θ角,其标准模板上各紧固扣件,也同时旋转偏移θ角,与被测塑料组合件几何重合;旋转偏移θ角后的标准模板上各紧固扣件的坐标,也是被测塑料组合件各紧固扣件的坐标;
设标准汽车塑料组合件紧固卡扣坐标为(x′,y′),变换后坐标为(x,y),旋转中心为(x0,y0),旋转角度为θ,标准模板几何中心与被测塑料组合件几何中心的坐标差值为(xa,ya);
通过以上变换,紧固卡扣坐标便能跟着组合件一起偏移,实现了对组合件紧固卡扣位置的重新定位;
步骤五、以重新定位的各紧固卡扣的位置坐标作为中心点,计算该中心点周围正方形小区域的图像像素累加和计算;通过所求得的各紧固卡扣的中心位置周围正方形小区域的图像像素累加和的值,判断是否紧固卡扣是否缺装;
设正方形小区域边长为L,紧固卡扣的中心位置为(x0,y0),则正方形左上角坐标P为:
P=(x0-L/2,y0+L/2)
由左上角坐标P和边长L,便可构建此正方形小区域;该正方形小区域可看作L×L的矩阵,并计算所有像素点累加和S:
其中:aij为像素值,P点坐标为P(px,py),
S≥Thresh,则该区城有紧固卡扣;S<Thresh,则该区城无紧固卡扣;
Thresh值、L值,可触摸屏界面设置。
进一步的,所述偏移θ角度的计算,通过寻找到的边角点确定组合件的水平偏移角度,水平线段的端点为短边两侧的两个边角点的中点;
设其左侧点为(xl,yl),右侧点为(xr,yr);
斜率计算:
组合件实际偏移角度计算:θ1=tan-1k
要注意的是,相对偏移θ角度是当前被测组合件的角度θ1减去标准件所测角度θ0,即:
θ=tan-1k-θ0。
进一步的,所述步骤一、步骤二中计算机视觉系统自动识别的算法如下:
a)模糊与灰度化,模糊是为了平滑组合件的边缘,灰度化有利于模糊处理;
灰度化:将三通道的RGB图像转换为单通道的灰度图像,其方法为:
①计算一个像素RGB三通道的算术平均值,设RGB三通道值为R、G、B,计算后灰度值为G
G=(R+B+G)/3
②按照该计算方式,遍历图像中的所有像素,便能将一副RGB图像转换为灰度图像;
模糊:使用高斯模糊,建立一个高斯模糊的内核,σ值为1.5;
归一化后整个矩阵的和为1,这样卷积后的图像与原图像相比就不会出现整体变亮或变暗的情况;σ的大小代表着离散程度的高低;
设图像矩阵为h,原图像矩阵为x,结果为Y;卷积的结果发送给中心像素,遍历整幅原图像,便可以得到模糊后图像Y:
Y(m,n)=x(i,j)*h(m-i,n-j)=∑x(i,j)h(m-i,n-j)
i,j,为任何可能的图像坐标点;
b)二值化,二值化是为了获得图像大致轮廓;
二值化,这里使得过门限的值为最大值,其他值为0;设门限为thresh,输出图片为dst,输入图片为src;
thresh值的大小会影响二值化后的图像质量,一般取60~100:
c)开运算与fillHole算法,这两个算法是为了完善图像二值化后轮廓;
开运算:其实就是先腐蚀后膨胀的操作;其作用是去除噪声,平滑较大物体的边界的同时并不明显改变其面积;
①膨胀的数学表达:
以B关于它原点的映像,并且以z对映像进行平移,B对A的膨胀是所有位移z的集合;
②腐蚀的数学表达:
B对A的腐蚀是一个用z平移的B包含在A中所有点z的集合;
fillHole算法:该算法为孔洞填充函数,在这里用于填充开运算后图像的孔洞;
设原图像为A;
1)首先A向外延展两个像素,并将值填充为背景色(0),标记为B;
2)使用floodFill函数将B的大背景填充,填充值为前景色(255),种子点为(0,0)即可(步骤1可以确保(0,0)点位于大背景),标记为C;
3)将填充好的图像裁剪为原图像大小(去掉延展区域),标记为D;
4)将D取反与A相加即得填充的图像,E=A|(~D);
d)使用空间矩的一阶矩计算二值化后轮廓的几何中心点;
空间矩:针对一幅图像,把像素的坐标看成是一个二维随机变量(x,y),那么一副灰度图可以用二维灰度图密度函数来表示,因此可以用矩来描述灰度图像的特征,当该灰度图像经过二值化处理,其密度处处相等;
大小为M×N的数字图像f(x,y)的二维(p+1)阶定义为:
对应的中心矩
空间矩的实质为面积或者质量,可以通过一阶矩计算重心;
重心:
由于该图像已经被二值化过,所以计算所得的重心就是组合件几何中心点;
e)Canny算法、FindContour与DrawContour算法,用于提取出图像轮廓,将轮廓以白线画出;
f)findHarris算法,该算法用于寻找轮廓的特征边角点,根据该组合件的特征,选择它的四个边角作为特征点,拥有了这四个边角的坐标数据,就可以继续下一步计算;
计算机视觉系统自动计算被测汽车塑料组合件与标准位置的偏移θ角,θ=θ1-θ0。
进一步的,所述e)中Canny算法、FindContour与DrawContour算法,具体如下:
Canny算法:用于第一步提取二值化图像的边缘,生成的图像;
其算法逻辑为:
1)低于阈值1的像素点会被认为不是边缘;
2)高于阈值2的像素点会被认为是边缘;
3)在阈值1和阈值2之间的像素点,若与第2)步得到的边缘像素点相邻,则被认为是边缘,否则被认为不是边缘;
FindContour与DrawContour算法:两个算法通常同时出现,前者用于寻找轮廓,后者用于画出轮廓;FindContour用来对数字二值图像进行拓扑分析;该算法是在确定二值图像边界的围绕关系,即确定外边界、孔边界以及他们的层次关系,由于这些边界和原图的区域具有一一对应关系,外边界对应像素值为1的连通区域,孔边界对应像素值为0的区域,因此用边界来表示原图;
FindContour算法:
①每次行扫描,遇到以下两种情况,确定外边界和孔边界:
(1)f(i,j-1)=0,f(i,j)=1f(i,j)是外边界的起始点
(2)f(i,j)>=1,f(i,j+1)=0f(i,j)是孔边界的起始点
②然后给它编号
在这里分配一个唯一的标示符给新发现的边界,叫做NBD;初始时NBD=1,每次发现一个新边界加1;在这个过程中,遇到f(p,q)=1,f(p,q+1)=0时,将f(p,q)置为-NBD,就是右边边界的终止点;
③本算法会生成一个保存了一组由连续的Point点构成的点的集合的向量,每一组Point点集就是一个轮廓;
DrawContour算法:该算法可以选择性的绘制图像的轮廓,将一些不符合条件(如不闭合,不是最外侧轮廓)的轮廓剔除。
进一步的,所述f)findHarris算法中关于边角点的具体描述可以有几种:
1)一阶导数(即灰度的梯度)的局部最大所对应的像素点;
2)两条及两条以上边缘的交点;
3)图像中梯度值和梯度方向的变化速率都很高的点;
4)边角点处的一阶导数最大,二阶导数为零,指示物体边缘变化不连续的方向;
边角点代表了图像像素梯度的变化,考虑到一个灰度图像I.划动窗口w(x,y)计算像素灰度变化;
其中,w(x,y)是窗口所在坐标,I(x,y)是图像上坐标点的灰度强度,I(x+u,y+v)是窗口上变化的坐标点上的灰度强度;
为了寻找带边角点的窗口,我们搜索像素灰度变化较大的窗口;于是,我们期望最大化以下式子:
使用泰勒展开式:
式子展开为:
将上式表达为矩阵的形式,表达式可以写为:
表示为:
可得等式:
每个窗口中计算一个值,这个值决定了这个窗口中是否包含了边角点
R=det(M)-k(trace(M))2
其中:
det(M)=λ1λ2
trace(M)=λ1+λ2
其中,λ1与λ2是M的特征值,可以根据M的特征值λ1与λ2来判断边角点是否存在;
一个窗口,它的分数R大于一个特定值,这个窗口被认为是”边角点”,上面E(u,v)看出,无论u,v取何值,需要E尽可能的大。
有益效果:本发明揭示了塑料组合件紧固卡扣缺装检测装置的检测方法及算法,其效果如下:
通过摄像机和自动识别算法自动判断塑料组合件是否缺装,实现在线自动识别检测,并且将判断后的信号发送给PLC控制器控制气缸对塑料组合件进行拦截并且通过报警装置进行报警并停机;通过操作人员将缺装的塑料组合件取出,装置恢复工作,实现制动化控制,通过采用该装置,提高对塑料组合件的识别效率和准确率,减少人工参与,降低成本。
附图说明
图1为本发明检测装置的机械结构示意图;
图2为本发明检测装置的电气结构示意图;
图3为本发明检测装置的检测流程示意图;
图4为本发明检测装置的四边算法流程示意图;
图5为未处理前摄像机拍摄的实物图;
图6为模糊与灰度化处理后的图像;
图7为开运算前图像;
图8为开运算后图像,
图9为开运算与fillHole算法后图像;
图10为组合件几何中心点图像;
图11为使用Canny算法提取轮廓后图像;
图12为中心留有孔洞的Canny后图像;
图13为忽略了孔洞只保留最外层轮廓的DrawContour后图像;
图14为偏移θ角度计算的图像;
1、传输带;2、塑料组合件;3、接近开关传感器;4、气缸;5、摄像机;6、电机;7、变频器;8、电磁阀;9、报警装置;10、触摸屏;11、计算机;12摄像机;13、PLC控制器。
具体实施方式
如图1-2所示的一种汽车塑料组合件紧固卡扣缺装的检测装置,所述塑料组合件2是由操作工人将若干塑料基础件经紧固卡扣组合而成,所述检测装置是由传输带1、电机6、变频器7、接近开关传感器3、气缸4、电磁阀8、摄像机5、计算机11、PLC控制器13、报警装置9、触摸屏10组成;所述塑料组合件2放置在传输带1上,所述接近开关传感器3安装在传输带1的支架上,所述气缸4分别设置在传输带1两侧的支架上,所述摄像机5设置在带有气缸4之间的传输带1的上方;
所述PLC控制器13输出端分别与电磁阀8、变频器7、报警装置9连接,所述接近开关与PLC控制器13输入端连接,所述电机6与变频器7连接,电机6驱动传输带1工作;所述气缸4与电磁阀8的气路部分连接,所述触摸屏10与PLC控制器13、计算机11与PLC控制器13、摄像机5与计算机11之间、计算机11与触摸屏10之间通过网线通信。
进一步的,所述触摸屏10,用于控制传输带1的启停、调节传输带1的速度,统计被检测塑料组合件2的总数、合格数、不合格数,设置控制系统参数。
进一步的,所述电磁阀8的气路部分的输入端气源连接,输入端与气缸4连接;电磁阀8中的线圈与PLC控制器13连接。
一种汽车塑料组合件2紧固卡扣缺装的检测装置的工作方法,具体如下:
PLC控制器13通过变频器7驱动电机6控制传输带1工作;PLC控制器13通过电磁阀8控制气缸4工作;
塑料组合件2放在传输带1上;
接近开关传感器3,检测到塑料组合件2,接近开关传感器3将信号送到PLC控制器13;PLC控制器13将信号发送给计算机11进行处理,计算机11控制摄像机5拍摄传输带1上的塑料组合件2图像,摄像机5拍摄后的图像发送给计算机11,计算机11通过视觉检测算法判断塑料组合件2是否缺装;
缺装时,计算机11将缺装信号发送给PLC控制器13进行处理,PLC控制器13控制电磁阀8工作,使气缸4中的气缸4杆处于伸出状态,气缸4杆挡住塑料组合件2向前运动,同时PLC控制器13控制传输带1停止工作已经控制报警装置9发出报警,操作人员将缺装的塑料组合件2取出后,装置恢复工作,继续检测下一个塑料组合件2;
不缺装时,计算机11将不缺装信号发送给PLC控制器13进行处理,PLC控制器13控制电磁阀8工作,使气缸4中的气缸4杆处于缩回状态,塑料组合件2随着传输带1向前继续传输到下一工序。
计算机11视觉检测算法:
计算机11视觉己广泛应用于工业产品的在线检测,计算机11视觉在线检测属于非接触检测,是计算机11视觉技术的应用,通过计算机11视觉对汽车塑料紧固组件的紧固卡扣是否缺装进行在线检测。
检测前,先将汽车塑料组合件2的标准模板,放在待检测位置,启动计算机11视觉系统,自动识别汽车塑料组合件2几何中心坐标、组合件偏移θ0角(通过计算机11视觉检测算法识别),技术人员操作鼠标引导确认各紧固卡扣的中心坐标点,上述的信息将作为该类标准模板组合件的标准信息储存在计算机11中。
工作时,传输带1上的接近开关传感器3,一旦检测到汽车塑料组合件2,自动启动计算机11视觉识别系统,获取被测汽车塑料组合件2的外框信息四个边角点坐标、塑料组合件2几何中心坐标及组合件偏移θ1角,(通过计算机11视觉检测算法识别)进行识别对比。
如图2-3所示,检测装置的检测过程如下:
步骤一、汽车塑料组合件的标准模板,放在待检测位置,启动计算机视觉系统,自动识别汽车塑料组合件几何中心坐标、组合件偏移θ0角(其识别方法同步骤2)),技术人员操作鼠标引导确认各紧固卡扣的中心坐标点,上述的信息将作为该类标准模板组合件的标准信息储存在计算机中。
步骤二、传输带上的接近开关传感器,一旦检测到汽车塑料组合件,自动启动计算机视觉识别系统,获取被测汽车塑料组合件的外框信息四个边角点坐标、塑料组合件几何中心坐标及组合件偏移θ1角。计算机视觉自动识别算法如下:
a)模糊与灰度化,模糊是为了平滑组合件的边缘,灰度化有利于模糊处理。
灰度化:将三通道的RGB图像转换为单通道的灰度图像,其方法为:
①计算一个像素RGB三通道的算术平均值,设RGB三通道值为R、G、B,计算后灰度值为G
G=(R+B+G)/3
②按照该计算方式,遍历图像中的所有像素,便能将一副RGB图像转换为灰度图像。
模糊:使用高斯模糊,建立一个高斯模糊的内核,σ值为1.5。
归一化后整个矩阵的和为1,这样卷积后的图像与原图像相比就不会出现整体变亮或变暗的情况。σ的大小代表着离散程度的高低。
设图像矩阵为h,原图像矩阵为x,结果为Y。卷积的结果发送给中心像素,遍历整幅原图像,便可以得到模糊后图像Y:
Y(m,n)=x(i,j),h(m-i,n-j)=∑x(i,j)h(m-i,n-j)
i,j,为任何可能的图像坐标点。
如图5未处理前摄像机拍摄的实物图;
如图6为模糊与灰度化处理后的图像;
b)二值化,二值化是为了获得图像大致轮廓。
二值化,这里使得过门限的值为最大值,其他值为0。设门限为thresh,输出图片为dst,输入图片为src。
thresh值的大小会影响二值化后的图像质量,一般取60~100:
c)开运算与fillHole算法,这两个算法是为了完善图像二值化后轮廓;如图7所示开运算前图像,如图8所示开运算后图像,
开运算:其实就是先腐蚀后膨胀的操作。其作用是去除噪声,平滑较大物体的边界的同时并不明显改变其面积。
①膨胀的数学表达:
以B关于它原点的映像,并且以z对映像进行平移,B对A的膨胀是所有位移z的集合。
②腐蚀的数学表达:
B对A的腐蚀是一个用z平移的B包含在A中所有点z的集合。
fillHole算法:该算法为孔洞填充函数,在这里用于填充开运算后图像的孔洞。
设原图像为A。
1)首先A向外延展两个像素,并将值填充为背景色(0),标记为B。
2)使用floodFill函数将B的大背景填充,填充值为前景色(255),种子点为(0,0)即可(步骤1可以确保(0,0)点位于大背景),标记为C。
3)将填充好的图像裁剪为原图像大小(去掉延展区域),标记为D。
4)将D取反与A相加即得填充的图像,E=A|(~D)。
如图9所示开运算与fillHole算法后图像;
d)使用空间矩的一阶矩计算二值化后轮廓的几何中心点。
空间矩:针对一幅图像,我们把像素的坐标看成是一个二维随机变量(x,y),那么一副灰度图可以用二维灰度图密度函数来表示,因此可以用矩来描述灰度图像的特征,当该灰度图像经过二值化处理,其密度处处相等。
大小为M×N的数字图像f(x,y)的二维(p+1)阶定义为:
对应的中心矩
空间矩的实质为面积或者质量,可以通过一阶矩计算重心。
重心:
由于该图像已经被二值化过,所以计算所得的重心(/x,/y)就是组合件几何中心点,如图10所示。
e)Canny算法、FindContour与DrawContour算法,用于提取出图像轮廓,将轮廓以白线画出。
Canny算法:用于第一步提取二值化图像的边缘,生成的图像如图11所示。
其算法逻辑为:
1)低于阈值1的像素点会被认为不是边缘;
2)高于阈值2的像素点会被认为是边缘;
3)在阈值1和阈值2之间的像素点,若与第2)步得到的边缘像素点相邻,则被认为是边缘,否则被认为不是边缘。
FindContour与DrawContour算法:两个算法通常同时出现,前者用于寻找轮廓,后者用于画出轮廓。FindContour用来对数字二值图像进行拓扑分析。该算法是在确定二值图像边界的围绕关系,即确定外边界、孔边界以及他们的层次关系,由于这些边界和原图的区域具有一一对应关系(外边界对应像素值为1的连通区域,孔边界对应像素值为0的区域),因此我们就可以用边界来表示原图。
FindContour算法:
①每次行扫描,遇到以下两种情况,确定外边界和孔边界:
(1)f(i,j-1)=0,f(i,j)1f(i,j)是外边界的起始点
(2)f(i,j)>=1,f(i,j+1)=0f(i,j)是孔边界的起始点
②然后给它编号
在这里分配一个唯一的标示符给新发现的边界,叫做NBD。初始时NBD=1,每次发现一个新边界加1。在这个过程中,遇到f(p,q)=1,f(p,q+1)=0时,将f(p,q)置为-NBD,就是右边边界的终止点。
③本算法会生成一个保存了一组由连续的Point点构成的点的集合的向量,每一组Point点集就是一个轮廓。
DrawContour算法:该算法可以选择性的绘制图像的轮廓,将一些不符合条件(如不闭合,不是最外侧轮廓)的轮廓剔除。
f)findHarris算法,该算法用于寻找轮廓的特征边角点,根据该组合件的特征,选择它的四个边角作为特征点,拥有了这四个边角的坐标数据,就可以继续下一步计算。
关于边角点的具体描述可以有几种:
1)一阶导数(即灰度的梯度)的局部最大所对应的像素点;
2)两条及两条以上边缘的交点;
3)图像中梯度值和梯度方向的变化速率都很高的点;
4)边角点处的一阶导数最大,二阶导数为零,指示物体边缘变化不连续的方向。
边角点代表了图像像素梯度的变化,考虑到一个灰度图像I.划动窗口w(x,y)计算像素灰度变化。
其中,w(x,y)是窗口所在坐标,I(x,y)是图像上坐标点的灰度强度,I(x+u,y+v)是窗口上变化的坐标点上的灰度强度。
为了寻找带边角点的窗口,我们搜索像素灰度变化较大的窗口。于是,我们期望最大化以下式子:
使用泰勒展开式:
式子展开为:
将上式表达为矩阵的形式,表达式可以写为:
表示为:
可得等式:
每个窗口中计算一个值,这个值决定了这个窗口中是否包含了边角点
R=det(M)-k(trace(M))2
其中:
det(M)=λ1λ2
trace(M)=λ1+λ2
其中,λ1与λ2是M的特征值,可以根据M的特征值λ1与λ2来判断边角点是否存在;
一个窗口,它的分数R大于一个特定值,这个窗口被认为是”边角点”,上面E(u,v)可以看出,无论u,v取何值,我们需要E尽可能的大;
计算机视觉系统自动计算被测汽车塑料组合件与标准位置的偏移θ角,θ=θ1-θ0。
偏移θ角度的计算,通过寻找到的边角点确定组合件的水平偏移角度,下图中水平线段的端点为短边两侧的两个边角点的中点。
偏移角度为9°
如图14所示,蓝色的线便是相对于组合件的水平线,设其左侧点为(xl,yl),右侧点为(xr,yr)。
斜率计算:
图片中组合件实际偏移角度计算:θ1=tan-1k
要注意的是,相对偏移θ角度是当前被测组合件的角度θ1减去标准件所测角度θ0,即:
θ=tan-1k-θ0
(在实际工程中,汽车塑料组合件的偏移θ1角度不会过大,最多为15°)。
步骤三、将步骤一获取的标准模板几何中心坐标与被测塑料组合件的几何中心坐标比较,对标准模板上紧固扣件的位置坐标进行平移,使其与被测塑料组合件的紧固扣件的位置虚拟重合。
步骤四、将步骤一获取的标准模板几何中心坐标旋转偏移θ角,其标准模板上各紧固扣件,也同时旋转偏移θ角,与被测塑料组合件几何重合。旋转偏移θ角后的标准模板上各紧固扣件的坐标,也是被测塑料组合件各紧固扣件的坐标。
设标准汽车塑料组合件紧固卡扣坐标为(x′,y′),变换后坐标为(x,y),旋转中心为(x0,y0),旋转角度为θ,标准模板几何中心与被测塑料组合件几何中心的坐标差值为(xa,ya)
通过以上变换,紧固卡扣坐标便能跟着组合件一起偏移,实现了对组合件紧固卡扣位置的重新定位。
步骤五、以重新定位的各紧固卡扣的位置坐标作为中心点,计算该中心点周围正方形小区域的图像像素累加和计算。通过所求得的各紧固卡扣的中心位置周围正方形小区域的图像像素累加和的值,判断是否紧固卡扣是否缺装。
设正方形小区域边长为L,紧固卡扣的中心位置为(x0,y0),则正方形左上角坐标P为:
P=(x0-L/2,y0+L/2)
由左上角坐标P和边长L,便可构建此正方形小区域。该正方形小区域可看作L×L的矩阵,并计算所有像素点累加和S:
其中:aij为像素值,P点坐标为P(px,py),
S≥Thresh,则该区城有紧固卡扣;S<Thresh,则该区城无紧固卡扣;
Thresh值、L值,可触摸屏界面设置。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。
Claims (4)
1.一种汽车塑料组合件紧固卡扣缺装的检测装置的检测方法,其特征如下,包含以下步骤:
步骤一、将汽车塑料组合件的标准模板,放在待检测位置,启动计算机视觉系统,自动识别汽车塑料组合件几何中心坐标、标准件所测θ0角,技术人员操作鼠标引导确认各紧固卡扣的中心坐标点,上述的信息将作为该类标准模板组合件的标准信息储存在计算机中;
步骤二、传输带上的接近开关传感器,一旦检测到汽车塑料组合件,自动启动计算机视觉识别系统,获取被测汽车塑料组合件的外框信息四个边角点坐标、塑料组合件几何中心坐标及组合件偏移θ1角;
步骤三、将步骤一获取的标准模板几何中心坐标与被测塑料组合件的几何中心坐标比较,对标准模板上紧固扣件的位置坐标进行平移,使其与被测塑料组合件的紧固扣件的位置虚拟重合;
步骤四、将步骤一获取的标准模板几何中心坐标旋转偏移θ角,其标准模板上各紧固扣件,也同时旋转偏移θ角,与被测塑料组合件几何重合;旋转偏移θ角后的标准模板上各紧固扣件的坐标,也是被测塑料组合件各紧固扣件的坐标;
设标准汽车塑料组合件紧固卡扣坐标为(x′,y′),变换后坐标为(x,y),旋转中心为(x0,y0),旋转角度为θ,标准模板几何中心与被测塑料组合件几何中心的坐标差值为(xa,ya);
通过以上变换,紧固卡扣坐标便能跟着组合件一起偏移,实现了对组合件紧固卡扣位置的重新定位;
步骤五、以重新定位的各紧固卡扣的位置坐标作为中心点,计算该中心点周围正方形小区域的图像像素累加和计算;通过所求得的各紧固卡扣的中心位置周围正方形小区域的图像像素累加和的值,判断是否紧固卡扣是否缺装;
设正方形小区域边长为L,紧固卡扣的中心位置为(x0,y0),则正方形左上角坐标P为:
P=(x0-L/2,y0+L/2)
由左上角坐标P和边长L,便可构建此正方形小区域;该正方形小区域可看作L×L的矩阵,并计算所有像素点累加和S:
其中:aij为像素值,P点坐标为P(px,py),S≥Thresh,则该区域有紧固卡扣;S<Thresh,则该区域无紧固卡扣;Thresh值、L值,可触摸屏界面设置;
偏移θ角度的计算,通过寻找到的边角点确定组合件的水平偏移角度,水平线段的端点为短边两侧的两个边角点的中点;
设其左侧点为(xl,yl),右侧点为(xr,yr);
斜率计算:
组合件实际偏移角度计算:θ1=tan-1k
要注意的是,偏移θ角度是当前组合件偏移角度θ1减去标准件所测角度θ0,即:
θ=tan-1k-θ0。
2.根据权利要求1所述的汽车塑料组合件紧固卡扣缺装的检测装置的检测方法,其特征如下:所述步骤一、步骤二中计算机视觉系统自动识别的算法如下:
a)模糊与灰度化,模糊是为了平滑组合件的边缘,灰度化有利于模糊处理;
灰度化:将三通道的RGB图像转换为单通道的灰度图像,其方法为:
①计算一个像素RGB三通道的算术平均值,设RGB三通道值为R、G、B,计算后灰度值为G
G=(R+B+G)/3
②按照该计算方式,遍历图像中的所有像素,便能将一副RGB图像转换为灰度图像;
模糊:使用高斯模糊,建立一个高斯模糊的内核,σ值为1.5;
归一化后整个矩阵的和为1,这样卷积后的图像与原图像相比就不会出现整体变亮或变暗的情况;σ的大小代表着离散程度的高低;
设图像矩阵为h,原图像矩阵为x,结果为Y;卷积的结果发送给中心像素,遍历整幅原图像,便可以得到模糊后图像Y:
Y(m,n))=x(i,j)*h(m-i,n-j)=∑x(i,j)h(m-i,n-j)i,j,为任何可能的图像坐标点;
b)二值化,二值化是为了获得图像大致轮廓;
二值化,这里使得过门限的值为最大值,其他值为0;设门限为thresh,输出图片为dst,输入图片为src;
thresh值的大小会影响二值化后的图像质量,取60~100:
c)开运算与fillHole算法,这两个算法是为了完善图像二值化后轮廓;
开运算:其实就是先腐蚀后膨胀的操作;其作用是去除噪声,平滑较大物体的边界的同时并不明显改变其面积;
①膨胀的数学表达:
以B关于它原点的映像,并且以z对映像进行平移,B对A的膨胀是所有位移z的集合;
式中A为原始图像,B为膨胀核,为膨胀核的锚点;膨胀是求局部最大值的操作,B对A的膨胀是所有锚点/>在A中的位移z的集合;
②腐蚀的数学表达:
B对A的腐蚀是一个用z平移的B包含在A中所有点z的集合;
fillHole算法:该算法为孔洞填充函数,在这里用于填充开运算后图像的孔洞;
设原图像为A;
1)首先A向外延展两个像素,并将值填充为背景色(0),标记为B;
2)使用floodFill函数将B的大背景填充,填充值为前景色(255),种子点为(0,0)即可,步骤一可以确保(0,0)点位于大背景,标记为C;
3)将填充好的图像裁剪为原图像大小,标记为D;
4)将D取反与A相加即得填充的图像,E=A|(~D);
d)使用空间矩的一阶矩计算二值化后轮廓的几何中心点;
空间矩:针对一幅图像,把像素的坐标看成是一个二维随机变量(x,y),那么一副灰度图可以用二维灰度图密度函数来表示,因此可以用矩来描述灰度图像的特征,当该灰度图像经过二值化处理,其密度处处相等;
大小为M×N的数字图像f(x,y)的二维(p+1)阶定义为:
对应的中心矩
空间矩的实质为面积或者质量,可以通过一阶矩计算重心;
重心:
由于该图像已经被二值化过,所以计算所得的重心就是组合件几何中心点;
e)Canny算法、FindContour与DrawContour算法,用于提取出图像轮廓,将轮廓以白线画出;
f)findHarris算法,该算法用于寻找轮廓的特征边角点,根据该组合件的特征,选择它的四个边角作为特征点,拥有了这四个边角的坐标数据,就可以继续下一步计算;
计算机视觉系统自动计算被测汽车塑料组合件与标准位置的偏移θ角,θ=θ1-θ0。
3.根据权利要求2所述的汽车塑料组合件紧固卡扣缺装的检测装置的检测方法,其特征如下:所述e)中Canny算法、FindContour与DrawContour算法,具体如下:
Canny算法:用于第一步提取二值化图像的边缘,生成的图像;
其算法逻辑为:
1)低于阈值1的像素点会被认为不是边缘;
2)高于阈值2的像素点会被认为是边缘;
3)在阈值1和阈值2之间的像素点,若与第2)步得到的边缘像素点相邻,则被认为是边缘,否则被认为不是边缘;
FindContour与DrawContour算法:两个算法通常同时出现,前者用于寻找轮廓,后者用于画出轮廓;FindContour用来对数字二值图像进行拓扑分析;该算法是在确定二值图像边界的围绕关系,即确定外边界、孔边界以及他们的层次关系,由于这些边界和原图的区域具有一一对应关系,外边界对应像素值为1的连通区域,孔边界对应像素值为0的区域,因此用边界来表示原图;
FindContour算法:
①每次行扫描,遇到以下两种情况,确定外边界和孔边界:
(1)f(i,j-1)=0,f(i1j)=1f(i,j)是外边界的起始点
(2)f(i,j)>=1,f(i,j+1)=0f(i,j)是孔边界的起始点
②然后给它编号
在这里分配一个唯一的标示符给新发现的边界,叫做NBD;初始时NBD=1,每次发现一个新边界加1;在这个过程中,遇到f(p,q)=1,f(p,q+1)=0时,将f(p,q)置为-NBD,就是右边边界的终止点;
③本算法会生成一个保存了一组由连续的Point点构成的点的集合的向量,每一组Point点集就是一个轮廓;
DrawContour算法:该算法可以选择性的绘制图像的轮廓,将一些不符合条件的轮廓剔除。
4.根据权利要求2所述的汽车塑料组合件紧固卡扣缺装的检测装置的检测方法,其特征如下:所述f)findHarris算法中关于边角点的具体描述可以有几种:
1)一阶导数的局部最大所对应的像素点;
2)两条及两条以上边缘的交点;
3)图像中梯度值和梯度方向的变化速率都很高的点;
4)边角点处的一阶导数最大,二阶导数为零,指示物体边缘变化不连续的方向;
边角点代表了图像像素梯度的变化,考虑到一个灰度图像I.划动窗口w(x,y)计算像素灰度变化;
其中,w(x,y)是窗口所在坐标,I(x,y)是图像上坐标点的灰度强度,I(x+u,y+v)是窗口上变化的坐标点上的灰度强度;
为了寻找带边角点的窗口,搜索像素灰度变化较大的窗口;于是,期望最大化以下式子:
使用泰勒展开式:
式子展开为:
将上式表达为矩阵的形式,表达式可以写为:
表示为:
可得等式:
每个窗口中计算一个值,这个值决定了这个窗口中是否包含了边角点
R=det(M)-k(trace(M))2
其中:
det(M)=λ1λ2
trace(M)=λ1+λ2
其中,λ1与λ2是M的特征值,可以根据M的特征值λ1与λ2来判断边角点是否存在;
一个窗口,它的分数R大于一个特定值,这个窗口被认为是存在“边角点”,上面E(u,v)看出,无论u,v取何值,需要E尽可能的大。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010314388.8A CN111539927B (zh) | 2020-04-20 | 2020-04-20 | 汽车塑料组合件紧固卡扣缺装检测装置的检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010314388.8A CN111539927B (zh) | 2020-04-20 | 2020-04-20 | 汽车塑料组合件紧固卡扣缺装检测装置的检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111539927A CN111539927A (zh) | 2020-08-14 |
CN111539927B true CN111539927B (zh) | 2023-07-18 |
Family
ID=71976962
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010314388.8A Active CN111539927B (zh) | 2020-04-20 | 2020-04-20 | 汽车塑料组合件紧固卡扣缺装检测装置的检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111539927B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113849000B (zh) * | 2021-09-15 | 2024-03-29 | 山东泰开智能配电有限公司 | 高压隔离开关镀银件镀层厚度自动检测系统的控制方法 |
CN114311572A (zh) * | 2021-12-31 | 2022-04-12 | 深圳市新科聚合网络技术有限公司 | Smd led注塑支架在线检测装置及其检测方法 |
CN114419144B (zh) * | 2022-01-20 | 2024-06-14 | 珠海市一杯米科技有限公司 | 基于外部轮廓形状分析的卡片定位方法 |
CN114549438B (zh) * | 2022-02-10 | 2023-03-17 | 浙江大华技术股份有限公司 | 一种反应釜卡扣检测方法及相关装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN206546152U (zh) * | 2017-03-13 | 2017-10-10 | 辛金栋 | 一种机器视觉尺寸检测装置 |
CN110021006B (zh) * | 2018-09-06 | 2023-11-17 | 浙江大学台州研究院 | 一种检测汽车配件是否安装的装置及方法 |
CN110044910B (zh) * | 2019-05-09 | 2024-02-13 | 河南大学 | 一种汽车置杯盒零部件检测系统及检测方法 |
-
2020
- 2020-04-20 CN CN202010314388.8A patent/CN111539927B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111539927A (zh) | 2020-08-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111539927B (zh) | 汽车塑料组合件紧固卡扣缺装检测装置的检测方法 | |
CN107543828B (zh) | 一种工件表面缺陷检测方法及系统 | |
CN111310558B (zh) | 一种基于深度学习和图像处理法的路面病害智能提取方法 | |
CN113469177B (zh) | 基于深度学习的排水管道缺陷检测方法及系统 | |
CN111507976B (zh) | 基于多角度成像的缺陷检测方法及系统 | |
CN109900711A (zh) | 基于机器视觉的工件缺陷检测方法 | |
CN109685760B (zh) | 一种基于matlab的slm粉床铺粉图像凸包凹陷缺陷检测方法 | |
CN111754466B (zh) | 传输机皮带损伤状况的智能检测方法 | |
JP2014006222A (ja) | コンクリート表面の変状検出方法及び装置 | |
CN106780526A (zh) | 一种铁氧体圆片表面裂痕识别方法 | |
CN112132821B (zh) | 一种基于图像处理的开口销丢失检测方法 | |
CN116188459B (zh) | 一种用于皮带撕裂检测的线激光快速识别方法及系统 | |
CN115018846A (zh) | 基于ai智能相机的多目标裂纹缺陷检测方法和装置 | |
CN114719749A (zh) | 基于机器视觉的金属表面裂纹检测及真实尺寸测量方法及系统 | |
JP3265595B2 (ja) | 画像処理方法およびその装置 | |
CN114331961A (zh) | 用于对象的缺陷检测的方法 | |
Hashmi et al. | Computer-vision based visual inspection and crack detection of railroad tracks | |
CN116310424B (zh) | 基于图像识别的设备质量评估方法、装置、终端和介质 | |
CN115375610A (zh) | 检测方法及装置、检测设备和存储介质 | |
CN111833350A (zh) | 机器视觉检测方法与系统 | |
CN114332069B (zh) | 一种基于机器视觉的接插件检测方法及装置 | |
JP2710687B2 (ja) | 外観検査装置 | |
CN114581447A (zh) | 一种基于机器视觉的运输皮带跑偏识别方法和装置 | |
CN113343856A (zh) | 一种图像识别的方法及系统 | |
CN112634351A (zh) | 一种定位密排货物的平台及其中心定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |