CN115144399B - 一种基于机器视觉的装配质量检测方法及装置 - Google Patents

一种基于机器视觉的装配质量检测方法及装置 Download PDF

Info

Publication number
CN115144399B
CN115144399B CN202211050485.6A CN202211050485A CN115144399B CN 115144399 B CN115144399 B CN 115144399B CN 202211050485 A CN202211050485 A CN 202211050485A CN 115144399 B CN115144399 B CN 115144399B
Authority
CN
China
Prior art keywords
assembly
trend
quality
image
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211050485.6A
Other languages
English (en)
Other versions
CN115144399A (zh
Inventor
郭昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin Provincial Institute Of Information Technology
Original Assignee
Jilin Provincial Institute Of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin Provincial Institute Of Information Technology filed Critical Jilin Provincial Institute Of Information Technology
Priority to CN202211050485.6A priority Critical patent/CN115144399B/zh
Publication of CN115144399A publication Critical patent/CN115144399A/zh
Application granted granted Critical
Publication of CN115144399B publication Critical patent/CN115144399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Abstract

本发明公开了一种基于机器视觉的装配质量检测方法及装置,具体涉及机器视觉领域,包括以下步骤:步骤S1、摄像机对装配完成后的装配件进行图像采集,获取待检测的装配件图像;步骤S2、提取待检测装配件的图像中各个轮廓细节特征;步骤S3、根据各个轮廓细节特征,判断装配件质量状况;步骤S4、对相邻待检测装配件的质量状况进行比较,获取装配质量趋势;步骤S5、根据装配质量趋势判断装配设备的运行状态,并对异常的运行状态发出警报。通过获取装配件的装配质量趋势,从而对装配设备的运行状态进行评估判断,从而一方面能够提高整体生产装配件的质量水平,另一方面产业人员也能够清楚地掌握整个装配产线的装配状态,便于把控质量。

Description

一种基于机器视觉的装配质量检测方法及装置
技术领域
本发明涉及机器视觉技术领域,更具体地说,本发明涉及一种基于机器视觉的装配质量检测方法及装置。
背景技术
机器视觉能够提高生产的灵活性和自动化程度。在一些不适于人工作业的危险工作环境或者人工视觉难以满足要求的场合,常用机器视觉来替代人工视觉。机器视觉主要的功能有四个,分别是引导和定位,外观检测,高精度监测和识别。其中引导和定位可应用于三维和二维条件下,做到定位流水线的静态和动态目标,可适应不同情况下的视觉定位需求。外观检测可使用高清工业摄像机进行辅助,定位,寻边,配合四轴机械臂实现分拣和码垛。高精度监测可以应用于医药、食品、服装等行业,对产品质量进行监测。识别方面的应用广泛,需利用机器视觉对图像进行处理、分析和理解,以识别各种不同模式的目标和对象。可以达到数据的追溯和采集,常在汽车零部件、食品、药品等方面应用。
现有的利用机器视觉进行装配质量检测过程中,通常仅能对装配件装配状态进行采集,判断其是否处于正常状态,不能根据装配质量对前端生产进行有效预测反馈。而目前的自动化生产中,装配件大多由自动化机械自动装配完成,装配件装配质量的好坏往往与自动化机械的自身运行状态有关。因此,本发明提出了一种基于机器视觉的装配质量检测方法及装置能够通过机器视觉对装配件的装配状态进行检测,并能够通过装配件的装配状态预测分析前端自动化装配设备的运行状态。
发明内容
为了克服现有技术的上述缺陷,本发明的实施例提供一种基于机器视觉的装配质量检测方法及装置,通过不断获取相邻装配件的装配状态,获取装配件的装配状态趋势,从而根据装配状态趋势预测判断自动化装配设备的运行状态,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种基于机器视觉的装配质量检测方法,包括以下步骤:
步骤S1、摄像机对装配完成后的装配件进行图像采集,获取待检测的装配件图像;
步骤S2、提取待检测装配件的图像中各个轮廓细节特征;
步骤S3、根据各个轮廓细节特征,判断装配件质量状况;
步骤S4、对相邻待检测装配件的质量状况进行比较,获取装配质量趋势;
步骤S5、根据装配质量趋势判断装配设备的运行状态,并对异常的运行状态发出警报。
在一个优选的实施方式中,在步骤S3中,通过基于边缘特征的模板匹配方法确定灰度相关度值,以一张标准图像作为模板图像,将需要匹配的图像作为基准图像;在基准图像上按照像素点逐步移动模板图像,计算两张图像之间的灰度相关度值,灰度相关度值最大的点就是两幅图像间的最佳匹配点;
模板图像f(x,y)大小为a*b,基准图像w(x,y)大小为m*n,灰度相关度值计算公式可表示为:
Figure GDA0003945427030000021
式中,s和t分别为基准图像相对于模板图像的位移行、列参数,c(s,t)为灰度相关度值。
在一个优选的实施方式中,在步骤S4中,装配质量趋势包括:振荡走势类型、上涨趋势走势类型以及下跌趋势走势类型;
所述振荡走势类型,是指相邻装配件的灰度相关度值处于在某一数值上下不断反复;即:
c(s,t)∈(p-v,p+v)
式中,p为振荡中心灰度相关度值,(p-v,p+v)构成振荡的回归区间;
所述上涨趋势走势类型,是指相邻装配件的灰度相关度值呈上升趋势依次往上增大;即:
cq(s,t)<cq+1(s,t)
式中,q为第q次检测的装配件序号,q+1为第q+1次检测的装配件序号,二者为相邻关系;
所述下跌趋势走势类型,是指相邻装配件的灰度相关度值呈下降趋势依次往下降低;即:
cq(s,t)>cq+1(s,t)。
在一个优选的实施方式中,在步骤S5中,对装配设备的运行状态进行判断的判断方法如下:
若装配质量走势属于振荡走势类型,且灰度相关度值的振荡低点高于标准阈值,则说明相关产线的自动化装配设备运行状态平稳正常;
若装配质量走势属于上涨趋势走势类型,则说明相关产线的自动化装配设备运行状态越来越高;
若装配质量走势属于下跌趋势走势类型,则说明相关产线的自动化装配设备运行状态越来越差,存在故障风险。
在一个优选的实施方式中,在步骤S3中,还包括步骤S3.1,具体的为,判断装配件的质量等级,判断方法如下:
若c(s,t)≥c*(s,t),则该装配件为高质量产品;
若c‘(s,t)≤c(s,t)<c*(s,t),则该装配件为合格产品;
若c(s,t)<c‘(s,t),则该装配件为不合格产品;
c*(s,t)为高质量标准灰度相关度值,c‘(s,t)合格标准灰度相关度值。
在一个优选的实施方式中,在步骤S4中,还包括步骤S4.1,具体的,在相邻装配件的灰度相关度值完全相同情况下,判断运输传递设备与摄像机是否发生故障,判断方法如下:
对运输传递设备是否处于运行状态进行判断:
若运输传递设备不处于运行状态则发出运输传递设备故障警报;
若运输传递设备处于运行状态则发出摄像机故障警报。
在一个优选的实施方式中,在步骤S5中,还包括步骤S5.1,具体的,根据自动化装配设备最终振荡走势类型下的振荡中心灰度相关度值p的大小,对自动化装配设备进行评级判断,判断方法如下:
若p≥c*(s,t),则该产线自动化装配设备为高标准设备;
若c‘(s,t)≤p<c*(s,t),则该产线自动化装配设备为合格设备;
若p<c‘(s,t),则该产线自动化装配设备为不合格设备。
在一个优选的实施方式中,还包括步骤S6,具体的,根据装配质量走势判断自动装配设备故障类型为渐进式故障或偶发性故障,并发出相应警报。
在一个优选的实施方式中,在步骤S6中,还包括步骤S6.1,具体的为,其记录发生偶发性故障的装配件灰度相关度值趋势图,并根据相关数据进行函数拟合,将该故障与拟合函数进行相互标记,并根据装配件灰度相关度值趋势对偶发性故障进行预报。
一种基于机器视觉的装配质量检测装置,包括:
自动装配模块,用于对装配件进行装配拼接,并将完成品放置在运输传递模块上;
运输传递模块,用于将装配件传送至图像采集模块的采集位置,便于图像采集模块对装配件进行图像采集;
图像采集模块,用于对装配件进行图像采集;
图像处理模块,用于将图像采集模块采集的图像进行处理,提取相关轮廓特征;
数据处理模块,用于根据相关轮廓特征,判断装配件质量状况以及自动装配模块的运行状态。
本发明一种基于机器视觉的装配质量检测方法及装置的技术效果和优点:
1、本发明采用基于边缘特征的模板匹配的方法对获取的装配件图像中的细节特征进行检测提取,并根据与模板装配件图像的灰度相关度值,判断装配件的装配质量;
2、本发明通过获取装配件的装配质量趋势,从而对装配设备的运行状态进行评估判断,从而一方面能够提高整体生产装配件的质量水平,另一方面产业人员也能够清楚地掌握整个装配产线的装配状态,便于把控质量。
附图说明
图1为本发明一种基于机器视觉的装配质量检测方法流程图;
图2为本发明一种基于机器视觉的装配质量检测结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非被特定定义,否则不会用理想化或过于正式的含义来解释。
实施例1
本发明一种基于机器视觉的装配质量检测方法,通过不断获取相邻装配件的装配状态,获取装配件的装配状态趋势,从而根据装配状态趋势预测判断自动化装配设备的运行状态。
如图1所示,包括如下步骤:
步骤S1、摄像机对装配完成后的装配件进行图像采集,获取待检测的装配件图像。
具体的,通过摄像机对装配完成后的装配件进行拍摄,可以获取装配件装配状态的原始图像,为了保证获取的图像质量,在步骤S1对装配件进行图像采集时,在摄像机两侧安装辅助光源,增加光线防护装置,消除光线测量偏移,同时,为了提高检测效率和可视化,本发明采用计算机视角处理库OpenCV的VC++6.0为软件开发平台,OpenCV采用C代码编写,能充分利用多核处理器,具有更高的检测速度。在装配件进入视觉检测区域后,摄像机感应装配件到位,OpenCV中的图像采集函数获取装配件的装配图像。
摄像机是基于机器视觉的工业机械故障智能检测中的重要设备,其作用是在将光信号转化为电信号。本实施例摄像机选用工业高清高速摄像机CCD,在机器视觉检测中,摄像直接采集的图像通常不能直接使用,需要对装配件的装配部位进行重点关注,去除其他的干扰信息,最大程度地增强图像中的有用信息,简化图像中的有用数据,从而便于后期对图像中相关特征的提取。本发明摄像机对装配件进行拍摄后,将RGB图像转化为灰度图像,并对图像进行滤波处理,消除图像中噪点的干扰。从而使图像呈现质量更高。
步骤S2、提取待检测装配件的图像中各个轮廓细节特征。
装配件可能包括若干个部件,每个部件均具有一定的轮廓,因此,装配件的装配合格检验特征需要根据不同的装配件而改变,通过采集提取装配件不同的各部件轮廓的特征,确定装配件的装配质量。轮廓的特征,可以是轮廓的形状特征。形状特征,可以由几何属性(如长度、面积、距离或凹凸等)、统计特性(如投影特征)和拓扑属性(如连通或欧拉数等)进行描述。
为了提高检测提取的执行速度,本发明采用基于边缘特征的模板匹配的方法对步骤S1获取的图像中的细节特征进行检测提取,物体边缘特征的提取旨在检测一张图像中明显变化的边缘,通过使用边缘检测算子检查每个像素与其领域像素灰度值变化剧烈程度,灰度值变化较大则说明该处具有边缘特征。本发明可采用的边缘检测算子有Canny算子、Sobel算子、Shen算子等,从而确定装配件的细节特征参数。
步骤S3、判断任一轮廓细节特征是否在装配件标准阈值内,确定装配件质量是否符合标准。
由于每个装配件的装配效果难以完全相同,因此装配件之间存在装配误差,判断一个装配件是否合格一般需要设定标准阈值进行判断,即将步骤S2提取的细节特征参数与标准参数进行比对,看其是否在标准阈值内,若符合则说明装配件装配符合标准,反之则不合格。
由于本发明采用基于边缘特征的模板匹配方法,其能够用于计算图像之间的相似程度,因此,本发明判断装配件的质量是否符合要求,采用计算装配件图像与标准装配件图像之间的相似程度,并设置标准阈值,此时需装配件图像与标准装配件图像之间的相似程度大于标准阈值才能认为装配件满足装配要求为合格品,反正则不合格。
具体的,本发明以一张标准图像作为模板图像,将需要匹配的图像作为基准图像;在基准图像上按照像素点逐步移动模板图像,计算两张图像之间的灰度相关度值,灰度相关度值最大的点就是两幅图像间的最佳匹配点。
以大小为a*b的模板图像f(x,y)和大小为m*n的基准图像w(x,y)为例,灰度相关度值计算公式可表示为:
Figure GDA0003945427030000071
式中,s和t分别为基准图像相对于模板图像的位移行、列参数,c(s,t)为灰度相关度值。
即本发明若检测的装配件图像与模板图像匹配后的灰度相关度值大于根据实际情况设计的标准阈值,则装配件装配合格,否则则不合格。
步骤S4、对相邻待检测装配件的图像中各个轮廓细节特征进行比较,从而比较其二者装配质量,获取装配质量趋势。
由于加工装配件用的自动化装配设备其运行状态各不相同,其运行状态很大程度反应在了装配件的装配成品上,因此,比较相邻待检测装配件的图像中各个轮廓细节特征,能够反向反应自动化装配设备的自身状态。
本发明在步骤S3后,均能够获取每个装配件特征图像与模板图像之间的灰度相关度值,通过不断地比较相邻装配件的灰度相关度值大小,能够分析获取装配件装配质量的趋势。
具体的,装配件装配质量的趋势分为三种,分别为振荡走势类型、上涨趋势走势类型以及下跌趋势走势类型。
所述振荡走势类型,是指相邻装配件的灰度相关度值处于在某一数值上下不断反复。即:
c(s,t)∈(p-v,p+v)
式中,p为振荡中心灰度相关度值,(p-v,p+v)构成振荡的回归区间。此时,意为装配件的装配质量趋于稳定。
所述上涨趋势走势类型,是指相邻装配件的灰度相关度值呈上升趋势依次往上增大。即:
cq(s,t)<cq+1(s,t)
式中,q为第q次检测的装配件序号,q+1为第q+1次检测的装配件序号,二者为相邻关系。此时,意为装配件的装配质量越来越高。
所述下跌趋势走势类型,是指相邻装配件的灰度相关度值呈下降趋势依次往下降低。即:
cq(s,t)>cq+1(s,t)
此时意为装配件的装配质量越来越低。
步骤S5、根据装配质量趋势判断装配机械的运行状态,并对异常的运行状态发出警报。
具体的,根据步骤S4中获取的装配质量走势类型,对装配机械的运行状态进行判断,判断方法如下:
若装配质量走势属于振荡走势类型,且灰度相关度值的振荡低点高于标准阈值,则说明相关产线的自动化装配设备运行状态平稳正常。
若装配质量走势属于上涨趋势走势类型,则说明相关产线的自动化装配设备运行状态越来越高。
若装配质量走势属于下跌趋势走势类型,则说明相关产线的自动化装配设备运行状态越来越差,存在故障风险,从而提前对自动装配设备做出预警,对于该类型的产线发出相应的警报,提醒工作人员对自动化装配设备进行维修检查,减少了不良装配件的生产,提高了装配合格率。
由于上涨趋势走势类型与下跌趋势走势类型均不会长期持续性存在,因此,自动化装配设备最终均会处于振荡走势类型,维持在一个平稳的区间内。
实施例2
本发明第二种实施方式与上述实施例的区别在于,在上述实施例1中,具体介绍了本发明基于机器视觉的装配质量检测方法,但其仅关注装配件自身的质量以及对装配端设备的反馈,忽略了运输传递设备的故障。因此,本实施例中,在步骤S4中,还包括步骤S4.1,具体的,判断相邻装配件的灰度相关度值是否完全相同,即:
cq(s,t)=cq+1(s,t)
若完全相同,则判断运输传递设备是否处于运行状态;
若运输传递设备不处于运行状态则发出运输传递设备故障警报;若处于运行状态则发出摄像机故障警报。
由于不同的装配件的装配状态不会完全相同,这样做能够有效避免运输传递设备与摄像机故障导致的装配质量检验不准的情况。
实施例3
本发明第三种实施方式与上述实施例的区别在于,在上述实施例中仅对装配件的合格与否以及自动化装配设备的运行状态是否正常做出判断,对于装配件的质量品级以及自动化装配设备的质量评级并未做出评价。因此,本实施例为了解决这一问题,在步骤S3中,还包括步骤S3.1,具体的为,判断装配件的质量等级,判断方法如下:
设置高质量标准灰度相关度值为c*(s,t),合格标准灰度相关度值为c‘(s,t);
若c(s,t)≥c*(s,t),则该装配件为高质量产品;
若c‘(s,t)≤c(s,t)<c*(s,t),则该装配件为合格产品;
若c(s,t)<c‘(s,t),则该装配件为不合格产品。
同时,在步骤S5中,还包括步骤S5.1,具体的,根据自动化装配设备最终振荡走势类型下的振荡中心灰度相关值p的大小,对自动化装配设备进行评级判断,判断方法如下:
若p≥c*(s,t),则该产线自动化装配设备为高标准设备;
若c‘(s,t)≤p<c*(s,t),则该产线自动化装配设备为合格设备;
若p<c‘(s,t),则该产线自动化装配设备为不合格设备。
本发明对装配件以及自动装配设备进行评级,从而能够更好地对产线进行调整为维护,从而一方面能够提高整体生产装配件的质量水平,另一方面产业人员也能够清楚地掌握整个装配产线的装配状态,便于把控质量。
实施例4
本发明第四种实施方式与上述实施例不同的是,在上述实施例中,仅能通过装配质量走势属于下跌趋势走势类型,对自动装配设备进行故障预警,但对于装配设备而已,不是所有的故障均属于渐进式故障,其也存在偶发性故障,即装配质量走势属于振荡走势类型下突然产生不合格装配件,这种情况下,上述实施例无法进行预判。因此,本实施例还包括步骤S6,具体的,根据装配质量走势判断自动装配设备故障类型为渐进式故障或偶发性故障,并发出相应警报。通过发出的故障警报类型不同,工作人员能够更好地针对性维修,提高了对自动化设备的维修速率,从而保证了装配件的生产速度和装配合格率。
作为进一步的优化改进,由于偶发性故障难以找出其规律,上述内容对偶发性故障只能在发现装配件产生不合格产品后才能做出警报,前瞻性不足。为了解决这一问题,在步骤S6中,还包括步骤S6.1,具体的为,其记录发生偶发性故障的装配件灰度相关度值趋势图,并根据相关数据进行函数拟合,将该故障与拟合函数进行相互标记,从而确定该偶发性故障相关前兆,在后续检测中,若发现贴近该拟合函数的装配质量走势,则发出偶发性故障警报,从而起到前瞻性警报的作用,既提高了装配件的合格率,又方便后续工作人员对自动装配设备进行针对性维修。
具体的,本发明根据灰度相关度值趋势的函数拟合,本质上是根据各个灰度相关度值点的分布进行函数拟合,其可用多种方法实现,由于各偶发性故障其规律各不相同以及同一偶发性故障其前兆趋势也不尽相同,因此,函数拟合也需不断的根据灰度相关度值点的分布更新进行拟合优化,其具体拟合过程可通过计算机实现,为本领域技术人员常识,在此不做赘述。
实施例5
本发明第五种实施方式与上述实施例不同的是,本实施例介绍了一种基于机器视觉的装配质量检测装置,如图2所示,其包括:
自动装配模块10,用于对装配件进行装配拼接,并将完成品放置在运输传递模块20上。
运输传递模块20,用于将装配件传送至图像采集模块30的采集位置,便于图像采集模块30对装配件进行图像采集。
图像采集模块30,用于对装配件进行图像采集。
图像处理模块40,用于将图像采集模块10采集的图像进行处理,提取相关轮廓特征。
数据处理模块50,用于根据相关轮廓特征,判断装配件质量状况以及自动装配模块10的运行状态。
所述图像采集模块30、图像处理模块40以及数据处理模块50依次电连接。所示图像采集模块30选用CCD相机。
本发明实施例提供的一种基于机器视觉的装配质量检测装置,用于执行本发明上述各实施例提供的一种基于机器视觉的装配质量检测方法,该基于一种基于机器视觉的装配质量检测装置包括的各模块实现相应功能的具体方法和流程详见上述一种基于机器视觉的装配质量检测方法的实施例,此处不再赘述。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,各个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本依托于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。
为了描述得方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
其次:本发明公开实施例附图中,只涉及到与本公开实施例涉及到的结构,其他结构可参考通常设计,在不冲突情况下,本发明同一实施例及不同实施例可以相互组合;
最后:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于机器视觉的装配质量检测方法,其特征在于:包括以下步骤:
步骤S1、摄像机对装配完成后的装配件进行图像采集,获取待检测的装配件图像;
步骤S2、提取待检测装配件的图像中各个轮廓细节特征;
步骤S3、根据各个轮廓细节特征,判断装配件质量状况;
步骤S4、对相邻待检测装配件的质量状况进行比较,获取装配质量趋势;
步骤S5、根据装配质量趋势判断装配设备的运行状态,并对异常的运行状态发出警报;
在步骤S3中,通过基于边缘特征的模板匹配方法确定灰度相关度值,以一张标准图像作为模板图像,将需要匹配的图像作为基准图像;在基准图像上按照像素点逐步移动模板图像,计算两张图像之间的灰度相关度值,灰度相关度值最大的点就是两幅图像间的最佳匹配点;
模板图像f(x,y)大小为a*b,基准图像w(x,y)大小为m*n,灰度相关度值计算公式表示为:
Figure FDA0003945427020000011
式中,s和t分别为基准图像相对于模板图像的位移行、列参数,c(s,t)为灰度相关度值;
在步骤S4中,装配质量趋势包括:振荡走势类型、上涨趋势走势类型以及下跌趋势走势类型;
所述振荡走势类型,是指相邻装配件的灰度相关度值处于在某一数值上下不断反复;即:
c(s,t)∈(p-v,p+v)
式中,p为振荡中心灰度相关度值,(p-v,p+v)构成振荡的回归区间;
所述上涨趋势走势类型,是指相邻装配件的灰度相关度值呈上升趋势依次往上增大;即:
cq(s,t)<cq+1(s,t)
式中,q为第q次检测的装配件序号,q+1为第q+1次检测的装配件序号,二者为相邻关系;
所述下跌趋势走势类型,是指相邻装配件的灰度相关度值呈下降趋势依次往下降低;即:
cq(s,t)>cq+1(s,t)
在步骤S5中,对装配设备的运行状态进行判断的判断方法如下:
若装配质量走势属于振荡走势类型,且灰度相关度值的振荡低点高于标准阈值,则说明相关产线的自动化装配设备运行状态平稳正常;
若装配质量走势属于上涨趋势走势类型,则说明相关产线的自动化装配设备运行状态越来越高;
若装配质量走势属于下跌趋势走势类型,则说明相关产线的自动化装配设备运行状态越来越差,存在故障风险;
在步骤S3中,还包括步骤S3.1,具体的为,判断装配件的质量等级,判断方法如下:
若c(s,t)≥c*(s,t),则该装配件为高质量产品;
若c‘(s,t)≤c(s,t)<c*(s,t),则该装配件为合格产品;
若c(s,t)<c‘(s,t),则该装配件为不合格产品;
c*(s,t)为高质量标准灰度相关度值,c‘(s,t)合格标准灰度相关度值;
在步骤S4中,还包括步骤S4.1,具体的,在相邻装配件的灰度相关度值完全相同情况下,判断运输传递设备与摄像机是否发生故障,判断方法如下:
对运输传递设备是否处于运行状态进行判断:
若运输传递设备不处于运行状态则发出运输传递设备故障警报;
若运输传递设备处于运行状态则发出摄像机故障警报。
2.根据权利要求1所述的一种基于机器视觉的装配质量检测方法,其特征在于:在步骤S5中,还包括步骤S5.1,具体的,根据自动化装配设备最终振荡走势类型下的振荡中心灰度相关度值p的大小,对自动化装配设备进行评级判断,判断方法如下:
若p≥c*(s,t),则该产线自动化装配设备为高标准设备;
若c‘(s,t)≤p<c*(s,t),则该产线自动化装配设备为合格设备;
若p<c‘(s,t),则该产线自动化装配设备为不合格设备。
3.根据权利要求1所述的一种基于机器视觉的装配质量检测方法,其特征在于:还包括步骤S6,具体的,根据装配质量走势判断自动装配设备故障类型为渐进式故障或偶发性故障,并发出相应警报。
4.根据权利要求3所述的一种基于机器视觉的装配质量检测方法,其特征在于:在步骤S6中,还包括步骤S6.1,具体的为,其记录发生偶发性故障的装配件灰度相关度值趋势图,并根据相关数据进行函数拟合,将该故障与拟合函数进行相互标记,并根据装配件灰度相关度值趋势对偶发性故障进行预报。
5.一种基于机器视觉的装配质量检测装置,其特征在于,该装置用于实现权利要求1至4中任一项所述的一种基于机器视觉的装配质量检测方法,包括:
自动装配模块,用于对装配件进行装配拼接,并将完成品放置在运输传递模块上;
运输传递模块,用于将装配件传送至图像采集模块的采集位置,便于图像采集模块对装配件进行图像采集;
图像采集模块,用于对装配件进行图像采集;
图像处理模块,用于将图像采集模块采集的图像进行处理,提取相关轮廓特征;
数据处理模块,用于根据相关轮廓特征,判断装配件质量状况以及自动装配模块的运行状态。
CN202211050485.6A 2022-08-30 2022-08-30 一种基于机器视觉的装配质量检测方法及装置 Active CN115144399B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211050485.6A CN115144399B (zh) 2022-08-30 2022-08-30 一种基于机器视觉的装配质量检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211050485.6A CN115144399B (zh) 2022-08-30 2022-08-30 一种基于机器视觉的装配质量检测方法及装置

Publications (2)

Publication Number Publication Date
CN115144399A CN115144399A (zh) 2022-10-04
CN115144399B true CN115144399B (zh) 2023-01-13

Family

ID=83415882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211050485.6A Active CN115144399B (zh) 2022-08-30 2022-08-30 一种基于机器视觉的装配质量检测方法及装置

Country Status (1)

Country Link
CN (1) CN115144399B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116245877B (zh) * 2023-05-08 2023-11-03 济南达宝文汽车设备工程有限公司 一种基于机器视觉的料框检测方法及系统
CN116310424B (zh) * 2023-05-17 2023-08-18 青岛创新奇智科技集团股份有限公司 基于图像识别的设备质量评估方法、装置、终端和介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103464906A (zh) * 2013-10-02 2013-12-25 机械科学研究院哈尔滨焊接研究所 激光焊接质量在线检测方法
CN103617625A (zh) * 2013-12-13 2014-03-05 中国气象局北京城市气象研究所 一种图像匹配方法及图像匹配装置
CN105372581A (zh) * 2015-11-18 2016-03-02 华南理工大学 挠性电路板制造过程自动监测和智能分析系统及方法
CN106442543A (zh) * 2016-10-14 2017-02-22 龚新林 一种在线识别金属工件连续激光焊缝表面质量的检测方法
CN107388966A (zh) * 2017-08-01 2017-11-24 贺州学院 装配质量检测方法及装置
CN109557186A (zh) * 2018-12-24 2019-04-02 暨南大学 一种机械装配动态质量检测方法
CN110095069A (zh) * 2019-04-22 2019-08-06 西南交通大学 一种高铁白车身装配质量检测系统和方法
CN110866310A (zh) * 2018-08-14 2020-03-06 波音公司 装配过程的自动监督和检查
CN111426271A (zh) * 2020-05-28 2020-07-17 Oppo(重庆)智能科技有限公司 检测装置及检测方法
CN111461746A (zh) * 2020-03-27 2020-07-28 中国航天系统科学与工程研究院 一种面向装配的质量智能追溯方法
CN111693089A (zh) * 2020-06-09 2020-09-22 安徽江淮汽车集团股份有限公司 装配线的产品质量控制方法、装置、设备及存储介质
CN112037203A (zh) * 2020-08-31 2020-12-04 济南大学 基于复杂工件外轮廓配准的侧表面缺陷检测方法及系统
CN113665079A (zh) * 2021-08-24 2021-11-19 武汉市衡德实业有限公司 一种塑料注塑成型工艺控制方法及系统
CN114354626A (zh) * 2021-12-31 2022-04-15 东北大学 一种基于数字孪生的铆接质量图像检测方法
CN114626615A (zh) * 2022-03-21 2022-06-14 江苏仪化信息技术有限公司 一种生产过程监控管理方法及系统
CN114707266A (zh) * 2022-03-31 2022-07-05 江苏苏华泵业有限公司 基于人工智能的工业离心泵运转稳定性预测系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2860581B1 (fr) * 2003-10-03 2006-04-14 A Resposabilte Limitee De La B Procede et installation pour le controle de qualite en boulangerie
JP4873471B2 (ja) * 2006-09-26 2012-02-08 独立行政法人 宇宙航空研究開発機構 感圧塗料の発光画像による非定常圧力変動の計測可能圧力を向上させる計測手法
CN101576508B (zh) * 2009-05-27 2011-09-21 华南理工大学 芯片外观缺陷自动检测装置及检测方法
DE102014115851A1 (de) * 2014-10-30 2016-05-04 Physikalisch - Technische Bundesanstalt Verfahren und Vorrichtung zur Berechnung, Darstellung und Weiterverarbeitung von lokalen Gütemaßen aus einem Volumenbilddatensatz
CN106556606B (zh) * 2016-11-15 2019-02-12 合肥工业大学 基于机器视觉的大型机械产品总成件的在线质量控制方法
CN106584800B (zh) * 2016-12-09 2018-11-20 江南大学 一种成型产品在线质量检测方法
CN107153876A (zh) * 2017-05-25 2017-09-12 南通大学 基于专家规则的机器视觉快门自整定智能控制方法
IL263399B (en) * 2018-11-29 2022-09-01 Inspekto A M V Ltd Centralized analyzes of multiple devices for visual inspection of a production line
JP2021157248A (ja) * 2020-03-25 2021-10-07 パイオニア株式会社 状況出力装置
CN114092385A (zh) * 2020-08-27 2022-02-25 北京市天元网络技术股份有限公司 基于机器视觉的工业机械故障检测方法及装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103464906A (zh) * 2013-10-02 2013-12-25 机械科学研究院哈尔滨焊接研究所 激光焊接质量在线检测方法
CN103617625A (zh) * 2013-12-13 2014-03-05 中国气象局北京城市气象研究所 一种图像匹配方法及图像匹配装置
CN105372581A (zh) * 2015-11-18 2016-03-02 华南理工大学 挠性电路板制造过程自动监测和智能分析系统及方法
CN106442543A (zh) * 2016-10-14 2017-02-22 龚新林 一种在线识别金属工件连续激光焊缝表面质量的检测方法
CN107388966A (zh) * 2017-08-01 2017-11-24 贺州学院 装配质量检测方法及装置
CN110866310A (zh) * 2018-08-14 2020-03-06 波音公司 装配过程的自动监督和检查
CN109557186A (zh) * 2018-12-24 2019-04-02 暨南大学 一种机械装配动态质量检测方法
CN110095069A (zh) * 2019-04-22 2019-08-06 西南交通大学 一种高铁白车身装配质量检测系统和方法
CN111461746A (zh) * 2020-03-27 2020-07-28 中国航天系统科学与工程研究院 一种面向装配的质量智能追溯方法
CN111426271A (zh) * 2020-05-28 2020-07-17 Oppo(重庆)智能科技有限公司 检测装置及检测方法
CN111693089A (zh) * 2020-06-09 2020-09-22 安徽江淮汽车集团股份有限公司 装配线的产品质量控制方法、装置、设备及存储介质
CN112037203A (zh) * 2020-08-31 2020-12-04 济南大学 基于复杂工件外轮廓配准的侧表面缺陷检测方法及系统
CN113665079A (zh) * 2021-08-24 2021-11-19 武汉市衡德实业有限公司 一种塑料注塑成型工艺控制方法及系统
CN114354626A (zh) * 2021-12-31 2022-04-15 东北大学 一种基于数字孪生的铆接质量图像检测方法
CN114626615A (zh) * 2022-03-21 2022-06-14 江苏仪化信息技术有限公司 一种生产过程监控管理方法及系统
CN114707266A (zh) * 2022-03-31 2022-07-05 江苏苏华泵业有限公司 基于人工智能的工业离心泵运转稳定性预测系统

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
加工误差统计分析中异常波动的探讨;张接信;《长安大学学报(自然科学版)》(第02期);全文 *
基于产品质量控制的设备维修优化模型;杨晓梅等;《运筹与管理》;20170331;第26卷(第3期);第192页 *
基于机器视觉和深度神经网络的零件装配检测;魏中雨等;《组合机床与自动化加工技术》;20200320(第03期);全文 *
大批量细长轴磨削加工质量控制;倪莉;《精密制造与自动化》;20071125(第04期);全文 *
机器视觉技术及其在汽车制造质量检测中的应用;刘武;《汽车实用技术》;20181030(第20期);全文 *
机械加工的质量控制与诊断技术分析;郭亚东;《科学家》;20160823(第10期);全文 *
电容器铝壳表面缺陷检测的CCD图像处理;田原嫄等;《组合机床与自动化加工技术》;20130520(第05期);全文 *

Also Published As

Publication number Publication date
CN115144399A (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
CN115144399B (zh) 一种基于机器视觉的装配质量检测方法及装置
EP1991946B1 (en) Approaches and apparatus for eye detection in a digital image
Chauhan et al. Fault detection and classification in automated assembly machines using machine vision
CN102221556B (zh) 基于机器视觉的小型连接件外观缺陷在线检测装置与方法
TWI557650B (zh) 用於識別材料中之缺陷之系統及方法
CN115018850B (zh) 基于图像处理的精密电子零部件冲压孔毛刺检测方法
EP1808018B1 (en) Image sensor annotation method and apparatus
CN108109137A (zh) 车辆部件的机器视觉检测系统及方法
CN101915769A (zh) 一种印刷电路板中带电阻元件的自动光学检测方法
Szkilnyk et al. Vision based fault detection of automated assembly equipment
KR20210008352A (ko) 촬상된 품목의 결함을 검출하기 위한 시스템 및 방법
CN102441581A (zh) 基于机器视觉的型钢断面尺寸在线检测的装置及方法
CN110533654A (zh) 零部件的异常检测方法及装置
CN105139384B (zh) 缺陷胶囊检测的方法和装置
CN111539927B (zh) 汽车塑料组合件紧固卡扣缺装检测装置的检测方法
JP5403180B1 (ja) 画像評価方法、画像評価装置及び画像評価プログラム
CN103258218A (zh) 蒙版检测框架生成方法、装置、缺陷检测方法及装置
CN113016023B (zh) 信息处理方法以及计算机可读的非暂时性记录介质
CN115035118B (zh) 一种基于识别模型的pcb生产线残缺检测方法及系统
Aydin et al. A vision based inspection system using gaussian mixture model based interactive segmentation
US11475553B1 (en) Production-speed component inspection system and method
Radkowski Machine Vision and Robotic Inspection Systems
Ye et al. Automatic optical apparatus for inspecting bearing assembly defects
Karacan et al. Machine Vision Supported Quality Control Applications in Rotary Switch Production by Using Both Process FMEA and Design FMEA
CN108508018A (zh) 一种基于图像数据的质量监控方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant