CN110021006B - 一种检测汽车配件是否安装的装置及方法 - Google Patents

一种检测汽车配件是否安装的装置及方法 Download PDF

Info

Publication number
CN110021006B
CN110021006B CN201811034927.1A CN201811034927A CN110021006B CN 110021006 B CN110021006 B CN 110021006B CN 201811034927 A CN201811034927 A CN 201811034927A CN 110021006 B CN110021006 B CN 110021006B
Authority
CN
China
Prior art keywords
image
detected
contour
judging
gray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811034927.1A
Other languages
English (en)
Other versions
CN110021006A (zh
Inventor
林建宇
潘凌锋
陈浙泊
林晨宽
余建安
陈一信
吴荻苇
叶雪旺
陈镇元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Research Institute of Zhejiang University Taizhou
Original Assignee
Research Institute of Zhejiang University Taizhou
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Research Institute of Zhejiang University Taizhou filed Critical Research Institute of Zhejiang University Taizhou
Priority to CN201811034927.1A priority Critical patent/CN110021006B/zh
Publication of CN110021006A publication Critical patent/CN110021006A/zh
Application granted granted Critical
Publication of CN110021006B publication Critical patent/CN110021006B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种检测汽车配件是否安装的方法,包括步骤:布置检测区域、获取模板信息、取有效待检图、判断待检物、判断正反面、判断待检配件、判断安装到位、判断是否翻转、判断是否取走;本发明还提供了实现上述方法的装置。本发明应用视觉检测技术和图像处理技术,能够准确检测汽车靠垫从放置到配件检测到取出的全过程,提高了检测精度和效率。

Description

一种检测汽车配件是否安装的装置及方法
技术领域
本发明涉及视觉技术检测领域。
背景技术
当前对于汽车靠垫配件安装环节,由于被安装配件形状的不规则、安装过程较难对齐安装位置,通过采用机械手和自动化控制运动机构抓取被安装配件、安装并固定在指定位置的方式较难实现将配件安装到位,并且定制开发该装置或设备成本太高,所以仍然采用人工安装的方式。然而,对于人工安装方式,由于长时间作业、作业员易疲劳、注意力不集中,未按作业流程和规范操作导致配件漏装且没有检查出来,流入后续整车装配工序。当在整车装配过程中发现问题,就需要暂停整条装配线,拆卸、更换配件,从而增加了更多的生产成本。如果后续工序都未检查出来,汽车成品流入市场,直接影响汽车的售价,情况严重的,还需召回处理。
发明内容
本发明首先要解决的技术问题是提供一种检测汽车配件是否安装的方法,该方法应用视觉检测技术和图像处理技术,能够准确检测汽车靠垫从放置到配件检测到取出的全过程,提高了检测精度和效率。
本发明解决上述技术问题所采用的技术方案是:
一种检测汽车配件是否安装的方法,包括以下步骤:
S1,布置检测区域:检测区域内设置工作台,工作台面呈白色,在检测区域放置待检物,将检测装置移动至检测区域上方,检测装置与操作人员分别位于检测区域的相对面;
S2,获取模板信息:放置标准对比物,设置检测装置的曝光量,以标准对比物为参照,提取正反面模板信息并保存;
S3,取有效待检图:采集待检测区域的图像,并对采集到的图形进行处理,排除操作过程中工作人员上身肢体的干扰,得到有效待检图;
S4,判断待检物:从有效待检图中获取物体外轮廓信息,计算其最小外接矩形面积和长宽比,判断是否为待检物;
S5,判断正反面:获取待检物的内外轮廓信息,计算待检物最大连通域面积、内轮廓个数比较,判断待检物的正反面;
S6,判断待检配件:获取待检物反面外轮廓以及待检配件轮廓,进行待检配件轮廓匹配,判断是否为待检配件;
S7,判断安装到位:计算待检物反面外轮廓与待检配件轮廓的质心,以外轮廓质心为中心旋转待检物至模板同角度,重新获取配件轮廓的质心,计算外轮廓和配件轮廓的质心差值矢量,根据该矢量是否与模板匹配,判断是否安装到位;
S8,判断是否翻转:对配件安装到位的待检物,判断是否翻转到正面;
S9,判断是否取走:对已翻转到正面的,根据灰度图像中最大内轮廓的最小外接矩形面积判断是否已搬走待检物,为下一次检测做准备。
进一步地,获取模板信息的步骤具体包括:
S201,获取反面模板信息:将标准对比物的反面朝上放置,确保标准对比物和检测装置之间无干扰,通过检测装置上的相机采集一幅图像,将该图像转为灰度图,采用最大类间方差法确定灰度图最佳阈值k*,用k*-1进行灰度图像二值化,对二值化后灰度图像进行全图反色,再获取全图内外轮廓,保存内轮廓个数,遍历外轮廓,选择需检物外轮廓并保存;计算此外轮廓的质心、最小外接矩形面积并保存;
S202,获取待检配件模板信息:遍历内轮廓,选择需检配件轮廓并保存;计算此轮廓的质心与最小外接矩形面积并保存;
S203,获取正面模板信息:将标准对比物的正面朝上放置,确保标准对比物和检测装置之间无干扰,通过检测装置上的相机采集一幅图像,该图像转为灰度图,采用最大类间方差法确定灰度图最佳阈值k*,用k*-1进行灰度图像二值化,,对二值化后灰度图像进行全图反色,再获取全图内外轮廓,保存内轮廓个数,遍历外轮廓,选择需检物外轮廓并保存。
进一步地,取有效待检图的步骤具体包括:
S301,计数器计数清零;
S302,采集第一帧图像:通过检测装置上的相机采集一帧图像并转换为24位BMP格式图像,将该图像转换为灰度图并保存为第一幅图像,计数器计数+1;
S303,采集下一帧图像并转换为24位BMP格式图像,将转换后的灰度图保存为当前图像,计数器计数+1;
S304,判断S303计数后的计数量Count是否<5,如果否,则判断当前图像为有效待检图,如果是,则进入下一步;
S305,对第一幅图像和当前图像做帧间差分处理,差分后的图像再做阈值分割处理;所述帧间差分是对同样像素大小的两幅图像的每个像素点的灰度值求差值的绝对值;所述阈值分割是对差分后的灰度图像做灰度值阈值为60的二值化处理,灰度图像中阈值大于60的像素点的灰度值置为255,而阈值不大于60的像素点的灰度值置为0;
S306,将非零灰度值计数变量清零,遍历阈值分割后的图像中每一个像素点的灰度值,当某一像素点的灰度值大于零时,非零灰度值计数变量加1;遍历结束后,判断非零灰度值计数变量值是否不大于图像总像素值的1%,若否,即为非零灰度值比例未达标,Count清零,重新开始有效待检图判断流程;若是,即为非零灰度值比例达标,转到步骤S303。
进一步地,判断待检物的步骤具体包括:
S401,读取有效待检图;
S402,采用最大类间方差法确定最佳阈值k*,用k*-1进行灰度图像二值化,大于k*-1的像素点灰度值置为255,其余像素点的灰度值置0;对二值化后灰度图像进行全图反色,再获取全图外轮廓;遍历外轮廓,判断外轮廓最小外接矩形面积和长宽比是否分别在保存的模板外轮廓最小外接矩形面积和长宽比的80%~125%范围内;若是,则匹配,判为有物件;若否则不匹配,判为无物件。
进一步地,判断正反面的步骤具体包括:
S501,获取待检物内外轮廓信息;
S502,计算待检物外轮廓最小外接矩形;
S503,提取外接矩形所包围的区域图像ROI,计算ROI中最大连通域面积,判断最大连通域面积是否在保存的反面模板或正面模板的最大连通域面积的80%~125%范围内;若否,则不匹配,判为干扰,返回采集有效待检图流程;若是,则匹配,再根据内轮廓个数,判断正反面,若内轮廓个数≦2,则为反面,若内轮廓个数>2,则为正面。
进一步地,判断待检测配件是否安装到位的步骤具体包括:
S601,遍历待检物反面内轮廓,判断是否存在最小外接矩形面
积在模板配件轮廓最小外接矩形面积的80%~125%范围内的内轮廓;
S602,判断该轮廓是否与配件模板的轮廓相匹配;
S603,求反面外轮廓和配件轮廓质心;
S604,根据两质心,计算待检物角度;
S605,根据待检物和模板角度,以它们各自外轮廓质心为中心,旋转待检物至模板同角度;
设待检物反面外轮廓质心坐标为(x1,y1),配件轮廓质心坐标为(x2,y2),角度为α,模板反面外轮廓质心坐标为(x11,y11),配件轮廓质心坐标为(x12,y12),角度为β,需旋转角度为γ,计算公式如下:
α=atan2(y2-y1,x2-x1);
β=atan2(y12-y11,x12-x11);
γ=α-β;
S606,重新求配件轮廓质心,并计算外轮廓和配件轮廓的质心差值矢量;
S607,根据判断质心差值矢量对应模板是否匹配判断是否安装到位。
进一步地,质心差值矢量对应模板的匹配是指该矢量大小在对应模板矢量大小的90%~111%范围内,并且该矢量方向角度与对应模板矢量方向角度相差-5°~+5°范围内。
进一步地,判断待检物反面内轮廓是否与配件模板的轮廓相匹配是通过Hu矩匹配值M的大小来判断的;若M<0.1,判为匹配,否则判为不匹配,其推导过程如下:
对于一副L×W的数字图像f(x,y),其(p+q)阶几何矩mpq定义为:
其中,p,q=0,1,2,...;(此处p,q为自然数,无特殊含义)
设质心坐标为
中心矩μpq定义为:
其中,p,q=0,1,2,...;
其中,f(x,y)是图像在坐标点(x,y)处的灰度值,L是图像的列宽,W是图像的行宽,x=1,2,3,...,L,y=1,2,3,...,W;
中心矩反映的图像灰度分布相对其灰度质心的分布情况,归一化中心矩如下,归一化后具有尺度不变性;
利用二阶和三阶归一化中心矩可以导出下面7个不变矩组(φ12,...φ7),它们在图像平移、旋转和比例变化时保持不变。
φ1=η2002
φ2=(η2002)2+4η1 2 1
φ3=(η20-3η12)2+3(η2103)2
φ4=(η3012)2+(η2103)2
φ5=(η30+3η12)(η3012)[(η3012)2-3(η2103)2]+(3η2103)(η2103)[3(η3012)2-(η2103)2];
φ6=(η2002)[(η3012)2-(η2103)2]+4η113012)(η2103);
φ7=(3η2103)(η3012)[(η3012)2-3(η2103)2]+(3η1203)(η2103)[3(η3012)2-(η2103)2];
设轮廓A和轮廓B的7个灰度不变矩分别为为φA1A2,...φA7和φB1B2,...φB7,则它们的Hu矩匹配值:
本发明所要解决的另一个技术问题是提供一种实现上述方法的装置,该装置包括支撑杆和机盒,支撑杆固定安装在支撑杆底盘上,并通过支撑杆底盘被固定在检测区域的一侧,机盒固定连接在支撑杆上端,机盒下部敞开,机盒内设有面阵相机,面阵相机的镜头朝下,面阵相机通过相机固定杆安装在机盒或支撑杆上,支撑杆上还设有工控机,工控机通过工控机固定杆可转动地安装在支撑杆上,工控机位于机盒的下方,支撑杆上还设有指示灯,指示灯通过指示灯固定件安装在支撑杆上,指示灯位于工控机和机盒的中间。
进一步地,机盒包括顶面和侧面,顶面和侧面围成一个下部敞开的盒体,机盒的敞开区域设有日光灯管和日光灯管固定杆,日光灯管和日光灯管固定杆垂直布置;机盒的其中一个侧面设有用于放置相机固定杆的方槽孔;机盒在靠近支撑杆的一个侧面设有机盒走线孔。
本发明的有益效果是:本发明在汽车靠垫配件整个安装过程中,能够实时检测配件是否漏装,并对不同情况给出不同文字提示、指示灯提醒或是报警。该检测方法使得配件的漏装率降为零。相比较现有技术,对于人工安装方式,本发明在不影响作业的前提下,能够协助作业员检查确认配件有无安装;对于受上述人为因素影响导致配件漏装,给出不同的提示和报警;对于正确安装,仅给检测到已安装提示。对比人工安装外加传感器辅助检测的方法,本发明一方面减少了作业员的工作量,另一方面节省了产线空间。
附图说明
图1是本发明的整体检测流程图。
图2是本发明的工控机的操作流程图。
图3是获取反面模板信息的流程图。
图4是获取正面模板信息的流程图。
图5是获取有效待检图的流程图。
图6是判断有无物件的流程图。
图7待检物正反面判断的流程图。
图8是配件是否已经安装到位的流程图。
图9是待检物样品的正面示意图。
图10是待检物样品的背面示意图。
图11是检测装置的示意图。
图12是机盒的示意图。
具体实施方式
以下结合附图对本发明具体实施方式做进一步详细说明,应当指出的是,实施例只是对本发明的详细阐述,不应视为对本发明的限定。
实施例1,一种检测汽车配件是否安装的装置。参照附图2、11-12。
如图11所示,本发明的检测装置包括支撑杆7和机盒1,支撑杆7固定安装在支撑杆底盘8上,并通过支撑杆底盘8被固定在检测区域的一侧,通常来说,检测装置和操作人员分别位于检测区域的两侧,处于相对的位置上。
机盒1固定连接在支撑杆7上端,机盒1顶部装有两个排风扇11,用于吹散配件安装过程中熨斗烫熨产生的蒸汽,这些蒸汽会模糊镜头从而影响相机采集图像的质量。机盒1的下部敞开,机盒1内设有面阵相机2,面阵相机2的镜头3朝下,镜头3与面阵相机2通过固有接口连接,面阵相机2通过相机固定杆4安装在机盒1或支撑杆7上,支撑杆7上还设有工控机5,工控机5通过工控机固定杆6可转动地安装在支撑杆6上,工控机5位于机盒1的下方,支撑杆上还设有指示灯16,指示灯16通过指示灯固定件10安装在支撑杆7上,指示灯16位于工控机5和机盒1的中间,指示灯16具有可编程功能,本发明中将其信号线连接到工控机5上,通过工控机5发出不同信号使其红灯闪烁三秒并报警三秒或绿灯闪烁三秒,工控机固定杆6是一根可被弯折可折叠的杆子,使得工控机的方向可调节,从而可以适应不同操作者的需求。
工控机上设有触摸操作屏,使用者可以通过触摸操作屏可以对检测的整个过程进行操作。如图2所示,工控机的操作进入初始界面,有初始化和退出两个操作可选。若点按退出按钮,关闭软件;若点按初始化按钮,进行初始化流程,工控机发送信号触发相机连续采集图像。该流程结束进入初始化界面可以实时显示相机发送给工控机的图像。在初始化界面有曝光量、检测、提取模板三个操作可选。先点按曝光量按钮,进入曝光量设置界面,手动输入相机曝光量参数(单位:微秒),该参数值大小为使得图像中待检配件泛白,待检物其余部分仍呈灰黑色即可。点按确定按钮,曝光量参数设置成功并返回初始化界面;点按取消按钮,曝光量参数未设置成功并返回初始化界面。再点按提取模板按钮,进入提取模板信息界面。有返回、正面、和反面三个操作可选。若点按返回按钮,返回到初始化界面;若点按正面按钮,进行提取正面模板信息流程,该流程结束,返回到提取模板信息界面。若点按反面按钮,进行提取反面模板信息流程,该流程结束,返回到提取模板信息界面。然后点按检测按钮,进行检测流程。在检测界面中,点按停止按钮,可退出检测流程,返回到初始化界面。
如图12所示,机盒1包括顶面和侧面,顶面和侧面围成一个下部敞开的盒体,机盒1的敞开区域设有日光灯管12和日光灯管固定杆13,日光灯管12和日光灯管固定杆13均为多根,日光灯管12和日光灯管固定杆13垂直布置,相互交叉形成了格栅状的机盒底部;机盒1的其中一个侧面设有用于放置相机固定杆4的方槽孔14;机盒1在靠近支撑杆的一个侧面设有机盒走线孔15。
实施例2,一种检测汽车配件是否安装的装置。参照附图1-10。
本实施例中,采用如图9-10所示的汽车靠垫作为待检物,样品为长70cm宽65cm高16cm的一种配件,图9中画圈区域为索要检测的配件,尺寸为长8cm宽8cm。
检测时,首先将检测装置移动至汽车靠垫配件安装工作台旁,其位置为隔着工作台与作业员成对立面。工作台上即为检测区域,工作台面呈白色,后续作为拍摄图像的背景。调整支撑杆、机盒固定板以及相机固定杆位置的使得相机拍摄的视场在工作台面上,按人机交互界面操作流程先进行曝光量设置、再正反面模板信息提取,最后执行检测。
按照如图2所示的操作流程在工控机的人机交互界面进行实施例1中所述的操作,本发明中整体的检测流程如图1所示。
采集有效待检图,进行有无检测物件判断,若无,继续采集有效待检图;若有,转到正反面及干扰判断。若判为干扰,转到采集有效待检图流程;若判为正面,转到是否搬走检测物判断。若未搬走检测物,转到采集有效待检图流程;若已搬走检测物,转到已搬走检测次数加1,判断已搬走检测次数是否大于2。若是,显示屏显示配件未安装且直接搬走,指示灯红灯亮并报警;若否,转到是否搬走检测物判断。若判为反面,转到配件是否安装判断。若未安装,转到是否翻转到正面判断。若未翻转,转到是否搬走检测物判断。若未搬走检测物,转到配件是否安装判断;若已搬走检测物,转到已搬走检测次数加1,判断已搬走检测次数是否大于2。若是,显示屏显示配件未安装且直接搬走,指示灯红灯亮并报警,转到采集有效待检图流程;若否,转到是否搬走检测物判断。若已翻转,转到已翻转检测次数加1,判断已翻转检测次数是否大于2。若是,显示屏显示配件未安装,指示灯红灯亮并报警,转到是否搬走检测物判断。若未搬走检测物,继续是否搬走检测物判断;若已搬走检测物,转到已搬走检测次数加1,判断已搬走检测次数是否大于2。若是,转到采集有效待检图流程;若否,转到是否搬走检测物判断。若已安装,转到已安装检测次数加1,判断已安装检测次数是否大于2。若是,转到是否翻转到正面判断。若已翻转,转到已翻转检测次数加1,判断已翻转检测次数是否大于2。若是,显示屏显示配件已安装,指示灯绿灯亮,转到是否搬走检测物判断。若未搬走检测物,继续是否搬走检测物判断;若已搬走检测物,转到已搬走检测次数加1,判断已搬走检测次数是否大于2。若是,转到采集有效待检图流程;若否,转到是否搬走检测物判断。若未翻转,转到是否搬走检测物判断。若未搬走检测物,转到是否翻转到正面判断;若已搬走检测物,转到已搬走检测次数加1,判断已搬走检测次数是否大于2。若是,显示屏显示配件已安装且反面直接搬走,指示灯绿灯亮,转到采集有效待检图流程;若否,转到是否搬走检测物判断。若已安装检测次数小于等于2,转到是否翻转到正面判断。若已翻转,转到已翻转检测次数加1,判断已翻转检测次数是否大于2。若是,显示屏显示配件未安装且已翻转到正面,指示灯红灯亮并报警,转到是否搬走检测物判断。若未搬走检测物,继续是否搬走检测物判断;若已搬走检测物,转到已搬走检测次数加1,判断已搬走检测次数是否大于2。若是,转到采集有效待检图流程;若否,转到是否搬走检测物判断。若未翻转,转到是否搬走检测物判断。若未搬走检测物,继续是否搬走检测物判断;若已搬走检测物,转到已搬走检测次数加1,判断已搬走检测次数是否大于2。若是,显示屏显示配件未安装且反面直接搬走,指示灯红灯亮并报警,转到采集有效待检图流程;若否,转到是否搬走检测物判断。
其中,根据是否为正面来判断是否翻转到正面;根据灰度图像中最大内轮廓的最小外接矩形面积来判断是否已搬走检测物,若该面积小于灰度图像总面积的1/50,判为已搬走检测物,否则判为未搬走检测物。
获取反面模板信息方法流程如图3所示。相机采集一副图像,发送给工控机;工控机将该图像转为灰度图,采用最大类间方差法确定灰度图最佳阈值k*,用k*-1进行灰度图像二值化,大于k*-1的像素点灰度值置为255,其余像素点的灰度值置0。二值化后灰度图像变为黑白两色图像,灰度值为0表示黑色,灰度值为255表示白色。对二值化后灰度图像进行全图反色,再获取全图内外轮廓,保存内轮廓个数。遍历外轮廓,手动选择确认需检物外轮廓并保存;计算此外轮廓的质心、最小外接矩形面积并保存。遍历内轮廓,手动选择确认需检配件轮廓并保存;计算此轮廓的质心与最小外接矩形面积并保存。
获取正面模板信息方法流程如图4所示。相机采集一副图像,发送给工控机;工控机将该图像转为灰度图,采用最大类间方差法确定灰度图最佳阈值k*,用k*-1进行灰度图像二值化,大于k*-1的像素点灰度值置为255,其余像素点的灰度值置0。二值化后灰度图像变为黑白两色图像,灰度值为0表示黑色,灰度值为255表示白色。对二值化后灰度图像进行全图反色,再获取全图内外轮廓,保存内轮廓个数。遍历外轮廓,手动选择确认需检物外轮廓并保存。
其中最大类间方差法实现思路如下:
对于所述有效待检图有256个灰度级[1,2,...,256],将其按灰度级分成前景与背景两个类,使得这两个类之间的灰度值差异最大,而每个类之间的灰度值差异最小,通过类间方差的计算来寻找一个合适的灰度级阈值来划分。
设k为设定的阈值,ω0:分开后前景像素点数占图像的比例,μ0:分开后前景像素点的平均灰度,ω1:分开后背景像素点数占图像的比例,μ1:分开后背景像素点的平均灰度,图像总平均灰度μ由式(1)给出:
μ=ω0μ01μ1 (1)
且对于任意选定的k,都满足下式:
ω01=1 (2)
从256个灰度级遍历k,使得k为某值时(设该值为k*),前景和背景的类间方差最大,则这个k*值便是我们要求得的阈值。
其中,前景和背景的类间类间方差σ2的计算公式如下式:
σ2=ω00-μ)211-μ)2 (3)
利用式(1)与式(2),类间方差计算公式可转化为下式:
σ2=ω00-μ)211-μ)2 (4)
轮廓质心是通过一阶矩计算质心得到的,推导公式如下:
对于一副L×W的数字图像f(x,y),其(p+q)阶几何矩的定义如下:
其中,f(x,y)是图像在坐标点(x,y)处的灰度值,L是图像的列宽,W是图像的行宽,x=1,2,3,...,L,y=1,2,3,...,W。
设质心坐标为
采集有效待检图方法流程如图5所示。工控机图像计数变量Count清零。相机采集一帧图像,即一定像素大小的24位BMP格式图像,并发送给工控机,工控机将该图像转为灰度图并保存为第一副图像,Count加1,所述图像转为灰度图即为24位图像转为8位3通道图像,再将3通道图像转为单通道256色图像。相机采集下一帧图像,将该图像发送给工控机,工控机将该图像转为灰度图并保存为当前图像,Count加1。此时判断Count是否小于5,若否,则当前图像即为有效待检图;
若是,则对第一副图像与当前图像做帧间差分处理,差分后的图像再做阈值分割处理;所述帧间差分是对同样像素大小的两幅图像的每个像素点的灰度值(色值)求差值的绝对值;所述阈值分割是对差分后的灰度图像做灰度值阈值为60的二值化处理,灰度图像中阈值大于60的像素点的灰度值置为255,而阈值不大于60的像素点的灰度值置为0;然后将非零灰度值计数变量清零,遍历阈值分割后的图像中每一个像素点的灰度值,当某一像素点的灰度值大于零时,非零灰度值计数变量加1;遍历结束后,判断非零灰度值计数变量值是否不大于图像总像素值的1%,若否,即为非零灰度值比例未达标,Count清零,重新开始有效待检图判断流程;若是,即为非零灰度值比例达标,转到采集下一帧图像、转为灰度图以及Count加1流程继续执行。
判断有无物件方法流程如图6所示。工控机读取有效待检图,采用最大类间方差法确定最佳阈值k*,用k*-1进行灰度图像二值化,大于k*-1的像素点灰度值置为255,其余像素点的灰度值置0。对二值化后灰度图像进行全图反色,再获取全图外轮廓。遍历外轮廓,判断外轮廓最小外接矩形面积和长宽比是否分别在保存的模板外轮廓最小外接矩形面积和长宽比的80%~125%范围内;若是,则匹配,判为有物件;若否则不匹配,判为无物件。
正反面及干扰判断流程如图7所示。获取待检物内外轮廓信息;计算待检物外轮廓最小外接矩形;提取外接矩形所包围的区域图像(ROI),计算ROI中最大连通域面积,判断最大连通域面积是否在保存的反面模板或正面模板的最大连通域面积的80%~125%范围内;若否,则不匹配,判为干扰,返回采集有效待检图流程;若是,则匹配,再根据内轮廓个数,判断正反面,若内轮廓个数≦2,则为反面,若内轮廓个数>2,则为正面。
配件是否安装判断流程如图8所示。遍历待检物反面内轮廓,判断是否存在最小外接矩形面积在模板配件轮廓最小外接矩形面积的80%~125%范围内的内轮廓;若否,则配件未安装;若是,则继续判断该轮廓是否与模板配件轮廓相匹配,若否,则配件未安装;若是,则该内轮廓为配件轮廓并按以下流程继续检测;先求反面外轮廓和配件轮廓质心,计算待检物角度;再根据待检物和模板角度,以它们各自外轮廓质心为中心,旋转待检物至模板同角度;设待检物反面外轮廓质心坐标为(x1,y1),配件轮廓质心坐标为(x2,y2),角度为α,模板反面外轮廓质心坐标为(x11,y11),配件轮廓质心坐标为(x12,y12),角度为β,需旋转角度为γ,计算公式如下:
α=atan2(y2-y1,x2-x1) (7)
β=atan2(y12-y11,x12-x11) (8)
γ=α-β (9)
然后重新求配件轮廓质心,并计算外轮廓和配件轮廓的质心差值矢量;最后判断质心差值矢量对应模板是否匹配判断是否安装到位,若是,则配件安装到位,若否,配件未安装到位。所述质心差值矢量对应模板匹配是指该矢量大小在对应模板矢量大小的90%~111%范围内,并且该矢量方向角度与对应模板矢量方向角度相差-50~+50范围内。
其中,检测待检物反面内轮廓是否与模板配件轮廓相匹配是通过Hu矩匹配值M的大小来判断的;若M<0.1,判为匹配,否则判为不匹配。其推导公式如下:
对于一副L×W的数字图像f(x,y),其(p+q)阶几何矩的定义如式(10):
设质心坐标为
中心矩定义如式(12):
其中,f(x,y)是图像在坐标点(x,y)处的灰度值,L是图像的列宽,W是图像的行宽,x=1,2,3,...,L,y=1,2,3,...,W。
中心矩反映的图像灰度分布相对其灰度质心的分布情况,归一化中心矩如式(13),归一化后具有尺度不变性。
利用二阶和三阶归一化中心矩可以导出下面7个不变矩组(φ12,...φ7),它们在图像平移、旋转和比例变化时保持不变。
φ1=η2002 (14)
φ3=(η20-3η12)2+3(η2103)2 (16)
φ4=(η3012)2+(η2103)2 (17)
φ5=(η30+3η12)(η3012)[(η3012)2-3(η2103)2]+(3η2103)(η2103)[3(η3012)2-(η2103)2] (18)
φ6=(η2002)[(η3012)2-(η2103)2]+4η113012)(η2103) (19)
φ7=(3η2103)(η3012)[(η3012)2-3(η2103)2]+(3η1203)(η2103)[3(η3012)2-(η2103)2] (20)
设轮廓A和轮廓B的7个灰度不变矩分别为为φA1A2,...φA7和φB1B2,...φB7,则它们的Hu矩匹配值M如式(21):
/>

Claims (8)

1.一种检测汽车配件是否安装的方法,其特征是,包括以下步骤:
S1,布置检测区域:检测区域内设置工作台,工作台面呈白色,在检测区域放置待检物,将检测装置移动至检测区域上方,检测装置与操作人员分别位于检测区域的相对面;
S2,获取模板信息:放置标准对比物,设置检测装置的曝光量,以标准对比物为参照,提取正反面模板信息并保存;
S3,取有效待检图:采集待检测区域的图像,并对采集到的图像进行处理,排除操作过程中工作人员上身肢体的干扰,得到有效待检图;
S4,判断待检物:从有效待检图中获取物体外轮廓信息,计算其最小外接矩形面积和长宽比,判断是否为待检物;
S5,判断正反面:获取待检物的内外轮廓信息,计算待检物最大连通域面积、内轮廓个数比较,判断待检物的正反面;
S6,判断待检配件:获取待检物反面外轮廓以及待检配件轮廓,进行待检配件轮廓匹配,判断是否为待检配件;
S7,判断安装到位:计算待检物反面外轮廓与待检配件轮廓的质心,以外轮廓质心为中心旋转待检物至模板同角度,重新获取配件轮廓的质心,计算外轮廓和配件轮廓的质心差值矢量,根据该矢量是否与模板匹配,判断是否安装到位;
S8,判断是否翻转:对配件安装到位的待检物,判断是否翻转到正面;
S9,判断是否取走:对已翻转到正面的,根据灰度图像中最大内轮廓的最小外接矩形面积判断是否已搬走待检物,为下一次检测做准备;
获取模板信息的步骤具体包括:
S201,获取反面模板信息:将标准对比物的反面朝上放置,确保标准对比物和检测装置之间无干扰,通过检测装置上的相机采集一幅图像,将该图像转为灰度图,采用最大类间方差法确定灰度图最佳阈值k*,用k*-1进行灰度图像二值化,对二值化后灰度图像进行全图反色,再获取全图内外轮廓,保存内轮廓个数,遍历外轮廓,选择需检物外轮廓并保存;计算此外轮廓的质心、最小外接矩形面积并保存;
S202,获取待检配件模板信息:遍历内轮廓,选择需检配件轮廓并保存;计算此轮廓的质心与最小外接矩形面积并保存;
S203,获取正面模板信息:将标准对比物的正面朝上放置,确保标准对比物和检测装置之间无干扰,通过检测装置上的相机采集一幅图像,该图像转为灰度图,采用最大类间方差法确定灰度图最佳阈值k*,用k*-1进行灰度图像二值化,对二值化后灰度图像进行全图反色,再获取全图内外轮廓,保存内轮廓个数,遍历外轮廓,选择需检物外轮廓并保存;
判断待检测配件是否安装到位的步骤具体包括:
S601,遍历待检物反面内轮廓,判断是否存在最小外接矩形面积在模板配件轮廓最小外接矩形面积的80%~125%范围内的内轮廓;
S602,判断该轮廓是否与配件模板的轮廓相匹配;
S603,求反面外轮廓和配件轮廓质心;
S604,根据两质心,计算待检物角度;
S605,根据待检物和模板角度,以它们各自外轮廓质心为中心,旋转待检物至模板同角度;
设待检物反面外轮廓质心坐标为(x1,y1),配件轮廓质心坐标为(x2,y2),角度为α,模板反面外轮廓质心坐标为(x11,y11),配件轮廓质心坐标为(x12,y12),角度为β,需旋转角度为γ,计算公式如下:
α=atan2(y2-y1,x2-x1);
β=atan2(y12-y11,x12-x11);
γ=α-β;
S606,重新求配件轮廓质心,并计算外轮廓和配件轮廓的质心差值矢量;
S607,根据判断质心差值矢量对应模板是否匹配判断是否安装到位。
2.根据权利要求1所述的一种检测汽车配件是否安装的方法,其特征是,取有效待检图的步骤具体包括:
S301,计数器计数清零;
S302,采集第一帧图像:通过检测装置上的相机采集一帧图像并转换为24位BMP格式图像,将该图像转换为灰度图并保存为第一幅图像,计数器计数+1;
S303,采集下一帧图像并转换为24位BMP格式图像,将转换后的灰度图保存为当前图像,计数器计数+1;
S304,判断S303计数后的计数量Count是否<5,如果否,则判断当前图像为有效待检图,如果是,则进入下一步;
S305,对第一幅图像和当前图像做帧间差分处理,差分后的图像再做阈值分割处理;所述帧间差分是对同样像素大小的两幅图像的每个像素点的灰度值求差值的绝对值;所述阈值分割是对差分后的灰度图像做灰度值阈值为60的二值化处理,灰度图像中阈值大于60的像素点的灰度值置为255,而阈值不大于60的像素点的灰度值置为0;
S306,将非零灰度值计数变量清零,遍历阈值分割后的图像中每一个像素点的灰度值,当某一像素点的灰度值大于零时,非零灰度值计数变量加1;遍历结束后,判断非零灰度值计数变量值是否不大于图像总像素值的1%,若否,即为非零灰度值比例未达标,Count清零,重新开始有效待检图判断流程;若是,即为非零灰度值比例达标,转到步骤S303。
3.根据权利要求1所述的一种检测汽车配件是否安装的方法,其特征是,判断待检物的步骤具体包括:
S401,读取有效待检图;
S402,采用最大类间方差法确定最佳阈值k*,用k*-1进行灰度图像二值化,大于k*-1的像素点灰度值置为255,其余像素点的灰度值置0;对二值化后灰度图像进行全图反色,再获取全图外轮廓;遍历外轮廓,判断外轮廓最小外接矩形面积和长宽比是否分别在保存的模板外轮廓最小外接矩形面积和长宽比的80%~125%范围内;若是,则匹配,判为有物件;若否则不匹配,判为无物件。
4.根据权利要求1所述的一种检测汽车配件是否安装的方法,其特征是,判断正反面的步骤具体包括:
S501,获取待检物内外轮廓信息;
S502,计算待检物外轮廓最小外接矩形;
S503,提取外接矩形所包围的区域图像ROI,计算ROI中最大连通域面积,判断最大连通域面积是否在保存的反面模板或正面模板的最大连通域面积的80%~125%范围内;若否,则不匹配,判为干扰,返回采集有效待检图流程;若是,则匹配,再根据内轮廓个数,判断正反面,若内轮廓个数≦2,则为反面,若内轮廓个数>2,则为正面。
5.根据权利要求1所述的一种检测汽车配件是否安装的方法,其特征是,质心差值矢量对应模板的匹配是指该矢量大小在对应模板矢量大小的90%~111%范围内,并且该矢量方向角度与对应模板矢量方向角度相差-5°~+5°范围内。
6.根据权利要求1所述的一种检测汽车配件是否安装的方法,其特征是,判断待检物反面内轮廓是否与配件模板的轮廓相匹配是通过Hu矩匹配值M的大小来判断的;若M<0.1,判为匹配,否则判为不匹配,其推导过程如下:
对于一副L×W的数字图像f(x,y),其(p+q)阶几何矩mpq定义为:
其中,p,q=0,1,2,...,此处p,q为自然数,无特殊含义;
设质心坐标为
其中,m00表示p=0,q=0时的零阶几何矩,m10表示p=1,q=0一阶几何矩,m01表示p=0,q=1一阶几何矩;
中心矩μpq定义为:
其中,p,q=0,1,2,...;
其中,f(x,y)是图像在坐标点(x,y)处的灰度值,L是图像的列宽,W是图像的行宽,x=1,2,3,...,L,y=1,2,3,...,W;
中心矩反映的图像灰度分布相对其灰度质心的分布情况,归一化中心矩如下,归一化后具有尺度不变性;
利用二阶和三阶归一化中心矩可以导出下面7个不变矩组(φ12,...φ7),它们在图像平移、旋转和比例变化时保持不变;
φ1=η2002
φ3=(η20-3η12)2+3(η2103)2
φ4=(η3012)2+(η2103)2
φ5=(η30+3η12)(η3012)[(η3012)2-3(η2103)2]+(3η2103)(η2103)[3(η3012)2-(η2103)2];
φ6=(η2002)[(η3012)2-(η2103)2]+4η113012)(η2103);
φ7=(3η2103)(η3012)[(η3012)2-3(η2103)2]+(3η1203)(η2103)[3(η3012)2-(η2103)2];
设轮廓A和轮廓B的7个灰度不变矩分别为为φA1A2,...φA7和φB1B2,...φB7,则它们的Hu矩匹配值:
7.一种实现如权利要求1所述检测汽车配件是否安装的方法的装置,其特征是,包括支撑杆和机盒,支撑杆固定安装在支撑杆底盘上,并通过支撑杆底盘被固定在检测区域的一侧,机盒固定连接在支撑杆上端,机盒下部敞开,机盒内设有面阵相机,面阵相机的镜头朝下,面阵相机通过相机固定杆安装在机盒或支撑杆上,支撑杆上还设有工控机,工控机通过工控机固定杆可转动地安装在支撑杆上,工控机位于机盒的下方,支撑杆上还设有指示灯,指示灯通过指示灯固定件安装在支撑杆上,指示灯位于工控机和机盒的中间。
8.根据权利要求7所述的一种检测汽车配件是否安装的方法的装置,其特征是,机盒包括顶面和侧面,顶面和侧面围成一个下部敞开的盒体,机盒的敞开区域设有日光灯管和日光灯管固定杆,日光灯管和日光灯管固定杆垂直布置;机盒的其中一个侧面设有用于放置相机固定杆的方槽孔;机盒在靠近支撑杆的一个侧面设有机盒走线孔。
CN201811034927.1A 2018-09-06 2018-09-06 一种检测汽车配件是否安装的装置及方法 Active CN110021006B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811034927.1A CN110021006B (zh) 2018-09-06 2018-09-06 一种检测汽车配件是否安装的装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811034927.1A CN110021006B (zh) 2018-09-06 2018-09-06 一种检测汽车配件是否安装的装置及方法

Publications (2)

Publication Number Publication Date
CN110021006A CN110021006A (zh) 2019-07-16
CN110021006B true CN110021006B (zh) 2023-11-17

Family

ID=67188456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811034927.1A Active CN110021006B (zh) 2018-09-06 2018-09-06 一种检测汽车配件是否安装的装置及方法

Country Status (1)

Country Link
CN (1) CN110021006B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110376211B (zh) * 2019-08-07 2021-07-27 浙江大学台州研究院 一种湿法涂胶的合成革卷边在线检测装置及方法
CN111539927B (zh) * 2020-04-20 2023-07-18 南通大学 汽车塑料组合件紧固卡扣缺装检测装置的检测方法
CN112200777B (zh) * 2020-09-25 2022-05-17 燕山大学 快速判别航空发动机核心零部件装置拆装顺序的方法
CN112304217B (zh) * 2020-10-15 2022-04-08 浙江大学台州研究院 一种基于机器视觉的尺寸测量评分装置及评分方法
CN113624129A (zh) * 2021-04-01 2021-11-09 浙江大学台州研究院 一种尺寸测量仪的实时测量方法
CN113450356B (zh) * 2021-09-01 2021-12-03 蘑菇物联技术(深圳)有限公司 用于识别目标部件安装状态的方法、设备和存储介质
CN117422714B (zh) * 2023-12-18 2024-03-29 大陆汽车电子(济南)有限公司 装配检测方法、设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101700747A (zh) * 2009-09-03 2010-05-05 江苏万工科技集团有限公司 用于汽车上的儿童乘员约束装置及其控制方法
CN101700764A (zh) * 2009-09-03 2010-05-05 江苏万工科技集团有限公司 用于汽车上的儿童乘员无线约束装置
CN105564271A (zh) * 2014-10-29 2016-05-11 福特全球技术公司 一种用于定制乘员的车辆座椅的设备
CN106203381A (zh) * 2016-07-20 2016-12-07 北京奇虎科技有限公司 一种行车中障碍物检测方法与装置
CN106448049A (zh) * 2016-11-11 2017-02-22 深圳市响音科技有限公司 基于组网的汽车内人体探测报警系统及报警方法
CN206242965U (zh) * 2016-12-17 2017-06-13 闵子富 一种汽车座椅模型及其座椅骨架
CN107563301A (zh) * 2017-08-09 2018-01-09 上海炬宏信息技术有限公司 基于图像处理技术的红灯信号检测方法
CN107561087A (zh) * 2017-08-31 2018-01-09 广东工业大学 一种基于机器视觉的鼠标logo定位及缺陷检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016210417A1 (en) * 2015-06-25 2016-12-29 Atkin Benjamin B Vehicle blind spot detection device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101700747A (zh) * 2009-09-03 2010-05-05 江苏万工科技集团有限公司 用于汽车上的儿童乘员约束装置及其控制方法
CN101700764A (zh) * 2009-09-03 2010-05-05 江苏万工科技集团有限公司 用于汽车上的儿童乘员无线约束装置
CN105564271A (zh) * 2014-10-29 2016-05-11 福特全球技术公司 一种用于定制乘员的车辆座椅的设备
CN106203381A (zh) * 2016-07-20 2016-12-07 北京奇虎科技有限公司 一种行车中障碍物检测方法与装置
CN106448049A (zh) * 2016-11-11 2017-02-22 深圳市响音科技有限公司 基于组网的汽车内人体探测报警系统及报警方法
CN206242965U (zh) * 2016-12-17 2017-06-13 闵子富 一种汽车座椅模型及其座椅骨架
CN107563301A (zh) * 2017-08-09 2018-01-09 上海炬宏信息技术有限公司 基于图像处理技术的红灯信号检测方法
CN107561087A (zh) * 2017-08-31 2018-01-09 广东工业大学 一种基于机器视觉的鼠标logo定位及缺陷检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Detecting shape deformation of soft objects using directional photoreflectivity measurement;Yuta Sugiura 等;《Proceedings of the 24th annual ACM symposium on User interface software and technology》;第1页 *
新型轿车座椅静强度特性有限元仿真分析研究;佘铭;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》(第4期);C035-77 *
汽车检测设备安装调试过程的质量控制;李盛铭;《汽车实用技术》(第11期);155-158 *

Also Published As

Publication number Publication date
CN110021006A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
CN110021006B (zh) 一种检测汽车配件是否安装的装置及方法
CN111970506B (zh) 镜头脏污检测方法、装置和设备
CN109816678A (zh) 一种基于视觉的喷嘴雾化角度自动检测系统及方法
CA2699695C (en) Detecting ambient light levels in a vision system
CN115908269B (zh) 视觉缺陷检测方法、装置、存储介质和计算机设备
US20130107052A1 (en) Driver Assistance Device Having a Visual Representation of Detected Objects
CN110706182B (zh) 一种屏蔽罩平面度检测方法、装置、终端设备及存储介质
CN110018172B (zh) 产品检测系统及方法
US20240095943A1 (en) Device determination system, device determination method, and device determination program
CN107144993B (zh) 一种显示面板检测方法及装置
CN108414531A (zh) 一种基于机器视觉的柔性薄膜缺陷检测装置及其检测方法
CN110611801B (zh) 检测投影模组脏污的方法、装置、可读存储介质及投影仪
CN110082356A (zh) 线材表面缺陷的视觉检测方法及装置
CN116818785B (zh) 一种基于机器视觉的缺陷检测方法、系统及介质
CN107248151B (zh) 一种基于机器视觉的液晶片智能检测方法及系统
CN111639708B (zh) 图像处理方法、装置、存储介质及设备
CN115601712B (zh) 适用于现场安全措施的图像数据处理方法及系统
JP6201922B2 (ja) 車両用錆検出装置、車両用錆検出システム、及び車両用錆検出方法
CN114486902B (zh) 质量检测系统和方法
CN111062887B (zh) 基于改进的Retinex算法的图像清晰度判定方法
JP5727709B2 (ja) 残留物測定方法及び残留物測定装置
CN104713887B (zh) 一种检测平面缺陷的方法
CN115683267A (zh) 液位测量方法、装置及存储介质
CN204649642U (zh) 一种检测平面缺陷的装置
CN114219758A (zh) 缺陷检测方法、系统、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant