CN103729631A - 一种基于视觉的连接器表面特征自动识别方法 - Google Patents
一种基于视觉的连接器表面特征自动识别方法 Download PDFInfo
- Publication number
- CN103729631A CN103729631A CN201410017402.2A CN201410017402A CN103729631A CN 103729631 A CN103729631 A CN 103729631A CN 201410017402 A CN201410017402 A CN 201410017402A CN 103729631 A CN103729631 A CN 103729631A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- zernike
- pseudo
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明涉及了一种基于视觉的连接器表面特征自动识别方法。本方法采集基准图像和实测图像,然后使用伪Zernike矩对基准图像和实测图像的特征计算不变矩特征向量距离,然后采用鲁棒的SIFT特征匹配算法提供严密的相似特征,最后将伪Zernkie距离系数同SIFT匹配系数一起构成线性可分的二维特征向量,最后对特征向量进行分类,得出相似/不相似的结果。本发明基于视觉的手段,对连接器的表面特征进行非接触的自动识别,适应了连接器质量管控中自动化的发展要求,克服了由打标设备的误差造成的特征差异,在连接器自动化视觉检测方面具有良好的应用前景。
Description
技术领域
本发明涉及一种特征识别方法,特别是涉及到连接器表面特征的自动识别。进一步的描述是指通过固定在连接器表面上方的工业相机采集表面特征的实测图像,结合图像检索中的不变矩特征与计算机视觉中的图像匹配技术,将基准图像与实测图像进行严密的筛选和分类,完成表面特征识别的方法。
背景技术
连接器(CONNECTOR),又称接插件、插头和插座,是3C产品和电气设备上使用最多的零件之一,其功能为:(1)使电流或信号连通;(2)连接物理或机械设备。常见的连接器有USB连接器、HDMI连接器、FPC连接器等。随着消费电子、汽车电子和通信终端视场的快速增长以及全球连接器生产能力不断向亚洲及中国转移,中国已经成为全球连接器增长最快和容量最大的市场。随着连接器产能的大幅提高和对质量的越来越高的要求,传统的目视质量管控方式显得越来越落后。近年来,以计算机技术和数字图像处理技术为核心的空间信息技术得到飞速发展,工业相机的制造工艺水平大幅度提高,成本降低,这些科技进步和变化使得视觉测量的方法越来越多的应用于连接器的质量检测和管控中。
在连接器制造业中为了区分产品批次或追溯产品生产历史,一般都需要在产品表面印上显著的标记,如LOGO、批号、标号等(如附图1所示)。连接器质量检测和管控的一个重要方面即识别产品表面的特征,实现特定特征产品的分选。利用视觉的方法能自动完成这一过程,大大提高效率和节省人力成本。
目前市面上的视觉测量系统提供了一些特征识别的功能,如OCR(字符识别)功能、二维码读取功能、基准比对功能等。但是这些已知的特征识别功能的缺陷在于(1)只能针对特定的特征,如OCR功能只能识别印刷体的英文字母或数字,二维码读取功能只能识别黑白分明的编码标志;(2)对图像特征的约束较多,如基准比对功能采用同基准图对比的功能实现特征的识别,虽然不局限于特定的特征,但是基准比对功能要求基准图与实时图特征的大小、方向、位置基本相同。OCR功能一般要求英文字母或字体是水平或竖直分布,因此需要首先对图像进行纠正,这会降低处理效率。在实际生成中,由于各种打标设备的精度有限(如打标力度、位置、角度会随着时间延长出现误差),在对连接器产品表面进行打标时,标记会出现平移、缩放、旋转等变形情况(参见图1中第二行的数字标号所示,存在旋转和缩放的情况),因此常规的基准比对功能无法解决此类问题或者识别精度会出现较大误差。
因此,针对上述连接器表面特征识别,需要研究通用性强、仿射不变的(即抗平移、缩放和旋转)图像特征识别算法。
发明内容
本发明要解决的技术问题是,针对现存的特征识别算法的缺陷,提出一种基于视觉的通用性较强(适用于数字、字母、标号、LOGO等)、仿射不变的(抗旋转、平移、缩放的)特征识别算法。它结合图像检索中的不变矩和计算机视觉中的图像匹配技术,将基准图像与实测图像进行严密的筛选和分类,与现存的特征识别算法相比,本发明发放的优势在于(1)通用性较强,与特征的类别没有关系,只要能对由打标设备形成的表面标志进行正确成像即可,如数字、字母、标号、LOGO等,均可以应用本发明的方法进行识别;(2)能在由打标设备的误差造成的旋转、平移、缩放的特征差异下仍然可以实现正确的识别。
本发明的技术方案,对连接器产品的表面特征识别的总体过程为:采集基准图像和实测图像,然后使用伪Zernike矩对基准图像和实测图像的特征计算不变矩特征向量距离,然后采用鲁棒的SIFT特征匹配算法提供严密的相似特征,最后将伪Zernkie距离系数同SIFT匹配系数一起构成线性可分的二维特征向量,最后对特征向量进行分类,得出相似/不相似的结果。详细来说,可分为以下几步:
第一步:采集基准图像和实测图像
利用工业CCD设备采集具有指定特征的样品图像作为基准图像,
第二步:计算基准图像和实测图像的不变矩特征向量
不变矩是图像特征识别中的常用评价指标,即通过提取具有仿射不变(平移、旋转和比例不变性)的图像特征,进行图像相似度的评价。其代表算法有Hu矩、Zernike矩、伪Zernike矩、小波矩等。其中,伪Zernike不变矩因其具有优良的旋转不变性、易于构造包含更多图像信息的高阶矩等特点,因此在识别能力上高于其它矩。Zernike及伪Zernike不变矩的定义如下:
Zernike矩是在一组正交矩,重复率为m的n阶Zernike矩定义为:
是Zernike径向多项式,定义为:
其中为正整数,可取正负整数,且有。对于度数不大于的线性独立多项式来讲,伪Zernike多项式包含各度数不大于的线性独立多项式,而传统Zernike多项式只包含个,因此在理论上讲,前者构成的不变矩要比后者的抗噪性能好。
用于特征识别的不变矩为式(8)所表示的伪Zernike矩的模,由于高阶矩中的图像信息更多,因此本算法中将采用6,7,8,9,10阶不变矩作为粗筛选的特征向量。不变矩的计算需要在二值化影像的基础上进行计算。因此在本步中需要对基准图像和实测图像进行二值分割,得到特征表达区域的二值影像。记基准图像和实测图像的二值化影像分别为和。 按照式(8)计算和的高阶伪Zernike不变矩组成的特征向量,。
以不变矩特征向量的欧式距离作为相似度距离评判标准,如下式:
其中,表示基准图像的伪Zernike不变矩特征向量,表示实测图像的伪Zernike不变矩特征向量。将该欧式距离作为评判标准同设定的初筛选阈值进行比较,若小于阈值,则认为特征相似,否则认为特征不相似。计算特征向量同的欧氏距离,将其作为不变矩匹配系数,并同设定的初筛选阈值比较,对大于或等于初筛选阈值的样本直接判为不相似,结束本次特征识别过程,对于小于初筛选阈值的样本进入下一步。
SIFT特征是一种基于尺度空间的,对图像平移、旋转、缩放、甚至仿射变换保持不变性的图像局部特征,在航测图像匹配、计算机视觉立体匹配等领域得到广泛应用。在本发明中,对基准图像和实测图像进行SIFT特征提取后,以128维特征向量之间的欧式距离作为同名点匹配的相似度准则对特征点进行匹配,获取基准图像和实测图像的同名点对。 由于基准图像和实测图像在主光轴方向移动并不很大,其表面特征的旋转、缩放、平移仅仅是由于机械设备的误差造成的,在成像时两者还是保持在同一像平面。因此可构建仿射变换将SIFT匹配得到的同名点对统一到相同的坐标系中,计算同名点的距离中误差,距离中误差越小说明相似度高。仿射变换如下式:
上式表明,匹配系数与匹配点数成反比,与同名点距离中误差成正比。匹配点数小于3对的时候,将匹配系数赋为一个大值,结合实际影像的特点可将该大值设为1000。
第五步:分类器判定相似/不相似
成二维的特征向量,利用线性判别函数进行分类得出相似和不相似的结果,完成基准图像与实测图像的特征识别过程。
本发明基于视觉的手段,对连接器的表面特征进行非接触的自动识别,适应了连接器质量管控中自动化的发展要求,克服了由打标设备的误差造成的特征差异,在连接器自动化视觉检测方面具有良好的应用前景。
附图说明
图1 连接器表面标记的几个例子,
图2 基于视觉的连接器表面特征自动识别算法流程图,
图3为标号为“122”的样本图集,
图4为标号为“133”的样本图集,
图5为标号为“134”的样本图集,
图6-图8为SIFT匹配及仿射变换过程,
图9为“122”标号样本特征分类结果,
图10为“133”标号样本特征分类结果,
图11为“134”标号样本特征分类结果。
具体实施方式
图1为连接器表面特征的几个较为典型的例子,从上到下分别为批号、标号和LOGO特征。
如图2所示,本发明的工作原理及过程可表述为:采集表面特征的基准图像和实测图像;计算基准图像和实测图像的高阶伪Zernike不变矩系数构成特征向量;计算基准图像和实测图像的不变矩特征向量的欧氏距离构成不变矩匹配系数;将不变矩匹配系数同预设的阈值进行比较,如果大于阈值则进入下一步,如果小于阈值,则直接得出基准图像与实测图像不相似的结论,退出流程;对不变矩匹配系数大于预设阈值的基准图像和实测图像进行SIFT特征匹配;将SIFT特征匹配得到的同名点集构建仿射变换,并计算SIFT匹配系数;将不变矩匹配系数同SIFT匹配系数一起构成二维特征向量;将二维特征向量送入分类器,得到相似/不相似的分类结果;记录相似/不相似的结果,完成特征的识别过程。
图3为某型连接器表面一种较为常用的标号特征图集,其中图3为20张随机采集的标号值为“122”的样本图集,图4为20张随机采集的标号值为“133”的样本图集,图5为20张随机采集的标号值为“134”的样本图集,这些样本图集中较为明显的表现出了由于打标设备的误差造成的旋转、平移和缩放情况。
图6-8为基准图像和实测图像进行SIFT匹配和构建仿射变换的过程,其中图6为基准图像SIFT特征提取结果,图7为实测图像SIFT特征提取结果,图8为进行同名点匹配后仿射变换的叠加显示在实测图像上的结果。
图9为以标号值为“122”的样本作为基准图像的特征识别结果,图中正方形为标号值为“122”的实测图像的分类结果,圆形为标号值为“133”的实测图像的分类结果,三角形为标号值为“134”的实测图像的分类结果。
图10为以标号值为“133”的样本作为基准图像的特征识别结果,图中正方形为标号值为“133”的实测图像的分类结果,圆形为标号值为“122”的实测图像的分类结果,三角形为标号值为“134”的实测图像的分类结果。
图11为以标号值为“134”的样本作为基准图像的特征识别结果,图中正方形为标号值为“134”的实测图像的分类结果,圆形为标号值为“122”的实测图像的分类结果,三角形为标号值为“133”的实测图像的分类结果。
(1)采集图3-5所示的3种标号特征图集,并以其中某一种标号的特征图集为基准图像,以全部的标号图集作为实测图像。
(2)计算基准图像与实测图像的伪Zernike不变矩特征向量。
(3)计算基准图像与实测图像的不变矩特征向量的距离,并构建不变矩匹配系数。
(4)将不变矩匹配系数小于预设阈值的样品作为相似产品,将大于预设阈值的样品作为不相似的产品,完成特征的粗分类。
(5)对上一步标记为相似产品的样品与基准图像进行SIFT特征提取,并进行匹配得到同名点集,SIFT匹配的结果如图6、7所示。
(6)对同名点集进行仿射变换,并构建SIFT匹配系数,仿射变换后同名点叠加显示的结果如图8所示。
(7)将不变矩匹配系数与SIFT匹配系数构成二维特征向量。
(8)构建线性分类器对二维特征向量进行分类,得出基准图像与实测图像的相似/不相似结果,特征向量分类的结果如图9、10、11所示。
Claims (2)
1.一种基于视觉的连接器表面特征自动识别方法,其特征在于,过程为:采集基准图像和实测图像,然后使用伪Zernike矩对基准图像和实测图像的特征计算不变矩特征向量距离,然后采用鲁棒的SIFT特征匹配算法提供严密的相似特征,最后将伪Zernkie距离系数同SIFT匹配系数一起构成线性可分的二维特征向量,最后对特征向量进行分类,得出相似或者不相似的结果,具体如下:
第一步:采集基准图像和实测图像
第二步:计算基准图像和实测图像的不变矩特征向量
不变矩是图像特征识别中的常用评价指标,即通过提取具有仿射不变的图像特征,采用、Zernike矩、伪Zernike矩进行图像相似度的评价,Zernike及伪Zernike不变矩的定义如下:
Zernike矩是在一组正交矩,重复率为m的n阶Zernike矩定义为:
(8)
用于特征识别的不变矩为式(8)所表示的伪Zernike矩的模,由于高阶矩中的图像信息更多,因此本方法中采用6,7,8,9,10阶不变矩作为粗筛选的特征向量,在本步中对基准图像和实测图像进行二值分割,得到特征表达区域的二值影像,记基准图像和实测图像的二值化影像分别为和, 按照式(8)计算和的高阶伪Zernike不变矩组成的特征向量,;
以不变矩特征向量的欧式距离作为相似度距离评判标准,公式如下式:
其中,表示基准图像的伪Zernike不变矩特征向量,表示实测图像的伪Zernike不变矩特征向量,将该欧式距离作为评判标准同设定的初筛选阈值进行比较,若小于阈值,则认为特征相似,否则认为特征不相似,计算特征向量同的欧氏距离,将其作为不变矩匹配系数,并同设定的初筛选阈值比较,对大于或等于初筛选阈值的样本直接判为不相似,结束本次特征识别过程,对于小于初筛选阈值的样本进入下一步,
对基准图像和实测图像进行SIFT特征提取后,以128维特征向量之间的欧式距离作为同名点匹配的相似度准则对特征点进行匹配,获取基准图像和实测图像的同名点对,仿射变换如下式:
上式表明,匹配系数与匹配点数成反比,与同名点距离中误差成正比,匹配点数小于3对的时候,将匹配系数赋为一个大值,结合实际影像的特点将该大值设为1000;
第五步:分类器判定相似或者不相似
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410017402.2A CN103729631B (zh) | 2014-01-15 | 2014-01-15 | 一种基于视觉的连接器表面特征自动识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410017402.2A CN103729631B (zh) | 2014-01-15 | 2014-01-15 | 一种基于视觉的连接器表面特征自动识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103729631A true CN103729631A (zh) | 2014-04-16 |
CN103729631B CN103729631B (zh) | 2017-01-18 |
Family
ID=50453697
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410017402.2A Expired - Fee Related CN103729631B (zh) | 2014-01-15 | 2014-01-15 | 一种基于视觉的连接器表面特征自动识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103729631B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104943405A (zh) * | 2015-07-03 | 2015-09-30 | 北人机器人系统(苏州)有限公司 | 一种汽车底盘摆臂件视觉打标系统 |
CN104021558B (zh) * | 2014-06-16 | 2017-01-11 | 哈尔滨工业大学 | 一种基于归一Zernike矩和灰度匹配的液晶仪表图案视觉检测方法 |
CN106845345A (zh) * | 2016-12-15 | 2017-06-13 | 重庆凯泽科技股份有限公司 | 活体检测方法及装置 |
CN107941808A (zh) * | 2017-11-10 | 2018-04-20 | 中国计量大学 | 基于机器视觉的3d打印成型质量检测系统及方法 |
CN108021946A (zh) * | 2017-12-07 | 2018-05-11 | 重庆理工大学 | 一种基于系统编码的农机部件相似度评定方法 |
CN108355981A (zh) * | 2018-01-08 | 2018-08-03 | 西安交通大学 | 一种基于机器视觉的电池连接器质量检测方法 |
CN110288865A (zh) * | 2019-05-10 | 2019-09-27 | 武汉市鸿蒙智慧科技有限公司 | 一种基于机器视觉的技能操作辅助训练与检测的系统 |
CN111160436A (zh) * | 2019-12-20 | 2020-05-15 | 上海交通大学 | 旋转等变的图卷积神经网络的球形图像分类方法及系统 |
CN111562267A (zh) * | 2020-05-29 | 2020-08-21 | 重庆施鲁逊智能科技有限公司 | 用于汽车保险盒装配的视觉检测系统 |
CN112183585A (zh) * | 2020-09-08 | 2021-01-05 | 西安建筑科技大学 | 一种基于多特征测度的青铜器铭文相似性度量方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100573619B1 (ko) * | 1999-10-27 | 2006-04-24 | 김회율 | 저니키/의사 저니키 모멘트 추출 방법 |
CN102903075B (zh) * | 2012-10-15 | 2015-04-08 | 西安电子科技大学 | 基于图像特征点全局校正的鲁棒水印方法 |
-
2014
- 2014-01-15 CN CN201410017402.2A patent/CN103729631B/zh not_active Expired - Fee Related
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104021558B (zh) * | 2014-06-16 | 2017-01-11 | 哈尔滨工业大学 | 一种基于归一Zernike矩和灰度匹配的液晶仪表图案视觉检测方法 |
CN104943405A (zh) * | 2015-07-03 | 2015-09-30 | 北人机器人系统(苏州)有限公司 | 一种汽车底盘摆臂件视觉打标系统 |
CN106845345A (zh) * | 2016-12-15 | 2017-06-13 | 重庆凯泽科技股份有限公司 | 活体检测方法及装置 |
CN107941808A (zh) * | 2017-11-10 | 2018-04-20 | 中国计量大学 | 基于机器视觉的3d打印成型质量检测系统及方法 |
CN107941808B (zh) * | 2017-11-10 | 2024-04-12 | 中国计量大学 | 基于机器视觉的3d打印成型质量检测系统及方法 |
CN108021946A (zh) * | 2017-12-07 | 2018-05-11 | 重庆理工大学 | 一种基于系统编码的农机部件相似度评定方法 |
CN108355981A (zh) * | 2018-01-08 | 2018-08-03 | 西安交通大学 | 一种基于机器视觉的电池连接器质量检测方法 |
CN110288865A (zh) * | 2019-05-10 | 2019-09-27 | 武汉市鸿蒙智慧科技有限公司 | 一种基于机器视觉的技能操作辅助训练与检测的系统 |
CN111160436A (zh) * | 2019-12-20 | 2020-05-15 | 上海交通大学 | 旋转等变的图卷积神经网络的球形图像分类方法及系统 |
CN111160436B (zh) * | 2019-12-20 | 2023-04-21 | 上海交通大学 | 旋转等变的图卷积神经网络的球形图像分类方法及系统 |
CN111562267A (zh) * | 2020-05-29 | 2020-08-21 | 重庆施鲁逊智能科技有限公司 | 用于汽车保险盒装配的视觉检测系统 |
CN112183585A (zh) * | 2020-09-08 | 2021-01-05 | 西安建筑科技大学 | 一种基于多特征测度的青铜器铭文相似性度量方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103729631B (zh) | 2017-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103729631B (zh) | 一种基于视觉的连接器表面特征自动识别方法 | |
CN111340797B (zh) | 一种激光雷达与双目相机数据融合检测方法及系统 | |
CN103093191B (zh) | 一种三维点云数据结合数字影像数据的物体识别方法 | |
CN104850850B (zh) | 一种结合形状和颜色的双目立体视觉图像特征提取方法 | |
CN110286124A (zh) | 基于机器视觉的耐火砖测量系统 | |
CN107392929B (zh) | 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法 | |
CN111191582B (zh) | 三维目标检测方法、检测装置、终端设备及计算机可读存储介质 | |
CN112950667B (zh) | 一种视频标注方法、装置、设备及计算机可读存储介质 | |
Song et al. | Micro surface defect detection method for silicon steel strip based on saliency convex active contour model | |
CN105678318B (zh) | 交通标牌的匹配方法及装置 | |
CN110120013B (zh) | 一种点云拼接方法及装置 | |
CN108073940B (zh) | 一种非结构化环境中的3d目标实例物体检测的方法 | |
CN103606170A (zh) | 基于彩色尺度不变的街景影像特征检测与匹配方法 | |
CN111563896A (zh) | 一种用于接触网异常检测的图像处理方法 | |
CN114241469A (zh) | 一种面向电表轮换过程的信息识别方法和装置 | |
Mukhopadhyay et al. | PCB inspection in the context of smart manufacturing | |
CN110232703B (zh) | 一种基于颜色和纹理信息的运动目标识别装置及方法 | |
CN105654479A (zh) | 多光谱图像配准方法和装置 | |
CN110675442A (zh) | 一种结合目标识别技术的局部立体匹配方法及系统 | |
CN109784257B (zh) | 一种变压器温度表检测与识别方法 | |
CN111652200A (zh) | 车险案件中从图片区分多车的处理方法、装置及设备 | |
Singh et al. | Vidaq: A framework for monitoring human machine interfaces | |
CN107122783B (zh) | 一种基于角点检测的装配连接件快速识别方法 | |
CN106056599B (zh) | 一种基于物体深度数据的物体识别算法及装置 | |
CN110956640B (zh) | 一种异源图像边缘点检测与配准方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170118 Termination date: 20210115 |