CN110570412B - 一种零件误差视觉判断系统 - Google Patents

一种零件误差视觉判断系统 Download PDF

Info

Publication number
CN110570412B
CN110570412B CN201910840098.4A CN201910840098A CN110570412B CN 110570412 B CN110570412 B CN 110570412B CN 201910840098 A CN201910840098 A CN 201910840098A CN 110570412 B CN110570412 B CN 110570412B
Authority
CN
China
Prior art keywords
edge
image
point
window
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910840098.4A
Other languages
English (en)
Other versions
CN110570412A (zh
Inventor
魏衍举
杨亚晶
刘圣华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201910840098.4A priority Critical patent/CN110570412B/zh
Publication of CN110570412A publication Critical patent/CN110570412A/zh
Application granted granted Critical
Publication of CN110570412B publication Critical patent/CN110570412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/04Measuring microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0006Industrial image inspection using a design-rule based approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种零件误差视觉判断系统,包括:光路转换装置,将传送带上的零件的不同部分反射的光线集中到一个窗口中,使摄像系统使用全部像素仅拍摄该窗口,从而大幅降低每个像素点代表的实际物理长度;基于RGB颜色空间的彩色图像的边缘提取系统,根据所述摄像系统拍摄的图片,提取图像边缘,计算零件尺寸;判断系统,判断零件是否合格,并给出相应信号。本发明利用了可提高零件尺寸检测精度的光路转换装置和一种新的RGB颜色空间图像边缘提取算法,并可编写与之适应的软件,从而提高零件尺寸视觉检测的精度,降低视觉检测系统的成本,尤其适合中小型企业使用。

Description

一种零件误差视觉判断系统
技术领域
本发明属于机械加工视觉检测技术领域,特别涉及一种零件误差视觉判断系统。
背景技术
传统的机械制造工业需要依靠大量的人力。人力生产无论是在生产效率还是生产成本上都无法适应现代社会对机械生产的需求。零件尺寸的检测是机械制造工业生产中十分重要的一环,它起着保障零件质量的作用。随着工业化水平的提高,机械工业中生产零件的效率更高,数量更大,因此,在生产过程中,生产部门追求更有效率,更加精准的零件尺寸检测方式,以期在降低成本、保证质量的前提下,提高生产效率。
传统的零件检测方式多为人工检测,即从产品中进行抽样,使用游标卡尺,量规或者使用三坐标测量仪等复杂工具对零件的尺寸进行测量。这些检测方式有着共同的特点,即需要人工操作器具,用肉眼读取数值,估计零件的精确尺寸。由上述特点决定,这些方法虽然容易实现,但具有检测时间长、检测精度低、检测结果不稳定和接触零件等缺陷,难以满足零件高效高精度的检测要求。
随着机器视觉检测技术的发展,产品自动化检测、识别技术被广泛用于生产生活的各个领域,一方面代替了繁琐的人工操作,提高了产品的检测精度和生产效率,另一方面促进了生产工艺的改善,提高了产品的质量。视觉检测是通过计算机的运算,根据图像的颜色变化,识别出图像中的某些特征。基于边缘分析的被检测对象的特征提取是机器视觉检测过程中的重要步骤。
然而目前基于机器视觉技术的零件检测方法都是将摄像机拍摄的RGB空间的彩色图像转换成灰度图像,再在灰度图像的基础上提取边缘。如在灰度图像下的梯度法、小波变换法等,这些方法只利用了彩色图像的亮度信息,没有利用其色度信息,对于微小零件来说可能会影响其尺寸测量精度。此外大部分的检测方法都是直接用摄像头拍摄零部件得到图像,但是由于摄像头的像素是有限的,当图像中呈现的物体的实际尺寸越大时,每个像素点所代表的实际物理尺寸就越大,则边缘提取的误差越大。对于边缘提取算法来说,零件边缘以内的大部分信息是无用的,所以使用摄像头拍摄整个零件会造成最终计算结果误差,并浪费了图像的信息。同时许多检测技术虽然其精度优良,但成本过高,中小型企业难以承受。
发明内容
为了克服上述现有技术中检测方法利用灰度图像提取边缘,进行边缘提取可能会导致图像部分边缘信息缺失,此外直接用摄像头拍摄整个零件也会使边缘提取的误差变大,从而影响测量精度等缺点,本发明的目的在于提供一种零件误差视觉判断系统,利用了可提高零件尺寸检测精度的光路转换装置和一种新的RGB颜色空间图像边缘提取算法,并可编写与之适应的软件,从而提高零件尺寸视觉检测的精度,降低视觉检测系统的成本,尤其适合中小型企业使用。
为了实现上述目的,本发明采用的技术方案是:
一种零件误差视觉判断系统,包括:
光路转换装置,将传送带上的零件的不同部分反射的光线集中到一个窗口中,使摄像系统使用全部像素仅拍摄该窗口,从而大幅降低每个像素点代表的实际物理长度;
基于RGB颜色空间的彩色图像的边缘提取系统,根据所述摄像系统拍摄的图片,提取图像边缘,计算零件尺寸;
判断系统,判断零件是否合格,并给出相应信号。
所述光路转换装置包括内锥反射面和外锥反射面,位于内锥反射面的中央位置,窗口位于内锥反射面的正上方,光源斜射零件,零件反射的光线入射至内锥反射面,再反射入外锥反射面,由外锥反射面从所述窗口反射出,经由显微镜射入摄像系统。
所述光源为LED灯,LED灯置于传送带下方,传送带为半透明塑料材质,从而提高零件和背景的对比度,而又不至于使光线过强,影响显微镜的正常使用,所述显微镜为7-640倍可调放大倍数显微镜,摄像系统包括使用CMOS传感器的工业摄像机。
所述光路转换装置由反射光线的玻璃柱和承载玻璃柱的主体组成,所述玻璃柱有多个,所述主体包括支架,支架为长方体的上下通透框架结构,支架的四个侧面上设置有均匀分布的孔洞,孔洞大小和玻璃柱的外尺寸一致,在支架内部中央设置有竖直的窗口结构,窗口结构由多个竖直的子窗口组成,各子窗口的大小和玻璃柱的粗细一致,所述玻璃柱的一端沿一条棱成45度角切开,并在切面镀反光膜,通过玻璃柱不同的组合方式,将零件各个部位的光线集中反射到窗口处,其中所述窗口的尺寸远小于整个零件的尺寸。
所述零件的长度计算方法如下:
首先,使用另一个相同零件进行标定,标定的方法为,将一个已知尺寸的相同零件放置在指定位置,采集图像;
之后,截取图像中的特征部分,并记录这些特征部分在图像中的位置,截图方法是通过鼠标选取两个点,记录这两个点在图像坐标系中的坐标,计算机截取两点之间的图像;
随后,对于截取的图像分别设定新的图像坐标系,以图像左下角为原点,图片的边界为坐标系方向建立直角坐标系,对图像进行边缘提取,记录边缘在相应图像坐标系中的坐标yA0和yB0,此时标定完成;
最后,对未知高度的新零件在相同的位置截图,重复上述步骤,得到边缘坐标yA1和yB1,根据对应坐标的差值和每个像素点所代表的实际长度,计算出标定用零件和待检测零件的长度差,从而得到待检测零件的尺寸。
所述边缘提取系统采用的边缘提取算法直接应用于RGB颜色空间的图像,将SUSAN算子直接应用到RGB空间,使用RGB色差,同时利用R、G、B三个颜色通道的信息进行边缘提取。
所述边缘提取算法是将SUSAN算法应用到彩色RGB图像中,采用一种基于空间距离和矢量角度值的RGB色差公式代替灰度差,直接计算每个像素点的原始边缘响应,通过非极大值抑制,直接提取图像边缘,其详细步骤如下所述:
(1)采用中值滤波法分三个通道对图像进行去噪;
(2)使用SUSAN算子遍历图像,根据RGB色差公式计算每一个像素点的相似区,遍历过程用矩阵向不同方向和距离的平移来代替,当模版位于某一核点时,计算模版内各点和核点的RGB色差,设定一阈值t,当模版内某点和核点RGB色差小于等于t时,记该点为相似点;
(3)根据相似区大小计算原始边缘响应,原始边缘响应不为0的点初步认为是边缘点,此时提取出的边缘是具有一定厚度的边缘,当t值增大时,相似点数目增大,相似区面积小于g的像素点数目减小,即提取出的边缘点更少,边缘会变细,但仍具有一定宽度;
(4)对得到的边缘图像进行非极大值抑制,得到更加细致的单像素边缘图像;首先计算边缘方向,得到边缘点方向后,遍历整个边缘图像,比较当前像素点X和沿边缘法线方向两个相邻点的原始边缘响应,若当前像素点X的原始边缘响应是最大值,则认为该点是边缘点;若不是,则对像素点X进行抑制,当X周围的八个像素点均不在其边缘法线方向上时,则需要进行线性差值,即设在水平或竖直方向上相邻的两个像素点距离为1,根据边缘的法线与水平方向的夹角或夹角的补角的值和像素点的原始边缘响应进行线性插值。
若RGB颜色空间中两个颜色坐标分别为x1=(r1,g1,b1)和x2=(r2,g2,b2),则所述RGB色差和相似区计算公式为:
Figure BDA0002193410510000051
Figure BDA0002193410510000052
式中:dist表示色差;c(r,r0)表示相似区大小;wr,wg,wb表示人眼对红、绿、蓝三分量变化的敏感程度加权系数,取值为1,2,1;sr,sg,sb表示各个分量的重要性程度:
Figure BDA0002193410510000053
Figure BDA0002193410510000054
Figure BDA0002193410510000055
Figure BDA0002193410510000056
θ代表两个待比较的颜色在RGB空间的矢量角度的归一化:
Figure BDA0002193410510000057
a表示反三角函数,sθ用来考查红、绿、蓝三分量变化对两个待比较颜色在RGB空间的矢量角度的贡献,依据各个分量重要性程度来调整角度;
Sθ=Sθr+Sθg+Sθb
Figure BDA0002193410510000058
Figure BDA0002193410510000059
Figure BDA00021934105100000510
Sratio用于调整系数防止在RGB空间底部过大;
Figure BDA0002193410510000061
dist(r,r0)表示位置坐标为r的像素点和核点r0的RGB色差;
所述步骤(3)中:
Figure BDA0002193410510000062
Figure BDA0002193410510000063
式中:n(r0)为需要计算的相似区的面积,即相似区所包含的像素点个数;R(r0)为原始边缘响应;g为阈值,取
Figure BDA0002193410510000064
nmax为模版中最大像素点个数,R(r0)大于0,则认为该像素点是边缘点,否则为非边缘点,剔除,得到有一定宽度的边缘图像。
所述判断系统包括:
用户参数设定模块,用户根据需求选取图像中要进行处理的部分,并选取设定零件待检测部分的边缘的类型;
标定和初始化模块,计算每个像素点所代表的实际尺寸,并使用一个已测量了长度的零件进行标定;
图像检测模块,进行连续、可控的检测,并即时输出检测结果,报告零件是否合格。
系统软件包括四个界面,分别为主界面、像素点实际长度计算界面、标定界面和检测界面,主界面用来存储软件中的数据和访问其他界面,像素点实际长度计算界面用来测算当前工况下每个像素点代表的实际物理长度,标定界面用来测算标定用零件的各个参数和设定阈值、待检测的边缘种类等参数,检测界面用来检测其他待检测零件。
与现有技术相比,本发明的有益效果是:
(1)提出了一种新的边缘提取算法。本系统提出一种将SUSAN算子直接应用于RGB颜色空间进行边缘提取的算法,因为没有转换成灰度图像,避免了图像信息的损失。该算法也不需要将RGB颜色空间转换成LAB、HSV颜色空间,从而节省了算法的时间,提高了图像边缘提取的效率。
(2)设计了一种光路转换装置。光路转换装置通过转换光路,使零件需要被拍摄的部分集中显示在很小的窗口内,可以使摄像机聚焦在这一窗口内,从而达到减小每个像素点代表的实际物理尺寸的作用,提高了检测精度。
附图说明
图1为系统总体结构示意图。
图2为光路转换装置的主体部分。
图3为光路转换装置的反光玻璃柱部分。
图4为光路转换装置的工作原理光路图。
图5为使用光路转换装置的实拍效果图。
图6为从窗口中截取的图像1。
图7为从窗口中截取的图像2。
图8为软件主界面。
图9为像素点实际长度计算界面。
图10为标定界面。
图11为检测界面。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
本发明为一种零件公差智能视觉检测系统,使用了一个光路转换装置,将零件不同部分反射的光线集中到一个窗口中,使摄像机使用全部像素仅拍摄一个很小的窗口,大幅降低每个像素点代表的实际物理长度,从而提高精度,降低成本;同时利用一种基于RGB颜色空间的彩色图像的边缘提取算法,有较好的边缘提取性能。此外,由于使用了光路转换装置,计算零件尺寸的方法和传统的提取图像边缘,计算边缘之间像素点数,从而计算尺寸的方法相比有所变化,编写了相应的软件。
具体介绍如下:
1、系统整体结构
如图1所示,系统分为硬件和软件两个部分。硬件部分包括光源3、光路转换装置5(边缘提取器)、显微镜6和摄像装置7等,软件部分使用Matlab单独编写,用以处理图像、计算尺寸和检测零件是否合格。在机械臂2上设置半透明传送带1,系统的工作过程为,开启光源3,将光源3以一定角度照射到零件4上。零件4表面反射的光线通过光路转换装置5后,经由显微镜6,射入摄像装置7。摄像装置7包括摄像头和CMOS传感器。用户通过软件控制硬件系统采集图像,图像输入计算机8中,经由软件进行处理,提取图像边缘,计算零件尺寸。之后系统判断零件是否合格,并给出相应信号。
2、照明光源
零件尺寸计算的精度在很大程度上取决于光源3的照明效果。照明效果良好时,边缘提取更加精准。所谓的照明效果良好是指:通过光线照射使零件的轮廓能够清晰显示;并且零件表面没有明显的反射光斑,以避免光斑影响零件图像的边缘提取;突出零件边缘和周围背景的对比度。光源本身应满足以下条件:使用寿命长;不会随着使用时间的增长,光照强度和稳定性明显下降;节能;射出的光线强度均匀。此外,使用摄像机在拍摄物体时,由于景深的存在,会导致拍摄出的图像无法完全准确表达图像在图像坐标系中的位置,因此还应尽量使用平行光。
本系统采用LED灯作为光源,与传统光源相比,LED灯中不存在逆变电路和起动电路。LED光源节能能力更强、更加环保、LED光源寿命更长、发光效果好。同时LED光源发光效率高,颜色好,白色光源稳定,无频闪,光照比较稳定。同时,光照方案要尽量减少厂房中自然光的影响。因为自然光不规则,且随着时间的变化而变化。同时,尽量减少零件的反射光斑。经综合考虑,本系统中将LED灯置于零件的后方,光源平面与镜头光轴平行。并在LED灯和零件之间布置磨砂玻璃,使光线能够通过玻璃照射到零件上,提高零件和背景的对比度,而又不至于使光线过强,影响显微镜的正常使用。
3、光路转换装置
光路转换装置5的作用在于降低每个像素点所代表的实际物理长度。当误差为一定像素点个数时,像素点代表的实际物理长度越小,误差越小。而光路转换装置5的成本很低,这是系统能做到高精度、低成本的基础。
光路转换装置5的作用是提高检测精度。相机的像素点个数是固定的,在某一物体占满整个图像的情况下,该物体的实际尺寸越小,像素点代表的实际物理尺寸就越小。这样,计算得到的尺寸的误差就越小。光路转换装置5即是基于这一事实设计的。例如检测零件的某个角,并不需要拍摄整个零件,而只需要拍摄该角。计算尺寸也是如此,并不需要拍摄整个零件,而是仅拍摄零件的某些部分,只要这些部分能体现出边缘的特征,便可进行边缘提取,计算零件的某些特征尺寸。但由于这些需要被拍摄的部分分散在零件各处,所以无法使相机聚焦在一个部分同时又可以拍摄到其他部分。光路转换装置通过转换光路,使零件需要被拍摄的部分集中显示在很小的窗口内,可以使摄像机聚焦在这一窗口内,从而达到减小每个像素点代表的实际物理尺寸的作用。
本发明中,光路转换装置5由反射光线的玻璃柱51和承载玻璃柱的主体组成。主体部分如图2所示,规格为3.8cm*3cm*4.8cm,分为支架和窗口52两个部分。支架负责承载玻璃柱51,设置有均匀分布的孔洞。孔洞大小和玻璃柱51的粗细一致。窗口52规格为1cm*1cm,内含九个子窗口,从左至右,从上到下,编号为1-9,子窗口的孔洞也可放置玻璃柱51,玻璃柱51反射的光线可以通过窗口观察。玻璃柱51如图3所示,规格为2mm*2mm*30mm的长方体,在底面沿一条棱成45度角切开,并在切面镀反光膜511。通过玻璃柱51不同的组合方式,可以将零件各个部位的光线集中反射到主体部分的窗口52处。摄像机结合显微镜6对焦后,可以清晰的拍摄窗口52中射出的由玻璃柱51反射的光线。当零件4为六角螺母,光路转换装置5的模型及其工作原理光路图如图4所示,图中虚线表示光线,箭头表现光线方向。由于结构复杂,光路转换装置5很难加工,所以采用3D打印的手段进行加工。
使用光路转换装置5后,则不需要拍摄整个螺母,只需拍摄螺母的某些特征即可计算其高度。光路转换装置通过光路的转换,将这些特征部分聚集在一个很小的窗口内,而摄像机只拍摄这个窗口,如图5所示,图中最外层六角形虚线框表示螺母的完整形状,外层圆形虚线框表示螺母孔近端边缘,最内层圆形虚线框表示螺母孔远端边缘。
由于窗口的尺寸小于整个零件的尺寸,所以每个像素点代表的实际物理尺寸就会减小。而且采用光路转换装置后,长度的计算方法也与传统方法不同。以螺母为例。首先,需要使用另一个螺母进行标定。标定的方法为,将一个已知尺寸的螺母放置在指定位置,采集图像。之后,截取图像中的特征部分,并记录这些特征部分在图像中的位置。通常,截图方法是通过鼠标选取两个点,只要记录这两个点在图像坐标系中的坐标即可。计算机会截取两点之间的图像,如图6和图7所示。在图6和图7中,螺母的上下边缘即是特征部分。
随后,对于截取的图像分别设定新的图像坐标系,即对于图像6和图像7分别以图像左下角为原点,图片的边界为坐标系方向建立直角坐标系。对图像6和图像7别进行边缘提取,记录边缘在相应图像坐标系中的坐标yA0和yB0。此时标定完成。之后,对未知高度的新螺母在相同的位置截图,重复上述步骤,得到边缘坐标yA1和yB1。根据对应坐标的差值和每个像素点所代表的实际长度,可以计算出标定用零件和待检测零件的长度差,从而得到待检测零件的尺寸。
4、显微镜及摄像系统
为了进一步提高系统精度,需要采用显微镜放大窗口中的零件影像。影像放大后摄像机拍摄到的实际尺寸更加微小,每个像素点代表的实际物理尺寸更小,因为误差进一步降低。此外由于光路转换装置的窗口中,孔洞与孔洞之前的壁在图像中会变得模糊,一般工业相机的焦距很难满足需求,所以采用显微镜协助对焦是必要的。本系统采用的是7-640倍可调放大倍数的显微镜,实际使用时系统对最大放大倍数要求较低。摄像系统包括使用CMOS传感器的工业摄像机。和传统CCD图像传感器相比,CMOS图像传感器拥有更高的图像采集和处理速度、更高的集成度和更低的价格。
5、边缘提取算法
该算法直接应用于RGB颜色空间的图像,同时利用R、G、B三个颜色通道的信息进行边缘提取,而不是对R、G、B三个颜色通道分别进行边缘提取,再进行合成。该算法不需要将RGB颜色空间转换成LAB、HSV颜色空间,从而节省了算法的时间,提高了图像边缘提取的效率。目前提取RGB图像边缘有三类常用算法,一是将RGB彩色图像转化为灰度图像,再应用一阶微分算子提取图像边缘。二是将RGB颜色空间转化为其他颜色空间如LAB、HSV空间。但RGB颜色空间转换为LAB、HSV等空间需要一定时间。三是对RGB图像三个通道分别进行边缘提取,再将三个通道整合输出边缘。
本发明将SUSAN算子直接应用到RGB空间,使用RGB色差,提取图像边缘,因为没有转换成灰度图像,避免了信息的损失。基本思路是,将SUSAN算法应用到彩色RGB图像中,采用一种基于空间距离和矢量角度值的RGB色差公式代替灰度差,直接计算每个像素点的原始边缘响应,通过非极大值抑制,直接提取图像边缘。在传统SUSAN算法中,相似点的判定原则为某点和核点的灰度值差小于阈值t;在本算法中,认为核点的相似点是与核点RGB色差小于阈值t的像素点。从而得到相似区和原始边缘响应。其详细步骤如下所述:
(1)采用中值滤波法分三个通道对图像进行去噪。
(2)使用SUSAN算子遍历图像,根据RGB色差公式计算每一个像素点的相似区。遍历过程用矩阵向不同方向和距离的平移来代替,避免了大量的循环,速度更快。当模版位于某一核点时,计算模版内各点和核点的RGB色差。人工设定一阈值t,当模版内某点和核点RGB色差小于等于t时,记该点为相似点。RGB色差和相似区计算公式为:
Figure BDA0002193410510000121
Figure BDA0002193410510000122
Figure BDA0002193410510000123
Figure BDA0002193410510000124
Figure BDA0002193410510000125
Figure BDA0002193410510000126
Sθ=Sθr+Sθg+Sθb
Figure BDA0002193410510000127
Figure BDA0002193410510000128
Figure BDA0002193410510000129
Figure BDA00021934105100001210
Figure BDA00021934105100001211
式中:dist——色差;(wr,wg,wb)——加权系数,取值为(1,2,1);c(r,r0)——相似区大小;dist(r,r0)——位置坐标为r的像素点和核点r0的RGB色差;t——人工设定的阈值。RGB色差计算公式采用杨振亚、王勇等人提出的公式。
(3)根据相似区大小计算原始边缘响应。原始边缘响应不为0的点初步认为是边缘点。此时提取出的边缘是具有一定厚度的边缘。当t值增大时,相似点数目增大,相似区面积小于g的像素点数目减小,即提取出的边缘点更少,边缘会变细,但仍具有一定宽度。t值过大可能会损失一些边缘信息。
Figure BDA0002193410510000131
Figure BDA0002193410510000132
式中:R(r0)——原始边缘响应;g——阈值,一般取
Figure BDA0002193410510000133
nmax为模版中最大像素点个数。R(r0)大于0,则认为该像素点是边缘点,否则为非边缘点,剔除,得到有一定宽度的边缘图像。
(4)对得到的边缘图像进行非极大值抑制,得到更加细致的单像素边缘图像。首先需要计算边缘方向。得到边缘点方向后,遍历整个边缘图像,比较当前像素点X和沿边缘法线方向两个相邻点的原始边缘响应。若当前像素点X的原始边缘响应是最大值,则认为该点是边缘点。若不是,则对像素点X进行抑制。当X周围的八个像素点均不在其边缘法线方向上时,则需要进行线性差值。即设在水平或竖直方向上相邻的两个像素点距离为1,根据边缘的法线与水平方向的夹角或夹角的补角的值和像素点的原始边缘响应进行线性插值。
6、系统软件
本系统采用Matlab编写整个软件。用Matlab编写GUI界面的基本思路是,使用figure函数生成窗口,在窗口中设定各类型按钮,为每个按钮编写Callback函数。在点击按钮后,系统会调用Callback函数,执行函数中的命令,实现图像显示、计算、参数传递等功能。
系统软件主要包含用户参数设定模块、标定和初始化模块、图像检测模块,用户可以根据自己的需求,选取图像中要进行处理的部分,并选取设定零件待检测部分的边缘的类型,如直边、螺纹等,图像采集模块控制摄像机采集图像并分配图像存储空间,同时使其他模块可以调用图像,包括界面之内的数据传递和界面之间的数据传递。图像处理模块负责提取指定图像的边缘,包括中值滤波图像去噪模块、边缘提取模块、非极大值抑制模块、边缘细化模块、数据存储模块。参数输入模块的作用是读取用户输入的各项参数,包括摄像头选择信息、图像边缘提取指定部分的信息等。输出模块将用户存储的数据输出到指定路径。用户可以控制输出的内容和输出的格式。标定和初始化模块计算每个像素点所代表的实际尺寸,并使用一个已测量了长度的零件进行标定,图像检测模块进行连续、可控的检测,并即时输出检测结果,报告零件是否合格。
系统软件包括四个界面,分别为主界面、像素点实际长度计算界面、标定界面和检测界面。主界面用来存储软件中的数据和访问其他界面,如图8;像素点实际长度计算界面用来测算当前工况下每个像素点代表的实际物理长度,其设置两个图像显示窗口,一个用以进行像素点实际物理长度的标定,一个用以得到标准坐标,以计算其他零件的尺寸,如图9;标定界面用来测算标定用零件的各个参数和设定阈值、待检测的边缘种类等参数,如图10,界面内首先设置摄像头选取菜单,读取目前与电脑连接的摄像头,供用户选择和切换。图像显示窗口显示目前摄像头的实时影像。此外,设置拍摄按钮,用户通过拍摄按钮控制摄像机采集图像。采集图像后,将采集的图像显示在新的窗口中,用户可在这个新的窗口中选取零件需要被检测的部分,并通过下拉菜单设定这些部分的边缘类型;检测界面用来检测其他待检测零件,如图11,检测界面设置图像显示窗口,用户可以通过该窗口观测流水线的状态。设置开始检测按钮、停止按钮和检测时间间隔输入按钮。用户通过这些按钮控制检测的状态。此外,设置实时显示按钮,显示零件的尺寸和合格状态。
该系统软件操作步骤如下:
1、对焦
首先打开软件,进入像素点实际长度计算界面。通过下拉菜单选择要使用的已经连接到电脑上的摄像机,摄像机实时画面会呈现在窗口中。
根据待测零件的实际情况,在光路转换装置上安装反光玻璃柱。
将光路转换装置装配在指定位置。
通过调整显微镜进行对焦,直至在摄像机实时画面中能看到清晰的从反光镜中反射出来的画面。
取下光路转换装置。
2、测算像素点代表的实际长度
取一千分尺,将千分尺调整至1mm。
将千分尺砧座和测微螺杆置于镜头下横放。
点击像素点实际长度计算界面中的“拍摄”按钮,弹出摄像机拍摄的千分尺图像窗口。
使用鼠标点击砧座右侧边缘上的一点和测微螺杆左侧边缘上的一点,图像窗口自动关闭。
在“实际长度”处输入“1”。
点击“开始标定”按钮,得到每个像素点代表的实际长度,单位为微米。系统会自动储存这一数据。关闭该窗口。
3、标定
打开标定界面。
通过“选择摄像机”菜单选择要使用的已连接到电脑上的摄像机。
装配光路转换装置。
将已测量好长度的标定用零件置于光路转换装置之下的指定位置。
点击“拍摄”按钮,得到当前画面的照片。
点击“选取”按钮进行截图,截取1-9号窗口的图像,以进行边缘提取。
点击“边缘提取”按钮,提取各个窗口的图像边缘。如果边缘提取效果不佳,在“算法1阈值”处更改算法阈值。或者在“选择算法”更改用来边缘提取的算法。系统进行边缘提取时默认使用本专利算法,也可更换为传统的Canny算法。
选择光路转换装置各个窗口要检测的边缘类型,包括“水平直线”、“竖直直线”、“斜线”、“曲线”。
在“A”、“B”、“C”、“D”、“E”处设置长度的测量值和配对的窗口。
点击“初始化”按钮,存储数据。
退出标定界面。
4、测量
进入检测界面。
在“A”、“B”、“C”、“D”、“E”处设置各个尺寸的设计长度和公差。
选择检测方式,包括手动检测和自动检测。选择自动检测需要设置两次检测之间的时间间隔。
点击开始检测。
系统自动输出检测结果。

Claims (8)

1.一种零件误差视觉判断系统,包括:
光路转换装置,将传送带上的零件的不同部分反射的光线集中到一个窗口中,使摄像系统使用全部像素仅拍摄该窗口,从而大幅降低每个像素点代表的实际物理长度;
基于RGB颜色空间的彩色图像的边缘提取系统,根据所述摄像系统拍摄的图片,提取图像边缘,计算零件尺寸;
判断系统,判断零件是否合格,并给出相应信号;
其中,所述边缘提取系统采用的边缘提取算法直接应用于RGB颜色空间的图像,将SUSAN算子直接应用到RGB空间,使用RGB色差,同时利用R、G、B三个颜色通道的信息进行边缘提取,其特征在于:
所述边缘提取算法是将SUSAN算法应用到彩色RGB图像中,采用一种基于空间距离和矢量角度值的RGB色差公式代替灰度差,直接计算每个像素点的原始边缘响应,通过非极大值抑制,直接提取图像边缘,其详细步骤如下所述:
(1)采用中值滤波法分三个通道对图像进行去噪;
(2)使用SUSAN算子遍历图像,根据RGB色差公式计算每一个像素点的相似区,遍历过程用矩阵向不同方向和距离的平移来代替,当模版位于某一核点时,计算模版内各点和核点的RGB色差,设定一阈值t,当模版内某点和核点RGB色差小于等于t时,记该点为相似点;
(3)根据相似区大小计算原始边缘响应,原始边缘响应不为0的点初步认为是边缘点,此时提取出的边缘是具有一定厚度的边缘,当t值增大时,相似点数目增大,相似区面积小于g的像素点数目减小,即提取出的边缘点更少,边缘会变细,但仍具有一定宽度;
(4)对得到的边缘图像进行非极大值抑制,得到更加细致的单像素边缘图像;首先计算边缘方向,得到边缘点方向后,遍历整个边缘图像,比较当前像素点X和沿边缘法线方向两个相邻点的原始边缘响应,若当前像素点X的原始边缘响应是最大值,则认为该点是边缘点;若不是,则对像素点X进行抑制,当X周围的八个像素点均不在其边缘法线方向上时,则需要进行线性差值,即设在水平或竖直方向上相邻的两个像素点距离为1,根据边缘的法线与水平方向的夹角或夹角的补角的值和像素点的原始边缘响应进行线性插值。
2.根据权利要求1所述零件误差视觉判断系统,其特征在于,所述光路转换装置包括内锥反射面和外锥反射面,外锥反射面位于内锥反射面的中央位置,窗口位于外锥反射面的正上方,光源斜射零件,零件反射的光线入射至内锥反射面,再反射入外锥反射面,由外锥反射面从所述窗口反射出,经由显微镜射入摄像系统。
3.根据权利要求2所述零件误差视觉判断系统,其特征在于,所述光源为LED灯,LED灯置于传送带下方,传送带为半透明塑料材质,从而提高零件和背景的对比度,而又不至于使光线过强,影响显微镜的正常使用,所述显微镜为7-640倍可调放大倍数显微镜,摄像系统包括使用CMOS传感器的工业摄像机。
4.根据权利要求1所述零件误差视觉判断系统,其特征在于,所述光路转换装置由反射光线的玻璃柱和承载玻璃柱的主体组成,所述玻璃柱有多个,所述主体包括支架,支架为长方体的上下通透框架结构,支架的四个侧面上设置有均匀分布的孔洞,孔洞大小和玻璃柱的外尺寸一致,在支架内部中央设置有竖直的窗口结构,窗口结构由多个竖直的子窗口组成,各子窗口的大小和玻璃柱的粗细一致,所述玻璃柱的一端沿一条棱成45度角切开,并在切面镀反光膜,通过玻璃柱不同的组合方式,将零件各个部位的光线集中反射到窗口处,其中所述窗口的尺寸远小于整个零件的尺寸。
5.根据权利要求4所述零件误差视觉判断系统,其特征在于,所述零件的长度计算方法如下:
首先,使用另一个相同零件进行标定,标定的方法为,将一个已知尺寸的相同零件放置在指定位置,采集图像;
之后,截取图像中的特征部分,并记录这些特征部分在图像中的位置,截图方法是通过鼠标选取两个点,记录这两个点在图像坐标系中的坐标,计算机截取两点之间的图像;
随后,对于截取的图像分别设定新的图像坐标系,以图像左下角为原点,图片的边界为坐标系方向建立直角坐标系,对图像进行边缘提取,记录边缘在相应图像坐标系中的坐标yA0和yB0,此时标定完成;
最后,对未知高度的新零件在相同的位置截图,重复上述步骤,得到边缘坐标yA1和yB1,根据对应坐标的差值和每个像素点所代表的实际长度,计算出标定用零件和待检测零件的长度差,从而得到待检测零件的尺寸。
6.根据权利要求1所述零件误差视觉判断系统,其特征在于,若RGB颜色空间中两个颜色坐标分别为x1=(r1,g1,b1)和x2=(r2,g2,b2),则所述RGB色差和相似区计算公式为:
Figure FDA0003340401030000031
Figure FDA0003340401030000032
式中:dist表示色差;c(r,r0)表示相似区大小;wr,wg,wb表示人眼对红、绿、蓝三分量变化的敏感程度加权系数,取值为1,2,1,t为人工设定的阈值;sr,sg,sb表示各个分量的重要性程度:
Figure FDA0003340401030000033
Figure FDA0003340401030000034
Figure FDA0003340401030000035
Figure FDA0003340401030000041
θ代表两个待比较的颜色在RGB空间的矢量角度的归一化:
Figure FDA0003340401030000042
a表示反三角函数,sθ用来考查红、绿、蓝三分量变化对两个待比较颜色在RGB空间的矢量角度的贡献,依据各个分量重要性程度来调整角度;
Sθ=Sθr+Sθg+Sθb
Figure FDA0003340401030000043
Figure FDA0003340401030000044
Figure FDA0003340401030000045
Sratio用于调整系数防止在RGB空间底部过大;
Figure FDA0003340401030000046
dist(r,r0)表示位置坐标为r的像素点和核点r0的RGB色差;
所述步骤(3)中:
Figure FDA0003340401030000047
Figure FDA0003340401030000048
式中:n(r0)为需要计算的相似区的面积,即相似区所包含的像素点个数;R(r0)为原始边缘响应;g为阈值,取
Figure FDA0003340401030000049
nmax为模版中最大像素点个数,R(r0)大于0,则认为该像素点是边缘点,否则为非边缘点,剔除,得到有一定宽度的边缘图像。
7.根据权利要求1-6任一权利要求所述零件误差视觉判断系统,其特征在于,所述判断系统包括:
用户参数设定模块,用户根据需求选取图像中要进行处理的部分,并选取设定零件待检测部分的边缘的类型;
标定和初始化模块,计算每个像素点所代表的实际尺寸,并使用一个已测量了长度的零件进行标定;
图像检测模块,进行连续、可控的检测,并即时输出检测结果,报告零件是否合格。
8.根据权利要求7所述零件误差视觉判断系统,其特征在于,系统软件包括四个界面,分别为主界面、像素点实际长度计算界面、标定界面和检测界面,主界面用来存储软件中的数据和访问其他界面,像素点实际长度计算界面用来测算当前工况下每个像素点代表的实际物理长度,标定界面用来测算标定用零件的各个参数和设定阈值、待检测的边缘种类等参数,检测界面用来检测其他待检测零件。
CN201910840098.4A 2019-09-06 2019-09-06 一种零件误差视觉判断系统 Active CN110570412B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910840098.4A CN110570412B (zh) 2019-09-06 2019-09-06 一种零件误差视觉判断系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910840098.4A CN110570412B (zh) 2019-09-06 2019-09-06 一种零件误差视觉判断系统

Publications (2)

Publication Number Publication Date
CN110570412A CN110570412A (zh) 2019-12-13
CN110570412B true CN110570412B (zh) 2022-03-22

Family

ID=68778129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910840098.4A Active CN110570412B (zh) 2019-09-06 2019-09-06 一种零件误差视觉判断系统

Country Status (1)

Country Link
CN (1) CN110570412B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325802B (zh) * 2020-02-11 2023-04-25 中国空气动力研究与发展中心低速空气动力研究所 一种直升机风洞试验中圆形标记点识别匹配方法
CN113610815B (zh) * 2021-08-10 2022-07-05 宿迁旺春机械制造有限公司 基于图像处理的结构件生产安全预警方法与系统
CN115201188A (zh) * 2022-07-05 2022-10-18 重庆茂侨科技有限公司 基于计算机视觉的机制砂亚甲蓝值测试系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004025645A1 (de) * 2004-05-24 2005-12-29 Jenoptik Laser, Optik, Systeme Gmbh Verfahren zur Reduzierung von Farbmoire in digitalen Bildern
KR20070089485A (ko) * 2006-02-28 2007-08-31 삼성전자주식회사 영상신호에 포함된 잡음을 제거할 수 있는 영상신호처리장치 및 방법
CN105023014A (zh) * 2015-08-21 2015-11-04 马鞍山市安工大工业技术研究院有限公司 一种无人机巡检输电线路图像内的杆塔目标提取方法
CN106343952A (zh) * 2016-11-22 2017-01-25 冯晔瑾 一种眼部成像设备
CN108482956A (zh) * 2015-01-14 2018-09-04 株式会社大伸 输送物检查系统和输送装置
CN110146019A (zh) * 2019-06-13 2019-08-20 哈工大机器人(合肥)国际创新研究院 一种基于工业相机的工件尺寸在线检测与自动补偿方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9269012B2 (en) * 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
NO340705B1 (no) * 2014-12-22 2017-06-06 Kleon Prosjekt As Fremgangsmåte og innretning for å detektere et luftspenn fra et luftfartøy

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004025645A1 (de) * 2004-05-24 2005-12-29 Jenoptik Laser, Optik, Systeme Gmbh Verfahren zur Reduzierung von Farbmoire in digitalen Bildern
KR20070089485A (ko) * 2006-02-28 2007-08-31 삼성전자주식회사 영상신호에 포함된 잡음을 제거할 수 있는 영상신호처리장치 및 방법
CN108482956A (zh) * 2015-01-14 2018-09-04 株式会社大伸 输送物检查系统和输送装置
CN105023014A (zh) * 2015-08-21 2015-11-04 马鞍山市安工大工业技术研究院有限公司 一种无人机巡检输电线路图像内的杆塔目标提取方法
CN106343952A (zh) * 2016-11-22 2017-01-25 冯晔瑾 一种眼部成像设备
CN110146019A (zh) * 2019-06-13 2019-08-20 哈工大机器人(合肥)国际创新研究院 一种基于工业相机的工件尺寸在线检测与自动补偿方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Edge Detection from RGB-D Image Based on Structured Forests;Heng Zhang 等;《Hindawi Publishing Corporation Journal of Sensors》;20161231;第1-10页 *
结合四元数与最小核值相似区的边缘检测;李珊珊等;《中国图象图形学报》;20170731;第22卷(第7期);第915-925页 *
采用离子电流法的甲醇发动机失火诊断;刘圣华等;《西安交通大学学报》;20151130;第49卷(第11期);第44-48页 *

Also Published As

Publication number Publication date
CN110570412A (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
CN110570412B (zh) 一种零件误差视觉判断系统
CN107607040B (zh) 一种适用于强反射表面的三维扫描测量装置及方法
CN107869954B (zh) 一种双目视觉体积重量测量系统及其实现方法
CN106645197B (zh) 检测精密光学元件表面颗粒物的在线检测系统及应用方法
CN107664644B (zh) 一种基于机器视觉的物件表观自动检测装置及方法
CN105021628A (zh) 一种用于光纤倒像器表面缺陷的检测方法
CN109406527B (zh) 一种微型摄像模组镜头精细外观缺陷检测系统及方法
CN115561247A (zh) 一种电子元器件外观自动视觉检测系统
CN105181713A (zh) 一种用于光纤倒像器表面缺陷的检测装置
CN102374997A (zh) 基于视觉系统的硬币表面质量高精度检测装置
CN111624203A (zh) 一种基于机器视觉的继电器接点齐度非接触式测量方法
JP2022533848A (ja) カメラ部品が損傷しているかどうかを判定するためのシステムおよび方法
CN114820439A (zh) 基于aoi的pcb裸板缺陷的检测系统及方法
CN113566733A (zh) 一种线激光视觉三维扫描装置及方法
CN106546196A (zh) 一种光轴实时校准方法及系统
CN113916892B (zh) 基于多目视觉的刹车盘涂胶缺陷检测装置及方法
CN114486902B (zh) 质量检测系统和方法
CN111344553B (zh) 曲面物体的缺陷检测方法及检测系统
CN115326837A (zh) 一种基于机器视觉的不锈钢焊点表面质量检测方法及系统
CN112326681B (zh) 一种利用离焦差分平场矫正检测镜头洁净度的方法
CN114219758A (zh) 缺陷检测方法、系统、电子设备和计算机可读存储介质
CN112763495A (zh) 一种手机电池尺寸和外观缺陷检测系统及检测方法
CN114286078A (zh) 摄像头模组镜片外观检查方法及设备
Chao et al. Parameters of small pitch thread measured by an intelligent detection method
KR100710703B1 (ko) 반도체 리드프레임 도금 선폭 측정 검사장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant