CN111126174A - 一种用于机器人抓取零件的视觉检测方法 - Google Patents

一种用于机器人抓取零件的视觉检测方法 Download PDF

Info

Publication number
CN111126174A
CN111126174A CN201911226981.0A CN201911226981A CN111126174A CN 111126174 A CN111126174 A CN 111126174A CN 201911226981 A CN201911226981 A CN 201911226981A CN 111126174 A CN111126174 A CN 111126174A
Authority
CN
China
Prior art keywords
image
camera
coordinate system
template
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911226981.0A
Other languages
English (en)
Inventor
魏亚东
吴云霞
周梓荣
尹玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan University of Technology
Original Assignee
Dongguan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan University of Technology filed Critical Dongguan University of Technology
Priority to CN201911226981.0A priority Critical patent/CN111126174A/zh
Publication of CN111126174A publication Critical patent/CN111126174A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种用于机器人抓取零件的视觉检测方法,本发明通过对摄像机进行校准,然后采用高斯滤波处理、中值滤波处理对获取的零件图像进行预处理,并采用分布锐化处理对预处理后的图像进行锐化处理以获取图像中零件的边缘信息,最后对图像进行边缘提取,并采用模板匹配方法对图像中的零件进行定位并获取零件的质心位置,通过本发明的检测方法能够快速、准确的获取零件的形状和位置信息,便于机器人能够准确抓取零件。

Description

一种用于机器人抓取零件的视觉检测方法
技术领域
本发明涉及图像检测识别技术,特别涉及一种用于机器人抓取零件的视觉检测方法。
背景技术
随着智能制造技术的需求不断增加,大量机器人被引入加工生产线,装配是机械制造过程中必不可少的环节,据资料统计,产品装配时间占总生产时间的53%左右,是花费最多的生产过程,因此,实现机器人自动化装配是提高生产效率的关键。
传统的零部件安装由人工完成,安装的快慢以及准确性受工人的技术程度影响,产品质量参差不齐,难以得到保证,近年来,劳动力短缺,人力成本的增加给企业带来极大负担,严重制约了生产活动的发展,因此,实现零部件的自动化装配具有极高的意义,通过快速检测获取待安装零部件的空间位置,利用机器人完成零部件的抓取、平移以及安装。
实现机器人自动化装配需要面临两个挑战:自身迟滞的感知系统以及外界复杂的环境因素,在自动化装配中,视觉技术得到广泛应用,虽然,该方法可以实现非接触测量,但是,目前机械人对零件的感知精度不够,无法达到快速、精准抓取的需求。
因此,亟需一种能够快速、精准的识别零件形状和对质心位置进行定位的视觉检测方法来提高机器人抓取的准确性。
发明内容
本发明的目的是为了解决背景技术而提出的一种用于机器人抓取零件的视觉检测方法,通过对摄像机进行校准,然后采用高斯滤波处理、中值滤波处理对获取的零件图像进行预处理,并采用分布锐化处理对预处理后的图像进行锐化处理以获取图像中零件的边缘信息,最后对图像进行边缘提取,并采用模板匹配方法对图像中的零件进行定位并获取零件的质心位置,通过本发明的检测方法能够快速、准确的获取零件的形状和位置信息,便于机器人能够准确抓取零件,具有良好的应用前景。
为了实现上述目的,本发明采用了如下技术方案:
一种用于机器人抓取零件的视觉检测方法,包括如下步骤:
步骤1:摄像机校准,利用摄像机对所用校准板在不同的方向上采集多张图像,应用二维图像的变换得到世界坐标系中的三维信息,再根据校准板上的特征点与像平面的对应关系完成摄像机校准;
步骤2:图像预处理,采用高斯滤波处理、中值滤波处理对获取的零件图像进行预处理,以对图像进行平滑、去噪处理,并采用分布锐化处理对预处理后的图像进行锐化处理以获取图像中零件的边缘信息;
步骤3:边缘提取,提取步骤2中预处理后的图像的边缘信息;
步骤4:质心计算,采用模板匹配方法对图像中的零件进行定位并获取零件的质心位置。
作为本发明的进一步限定,所述步骤1中摄像机校准方法具体为:
首先输入黑白校准板,包括校准板的每行每列黑白小方块的个数,以及每行每列的长度,然后输入多幅不同方向的校准板图像进行检测,系统自动检测出不合格的棋盘格图像,如果存在则系统将自动停止运行,如果合格则对棋盘格角点进行提取,先进行粗略的角点检测,并绘制出坐标,如果检测结果理想,则进行进一步的精确角点提取,最后根据图像坐标系与世界坐标系之间的变换关系求出摄像机的内外参数及矫正参数。
作为本发明的进一步限定,所述摄像机校准方法具体步骤如下:
(1)设定世界坐标系和摄像机坐标系的转换关系:
Figure BDA0002302510610000031
其中,R3×3=(Rx,Ry,Rz)为旋转矩阵,
T3×1=(Rx,Ry,Rz),T为平移向量;R3×3和T3×1与摄像机参数有关;(Xw,Yw,Zw,1)和(Xc,Yc,Zc,1)分别代表空间某一点在世界坐标系和摄像机坐标系下的坐标;
(2)将摄像机坐标系(Oc,Xc,Yc,Zc)进行透视投影,得到理想的成像坐标系中物理坐标(Xu,Yu),理想成像平面坐标(Xu,Yu)与实际的成像坐标系(Xd,Yd)的转换关系为:
Figure BDA0002302510610000032
其中,
Figure BDA0002302510610000033
f为摄像机的焦距,k1和K2为径向矫正系数,p1和p2为切向矫正系数;
(3)将成像平面坐标(Od,Xd,Yd)对计算机图像坐标(O,u,v)进行线性转换:
Figure BDA0002302510610000034
通过求解H得到摄像机校准所需的内外参数和矫正参数,
其中,
Figure BDA0002302510610000035
式中,(cx,cy)为基准点,f为摄像机焦距,Δx为水平方向上相邻像素之间的距离,Δy为垂直方向上相邻像素之间的距离,fx和fy是以像素为单位的焦距,H为投影矩阵,s为比例因子。
所述步骤2中高斯滤波处理具体为:用一个3×3的模板扫描图像中的每一个像素,用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。
所述步骤2中中值滤波处理具体为:
选取3×3二维滑动模板W,然后对图像进行扫描,接着将整个窗口内的像素按由高到低或者由低到高的顺序排列起来,选择像素集的中间值作为点(i,j)的新值,最后转化二维中值滤波输出图像:
g(x,y)=med{f(x-k,y-l),(k,l∈W},其中,f(x,y)、g(x,y)分别为原始图像和处理后图像。
作为本发明的进一步限定,所述步骤2中分布锐化处理具体为:
步骤S21:将经过高斯滤波、中值滤波处理后的图像进行一阶梯度处理以提取得到差分图
步骤S22:将所述差分图进行均值滤波得到均值图
步骤S23:将经过高斯滤波、中值滤波处理后的图像通过高频叠加处理得到高频图
步骤S24:将所述均值图和所述高频图相乘得到叠加图
步骤S25:将所述叠加图与经过高斯滤波、中值滤波处理后的图像相加得到锐化图,即得到边缘明显的轮廓。
作为本发明的进一步限定,所述步骤4中模板匹配方法为:
首先分别对模板图像和待匹配图像进行图像去噪处理,然后对图像应用Roberts边缘算子进行边缘检测,获得图像的边缘信息,再对图像进行二值化处理,然后采用较小的模板在待匹配的图像中依据搜索策略进行匹配目标对象,计算每一个固定位置的匹配度,将得到的匹配度与预先设定好的阈值比较,当小于该阈值时则匹配成功,若大于该阈值则继续搜索匹配,直至匹配度小于设定的阈值。
作为本发明的进一步限定,所述步骤4中质心计算方法为:
步骤S41:将经过模板匹配的目标零件的坐标范围扩大5个像素,即在目标零件图像的x轴和y轴坐标范围增加5个像素,此时,该图像在p、q值下的图像的矩为:
Figure BDA0002302510610000051
其中,f(i,j)为像素的质量;
步骤S42:然后利用中心矩求取零件的质心位置,图像的零阶矩M00为:
Figure BDA0002302510610000052
一阶矩M10为图像对j轴的惯性矩,M01为图像对i轴的惯性矩:
Figure BDA0002302510610000053
步骤S43:用所述一阶矩M10和M01分别除以所述零阶矩M00,即可得到零件的质心位置:
Figure BDA0002302510610000054
本发明的有益效果是:
1、本发明对采集到的图像进行高斯滤波去除噪,消除噪声对图像的干扰,为后续的零件边缘信息的检测和识别提供基础。
2、本发明采用分布锐化处理对预处理后的图像进行锐化处理以获取图像中零件的边缘信息,最后对图像进行边缘提取,并采用模板匹配方法对图像中的零件进行定位并获取零件的质心位置,通过本发明的检测方法能够快速、准确的获取零件的形状和位置信息,能够使得机器人有效准确抓取零件。
附图说明
图1是本发明提出的用于机器人抓取零件的视觉检测方法的流程图;
图2是分布锐化处理的流程图;
图3是边缘提取处理的流程图;
图4是边缘提取处理中图像的数学模型的示意图;
图5是边缘提取处理中本地像素组的示意图;
图6是质心计算处理后对质心位置标记的效果图。
具体实施方式
下面结合具体实施例来对本发明进一步说明。
由于,机器人抓取的视觉检测主要是需要利用摄像机获得的图像信息来推导出三维立体空间中物体的几何信息,并对该物体进行之后的识别工作,以便于机器人对零件进行抓取;因此,对零件的形状和位置进行检测前,通常需要通过摄像机成像来获取零件表面某点在坐标系中的位置与其在图像坐标系中对应点之间的相互关系,求取摄像机内外参数与矫正矩阵的过程就叫做校准,摄像机的校准精度决定着机器人抓取动作是否准确,因此,在设计视觉检测系统前,需要对系统中使用的摄像头进行校准。
参见图1,一种用于机器人抓取零件的视觉检测方法,包括如下步骤:
步骤1:摄像机校准,利用摄像机对所用校准板在不同的方向上采集多张图像,应用二维图像的变换得到世界坐标系中的三维信息,再根据校准板上的特征点与像平面的对应关系完成摄像机校准;
步骤2:图像预处理,采用高斯滤波处理、中值滤波处理对获取的零件图像进行预处理,以对图像进行平滑、去噪处理,并采用分布锐化处理对预处理后的图像进行锐化处理以获取图像中零件的边缘信息;
步骤3:边缘提取,提取步骤2中预处理后的图像的边缘信息;
步骤4:质心计算,采用模板匹配方法对图像中的零件进行定位并获取零件的质心位置。
其中,所述步骤1中摄像机校准方法具体为:
首先输入黑白校准板,包括校准板的每行每列黑白小方块的个数,以及每行每列的长度,然后输入多幅不同方向的校准板图像进行检测,系统自动检测出不合格的棋盘格图像,如果存在则系统将自动停止运行,如果合格则对棋盘格角点进行提取,先进行粗略的角点检测,并绘制出坐标,如果检测结果理想,则进行进一步的精确角点提取,最后根据图像坐标系与世界坐标系之间的变换关系求出摄像机的内外参数及矫正参数。
作为本发明的进一步限定,所述摄像机校准方法具体步骤如下:
(1)设定世界坐标系和摄像机坐标系的转换关系:
Figure BDA0002302510610000071
其中,R3×3=(Rx,Ry,Rz)为旋转矩阵,
T3×1=(Rx,Ry,Rz),T为平移向量;R3×3和T3×1与摄像机参数有关;(Xw,Yw,Zw,1)和(Xc,Yc,Zc,1)分别代表空间某一点在世界坐标系和摄像机坐标系下的坐标;
(2)将摄像机坐标系(Oc,Xc,Yc,Zc)进行透视投影,得到理想的成像坐标系中物理坐标(Xu,Yu),理想成像平面坐标(Xu,Yu)与实际的成像坐标系(Xd,Yd)的转换关系为:
Figure BDA0002302510610000081
其中,
Figure BDA0002302510610000082
f为摄像机的焦距,k1和K2为径向矫正系数,p1和p2为切向矫正系数;
(3)将成像平面坐标(Od,Xd,Yd)对计算机图像坐标(O,u,v)进行线性转换:
Figure BDA0002302510610000083
通过求解H得到摄像机校准所需的内外参数和矫正参数,
其中,
Figure BDA0002302510610000084
式中,(cx,cy)为基准点,f为摄像机焦距,Δx为水平方向上相邻像素之间的距离,Δy为垂直方向上相邻像素之间的距离,fx和fy是以像素为单位的焦距,H为投影矩阵,s为比例因子。
一般情况下,摄像机在获取零件图像时,由于拍摄环境的光照等因素影响下,所采集的零件图像有可能失真或受到了噪声的影响,导致所获取的图像不能被计算机直接使用,因此在对零件图像进行识别之前需要对图像进行增强、去噪等处理,即图像预处理;图像预处理的主要目的是尽可能地减少干扰信息恢复失真的信息,增强有关信息的可检测性和最大限度地简化数据从而改进特征抽取、图像分割、匹配和识别的可靠性。
因此,作为本发明的进一步限定,所述步骤2中高斯滤波处理具体为:用一个3×3的模板扫描图像中的每一个像素,用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。
所述步骤2中中值滤波处理具体为:
选取3×3二维滑动模板W,然后对图像进行扫描,接着将整个窗口内的像素按由高到低或者由低到高的顺序排列起来,选择像素集的中间值作为点(i,j)的新值,最后转化二维中值滤波输出图像:
g(x,y)=med{f(x-k,y-l),(k,l∈W},其中,f(x,y)、g(x,y)分别为原始图像和处理后图像。
由于,在图像经过平滑、去噪处理后,依然会存在不清晰的地方,例如物体的轮廓信息等,此时需要对图像进行锐化处理,锐化处理能有效地突出图像的灰度跳变部分,也就是边缘信息。
参见图2,为本发明的进一步限定,所述步骤2中分布锐化处理具体为:
步骤S21:将经过高斯滤波、中值滤波处理后的图像进行一阶梯度处理以提取得到差分图;
步骤S22:将所述差分图进行均值滤波得到均值图;
步骤S23:将经过高斯滤波、中值滤波处理后的图像通过高频叠加处理得到高频图;
步骤S24:将所述均值图和所述高频图相乘得到叠加图;
步骤S25:将所述叠加图与经过高斯滤波、中值滤波处理后的图像相加得到锐化图,即得到边缘明显的轮廓。
上述分布锐化处理中,一阶梯度处理通过以下实现:
设置输出图像:fr(m,n)=g(σ)f(m,n),
其中,标准差
Figure BDA0002302510610000091
f1为点(m,n)的s相邻区域的均值,s是一个有限区域。
上述分布锐化处理中,高频叠加处理通过以下实现:
公式:f(m,n)+k[f(m,n)-f1(m,n)],其中,f1(m,n)为点(m,n)的相邻区域的平均值;并通过f-f1进行高频成分提取;
即原图像上重复叠加图像的高频成分,加强了图像的高频成分,起到锐化作用。
上述分布锐化处理通过对原图进行一阶梯度提取时不是采用roberts算子,而是采用的差分法;在对原图进行处理得到均值图是通过高频叠加代替相应的拉普拉斯处理,使得经上述分布锐化处理后的图像在细节上明显比常用的Roberts算子、Sobel算子、Laplace算子以及Canny算子进行锐化处理的效果要好,不容易发生扭曲,突变,细线等。
此外,由于检测出边缘的常用方法是从图像信息的边缘,基本图像的差分运算,从而便于接近图像边缘的高频分量得到的,但是常用的对图像边缘信息进行处理的算子在图像梯度计算像素,仅使用关于图像的梯度幅值的数据,当幅值大于特定阈值的时候,就认定其为正确的边缘;但如果遇到图像受到干扰影响比深远,或者图像灰度改变不显著的模糊边缘时,边缘识别效果就会不让人满意,更有甚者没有办法检测图像边缘;并且,当我们真正使用边缘检测时,一般很难满足到上述要求的,这是由于:1)传统的边缘检测确定位置不准;2)图像在收集和传送的阶段中,经常会遇到各种噪声干扰,即便在边缘检测之前会使用平滑滤波运算消除干扰,在平滑噪声图像中,去干扰的同时容易将图像的高频数据丢失,从而导致图像变得模糊;3)在采集过程中的图像,受到光照的物理因素或者一些其他方面的干涉,图像的边缘被收集定期制作在不同的尺度范围,以使不同的空间尺度往往具有不同的特性图,如果只有一种类型的边缘检测算子来检测,但边缘不是最好的筛选,有必要采取一些不同边缘检测算子来实现有效筛选;4)在大多数情况下边缘检测算子都是节约边缘,而图像中部分为有斜率边缘;因此,常用的边缘检测算子都与某一种边缘特性的算子一一对应,由于以上四个方面的原因,常用方法检测效果达不到可行的效果。
本发明为了能够有效提取处理后的图像的边缘,通过以下方式来获取质量较高的边缘信息。
本发明采用以下方法进行图像边缘提取:
(1)构建图像的数学模型,设定被检测的图像为灰度图像I(i,j),大小为M×N,将数据结构上的图像设定为不定向图,如图4所示;
(2)初始化后,在图像中任意地安放m个检测点,每个检测点被分配到M×N图像的任一位置,将尽量多的检测点分配到边缘附近或边缘上;
(3)在本地像素组(参见图5)上,通过像素(i,j)中的信息计算当地的统计数据,其位置是:
Figure BDA0002302510610000111
其中,Ii,j是像素(i,j)上的强度值,Vc(i,j)是围绕像素(i,j)的函数;
(4)每个检测点在3×3邻域像素中根据以下求得概率的大小,从而选择即将要移动的位置,设第k个检测点正处在i这个位置上,j为i点的相邻的一个像素,则此检测点移动至顶点j的概率为:
Figure BDA0002302510610000112
其中,τij(t)代表信息素的强度,t表示迭代次数,ηij是顶点j处引导函数,其值为像素j的梯度ηij=▽Ij;α是用于控制检测点探索程度的参数,β代表影响信息素线索的参数。
若α=0,则最大像素灰度梯度被选择,则该算法退化成随机算法,α的值越大,检测点将有很大的可能会选择其他检测点的移动路径;若β=0,则会在最短的时间内获得的非最优解,β的值越大,检测点就有越大的可能会选择高梯度值邻域点;
(5)检测点移动穿过边缘之后,检测点将更新它移动穿过最后一个边缘的全局像素:τij(t)=(1-ρ)·τij(t)+Δτij(t),其中,Δτij(t)为移动到j处的检测点反馈的像素之和,它的值为
Figure BDA0002302510610000121
当第k个检测点选择顶点j时,
Figure BDA0002302510610000122
当第k个检测点准备移动至顶点j时,将它的值设为顶点j处梯度的函数,即
Figure BDA0002302510610000123
其中C为常数;如果检测点不准备移动至该顶点,随着时间的增加,该点处的像素值将被清除;
(5)当检测点完成移动时,算法结束时,最终的全局像素矩阵应用于每个像素,对任何边缘或非边缘进行分类,然后像素的每个检测点数量经过后的图像,并设置一个阈值比较,最终确定目标边缘。
由于边缘信息是图像的最重要的特征之一,它对光照、遮挡、噪声等有较好的适应性,在机器人抓取零件时,需要能够得到实际零件的位置信息,因此需要能够对图像中的边缘信息进行定位。
因此,作为本发明的进一步限定,所述步骤4中模板匹配方法为:
首先分别对模板图像和待匹配图像进行图像去噪处理,然后对图像应用Roberts边缘算子进行边缘检测,获得图像的边缘信息,再对图像进行二值化处理,然后采用较小的模板在待匹配的图像中依据搜索策略进行匹配目标对象,计算每一个固定位置的匹配度,将得到的匹配度与预先设定好的阈值比较,当小于该阈值时则匹配成功,若大于该阈值则继续搜索匹配,直至匹配度小于设定的阈值。
由于,在机器人抓取零件时,需要接收零件的位置信息才能完成抓取工作,一般用质心来描述物体的位置信息,而质心坐标可以通过中心距求出。
因此,作为本发明的进一步限定,所述步骤4中质心计算方法为:
步骤S41:将经过模板匹配的目标零件的坐标范围扩大5个像素,即在目标零件图像的x轴和y轴坐标范围增加5个像素,此时,该图像在p、q值下的图像的矩为:
Figure BDA0002302510610000131
其中,f(i,j)为像素的质量;
步骤S42:然后利用中心矩求取零件的质心位置,图像的零阶矩M00为:
Figure BDA0002302510610000132
一阶矩M10为图像对j轴的惯性矩,M01为图像对i轴的惯性矩:
Figure BDA0002302510610000133
步骤S43:用所述一阶矩M10和M01分别除以所述零阶矩M00,即可得到零件的质心位置:
Figure BDA0002302510610000134
参见图6。
本发明通过对摄像机进行校准,然后采用高斯滤波处理、中值滤波处理对获取的零件图像进行预处理,并采用分布锐化处理对预处理后的图像进行锐化处理以获取图像中零件的边缘信息,最后对图像进行边缘提取,并采用模板匹配方法对图像中的零件进行定位并获取零件的质心位置,通过本发明的检测方法能够快速、准确的获取零件的形状和位置信息,便于机器人能够准确抓取零件。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种用于机器人抓取零件的视觉检测方法,其特征在于,包括如下步骤:
步骤1:摄像机校准,利用摄像机对所用校准板在不同的方向上采集多张图像,应用二维图像的变换得到世界坐标系中的三维信息,再根据校准板上的特征点与像平面的对应关系完成摄像机校准;
步骤2:图像预处理,采用高斯滤波处理、中值滤波处理对获取的零件图像进行预处理,以对图像进行平滑、去噪处理,并采用分布锐化处理对预处理后的图像进行锐化处理以获取图像中零件的边缘信息;
步骤3:边缘提取,提取步骤2中预处理后的图像的边缘信息;
步骤4:质心计算,采用模板匹配方法对图像中的零件进行定位并获取零件的质心位置。
2.根据权利要求1所述的一种用于机器人抓取零件的视觉检测方法,其特征在于:所述步骤1中摄像机校准方法具体为:
首先输入黑白校准板,包括校准板的每行每列黑白小方块的个数,以及每行每列的长度,然后输入多幅不同方向的校准板图像进行检测,系统自动检测出不合格的棋盘格图像,如果存在则系统将自动停止运行,如果合格则对棋盘格角点进行提取,先进行粗略的角点检测,并绘制出坐标,如果检测结果理想,则进行进一步的精确角点提取,最后根据图像坐标系与世界坐标系之间的变换关系求出摄像机的内外参数及矫正参数。
3.根据权利要求2所述的一种用于机器人抓取零件的视觉检测方法,其特征在于:所述摄像机校准方法具体步骤如下:
(1)设定世界坐标系和摄像机坐标系的转换关系:
Figure FDA0002302510600000011
其中,R3×3=(Rx,Ry,Rz)为旋转矩阵,
T3×1=(Rx,Ry,Rz),T为平移向量;R3×3和T3×1与摄像机参数有关;(Xw,Yw,Zw,1)和(Xc,Yc,Zc,1)分别代表空间某一点在世界坐标系和摄像机坐标系下的坐标;
(2)将摄像机坐标系(Oc,Xc,Yc,Zc)进行透视投影,得到理想的成像坐标系中物理坐标(Xu,Yu),理想成像平面坐标(Xu,Yu)与实际的成像坐标系(Xd,Yd)的转换关系为:
Figure FDA0002302510600000021
其中,
Figure FDA0002302510600000022
f为摄像机的焦距,k1和K2为径向矫正系数,p1和p2为切向矫正系数;
(3)将成像平面坐标(Od,Xd,Yd)对计算机图像坐标(O,u,v)进行线性转换:
Figure FDA0002302510600000023
通过求解H得到摄像机校准所需的内外参数和矫正参数,
其中,
Figure FDA0002302510600000024
式中,(cx,cy)为基准点,f为摄像机焦距,Δx为水平方向上相邻像素之间的距离,Δy为垂直方向上相邻像素之间的距离,fx和fy是以像素为单位的焦距,H为投影矩阵,s为比例因子。
4.根据权利要求1所述的一种用于机器人抓取零件的视觉检测方法,其特征在于:所述步骤2中高斯滤波处理具体为:用一个3×3的模板扫描图像中的每一个像素,用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。
5.根据权利要求4所述的一种用于机器人抓取零件的视觉检测方法,其特征在于:所述步骤2中中值滤波处理具体为:
选取3×3二维滑动模板W,然后对图像进行扫描,接着将整个窗口内的像素按由高到低或者由低到高的顺序排列起来,选择像素集的中间值作为点(i,j)的新值,最后转化二维中值滤波输出图像:
g(x,y)=med{f(x-k,y-l),(k,l∈W},其中,f(x,y)、g(x,y)分别为原始图像和处理后图像。
6.根据权利要求5所述的一种用于机器人抓取零件的视觉检测方法,其特征在于:所述步骤2中分布锐化处理具体为:
步骤S21:将经过高斯滤波、中值滤波处理后的图像进行一阶梯度处理以提取得到差分图
步骤S22:将所述差分图进行均值滤波得到均值图
步骤S23:将经过高斯滤波、中值滤波处理后的图像通过高频叠加处理得到高频图
步骤S24:将所述均值图和所述高频图相乘得到叠加图
步骤S25:将所述叠加图与经过高斯滤波、中值滤波处理后的图像相加得到锐化图,即得到边缘明显的轮廓。
7.根据权利要求1所述的一种用于机器人抓取零件的视觉检测方法,其特征在于:所述步骤4中模板匹配方法为:
首先分别对模板图像和待匹配图像进行图像去噪处理,然后对图像应用Roberts边缘算子进行边缘检测,获得图像的边缘信息,再对图像进行二值化处理,然后采用较小的模板在待匹配的图像中依据搜索策略进行匹配目标对象,计算每一个固定位置的匹配度,将得到的匹配度与预先设定好的阈值比较,当小于该阈值时则匹配成功,若大于该阈值则继续搜索匹配,直至匹配度小于设定的阈值。
8.根据权利要求7所述的一种用于机器人抓取零件的视觉检测方法,其特征在于:所述步骤4中质心计算方法为:
步骤S41:将经过模板匹配的目标零件的坐标范围扩大5个像素,即在目标零件图像的x轴和y轴坐标范围增加5个像素,此时,该图像在p、q值下的图像的矩为:
Figure FDA0002302510600000041
其中,f(i,j)为像素的质量;
步骤S42:然后利用中心矩求取零件的质心位置,图像的零阶矩M00为:
Figure FDA0002302510600000042
一阶矩M10为图像对j轴的惯性矩,M01为图像对i轴的惯性矩:
Figure FDA0002302510600000043
步骤S43:用所述一阶矩M10和M01分别除以所述零阶矩M00,即可得到零件的质心位置:
Figure FDA0002302510600000044
CN201911226981.0A 2019-12-04 2019-12-04 一种用于机器人抓取零件的视觉检测方法 Withdrawn CN111126174A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911226981.0A CN111126174A (zh) 2019-12-04 2019-12-04 一种用于机器人抓取零件的视觉检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911226981.0A CN111126174A (zh) 2019-12-04 2019-12-04 一种用于机器人抓取零件的视觉检测方法

Publications (1)

Publication Number Publication Date
CN111126174A true CN111126174A (zh) 2020-05-08

Family

ID=70497658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911226981.0A Withdrawn CN111126174A (zh) 2019-12-04 2019-12-04 一种用于机器人抓取零件的视觉检测方法

Country Status (1)

Country Link
CN (1) CN111126174A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070837A (zh) * 2020-08-31 2020-12-11 浙江省机电设计研究院有限公司 一种基于视觉分析的零部件定位及抓取方法、系统
CN112070719A (zh) * 2020-08-10 2020-12-11 盐城工学院 一种自动化零件视觉检测系统
CN112258576A (zh) * 2020-10-16 2021-01-22 青岛滨海学院 一种基于图像处理的重叠细导线抓取系统及方法
CN112945967A (zh) * 2021-01-15 2021-06-11 南京迪沃航空技术有限公司 一种飞机发动机叶片立体成像检测系统及检测方法
CN113020428A (zh) * 2021-03-24 2021-06-25 北京理工大学 级进模的加工监控方法、装置、设备及存储介质
CN113418509A (zh) * 2021-05-20 2021-09-21 中国农业科学院烟草研究所(中国烟草总公司青州烟草研究所) 一种用于农业的自动对靶检测装置及检测方法
CN113524197A (zh) * 2021-08-10 2021-10-22 深圳市金凯博自动化测试有限公司 一种高效快速自动精准定位装置
CN113611036A (zh) * 2021-07-15 2021-11-05 珠海市运泰利自动化设备有限公司 一种精密测试自动校准方法
CN113759435A (zh) * 2021-08-19 2021-12-07 常州捷佳创精密机械有限公司 加工台面异物检测装置及检测方法
CN113989278A (zh) * 2021-12-24 2022-01-28 湖南视比特机器人有限公司 抓取装置的定位方法和系统
CN114749851A (zh) * 2022-03-18 2022-07-15 上汽通用五菱汽车股份有限公司 一种并联式定位抓件机构及其抓件方法
CN114851206A (zh) * 2022-06-06 2022-08-05 天津中科智能识别有限公司 基于视觉引导机械臂抓取炉具的方法
CN115661110A (zh) * 2022-11-08 2023-01-31 西南交通大学 一种透明工件识别与定位的方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070719A (zh) * 2020-08-10 2020-12-11 盐城工学院 一种自动化零件视觉检测系统
CN112070719B (zh) * 2020-08-10 2023-05-16 盐城工学院 一种自动化零件视觉检测系统
CN112070837A (zh) * 2020-08-31 2020-12-11 浙江省机电设计研究院有限公司 一种基于视觉分析的零部件定位及抓取方法、系统
CN112258576A (zh) * 2020-10-16 2021-01-22 青岛滨海学院 一种基于图像处理的重叠细导线抓取系统及方法
CN112945967A (zh) * 2021-01-15 2021-06-11 南京迪沃航空技术有限公司 一种飞机发动机叶片立体成像检测系统及检测方法
CN112945967B (zh) * 2021-01-15 2023-02-14 南京迪沃航空技术有限公司 一种飞机发动机叶片立体成像检测系统及检测方法
CN113020428A (zh) * 2021-03-24 2021-06-25 北京理工大学 级进模的加工监控方法、装置、设备及存储介质
CN113418509A (zh) * 2021-05-20 2021-09-21 中国农业科学院烟草研究所(中国烟草总公司青州烟草研究所) 一种用于农业的自动对靶检测装置及检测方法
CN113611036B (zh) * 2021-07-15 2022-12-06 珠海市运泰利自动化设备有限公司 一种精密测试自动校准方法
CN113611036A (zh) * 2021-07-15 2021-11-05 珠海市运泰利自动化设备有限公司 一种精密测试自动校准方法
CN113524197A (zh) * 2021-08-10 2021-10-22 深圳市金凯博自动化测试有限公司 一种高效快速自动精准定位装置
CN113759435A (zh) * 2021-08-19 2021-12-07 常州捷佳创精密机械有限公司 加工台面异物检测装置及检测方法
CN113989278A (zh) * 2021-12-24 2022-01-28 湖南视比特机器人有限公司 抓取装置的定位方法和系统
CN114749851A (zh) * 2022-03-18 2022-07-15 上汽通用五菱汽车股份有限公司 一种并联式定位抓件机构及其抓件方法
CN114851206A (zh) * 2022-06-06 2022-08-05 天津中科智能识别有限公司 基于视觉引导机械臂抓取炉具的方法
CN114851206B (zh) * 2022-06-06 2024-03-29 天津中科智能识别有限公司 基于视觉引导机械臂抓取炉具的方法
CN115661110A (zh) * 2022-11-08 2023-01-31 西南交通大学 一种透明工件识别与定位的方法
CN115661110B (zh) * 2022-11-08 2023-08-01 西南交通大学 一种透明工件识别与定位的方法

Similar Documents

Publication Publication Date Title
CN111126174A (zh) 一种用于机器人抓取零件的视觉检测方法
CN109544456B (zh) 基于二维图像和三维点云数据融合的全景环境感知方法
CN105335973B (zh) 运用于带钢加工生产线的视觉处理方法
JP6899189B2 (ja) ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法
CN111062915A (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN101256156B (zh) 平板裂缝天线裂缝精密测量方法
CN111862037A (zh) 基于机器视觉的精密孔类零件几何特征检测方法及系统
CN111062940B (zh) 一种基于机器视觉的螺钉定位与识别方法
CN108007388A (zh) 一种基于机器视觉的转盘角度高精度在线测量方法
CN107230203A (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN115096206B (zh) 一种基于机器视觉的零件尺寸高精度测量方法
CN113781561B (zh) 基于自适应高斯权快速点特征直方图的目标位姿估计方法
CN109815822B (zh) 基于广义Hough变换的巡检图零部件目标识别方法
CN111127417B (zh) 一种基于sift特征匹配和改进ssd算法的印刷缺陷检测方法
CN110334727B (zh) 一种隧道裂缝智能匹配检测方法
CN107341793A (zh) 一种靶面图像处理方法及装置
CN112884746B (zh) 一种基于边缘形状匹配的字符缺陷智能检测算法
CN108510544B (zh) 一种基于特征聚类的光条定位方法
CN113822810A (zh) 一种基于机器视觉的三维空间中工件的定位方法
US20110164129A1 (en) Method and a system for creating a reference image using unknown quality patterns
CN117764983A (zh) 一种用于智能制造产线的双目识别的视觉检测的方法
CN114998571A (zh) 基于固定尺寸标志物的图像处理及颜色检测方法
CN112991327B (zh) 基于机器视觉的钢格网焊接系统、方法和终端设备
CN113781413A (zh) 一种基于Hough梯度法的电解电容定位方法
CN113103226A (zh) 一种面向陶瓷素坯加工制造的视觉引导机器人系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200508

WW01 Invention patent application withdrawn after publication