CN105740899A - 一种机器视觉图像特征点检测与匹配复合的优化方法 - Google Patents

一种机器视觉图像特征点检测与匹配复合的优化方法 Download PDF

Info

Publication number
CN105740899A
CN105740899A CN201610065088.4A CN201610065088A CN105740899A CN 105740899 A CN105740899 A CN 105740899A CN 201610065088 A CN201610065088 A CN 201610065088A CN 105740899 A CN105740899 A CN 105740899A
Authority
CN
China
Prior art keywords
sampled point
point
image
individual
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610065088.4A
Other languages
English (en)
Other versions
CN105740899B (zh
Inventor
惠记庄
杨永奎
郭云欣
罗丽
郑恒玉
王瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN201610065088.4A priority Critical patent/CN105740899B/zh
Publication of CN105740899A publication Critical patent/CN105740899A/zh
Application granted granted Critical
Publication of CN105740899B publication Critical patent/CN105740899B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Abstract

本发明公开了机器视觉图像特征点检测与匹配复合的优化方法,其主要思路为:首先获取模板图像和搜索图像,并拼接为工件图像,然后对所述工件图像进行特征点检测,得到P个特征点,再对P个特征点分别进行特征点描述,即选取任意一个特征点为中心构建像素块图像,并对像素块图像中包含的采样点分别进行高斯滤波处理,得到该特征点对应的采样点对,进而得到P个特征点各自对应的采样点对和P个特征点各自对应的采样点对距离,然后据此分别得到长距离采样点对的对应总体模式方向和短距离采样点对的对应二进制描述符,对P个特征点分别进行匹配识别,计算模板图像和搜索图像之间的仿射变换参数,进而得到搜索图像中目标工件三维坐标并进行准确抓取。

Description

一种机器视觉图像特征点检测与匹配复合的优化方法
技术领域
本发明属于机器视觉检测领域,特别涉及一种机器视觉图像特征点检测与匹配复合的优化方法。
背景技术
将机器视觉技术应用于工业机器人的生产装配环节,提高了工业机器人对复杂环境的感知和适应能力,同时也提高了生产制造的柔性化和自动化,机器视觉系统将图像处理信息传递给工业机器人控制器,继而控制器驱动工业机械手对目标工件进行抓取,而在图像处理中,由于成像距离、方向、位置等因素的影响,会使得图像产生旋转、平移以及尺度变化,而图像点特征能较好的避免上述问题,所以特征点的检测和匹配是图像处理的关键,快速检测出大量特征点并准确快速的进行有效匹配为接下来进行工件识别与定位抓取打下了良好的基础。
图像特征点提取方法主要有基于图像边缘检测方法和基于图像灰度检测方法两大类,边缘检测方法计算量大,基于灰度检测方法通过计算图像中点的曲率和梯度的方法大大减少了计算量,这类算法常见的有:哈里斯(Harris)算子、最小核值相似区算子(SUSAN)以及加速区域特征点检测(FAST)角点检测等,然而这些算法的角点都不具有尺度不变性,基于尺度不变性加速区域特征点检测(FAST)角点的二进制鲁棒尺度不变性特征点(BRISK)特征点提取算法和加速鲁棒特征(SURF)特征点提取算法应运而生。
在对图像进行特征点的检测之后还要对这些特征点进行描述以构建特征向量从而进行立体匹配,目前主要有两大类局部描述算法:一种是基于梯度直方图局部描述方法,常见方法有尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)特征点提取算法以及各自的优化方法;另一种是基于二进制位串局部描述方法,而后者的计算速度要远比前者的计算速度快,常见的有二进制鲁棒尺度不变性特征点(BRISK)特征点提取算法、快速视网膜关键点(FREAK)算法。
加速鲁棒特征(SURF)特征点提取算法能够保持尺度不变性,同时检测到的特征点比较多,速度比较快,但是它匹配时随机性也比较强,容易产生较多的错误匹配点对,而二进制鲁棒尺度不变性特征点(BRISK)特征点提取算法虽然匹配比较准确但是它的匹配率低,即匹配所需要的时间长,匹配的特征点对也比较少。
发明内容
针对上述现有技术存在的问题,本发明的目的在于提出一种机器视觉图像特征点检测与匹配复合的优化方法,该方法针对SURF算法检测时产生的特征点较多而BRISK算法计算速度快的特点,提出的一种SURF-BRISK复合检测方法,并采用所述SURF-BRISK复合检测方法能够在特征点检测提取部分获得图像上更多的特征点,从而进行特征匹配,运算速度快而且匹配效率高。
为达到上述技术目的,本发明采用如下技术方案予以实现。
一种机器视觉图像特征点检测与匹配复合的优化方法,包括以下步骤:
步骤1,首先获取模板图像和搜索图像,所述模板图像包含目标工件,所述搜索图像包含目标工件和非目标工件,并将模板图像和搜索图像拼接为工件图像,然后对所述工件图像进行极值点检测,得到P个极值点,所述P个极值点分别为极大值点或极小值点,然后将所述P个极值点分别作为特征点;其中,P表示自然数;
步骤2,选取P个特征点中的第k个特征点,并以第k个特征点为中心、构建第k个特征点对应的N×N像素块图像,所述第k个特征点对应的N×N像素块图像为工件图像的子图像,并且所述第k个特征点对应的N×N像素块图像包含Qk个采样点,每个采样点具有对应的灰度值和距离,所述Qk个采样点分布在第k个特征点周围的预设范围内,再将所述Qk个采样点中的每一个采样点作为中心、以设定的δ值作为方差分别进行高斯滤波处理,得到高斯滤波处理后的Qk个采样点,其中每一个高斯滤波半径对应方差δ的取值,然后将高斯滤波处理后的Qk个采样点采用设定组合数方式获取Hk个采样点对,并获取Hk个采样点对各自的对应距离,k∈{1,2,…,P};
步骤3,重复执行步骤2,直到得到H1、H2、…、Hk、…HP个采样点对各自的对应距离,然后根据所述H1、H2、…、Hk、…HP个采样点对各自的对应距离计算得到长距离采样点对的对应总体模式方向g和短距离采样点对的对应二进制描述符b;其中,k∈{1,2,…,P},P表示工件图像中包含的特征点个数;
步骤4,分别获取模板图像和搜索图像之间的仿射变换参数,以及模板图像的形心坐标,并根据所述长距离采样点对的对应总体模式方向g和所述短距离采样点对的对应二进制描述符b,对P个特征点分别进行匹配识别,获取搜索图像中目标工件的形心坐标,进而获取搜索图像中目标工件的三维坐标,最终对搜索图像中的目标工件进行准确抓取。
本发明的有益效果:本发明方法综合SURF算法和BRISK算法的各自优点提出的一种机器视觉图像特征点检测与匹配复合的优化方法,使用本发明方法能够检测到更多地特征点数目,并且特征点匹配亦变得更快、更多,同时该机器视觉图像特征点检测与匹配复合的优化方法在视觉工业机器人中能够更好地进行目标工件的识别与定位,不仅具有重要的理论意义,而且具有重要的实际应用价值。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细说明。
图1为本发明的一种机器视觉图像特征点检测与匹配复合的优化方法实现流程图;
图2为BRISK算法进行特征点描述的方法示意图;
图3(a)为使用SURF算法对模板图像和搜索图像特征点进行初次匹配得到的结果示意图;
图3(b)为使用BRISK算法对模板图像和搜索图像特征点进行初次匹配得到的结果示意图;
图3(c)为使用SURF-BRISK算法对模板图像和搜索图像特征点进行初次匹配得到的结果示意图。
具体实施方式
参照图1,为本发明的一种机器视觉图像特征点检测与匹配复合的优化方法实现流程图,该种机器视觉图像特征点检测与匹配复合的优化方法,包括以下步骤:
步骤1,首先获取模板图像和搜索图像,所述模板图像包含目标工件,所述搜索图像包含目标工件和非目标工件,并将模板图像和搜索图像拼接为工件图像,然后对所述工件图像进行极值点检测,得到P个极值点,所述P个极值点分别为极大值点或极小值点,然后将所述P个极值点分别作为特征点;其中,P表示自然数。
具体地,首先利用摄像机分别采集模板图像和搜索图像,并将模板图像和搜索图像拼接为工件图像,其中,模板图像对应于工件图像的左半部分,搜索图像对应于工件图像的右半部分;然后利用SURF算法分别获取工件图像的积分图像和大小可变的盒式滤波器,并据此建立图像金字塔模型,再利用所述图像金字塔模型对工件图像进行特征点检测,得到P个极值点,同时也得到P个特征点各自对应的位置和尺度,所述P个极值点分别为极大值点或极小值点,然后将所述P个极值点分别作为特征点;其中,P表示自然数,所述积分图像,是指工件图像中任意一个像素点左上角的灰度值总和。
步骤2,根据BRISK算法对P个特征点中第k个特征点进行特征点描述,即选取P个特征点中的第k个特征点,并以第k个特征点为中心、构建第k个特征点对应的N×N像素块图像,所述第k个特征点对应的N×N像素块图像为工件图像的子图像,并且所述第k个特征点对应的N×N像素块图像包含Qk个采样点,每个采样点具有对应的灰度值和距离,所述Qk个采样点分布在第k个特征点周围的预设范围内,再将所述Qk个采样点中的每一个采样点作为中心、以设定的δ值作为方差分别进行高斯滤波处理,得到高斯滤波处理后的Qk个采样点,其中每一个高斯滤波半径对应方差δ的取值,然后将高斯滤波处理后的Qk个采样点采用设定组合数方式获取Hk个采样点对,并获取Hk个采样点对各自的对应距离,k∈{1,2,…,P}。
具体地,参照图2,为BRISK算法进行特征点描述的方法示意图;利用BRISK算法对P个特征点中第k个特征点进行特征点描述,即选取P个特征点中的第k个特征点,并以第k个特征点为中心、构建第k个特征点对应的N×N像素块图像,所述第k个特征点对应的N×N像素块图像为工件图像的子图像,并且所述第k个特征点对应的N×N像素块图像包含Qk个采样点,每个采样点具有对应的灰度值和距离,所述Qk个采样点分布在第k个特征点周围的预设范围内,再将所述Qk个采样点中的每一个采样点作为中心、以设定的δ值作为方差分别进行高斯滤波处理,得到高斯滤波处理后的Qk个采样点,其中每一个高斯滤波半径对应方差δ的取值,然后将高斯滤波处理后的Qk个采样点采用设定组合数方式获取Hk个采样点对,并获取Hk个采样点对各自的对应距离,k∈{1,2,…,P};其中,图2中的小圆表示采样点位置,大的虚线圆半径是对应采样点的平滑高斯函数标准差。
其中,所述第k个特征点对应的N×N像素块图像包含Qk个采样点,具体为:以第k个特征点为中心、在第k个特征点对应的N×N像素块图像中绘制多个Bresenham同心圆,然后在多个Bresenham同心圆的圆周上等间距获得Qk个采样点;其中,所述Qk个采样点中包含第k个特征点。
为降低采样时图像灰度混叠带来的影响,此处采用高斯函数对工件图像上的特征点分别进行平滑滤波,其中每一个高斯滤波半径对应方差δ的取值,然后将高斯滤波处理后的Qk个采样点采用设定组合数方式获取Hk个采样点对,并获取Hk个采样点对各自的对应距离,作为第k个特征点对应的Hk个采样点对距离;其中,所述设定组合数方式为: H k = C Q k 2 = Q k ! 2 ! ( Q k - 2 ) ! , !表示阶乘。
步骤3,重复执行步骤2,直到得到H1、H2、…、Hk、…HP个采样点对各自的对应距离,然后根据所述H1、H2、…、Hk、…HP个采样点对各自的对应距离计算得到长距离采样点对的对应总体模式方向g和短距离采样点对的对应二进制描述符b;其中,k∈{1,2,…,P},P表示工件图像中包含的特征点个数。
具体地,当得到H1、H2、…、Hk、…HP个采样点对各自的对应距离时,也分别对应得到H1、H2、…、Hk、…HP个采样点对,以及P个特征点对应的所有采样点,即+Q2+…+Qk+…+QP个采样点;选取P个特征点对应的所有采样点中任意两个采样点组成的一个采样点对(i,j),该个采样点对(i,j)位置分别为i时和j时的高斯平滑后的灰度值分别为I(Qii)和I(Qjj),故采样点位置为i时的坐标值Qi和采样点位置为j时的坐标值Qj组成的坐标值对(Qi,Qj)进行高斯平滑处理后的梯度值g(Qi,Qj)为:
g ( Q i , Q j ) = ( Q j - Q i ) · I ( Q j , σ j ) - I ( Q i , σ i ) | | Q j - Q i | | 2 - - - ( 1 )
其中,σi为采样点对位置为i时的高斯函数标准差,σj为采样点位置为j时的高斯函数标准差,Qi为采样点位置为i时的坐标值,Qj为采样点位置为j时的坐标值,I(Qjj)为采样点位置为j时的高斯平滑处理后的灰度值,I(Qii)为采样点位置为i时的高斯平滑处理后的灰度值,j<i,(i,j)为P个特征点对应的所有采样点中任意两个采样点组成的一个采样点对,||·||为求取绝对值运算符。
分别设A为P个特征点对应的所有采样点组成的集合,S为所述H1、H2、…、Hk、…HP个采样点对各自的对应距离中短距离采样点对的集合,L为所述H1、H2、…、Hk、…HP个采样点对各自的对应距离中长距离采样点对的集合,其表达式分别为:
A={(Qi,Qj)∈R2×R2}(2)
S = { ( Q i , Q j ) &Element; A | | | Q j - Q i | | < &delta; m a x } &SubsetEqual; A - - - ( 3 )
L = { ( Q i , Q j ) &Element; A | | | Q j - Q i | | > &delta; min } &SubsetEqual; A - - - ( 4 )
其中,j<i,(i,j)为P个特征点对应的所有采样点中任意两个采样点组成的一个采样点对,||·||为求取绝对值运算符,Qi为采样点位置为i时的坐标值,Qj为采样点位置为j时的坐标值,R为实数,表示集合的包含关系:包含于,R2×R2表示工件图像平面上的点对;所述短距离采样点对满足的条件为||Qj-Qi||<δmax,δmax为设定的采样点对距离最大值,且δmax=9.75t;δmin为设定的采样点对距离最小值,且δmin=13.67t,t为设定的特征点尺度,也是步骤1建立的图像金字塔进行特征点检测过程中提取的尺度特征量。
通常,P个特征点各自对应的位置、方向、尺度都包含在所述H1、H2、…、Hk、…HP个采样点对各自的对应距离中长距离采样点对内,利用L1个长距离采样点对各自对应的梯度,计算得到L1个长距离采样点对的对应总体模式方向g,其表达式为:
g = g x g y = 1 L 1 &CenterDot; &Sigma; ( Q i , Q j ) &Element; L g ( Q i , Q j ) - - - ( 5 )
其中,L1为所述H1、H2、…、Hk、…HP个采样点对各自的对应距离中长距离采样点对个数;L为所述H1、H2、…、Hk、…HP个采样点对各自的对应距离中长距离采样点对的集合;gx为L1个长距离采样点对的对应总体模式方向g在x方向的偏导数,gy为L1个长距离采样点对的对应总体模式方向g在y方向的偏导数,g(Qi,Qj)为采样点位置为i时的坐标值Qi和采样点位置为j时的坐标值Qj组成的坐标值对(Qi,Qj)进行高斯平滑处理后的梯度值,j<i,(i,j)为P个特征点对应的所有采样点中任意两个采样点组成的一个采样点对。
将得到的L1个长距离采样点对的对应总体模式方向g对P个特征点分别进行旋转θ后,就可以实现工件图像的旋转不变性和尺度不变性,并得到旋转后的所述H1,H2,…,Hk,…HP个采样点对距离中的短距离采样点对集合S,即θ=arctan2(gx,gy),为所述L个长距离采样点对的对应总体模式方向g旋转θ后在位置i时的坐标值,为所述L个长距离采样点对的对应总体模式方向g旋转θ后在位置j时的坐标值。
然后,将所述H1,H2,…,Hk,…HP个采样点对距离中的短距离采样点对集合S通过以下运算得到所述短距离采样点对的对应二进制描述符b,其表达式为:
b = 1 I ( Q j &theta; , &sigma; j ) > I ( Q i &theta; , &sigma; i ) 0 o t h e r w i s e - - - ( 6 )
其中,S为所述H1、H2、…、Hk、…HP个采样点对各自的对应距离中短距离采样点对的集合,为所述L1个长距离采样点对的对应总体模式方向g旋转θ后在位置i时的坐标值,为所述L1个长距离采样点对的对应总体模式方向g旋转θ后在位置j时的坐标值,σi为采样点对位置为i时的高斯函数标准差,σj为采样点对位置为j时的高斯函数标准差,为所述L1个长距离采样点对的对应总体模式方向g旋转θ、并经过高斯平滑处理后在位置j的灰度值,为所述L1个长距离采样点对的对应总体模式方向g旋转θ、并经过高斯平滑处理后在位置i的灰度值,θ为所述L1个长距离采样点对的对应总体模式方向g的旋转角度,j<i,(i,j)为P个特征点对应的所有采样点中任意两个采样点组成的一个采样点对。
步骤4,获取模板图像和搜索图像之间的仿射变换参数,然后根据图像形态学和贴标签处理方法计算模板图像的形心坐标,并根据所述长距离采样点对的对应总体模式方向g和所述短距离采样点对的对应二进制描述符b,采用SURF-BRISK算法对P个特征点分别进行匹配识别,获取搜索图像中目标工件的形心坐标,进而结合双目立体视觉标定技术获取搜索图像中目标工件的三维坐标,最后利用运动控制器驱动机械臂对搜索图像中的目标工件进行准确抓取。
具体地,获取模板图像和搜索图像之间的仿射变换参数,然后根据图像形态学和贴标签处理方法计算模板图像的形心坐标,并根据所述长距离采样点对的对应总体模式方向g和所述短距离采样点对的对应二进制描述符b,采用SURF-BRISK算法对P个特征点分别进行匹配识别,所述SURF-BRISK算法是一个依次通过SURF检测极值点、BRISK计算描述子、利用汉明距离进行相似性度量的算法,并应用仿射变换模型计算出模板图像和搜索图像之间的仿射变换参数,然后再利用图像形态学或贴标签处理方法计算得到模板图像的形心坐标,然后结合所述仿射变换参数获取搜索图像中目标工件的形心坐标,最后结合双目立体视觉标定技术获取搜索图像中目标工件的三维坐标,进而利用运动控制器驱动机械臂对搜索图像中的目标工件进行准确抓取。
其中,结合所述仿射变换参数获取搜索图像中目标工件的形心坐标,首先利用BRISK算法对工件图像中的P个特征点进行描述,提取得到F个特征描述子,再利用相似性度量函数-汉明距离方法和所述短距离采样点对的对应二进制描述符b,对所述F个特征描述子中每两个特征描述子进行相似性度量,从而得到匹配点对,然后利用SURF-BRISK算法对所述匹配点对进行目标工件的识别,获取搜索图像中目标工件的形心坐标,进而获取搜索图像中目标工件的三维坐标,最终对搜索图像中的目标工件进行准确抓取。
所述特征描述子是描述特征点位置和方向信息的一串二进制描述符,所述一串二进制描述符为0和1组成的512位二进制比特串。采用相似性度量函数-汉明距离方法对所述F个特征描述子中任意两个特征描述子进行相似性度量的过程为:
假设在所述F个特征描述子中任意选取两个特征描述子,记为的汉明距离表达式为:
D ( S ~ , S ^ ) = &Sigma; l = 1 512 ( x l &CirclePlus; y l ) - - - ( 7 )
其中, S ~ = x 1 x 2 ... x l ... x 512 , S ^ = y 1 y 2 ... y l ... y 512 , l∈{1,2,…,512},xl为在模板图像中任意选取的一个特征点的二进制描述符序列的第l位数字,且xl等于0或1;yl为在搜索图像中任意选取的一个特征点的二进制描述符序列的第l位数字,且yl等于0或1。的汉明距离值越小,的匹配率越高,反之则越低。所以,分别设定模板图像中包含C个特征描述子,搜索图像中包含D个特征描述子,在匹配识别过程中采取最近邻汉明距离准则得到模板图像中包含的C个特征描述子和搜索图像中包含的D个特征描述子对应的T个匹配点对,所述T个匹配点对中每一个匹配点对是将模板图像中包含的C个特征描述子中每一个特征描述子,分别与搜索图像中包含的D个特征描述子逐个进行比较,选取搜索图像中与模板图像之间汉明距离最小的特征点作为匹配点,从而与搜索图像中对应的点组成一个匹配点对,进而得到T个匹配点对,根据所述T个匹配点对就可以对目标工件进行准确地匹配识别,模板匹配是图像识别的最有效的方法,具体是设定目标工件模板的SURF-BRISK特征集,并将其作为模板实时获取工作件图,然后在搜索图像中寻找与模板图像中存在的目标工件对应的相同目标工件;其中,C+D<F,T<C<D<F,C、D、F、T分别为自然数。
由于根据模板图像的一个目标工件在搜索图像中寻找与之相同的目标工件时,会得到若干个与所述模板图像的一个目标工件相同或相似的目标工件,所以必须运用特征点检测匹配算法进行匹配识别。匹配识别就是利用模板图像和搜索图像的共有特征方法来度量模板图像和搜索图像各自存在的目标工件之间的相似性;本实施例是采用SURF-BRISK特征集对模板图像和搜索图像进行特征点检测及目标工件的匹配识别,目标工件识别后再运用三维重建技术获取目标工件的形心坐标,就可以实现目标工件地准确抓取,以此提高目标识别的速度和准确度。
以下通过仿真实验数据进一步验证本发明的有效性。
(一)仿真条件
本仿真分别通过SURF算法、BRISK算法和SURF-BRISK算法进行仿真分析,从而得到SURF-BRISK算法的优越性;仿真实验环境:WindowsXP32位操作系统,CPU是Intel(R)Core(TM)2Quad,2.66GMZ,2.98GB内存,所用到的软件:OpenCV2.4.6、VS2010和MATLAB2014,所采用型号为CS5260BDP东芝TELI工业摄像头采集图像。
(二)仿真内容
为了去除初次匹配中一些不正确的特征点对,本仿真还采用了图像几何的健壮估计抽样一致性(MSAC)算法去除初次误匹配点对,去除初次误匹配后再分别使用SURF算法、BRISK算法和SURF-BRISK算法得到的实验匹配对比效果如图3(a)~图3(c)所示;其中,图3(a)为使用SURF算法对模板图像和搜索图像特征点进行初次匹配得到的结果示意图;图3(b)为使用BRISK算法对模板图像和搜索图像特征点进行初次匹配得到的结果示意图;图3(c)为使用SURF-BRISK算法对模板图像和搜索图像特征点进行初次匹配得到的结果示意图。
(二)结果分析
通过仿真结果可以比较SURF算法、BRISK算法和SURF-BRISK算法三种描述子方法的实时性以及匹配率,如表1所示。从表1中可以看出,SURF算法的匹配点对最多,BRISK算法的匹配速度最快,SURF-BRISK算法结合了SURF算法和BRISK算法的优点,使得SURF-BRISK算法的匹配速度比SURF更快、比BRISK算法能得到更多更准确的匹配点对。
表1
综上所述,仿真实验验证了本发明的正确性,有效性和可靠性。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围;这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种机器视觉图像特征点检测与匹配复合的优化方法,其特征在于,包括以下步骤:
步骤1,首先获取模板图像和搜索图像,所述模板图像包含目标工件,所述搜索图像包含目标工件和非目标工件,并将模板图像和搜索图像拼接为工件图像,然后对所述工件图像进行极值点检测,得到P个极值点,所述P个极值点分别为极大值点或极小值点,然后将所述P个极值点分别作为特征点;其中,P表示自然数;
步骤2,选取P个特征点中的第k个特征点,并以第k个特征点为中心、构建第k个特征点对应的N×N像素块图像,所述第k个特征点对应的N×N像素块图像为工件图像的子图像,并且所述第k个特征点对应的N×N像素块图像包含Qk个采样点,每个采样点具有对应的灰度值和距离,所述Qk个采样点分布在第k个特征点周围的预设范围内,再将所述Qk个采样点中的每一个采样点作为中心、以设定的δ值作为方差分别进行高斯滤波处理,得到高斯滤波处理后的Qk个采样点,其中每一个高斯滤波半径对应方差δ的取值,然后将高斯滤波处理后的Qk个采样点采用设定组合数方式获取Hk个采样点对,并获取Hk个采样点对各自的对应距离,k∈{1,2,…,P};
步骤3,重复执行步骤2,直到得到H1、H2、…、Hk、…HP个采样点对各自的对应距离,然后根据所述H1、H2、…、Hk、…HP个采样点对各自的对应距离计算得到长距离采样点对的对应总体模式方向g和短距离采样点对的对应二进制描述符b;其中,k∈{1,2,…,P},P表示工件图像中包含的特征点个数;
步骤4,分别获取模板图像和搜索图像之间的仿射变换参数,以及模板图像的形心坐标,并根据所述长距离采样点对的对应总体模式方向g和所述短距离采样点对的对应二进制描述符b,对P个特征点分别进行匹配识别,获取搜索图像中目标工件的形心坐标,进而获取搜索图像中目标工件的三维坐标,最终对搜索图像中的目标工件进行准确抓取。
2.如权利要求1所述的一种机器视觉图像特征点检测与匹配复合的优化方法,其特征在于,在步骤1中,所述将模板图像和搜索图像拼接为工件图像,其中工件图像的左半部分为模板图像,工件图像的右半部分为搜索图像。
3.如权利要求1所述的一种机器视觉图像特征点检测与匹配复合的优化方法,其特征在于,在步骤2中,所述第k个特征点对应的N×N像素块图像包含Qk个采样点,具体为:以第k个特征点为中心、在第k个特征点对应的N×N像素块图像中绘制多个Bresenham同心圆,然后在多个Bresenham同心圆的圆周上等间距获得Qk个采样点;其中,所述Qk个采样点中包含第k个特征点。
4.如权利要求1所述的一种机器视觉图像特征点检测与匹配复合的优化方法,其特征在于,在步骤2中,所述将高斯滤波处理后的Qk个采样点采用设定组合数方式获取Hk个采样点对,其中所述设定组合数方式为:!表示阶乘。
5.如权利要求1所述的一种机器视觉图像特征点检测与匹配复合的优化方法,其特征在于,在步骤2中,所述长距离采样点对和所述短距离采样点对,其满足的条件分别为:
||Qj-Qi||>δmin
||Qj-Qi||<δmax
其中,j<i,Qi为采样点位置为i时的坐标值,Qj为采样点位置为j时的坐标值,δmax为设定的采样点对距离最大值,δmin为设定的采样点对距离最小值,(i,j)为P个特征点对应的所有采样点中任意两个采样点组成的一个采样点对,||·||为求取绝对值运算符。
6.如权利要求1所述的一种机器视觉图像特征点检测与匹配复合的优化方法,其特征在于,在步骤2中,所述得到L个长距离采样点对的对应总体模式方向g,其表达式为:
g = g x g y = 1 L 1 &CenterDot; &Sigma; ( Q i , Q j ) &Element; L g ( Q i , Q j )
其中,L1为所述H1、H2、…、Hk、…HP个采样点对各自的对应距离中长距离采样点对个数;L为所述H1、H2、…、Hk、…HP个采样点对各自的对应距离中长距离采样点对的集合;gx为L1个长距离采样点对的对应总体模式方向g在x方向的偏导数,gy为L1个长距离采样点对的对应总体模式方向g在y方向的偏导数,g(Qi,Qj)为采样点位置为i时的坐标值Qi和采样点位置为j时的坐标值Qj组成的坐标值对(Qi,Qj)进行高斯平滑处理后的梯度值,j<i,(i,j)为P个特征点对应的所有采样点中任意两个采样点组成的一个采样点对。
7.如权利要求6所述的一种机器视觉图像特征点检测与匹配复合的优化方法,其特征在于,所述g(Qi,Qj)为采样点位置为i时的坐标值Qi和采样点位置为j时的坐标值Qj组成的坐标值对(Qi,Qj)进行高斯平滑处理后的梯度值,其表达式为:
g ( Q i , Q j ) = ( Q j - Q i ) &times; I ( Q j , &sigma; j ) - I ( Q i , &sigma; i ) | | Q j - Q i | | 2
其中,σi为采样点对位置为i时的高斯函数标准差,σj为采样点位置为j时的高斯函数标准差,Qi为采样点位置为i时的坐标值,Qj为采样点位置为j时的坐标值,I(Qjj)为采样点位置为j时的高斯平滑处理后的灰度值,I(Qii)为采样点位置为i时的高斯平滑处理后的灰度值,j<i,(i,j)为P个特征点对应的所有采样点中任意两个采样点组成的一个采样点对,||·||为求取绝对值运算符。
8.如权利要求1所述的一种机器视觉图像特征点检测与匹配复合的优化方法,其特征在于,在步骤2中,所述短距离采样点对的对应二进制描述符b,其表达式为:
b = 1 I ( Q j &theta; , &sigma; j ) > I ( Q i &theta; , &sigma; i ) 0 o t h e r w i s e
其中,S为所述H1、H2、…、Hk、…HP个采样点对各自的对应距离中短距离采样点对的集合,为所述L1个长距离采样点对的对应总体模式方向g旋转θ后在位置i时的坐标值,为所述L1个长距离采样点对的对应总体模式方向g旋转θ后在位置j时的坐标值,σi为采样点对位置为i时的高斯函数标准差,σj为采样点对位置为j时的高斯函数标准差,为所述L1个长距离采样点对的对应总体模式方向g旋转θ、并经过高斯平滑处理后在位置j的灰度值,为所述L1个长距离采样点对的对应总体模式方向g旋转θ、并经过高斯平滑处理后在位置i的灰度值,θ为所述L1个长距离采样点对的对应总体模式方向g的旋转角度,j<i,(i,j)为P个特征点对应的所有采样点中任意两个采样点组成的一个采样点对。
CN201610065088.4A 2016-01-29 2016-01-29 一种机器视觉图像特征点检测与匹配复合的优化方法 Expired - Fee Related CN105740899B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610065088.4A CN105740899B (zh) 2016-01-29 2016-01-29 一种机器视觉图像特征点检测与匹配复合的优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610065088.4A CN105740899B (zh) 2016-01-29 2016-01-29 一种机器视觉图像特征点检测与匹配复合的优化方法

Publications (2)

Publication Number Publication Date
CN105740899A true CN105740899A (zh) 2016-07-06
CN105740899B CN105740899B (zh) 2019-08-23

Family

ID=56247012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610065088.4A Expired - Fee Related CN105740899B (zh) 2016-01-29 2016-01-29 一种机器视觉图像特征点检测与匹配复合的优化方法

Country Status (1)

Country Link
CN (1) CN105740899B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106384127A (zh) * 2016-09-08 2017-02-08 中国科学院计算技术研究所 为图像特征点确定比较点对及二进制描述子的方法及系统
CN106408022A (zh) * 2016-09-20 2017-02-15 河南理工大学 基于简易采样方式和三值化策略的二值描述子构建方法
CN106408023A (zh) * 2016-09-20 2017-02-15 河南理工大学 基于点组比较策略的图像特征点二值描述及匹配方法
CN106851229A (zh) * 2017-04-01 2017-06-13 山东瀚岳智能科技股份有限公司 一种基于图像识别的安防智能决策的方法与系统
CN107526772A (zh) * 2017-07-12 2017-12-29 湖州师范学院 Spark平台下基于SURF‑BIT算法的图像检索系统
CN107756423A (zh) * 2016-08-17 2018-03-06 发那科株式会社 机器人控制装置
CN107992073A (zh) * 2017-12-07 2018-05-04 深圳慧源创新科技有限公司 无人机定点飞行方法、无人机定点飞行装置和无人机
CN108122225A (zh) * 2017-12-18 2018-06-05 辽宁师范大学 基于自适应特征点的数字图像篡改检测方法
CN108846443A (zh) * 2018-06-22 2018-11-20 成都新西旺自动化科技有限公司 一种基于海量图像的视觉对位算法筛选及参数优化方法
CN109766943A (zh) * 2019-01-10 2019-05-17 哈尔滨工业大学(深圳) 一种基于全局感知多样性度量的模板匹配方法及系统
CN109801334A (zh) * 2018-12-29 2019-05-24 歌尔股份有限公司 工件定位方法、标准点确定方法、装置及设备
CN109993800A (zh) * 2019-03-18 2019-07-09 五邑大学 一种工件尺寸的检测方法、装置及存储介质
CN110058604A (zh) * 2019-05-24 2019-07-26 中国科学院地理科学与资源研究所 一种基于计算机视觉的无人机精准降落系统
CN110293559A (zh) * 2019-05-30 2019-10-01 上海理工大学 一种自动识别定位对准的安装方法
CN112750164A (zh) * 2021-01-21 2021-05-04 脸萌有限公司 轻量化定位模型的构建方法、定位方法、电子设备
CN112818989A (zh) * 2021-02-04 2021-05-18 成都工业学院 一种基于梯度幅值随机采样的图像匹配方法
CN113283478A (zh) * 2021-05-10 2021-08-20 青岛理工大学 一种基于特征匹配的装配体多视角变化检测方法及设备
CN113822946A (zh) * 2021-10-09 2021-12-21 上海第二工业大学 一种基于计算机视觉的机械臂抓取方法
CN114851206A (zh) * 2022-06-06 2022-08-05 天津中科智能识别有限公司 基于视觉引导机械臂抓取炉具的方法
CN115330804A (zh) * 2022-10-17 2022-11-11 启东市航新实用技术研究所 用于pcb板拼接的特征点检测优化方法
CN116309837A (zh) * 2023-03-16 2023-06-23 南京理工大学 一种结合特征点与轮廓点的毁伤元识别定位方法
CN116309837B (zh) * 2023-03-16 2024-04-26 南京理工大学 一种结合特征点与轮廓点的毁伤元识别定位方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1426021A (zh) * 2002-12-19 2003-06-25 上海交通大学 遥感图像的非线性配准方法
CN103593838A (zh) * 2013-08-01 2014-02-19 华中科技大学 一种快速互相关灰度图像匹配方法与装置
WO2014111961A1 (en) * 2013-01-21 2014-07-24 Datalogic Ip Tech S.R.L. Describing objects using edge-pixel-feature descriptors
CN104021220A (zh) * 2014-06-24 2014-09-03 中国科学院深圳先进技术研究院 基于显著性模型的图像检索方法
CN104390591A (zh) * 2014-11-27 2015-03-04 上海江南长兴造船有限责任公司 大型曲面板测量中圆形标记物的精确定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1426021A (zh) * 2002-12-19 2003-06-25 上海交通大学 遥感图像的非线性配准方法
WO2014111961A1 (en) * 2013-01-21 2014-07-24 Datalogic Ip Tech S.R.L. Describing objects using edge-pixel-feature descriptors
CN103593838A (zh) * 2013-08-01 2014-02-19 华中科技大学 一种快速互相关灰度图像匹配方法与装置
CN104021220A (zh) * 2014-06-24 2014-09-03 中国科学院深圳先进技术研究院 基于显著性模型的图像检索方法
CN104390591A (zh) * 2014-11-27 2015-03-04 上海江南长兴造船有限责任公司 大型曲面板测量中圆形标记物的精确定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
惠国保 等;: "《CNC视觉系统中的图像特征匹配技术及其应用研究》", 《万方学位论文库》 *
郭宝龙 等;: "《基于图像几何特征点的仿射参数估计算法研究》", 《计算机科学》 *

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10507583B2 (en) 2016-08-17 2019-12-17 Fanuc Corporation Robot control device
CN107756423A (zh) * 2016-08-17 2018-03-06 发那科株式会社 机器人控制装置
CN107756423B (zh) * 2016-08-17 2020-02-28 发那科株式会社 机器人控制装置
CN106384127B (zh) * 2016-09-08 2019-04-02 中国科学院计算技术研究所 为图像特征点确定比较点对及二进制描述子的方法及系统
CN106384127A (zh) * 2016-09-08 2017-02-08 中国科学院计算技术研究所 为图像特征点确定比较点对及二进制描述子的方法及系统
CN106408022A (zh) * 2016-09-20 2017-02-15 河南理工大学 基于简易采样方式和三值化策略的二值描述子构建方法
CN106408023A (zh) * 2016-09-20 2017-02-15 河南理工大学 基于点组比较策略的图像特征点二值描述及匹配方法
CN106408022B (zh) * 2016-09-20 2019-05-17 河南理工大学 基于简易采样方式和三值化策略的二值描述子构建方法
CN106408023B (zh) * 2016-09-20 2019-05-14 河南理工大学 基于点组比较策略的图像特征点二值描述及匹配方法
CN106851229A (zh) * 2017-04-01 2017-06-13 山东瀚岳智能科技股份有限公司 一种基于图像识别的安防智能决策的方法与系统
CN106851229B (zh) * 2017-04-01 2021-03-02 山东瀚岳智能科技股份有限公司 一种基于图像识别的安防智能决策的方法与系统
CN107526772A (zh) * 2017-07-12 2017-12-29 湖州师范学院 Spark平台下基于SURF‑BIT算法的图像检索系统
CN107992073A (zh) * 2017-12-07 2018-05-04 深圳慧源创新科技有限公司 无人机定点飞行方法、无人机定点飞行装置和无人机
CN108122225A (zh) * 2017-12-18 2018-06-05 辽宁师范大学 基于自适应特征点的数字图像篡改检测方法
CN108122225B (zh) * 2017-12-18 2021-11-19 辽宁师范大学 基于自适应特征点的数字图像篡改检测方法
CN108846443A (zh) * 2018-06-22 2018-11-20 成都新西旺自动化科技有限公司 一种基于海量图像的视觉对位算法筛选及参数优化方法
CN108846443B (zh) * 2018-06-22 2020-04-03 成都新西旺自动化科技有限公司 一种基于海量图像的视觉对位算法筛选及参数优化方法
CN109801334A (zh) * 2018-12-29 2019-05-24 歌尔股份有限公司 工件定位方法、标准点确定方法、装置及设备
CN109801334B (zh) * 2018-12-29 2023-09-01 歌尔股份有限公司 工件定位方法、标准点确定方法、装置及设备
CN109766943B (zh) * 2019-01-10 2020-08-21 哈尔滨工业大学(深圳) 一种基于全局感知多样性度量的模板匹配方法及系统
CN109766943A (zh) * 2019-01-10 2019-05-17 哈尔滨工业大学(深圳) 一种基于全局感知多样性度量的模板匹配方法及系统
CN109993800A (zh) * 2019-03-18 2019-07-09 五邑大学 一种工件尺寸的检测方法、装置及存储介质
CN109993800B (zh) * 2019-03-18 2023-01-03 五邑大学 一种工件尺寸的检测方法、装置及存储介质
CN110058604A (zh) * 2019-05-24 2019-07-26 中国科学院地理科学与资源研究所 一种基于计算机视觉的无人机精准降落系统
CN110293559A (zh) * 2019-05-30 2019-10-01 上海理工大学 一种自动识别定位对准的安装方法
CN112750164A (zh) * 2021-01-21 2021-05-04 脸萌有限公司 轻量化定位模型的构建方法、定位方法、电子设备
CN112750164B (zh) * 2021-01-21 2023-04-18 脸萌有限公司 轻量化定位模型的构建方法、定位方法、电子设备
CN112818989A (zh) * 2021-02-04 2021-05-18 成都工业学院 一种基于梯度幅值随机采样的图像匹配方法
CN112818989B (zh) * 2021-02-04 2023-10-03 成都工业学院 一种基于梯度幅值随机采样的图像匹配方法
JP7195656B2 (ja) 2021-05-10 2022-12-26 青▲島▼理工大学 特徴マッチングに基づく組立体の多視点変化検出方法及び装置
CN113283478B (zh) * 2021-05-10 2022-09-09 青岛理工大学 一种基于特征匹配的装配体多视角变化检测方法及设备
JP2022173970A (ja) * 2021-05-10 2022-11-22 青▲島▼理工大学 特徴マッチングに基づく組立体の多視点変化検出方法及び装置
CN113283478A (zh) * 2021-05-10 2021-08-20 青岛理工大学 一种基于特征匹配的装配体多视角变化检测方法及设备
CN113822946B (zh) * 2021-10-09 2023-10-20 上海第二工业大学 一种基于计算机视觉的机械臂抓取方法
CN113822946A (zh) * 2021-10-09 2021-12-21 上海第二工业大学 一种基于计算机视觉的机械臂抓取方法
CN114851206B (zh) * 2022-06-06 2024-03-29 天津中科智能识别有限公司 基于视觉引导机械臂抓取炉具的方法
CN114851206A (zh) * 2022-06-06 2022-08-05 天津中科智能识别有限公司 基于视觉引导机械臂抓取炉具的方法
CN115330804B (zh) * 2022-10-17 2024-03-01 重庆沃科诚达汽车电子有限公司 用于pcb板拼接的特征点检测优化方法
CN115330804A (zh) * 2022-10-17 2022-11-11 启东市航新实用技术研究所 用于pcb板拼接的特征点检测优化方法
CN116309837A (zh) * 2023-03-16 2023-06-23 南京理工大学 一种结合特征点与轮廓点的毁伤元识别定位方法
CN116309837B (zh) * 2023-03-16 2024-04-26 南京理工大学 一种结合特征点与轮廓点的毁伤元识别定位方法

Also Published As

Publication number Publication date
CN105740899B (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
CN105740899A (zh) 一种机器视觉图像特征点检测与匹配复合的优化方法
CN108256394B (zh) 一种基于轮廓梯度的目标跟踪方法
CN111251295B (zh) 一种应用于参数化零件的视觉机械臂抓取方法及装置
CN110378325B (zh) 一种机器人抓取过程中的目标位姿识别方法
CN109159113B (zh) 一种基于视觉推理的机器人作业方法
CN108022262A (zh) 一种基于点的邻域重心向量特征的点云配准方法
CN107818598B (zh) 一种基于视觉矫正的三维点云地图融合方法
Qian et al. Grasp pose detection with affordance-based task constraint learning in single-view point clouds
CN112907735B (zh) 一种基于点云的柔性电缆识别与三维重建方法
Chen et al. Robust affine-invariant line matching for high resolution remote sensing images
CN113628263A (zh) 一种基于局部曲率及其近邻特征的点云配准方法
CN112509063A (zh) 一种基于边缘特征匹配的机械臂抓取系统及方法
CN111028292A (zh) 一种亚像素级图像匹配导航定位方法
WO2022095514A1 (zh) 图像检测方法、装置、电子设备及存储介质
CN110222661B (zh) 一种用于运动目标识别及跟踪的特征提取方法
CN104851095A (zh) 基于改进型形状上下文的工件图像稀疏立体匹配方法
Abbeloos et al. Point pair feature based object detection for random bin picking
CN109255815B (zh) 一种基于零阶球谐函数的物体检测与识别方法
CN111598172B (zh) 基于异构深度网络融合的动态目标抓取姿态快速检测方法
WO2022021156A1 (zh) 用于机器人抓取三维物体的方法和装置
CN110472651B (zh) 一种基于边缘点局部特征值的目标匹配与定位方法
CN113393524B (zh) 一种结合深度学习和轮廓点云重建的目标位姿估计方法
CN113989308A (zh) 一种基于霍夫变换与模板匹配的多边形目标分割方法
CN111199558A (zh) 一种基于深度学习的图像匹配方法
CN117351078A (zh) 基于形状先验的目标尺寸与6d姿态估计方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190823

Termination date: 20220129

CF01 Termination of patent right due to non-payment of annual fee