CN113034600B - 基于模板匹配的无纹理平面结构工业零件识别和6d位姿估计方法 - Google Patents
基于模板匹配的无纹理平面结构工业零件识别和6d位姿估计方法 Download PDFInfo
- Publication number
- CN113034600B CN113034600B CN202110443857.0A CN202110443857A CN113034600B CN 113034600 B CN113034600 B CN 113034600B CN 202110443857 A CN202110443857 A CN 202110443857A CN 113034600 B CN113034600 B CN 113034600B
- Authority
- CN
- China
- Prior art keywords
- template
- image
- matching
- point
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000001914 filtration Methods 0.000 claims abstract description 15
- 230000011218 segmentation Effects 0.000 claims abstract description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 33
- 230000009466 transformation Effects 0.000 claims description 25
- 238000005070 sampling Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 6
- 230000005764 inhibitory process Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 2
- 238000007599 discharging Methods 0.000 description 4
- 238000000844 transformation Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明属于机器视觉、图像处理技术领域,尤其是基于模板匹配的无纹理平面结构工业零件识别和6D位姿估计方法,针对现有的方式的适用范围小柔性化程度低,无法实现无序堆叠工件的上下料的问题,现提出如下方案,其首先通过RGB‑D相机采集堆叠工件的RGB图像和深度图,基于2D模板匹配对RGB图像进行工件识别分类和2D图像定位;将深度图转换3D点云,对点云图像进行滤波处理剔除背景点云和噪声点云干扰,并对滤波处理后的点云进行欧式聚类分割,获得单个工件实例点云;对单一零件点云进行RANSAC平面拟合,利用拟合平面的参数方程和工件中心的2D图像像素坐标估计物体在相机坐标系下的6D位姿。
Description
技术领域
本发明涉及机器视觉、图像处理技术领域,尤其涉及基于模板匹配的无纹理平面结构工业零件识别和6D位姿估计方法。
背景技术
在机器人自动化应用中,利用机器人实现工业零件的自动化上下料作业是一个非常重要的应用场景。
现有的自动化上下料广泛采用的是示教-在线模式,机器人通过示教编程对固定工位上的物体进行抓取等操作,这样方式的适用范围小柔性化程度低,无法实现无序堆叠工件的上下料。
发明内容
本发明的目的是为了解决现有的方式的适用范围小柔性化程度低,无法实现无序堆叠工件的上下料的缺点,而提出的基于模板匹配的无纹理平面结构工业零件识别和6D位姿估计方法。
为了实现上述目的,本发明采用了如下技术方案:
基于模板匹配的无纹理平面结构工业零件识别和6D位姿估计方法,基于2D模板匹配对RGB图像进行工件识别分类和2D图像定位;结合图像多分辨率表达和分层模板库的模板匹配提升算法的运算速度;基于3D点云平面特征和模板匹配结果实现工件的6D位姿估计;
上述方法具体包括以下步骤:
S1:利用双目结构光相机和工业机械臂搭建机器人手眼系统,通过双目结构光相机采集堆叠零件RGB图像和点云图像;
S2:构建待匹配RGB图像的高斯金字塔多分辨率表达,同时构建模板图像的分层模板库,结合多分辨率空间搜索策略和分层模板搜索策略对RGB图像进行模板匹配,进行工件类型识别和2D图像定位;
S3:对模板匹配结果进行2D-ICP优化,得到精确的工件中心2D 定位;
S4:对3D点云进行滤波处理,并通过欧式聚类分割获得单个工件实例点云;
S5:对单个实例点云进行RANSAC平面拟合,得到工件的拟合平面方程;
S6:利用拟合平面的法向量、相机内参矩阵计算工业零件的6D 位姿估计。
优选的,所述S2中多分辨率空间搜索策略,多分辨率图像空间构建:
将待检测的原图像I(x,y)作为多分辨率空间的第0层,使用高斯滤波器(式2)对其进行滤波得到平滑图像Is(x,y)((式1),然后进行降采样操作,使得图像分辨率将为原来的1/4,得到多分辨率空间的下一层图像,迭代进行高斯滤波和降采样操作,即得到图像的多分辨率表达(图1)。
Is(x,y)=G(x,y,σ)*I(x,y) (1)
优选的,所述S2中分层模板搜索策略,分层模板库构建:
第一,利用Sobel卷积核(式1)分别计算零件模板图像三通道的梯度幅值,选取三通道中最大梯度值作为像素点梯度,将梯度幅值超过一定阈值的像素点作为有效特征点;进一步计算这些特征点梯度方向,得到梯度方向特征图IG(x);再对模板的梯度方向特征图进行非极大值抑制操作,使特征点均匀分布,获得最终的模板;
图像梯度幅值梯度方向/>
第二,2D模板匹配中,模板和原图像中的待检测物体之间的变换关系为2D图像仿射变换
为了能在待检测图像中匹配到仿射变换后的物体,需要在2D 仿射空间进行采样得到所有可能的仿射变换组合,并生成所有仿射变换下的模板;为了解决大量模板匹配带来的算法运行时间增长,本发明提出了基于分层模板搜索的匹配策略,首先需要构建分层模板库; 2D仿射空间的分层模板库构建步骤如下,首先生成l=0模板库,对限定范围后的仿射空间σmin≤s≤σmax,θmin≤θ≤θmax,以采样步长Δs和Δθ进行细分,得到所有可能的2D仿射变换组合:
A(smin+mΔs,θmin+nΔθ),m∈[0,(σmax-σmin)/Δs],n∈[0,(θmax-θmin)/Δθ]
第三,对原始模板图像进行2D仿射变换并提取梯度方向特征。在l=1层,采用2Δs和2Δθ对参数空间进行细分,该层的模板数量减少为l=0层的1/4;同理,对于l=k层,采样步长将增加至2kΔs和2kΔθ,生成该层的模板库,重复上述步骤生成分层模板库(图2)。
优选的,所述结合图像多分辨率表达和分层模板库的模板匹配策略(图3):
第一,首先从图像多分辨率金字塔的最高层开始进行匹配。利用滑窗法依次将模板库中的模板和待检测图像进行匹配并计算相似性得分(式4),保留相似度大于设定阈值的匹配结果;对高尺度空间的匹配结果在下一层尺度空间进行精匹配,同样保留相似度最高的匹配结果,重复进行这一步骤直到搜索到达图像金字塔最低层,得到最终的精细匹配结果。
待匹配的模板定义为T={(x1,d1),(x2,d2),L,(xm,dm)},其中xi是特征点像素点坐标,di是特征点的梯度方向,对待检测图像提取梯度方向特征图,以I={(p1,e1),(p2,e2),…,(pn,en)}集合表示,其中pi像素点坐标, ei是该点的梯度方向,I和模板T在图像匹配点c处的相似性得分可以用它们梯度方向的向量点积之和表达:
式中,R(i+c,T)定义为以I上的像素点pi+c为中心,大小为 T×T的邻域,ori()代表梯度方向;
第二,在滑窗法进行图像空间搜索的过程中,利用分层搜索的匹配策略进一步对匹配过程进行加速;
首先在分层模板库lmax开始,将该层所有模板和待检测图像进行匹配,并计算相似性得分,保留得分大于阈值的模板,同时采用非极大值抑制剔除重复匹配,得到在lmax层的待检索模板集合;完成lmax层匹配后,将得到的待检索模板集合在lmax-1层进行匹配;步骤如下:设lmax层匹配得到待检索模板参数为(s0,θ0),该组合表示为2D仿射变换空间中的一个点,将lmax-1层以该点为中心的一个邻域内的所有模板和待检测图像重新匹配,该邻域可以表示为直积:
[s0-m·2l-1Δs,s0+m·2l-1Δs]×[θ0-m·2l-1Δθ,θ0+m·2l-1Δθ]
2l-1Δs和2l-1Δθ为lmax-1层采样步长,m为控制邻域大小的参数;同样计算相似度得分,并保留得分最高的模板,得到在lmax-1层的待检索模板集合;由于lmax-1层的采样步长更小,所以匹配结果更为精确;迭代进行上述分层搜索操作,直到所有lmax层待检索模板均回溯到分层模板库的的最底层,即得到最终的精细匹配结果。
优选的,所述S3中模板匹配结果进行2D-ICP优化:
通过模板匹配得到待检测图像中工件中心的像素坐标t=[tx,ty]T和其2D仿射变换矩阵A;利用2D-ICP对匹配结果进行优化得到更为精确的结果;对模板T任一特征点xi,在待检测图像I中搜索欧氏距离最近的点qi作为其对应点;最优化的目标即使得模板特征点到图像对应点所在边缘切线的距离平方和损失函数最小,图像点qi切线方程可以表示为:(qi-x)T·ei=0,则待优化的损失函数为:
精确的位姿利用基于LM算法迭代求解上述非线性最小二乘问题,得到最终2D模板匹配结果。
优选的,所述S6中工件6D位姿估计:
第一,首先对场景3D点云进行直通滤波和降采样操作,剔除背景点云干扰并降低点云密度,进一步进行统计滤波剔除噪声点云;
第二,基于欧式聚类分割获取单个工件实例点云;
第三,基于RANSAC方法拟合点云平面方程nT·x+d=0;
第四,通过2D模板匹配得到工件中心点像素坐标t=[tx,ty]T,齐次坐标为p=[tx,ty.1]T,设工件中心在相机坐标系下的坐标为 pc=[xc,yc,zc]T,根据相机模型,已知内参矩阵K,有:zcp=K·pc;
第五,pc满足平面方程:nT·pc+d=0,联立4)中等式可以求解zc=-d/nT·K-1·p,进一步可以求得pc=zc·K-1·p,根据2D姿态角θ,计算出工件长轴(x轴)在相机坐标系下的方向向量rx,工件平面z 轴方向向量rz=n/||n||,y轴方向向量为ry=rz×rx,则工件坐标系相对于相机坐标系的旋转矩阵r=[rx,ry,rz],由此确定工件的6D位姿参数为:
与现有技术相比,本发明的优点在于:
本方案,将视觉传感器引入机器人上下料任务中,和机器人构建手眼系统,通过基于视觉的物体识别和位姿估计算法,可以识别场景中目标物体的类别并估计物体相对于相机的6D位姿,从而引导机器人完成无序堆叠工件的抓取,分拣等更加智能自动化的操作,有效解决传统示教-在线方法存在的问题;
本发明采用结合图像多分辨率空间和分层模板空间的模板匹配策略,有效提升了传统模板匹配方法的匹配速度;通过2D-ICP优化使2D图像定位精度更高;最后结合3D平面特征的位姿估计算法能实现对平面结构工业零件准确的6D位姿估计。
附图说明
图1为图像高斯金字塔多分辨率表达原理图;
图2为分层模板库生成原理图;
图3为结合图像多分辨率表达和分成模板库搜索的快速模板匹配策略原理图;
图4为基于模板匹配的无纹理平面结构工业零件识别和6D位姿估计方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
参照图1-4,基于模板匹配的无纹理平面结构工业零件识别和6D 位姿估计方法,基于2D模板匹配对RGB图像进行工件识别分类和2D 图像定位;结合图像多分辨率表达和分层模板库的模板匹配提升算法的运算速度;基于3D点云平面特征和模板匹配结果实现工件的6D位姿估计;
上述方法具体包括以下步骤:
S1:利用双目结构光相机和工业机械臂搭建机器人手眼系统,通过双目结构光相机采集堆叠零件RGB图像和点云图像;
S2:构建待匹配RGB图像的高斯金字塔多分辨率表达,同时构建模板图像的分层模板库,结合多分辨率空间搜索策略和分层模板搜索策略对RGB图像进行模板匹配,进行工件类型识别和2D图像定位;
S3:对模板匹配结果进行2D-ICP优化,得到精确的工件中心2D 定位;
S4:对3D点云进行滤波处理,并通过欧式聚类分割获得单个工件实例点云;
S5:对单个实例点云进行RANSAC平面拟合,得到工件的拟合平面方程;
S6:利用拟合平面的法向量、相机内参矩阵计算工业零件的6D 位姿估计。
本实施例中,S2中多分辨率空间搜索策略,多分辨率图像空间构建:
将待检测的原图像I(x,y)作为多分辨率空间的第0层,使用高斯滤波器(式2)对其进行滤波得到平滑图像Is(x,y)((式1),然后进行降采样操作,使得图像分辨率将为原来的1/4,得到多分辨率空间的下一层图像,迭代进行高斯滤波和降采样操作,即得到图像的多分辨率表达(图1)。
Is(x,y)=G(x,y,σ)*I(x,y) (1)
本实施例中,S2中分层模板搜索策略,分层模板库构建:
第一,利用Sobel卷积核(式1)分别计算零件模板图像三通道的梯度幅值,选取三通道中最大梯度值作为像素点梯度,将梯度幅值超过一定阈值的像素点作为有效特征点;进一步计算这些特征点梯度方向,得到梯度方向特征图IG(x);再对模板的梯度方向特征图进行非极大值抑制操作,使特征点均匀分布,获得最终的模板;
图像梯度幅值梯度方向/>
第二,2D模板匹配中,模板和原图像中的待检测物体之间的变换关系为2D图像仿射变换
为了能在待检测图像中匹配到仿射变换后的物体,需要在2D仿射空间进行采样得到所有可能的仿射变换组合,并生成所有仿射变换下的模板;为了解决大量模板匹配带来的算法运行时间增长,本发明提出了基于分层模板搜索的匹配策略,首先需要构建分层模板库;2D 仿射空间的分层模板库构建步骤如下,首先生成l=0模板库,对限定范围后的仿射空间σmin≤s≤σmax,θmin≤θ≤θmax,以采样步长Δs和Δθ进行细分,得到所有可能的2D仿射变换组合:
A(smin+mΔs,θmin+nΔθ),m∈[0,(σmax-σmin)/Δs],n∈[0,(θmax-θmin)/Δθ]
第三,对原始模板图像进行2D仿射变换并提取梯度方向特征。在l=1层,采用2Δs和2Δθ对参数空间进行细分,该层的模板数量减少为l=0层的1/4;同理,对于l=k层,采样步长将增加至2kΔs和2kΔθ,生成该层的模板库,重复上述步骤生成分层模板库(图2)。
本实施例中,结合图像多分辨率表达和分层模板库的模板匹配策略(图3):
第一,首先从图像多分辨率金字塔的最高层开始进行匹配。利用滑窗法依次将模板库中的模板和待检测图像进行匹配并计算相似性得分(式4),保留相似度大于设定阈值的匹配结果;对高尺度空间的匹配结果在下一层尺度空间进行精匹配,同样保留相似度最高的匹配结果,重复进行这一步骤直到搜索到达图像金字塔最低层,得到最终的精细匹配结果。
待匹配的模板定义为T={(x1,d1),(x2,d2),L,(xm,dm)},其中xi是特征点像素点坐标,di是特征点的梯度方向,对待检测图像提取梯度方向特征图,以I={(p1,e1),(p2,e2),…,(pn,en)}集合表示,其中pi像素点坐标, ei是该点的梯度方向,I和模板T在图像匹配点c处的相似性得分可以用它们梯度方向的向量点积之和表达:
式中,R(i+c,T)定义为以I上的像素点pi+c为中心,大小为 T×T的邻域,ori()代表梯度方向;
第二,在滑窗法进行图像空间搜索的过程中,利用分层搜索的匹配策略进一步对匹配过程进行加速;
首先在分层模板库lmax开始,将该层所有模板和待检测图像进行匹配,并计算相似性得分,保留得分大于阈值的模板,同时采用非极大值抑制剔除重复匹配,得到在lmax层的待检索模板集合;完成lmax层匹配后,将得到的待检索模板集合在lmax-1层进行匹配;步骤如下:设lmax层匹配得到待检索模板参数为(s0,θ0),该组合表示为2D仿射变换空间中的一个点,将lmax-1层以该点为中心的一个邻域内的所有模板和待检测图像重新匹配,该邻域可以表示为直积:
[s0-m·2l-1Δs,s0+m·2l-1Δs]×[θ0-m·2l-1Δθ,θ0+m·2l-1Δθ]
2l-1Δs和2l-1Δθ为lmax-1层采样步长,m为控制邻域大小的参数;同样计算相似度得分,并保留得分最高的模板,得到在lmax-1层的待检索模板集合;由于lmax-1层的采样步长更小,所以匹配结果更为精确;迭代进行上述分层搜索操作,直到所有lmax层待检索模板均回溯到分层模板库的的最底层,即得到最终的精细匹配结果。
本实施例中,S3中模板匹配结果进行2D-ICP优化:
通过模板匹配得到待检测图像中工件中心的像素坐标t=[tx,ty]T和其2D仿射变换矩阵A;利用2D-ICP对匹配结果进行优化得到更为精确的结果;对模板T任一特征点xi,在待检测图像I中搜索欧氏距离最近的点qi作为其对应点;最优化的目标即使得模板特征点到图像对应点所在边缘切线的距离平方和损失函数最小,图像点qi切线方程可以表示为:(qi-x)T·ei=0,则待优化的损失函数为:
精确的位姿利用基于LM算法迭代求解上述非线性最小二乘问题,得到最终2D模板匹配结果。
本实施例中,S6中工件6D位姿估计:
第一,首先对场景3D点云进行直通滤波和降采样操作,剔除背景点云干扰并降低点云密度,进一步进行统计滤波剔除噪声点云;
第二,基于欧式聚类分割获取单个工件实例点云;
第三,基于RANSAC方法拟合点云平面方程nT·x+d=0;
第四,通过2D模板匹配得到工件中心点像素坐标t=[tx,ty]T,齐次坐标为p=[tx,ty.1]T,设工件中心在相机坐标系下的坐标为 pc=[xc,yc,zc]T,根据相机模型,已知内参矩阵K,有:zcp=K·pc;
第五,pc满足平面方程:nT·pc+d=0,联立4)中等式可以求解zc=-d/nT·K-1·p,进一步可以求得pc=zc·K-1·p,根据2D姿态角θ,计算出工件长轴(x轴)在相机坐标系下的方向向量rx,工件平面z 轴方向向量rz=n/||n||,y轴方向向量为ry=rz×rx,则工件坐标系相对于相机坐标系的旋转矩阵r=[rx,ry,rz],由此确定工件的6D位姿参数为:
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (6)
1.基于模板匹配的无纹理平面结构工业零件识别和6D位姿估计方法,其特征在于,基于2D模板匹配对RGB图像进行工件识别分类和2D图像定位;结合图像多分辨率表达和分层模板库的模板匹配提升算法的运算速度;基于3D点云平面特征和模板匹配结果实现工件的6D位姿估计;
上述方法具体包括以下步骤:
S1:利用双目结构光相机和工业机械臂搭建机器人手眼系统,通过双目结构光相机采集堆叠零件RGB图像和点云图像;
S2:构建待匹配RGB图像的高斯金字塔多分辨率表达,同时构建模板图像的分层模板库,结合多分辨率空间搜索策略和分层模板搜索策略对RGB图像进行模板匹配,进行工件类型识别和2D图像定位;
S3:对模板匹配结果进行2D-ICP优化,得到精确的工件中心2D定位;
S4:对3D点云进行滤波处理,并通过欧式聚类分割获得单个工件实例点云;
S5:对单个实例点云进行RANSAC平面拟合,得到工件的拟合平面方程;
S6:利用拟合平面的法向量、相机内参矩阵计算工业零件的6D位姿估计。
2.根据权利要求1所述的基于模板匹配的无纹理平面结构工业零件识别和6D位姿估计方法,其特征在于,所述S2中多分辨率空间搜索策略,多分辨率图像空间构建:
将待检测的原图像I(x,y)作为多分辨率空间的第0层,使用高斯滤波器对其进行滤波得到平滑图像Is(x,y),然后进行降采样操作,使得图像分辨率将为原来的1/4,得到多分辨率空间的下一层图像,迭代进行高斯滤波和降采样操作,即得到图像的多分辨率表达:
Is(x,y)=G(x,y,σ)*I(x,y)
3.根据权利要求1所述的基于模板匹配的无纹理平面结构工业零件识别和6D位姿估计方法,其特征在于,所述S2中分层模板搜索策略,分层模板库构建:
第一,利用Sobel卷积核分别计算零件模板图像三通道的梯度幅值,选取三通道中最大梯度值作为像素点梯度,将梯度幅值超过一定阈值的像素点作为有效特征点;进一步计算这些特征点梯度方向,得到梯度方向特征图IG(x);再对模板的梯度方向特征图进行非极大值抑制操作,使特征点均匀分布,获得最终的模板;
图像梯度幅值梯度方向/>
第二,2D模板匹配中,模板和原图像中的待检测物体之间的变换关系为2D图像仿射变换:
在待检测图像中匹配到仿射变换后的物体,在2D仿射空间进行采样得到仿射变换组合,并生成仿射变换下的模板;基于分层模板搜索的匹配策略,构建分层模板库;2D仿射空间的分层模板库构建步骤如下,首先生成l=0模板库,对限定范围后的仿射空间σmin≤s≤σmax,θmin≤θ≤θmax,以采样步长Δs和Δθ进行细分,得到所有可能的2D仿射变换组合:
A(smin+mΔs,θmin+nΔθ),m∈[0,(σmax-σmin)/Δs],n∈[0,(θmax-θmin)/Δθ]
第三,对原始模板图像进行2D仿射变换并提取梯度方向特征;在l=1层,采用2Δs和2Δθ对参数空间进行细分,该层的模板数量减少为l=0层的1/4;同理,对于l=k层,采样步长将增加至2kΔs和2kΔθ,生成该层的模板库,重复上述步骤生成分层模板库。
4.根据权利要求1所述的基于模板匹配的无纹理平面结构工业零件识别和6D位姿估计方法,其特征在于,所述结合图像多分辨率表达和分层模板库的模板匹配策略:
第一,首先从图像多分辨率金字塔的最高层开始进行匹配;利用滑窗法依次将模板库中的模板和待检测图像进行匹配并计算相似性得分,保留相似度大于设定阈值的匹配结果;对高尺度空间的匹配结果在下一层尺度空间进行精匹配,同样保留相似度最高的匹配结果,重复进行这一步骤直到搜索到达图像金字塔最低层,得到最终的精细匹配结果;
待匹配的模板定义为T={(x1,d1),(x2,d2),L,(xm,dm)},其中xi是特征点像素点坐标,di是特征点的梯度方向,对待检测图像提取梯度方向特征图,以I={(p1,e1),(p2,e2),…,(pn,en)}集合表示,其中pi像素点坐标,ei是该点的梯度方向,I和模板T在图像匹配点c处的相似性得分可以用它们梯度方向的向量点积之和表达:
R(i+c,T)定义为以I上的像素点pi+c为中心,大小为T×T的邻域,ori()代表梯度方向;
第二,在滑窗法进行图像空间搜索的过程中,利用分层搜索的匹配策略进一步对匹配过程进行加速;
首先在分层模板库lmax开始,将该层所有模板和待检测图像进行匹配,并计算相似性得分,保留得分大于阈值的模板,同时采用非极大值抑制剔除重复匹配,得到在lmax层的待检索模板集合;完成lmax层匹配后,将得到的待检索模板集合在lmax-1层进行匹配;步骤如下:设lmax层匹配得到待检索模板参数为(s0,θ0),该待检索模板参数为(s0,θ0)表示为2D仿射变换空间中的一个点,将lmax-1层以该点为中心的一个邻域内的所有模板和待检测图像重新匹配,该邻域可以表示为直积:
[s0-m·2l-1Δs,s0+m·2l-1Δs]×[θ0-m·2l-1Δθ,θ0+m·2l-1Δθ]
2l-1Δs和2l-1Δθ为lmax-1层采样步长,m为控制邻域大小的参数;同样计算相似度得分,并保留得分最高的模板,得到在lmax-1层的待检索模板集合;lmax-1层的采样步长更小,匹配结果更为精确;迭代进行上述分层搜索操作,所有lmax层待检索模板均回溯到分层模板库的的最底层,得到最终的精细匹配结果。
5.根据权利要求1所述的基于模板匹配的无纹理平面结构工业零件识别和6D位姿估计方法,其特征在于,所述S3中模板匹配结果进行2D-ICP优化:
通过模板匹配得到待检测图像中工件中心的像素坐标t=[tx,ty]T和其2D仿射变换矩阵A;利用2D-ICP对匹配结果进行优化得到更为精确的结果;对模板T任一特征点xi,在待检测图像I中搜索欧氏距离最近的点qi作为其对应点;最优化的目标即使得模板特征点到图像对应点所在边缘切线的距离平方和损失函数最小,图像点qi切线方程可以表示为:(qi-x)T·ei=0,则待优化的损失函数为:
精确的位姿利用基于LM算法迭代求解非线性最小二乘问题,得到最终2D模板匹配结果。
6.根据权利要求1所述的基于模板匹配的无纹理平面结构工业零件识别和6D位姿估计方法,其特征在于,所述S6中6D位姿估计:
第一,首先对场景3D点云进行直通滤波和降采样操作,剔除背景点云干扰并降低点云密度,进一步进行统计滤波剔除噪声点云;
第二,基于欧式聚类分割获取单个工件实例点云;
第三,基于RANSAC方法拟合点云平面方程nT·x+d=0;
第四,通过2D模板匹配得到工件中心点像素坐标t=[tx,ty]T,齐次坐标为p=[tx,ty.1]T,设工件中心在相机坐标系下的坐标为pc=[xc,yc,zc]T,根据相机模型,已知内参矩阵K,有:zcp=K·pc;
第五,pc满足平面方程:nT·pc+d=0,等式可以求解zc=-d/nT·K-1·p,进一步可以求得pc=zc·K-1·p,根据2D姿态角θ,计算出工件长轴在相机坐标系下的方向向量rx,工件平面z轴方向向量rz=n/||n||,y轴方向向量为ry=rz×rx,则工件坐标系相对于相机坐标系的旋转矩阵r=[rx,ry,rz],由此确定工件的6D位姿参数为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110443857.0A CN113034600B (zh) | 2021-04-23 | 2021-04-23 | 基于模板匹配的无纹理平面结构工业零件识别和6d位姿估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110443857.0A CN113034600B (zh) | 2021-04-23 | 2021-04-23 | 基于模板匹配的无纹理平面结构工业零件识别和6d位姿估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113034600A CN113034600A (zh) | 2021-06-25 |
CN113034600B true CN113034600B (zh) | 2023-08-01 |
Family
ID=76457796
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110443857.0A Active CN113034600B (zh) | 2021-04-23 | 2021-04-23 | 基于模板匹配的无纹理平面结构工业零件识别和6d位姿估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113034600B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113447974B (zh) * | 2021-06-28 | 2022-07-19 | 上海交通大学 | 一种放射源强度三维分布的估计方法 |
CN114049304A (zh) * | 2021-10-14 | 2022-02-15 | 五邑大学 | 一种3d光栅检测方法、装置、计算机设备及可读存储介质 |
CN114332073A (zh) * | 2022-01-14 | 2022-04-12 | 湖南视比特机器人有限公司 | 目标工件的检测方法及装置、智能分拣系统和存储介质 |
CN114463752A (zh) * | 2022-01-20 | 2022-05-10 | 湖南视比特机器人有限公司 | 基于视觉的喷码定位方法和装置 |
CN115582840B (zh) * | 2022-11-14 | 2023-06-23 | 湖南视比特机器人有限公司 | 无边框钢板工件分拣抓取位姿计算方法、分拣方法及系统 |
CN115837363B (zh) * | 2023-02-20 | 2023-05-09 | 成都河狸智能科技有限责任公司 | 一种共享单车分拣系统及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106251353A (zh) * | 2016-08-01 | 2016-12-21 | 上海交通大学 | 弱纹理工件及其三维位姿的识别检测方法及系统 |
CN110889349A (zh) * | 2019-11-18 | 2020-03-17 | 哈尔滨工业大学 | 一种基于vslam的稀疏三维点云图的视觉定位方法 |
CN111652085A (zh) * | 2020-05-14 | 2020-09-11 | 东莞理工学院 | 基于2d与3d特征结合的物体识别方法 |
CN112396650A (zh) * | 2020-03-30 | 2021-02-23 | 青岛慧拓智能机器有限公司 | 一种基于图像和激光雷达融合的目标测距系统及方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105844696B (zh) * | 2015-12-31 | 2019-02-05 | 清华大学 | 基于射线模型三维重构的图像定位方法以及装置 |
US10659768B2 (en) * | 2017-02-28 | 2020-05-19 | Mitsubishi Electric Research Laboratories, Inc. | System and method for virtually-augmented visual simultaneous localization and mapping |
-
2021
- 2021-04-23 CN CN202110443857.0A patent/CN113034600B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106251353A (zh) * | 2016-08-01 | 2016-12-21 | 上海交通大学 | 弱纹理工件及其三维位姿的识别检测方法及系统 |
CN110889349A (zh) * | 2019-11-18 | 2020-03-17 | 哈尔滨工业大学 | 一种基于vslam的稀疏三维点云图的视觉定位方法 |
CN112396650A (zh) * | 2020-03-30 | 2021-02-23 | 青岛慧拓智能机器有限公司 | 一种基于图像和激光雷达融合的目标测距系统及方法 |
CN111652085A (zh) * | 2020-05-14 | 2020-09-11 | 东莞理工学院 | 基于2d与3d特征结合的物体识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113034600A (zh) | 2021-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113034600B (zh) | 基于模板匹配的无纹理平面结构工业零件识别和6d位姿估计方法 | |
CN108280856B (zh) | 基于混合信息输入网络模型的未知物体抓取位姿估计方法 | |
CN112070818B (zh) | 基于机器视觉的机器人无序抓取方法和系统及存储介质 | |
CN110648361A (zh) | 一种三维目标物体的实时位姿估计方法及定位抓取系统 | |
CN112819772B (zh) | 一种高精度快速图形检测识别方法 | |
CN112509063A (zh) | 一种基于边缘特征匹配的机械臂抓取系统及方法 | |
CN112907735B (zh) | 一种基于点云的柔性电缆识别与三维重建方法 | |
CN112669385A (zh) | 基于三维点云特征的工业机器人工件识别与位姿估计方法 | |
CN110992422B (zh) | 一种基于3d视觉的药盒姿态估计方法 | |
CN115032648B (zh) | 一种基于激光雷达密集点云的三维目标识别与定位方法 | |
CN114743259A (zh) | 位姿估计方法、位姿估计系统、终端、存储介质及应用 | |
CN112712589A (zh) | 一种基于激光雷达和深度学习的植株3d建模的方法和系统 | |
CN113469195A (zh) | 一种基于自适应颜色快速点特征直方图的目标识别方法 | |
CN117011380A (zh) | 一种目标物体的6d位姿估计方法 | |
CN116416305B (zh) | 一种基于优化采样五维点对特征的多实例位姿估计方法 | |
Wang et al. | 6D pose estimation from point cloud using an improved point pair features method | |
CN115578314A (zh) | 基于连续边缘提取的眼镜框识别及抓取上料方法 | |
CN111951334B (zh) | 基于双目视觉技术叠放钢坯的识别与定位方法和吊运方法 | |
CN114926488A (zh) | 基于广义Hough模型和改进金字塔搜索加速的工件定位方法 | |
CN115512137A (zh) | 一种基于点云位姿估计的随机堆放工件定位方法 | |
CN115100416A (zh) | 一种不规则钢板位姿识别方法及相关设备 | |
Zhang et al. | Object detection and grabbing based on machine vision for service robot | |
CN109934853B (zh) | 基于响应图置信区域自适应特征融合的相关滤波跟踪方法 | |
CN113160332A (zh) | 一种基于双目视觉的多目标识别与定位方法 | |
CN117351213B (zh) | 基于3d视觉的箱体分割定位方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |