CN108830902A - 一种基于点云处理的散乱工件识别与定位方法 - Google Patents

一种基于点云处理的散乱工件识别与定位方法 Download PDF

Info

Publication number
CN108830902A
CN108830902A CN201810353330.7A CN201810353330A CN108830902A CN 108830902 A CN108830902 A CN 108830902A CN 201810353330 A CN201810353330 A CN 201810353330A CN 108830902 A CN108830902 A CN 108830902A
Authority
CN
China
Prior art keywords
point
point cloud
cloud
template
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810353330.7A
Other languages
English (en)
Inventor
白瑞林
田青华
李新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XINJE ELECTRONIC CO Ltd
Jiangnan University
Original Assignee
XINJE ELECTRONIC CO Ltd
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XINJE ELECTRONIC CO Ltd, Jiangnan University filed Critical XINJE ELECTRONIC CO Ltd
Priority to CN201810353330.7A priority Critical patent/CN108830902A/zh
Publication of CN108830902A publication Critical patent/CN108830902A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images

Abstract

本发明公开了一种基于点云处理的散乱工件识别与定位方法,用以解决随机箱体抓取过程中散乱工件的位姿估计问题。该方法分为离线模板库建立和在线特征配准两个部分。模板点云数据集和场景点云由3D点云获取系统得到。离线状态下提取模板点云的特征信息可以用于场景点云的预处理、分割以及配准阶段,提高了算法的运行速度。将点云配准分为初始配准和精确配准两个阶段,初始配准提出几何特征和统计特征融合的特征描述子,实现对关键点特征的唯一性描述,通过在模板库中搜索与特征点特征描述最相近的点为对应点,得到对应点集,进而计算初始变换矩阵;精确配准阶段,添加几何约束实现对应点选取,减少精配准的迭代次数,降低算法陷入局部最优的概率。

Description

一种基于点云处理的散乱工件识别与定位方法
技术领域
[0001] 本发明涉及机器视觉领域中的目标识别和定位,尤其涉及一种基于点云处理的散 乱工件识别与定位方法,可以实现姿态任意工件的位姿估计。
背景技术
[0002] 为了使机器人能从随机放置且未排序的箱体中以正确的方向定位和抓取工件,需 要对目标工件进行位姿估计。近年来,使用三维扫描设备(如三维激光扫描仪、立体视觉系 统等)获取工件表面的三维点云数据(即工件点云),并将工件点云和位姿已知模板点云进 行配准得到两者之间的刚性变换,从而实现工件的识别和定位成为了机器视觉领域的研究 热点。利用三维点云处理算法计算单个工件位姿,引导机器人进行抓取作业,效率高、速度 快,更能提高工业生产效率。
[0003] 最常见的配准算法迭代最近点算法(Iterative Closest Point,ICP)及后续研究 者的改进算法,ICP算法原理简单易实现,配准精度高,缺点为:(1)当两幅点云之间不存在 包含关系或初始位置偏差较小时,算法易陷入局部最优;(2)迭代收敛速度慢。因此,在进行 精确配准之前先进行初始配准很有必要。工业上常见的初始配准算法多是基于特征,基于 特征的方法可以分为全局特征和局部特征,通过测量和比较3D形状的几何形状或拓扑属性 来区分3D对象。基于全局特征描述的配准算法对于杂乱、有遮挡场景下的抗干扰能力不强, 而通过局部特征匹配建立的对应关系对视点、杂波和遮挡的变化具有很好的鲁棒性,工业 上应用最多。常见的局部特征描述子有快速点特征直方图描述子(FPFH,Fast Point Feature Histograms)、3D 形状内容描述子(3D Shape Context)、旋转图像(Spin image)、 方向直方图签名描述子(SH0T,Signature of Histograms of OrienTations)、旋转投影统 计(RoPS,Rotational Projection Statistics)等。其中,RoPS描述子具有很好的抗噪能 力,鉴别力最好,但实时性差;在对实时性要求高的场合下,FPHl和SHOT是最好的选择。当局 部表面上的点较少时,FPra描述子是最佳选择,这是由于FPra鉴别力强、运算速度快且占用 存储资源少。反之,SHOT描述子是最佳选择,其在鉴别力与计算效率之间能取得很好的折 中。
[0004] 针对不同的对象的几何特征,选择相应的配准算法可以实现工件的精确快速定 位,但是目前仍然没有一种通用的目标识别和定位算法可以适用于所有对象,需要根据对 象的不同不断地调整解决方案。因此,不断开发新的目标识别和定位算法成为当前研究人 员的研究热点。
发明内容
[0005] 本发明为实现散乱堆放工件的位姿估计,提供了一种基于点云处理的散乱工件识 别与定位方法,该方法在满足实时性要求的同时,能够准确的估计箱体内任意工件的位姿 信息,从而为机器人提供抓取点。
[0006] 本发明的技术方案如下:
[0007] 一种基于点云处理的散乱工件识别与定位方法,具体过程如下:
[0008] 步骤1、对模板点云和场景点云进行预处理,得到去除背景点和离群点后的模板点 云和场景点云;
[0009] 步骤2、在离线状态下,建立模板点云特征库,对于每个模板点云,提取其关键点并 对关键点进行特征描述;
[0010] 步骤3、在在线状态下,对场景点云进行分割,将具有碰撞、遮挡、包含多个工件的 场景点云分割成多个只包含单个工件的场景点云子集,对场景点云子集进行筛选得到候选 可抓取点云子集;
[0011] 步骤4、在线状态下,对候选点云和模板点云进行初始配准,对于每个候选点云子 集,根据全局特征相似性度量确定工件点云在模板库中对应的模板点云,计算候选工件点 云关键点的特征描述子与对应模板点云中对应点的特征描述子的差异,找出特征描述子最 相近的点作为对应点;
[0012] 步骤5、通过对应点之间的几何关系判断对应关系是否正确,从而去除误匹配点 对,根据两幅点云之间的对应点对求解模板点云到场景点云的变换矩阵R和T,即初始变换 矩阵;
[0013] 步骤6、使用改进ICP算法进行点云精确配准实现目标识别和定位,通过对应点在 两幅点云中的几何约束得到正确的对应点,进而得到两者之间的最佳变换矩阵,从而得到 工件点云的位姿信息。
[0014] 其进一步的技术方案为,所述步骤2具体包括:
[0015] 步骤2.1、计算模板点云密度;
[0016] 设模板点云M有η个点,对任意一点pi G M,其4卩域半径内邻近点集合Pik,记作{pu, pl2,pl3, · · ·,plk},计算每个邻近点距Pl点的平均距离Cl1,如下式所示:
[0017]
Figure CN108830902AD00061
Cl)
[0018] 式⑴中,(^表示第j个邻近点到点P1的距离,遍历点云M中所有的点,得到η个平均 距离值,根据下式得到点云M在k邻域下的平均距离均值,即点云密度;
[0019]
Figure CN108830902AD00062
(2)
[0020] 步骤2.2、计算模板点云中各点的法线;采用主成分分析法求取点云中所有点的法 线,具体步骤是:对任意一点PieM,构件其k个邻近点{pii,pi2,pi3,. ..,pik}对应的协方差矩 阵M:
Figure CN108830902AD00063
[0021] (3)
[0022] (4)
[0023] 式(3)中,
Figure CN108830902AD00064
_表示最邻近元素的三维质心,\和巧分别代表协方差矩阵的特征值和 特征向量,VAKA2;具有最小特征值的特征向量即Pi点的法线,记作丐;
[0024] 步骤2.3、计算模板点云特征描述子;具体过程为:
[0025] 步骤2.3.1、关键点提取;求模板点云的关键点具体步骤为:首先,求取点云的方向 包围盒OBB,方向包围盒OBB由基准角C (X。,yc,Zc)和三个矢量CC1 (xmax,ymax,zmax),CC2 (Xmid, ymid , Zmid) j CC3 (xmin , Ymin , Zmin) •^/J、; S CCl (Xmax,ymax,Zmax),CC2 (Xmid,ymid,Zmid),CC3 (xmin,ymin,zmin)分别对应于方向包围盒OBB的最大、中间和最小维度;然后,取方向包围盒 OBB的高的一半为阈值,利用直通滤波器进行滤波,去除小于阈值的点,保留余下的点记作 候选关键点;最后对关键点β进彳丁均勾米样,提尚匹配速度;
[0026] 步骤2.3.2、对关键点进行特征描述;具体的有:
[0027] 步骤2.3.2.1、计算关键点的SHOT特征描述子;首先,根据特征点球邻域信息建立 局部参考坐标系,对特征点的球邻域分别沿径向、方位角方向和高度方向进行区域划分;分 别统计每个网格内的法向量夹角余弦值分布;最终得到SHOT特征描述子;
[0028] CosBq = Zknq (5)
[0029] 式⑸中,zdr半径球邻域内局部坐标系的Z轴,即特征点的法线;nq是当前网格标 签内所包含点的法线;
[0030] 步骤2.3.2.2、引入关键点的空间位置描述子,该空间位置描述子在计算对应匹配 点对时考虑特征点和重心点的关系;点云重心表示为
Figure CN108830902AD00071
1:,特征点和 点云重心的对应关系为:
Figure CN108830902AD00072
[0031]
[0032]
[0033] 其中,1表示点云中特征点的数目,表示当前点的法线;
[0034] 步骤2.4、对于模板点云集中的所有模板点云,重复步骤2.1〜步骤2.3,得到每个 模板点云的特征集吨第i个模板点云的特征描述子表示为 中C,CC1,CC2,CC3为点云方向包围盒特征,f0为SHOT特征,fl,f 2为空间位置特征。
[0035] 其进一步的技术方案为,所述步骤4和步骤5具体包括如下内容:
[0036] 在步骤4中有:
[0037] 步骤4.1、计算各点云子集的特征描述子
Figure CN108830902AD00073
,第j个点云子集 的特征描述子表示为
Figure CN108830902AD00074
h其中C。,CCcil ,CCci2 ,CCci3 为方向包围盒特征,f〇。为SHOT特征,fl。,f 2。为空间位置特征;
[0038] 步骤4.2、对工件点云子集中的任意特征点,在模板点云中搜索其对应点;具体步 骤为:首先,计算工件点云的方向包围盒特征,在模板点云库中搜索对应模板点云,两点云 之间的方向包围盒特征应满足如下公式:
[0039]
Figure CN108830902AD00075
(8)
[0040] 然后,对比工件点云和与其对应的模板点云的特征描述子差异,查找对应点,设工 件点云中任意点qi在模板点云中的对应点为Pi,需满足如下公式,得到特征点在模板点云中 的对应点,若该组对应点的空间位置描述子的差异在预设阈值范围内,则保留当前对应点, 若该组对应点的空间位置描述子的差异在预设阈值范围之外则舍弃;
[0041]
Figure CN108830902AD00081
(9)
[0042] 式(9)中,为阈值;
[0043] 在步骤5中,对步骤4所述的对应点对采用奇异值分解算法求解模板点云到目标点 云之间的旋转R和平移矩阵T,即初始配准结果。
[0044] 其进一步的技术方案为,所述步骤6包括:
[0045] 步骤6.1、在工件点云0中随机选取一定数量的点
Figure CN108830902AD00082
λ组成工件点云随机点集qk, I
Figure CN108830902AD00083
[0046] 步骤6.2、在对应模板点云M中寻找与点
Figure CN108830902AD00084
;距离最近的点_,组成目标点云对应点
Figure CN108830902AD00085
集,随机选取3组对应点对,对应点在工件点云和模板点云中的分布应近似相同,该分布可 以用对应点之间的距离表示,若满足既定条件则为正确对应点,采用的四元数法计算出旋 转矩阵Rk和平移矩阵Tk;
[0047] 步骤6.3、计算配准误差,公式如下:
[0048]
Figure CN108830902AD00086
( 12)
[0049] 如果误差函数保持不变或者达到设定要求,则停止迭代,当前旋转矩阵旋转矩阵 Rk和平移矩阵Tk就是最终的配准参数矩阵;如果没有达到设定要求,则0k+1 = RkQk+Tk,重复上 述步骤;式中k表示迭代次数,η表示点云0的随机点集中元素的个数。
[0050] 本发明的有益技术效果是:
[0051] 本发明提出一种基于点云处理的散乱工件识别与定位方法,实现随机箱体抓取过 程中的目标工件的位姿定位。该算法将工件识别与定位分为离线模板特征库的建立和在线 点云特征配准两个部分,离线建立模板特征库大大降低了算法的运行速度。配准过程中,提 出OBB裁剪方法提取关键点,消除边缘稀疏点特征描述差异带来的影响;针对点云相似区域 单一的特征匹配识别度低的问题,提出基于特征融合的特征描述子,实现对特征点的唯一 性描述,从而降低误匹配的概率,并提高初始配准的准确性;精确配准阶段,添加几何约束 实现对应点选取,从而减少精配准的迭代次数,降低算法陷入局部最优的概率。
附图说明
[0052] 图1是离线流程图。
[0053] 图2是在线流程图。
[0054] 图3是球形域示意图。
具体实施方式
[0055] 为了更清楚的说明本发明的技术方案和优点,下面结合具体实施例,并参附图,阐 述本发明的具体实施方式。
[0056] 本发明公开了一种基于点云处理的散乱工件识别与定位方法。目的是引导机器人 从随机放置且未排序的箱体中以正确的方向定位和抓取工件。本发明的整体步骤中,包括 在离线状态下处理的流程与在线状态下处理的流程。结合图1、图2,本发明的整体步骤包 括:
[0057] 步骤1、对模板点云和场景点云进行预处理,得到去除背景点和离群点后的模板点 云和场景点云。场景点云是指散乱放置的多个工件的表面点云。
[0058] 如图1和图2所示,模板点云和场景点云均需要进行预处理步骤。
[0059] 模板点云的预处理步骤如下:
[0060] 步骤1.1、去除背景点。通过拟合箱体底部平面方程,去除模板点云中距离背景平 面较近的点。
[0061] 步骤1.2、去除离群点。使用半径滤波方法去除离群点的思想是:首先,构建模板点 云M的kd树,便于邻近点的快速查找;然后,对任意一点pi e M,搜索其r邻域半径内的邻近点 集合Y,1表示点邻域半径内邻近点的个数,将1值大小和预先设定的模板点云密度阈 值nth比较。若k〈nth,贝Ij点Pi判定为离群点,并从模板点云M中剔除。其中,i指模板点云M中的 第i个点。
[0062] 场景点云的预处理步骤与模板点云的预处理步骤方法相同。
[0063] 步骤2、在离线状态下,建立模板点云特征库,对于每个模板点云,提取其关键点并 对关键点进行特征描述。具体的,如图1所示,步骤2包括:
[0064] 步骤2.1、计算模板点云密度;
[0065] 设模板点云M有η个点,对任意一点PieM,其r邻域半径内邻近点集合。
Figure CN108830902AD00091
,记作{Pil, pl2,pl3,…,plk},计算每个邻近点距P1点的平均距离
Figure CN108830902AD00092
,如下式所示:
[0066]
Figure CN108830902AD00093
( 1 )
[0067] 式⑴中,(^表示第j个邻近点到点?1的距离。
[0068] 遍历模板点云M中所有的点,得到η个平均距离值,根据下式得到模板点云M在k邻 域下的平均距离均值,即点云密度;
[0069]
Figure CN108830902AD00094
(2)
[0070]步骤2.2、计算模板点云中各点的法线;采用主成分分析法(P C A,P r i n C i P a 1 Component Analysis)求取点云中所有点的法线,具体步骤是:对任意一点pieM,构件其k 个邻近点{pil,Pi2,Pi3, · · ·,Pik}对应的协方差矩阵Μ:
Figure CN108830902AD00095
[0071] (3)
[0072] (4)
[0073] 式⑶中,表示最邻近元素的三维质心,\和分别代表协方差矩阵的特征值和
Figure CN108830902AD00096
Figure CN108830902AD00097
特征向量,。具有最小特征值的特征向量即Pi点的法线,记作
[0074] 步骤2.3、计算模板点云的特征描述子;具体过程为:
[0075] 步骤2.3.1、关键点提取;求_吴板点75Γ的关键点具体步骤为:
[0076] 步骤2 · 3 · 1 · 1、求取点云的方向包围盒(0BB,0riented bounding box)。方向包围 m 由基准角C (Xe,y。,Zc)和二个矢里CCl (Xmax,ymax,Zmax),CC2 (Xmid,ymid,Zmid),CC3 (Xmin,ymin, Zmin) •^/J、〇 二·yIv^^里 CCl (Xmax,ymax,Zmax),CC2 (Xmid,ymid,Zmid),CC3 (Xmin,ymin,Zmin) 力U又寸丁. 方向包围盒的最大、中间和最小维度。
[0077] 步骤2.3.1.2、对方向包围盒进行裁剪,去除稀疏边缘点。取方向包围盒的高的一 半为阈值,利用直通滤波器进行滤波,去除小于阈值的点,保留余下的点记作候选关键点。 [0078] 步骤2.3.1.3、对关键点云进行均勾(US,Uniform Sampling)采样,提高匹配速度。
[0079] 步骤2.3.2、对关键点进行特征描述。如图1所示,也就是计算关键点特征描述子。 具体的有:
[0080] 步骤2.3.2.1、计算关键点的SHOT特征描述子。根据特征点球邻域信息建立局部参 考坐标系。对特征点的球邻域分别沿径向、方位角方向和高度方向进行区域划分,分别统计 每个网格内的法向量夹角余弦值分布,每个网格内统计一个包含11个单元格的直方图。直 方图内各个单元格的值由特征点处法线与邻域点法线夹角余弦统计,如式⑸所示,最终得 到长度为32x11 = 352的SHOT描述子。
[0081] CosBq = Zknq (5)
[0082] 式⑸中,ZkSr半径球邻域内局部坐标系的Z轴,也是特征点的法线;nq是当前网格 标签内所包含点的法线。
[0083] 在本实施例中,区域划分的方法是:径向划分为2,方位角方向划分为8,高度方向 划分为2,总共32个网格,如图3所示。
[0084] 步骤2.3.2.2、为保证特征的唯一描述,引入关键点的空间位置描述子,该空间位 置描述子在计算对应匹配点对时考虑特征点和重心点的关系,以降低误匹配率;
[0085] 点云重心表不为
Figure CN108830902AD00101
[0086] 特征点和点云重心的对应关系为:
Figure CN108830902AD00102
[0087]
[0088]
[0089] 其中,1表示点云中特征点的数目,〜表示当前点的法线;
[0090] 步骤2.4、对于模板点云集中的所有模板点云,重复步骤2.1〜步骤2.3,得到每个 模板点云的特征集
Figure CN108830902AD00103
m表示模板点云的个数。第i个模板点云的特征 描述子表示为
Figure CN108830902AD00104
,其中C,CC1,CC2,CC3为点云方向包围盒特 征,属于全局特征,f〇为SHOT特征,Π,f2为空间位置特征。
[0091] 步骤3、如图2所示,在线状态下,对具有碰撞、遮挡、包含多个工件的场景点云进行 分割,分割成多个只包含单个工件的场景点云子集(即候选点云集)〇= {〇」,j = 〇,l,..., g}。其中,g为场景点云的个数。采用步骤2.3.1的方法对场景点云子集进行关键点提取。
[0092] 步骤4、在线状态下,将候选点云集和模板点云进行初始配准。对候选点云集中的 每个候选点云0j,根据方向包围盒特征的相似性度量确定其在模板库中对应的模板点云, 计算候选点云关键点的特征描述子与对应模板点云中关键点特征描述子的差异,找出特征 描述子最相近的点作为对应点。
[0093] 具体的,所述步骤4包括:
[0094] 步骤4.1、计算各点云子集的特征描述子:
Figure CN108830902AD00111
,第j个点云子集 的特征描述子表示为^
Figure CN108830902AD00112
',其中C。,CCcil ,CCci2 ,CCci3 为方向包围盒特征,f〇。为SHOT特征,fl。,f 2。为空间位置特征;
[0095] 步骤4.2、对工件点云子集中的任意特征点,在模板点云中搜索其对应点;具体步 骤为:首先,计算工件点云的方向包围盒特征,在模板点云库中搜索对应模板点云,两点云 之间的方向包围盒特征应满足如下公式:
[0096]
Figure CN108830902AD00113
18)
[0097] 然后,对比工件点云和与其对应的模板点云的特征描述子差异,查找对应点,设工 件点云中任意点qi在模板点云中的对应点为Pi,需满足如下公式,得到特征点在模板点云中 的对应点,若该组对应点的空间位置描述子的差异也在预设阈值范围内,则保留当前对应 点,反之则舍弃;
[0098]
Figure CN108830902AD00114
(9)
[0099] 式(9)中,ε。,为阈值。
[0100] 步骤5、通过对应点之间的几何关系判断对应关系是否正确,从而去除误匹配点 对,根据两幅点云之间的对应点对求解模板点云到场景点云的变换矩阵R和Τ,即初始变换 矩阵;具体的,对对应点对采用奇异值分解算法求解模板点云到目标点云之间的旋转R和平 移矩阵T,即初始配准结果;
[0101]
Figure CN108830902AD00115
(10)
[0102] 其中,
Figure CN108830902AD00116
)为对应点对,对初试配准结果进行性能评估,公式如下:
[0103]
Figure CN108830902AD00117
(11)
[0104] 步骤6、利用改进ICP算法进行点云精确配准实现目标识别和定位,通过对应点在 两幅点云中的几何约束得到正确的对应点,从而减少迭代次数,提高配准效果,评估配准效 果,得到两者之间的最佳变换矩阵,从而得到工件点云的位姿信息。
[0105] 具体的,步骤6包括:
[0106] 步骤6.1、在工件点云0中随机选取一定数量的点
Figure CN108830902AD00118
;组成工件点云随机点集qk,
Figure CN108830902AD00119
[0107] 步骤6.2、在对应模板点云M中寻找与点
Figure CN108830902AD001110
距离最近的点
Figure CN108830902AD001111
,组成目标点云对应点 集,随机选取3组对应点对,对应点在工件点云和模板点云中的分布应近似相同,该分布可 以用对应点之间的距离表示,若满足既定条件则为正确对应点,采用的四元数法计算出旋 转矩阵Rk和平移矩阵Tk;
[0108] 步骤6.3、计算配准误差,公式如下:
[0109]
Figure CN108830902AD00121
(12)
[0110] 如果误差函数保持不变或者达到设定要求,则停止迭代,当前旋转矩阵旋转矩阵 Rk和平移矩阵Tk就是最终的配准参数矩阵;如果误差函数没有达到设定要求,则0k+1 = RkQk+ Tk,重复上述步骤;式(12)中k表示迭代次数,η表示点云0的随机点集中元素的个数。
[0111] 以上所述的仅是本发明的优选实施方式,本发明不限于以上实施例。可以理解,本 领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变 化,均应认为包含在本发明的保护范围之内。

Claims (4)

1. 一种基于点云处理的散乱工件识别与定位方法,其特征在于,具体过程如下: 步骤1、对模板点云和场景点云进行预处理,得到去除背景点和离群点后的模板点云和 场景点云; 步骤2、在离线状态下,建立模板点云特征库,对于每个模板点云,提取其关键点并对关 键点进行特征描述; 步骤3、在在线状态下,对场景点云进行分割,将具有碰撞、遮挡、包含多个工件的场景 点云分割成多个只包含单个工件的场景点云子集,对场景点云子集进行筛选得到候选可抓 取点云子集; 步骤4、在线状态下,对候选点云和模板点云进行初始配准,对于每个候选点云子集,根 据全局特征相似性度量确定工件点云在模板库中对应的模板点云,计算候选工件点云关键 点的特征描述子与对应模板点云中对应点的特征描述子的差异,找出特征描述子最相近的 点作为对应点; 步骤5、通过对应点之间的几何关系判断对应关系是否正确,从而去除误匹配点对,根 据两幅点云之间的对应点对求解模板点云到场景点云的变换矩阵R和T,即初始变换矩阵; 步骤6、使用改进ICP算法进行点云精确配准实现目标识别和定位,通过对应点在两幅 点云中的几何约束得到正确的对应点,进而得到两者之间的最佳变换矩阵,从而得到工件 点云的位姿信息。
2. 如权利要求1所述的一种基于点云处理的散乱工件识别与定位方法,其特征在于,所 述步骤2具体包括: 步骤2.1、计算模板点云密度; 设模板点云M有η个点,对任意一点Pi eM,其r邻域半径内邻近点集合
Figure CN108830902AC00021
,记作{Pil,pi2, pl3,...,plk},计算每个邻近点距P1点的平均距离
Figure CN108830902AC00022
,如下式所示:
Figure CN108830902AC00023
(1) 式⑴中,(^表示第j个邻近点到点Pl的距离,遍历点云M中所有的点,得至Ijn个平均距离 值,根据下式得到点云M在k邻域下的平均距离均值,即点云密度;
Figure CN108830902AC00024
⑵ 步骤2.2、计算模板点云中各点的法线;采用主成分分析法求取点云中所有点的法线, 具体步骤是:对任意一点Pi£M,构件其k个邻近点{Pil,pi2,pi3, . . .,pik}对应的协方差矩阵 M:
Figure CN108830902AC00025
(3) ⑷
Figure CN108830902AC00026
式(3)中,
Figure CN108830902AC00027
:表示最邻近元素的三维质心和:分别代表协方差矩阵的特征值和特征 向量,AtKAKA2;具有最小特征值的特征向量即Pi点的法线,记作3 i_ 步骤2.3、计算模板点云特征描述子;具体过程为: 步骤2.3.1、关键点提取;求模板点云的关键点具体步骤为:首先,求取点云的方向包围 盒OBB,方向包围盒OBB由基准角C (Χ£;,5^,Ζ。)和三个矢量CCl (Xmax,ymax,Zmax),CC2 (Xmid,ymid, Zmid) 7 CC3 (xmin , Ymin , Zmin) S CCl (Xmax , Ymax , Zmax) 7 CC2 (xmid , ymid , Zmid) j CC3 (xmin , ymin,zmin)分别对应于方向包围盒OBB的最大、中间和最小维度;然后,取方向包围盒OBB的高 的一半为阈值,利用直通滤波器进行滤波,去除小于阈值的点,保留余下的点记作候选关键 点;最后对关键点β进彳丁均勾米样,提尚匹配速度; 步骤2.3.2、对关键点进行特征描述;具体的有: 步骤2.3.2.1、计算关键点的SHOT特征描述子;首先,根据特征点球邻域信息建立局部 参考坐标系,对特征点的球邻域分别沿径向、方位角方向和高度方向进行区域划分;分别统 计每个网格内的法向量夹角余弦值分布;最终得到SHOT特征描述子; COS0q — ZkIlq (5) 式⑸中,zdr半径球邻域内局部坐标系的Z轴,即特征点的法线;nq是当前网格标签内 所包含点的法线; 步骤2.3.2.2、引入关键点的空间位置描述子,该空间位置描述子在计算对应匹配点对 时考虑特征点和重心点的关系;点云重心表示为
Figure CN108830902AC00031
i,特征点和点云 重心的对应关系为:
Figure CN108830902AC00032
其中,1表示点云中特征点的数目,"a表示当前点的法线; 步骤2.4、对于模板点云集中的所有模板点云,重复步骤2.1〜步骤2.3,得到每个模板 点云的特征集^ = K,.第i个模板点云的特征描述子表示为心,=A/l./2), 其中C,CC1,CC2,CC3为点云方向包围盒特征,fO为SHOT特征,Π,f 2为空间位置特征。
3.如权利要求1所述的一种基于点云处理的散乱工件识别与定位方法,其特征在于,所 述步骤4和步骤5具体包括如下内容: 在步骤4中有: 步骤4.1、计算各点云子集的特征描述子.
Figure CN108830902AC00033
f,第j个点云子集的特征 描述子表示为
Figure CN108830902AC00034
,其中CcmCCci1, (Χ〇2,(Χ〇3为方向 包围盒特征,f〇。为SHOT特征,fl。,f 2。为空间位置特征; 步骤4.2、对工件点云子集中的任意特征点,在模板点云中搜索其对应点;具体步骤为: 首先,计算工件点云的方向包围盒特征,在模板点云库中搜索对应模板点云,两点云之间的 方向包围盒特征应满足如下公式:
Figure CN108830902AC00035
(83 然后,对比工件点云和与其对应的模板点云的特征描述子差异,查找对应点,设工件点 云中任意点qi在模板点云中的对应点为Pi,需满足如下公式,得到特征点在模板点云中的对 应点,若该组对应点的空间位置描述子的差异在预设阈值范围内,则保留当前对应点,若该 组对应点的空间位置描述子的差异在预设阈值范围之外则舍弃;
Figure CN108830902AC00041
(9) 式⑼中,EqJ1J2为阈值; 在步骤5中,对步骤4所述的对应点对采用奇异值分解算法求解模板点云到目标点云之 间的旋转R和平移矩阵T,即初始配准结果。
4.如权利要求1所述的一种基于点云处理的散乱工件识别与定位方法,其特征在于,所 述步骤6包括: 步骤6.1、在工件点云O中随机选取一定数量的点
Figure CN108830902AC00042
:组成工件点云随机点集qk,gf e〆;
Figure CN108830902AC00043
步骤6.2、在对应模板点云M中寻找与点/距离最近的点
Figure CN108830902AC00044
_:,组成目标点云对应点集,随 机选取3组对应点对,对应点在工件点云和模板点云中的分布应近似相同,该分布可以用对 应点之间的距离表示,若满足既定条件则为正确对应点,采用的四元数法计算出旋转矩阵 Rk和平移矩阵Tk; 步骤6.3、计算配准误差,公式如下:
Figure CN108830902AC00045
(12) 如果误差函数保持不变或者达到设定要求,则停止迭代,当前旋转矩阵旋转矩阵Rk和平 移矩阵Tk就是最终的配准参数矩阵;如果没有达到设定要求,则Ok+1 = RkQk+Tk,重复上述步 骤;式中k表示迭代次数,η表示点云0的随机点集中元素的个数。
CN201810353330.7A 2018-04-19 2018-04-19 一种基于点云处理的散乱工件识别与定位方法 Pending CN108830902A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810353330.7A CN108830902A (zh) 2018-04-19 2018-04-19 一种基于点云处理的散乱工件识别与定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810353330.7A CN108830902A (zh) 2018-04-19 2018-04-19 一种基于点云处理的散乱工件识别与定位方法

Publications (1)

Publication Number Publication Date
CN108830902A true CN108830902A (zh) 2018-11-16

Family

ID=64155038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810353330.7A Pending CN108830902A (zh) 2018-04-19 2018-04-19 一种基于点云处理的散乱工件识别与定位方法

Country Status (1)

Country Link
CN (1) CN108830902A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109559346A (zh) * 2018-11-07 2019-04-02 西安电子科技大学 一种3d点云测量中的待测部位的定位及分割方法、扫描仪
CN109816730A (zh) * 2018-12-20 2019-05-28 先临三维科技股份有限公司 工件抓取方法、装置、计算机设备和存储介质
CN109887013A (zh) * 2019-01-14 2019-06-14 苏州数设科技有限公司 基于pca的点云配准最终确定方法及系统
CN109934858A (zh) * 2019-03-13 2019-06-25 北京旷视科技有限公司 图像配准方法及装置
CN110111349A (zh) * 2019-04-22 2019-08-09 西安交通大学 一种基于点云的非刚体复杂构件高精度边缘提取方法
CN110135439A (zh) * 2019-05-09 2019-08-16 上海木木聚枞机器人科技有限公司 一种自动识别货架的方法及装置、移动机器人
CN110340738A (zh) * 2019-06-21 2019-10-18 武汉理工大学 一种基于pca的机器人拉丝高铁白车身工件精确标定方法
CN110443851A (zh) * 2019-08-06 2019-11-12 暨南大学 一种基于二次曲面特征的工件位姿识别方法
CN110599598A (zh) * 2019-11-15 2019-12-20 广联达科技股份有限公司 一种统一异构数据的方法和装置
CN110793437A (zh) * 2019-10-23 2020-02-14 珠海格力智能装备有限公司 手操器的定位方法、装置、存储介质及电子设备
CN110807461A (zh) * 2020-01-08 2020-02-18 深圳市越疆科技有限公司 一种目标位置检测方法
CN111352420A (zh) * 2020-03-03 2020-06-30 厦门大学 一种激光导航agv高精度定位及目标对准控制方法
CN112435299A (zh) * 2021-01-28 2021-03-02 深圳大学 一种机载点云辅助的卫星影像立体匹配点云精密定向方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109559346A (zh) * 2018-11-07 2019-04-02 西安电子科技大学 一种3d点云测量中的待测部位的定位及分割方法、扫描仪
CN109816730A (zh) * 2018-12-20 2019-05-28 先临三维科技股份有限公司 工件抓取方法、装置、计算机设备和存储介质
CN109887013A (zh) * 2019-01-14 2019-06-14 苏州数设科技有限公司 基于pca的点云配准最终确定方法及系统
CN109887013B (zh) * 2019-01-14 2021-06-25 苏州数设科技有限公司 基于pca的点云配准最终确定方法及系统
CN109934858B (zh) * 2019-03-13 2021-06-22 北京旷视科技有限公司 图像配准方法及装置
CN109934858A (zh) * 2019-03-13 2019-06-25 北京旷视科技有限公司 图像配准方法及装置
CN110111349A (zh) * 2019-04-22 2019-08-09 西安交通大学 一种基于点云的非刚体复杂构件高精度边缘提取方法
CN110135439A (zh) * 2019-05-09 2019-08-16 上海木木聚枞机器人科技有限公司 一种自动识别货架的方法及装置、移动机器人
CN110340738A (zh) * 2019-06-21 2019-10-18 武汉理工大学 一种基于pca的机器人拉丝高铁白车身工件精确标定方法
CN110443851A (zh) * 2019-08-06 2019-11-12 暨南大学 一种基于二次曲面特征的工件位姿识别方法
CN110443851B (zh) * 2019-08-06 2021-10-15 暨南大学 一种基于二次曲面特征的工件位姿识别方法
CN110793437A (zh) * 2019-10-23 2020-02-14 珠海格力智能装备有限公司 手操器的定位方法、装置、存储介质及电子设备
CN110599598B (zh) * 2019-11-15 2021-03-26 广联达科技股份有限公司 一种统一异构数据的方法和装置
CN110599598A (zh) * 2019-11-15 2019-12-20 广联达科技股份有限公司 一种统一异构数据的方法和装置
CN110807461A (zh) * 2020-01-08 2020-02-18 深圳市越疆科技有限公司 一种目标位置检测方法
CN111352420B (zh) * 2020-03-03 2021-08-10 厦门大学 一种激光导航agv高精度定位及目标对准控制方法
CN111352420A (zh) * 2020-03-03 2020-06-30 厦门大学 一种激光导航agv高精度定位及目标对准控制方法
CN112435299A (zh) * 2021-01-28 2021-03-02 深圳大学 一种机载点云辅助的卫星影像立体匹配点云精密定向方法

Similar Documents

Publication Publication Date Title
CN108830902A (zh) 一种基于点云处理的散乱工件识别与定位方法
Deng et al. Ppfnet: Global context aware local features for robust 3d point matching
CN103955939B (zh) 三维扫描系统中点云拼接用边界特征点配准方法
CN105740899B (zh) 一种机器视觉图像特征点检测与匹配复合的优化方法
CN105469388B (zh) 基于降维的建筑物点云配准方法
CN109272523B (zh) 基于改进cvfh和crh特征的随机堆放活塞位姿估计方法
CN107369161A (zh) 一种基于改进欧式聚类的散乱工件点云分割方法
Alhamzi et al. 3d object recognition based on local and global features using point cloud library
CN104851095B (zh) 基于改进型形状上下文的工件图像稀疏立体匹配方法
WO2019140745A1 (zh) 机器人定位方法及装置
CN108107444A (zh) 基于激光数据的变电站异物识别方法
Grundmann et al. Robust high precision 6D pose determination in complex environments for robotic manipulation
He et al. A 3D object detection and pose estimation pipeline using RGB-D images
Ng et al. Matching of interest point groups with pairwise spatial constraints
CN107133966A (zh) 一种基于采样一致性算法的三维声纳图像背景分割方法
CN109034065A (zh) 一种基于点云的室内场景物体提取方法
Liu et al. Deep learning of directional truncated signed distance function for robust 3d object recognition
WO2021082380A1 (zh) 一种基于激光雷达的托盘识别方法、系统和电子设备
CN111145129A (zh) 基于超体素的点云去噪方法
CN107274446A (zh) 一种利用法向一致性的尖锐几何边缘点识别方法
CN109767463B (zh) 一种三维点云自动配准方法
Wu et al. Visual loop closure detection by matching binary visual features using locality sensitive hashing
He et al. A two-step classification approach to distinguishing similar objects in mobile lidar point clouds
Asif et al. Model-free segmentation and grasp selection of unknown stacked objects
Xue et al. Point Cloud Registration Method for Pipeline Workpieces Based On NDT and Improved ICP Algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination