CN108830902A - 一种基于点云处理的散乱工件识别与定位方法 - Google Patents

一种基于点云处理的散乱工件识别与定位方法 Download PDF

Info

Publication number
CN108830902A
CN108830902A CN201810353330.7A CN201810353330A CN108830902A CN 108830902 A CN108830902 A CN 108830902A CN 201810353330 A CN201810353330 A CN 201810353330A CN 108830902 A CN108830902 A CN 108830902A
Authority
CN
China
Prior art keywords
point
point cloud
cloud
template
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810353330.7A
Other languages
English (en)
Inventor
白瑞林
田青华
李新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
XINJE ELECTRONIC CO Ltd
Jiangnan University
Original Assignee
XINJE ELECTRONIC CO Ltd
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by XINJE ELECTRONIC CO Ltd, Jiangnan University filed Critical XINJE ELECTRONIC CO Ltd
Priority to CN201810353330.7A priority Critical patent/CN108830902A/zh
Publication of CN108830902A publication Critical patent/CN108830902A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images

Abstract

本发明公开了一种基于点云处理的散乱工件识别与定位方法,用以解决随机箱体抓取过程中散乱工件的位姿估计问题。该方法分为离线模板库建立和在线特征配准两个部分。模板点云数据集和场景点云由3D点云获取系统得到。离线状态下提取模板点云的特征信息可以用于场景点云的预处理、分割以及配准阶段,提高了算法的运行速度。将点云配准分为初始配准和精确配准两个阶段,初始配准提出几何特征和统计特征融合的特征描述子,实现对关键点特征的唯一性描述,通过在模板库中搜索与特征点特征描述最相近的点为对应点,得到对应点集,进而计算初始变换矩阵;精确配准阶段,添加几何约束实现对应点选取,减少精配准的迭代次数,降低算法陷入局部最优的概率。

Description

一种基于点云处理的散乱工件识别与定位方法
技术领域
本发明涉及机器视觉领域中的目标识别和定位,尤其涉及一种基于点云处理的散乱工件识别与定位方法,可以实现姿态任意工件的位姿估计。
背景技术
为了使机器人能从随机放置且未排序的箱体中以正确的方向定位和抓取工件,需要对目标工件进行位姿估计。近年来,使用三维扫描设备(如三维激光扫描仪、立体视觉系统等)获取工件表面的三维点云数据(即工件点云),并将工件点云和位姿已知模板点云进行配准得到两者之间的刚性变换,从而实现工件的识别和定位成为了机器视觉领域的研究热点。利用三维点云处理算法计算单个工件位姿,引导机器人进行抓取作业,效率高、速度快,更能提高工业生产效率。
最常见的配准算法迭代最近点算法(Iterative Closest Point,ICP)及后续研究者的改进算法,ICP算法原理简单易实现,配准精度高,缺点为:(1)当两幅点云之间不存在包含关系或初始位置偏差较小时,算法易陷入局部最优;(2)迭代收敛速度慢。因此,在进行精确配准之前先进行初始配准很有必要。工业上常见的初始配准算法多是基于特征,基于特征的方法可以分为全局特征和局部特征,通过测量和比较3D形状的几何形状或拓扑属性来区分3D对象。基于全局特征描述的配准算法对于杂乱、有遮挡场景下的抗干扰能力不强,而通过局部特征匹配建立的对应关系对视点、杂波和遮挡的变化具有很好的鲁棒性,工业上应用最多。常见的局部特征描述子有快速点特征直方图描述子(FPFH,Fast PointFeature Histograms)、3D形状内容描述子(3D Shape Context)、旋转图像(Spin image)、方向直方图签名描述子(SHOT,Signature of Histograms of OrienTations)、旋转投影统计(RoPS,Rotational Projection Statistics)等。其中,RoPS描述子具有很好的抗噪能力,鉴别力最好,但实时性差;在对实时性要求高的场合下,FPFH和SHOT是最好的选择。当局部表面上的点较少时,FPFH描述子是最佳选择,这是由于FPFH鉴别力强、运算速度快且占用存储资源少。反之,SHOT描述子是最佳选择,其在鉴别力与计算效率之间能取得很好的折中。
针对不同的对象的几何特征,选择相应的配准算法可以实现工件的精确快速定位,但是目前仍然没有一种通用的目标识别和定位算法可以适用于所有对象,需要根据对象的不同不断地调整解决方案。因此,不断开发新的目标识别和定位算法成为当前研究人员的研究热点。
发明内容
本发明为实现散乱堆放工件的位姿估计,提供了一种基于点云处理的散乱工件识别与定位方法,该方法在满足实时性要求的同时,能够准确的估计箱体内任意工件的位姿信息,从而为机器人提供抓取点。
本发明的技术方案如下:
一种基于点云处理的散乱工件识别与定位方法,具体过程如下:
步骤1、对模板点云和场景点云进行预处理,得到去除背景点和离群点后的模板点云和场景点云;
步骤2、在离线状态下,建立模板点云特征库,对于每个模板点云,提取其关键点并对关键点进行特征描述;
步骤3、在在线状态下,对场景点云进行分割,将具有碰撞、遮挡、包含多个工件的场景点云分割成多个只包含单个工件的场景点云子集,对场景点云子集进行筛选得到候选可抓取点云子集;
步骤4、在线状态下,对候选点云和模板点云进行初始配准,对于每个候选点云子集,根据全局特征相似性度量确定工件点云在模板库中对应的模板点云,计算候选工件点云关键点的特征描述子与对应模板点云中对应点的特征描述子的差异,找出特征描述子最相近的点作为对应点;
步骤5、通过对应点之间的几何关系判断对应关系是否正确,从而去除误匹配点对,根据两幅点云之间的对应点对求解模板点云到场景点云的变换矩阵R和T,即初始变换矩阵;
步骤6、使用改进ICP算法进行点云精确配准实现目标识别和定位,通过对应点在两幅点云中的几何约束得到正确的对应点,进而得到两者之间的最佳变换矩阵,从而得到工件点云的位姿信息。
其进一步的技术方案为,所述步骤2具体包括:
步骤2.1、计算模板点云密度;
设模板点云M有n个点,对任意一点pi∈M,其r邻域半径内邻近点集合pi k,记作{pi1,pi2,pi3,...,pik},计算每个邻近点距pi点的平均距离di,如下式所示:
式(1)中,dij表示第j个邻近点到点pi的距离,遍历点云M中所有的点,得到n个平均距离值,根据下式得到点云M在k邻域下的平均距离均值,即点云密度;
步骤2.2、计算模板点云中各点的法线;采用主成分分析法求取点云中所有点的法线,具体步骤是:对任意一点pi∈M,构件其k个邻近点{pi1,pi2,pi3,...,pik}对应的协方差矩阵M:
式(3)中,表示最邻近元素的三维质心,λj分别代表协方差矩阵的特征值和特征向量,λ012;具有最小特征值的特征向量即pi点的法线,记作
步骤2.3、计算模板点云特征描述子;具体过程为:
步骤2.3.1、关键点提取;求模板点云的关键点具体步骤为:首先,求取点云的方向包围盒OBB,方向包围盒OBB由基准角C(xc,yc,zc)和三个矢量CC1(xmax,ymax,zmax),CC2(xmid,ymid,zmid),CC3(xmin,ymin,zmin)表示;三个矢量CC1(xmax,ymax,zmax),CC2(xmid,ymid,zmid),CC3(xmin,ymin,zmin)分别对应于方向包围盒OBB的最大、中间和最小维度;然后,取方向包围盒OBB的高的一半为阈值,利用直通滤波器进行滤波,去除小于阈值的点,保留余下的点记作候选关键点;最后对关键点云进行均匀采样,提高匹配速度;
步骤2.3.2、对关键点进行特征描述;具体的有:
步骤2.3.2.1、计算关键点的SHOT特征描述子;首先,根据特征点球邻域信息建立局部参考坐标系,对特征点的球邻域分别沿径向、方位角方向和高度方向进行区域划分;分别统计每个网格内的法向量夹角余弦值分布;最终得到SHOT特征描述子;
cosθq=zknq (5)
式(5)中,zk为r半径球邻域内局部坐标系的Z轴,即特征点的法线;nq是当前网格标签内所包含点的法线;
步骤2.3.2.2、引入关键点的空间位置描述子,该空间位置描述子在计算对应匹配点对时考虑特征点和重心点的关系;点云重心表示为特征点和点云重心的对应关系为:
其中,l表示点云中特征点的数目,表示当前点的法线;
步骤2.4、对于模板点云集中的所有模板点云,重复步骤2.1~步骤2.3,得到每个模板点云的特征集第i个模板点云的特征描述子表示为其中C,CC1,CC2,CC3为点云方向包围盒特征,f0为SHOT特征,f1,f2为空间位置特征。
其进一步的技术方案为,所述步骤4和步骤5具体包括如下内容:
在步骤4中有:
步骤4.1、计算各点云子集的特征描述子第j个点云子集的特征描述子表示为其中Co,CCo1,CCo2,CCo3为方向包围盒特征,f0o为SHOT特征,f1o,f2o为空间位置特征;
步骤4.2、对工件点云子集中的任意特征点,在模板点云中搜索其对应点;具体步骤为:首先,计算工件点云的方向包围盒特征,在模板点云库中搜索对应模板点云,两点云之间的方向包围盒特征应满足如下公式:
然后,对比工件点云和与其对应的模板点云的特征描述子差异,查找对应点,设工件点云中任意点qi在模板点云中的对应点为pi,需满足如下公式,得到特征点在模板点云中的对应点,若该组对应点的空间位置描述子的差异在预设阈值范围内,则保留当前对应点,若该组对应点的空间位置描述子的差异在预设阈值范围之外则舍弃;
式(9)中,ε012为阈值;
在步骤5中,对步骤4所述的对应点对采用奇异值分解算法求解模板点云到目标点云之间的旋转R和平移矩阵T,即初始配准结果。
其进一步的技术方案为,所述步骤6包括:
步骤6.1、在工件点云O中随机选取一定数量的点组成工件点云随机点集qk
步骤6.2、在对应模板点云M中寻找与点距离最近的点组成目标点云对应点集,随机选取3组对应点对,对应点在工件点云和模板点云中的分布应近似相同,该分布可以用对应点之间的距离表示,若满足既定条件则为正确对应点,采用的四元数法计算出旋转矩阵Rk和平移矩阵Tk
步骤6.3、计算配准误差,公式如下:
如果误差函数保持不变或者达到设定要求,则停止迭代,当前旋转矩阵旋转矩阵Rk和平移矩阵Tk就是最终的配准参数矩阵;如果没有达到设定要求,则Ok+1=RkQk+Tk,重复上述步骤;式中k表示迭代次数,n表示点云O的随机点集中元素的个数。
本发明的有益技术效果是:
本发明提出一种基于点云处理的散乱工件识别与定位方法,实现随机箱体抓取过程中的目标工件的位姿定位。该算法将工件识别与定位分为离线模板特征库的建立和在线点云特征配准两个部分,离线建立模板特征库大大降低了算法的运行速度。配准过程中,提出OBB裁剪方法提取关键点,消除边缘稀疏点特征描述差异带来的影响;针对点云相似区域单一的特征匹配识别度低的问题,提出基于特征融合的特征描述子,实现对特征点的唯一性描述,从而降低误匹配的概率,并提高初始配准的准确性;精确配准阶段,添加几何约束实现对应点选取,从而减少精配准的迭代次数,降低算法陷入局部最优的概率。
附图说明
图1是离线流程图。
图2是在线流程图。
图3是球形域示意图。
具体实施方式
为了更清楚的说明本发明的技术方案和优点,下面结合具体实施例,并参附图,阐述本发明的具体实施方式。
本发明公开了一种基于点云处理的散乱工件识别与定位方法。目的是引导机器人从随机放置且未排序的箱体中以正确的方向定位和抓取工件。本发明的整体步骤中,包括在离线状态下处理的流程与在线状态下处理的流程。结合图1、图2,本发明的整体步骤包括:
步骤1、对模板点云和场景点云进行预处理,得到去除背景点和离群点后的模板点云和场景点云。场景点云是指散乱放置的多个工件的表面点云。
如图1和图2所示,模板点云和场景点云均需要进行预处理步骤。
模板点云的预处理步骤如下:
步骤1.1、去除背景点。通过拟合箱体底部平面方程,去除模板点云中距离背景平面较近的点。
步骤1.2、去除离群点。使用半径滤波方法去除离群点的思想是:首先,构建模板点云M的kd树,便于邻近点的快速查找;然后,对任意一点pi∈M,搜索其r邻域半径内的邻近点集合l表示点pi的r邻域半径内邻近点的个数,将l值大小和预先设定的模板点云密度阈值nth比较。若k<nth,则点pi判定为离群点,并从模板点云M中剔除。其中,i指模板点云M中的第i个点。
场景点云的预处理步骤与模板点云的预处理步骤方法相同。
步骤2、在离线状态下,建立模板点云特征库,对于每个模板点云,提取其关键点并对关键点进行特征描述。具体的,如图1所示,步骤2包括:
步骤2.1、计算模板点云密度;
设模板点云M有n个点,对任意一点pi∈M,其r邻域半径内邻近点集合记作{pi1,pi2,pi3,...,pik},计算每个邻近点距pi点的平均距离如下式所示:
式(1)中,dij表示第j个邻近点到点pi的距离。
遍历模板点云M中所有的点,得到n个平均距离值,根据下式得到模板点云M在k邻域下的平均距离均值,即点云密度;
步骤2.2、计算模板点云中各点的法线;采用主成分分析法(PCA,PrincipalComponent Analysis)求取点云中所有点的法线,具体步骤是:对任意一点pi∈M,构件其k个邻近点{pi1,pi2,pi3,...,pik}对应的协方差矩阵M:
式(3)中,表示最邻近元素的三维质心,λj分别代表协方差矩阵的特征值和特征向量,λ012。具有最小特征值的特征向量即pi点的法线,记作
步骤2.3、计算模板点云的特征描述子;具体过程为:
步骤2.3.1、关键点提取;求模板点云的关键点具体步骤为:
步骤2.3.1.1、求取点云的方向包围盒(OBB,Oriented bounding box)。方向包围盒由基准角C(xc,yc,zc)和三个矢量CC1(xmax,ymax,zmax),CC2(xmid,ymid,zmid),CC3(xmin,ymin,zmin)表示。三个矢量CC1(xmax,ymax,zmax),CC2(xmid,ymid,zmid),CC3(xmin,ymin,zmin)分别对应于方向包围盒的最大、中间和最小维度。
步骤2.3.1.2、对方向包围盒进行裁剪,去除稀疏边缘点。取方向包围盒的高的一半为阈值,利用直通滤波器进行滤波,去除小于阈值的点,保留余下的点记作候选关键点。
步骤2.3.1.3、对关键点云进行均匀(US,Uniform Sampling)采样,提高匹配速度。
步骤2.3.2、对关键点进行特征描述。如图1所示,也就是计算关键点特征描述子。具体的有:
步骤2.3.2.1、计算关键点的SHOT特征描述子。根据特征点球邻域信息建立局部参考坐标系。对特征点的球邻域分别沿径向、方位角方向和高度方向进行区域划分,分别统计每个网格内的法向量夹角余弦值分布,每个网格内统计一个包含11个单元格的直方图。直方图内各个单元格的值由特征点处法线与邻域点法线夹角余弦统计,如式(5)所示,最终得到长度为32x11=352的SHOT描述子。
cosθq=zknq (5)
式(5)中,zk为r半径球邻域内局部坐标系的Z轴,也是特征点的法线;nq是当前网格标签内所包含点的法线。
在本实施例中,区域划分的方法是:径向划分为2,方位角方向划分为8,高度方向划分为2,总共32个网格,如图3所示。
步骤2.3.2.2、为保证特征的唯一描述,引入关键点的空间位置描述子,该空间位置描述子在计算对应匹配点对时考虑特征点和重心点的关系,以降低误匹配率;
点云重心表示为
特征点和点云重心的对应关系为:
其中,l表示点云中特征点的数目,表示当前点的法线;
步骤2.4、对于模板点云集中的所有模板点云,重复步骤2.1~步骤2.3,得到每个模板点云的特征集m表示模板点云的个数。第i个模板点云的特征描述子表示为其中C,CC1,CC2,CC3为点云方向包围盒特征,属于全局特征,f0为SHOT特征,f1,f2为空间位置特征。
步骤3、如图2所示,在线状态下,对具有碰撞、遮挡、包含多个工件的场景点云进行分割,分割成多个只包含单个工件的场景点云子集(即候选点云集)O={Oj,j=0,1,...,g}。其中,g为场景点云的个数。采用步骤2.3.1的方法对场景点云子集进行关键点提取。
步骤4、在线状态下,将候选点云集和模板点云进行初始配准。对候选点云集中的每个候选点云Oj,根据方向包围盒特征的相似性度量确定其在模板库中对应的模板点云,计算候选点云关键点的特征描述子与对应模板点云中关键点特征描述子的差异,找出特征描述子最相近的点作为对应点。
具体的,所述步骤4包括:
步骤4.1、计算各点云子集的特征描述子第j个点云子集的特征描述子表示为其中Co,CCo1,CCo2,CCo3为方向包围盒特征,f0o为SHOT特征,f1o,f2o为空间位置特征;
步骤4.2、对工件点云子集中的任意特征点,在模板点云中搜索其对应点;具体步骤为:首先,计算工件点云的方向包围盒特征,在模板点云库中搜索对应模板点云,两点云之间的方向包围盒特征应满足如下公式:
然后,对比工件点云和与其对应的模板点云的特征描述子差异,查找对应点,设工件点云中任意点qi在模板点云中的对应点为pi,需满足如下公式,得到特征点在模板点云中的对应点,若该组对应点的空间位置描述子的差异也在预设阈值范围内,则保留当前对应点,反之则舍弃;
式(9)中,ε012为阈值。
步骤5、通过对应点之间的几何关系判断对应关系是否正确,从而去除误匹配点对,根据两幅点云之间的对应点对求解模板点云到场景点云的变换矩阵R和T,即初始变换矩阵;具体的,对对应点对采用奇异值分解算法求解模板点云到目标点云之间的旋转R和平移矩阵T,即初始配准结果;
其中,为对应点对,对初试配准结果进行性能评估,公式如下:
步骤6、利用改进ICP算法进行点云精确配准实现目标识别和定位,通过对应点在两幅点云中的几何约束得到正确的对应点,从而减少迭代次数,提高配准效果,评估配准效果,得到两者之间的最佳变换矩阵,从而得到工件点云的位姿信息。
具体的,步骤6包括:
步骤6.1、在工件点云O中随机选取一定数量的点组成工件点云随机点集qk
步骤6.2、在对应模板点云M中寻找与点距离最近的点组成目标点云对应点集,随机选取3组对应点对,对应点在工件点云和模板点云中的分布应近似相同,该分布可以用对应点之间的距离表示,若满足既定条件则为正确对应点,采用的四元数法计算出旋转矩阵Rk和平移矩阵Tk
步骤6.3、计算配准误差,公式如下:
如果误差函数保持不变或者达到设定要求,则停止迭代,当前旋转矩阵旋转矩阵Rk和平移矩阵Tk就是最终的配准参数矩阵;如果误差函数没有达到设定要求,则Ok+1=RkQk+Tk,重复上述步骤;式(12)中k表示迭代次数,n表示点云O的随机点集中元素的个数。
以上所述的仅是本发明的优选实施方式,本发明不限于以上实施例。可以理解,本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化,均应认为包含在本发明的保护范围之内。

Claims (4)

1.一种基于点云处理的散乱工件识别与定位方法,其特征在于,具体过程如下:
步骤1、对模板点云和场景点云进行预处理,得到去除背景点和离群点后的模板点云和场景点云;
步骤2、在离线状态下,建立模板点云特征库,对于每个模板点云,提取其关键点并对关键点进行特征描述;
步骤3、在在线状态下,对场景点云进行分割,将具有碰撞、遮挡、包含多个工件的场景点云分割成多个只包含单个工件的场景点云子集,对场景点云子集进行筛选得到候选可抓取点云子集;
步骤4、在线状态下,对候选点云和模板点云进行初始配准,对于每个候选点云子集,根据全局特征相似性度量确定工件点云在模板库中对应的模板点云,计算候选工件点云关键点的特征描述子与对应模板点云中对应点的特征描述子的差异,找出特征描述子最相近的点作为对应点;
步骤5、通过对应点之间的几何关系判断对应关系是否正确,从而去除误匹配点对,根据两幅点云之间的对应点对求解模板点云到场景点云的变换矩阵R和T,即初始变换矩阵;
步骤6、使用改进ICP算法进行点云精确配准实现目标识别和定位,通过对应点在两幅点云中的几何约束得到正确的对应点,进而得到两者之间的最佳变换矩阵,从而得到工件点云的位姿信息。
2.如权利要求1所述的一种基于点云处理的散乱工件识别与定位方法,其特征在于,所述步骤2具体包括:
步骤2.1、计算模板点云密度;
设模板点云M有n个点,对任意一点pi∈M,其r邻域半径内邻近点集合记作{pi1,pi2,pi3,...,pik},计算每个邻近点距pi点的平均距离如下式所示:
式(1)中,dij表示第j个邻近点到点pi的距离,遍历点云M中所有的点,得到n个平均距离值,根据下式得到点云M在k邻域下的平均距离均值,即点云密度;
步骤2.2、计算模板点云中各点的法线;采用主成分分析法求取点云中所有点的法线,具体步骤是:对任意一点pi∈M,构件其k个邻近点{pi1,pi2,pi3,...,pik}对应的协方差矩阵M:
式(3)中,表示最邻近元素的三维质心,λj分别代表协方差矩阵的特征值和特征向量,λ012;具有最小特征值的特征向量即pi点的法线,记作
步骤2.3、计算模板点云特征描述子;具体过程为:
步骤2.3.1、关键点提取;求模板点云的关键点具体步骤为:首先,求取点云的方向包围盒OBB,方向包围盒OBB由基准角C(xc,yc,zc)和三个矢量CC1(xmax,ymax,zmax),CC2(xmid,ymid,zmid),CC3(xmin,ymin,zmin)表示;三个矢量CC1(xmax,ymax,zmax),CC2(xmid,ymid,zmid),CC3(xmin,ymin,zmin)分别对应于方向包围盒OBB的最大、中间和最小维度;然后,取方向包围盒OBB的高的一半为阈值,利用直通滤波器进行滤波,去除小于阈值的点,保留余下的点记作候选关键点;最后对关键点云进行均匀采样,提高匹配速度;
步骤2.3.2、对关键点进行特征描述;具体的有:
步骤2.3.2.1、计算关键点的SHOT特征描述子;首先,根据特征点球邻域信息建立局部参考坐标系,对特征点的球邻域分别沿径向、方位角方向和高度方向进行区域划分;分别统计每个网格内的法向量夹角余弦值分布;最终得到SHOT特征描述子;
cosθq=zknq (5)
式(5)中,zk为r半径球邻域内局部坐标系的Z轴,即特征点的法线;nq是当前网格标签内所包含点的法线;
步骤2.3.2.2、引入关键点的空间位置描述子,该空间位置描述子在计算对应匹配点对时考虑特征点和重心点的关系;点云重心表示为特征点和点云重心的对应关系为:
其中,l表示点云中特征点的数目,表示当前点的法线;
步骤2.4、对于模板点云集中的所有模板点云,重复步骤2.1~步骤2.3,得到每个模板点云的特征集第i个模板点云的特征描述子表示为其中C,CC1,CC2,CC3为点云方向包围盒特征,f0为SHOT特征,f1,f2为空间位置特征。
3.如权利要求1所述的一种基于点云处理的散乱工件识别与定位方法,其特征在于,所述步骤4和步骤5具体包括如下内容:
在步骤4中有:
步骤4.1、计算各点云子集的特征描述子第j个点云子集的特征描述子表示为其中Co,CCo1,CCo2,CCo3为方向包围盒特征,f0o为SHOT特征,f1o,f2o为空间位置特征;
步骤4.2、对工件点云子集中的任意特征点,在模板点云中搜索其对应点;具体步骤为:首先,计算工件点云的方向包围盒特征,在模板点云库中搜索对应模板点云,两点云之间的方向包围盒特征应满足如下公式:
然后,对比工件点云和与其对应的模板点云的特征描述子差异,查找对应点,设工件点云中任意点qi在模板点云中的对应点为pi,需满足如下公式,得到特征点在模板点云中的对应点,若该组对应点的空间位置描述子的差异在预设阈值范围内,则保留当前对应点,若该组对应点的空间位置描述子的差异在预设阈值范围之外则舍弃;
式(9)中,ε012为阈值;
在步骤5中,对步骤4所述的对应点对采用奇异值分解算法求解模板点云到目标点云之间的旋转R和平移矩阵T,即初始配准结果。
4.如权利要求1所述的一种基于点云处理的散乱工件识别与定位方法,其特征在于,所述步骤6包括:
步骤6.1、在工件点云O中随机选取一定数量的点组成工件点云随机点集qk
步骤6.2、在对应模板点云M中寻找与点距离最近的点组成目标点云对应点集,随机选取3组对应点对,对应点在工件点云和模板点云中的分布应近似相同,该分布可以用对应点之间的距离表示,若满足既定条件则为正确对应点,采用的四元数法计算出旋转矩阵Rk和平移矩阵Tk
步骤6.3、计算配准误差,公式如下:
如果误差函数保持不变或者达到设定要求,则停止迭代,当前旋转矩阵旋转矩阵Rk和平移矩阵Tk就是最终的配准参数矩阵;如果没有达到设定要求,则Ok+1=RkQk+Tk,重复上述步骤;式中k表示迭代次数,n表示点云O的随机点集中元素的个数。
CN201810353330.7A 2018-04-19 2018-04-19 一种基于点云处理的散乱工件识别与定位方法 Pending CN108830902A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810353330.7A CN108830902A (zh) 2018-04-19 2018-04-19 一种基于点云处理的散乱工件识别与定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810353330.7A CN108830902A (zh) 2018-04-19 2018-04-19 一种基于点云处理的散乱工件识别与定位方法

Publications (1)

Publication Number Publication Date
CN108830902A true CN108830902A (zh) 2018-11-16

Family

ID=64155038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810353330.7A Pending CN108830902A (zh) 2018-04-19 2018-04-19 一种基于点云处理的散乱工件识别与定位方法

Country Status (1)

Country Link
CN (1) CN108830902A (zh)

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109559346A (zh) * 2018-11-07 2019-04-02 西安电子科技大学 一种3d点云测量中的待测部位的定位及分割方法、扫描仪
CN109816730A (zh) * 2018-12-20 2019-05-28 先临三维科技股份有限公司 工件抓取方法、装置、计算机设备和存储介质
CN109887013A (zh) * 2019-01-14 2019-06-14 苏州数设科技有限公司 基于pca的点云配准最终确定方法及系统
CN109934858A (zh) * 2019-03-13 2019-06-25 北京旷视科技有限公司 图像配准方法及装置
CN110111349A (zh) * 2019-04-22 2019-08-09 西安交通大学 一种基于点云的非刚体复杂构件高精度边缘提取方法
CN110135439A (zh) * 2019-05-09 2019-08-16 上海木木聚枞机器人科技有限公司 一种自动识别货架的方法及装置、移动机器人
CN110340738A (zh) * 2019-06-21 2019-10-18 武汉理工大学 一种基于pca的机器人拉丝高铁白车身工件精确标定方法
CN110443851A (zh) * 2019-08-06 2019-11-12 暨南大学 一种基于二次曲面特征的工件位姿识别方法
CN110599598A (zh) * 2019-11-15 2019-12-20 广联达科技股份有限公司 一种统一异构数据的方法和装置
CN110751097A (zh) * 2019-10-22 2020-02-04 中山大学 一种半监督的三维点云手势关键点检测方法
CN110793437A (zh) * 2019-10-23 2020-02-14 珠海格力智能装备有限公司 手操器的定位方法、装置、存储介质及电子设备
CN110807461A (zh) * 2020-01-08 2020-02-18 深圳市越疆科技有限公司 一种目标位置检测方法
CN110930495A (zh) * 2019-11-22 2020-03-27 哈尔滨工业大学(深圳) 基于多无人机协作的icp点云地图融合方法、系统、装置及存储介质
CN111091062A (zh) * 2019-11-21 2020-05-01 东南大学 一种基于3d视觉聚类和匹配的机器人乱序目标分拣方法
CN111127638A (zh) * 2019-12-30 2020-05-08 芜湖哈特机器人产业技术研究院有限公司 利用三维模板库实现工件突出标志位定位抓取点方法
CN111179321A (zh) * 2019-12-30 2020-05-19 南京埃斯顿机器人工程有限公司 一种基于模板匹配的点云配准方法
CN111353985A (zh) * 2020-03-02 2020-06-30 电子科技大学 一种基于深度相机的机场自助托运行李的检测方法
CN111352420A (zh) * 2020-03-03 2020-06-30 厦门大学 一种激光导航agv高精度定位及目标对准控制方法
CN111681282A (zh) * 2020-06-18 2020-09-18 浙江大华技术股份有限公司 一种栈板识别处理方法及装置
CN111738292A (zh) * 2020-05-18 2020-10-02 北京百度网讯科技有限公司 点云数据的处理方法、装置、电子设备及可读存储介质
CN111815706A (zh) * 2020-06-23 2020-10-23 熵智科技(深圳)有限公司 面向单品类拆垛的视觉识别方法、装置、设备及介质
CN111815686A (zh) * 2019-04-12 2020-10-23 四川大学 基于几何特征由粗到细点云配准方法
CN111915677A (zh) * 2020-07-08 2020-11-10 哈尔滨工程大学 一种基于三维点云特征的船舶位姿估计方法
CN112435299A (zh) * 2021-01-28 2021-03-02 深圳大学 一种机载点云辅助的卫星影像立体匹配点云精密定向方法
CN112561998A (zh) * 2020-12-16 2021-03-26 国网江苏省电力有限公司检修分公司 一种基于三维点云配准的机器人定位和自主充电方法
CN112652003A (zh) * 2020-10-29 2021-04-13 西北工业大学 一种基于ransac测度优化的三维点云配准方法
CN112669385A (zh) * 2020-12-31 2021-04-16 华南理工大学 基于三维点云特征的工业机器人工件识别与位姿估计方法
CN112766037A (zh) * 2020-12-14 2021-05-07 南京工程学院 基于最大似然估计法的3d点云目标识别和定位方法
CN113103226A (zh) * 2021-03-08 2021-07-13 同济大学 一种面向陶瓷素坯加工制造的视觉引导机器人系统
CN113111741A (zh) * 2021-03-27 2021-07-13 西北工业大学 一种基于三维特征点的装配状态识别方法
CN113160287A (zh) * 2021-03-17 2021-07-23 华中科技大学 一种基于特征融合的复杂构件点云拼接方法及系统
CN113538486A (zh) * 2021-07-13 2021-10-22 长春工业大学 一种提高汽车钣金工件的识别与定位精度的方法
CN113706454A (zh) * 2021-07-13 2021-11-26 广东泽亨智能科技有限公司 一种基于配准的工件偏移检测的方法及喷涂装置
CN113884495A (zh) * 2021-08-25 2022-01-04 连云港杰瑞自动化有限公司 一种基于锻件结构特征的迭代最近点检测优化方法
CN114049355A (zh) * 2022-01-14 2022-02-15 杭州灵西机器人智能科技有限公司 一种散乱工件的识别标注方法、系统和装置
CN114842516A (zh) * 2022-05-12 2022-08-02 黑龙江省科学院智能制造研究所 一种非接触式3d指纹识别方法
CN114897974A (zh) * 2022-07-15 2022-08-12 江西省智能产业技术创新研究院 一种目标物空间定位方法、系统、存储介质及计算机设备
CN115222787A (zh) * 2022-09-20 2022-10-21 天津中科智能技术研究院有限公司 基于混合检索的实时点云配准方法
CN115446392A (zh) * 2022-10-13 2022-12-09 芜湖行健智能机器人有限公司 一种无序板件智能化倒角系统及方法
CN116188546A (zh) * 2022-12-30 2023-05-30 北京斯年智驾科技有限公司 激光点云配准方法、装置、电子设备及存储介质
CN116320357A (zh) * 2023-05-17 2023-06-23 浙江视觉智能创新中心有限公司 一种3d结构光相机系统、方法、电子设备和可读存储介质
CN116363178A (zh) * 2023-02-27 2023-06-30 西安电子科技大学 针对点云特征的多任务优化方法
CN117392211A (zh) * 2023-12-11 2024-01-12 合肥安迅精密技术有限公司 Bga元件快速识别定位方法及系统、存储介质
CN112766037B (zh) * 2020-12-14 2024-04-19 南京工程学院 基于最大似然估计法的3d点云目标识别和定位方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102944174A (zh) * 2012-11-28 2013-02-27 北京矿冶研究总院 一种点云数据的处理方法及系统
CN104298971A (zh) * 2014-09-28 2015-01-21 北京理工大学 一种3d点云数据中的目标识别方法
CN107369161A (zh) * 2017-07-19 2017-11-21 无锡信捷电气股份有限公司 一种基于改进欧式聚类的散乱工件点云分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102944174A (zh) * 2012-11-28 2013-02-27 北京矿冶研究总院 一种点云数据的处理方法及系统
CN104298971A (zh) * 2014-09-28 2015-01-21 北京理工大学 一种3d点云数据中的目标识别方法
CN107369161A (zh) * 2017-07-19 2017-11-21 无锡信捷电气股份有限公司 一种基于改进欧式聚类的散乱工件点云分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DINH-CUONG HOANG 等: "Sub-OBB based object recognition and localization algorithm using range images", 《2016 IOP PUBLISHING LTD MEASUREMENT SCIENCE AND TECHNOLOGY》 *
张凯霖 等: "复杂场景下基于 C-SHOT 特征的 3D 物体识别与位姿估计", 《计算机辅助设计与图形学学报》 *
黄 源 等: "一种基于特征提取的点云自动配准算法", 《中国激光》 *

Cited By (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109559346A (zh) * 2018-11-07 2019-04-02 西安电子科技大学 一种3d点云测量中的待测部位的定位及分割方法、扫描仪
CN109559346B (zh) * 2018-11-07 2021-12-14 西安电子科技大学 一种3d点云测量中的待测部位的定位及分割方法、扫描仪
CN109816730A (zh) * 2018-12-20 2019-05-28 先临三维科技股份有限公司 工件抓取方法、装置、计算机设备和存储介质
CN109887013A (zh) * 2019-01-14 2019-06-14 苏州数设科技有限公司 基于pca的点云配准最终确定方法及系统
CN109887013B (zh) * 2019-01-14 2021-06-25 苏州数设科技有限公司 基于pca的点云配准最终确定方法及系统
CN109934858A (zh) * 2019-03-13 2019-06-25 北京旷视科技有限公司 图像配准方法及装置
CN109934858B (zh) * 2019-03-13 2021-06-22 北京旷视科技有限公司 图像配准方法及装置
CN111815686B (zh) * 2019-04-12 2023-08-18 四川大学 基于几何特征由粗到细点云配准方法
CN111815686A (zh) * 2019-04-12 2020-10-23 四川大学 基于几何特征由粗到细点云配准方法
CN110111349A (zh) * 2019-04-22 2019-08-09 西安交通大学 一种基于点云的非刚体复杂构件高精度边缘提取方法
CN110135439A (zh) * 2019-05-09 2019-08-16 上海木木聚枞机器人科技有限公司 一种自动识别货架的方法及装置、移动机器人
CN110340738A (zh) * 2019-06-21 2019-10-18 武汉理工大学 一种基于pca的机器人拉丝高铁白车身工件精确标定方法
CN110443851A (zh) * 2019-08-06 2019-11-12 暨南大学 一种基于二次曲面特征的工件位姿识别方法
CN110443851B (zh) * 2019-08-06 2021-10-15 暨南大学 一种基于二次曲面特征的工件位姿识别方法
CN110751097B (zh) * 2019-10-22 2023-05-02 中山大学 一种半监督的三维点云手势关键点检测方法
CN110751097A (zh) * 2019-10-22 2020-02-04 中山大学 一种半监督的三维点云手势关键点检测方法
CN110793437A (zh) * 2019-10-23 2020-02-14 珠海格力智能装备有限公司 手操器的定位方法、装置、存储介质及电子设备
CN110599598B (zh) * 2019-11-15 2021-03-26 广联达科技股份有限公司 一种统一异构数据的方法和装置
CN110599598A (zh) * 2019-11-15 2019-12-20 广联达科技股份有限公司 一种统一异构数据的方法和装置
CN111091062A (zh) * 2019-11-21 2020-05-01 东南大学 一种基于3d视觉聚类和匹配的机器人乱序目标分拣方法
CN111091062B (zh) * 2019-11-21 2023-07-04 东南大学 一种基于3d视觉聚类和匹配的机器人乱序目标分拣方法
CN110930495A (zh) * 2019-11-22 2020-03-27 哈尔滨工业大学(深圳) 基于多无人机协作的icp点云地图融合方法、系统、装置及存储介质
CN111179321B (zh) * 2019-12-30 2023-11-14 南京埃斯顿机器人工程有限公司 一种基于模板匹配的点云配准方法
CN111179321A (zh) * 2019-12-30 2020-05-19 南京埃斯顿机器人工程有限公司 一种基于模板匹配的点云配准方法
CN111127638A (zh) * 2019-12-30 2020-05-08 芜湖哈特机器人产业技术研究院有限公司 利用三维模板库实现工件突出标志位定位抓取点方法
CN110807461A (zh) * 2020-01-08 2020-02-18 深圳市越疆科技有限公司 一种目标位置检测方法
CN111353985A (zh) * 2020-03-02 2020-06-30 电子科技大学 一种基于深度相机的机场自助托运行李的检测方法
CN111353985B (zh) * 2020-03-02 2022-05-03 电子科技大学 一种基于深度相机的机场自助托运行李的检测方法
CN111352420B (zh) * 2020-03-03 2021-08-10 厦门大学 一种激光导航agv高精度定位及目标对准控制方法
CN111352420A (zh) * 2020-03-03 2020-06-30 厦门大学 一种激光导航agv高精度定位及目标对准控制方法
CN111738292A (zh) * 2020-05-18 2020-10-02 北京百度网讯科技有限公司 点云数据的处理方法、装置、电子设备及可读存储介质
CN111738292B (zh) * 2020-05-18 2024-01-23 北京百度网讯科技有限公司 点云数据的处理方法、装置、电子设备及可读存储介质
CN111681282A (zh) * 2020-06-18 2020-09-18 浙江大华技术股份有限公司 一种栈板识别处理方法及装置
CN111815706A (zh) * 2020-06-23 2020-10-23 熵智科技(深圳)有限公司 面向单品类拆垛的视觉识别方法、装置、设备及介质
CN111815706B (zh) * 2020-06-23 2023-10-27 熵智科技(深圳)有限公司 面向单品类拆垛的视觉识别方法、装置、设备及介质
CN111915677A (zh) * 2020-07-08 2020-11-10 哈尔滨工程大学 一种基于三维点云特征的船舶位姿估计方法
CN111915677B (zh) * 2020-07-08 2023-11-17 哈尔滨工程大学 一种基于三维点云特征的船舶位姿估计方法
CN112652003A (zh) * 2020-10-29 2021-04-13 西北工业大学 一种基于ransac测度优化的三维点云配准方法
CN112652003B (zh) * 2020-10-29 2024-04-12 西北工业大学 一种基于ransac测度优化的三维点云配准方法
CN112766037A (zh) * 2020-12-14 2021-05-07 南京工程学院 基于最大似然估计法的3d点云目标识别和定位方法
CN112766037B (zh) * 2020-12-14 2024-04-19 南京工程学院 基于最大似然估计法的3d点云目标识别和定位方法
CN112561998A (zh) * 2020-12-16 2021-03-26 国网江苏省电力有限公司检修分公司 一种基于三维点云配准的机器人定位和自主充电方法
CN112561998B (zh) * 2020-12-16 2024-02-20 国网江苏省电力有限公司检修分公司 一种基于三维点云配准的机器人定位和自主充电方法
CN112669385A (zh) * 2020-12-31 2021-04-16 华南理工大学 基于三维点云特征的工业机器人工件识别与位姿估计方法
CN112669385B (zh) * 2020-12-31 2023-06-13 华南理工大学 基于三维点云特征的工业机器人工件识别与位姿估计方法
CN112435299A (zh) * 2021-01-28 2021-03-02 深圳大学 一种机载点云辅助的卫星影像立体匹配点云精密定向方法
CN113103226A (zh) * 2021-03-08 2021-07-13 同济大学 一种面向陶瓷素坯加工制造的视觉引导机器人系统
CN113160287B (zh) * 2021-03-17 2022-04-22 华中科技大学 一种基于特征融合的复杂构件点云拼接方法及系统
CN113160287A (zh) * 2021-03-17 2021-07-23 华中科技大学 一种基于特征融合的复杂构件点云拼接方法及系统
CN113111741A (zh) * 2021-03-27 2021-07-13 西北工业大学 一种基于三维特征点的装配状态识别方法
CN113706454B (zh) * 2021-07-13 2022-05-03 广东泽亨智能科技有限公司 一种基于配准的工件偏移检测的方法及喷涂装置
CN113706454A (zh) * 2021-07-13 2021-11-26 广东泽亨智能科技有限公司 一种基于配准的工件偏移检测的方法及喷涂装置
CN113538486A (zh) * 2021-07-13 2021-10-22 长春工业大学 一种提高汽车钣金工件的识别与定位精度的方法
CN113884495A (zh) * 2021-08-25 2022-01-04 连云港杰瑞自动化有限公司 一种基于锻件结构特征的迭代最近点检测优化方法
CN114049355A (zh) * 2022-01-14 2022-02-15 杭州灵西机器人智能科技有限公司 一种散乱工件的识别标注方法、系统和装置
CN114842516A (zh) * 2022-05-12 2022-08-02 黑龙江省科学院智能制造研究所 一种非接触式3d指纹识别方法
CN114897974A (zh) * 2022-07-15 2022-08-12 江西省智能产业技术创新研究院 一种目标物空间定位方法、系统、存储介质及计算机设备
CN114897974B (zh) * 2022-07-15 2022-09-27 江西省智能产业技术创新研究院 一种目标物空间定位方法、系统、存储介质及计算机设备
CN115222787A (zh) * 2022-09-20 2022-10-21 天津中科智能技术研究院有限公司 基于混合检索的实时点云配准方法
CN115222787B (zh) * 2022-09-20 2023-01-10 宜科(天津)电子有限公司 基于混合检索的实时点云配准方法
CN115446392B (zh) * 2022-10-13 2023-08-04 芜湖行健智能机器人有限公司 一种无序板件智能化倒角系统及方法
CN115446392A (zh) * 2022-10-13 2022-12-09 芜湖行健智能机器人有限公司 一种无序板件智能化倒角系统及方法
CN116188546A (zh) * 2022-12-30 2023-05-30 北京斯年智驾科技有限公司 激光点云配准方法、装置、电子设备及存储介质
CN116188546B (zh) * 2022-12-30 2023-07-14 北京斯年智驾科技有限公司 激光点云配准方法、装置、电子设备及存储介质
CN116363178B (zh) * 2023-02-27 2024-01-30 西安电子科技大学 针对点云特征的多任务优化方法
CN116363178A (zh) * 2023-02-27 2023-06-30 西安电子科技大学 针对点云特征的多任务优化方法
CN116320357A (zh) * 2023-05-17 2023-06-23 浙江视觉智能创新中心有限公司 一种3d结构光相机系统、方法、电子设备和可读存储介质
CN117392211A (zh) * 2023-12-11 2024-01-12 合肥安迅精密技术有限公司 Bga元件快速识别定位方法及系统、存储介质
CN117392211B (zh) * 2023-12-11 2024-03-12 合肥安迅精密技术有限公司 Bga元件快速识别定位方法及系统、存储介质

Similar Documents

Publication Publication Date Title
CN108830902A (zh) 一种基于点云处理的散乱工件识别与定位方法
CN105469388B (zh) 基于降维的建筑物点云配准方法
CN111299815B (zh) 一种用于低灰度橡胶垫视觉检测与激光切割轨迹规划方法
CN107369161A (zh) 一种基于改进欧式聚类的散乱工件点云分割方法
CN105740899B (zh) 一种机器视觉图像特征点检测与匹配复合的优化方法
CN109767463B (zh) 一种三维点云自动配准方法
Alhamzi et al. 3d object recognition based on local and global features using point cloud library
CN111553409B (zh) 一种基于体素形状描述符的点云识别方法
He et al. A 3D object detection and pose estimation pipeline using RGB-D images
CN111145129A (zh) 基于超体素的点云去噪方法
CN113012161B (zh) 一种基于凸性区域生长的堆叠散乱目标点云分割方法
CN113628263A (zh) 一种基于局部曲率及其近邻特征的点云配准方法
WO2021082380A1 (zh) 一种基于激光雷达的托盘识别方法、系统和电子设备
CN109034065A (zh) 一种基于点云的室内场景物体提取方法
CN107133966A (zh) 一种基于采样一致性算法的三维声纳图像背景分割方法
CN104851095A (zh) 基于改进型形状上下文的工件图像稀疏立体匹配方法
Liu et al. Deep learning of directional truncated signed distance function for robust 3D object recognition
Gupta et al. Effectively Detecting Loop Closures using Point Cloud Density Maps
He et al. A two-step classification approach to distinguishing similar objects in mobile lidar point clouds
Asif et al. Model-free segmentation and grasp selection of unknown stacked objects
Chen et al. A Framework for 3D Object Detection and Pose Estimation in Unstructured Environment Using Single Shot Detector and Refined LineMOD Template Matching
Lu et al. An Optimized L 1-Medial Skeleton Extraction Algorithm
Xue et al. Point cloud registration method for pipeline workpieces based on ndt and improved icp algorithms
Zhang et al. Robotic grasp detection using effective graspable feature selection and precise classification
Sushkov et al. Feature segmentation for object recognition using robot manipulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181116

RJ01 Rejection of invention patent application after publication