CN106934831B - 基于点云vfh描述子的识别空间物体位姿方法 - Google Patents

基于点云vfh描述子的识别空间物体位姿方法 Download PDF

Info

Publication number
CN106934831B
CN106934831B CN201710148765.3A CN201710148765A CN106934831B CN 106934831 B CN106934831 B CN 106934831B CN 201710148765 A CN201710148765 A CN 201710148765A CN 106934831 B CN106934831 B CN 106934831B
Authority
CN
China
Prior art keywords
vfh
feature
vector
descriptor
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710148765.3A
Other languages
English (en)
Other versions
CN106934831A (zh
Inventor
高会军
林伟阳
孙敬颋
毕程
杨学博
李湛
于兴虎
邱剑彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201710148765.3A priority Critical patent/CN106934831B/zh
Publication of CN106934831A publication Critical patent/CN106934831A/zh
Application granted granted Critical
Publication of CN106934831B publication Critical patent/CN106934831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

基于点云VFH描述子的识别空间物体位姿方法,本发明涉及识别空间物体位姿方法。本发明是要解决现有技术没有可行的手段确保采集样本的代表性,也无法做到精确,同时大量的样本导致运算时间过于冗长的问题,而提出的基于点云VFH描述子的识别空间物体位姿方法。该方法是通过一、计算点云对应的vfh特征描述子;二、计算差值向量di;三、计算特征向量空间;四、计算di投影到特征vfh描述子空间的坐标为Ωi;五、计算di投影到特征vfh描述子空间的坐标ΩΓ;六、确定训练BP神经网络的输入和输出维数;七、将投影后的vfh描述子对应角度输出为1;八、确定当前点云的视角等步骤实现的。本发明应用于识别空间物体位姿方法领域。

Description

基于点云VFH描述子的识别空间物体位姿方法
技术领域
本发明涉及识别空间物体位姿方法,特别涉及基于点云VFH描述子的识别空间物体位姿方法。
背景技术
点云的是喷漆机器人视觉的重要环节,但是实时采集的局部点云和样本中的完整点云配准存在着很大的精度问题。但是靠深度摄像机获取全面的物体三维点云需要人手工完成,且成功率不高,因此基于单视角的识别有重要意义,如图1~2。
现有的位姿估计方法计多采用简单的采集一定数量的点云样建立特征数据库,既没有可行的手段确保采集样本的代表性,也无法做到精确,同时大量的样本导致运算时间过于冗长。
发明内容
本发明的目的是为了解决现有技术没有可行的手段确保采集样本的代表性,也无法做到精确,同时大量的样本导致运算时间过于冗长的问题,而提出的基于点云VFH描述子的识别空间物体位姿方法。
上述的发明目的是通过以下技术方案实现的:
步骤一、在训练阶段,对每个物体均匀分成M个角度,在M角度中的每一角度所在的视角上采集点云并计算点云对应的vfh特征描述子x=(x1,x2,...,xi,...,xM)T;xi表示构成vfh特征描述子x的向量;
步骤二、根据步骤一的vfh特征描述子xi计算每个向量xi和平均vfh向量Ψ的差值向量di
步骤三、运用主成分分析法计算向量di的特征vfh描述子空间w;
步骤四、将步骤一计算得到的vfh特征描述子和差值向量di投影到特征vfh描述子空间的坐标为Ωi
步骤五、计算待识别物体每个vfh特征向量Γ与差值向量di投影到特征vfh描述子空间的坐标ΩΓ
ΩΓ=wT(Γ-Ψ)
步骤六、确定训练BP神经网络的输入维数和输出维数,其中,输入维数是点云VFH描述子在特征vfh描述子空间下投影的维数,输出维数为M;输出维数的每一维代表步骤一中所采集的M个视角中的每一个视角;
步骤七、将输入视角下的点云的vfh描述子在特征vfh描述子空间w下进行投影,将投影后的vfh描述子对应角度输出为1,其余输出为0;
步骤八、在识别过程中,输入待识别物体点云的vfh描述子在特征vfh描述子空间w下的投影,取输出值中相似度最高的前k个视角的坐标,采用Knn分类方法,将离群坐标对应的视角去掉,然后将k个视角中剩余视角取平均值作为当前点云的视角。
发明效果
本发明利用主成分分析法得到最能描述点云表面特征的K个vfh描述子;将所有训练数据vfh描述子转变为用特征vfh算子来表示;
利用已经采集的vfh描述子的特征表示和位姿的角度表示进行机器学习的回归问题学习,以得到VFH算子表示和位姿的角度表示之间的关系,对于需要识别的点云用学习到的回归关系估计其位姿。
在原始的全面物体点云里以这个角度进行模拟采集,得到对应角度单视角点云;用实际单视角点云和模拟单视角点云进行匹配,然后在此基础上还原完整点云。
对于点云位姿的估计精度显著提高,从而配准精度进一步提高。运算时间也大大减短。
附图说明
图1为背景技术提出的完整视角点云模型示意图;
图2为背景技术提出的片面视角点云模型示意图。
具体实施方式
具体实施方式一:本实施方式的基于点云VFH描述子的识别空间物体位姿方法,具体是按照以下步骤制备的:
引入机器学习中的神经网络到分类过程中
步骤一、在训练阶段,根据物体实际情况,对每个物体均匀分成M个角度,在M角度中的每一角度所在的视角上采集点云并计算点云对应的vfh(Viewpoint FeatureHistogram,视点特征直方图描述子)特征描述子x=(x1,x2,...,xi,...,xM)T;xi表示构成vfh特征描述子x的向量;
步骤二、根据步骤一的vfh(Viewpoint Feature Histogram)特征描述子xi计算每个向量xi和平均vfh向量Ψ的差值向量di
步骤三、运用主成分分析法计算向量di的特征向量空间即特征vfh描述子空间w;
步骤四、将步骤一计算得到的vfh特征描述子和差值向量di投影到特征vfh描述子空间的坐标为Ωi
步骤五、计算待识别物体每个vfh特征向量Γ与差值向量di投影到特征vfh描述子空间的坐标ΩΓ
ΩΓ=wT(Γ-Ψ)
步骤六、确定训练BP神经网络的输入维数和输出维数,其中,输入维数是点云VFH描述子在特征vfh描述子空间下投影的维数,输出维数为M;输出维数的每一维代表步骤一中所采集的M个视角中的每一个视角;
步骤七、将输入视角下的点云的vfh描述子在特征vfh描述子空间w下进行投影,将投影后的vfh描述子对应角度输出为1,其余输出为0;
步骤八、在识别过程中,输入待识别物体点云的vfh描述子在特征vfh描述子空间w下的投影,取输出值中相似度最高的前k个视角的坐标,采用Knn分类方法,将离群坐标对应的视角去掉,然后将k个视角中剩余视角取平均值作为当前点云的视角。
本实施方式效果:
本实施方式利用主成分分析法得到最能描述点云表面特征的K个vfh描述子;将所有训练数据vfh描述子转变为用特征vfh算子来表示;
利用已经采集的vfh描述子的特征表示和位姿的角度表示进行机器学习的回归问题学习,以得到VFH算子表示和位姿的角度表示之间的关系,对于需要识别的点云用学习到的回归关系估计其位姿。
在原始的全面物体点云里以这个角度进行模拟采集,得到对应角度单视角点云;用实际单视角点云和模拟单视角点云进行匹配,然后在此基础上还原完整点云。
对于点云位姿的估计精度显著提高,从而配准精度进一步提高。运算时间也大大减短。
具体实施方式二:本实施方式与具体实施方式一不同的是:步骤二中根据步骤一的vfh(Viewpoint Feature Histogram)特征描述子计算每个向量xi和平均vfh向量Ψ的差值向量di具体为:
步骤二一、根据步骤一得到的vfh特征描述子计算得到平均vfh向量Ψ:
Figure BDA0001244567450000041
其中,M=200;
步骤二二、计算每个向量xi和平均vfh向量Ψ的差值向量di
di=xi-Ψ,i=1,2......M。其它步骤及参数与具体实施方式一相同。
具体实施方式三:本实施方式与具体实施方式一或二不同的是:步骤三中运用主成分分析法计算向量di的特征vfh描述子空间w具体为:
步骤三一、构建协方差矩阵C;
Figure BDA0001244567450000042
A=(d1,d2,...,dM)
其中,A为向量di的集合;
步骤三二、求出ATA的特征值λi和正交归一化特征向量νi;采用奇异值分解(SingularValue Decomposition,SVD)定理选取ATA特征值λi的贡献率
Figure BDA0001244567450000043
最大的前p个特征值及p个特征值对应的特征向量;
步骤三三、求出协方差矩阵C的特征向量ui
Figure BDA0001244567450000044
步骤三四、则特征vfh描述子空间w为:
w=(u1,u2,...,up)。其它步骤及参数与具体实施方式一或二相同。
具体实施方式四:本实施方式与具体实施方式一至三之一不同的是:所述贡献率
Figure BDA0001244567450000046
是指选取的p个特征值的和与占所有特征值的和比,即:
Figure BDA0001244567450000045
其中,a为训练样本在前p个特征向量集上的投影。其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五:本实施方式与具体实施方式一至四之一不同的是:所述a=99%即使训练样本在前p个特征向量集上的投影有99%的能量。其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六:本实施方式与具体实施方式一至五之一不同的是:步骤四中Ωi=wTdi(i=1,2,...,M)。其它步骤及参数与具体实施方式一至五之一相同。

Claims (2)

1.基于点云vfh描述子的识别空间物体位姿方法,其特征在于,该方法具体是按照以下步骤进行的:
步骤一、在训练阶段,对每个物体均匀分成M个角度,在M角度中的每一角度所在的视角上采集点云并计算点云对应的vfh特征描述子x=(x1,x2,...,xi,...,xM)T;xi表示构成vfh特征描述子x的向量;
步骤二、根据步骤一的vfh特征描述子计算每个向量xi和平均vfh向量Ψ的差值向量di
步骤三、运用主成分分析法计算向量di的特征vfh描述子空间w;
步骤四、将步骤一计算得到的vfh特征描述子和差值向量di投影到特征vfh描述子空间的坐标为Ωi;Ωi=wTdi,i=1,2,...M;
步骤五、计算待识别物体每个vfh特征向量Γ与差值向量di投影到特征vfh描述子空间的坐标ΩΓ
ΩΓ=wT(Γ-Ψ)
步骤六、确定训练BP神经网络的输入维数和输出维数,其中,输入维数是点云VFH描述子在特征vfh描述子空间下投影的维数,输出维数为M;输出维数的每一维代表步骤一中所采集的M个视角中的每一个视角;
步骤七、将输入视角下的点云的vfh描述子在特征vfh描述子空间w下进行投影,将投影后的vfh描述子对应角度输出为1,其余输出为0;
步骤八、在识别过程中,输入待识别物体点云的vfh描述子在特征vfh描述子空间w下的投影,取输出值中相似度最高的前k个视角的坐标,采用Knn分类方法,将离群坐标对应的视角去掉,然后将k个视角中剩余视角取平均值作为当前点云的视角;
步骤二中根据步骤一的vfh特征描述子计算每个向量xi和平均vfh向量Ψ的差值向量di具体为:
步骤二一、根据步骤一得到的vfh特征描述子计算得到平均vfh向量Ψ:
Figure FDA0002182024070000011
步骤二二、计算每个向量xi和平均vfh向量Ψ的差值向量di
di=xi-Ψ,i=1,2......M
步骤三中运用主成分分析法计算向量di的特征vfh描述子空间w具体为:
步骤三一、构建协方差矩阵C;
Figure FDA0002182024070000021
A=(d1,d2,...,dM)
其中,A为向量di的集合;
步骤三二、求出ATA的特征值λi和正交归一化特征向量νi;采用奇异值分解定理选取ATA特征值λi的贡献率
Figure FDA0002182024070000022
最大的前p个特征值及p个特征值对应的特征向量;
步骤三三、求出协方差矩阵C的特征向量ui
Figure FDA0002182024070000023
步骤三四、则特征vfh描述子空间w为:
w=(u1,u2,...,up)
所述贡献率
Figure FDA0002182024070000024
是指选取的p个特征值的和与占所有特征值的和比,即:
Figure FDA0002182024070000025
其中,a为训练样本在前p个特征向量集上的投影。
2.根据权利要求1所述基于点云VFH描述子的识别空间物体位姿方法,其特征在于:所述a=99%。
CN201710148765.3A 2017-03-13 2017-03-13 基于点云vfh描述子的识别空间物体位姿方法 Active CN106934831B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710148765.3A CN106934831B (zh) 2017-03-13 2017-03-13 基于点云vfh描述子的识别空间物体位姿方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710148765.3A CN106934831B (zh) 2017-03-13 2017-03-13 基于点云vfh描述子的识别空间物体位姿方法

Publications (2)

Publication Number Publication Date
CN106934831A CN106934831A (zh) 2017-07-07
CN106934831B true CN106934831B (zh) 2020-07-24

Family

ID=59433197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710148765.3A Active CN106934831B (zh) 2017-03-13 2017-03-13 基于点云vfh描述子的识别空间物体位姿方法

Country Status (1)

Country Link
CN (1) CN106934831B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2707982C1 (ru) * 2018-07-02 2019-12-03 Алексей Владимирович Архипов Способ идентификации космических аппаратов и их обломков в космическом пространстве

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104657718A (zh) * 2015-02-13 2015-05-27 武汉工程大学 一种基于人脸图像特征极限学习机的人脸识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104657718A (zh) * 2015-02-13 2015-05-27 武汉工程大学 一种基于人脸图像特征极限学习机的人脸识别方法

Also Published As

Publication number Publication date
CN106934831A (zh) 2017-07-07

Similar Documents

Publication Publication Date Title
CN105930767B (zh) 一种基于人体骨架的动作识别方法
CN113450408B (zh) 一种基于深度相机的非规则物体位姿估计方法及装置
CN105740899B (zh) 一种机器视觉图像特征点检测与匹配复合的优化方法
CN107358629B (zh) 一种基于目标识别的室内建图与定位方法
CN110842914A (zh) 基于差分进化算法的手眼标定参数辨识方法、系统及介质
CN111251295B (zh) 一种应用于参数化零件的视觉机械臂抓取方法及装置
CN109159113B (zh) 一种基于视觉推理的机器人作业方法
CN110378325B (zh) 一种机器人抓取过程中的目标位姿识别方法
CN109544603B (zh) 基于深度迁移学习的目标跟踪方法
CN112509063A (zh) 一种基于边缘特征匹配的机械臂抓取系统及方法
CN106599810B (zh) 一种基于栈式自编码的头部姿态估计方法
CN113610921A (zh) 混合工件抓取方法、设备及计算机可读存储介质
CN112070782A (zh) 识别场景轮廓的方法、装置、计算机可读介质及电子设备
CN110135277B (zh) 一种基于卷积神经网络的人体行为识别方法
CN109508707B (zh) 基于单目视觉的机器人稳定抓取物体的抓取点获取方法
CN108154176B (zh) 一种针对单一深度图像的3d人体姿态估计算法
CN109931940B (zh) 一种基于单目视觉的机器人定位置信度评估方法
CN116249607A (zh) 用于机器人抓取三维物体的方法和装置
CN111310720A (zh) 基于图度量学习的行人重识别方法及系统
CN106934831B (zh) 基于点云vfh描述子的识别空间物体位姿方法
CN114494594A (zh) 基于深度学习的航天员操作设备状态识别方法
Dong et al. Towards consistent reconstructions of indoor spaces based on 6D RGB-D odometry and KinectFusion
CN106845561B (zh) 一种基于点云vfh描述子和神经网络的复杂曲面物体分类方法
CN111428555B (zh) 一种分关节的手部姿态估计方法
CN111198563B (zh) 一种用于足式机器人动态运动的地形识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Gao Huijun

Inventor after: Lin Weiyang

Inventor after: Sun Jingting

Inventor after: Bi Cheng

Inventor after: Yang Xuebo

Inventor after: Li Zhan

Inventor after: Yu Xinghu

Inventor after: Qiu Jianbin

Inventor before: Gao Huijun

Inventor before: Lin Weiyang

Inventor before: Bi Cheng

Inventor before: Yang Xuebo

Inventor before: Li Zhan

Inventor before: Yu Xinghu

Inventor before: Qiu Jianbin

GR01 Patent grant
GR01 Patent grant