CN106845561B - 一种基于点云vfh描述子和神经网络的复杂曲面物体分类方法 - Google Patents

一种基于点云vfh描述子和神经网络的复杂曲面物体分类方法 Download PDF

Info

Publication number
CN106845561B
CN106845561B CN201710148763.4A CN201710148763A CN106845561B CN 106845561 B CN106845561 B CN 106845561B CN 201710148763 A CN201710148763 A CN 201710148763A CN 106845561 B CN106845561 B CN 106845561B
Authority
CN
China
Prior art keywords
vfh
neural network
vector
feature
descriptor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710148763.4A
Other languages
English (en)
Other versions
CN106845561A (zh
Inventor
高会军
毕程
王大钊
林伟阳
李湛
杨学博
于兴虎
邱剑彬
刘金泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201710148763.4A priority Critical patent/CN106845561B/zh
Publication of CN106845561A publication Critical patent/CN106845561A/zh
Application granted granted Critical
Publication of CN106845561B publication Critical patent/CN106845561B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于点云VFH描述子和神经网络的复杂曲面物体分类方法，本发明涉及复杂曲面物体分类方法。本发明是要解决大量采集数据建立Kd树会造成搜索数据的过大以及采集数据过少会造成分类识别效果的减弱的问题，而提出的一种基于点云VFH描述子和神经网络的复杂曲面物体分类方法。该方法是通过一、计算点云对应的vfh特征描述子；二、计算差值向量di；三、计算向量di的特征向量空间；四、计算投影到描述子空间的坐标；五、确定输入维数和输出维数；六、确定投影后的vfh描述子对应角度的输出；七、得到BP神经网络库；八、确定当前bp神经网络所属物体的视角的点云；九、确定最终结果等步骤实现的。本发明应用于复杂曲面物体分类领域。

Description

一种基于点云VFH描述子和神经网络的复杂曲面物体分类 方法
技术领域
本发明涉及复杂曲面物体分类方法，特别涉及一种基于点云VFH描述子和神经网络的复杂曲面物体分类方法。
背景技术
随着3D摄像头的出现，引入深度信息的三维图像成了机器人视觉领域的新的焦点，如何让机器人对物体进行分类并配准有着重要的意义。现有的基于点云vfh描述子直方图的分类方法存在着显著的问题，如果大量采集数据建立Kd树则会造成搜索数据的过分庞大，如果采集数据过少则会造成分类识别效果的减弱。
发明内容
本发明的目的是为了解决如果大量采集数据建立Kd树则会造成搜索数据的过分庞大，如果采集数据过少则会造成分类识别效果的减弱的问题，而提出的一种基于点云VFH描述子和神经网络的复杂曲面物体分类方法。
上述的发明目的是通过以下技术方案实现的：
步骤一、在训练阶段，对每个物体均匀分成M个角度，在M个角度中的每一角度所在的视角上采集点云并计算点云对应的vfh特征描述子x＝(x1,x2,...,xi,...,xM)T；xi表示构成vfh特征描述子x的向量；
步骤二、根据步骤一得到的vfh特征描述子计算每个向量xi和平均vfh向量Ψ的差值向量di；
步骤三、运用主成分分析法计算向量di的特征vfh描述子空间w；
步骤四、将步骤一计算得到的vfh特征描述子和差值向量di投影到特征vfh描述子空间的坐标为Ωi：
Ωi＝wTdi(i＝1,2,...,M)
步骤五、计算待识别物体每个vfh特征向量Γ与差值向量di投影到特征vfh描述子空间的坐标ΩΓ：
ΩΓ＝wT(Γ-Ψ)
步骤六、确定训练BP神经网络的输入维数和输出维数，其中，输入维数是点云VFH描述子在特征vfh描述子空间下投影的维数，输出维数为M；输出维数的每一维代表步骤一中所采集的M个角度中所在视角中的每一个视角；
步骤七、将输入视角下的点云的vfh描述子在特征vfh描述子空间w下进行投影，将投影后的vfh描述子对应角度输出为1，其余输出为0；
步骤八、将物体重复步骤一至步骤六得到BP神经网络库；
步骤九、将待识别物体都通过BP神经网络库的每个BP神经网络进行识别判断；若神经网络的输出大于阈值，则待识别物体为当前BP神经网络所属物体的视角的点云；
步骤十、比较作为当前BP神经网络所属物体的视角点云的待识别物体的输出值，将待识别物体的输出值的最大值接近为1的作为最终结果；
步骤十一、旋转步骤九中的作为当前BP神经网络所属物体的视角点云的待识别物体，若旋转两次的该待识别物体的输出均大于阈值，则将该BP神经网络所属的待识别物体作为最终结果。
发明效果
本发明虽然训练阶段可能耗时较多，但是通过神经网络的训练，将判别当前vfh与大量样本的相似程度转化成一次神经网络的运算和判别，在使用时可以极大的提高分类准确率和减小计算时间，同时采用特征vfh描述向量的概念，可以极具代表性的涵盖物体的主要空间特征，识别准确率提高，可以识别大量物体。
附图说明
图1为具体实施方式一提出的点云模型示例图，
图2为具体实施方式一提出的vfh描述子示例图。
具体实施方式
具体实施方式一：本实施方式的一种基于点云VFH描述子和神经网络的复杂曲面物体分类方法，具体是按照以下步骤制备的：
引入机器学习中的神经网络到分类过程中
步骤一、在训练阶段，根据物体实际情况，对每个物体均匀分成M个角度，在M个角度中的每一角度所在的视角上采集点云并计算点云对应的vfh(Viewpoint FeatureHistogram)特征描述子x＝(x1,x2,...,xi,...,xM)T如图1和图2；
步骤二、根据步骤一得到的vfh(Viewpoint Feature Histogram)特征描述子xi计算每个向量xi和平均vfh向量Ψ的差值向量di；
步骤三、运用主成分分析法计算向量di的特征vfh描述子空间w；
步骤四、将步骤一计算得到的vfh特征描述子和差值向量di投影到特征vfh描述子空间的坐标为Ωi：
Ωi＝wTdi(i＝1,2,...,M)
步骤五、计算待识别物体每个vfh特征向量Γ与差值向量di投影到特征vfh描述子空间的坐标ΩΓ：
ΩΓ＝wT(Γ-Ψ)
步骤六、确定训练BP神经网络的输入维数和输出维数，其中，输入维数是点云VFH描述子在特征vfh描述子空间下投影的维数，输出维数为M；输出维数的每一维代表步骤一中所采集的M个角度中所在视角中的每一个视角；
步骤七、将输入视角下的点云的vfh描述子在特征vfh描述子空间w下进行投影，将投影后的vfh描述子对应角度输出为1，其余输出为0；
步骤八、将物体重复步骤一至步骤六得到BP神经网络库；
步骤九、识别阶段，将待识别物体都通过BP神经网络库的每个BP神经网络进行识别判断；若神经网络的输出大于阈值，则待识别物体为当前BP神经网络所属物体的视角的点云；
步骤十、比较作为当前BP神经网络所属物体的视角点云的待识别物体的输出值，将待识别物体的输出值的最大值接近为1的作为最终结果；
步骤十一、旋转步骤九中的作为当前BP神经网络所属物体的视角点云的待识别物体，若旋转两次的该待识别物体的输出均大于阈值，则将该BP神经网络所属的待识别物体作为最终结果。
本实施方式效果：
本实施方式虽然训练阶段可能耗时较多，但是通过神经网络的训练，将判别当前vfh与大量样本的相似程度转化成一次神经网络的运算和判别，在使用时可以极大的提高分类准确率和减小计算时间，同时采用特征vfh描述向量的概念，可以极具代表性的涵盖物体的主要空间特征，识别准确率提高，可以识别大量物体。
具体实施方式二：本实施方式与具体实施方式一不同的是：步骤二中根据步骤一的vfh(Viewpoint Feature Histogram)特征描述子xi计算每个向量xi和平均vfh向量Ψ的差值向量di具体为：
步骤二一、根据步骤一的vfh特征描述子计算得到平均vfh向量Ψ：
Figure BDA0001244567290000041
其中，M＝200；
步骤二二、计算每个向量xi和平均vfh向量Ψ的差值向量di：
di＝xi-Ψ,i＝1,2……M。其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是：步骤三中运用主成分分析法计算向量di的特征vfh描述子空间w具体为：
步骤三一、构建协方差矩阵C；
Figure BDA0001244567290000042
其中，A为向量di的集合；
步骤三二、求出ATA的特征值λi和正交归一化特征向量νi；采用奇异值分解(SingularValue Decomposition,SVD)定理选取ATA特征值λi的贡献率
Figure BDA0001244567290000043
最大的前p个特征值及p个特征值对应的特征向量；
步骤三三、求出协方差矩阵C的特征向量ui；
Figure BDA0001244567290000044
步骤三四、则特征vfh描述子空间w为：
w＝(u1,u2,...，up)。其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：步骤三一中A＝(d1,d2,...,di,...,dM)。其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：步骤三二中贡献率
Figure BDA0001244567290000045
是指选取的p个特征值的和与占所有特征值的和比，即：
Figure BDA0001244567290000051
其中，a为训练样本在前p个特征向量集上的投影；一般取a＝99％即使训练样本在前p个特征向量集上的投影有99％的能量。其它步骤及参数与具体实施方式一至四之一相同。

Claims (2)

1.一种基于点云VFH描述子和神经网络的复杂曲面物体分类方法，其特征在于，该方法具体是按照以下步骤进行的：
步骤一、在训练阶段，对每个物体均匀分成M个角度，在M个角度中的每一角度所在的视角上采集点云并计算点云对应的vfh特征描述子x＝(x1,x2,...,xi,...,xM)T；xi表示构成vfh特征描述子x的向量；
步骤二、根据步骤一的vfh特征描述子计算每个向量xi和平均vfh向量Ψ的差值向量di；
步骤三、运用主成分分析法计算向量di的特征vfh描述子空间w；
步骤四、将步骤一计算得到的vfh特征描述子和差值向量di投影到特征vfh描述子空间的坐标为Ωi：
Ωi＝wTdi(i＝1,2,...,M)
步骤五、计算待识别物体每个vfh特征向量Γ与差值向量di投影到特征vfh描述子空间的坐标ΩΓ：
ΩΓ＝wT(Γ-Ψ)
步骤六、确定训练BP神经网络的输入维数和输出维数，其中，输入维数是点云VFH描述子在特征vfh描述子空间下投影的维数，输出维数为M；输出维数的每一维代表步骤一中所采集的M个角度中所在视角中的每一个视角；
步骤七、将输入视角下的点云的vfh描述子在特征vfh描述子空间w下进行投影，将投影后的vfh描述子对应角度输出为1，其余输出为0；
步骤八、将物体重复步骤一至步骤六得到BP神经网络库；
步骤九、将待识别物体都通过BP神经网络库的每个BP神经网络进行识别判断；若神经网络的输出大于阈值，则待识别物体为当前BP神经网络所属物体的视角的点云；
步骤十、比较作为当前BP神经网络所属物体的视角点云的待识别物体的输出值，将待识别物体的输出值的最大值接近为1的作为最终结果；
步骤十一、旋转步骤九中的作为当前BP神经网络所属物体的视角点云的待识别物体，若旋转两次的该待识别物体的输出均大于阈值，则将该BP神经网络所属的待识别物体作为最终结果；
步骤二中根据步骤一的vfh特征描述子计算每个向量xi和平均vfh向量Ψ的差值向量di具体为：
步骤二一、根据步骤一的vfh特征描述子计算得到平均vfh向量Ψ：
Figure FDA0002182018790000021
步骤二二、计算每个向量xi和平均vfh向量Ψ的差值向量di：
di＝xi-Ψ，i＝1,2，…M
步骤三中运用主成分分析法计算向量di的特征vfh描述子空间w具体为：
步骤三一、构建协方差矩阵C；
Figure FDA0002182018790000022
其中，A为向量di的集合；
步骤三二、求出ATA的特征值λi和正交归一化特征向量νi；采用奇异值分解定理选取ATA特征值λi的贡献率
Figure FDA0002182018790000023
最大的前p个特征值及p个特征值对应的特征向量；
步骤三三、求出协方差矩阵C的特征向量ui；
Figure FDA0002182018790000024
步骤三四、则特征vfh描述子空间w为：
w＝(u1,u2,...，up)；
步 骤三二中贡献率
Figure FDA0002182018790000025
是指选取的p个特征值的和与占所有特征值的和比，即：
Figure FDA0002182018790000026
其中，a为训练样本在前p个特征向量集上的投影。
2.根据权利要求1所述一种基于点云VFH描述子和神经网络的复杂曲面物体分类方法，其特征在于：步骤三一中A＝(d1,d2,...,di,...,dM)。
CN201710148763.4A 2017-03-13 2017-03-13 一种基于点云vfh描述子和神经网络的复杂曲面物体分类方法 Active CN106845561B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710148763.4A CN106845561B (zh) 2017-03-13 2017-03-13 一种基于点云vfh描述子和神经网络的复杂曲面物体分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710148763.4A CN106845561B (zh) 2017-03-13 2017-03-13 一种基于点云vfh描述子和神经网络的复杂曲面物体分类方法

Publications (2)

Publication Number Publication Date
CN106845561A CN106845561A (zh) 2017-06-13
CN106845561B true CN106845561B (zh) 2020-07-24

Family

ID=59143552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710148763.4A Active CN106845561B (zh) 2017-03-13 2017-03-13 一种基于点云vfh描述子和神经网络的复杂曲面物体分类方法

Country Status (1)

Country Link
CN (1) CN106845561B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490915B (zh) * 2019-08-19 2023-11-24 重庆大学 一种基于卷积受限玻尔兹曼机的点云配准方法
CN114418852B (zh) * 2022-01-20 2024-04-12 哈尔滨工业大学 一种基于自监督深度学习的点云任意尺度上采样方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101414349A (zh) * 2007-12-04 2009-04-22 浙江师范大学 一种基于bp神经网络的指纹图像纹路方向计算和图像分割方法
CN104657718A (zh) * 2015-02-13 2015-05-27 武汉工程大学 一种基于人脸图像特征极限学习机的人脸识别方法
CN104732274A (zh) * 2015-03-10 2015-06-24 华南理工大学 一种智能计算机

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101414349A (zh) * 2007-12-04 2009-04-22 浙江师范大学 一种基于bp神经网络的指纹图像纹路方向计算和图像分割方法
CN104657718A (zh) * 2015-02-13 2015-05-27 武汉工程大学 一种基于人脸图像特征极限学习机的人脸识别方法
CN104732274A (zh) * 2015-03-10 2015-06-24 华南理工大学 一种智能计算机

Also Published As

Publication number Publication date
CN106845561A (zh) 2017-06-13

Similar Documents

Publication Publication Date Title
CN105930767B (zh) 一种基于人体骨架的动作识别方法
CN109993748B (zh) 一种基于点云处理网络的三维网格物体分割方法
CN107045631B (zh) 人脸特征点检测方法、装置及设备
Ohn-Bar et al. Joint angles similarities and HOG2 for action recognition
CN110399884B (zh) 一种特征融合自适应锚框模型车辆检测方法
CN105046710A (zh) 基于深度图分割与代理几何体的虚实碰撞交互方法及装置
Park et al. Classification based grasp detection using spatial transformer network
Hernández-Vela et al. BoVDW: Bag-of-Visual-and-Depth-Words for gesture recognition
CN106599810B (zh) 一种基于栈式自编码的头部姿态估计方法
Blanton et al. Extending absolute pose regression to multiple scenes
CN111179419A (zh) 三维关键点预测及深度学习模型训练方法、装置及设备
Bui et al. When regression meets manifold learning for object recognition and pose estimation
Sethi et al. Signpro-An application suite for deaf and dumb
CN106845561B (zh) 一种基于点云vfh描述子和神经网络的复杂曲面物体分类方法
CN108154176B (zh) 一种针对单一深度图像的3d人体姿态估计算法
Elmoogy et al. Surfcnn: A descriptor accelerated convolutional neural network for image-based indoor localization
Ding et al. Spatio-temporal difference descriptor for skeleton-based action recognition
Ikram et al. Real time hand gesture recognition using leap motion controller based on CNN-SVM architechture
Moon et al. Holistic planimetric prediction to local volumetric prediction for 3d human pose estimation
Ückermann et al. Real-time hierarchical scene segmentation and classification
CN111428555B (zh) 一种分关节的手部姿态估计方法
Singh et al. Wavelet based histogram of oriented gradients feature descriptors for classification of partially occluded objects
Zhang et al. Face alignment across large pose via MT-CNN based 3D shape reconstruction
Kapsouras et al. Feature comparison and feature fusion for traditional dances recognition
Afifi et al. Simultaneous object classification and viewpoint estimation using deep multi-task convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Gao Huijun

Inventor after: Bi Cheng

Inventor after: Wang Dazhao

Inventor after: Lin Weiyang

Inventor after: Li Zhan

Inventor after: Yang Xuebo

Inventor after: Yu Xinghu

Inventor after: Qiu Jianbin

Inventor after: Liu Jinze

Inventor before: Gao Huijun

Inventor before: Bi Cheng

Inventor before: Lin Weiyang

Inventor before: Li Zhan

Inventor before: Yang Xuebo

Inventor before: Yu Xinghu

Inventor before: Qiu Jianbin

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant