CN106934372B - 基于传统vfh描述子加入颜色信息的点云分类方法 - Google Patents

基于传统vfh描述子加入颜色信息的点云分类方法 Download PDF

Info

Publication number
CN106934372B
CN106934372B CN201710148764.9A CN201710148764A CN106934372B CN 106934372 B CN106934372 B CN 106934372B CN 201710148764 A CN201710148764 A CN 201710148764A CN 106934372 B CN106934372 B CN 106934372B
Authority
CN
China
Prior art keywords
point cloud
histogram
point
vfh
descriptor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710148764.9A
Other languages
English (en)
Other versions
CN106934372A (zh
Inventor
高会军
林伟阳
毕程
李湛
邱剑彬
杨学博
于兴虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201710148764.9A priority Critical patent/CN106934372B/zh
Publication of CN106934372A publication Critical patent/CN106934372A/zh
Application granted granted Critical
Publication of CN106934372B publication Critical patent/CN106934372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

基于传统vfh描述子加入颜色信息的点云分类方法，本发明涉及点云分类方法。本发明是要解决现有的基于点云vfh描述子直方图的分类方法存在着显著的问题以及对于比较接近的物体无法进行区分的问题，而提出的基于传统vfh描述子加入颜色信息的点云分类方法。该方法是通过一、将点云以保留颜色的格式存储；二、将保留颜色的格式存储的点云按照传统的vfh描述子计算方法计算快速点特征直方图FPFH得到视点相关的特征分量；三、生成颜色直方图，并将颜色直方图取代原直方图单个区间的位置；四、对于待识别的物体用Kd树进行搜索得到分类结果等步骤实现的。本发明应用于点云分类领域。

Description

基于传统vfh描述子加入颜色信息的点云分类方法
技术领域
本发明涉及点云分类方法，特别涉及基于传统vfh描述子加入颜色信息的点云分类方法。
背景技术
随着3D摄像头的出现，引入深度信息的三维图像成了机器人视觉领域的新的焦点，如何让机器人对物体进行分类并配准有着重要的意义。现有的基于点云vfh描述子直方图的分类方法存在着显著的问题，对于比较接近的物体或者仅仅是颜色不同的物体无法进行区分。
发明内容
本发明的目的是为了解决现有的基于点云vfh描述子直方图的分类方法存在着显著的问题以及对于比较接近的物体或者仅仅是颜色不同的物体无法进行区分的问题，而提出的基于传统vfh描述子加入颜色信息的点云分类方法。
上述的发明目的是通过以下技术方案实现的：
步骤一、获取被识别物体的点云，将点云以保留颜色的格式存储；
步骤二、将保留颜色的格式存储的点云按照传统的vfh描述子计算方法计算快速点特征直方图FPFH得到视点相关的特征分量；
步骤三、根据实际情况划分合适的区间个数，在FPFH直方图分量内，对每个区间内的点采集颜色信息，设置阈值，生成颜色直方图，并将颜色直方图取代原直方图单个区间的位置；其中，颜色直方图的所有区间内取直方图时均采用相同的阈值和横坐标颜色排序；每个区间都完成后原VFH直方图扩展为带有颜色的vfh描述子的特征向量cvfh；
步骤四、将各个待识别物体的cvfh直方图作为样本，在识别阶段，根据样本建立Kd树，对于待识别的物体用Kd树进行搜索得到分类结果。
发明效果
本发明了cvfh(coloutViewpoint Feature Histogram)描述子，合理利用了点云的颜色信息对点云的特征进行描述；合理的利用了三维点云的颜色信息，在不明显增加运算时间的情况下极大的提高了分类的准确率和识别外形相近但是颜色不同的物体的能力。
附图说明
图1为本发明流程图。
具体实施方式
具体实施方式一：如图1所示，本实施方式的基于传统vfh描述子加入颜色信息的点云分类方法，具体是按照以下步骤制备的：
步骤一、获取被识别物体的点云，将点云以保留颜色的格式存储；
步骤二、将保留颜色的格式存储的点云按照传统的vfh描述子计算方法计算快速点特征直方图FPFH得到视点相关的特征分量；
步骤三、根据实际情况划分合适的区间个数，在FPFH直方图分量内，对每个区间内的点采集颜色信息，设置合适的阈值(根据人为需要所设定)，生成颜色直方图，并将颜色直方图取代原直方图单个区间的位置；其中，颜色直方图的所有区间内取直方图时均采用相同的阈值和横坐标颜色排序；每个区间都完成后原VFH直方图扩展为带有颜色的vfh描述子的特征向量cvfh；
步骤四、将各个待识别物体的cvfh直方图作为样本，在识别阶段，根据样本建立Kd树，对于待识别的物体用Kd树进行搜索得到分类结果。
本实施方式效果：
本实施方式了cvfh(coloutViewpoint Feature Histogram)描述子，合理利用了点云的颜色信息对点云的特征进行描述；合理的利用了三维点云的颜色信息，在不明显增加运算时间的情况下极大的提高了分类的准确率和识别外形相近但是颜色不同的物体的能力。
具体实施方式二：本实施方式与具体实施方式一不同的是：步骤二中保留颜色的格式存储的点云按照传统的vfh描述子计算方法计算快速点特征直方图FPFH得到视点相关的特征分量具体为：
步骤二一、扩展快速点特征直方图FPFH，利用整个点云对象估计扩展快速点特征直方图FPFH(对每个特征合理划分区间，统计落入每个区间的点个数生成快速点特征直方图FPFH)；
在计算FPFH时以物体表面点云的中心点与物体表面点云的其他所有点之间的点对作为计算单元，生成FPFH直方图分量；
步骤二二、添加视点方向与每个点估计法线之间额外的统计信息，通过统计视点方向与每个法线之间角度的直方图来计算视点相关的特征分量；
注意：并不是每条法线的视角，因为法线的视角在尺度变换下具有可变性，法线的视角指的是平移视点到查询点后的视点方向和每条法线间的角度。其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是：步骤二二中每个法线的视角指的是平移视点到查询点后的视点方向和每条法线间的角度。其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：步骤四中利用Kd树进行搜索得到分类结果具体为：选择在k-d树中与待识别的物体的查询点距离最近的数据点作为分类结果。其它步骤及参数与具体实施方式一至三之一相同。

Claims (4)

1.基于传统vfh描述子加入颜色信息的点云分类方法，其特征在于，该方法具体是按照以下步骤进行的：
步骤一、获取被识别物体的点云，将点云以保留颜色的格式存储；
步骤二、将保留颜色的格式存储的点云按照传统的vfh描述子计算方法计算快速点特征直方图FPFH得到视点相关的特征分量；
步骤三、根据实际情况划分合适的区间个数，在快速点特征直方图FPFH分量内，对每个区间内的点采集颜色信息，设置阈值，生成颜色直方图，并将颜色直方图取代快速点特征直方图FPFH单个区间的位置；其中，颜色直方图的所有区间内取直方图时均采用相同的阈值和横坐标颜色排序；每个区间都完成后快速点特征直方图FPFH扩展为带有颜色的vfh描述子的特征向量cvfh；
步骤四、将各个待识别物体的cvfh直方图作为样本，在识别阶段，根据样本建立Kd树，对于待识别的物体用Kd树进行搜索得到分类结果。
2.根据权利要求1所述基于传统vfh描述子加入颜色信息的点云分类方法，其特征在于：步骤二中保留颜色的格式存储的点云按照传统的vfh描述子计算方法计算快速点特征直方图FPFH得到视点相关的特征分量具体为：
步骤二一、扩展快速点特征直方图FPFH，利用整个点云对象估计扩展快速点特征直方图FPFH；
在计算FPFH时以物体表面点云的中心点与物体表面点云的其他所有点之间的点对作为计算单元，生成快速点特征直方图FPFH分量；
步骤二二、通过统计视点方向与每个法线之间角度的直方图来计算视点相关的特征分量。
3.根据权利要求1所述基于传统vfh描述子加入颜色信息的点云分类方法，其特征在于：步骤二二中每个法线的视角指的是平移视点到查询点后的视点方向和每条法线间的角度。
4.根据权利要求1所述基于传统vfh描述子加入颜色信息的点云分类方法，其特征在于：步骤四中利用k-d树进行搜索得到分类结果具体为：选择在k-d树中与待识别的物体的查询点距离最近的数据点作为分类结果。
CN201710148764.9A 2017-03-13 2017-03-13 基于传统vfh描述子加入颜色信息的点云分类方法 Active CN106934372B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710148764.9A CN106934372B (zh) 2017-03-13 2017-03-13 基于传统vfh描述子加入颜色信息的点云分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710148764.9A CN106934372B (zh) 2017-03-13 2017-03-13 基于传统vfh描述子加入颜色信息的点云分类方法

Publications (2)

Publication Number Publication Date
CN106934372A CN106934372A (zh) 2017-07-07
CN106934372B true CN106934372B (zh) 2020-05-26

Family

ID=59432999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710148764.9A Active CN106934372B (zh) 2017-03-13 2017-03-13 基于传统vfh描述子加入颜色信息的点云分类方法

Country Status (1)

Country Link
CN (1) CN106934372B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107748890A (zh) * 2017-09-11 2018-03-02 汕头大学 一种基于深度图像的视觉抓取方法、装置及其可读存储介质
CN109191484B (zh) * 2018-09-06 2019-06-21 杭州中科天维科技有限公司 一种从机载激光雷达点云中快速提取平面片的方法
CN110097598B (zh) * 2019-04-11 2021-09-07 暨南大学 一种基于pvfh特征的三维物体位姿估计方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104038752A (zh) * 2014-06-04 2014-09-10 上海师范大学 基于三维高斯混合模型的多视点视频直方图颜色校正
CN104809457A (zh) * 2015-05-26 2015-07-29 牟永敏 一种基于区域化隐函数特征的三维人脸识别方法及系统
CN104950883A (zh) * 2015-05-14 2015-09-30 西安电子科技大学 一种基于距离网格地图的移动机器人路径规划方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9483707B2 (en) * 2015-02-04 2016-11-01 GM Global Technology Operations LLC Method and device for recognizing a known object in a field of view of a three-dimensional machine vision system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104038752A (zh) * 2014-06-04 2014-09-10 上海师范大学 基于三维高斯混合模型的多视点视频直方图颜色校正
CN104950883A (zh) * 2015-05-14 2015-09-30 西安电子科技大学 一种基于距离网格地图的移动机器人路径规划方法
CN104809457A (zh) * 2015-05-26 2015-07-29 牟永敏 一种基于区域化隐函数特征的三维人脸识别方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Compressed VFH descriptor for 3D object classification";Yasir Salih等;《2014 3DTV-Conference》;20140811;第1-4页 *
"Three-Dimensional Object Recognition and Registration for Robotic Grasping Systems Using a Modified Viewpoint Feature Histogram";Chin-Sheng Chen等;《sensors》;20161231;第1-13页 *
"基于三维彩色点云的物体识别算法";吴婷璇等;《电视技术》;20161230;第122-126页 *

Also Published As

Publication number Publication date
CN106934372A (zh) 2017-07-07

Similar Documents

Publication Publication Date Title
CN110264416B (zh) 稀疏点云分割方法及装置
US10824910B2 (en) Image processing method, non-transitory computer readable storage medium and image processing system
CN106875437B (zh) 一种面向rgbd三维重建的关键帧提取方法
CN106934372B (zh) 基于传统vfh描述子加入颜色信息的点云分类方法
CN110188225B (zh) 一种基于排序学习和多元损失的图像检索方法
CN105938622A (zh) 检测运动图像中的物体的方法和装置
CN110047139B (zh) 一种指定目标三维重建方法及系统
CN104850850A (zh) 一种结合形状和颜色的双目立体视觉图像特征提取方法
CN111149108A (zh) 识别对象实例和/或对象的定向的方法
US9323989B2 (en) Tracking device
KR101173559B1 (ko) 비디오 동영상의 움직이는 다중 객체 자동 분할 장치 및 방법
Abubakar Study of image segmentation using thresholding technique on a noisy image
CN107609564B (zh) 基于联合分割和傅里叶描述子库的水下目标图像识别方法
CN104657980A (zh) 一种改进的基于Meanshift的多通道图像分割算法
CN107358189B (zh) 一种基于多视目标提取的室内环境下物体检测方法
CN101986295B (zh) 基于流形稀疏编码的图像聚类的方法
Wang et al. Real-time hand posture recognition based on hand dominant line using kinect
CN109543634B (zh) 定位过程中的数据处理方法、装置、电子设备和存储介质
US20210319576A1 (en) Method for expanding image depth and electronic device
CN110751097A (zh) 一种半监督的三维点云手势关键点检测方法
Shekar et al. Kirsch directional derivatives based shot boundary detection: an efficient and accurate method
CN102629325B (zh) 图像特征提取方法和装置及图像拷贝检测方法和系统
JP2017220098A (ja) 画像処理装置、画像処理方法、画像処理プログラム及び画像認識システム
Liang et al. Egocentric hand pose estimation and distance recovery in a single RGB image
Herrera et al. A novel 2D to 3D video conversion system based on a machine learning approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant