CN107577984A - 一种基于显著性分析的3d对象识别分层方法 - Google Patents
一种基于显著性分析的3d对象识别分层方法 Download PDFInfo
- Publication number
- CN107577984A CN107577984A CN201710582743.8A CN201710582743A CN107577984A CN 107577984 A CN107577984 A CN 107577984A CN 201710582743 A CN201710582743 A CN 201710582743A CN 107577984 A CN107577984 A CN 107577984A
- Authority
- CN
- China
- Prior art keywords
- image sequence
- key point
- descriptor
- white light
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000004458 analytical method Methods 0.000 title claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 230000009471 action Effects 0.000 claims abstract description 13
- 238000012546 transfer Methods 0.000 claims abstract description 4
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 claims description 3
- 238000003909 pattern recognition Methods 0.000 abstract description 3
- 238000001444 catalytic combustion detection Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000001459 lithography Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于显著性分析的3D对象识别分层方法，包括步骤：S1、采集物体对象的红外激光图序列和无激光作用的白光图序列；S2、以所述红外激光图序列和白光图序列为输入，传至由若干不同描述子由上至下建立的分层识别模块中；S3、针对当前层描述子，直接建立代表物体的关键点集；S4、以当前关键点集为目标，计算物体对象在该描述子下的特征，用该特征进行对象的分类识别计算；S5、若无法返回唯一判别结果，则将图序列输送至下一层描述子中并重复步骤S3~S4；S6、若该层描述子的计算返回唯一判别结果时，完成对物体对象分类识别。本发明解决了目前基于RGB‑D图像分类方法的模式识别系统计算量大且计算复杂等问题。
Description
技术领域
本发明涉及计算机图像识别技术领域，特别涉及基于显著性分析的3D对象识别分层方法，属于模式识别与智能检测领域。
背景技术
几乎所有高端智能制造装备如光刻机、贴片机、固晶机、数控机床等均涉及复杂精密的三维位置信息（包括空间三维或二维坐标、旋转角度）检测问题。现有基于解析几何固定坐标系下的相机标定和图像处理技术已不再适用于这些应用场合，迫切需要探索新型视觉图像处理技术和平台，解决复杂环境下海量图像数据的融合与处理问题。
近几年，通过深度图像（或深度信息）来识别三维目标，成为目前图像识别发展的新方向之一。因深度信息仅依赖于物体的几何形状，与物体的亮度和反射等属性无关，所以其使用起来比灰度图更为容易，且由于它可获得深度数据，所以具有普通CCD灰度图处理不具有的优势。
然而，基于深度数据的方法计算量之大是人们所绕不开的问题。尤其当物体的彩色信息也被加进去时，点云数据会由三维增加到四维，即所谓RGB-D数据。
就传统的处理手段，关键点的提取都是先经过三维重构出对象的完整点云，然后对点云上每一个点进行遍历运算得到的。这看上去就像是人们在做大量没必要的重复性的工作。
发明内容
本发明的目的就是解决上述难题，提供一种基于显著性分析的3D对象快速识别分层方法，从而实现有效且快速的对象识别工作。
本发明解决所述难题，采用的技术方案是：
一种基于显著性分析的3D对象识别分层方法，包括以下步骤：
S1、在运动平台的匀速带动下，PC端采集放置于载物台上物体对象的红外激光图序列和无激光作用的白光图序列；
S2 以所述红外激光图序列和白光图序列为输入，传至由若干不同描述子由上至下建立的分层识别模块中；
S3、针对当前层描述子，直接建立代表物体的关键点集，其中每个关键点个都包含物体对象的RGB-D信息；
S4、以当前关键点集为目标，计算物体对象在该描述子下的特征，用该特征进行对象的分类识别计算；
S5、若无法返回唯一判别结果，则将红外激光图序列和白光图序列输送至下一层描述子中并重复步骤S3~ S4；
S6、若该层描述子的计算返回唯一判别结果时，则物体对象的类别由此获得，计算结束，不再往下一层描述子传递图像序列。
作为一种优选方案，所述步骤S1具体包括：
S1.1 运动平台由上位机界面发送指令，下位机相应发送脉冲序列以控制其匀速运动；
S1.2 运动平台控制载物台来回移动两趟，第一躺采集激光作用下物体的红外激光图序列，第二趟采集无激光作用下物体的白光图序列。
作为一种优选方案，除了激光成像部分以外，红外激光图序列和无激光作用的白光图序列的视场范围内信息一致。
作为一种优选方案，所述红外激光图序列为激光发射器正常工作下，物体随运动平台匀速移动过程中，CCD相机所采集的一帧帧图像；所述白光图序列为激光发射器关闭，物体随运动平台匀速移动过程中，CCD相机所采集的一帧帧图像。
作为一种优选方案，步骤S3中，每个关键点所包含的物体对象的RGB-D信息包括关键点的三维坐标和关键点的RGB信息，所述红光图序列可计算出各关键点的三维坐标，所述白光图序列可保存各关键点的RGB信息，从而得出每个关键点都包含的物体对象的RGB-D信息。
本发明相对于现有技术具有如下的有益效果：
本发明基于显著性分析建立代表物体对象的关键点集，不仅跳过物体完整三维点云的构建这一大计算量步骤，也毋用对点云进行遍历检测，直接通过图像处理和简单坐标运算即可得到关键点；考虑到在线工作这一识别系统工作方式，该方法是经济与有效的，解决了目前基于RGB-D图像分类方法的模式识别系统计算量大且计算复杂等问题。
附图说明
图1是本发明实施例中基于显著性分析的3D对象识别分层方法的流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明的发明目的作进一步详细地描述，实施例不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施例。
如图1所示，一种基于显著性分析的3D对象识别分层方法，包括以下步骤：
S1、在运动平台的匀速带动下，PC端采集放置于载物台上物体对象的红外激光图序列和无激光作用的白光图序列；
S2 以所述红外激光图序列和白光图序列为输入，传至由若干不同描述子由上至下建立的分层识别模块中；
S3、针对当前层描述子，直接建立代表物体的关键点集，其中每个关键点个都包含物体对象的RGB-D信息；
S4、以当前关键点集为目标，计算物体对象在该描述子下的特征，用该特征进行对象的分类识别计算；
S5、若无法返回唯一判别结果，则将红外激光图序列和白光图序列输送至下一层描述子中并重复步骤S3~ S4；
S6、若该层描述子的计算返回唯一判别结果时，则物体对象的类别由此获得，计算结束，不再往下一层描述子传递图像序列。
具体而言，本实施例中，所述步骤S1具体包括：
S1.1 运动平台由上位机界面发送指令，下位机相应发送脉冲序列以控制其匀速运动；
S1.2 运动平台控制载物台来回移动两趟，第一躺采集激光作用下物体的红外激光图序列，第二趟采集无激光作用下物体的白光图序列。
除了激光成像部分以外，红外激光图序列和无激光作用的白光图序列的视场范围内信息一致。
具体而言，本实施例中，所述红外激光图序列为激光发射器正常工作下，物体随运动平台匀速移动过程中，CCD相机所采集的一帧帧图像；所述白光图序列为激光发射器关闭，物体随运动平台匀速移动过程中，CCD相机所采集的一帧帧图像。
具体而言，本实施例中，步骤S3中，每个关键点所包含的物体对象的RGB-D信息包括关键点的三维坐标和关键点的RGB信息，所述红光图序列可计算出各关键点的三维坐标，所述白光图序列可保存各关键点的RGB信息，从而得出每个关键点都包含的物体对象的RGB-D信息。
本实施例中，以相机充电器、笔芯盒、瓶盖以及伸缩两种状态下的U盘作为实验对象集，依次建立了类对角线长度、最小包络长方体、物体最高坐标点与最低坐标点的明度信息以及针对物体完整关键点集的PFH (点特征直方图，Point Feature Histograms)特征这四个特征描述子进行测试。
本实施例中的描述子，指的是检测图像的局部特征（比如边缘、角点、轮廓等），然后根据匹配目标的需要进行特征的组合、变换，以形成易于匹配、稳定性好的特征向量，从而把图像匹配问题转化为特征的匹配问题，进而将特征的匹配问题转化为特征空间特征向量的聚类问题。
本实施例中的描述子一为类对角线长度，以物体相距最远两关键点间距离作为特征，可将长度区别较大的物体区分开来。
本实施例中的描述子二为最小包络长方体，通过求取能囊括物体完整关键点集的最小长方体，以该长方体的长宽高作为特征，可将形状区别度较大的物体区分开来。
本实施例中的描述子三为物体最高坐标点与最低坐标点的明度信息，利用这两点在白光图中对应的色彩空间信息作为特征，可将形状相似的物体加以区分。
本实施例中的描述子四为针对物体完整关键点集的PFH特征，通过对物体完整关键点集计算的该特征向量，能将上述三个描述子无法区分开来的物体对象们加以识别。
本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (5)
1.一种基于显著性分析的3D对象识别分层方法，其特征在于，包括以下步骤：
S1、在运动平台的匀速带动下，PC端采集放置于载物台上物体对象的红外激光图序列和无激光作用的白光图序列；
S2 以所述红外激光图序列和白光图序列为输入，传至由若干不同描述子由上至下建立的分层识别模块中；
S3、针对当前层描述子，直接建立代表物体的关键点集，其中每个关键点个都包含物体对象的RGB-D信息；
S4、以当前关键点集为目标，计算物体对象在该描述子下的特征，用该特征进行对象的分类识别计算；
S5、若无法返回唯一判别结果，则将红外激光图序列和白光图序列输送至下一层描述子中并重复步骤S3~ S4；
S6、若该层描述子的计算返回唯一判别结果时，则物体对象的类别由此获得，计算结束，不再往下一层描述子传递图像序列。
2.根据权利要求1所述的基于显著性分析的3D对象识别分层方法，其特征在于，所述步骤S1具体包括：
S1.1 运动平台由上位机界面发送指令，下位机相应发送脉冲序列以控制其匀速运动；
S1.2 运动平台控制载物台来回移动两趟，第一躺采集激光作用下物体的红外激光图序列，第二趟采集无激光作用下物体的白光图序列。
3.根据权利要求1所述的基于显著性分析的3D对象识别分层方法，其特征在于，除了激光成像部分以外，红外激光图序列和无激光作用的白光图序列的视场范围内信息一致。
4.根据权利要求1所述的基于显著性分析的3D对象识别分层方法，其特征在于，所述红外激光图序列为激光发射器正常工作下，物体随运动平台匀速移动过程中，CCD相机所采集的一帧帧图像；所述白光图序列为激光发射器关闭，物体随运动平台匀速移动过程中，CCD相机所采集的一帧帧图像。
5.根据权利要求1所述的基于显著性分析的3D对象识别分层方法，其特征在于，步骤S3中，每个关键点所包含的物体对象的RGB-D信息包括关键点的三维坐标和关键点的RGB信息，所述红光图序列可计算出各关键点的三维坐标，所述白光图序列可保存各关键点的RGB信息，从而得出每个关键点都包含的物体对象的RGB-D信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710582743.8A CN107577984A (zh) | 2017-07-17 | 2017-07-17 | 一种基于显著性分析的3d对象识别分层方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710582743.8A CN107577984A (zh) | 2017-07-17 | 2017-07-17 | 一种基于显著性分析的3d对象识别分层方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107577984A true CN107577984A (zh) | 2018-01-12 |
Family
ID=61050105
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710582743.8A Pending CN107577984A (zh) | 2017-07-17 | 2017-07-17 | 一种基于显著性分析的3d对象识别分层方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107577984A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109344750A (zh) * | 2018-09-20 | 2019-02-15 | 浙江工业大学 | 一种基于结构描述子的复杂结构三维对象识别方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106651958A (zh) * | 2016-11-02 | 2017-05-10 | 华南理工大学 | 一种移动物体的对象识别装置及方法 |
-
2017
- 2017-07-17 CN CN201710582743.8A patent/CN107577984A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106651958A (zh) * | 2016-11-02 | 2017-05-10 | 华南理工大学 | 一种移动物体的对象识别装置及方法 |
Non-Patent Citations (3)
| Title |
|---|
| KEVIN LAI等: "A large-scale hierarchical multi-view RGB-D object dataset", 《2011 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION》 * |
| KHALED ALHAMZI 等: "3D Object Recognition Based on Local and Global Features Using Point Cloud Library", 《INTERNATIONAL JOURNAL OF ADVANCEMENTS IN COMPUTING TECHNOLOGY》 * |
| VICENTE M. A.等: "Objects recognition by means of projective invariants considering corner-points", 《JOURNAL OF WSCG》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109344750A (zh) * | 2018-09-20 | 2019-02-15 | 浙江工业大学 | 一种基于结构描述子的复杂结构三维对象识别方法 |
| CN109344750B (zh) * | 2018-09-20 | 2021-10-22 | 浙江工业大学 | 一种基于结构描述子的复杂结构三维对象识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Du et al. | Vision-based robotic grasping from object localization, object pose estimation to grasp estimation for parallel grippers: a review | |
| CN112476434B (zh) | 一种基于协作机器人的视觉3d取放方法及系统 | |
| CN109255813B (zh) | 一种面向人机协作的手持物体位姿实时检测方法 | |
| CN114952809B (zh) | 工件识别和位姿检测方法、系统及机械臂的抓取控制方法 | |
| US9478035B2 (en) | 2D/3D localization and pose estimation of harness cables using a configurable structure representation for robot operations | |
| CN110211180A (zh) | 一种基于深度学习的机械臂自主抓取方法 | |
| EP3258441B1 (en) | Template creation device and template creation method | |
| US20230368414A1 (en) | Pick and place systems and methods | |
| Li et al. | Automated visual positioning and precision placement of a workpiece using deep learning | |
| CN106251353A (zh) | 弱纹理工件及其三维位姿的识别检测方法及系统 | |
| CN115816460A (zh) | 一种基于深度学习目标检测与图像分割的机械手抓取方法 | |
| CN108917593A (zh) | 一种基于待测工件基元组态的智能测量系统及方法 | |
| CN115082559B (zh) | 一种柔性件的多目标智能分拣方法、系统及存储介质 | |
| JP7261306B2 (ja) | 情報処理装置、設定装置、画像認識システム、ロボットシステム、設定方法、学習装置、及び学習済みモデルの生成方法 | |
| CN110281231A (zh) | 无人化fdm增材制造的移动机器人三维视觉抓取方法 | |
| CN116168387A (zh) | 用于物体检测的系统和方法 | |
| Blank et al. | 6DoF pose-estimation pipeline for texture-less industrial components in bin picking applications | |
| CN114612786A (zh) | 一种障碍物检测方法、移动机器人及机器可读存储介质 | |
| JP7365567B2 (ja) | 計測システム、計測装置、計測方法及び計測プログラム | |
| JP3144400B2 (ja) | ジェスチャ認識装置及び方法 | |
| JP2011174891A (ja) | 位置姿勢計測装置、位置姿勢計測方法、及びプログラム | |
| CN107577984A (zh) | 一种基于显著性分析的3d对象识别分层方法 | |
| CN114187312A (zh) | 目标物的抓取方法、装置、系统、存储介质及设备 | |
| CN115082567A (zh) | 一种目标检测样本自动采集标注方法、系统及介质 | |
| CN113642483A (zh) | 一种基于Kinect相机的智能机器人识别跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180112 |