CN107577984A - 一种基于显著性分析的3d对象识别分层方法 - Google Patents
一种基于显著性分析的3d对象识别分层方法 Download PDFInfo
- Publication number
- CN107577984A CN107577984A CN201710582743.8A CN201710582743A CN107577984A CN 107577984 A CN107577984 A CN 107577984A CN 201710582743 A CN201710582743 A CN 201710582743A CN 107577984 A CN107577984 A CN 107577984A
- Authority
- CN
- China
- Prior art keywords
- graphic sequence
- white light
- key point
- sequence
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于显著性分析的3D对象识别分层方法，包括步骤：S1、采集物体对象的红外激光图序列和无激光作用的白光图序列；S2、以所述红外激光图序列和白光图序列为输入，传至由若干不同描述子由上至下建立的分层识别模块中；S3、针对当前层描述子，直接建立代表物体的关键点集；S4、以当前关键点集为目标，计算物体对象在该描述子下的特征，用该特征进行对象的分类识别计算；S5、若无法返回唯一判别结果，则将图序列输送至下一层描述子中并重复步骤S3~S4；S6、若该层描述子的计算返回唯一判别结果时，完成对物体对象分类识别。本发明解决了目前基于RGB‑D图像分类方法的模式识别系统计算量大且计算复杂等问题。
Description
技术领域
本发明涉及计算机图像识别技术领域，特别涉及基于显著性分析的3D对象识别分层方法，属于模式识别与智能检测领域。
背景技术
几乎所有高端智能制造装备如光刻机、贴片机、固晶机、数控机床等均涉及复杂精密的三维位置信息（包括空间三维或二维坐标、旋转角度）检测问题。现有基于解析几何固定坐标系下的相机标定和图像处理技术已不再适用于这些应用场合，迫切需要探索新型视觉图像处理技术和平台，解决复杂环境下海量图像数据的融合与处理问题。
近几年，通过深度图像（或深度信息）来识别三维目标，成为目前图像识别发展的新方向之一。因深度信息仅依赖于物体的几何形状，与物体的亮度和反射等属性无关，所以其使用起来比灰度图更为容易，且由于它可获得深度数据，所以具有普通CCD灰度图处理不具有的优势。
然而，基于深度数据的方法计算量之大是人们所绕不开的问题。尤其当物体的彩色信息也被加进去时，点云数据会由三维增加到四维，即所谓RGB-D数据。
就传统的处理手段，关键点的提取都是先经过三维重构出对象的完整点云，然后对点云上每一个点进行遍历运算得到的。这看上去就像是人们在做大量没必要的重复性的工作。
发明内容
本发明的目的就是解决上述难题，提供一种基于显著性分析的3D对象快速识别分层方法，从而实现有效且快速的对象识别工作。
本发明解决所述难题，采用的技术方案是：
一种基于显著性分析的3D对象识别分层方法，包括以下步骤：
S1、在运动平台的匀速带动下，PC端采集放置于载物台上物体对象的红外激光图序列和无激光作用的白光图序列；
S2 以所述红外激光图序列和白光图序列为输入，传至由若干不同描述子由上至下建立的分层识别模块中；
S3、针对当前层描述子，直接建立代表物体的关键点集，其中每个关键点个都包含物体对象的RGB-D信息；
S4、以当前关键点集为目标，计算物体对象在该描述子下的特征，用该特征进行对象的分类识别计算；
S5、若无法返回唯一判别结果，则将红外激光图序列和白光图序列输送至下一层描述子中并重复步骤S3~ S4；
S6、若该层描述子的计算返回唯一判别结果时，则物体对象的类别由此获得，计算结束，不再往下一层描述子传递图像序列。
作为一种优选方案，所述步骤S1具体包括：
S1.1 运动平台由上位机界面发送指令，下位机相应发送脉冲序列以控制其匀速运动；
S1.2 运动平台控制载物台来回移动两趟，第一躺采集激光作用下物体的红外激光图序列，第二趟采集无激光作用下物体的白光图序列。
作为一种优选方案，除了激光成像部分以外，红外激光图序列和无激光作用的白光图序列的视场范围内信息一致。
作为一种优选方案，所述红外激光图序列为激光发射器正常工作下，物体随运动平台匀速移动过程中，CCD相机所采集的一帧帧图像；所述白光图序列为激光发射器关闭，物体随运动平台匀速移动过程中，CCD相机所采集的一帧帧图像。
作为一种优选方案，步骤S3中，每个关键点所包含的物体对象的RGB-D信息包括关键点的三维坐标和关键点的RGB信息，所述红光图序列可计算出各关键点的三维坐标，所述白光图序列可保存各关键点的RGB信息，从而得出每个关键点都包含的物体对象的RGB-D信息。
本发明相对于现有技术具有如下的有益效果：
本发明基于显著性分析建立代表物体对象的关键点集，不仅跳过物体完整三维点云的构建这一大计算量步骤，也毋用对点云进行遍历检测，直接通过图像处理和简单坐标运算即可得到关键点；考虑到在线工作这一识别系统工作方式，该方法是经济与有效的，解决了目前基于RGB-D图像分类方法的模式识别系统计算量大且计算复杂等问题。
附图说明
图1是本发明实施例中基于显著性分析的3D对象识别分层方法的流程示意图。
具体实施方式
下面结合附图和具体实施例对本发明的发明目的作进一步详细地描述，实施例不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施例。
如图1所示，一种基于显著性分析的3D对象识别分层方法，包括以下步骤：
S1、在运动平台的匀速带动下，PC端采集放置于载物台上物体对象的红外激光图序列和无激光作用的白光图序列；
S2 以所述红外激光图序列和白光图序列为输入，传至由若干不同描述子由上至下建立的分层识别模块中；
S3、针对当前层描述子，直接建立代表物体的关键点集，其中每个关键点个都包含物体对象的RGB-D信息；
S4、以当前关键点集为目标，计算物体对象在该描述子下的特征，用该特征进行对象的分类识别计算；
S5、若无法返回唯一判别结果，则将红外激光图序列和白光图序列输送至下一层描述子中并重复步骤S3~ S4；
S6、若该层描述子的计算返回唯一判别结果时，则物体对象的类别由此获得，计算结束，不再往下一层描述子传递图像序列。
具体而言，本实施例中，所述步骤S1具体包括：
S1.1 运动平台由上位机界面发送指令，下位机相应发送脉冲序列以控制其匀速运动；
S1.2 运动平台控制载物台来回移动两趟，第一躺采集激光作用下物体的红外激光图序列，第二趟采集无激光作用下物体的白光图序列。
除了激光成像部分以外，红外激光图序列和无激光作用的白光图序列的视场范围内信息一致。
具体而言，本实施例中，所述红外激光图序列为激光发射器正常工作下，物体随运动平台匀速移动过程中，CCD相机所采集的一帧帧图像；所述白光图序列为激光发射器关闭，物体随运动平台匀速移动过程中，CCD相机所采集的一帧帧图像。
具体而言，本实施例中，步骤S3中，每个关键点所包含的物体对象的RGB-D信息包括关键点的三维坐标和关键点的RGB信息，所述红光图序列可计算出各关键点的三维坐标，所述白光图序列可保存各关键点的RGB信息，从而得出每个关键点都包含的物体对象的RGB-D信息。
本实施例中，以相机充电器、笔芯盒、瓶盖以及伸缩两种状态下的U盘作为实验对象集，依次建立了类对角线长度、最小包络长方体、物体最高坐标点与最低坐标点的明度信息以及针对物体完整关键点集的PFH (点特征直方图，Point Feature Histograms)特征这四个特征描述子进行测试。
本实施例中的描述子，指的是检测图像的局部特征（比如边缘、角点、轮廓等），然后根据匹配目标的需要进行特征的组合、变换，以形成易于匹配、稳定性好的特征向量，从而把图像匹配问题转化为特征的匹配问题，进而将特征的匹配问题转化为特征空间特征向量的聚类问题。
本实施例中的描述子一为类对角线长度，以物体相距最远两关键点间距离作为特征，可将长度区别较大的物体区分开来。
本实施例中的描述子二为最小包络长方体，通过求取能囊括物体完整关键点集的最小长方体，以该长方体的长宽高作为特征，可将形状区别度较大的物体区分开来。
本实施例中的描述子三为物体最高坐标点与最低坐标点的明度信息，利用这两点在白光图中对应的色彩空间信息作为特征，可将形状相似的物体加以区分。
本实施例中的描述子四为针对物体完整关键点集的PFH特征，通过对物体完整关键点集计算的该特征向量，能将上述三个描述子无法区分开来的物体对象们加以识别。
本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (5)
1.一种基于显著性分析的3D对象识别分层方法，其特征在于，包括以下步骤：
S1、在运动平台的匀速带动下，PC端采集放置于载物台上物体对象的红外激光图序列和无激光作用的白光图序列；
S2 以所述红外激光图序列和白光图序列为输入，传至由若干不同描述子由上至下建立的分层识别模块中；
S3、针对当前层描述子，直接建立代表物体的关键点集，其中每个关键点个都包含物体对象的RGB-D信息；
S4、以当前关键点集为目标，计算物体对象在该描述子下的特征，用该特征进行对象的分类识别计算；
S5、若无法返回唯一判别结果，则将红外激光图序列和白光图序列输送至下一层描述子中并重复步骤S3~ S4；
S6、若该层描述子的计算返回唯一判别结果时，则物体对象的类别由此获得，计算结束，不再往下一层描述子传递图像序列。
2.根据权利要求1所述的基于显著性分析的3D对象识别分层方法，其特征在于，所述步骤S1具体包括：
S1.1 运动平台由上位机界面发送指令，下位机相应发送脉冲序列以控制其匀速运动；
S1.2 运动平台控制载物台来回移动两趟，第一躺采集激光作用下物体的红外激光图序列，第二趟采集无激光作用下物体的白光图序列。
3.根据权利要求1所述的基于显著性分析的3D对象识别分层方法，其特征在于，除了激光成像部分以外，红外激光图序列和无激光作用的白光图序列的视场范围内信息一致。
4.根据权利要求1所述的基于显著性分析的3D对象识别分层方法，其特征在于，所述红外激光图序列为激光发射器正常工作下，物体随运动平台匀速移动过程中，CCD相机所采集的一帧帧图像；所述白光图序列为激光发射器关闭，物体随运动平台匀速移动过程中，CCD相机所采集的一帧帧图像。
5.根据权利要求1所述的基于显著性分析的3D对象识别分层方法，其特征在于，步骤S3中，每个关键点所包含的物体对象的RGB-D信息包括关键点的三维坐标和关键点的RGB信息，所述红光图序列可计算出各关键点的三维坐标，所述白光图序列可保存各关键点的RGB信息，从而得出每个关键点都包含的物体对象的RGB-D信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710582743.8A CN107577984A (zh) | 2017-07-17 | 2017-07-17 | 一种基于显著性分析的3d对象识别分层方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710582743.8A CN107577984A (zh) | 2017-07-17 | 2017-07-17 | 一种基于显著性分析的3d对象识别分层方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107577984A true CN107577984A (zh) | 2018-01-12 |
Family
ID=61050105
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710582743.8A Pending CN107577984A (zh) | 2017-07-17 | 2017-07-17 | 一种基于显著性分析的3d对象识别分层方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107577984A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109344750A (zh) * | 2018-09-20 | 2019-02-15 | 浙江工业大学 | 一种基于结构描述子的复杂结构三维对象识别方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106651958A (zh) * | 2016-11-02 | 2017-05-10 | 华南理工大学 | 一种移动物体的对象识别装置及方法 |
-
2017
- 2017-07-17 CN CN201710582743.8A patent/CN107577984A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106651958A (zh) * | 2016-11-02 | 2017-05-10 | 华南理工大学 | 一种移动物体的对象识别装置及方法 |
Non-Patent Citations (3)
| Title |
|---|
| KEVIN LAI等: "A large-scale hierarchical multi-view RGB-D object dataset", 《2011 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION》 * |
| KHALED ALHAMZI 等: "3D Object Recognition Based on Local and Global Features Using Point Cloud Library", 《INTERNATIONAL JOURNAL OF ADVANCEMENTS IN COMPUTING TECHNOLOGY》 * |
| VICENTE M. A.等: "Objects recognition by means of projective invariants considering corner-points", 《JOURNAL OF WSCG》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109344750A (zh) * | 2018-09-20 | 2019-02-15 | 浙江工业大学 | 一种基于结构描述子的复杂结构三维对象识别方法 |
| CN109344750B (zh) * | 2018-09-20 | 2021-10-22 | 浙江工业大学 | 一种基于结构描述子的复杂结构三维对象识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110425005B (zh) | 矿井下皮带运输人员人机交互行为安全监控与预警方法 | |
| CN111340797A (zh) | 一种激光雷达与双目相机数据融合检测方法及系统 | |
| CN109102547A (zh) | 基于物体识别深度学习模型的机器人抓取位姿估计方法 | |
| CN104835175B (zh) | 一种基于视觉注意机制的核环境中目标检测方法 | |
| CN104794737B (zh) | 一种深度信息辅助粒子滤波跟踪方法 | |
| CN105046710A (zh) | 基于深度图分割与代理几何体的虚实碰撞交互方法及装置 | |
| CN105069751B (zh) | 一种深度图像缺失数据的插值方法 | |
| CN104035557B (zh) | 一种基于关节活跃度的Kinect动作识别方法 | |
| Burgin et al. | Using depth information to improve face detection | |
| CN108573231B (zh) | 基于运动历史点云生成的深度运动图的人体行为识别方法 | |
| CN108182706B (zh) | 一种焚烧物的监控方法及系统 | |
| CN111906782B (zh) | 一种基于三维视觉的智能机器人抓取方法 | |
| CN101853399A (zh) | 利用计算机视觉技术进行盲道和人行横道实时检测的方法 | |
| CN106503170B (zh) | 一种基于遮挡维度的图像库构建方法 | |
| WO2022095514A1 (zh) | 图像检测方法、装置、电子设备及存储介质 | |
| CN109670517A (zh) | 目标检测方法、装置、电子设备和目标检测模型 | |
| CN114639115B (zh) | 一种人体关键点与激光雷达融合的3d行人检测方法 | |
| JP2016014954A (ja) | 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。 | |
| CN112288809B (zh) | 一种用于多物体复杂场景的机器人抓取检测方法 | |
| CN115816460A (zh) | 一种基于深度学习目标检测与图像分割的机械手抓取方法 | |
| CN103759724B (zh) | 一种基于灯饰特征的室内导航方法及系统 | |
| CN106599776A (zh) | 一种基于轨迹分析的人数统计方法 | |
| CN116630267A (zh) | 基于无人机与激光雷达数据融合的路基沉降监测方法 | |
| CN108876819A (zh) | 一种基于泊松多伯努利滤波的三维多目标追踪算法 | |
| Shi et al. | Cobev: Elevating roadside 3d object detection with depth and height complementarity |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180112 |
|
| RJ01 | Rejection of invention patent application after publication |