CN109495732A - 一种3d成像视觉引导系统 - Google Patents

一种3d成像视觉引导系统 Download PDF

Info

Publication number
CN109495732A
CN109495732A CN201811284401.9A CN201811284401A CN109495732A CN 109495732 A CN109495732 A CN 109495732A CN 201811284401 A CN201811284401 A CN 201811284401A CN 109495732 A CN109495732 A CN 109495732A
Authority
CN
China
Prior art keywords
image
module
depth
imaging
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811284401.9A
Other languages
English (en)
Inventor
孙怀启
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunshan Rui Lide Software Technology Co Ltd
Original Assignee
Kunshan Rui Lide Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunshan Rui Lide Software Technology Co Ltd filed Critical Kunshan Rui Lide Software Technology Co Ltd
Priority to CN201811284401.9A priority Critical patent/CN109495732A/zh
Publication of CN109495732A publication Critical patent/CN109495732A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种3D成像视觉引导系统，深度与RGB图像获取模块、立体成像模块、图像匹配模块、三维空间重构模块、目标物辨识模块、坐标输出模块。本发明提供的一种3D成像视觉引导系统，完成目标识别并输出追踪信息，实现室内导航、寻物以及复杂环境下的小空间搜救任务，本设计实现了匹配优化，使得引导结果更好。

Description

一种3D成像视觉引导系统
技术领域
本发明涉及一种3D成像视觉引导系统，属于图像重构处理技术领域。
背景技术
目前，对于室内环境的范围测控技术主要停留在利用较为简单的距离传感器阶段。例如超声波传感器、红外线传感器等，这几种传感仪器虽然设计较为简单，但却具有精度不高、反馈信息量小等无法忽视问题。
现有视觉引导技术主要采用研究较成熟的二维平面导航，这种技术不足以满足很多实用需求，无法用于复杂地质环境室内环境搜救、近距离打击等任务。
发明内容
目的：为了克服现有技术中存在的不足，本发明提供一种3D成像视觉引导系统。
技术方案：为解决上述技术问题，本发明采用的技术方案为：
一种3D成像视觉引导系统，包括：深度与RGB图像获取模块、立体成像模块、图像匹配模块、三维空间重构模块、目标物辨识模块、坐标输出模块。
作为优选方案，所述深度与RGB图像获取模块，用于采用景深摄像头以及RGB摄像头，模式定义为640x320，每秒30帧获得图像调用OpenNI函数最终获取图像信息。
作为优选方案，所述立体成像模块，用于采用双目立体成像方法对景深摄像头以及RGB摄像头获取图像信息进行像素匹配。
作为优选方案，所述图像匹配模块，用于利用极点极线的方法，对极几何运算后得到左投影面内坐标到右投影面的转换矩阵，将景深摄像头获得像素与RGB摄像头获得像素进行重合。
作为优选方案，所述三维空间重构模块，用于将景深摄像头、RGB摄像头得的像素信息，一一对应，再对深度信息进行中值滤波．然后在OpenGL缓冲区绘制所有点的坐标，最后在每个有效点上赋予其对应的纹理参数，再结合鼠标响应就能多角度观察三维环境。
作为优选方案，所述目标物辨识模块，用于将采集的RGB图像转化为灰度图像，在图像处理过程中因采集的三通道RGB图像，应用OpenCV函数处理对象为灰度图像；依据窗口尺寸要求调整图像大小；对灰度图像进行直方图均衡；对均衡过的灰度图像采用Haar分类器进行模式识别；在图中标注识别结果，对于识别出的目标物，在灰度图像上以相应尺寸的正方形标出。
作为优选方案，所述坐标输出模块，用于以识别效果中的矩形区域为参考对象，选取景深图像对应的矩形区域中心5x5的方形采样区；发景深图像的像素信息为图像坐标，将图像坐标转换为相对摄像头的实际空间坐标，获得每个像素点的相对镜头的真实空间坐标；计算采样区所有像素点的深度均值，将与均值相差超20%的噪点剔除，计算剩余正常像素点的深度均值Z；计算剩余正常像素点其余方向的坐标均值X、Y；获得目标物在相对镜头的空间坐标系中的坐标(X，Y，Z)并向控制台输出。
有益效果：本发明提供的一种3D成像视觉引导系统，完成目标识别并输出追踪信息，实现室内导航、寻物以及复杂环境下的小空间搜救任务，本设计实现了匹配优化，使得引导结果更好。
附图说明
图1为本发明的结构示意图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
如图1所示，一种3D成像视觉引导系统，包括：深度与RGB图像获取模块、立体成像模块、图像匹配模块、三维空间重构模块、目标物辨识模块、坐标输出模块。
所述深度与RGB图像获取模块，用于采用景深摄像头以及RGB摄像头，模式定义为640x320，每秒30帧获得图像调用OpenNI函数最终获取图像信息。
所述立体成像模块，用于采用双目立体成像方法对景深摄像头以及RGB摄像头获取图像信息进行像素匹配。
所述图像匹配模块，用于利用极点极线的方法，对极几何运算后得到左投影面内坐标到右投影面的转换矩阵，将景深摄像头获得像素与RGB摄像头获得像素进行重合。
所述三维空间重构模块，用于将景深摄像头、RGB摄像头得的像素信息，一一对应，再对深度信息进行中值滤波．然后在OpenGL缓冲区绘制所有点的坐标，最后在每个有效点上赋予其对应的纹理参数，再结合鼠标响应就能多角度观察三维环境。
所述目标物辨识模块，用于将采集的RGB图像转化为灰度图像，在图像处理过程中因采集的三通道RGB图像，应用OpenCV函数处理对象为灰度图像；依据窗口尺寸要求调整图像大小；对灰度图像进行直方图均衡；对均衡过的灰度图像采用Haar分类器进行模式识别；在图中标注识别结果，对于识别出的目标物，在灰度图像上以相应尺寸的正方形标出。
所述坐标输出模块，用于以识别效果中的矩形区域为参考对象，选取景深图像对应的矩形区域中心5x5的方形采样区；发景深图像的像素信息为图像(或投影)坐标，将图像坐标转换为相对摄像头的实际空间坐标，获得每个像素点的相对镜头的真实空间坐标；计算采样区所有像素点的深度均值，将与均值相差超20%的噪点剔除，计算剩余正常像素点的深度均值Z；计算剩余正常像素点其余方向的坐标均值X、Y；获得目标物在相对镜头的空间坐标系中的坐标(X，Y，Z)并向控制台输出。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种3D成像视觉引导系统，其特征在于：包括：深度与RGB图像获取模块、立体成像模块、图像匹配模块、三维空间重构模块、目标物辨识模块、坐标输出模块。
2.根据权利要求1所述的一种3D成像视觉引导系统，其特征在于：所述深度与RGB图像获取模块，用于采用景深摄像头以及RGB摄像头，模式定义为640x320，每秒30帧获得图像调用OpenNI函数最终获取图像信息。
3.根据权利要求1所述的一种3D成像视觉引导系统，其特征在于：所述立体成像模块，用于采用双目立体成像方法对景深摄像头以及RGB摄像头获取图像信息进行像素匹配。
4.根据权利要求1所述的一种3D成像视觉引导系统，其特征在于：所述图像匹配模块，用于利用极点极线的方法，对极几何运算后得到左投影面内坐标到右投影面的转换矩阵，将景深摄像头获得像素与RGB摄像头获得像素进行重合。
5.根据权利要求1所述的一种3D成像视觉引导系统，其特征在于：所述三维空间重构模块，用于将景深摄像头、RGB摄像头得的像素信息，一一对应，再对深度信息进行中值滤波．然后在OpenGL缓冲区绘制所有点的坐标，最后在每个有效点上赋予其对应的纹理参数，再结合鼠标响应就能多角度观察三维环境。
6.根据权利要求1所述的一种3D成像视觉引导系统，其特征在于：所述目标物辨识模块，用于将采集的RGB图像转化为灰度图像，在图像处理过程中因采集的三通道RGB图像，应用OpenCV函数处理对象为灰度图像；依据窗口尺寸要求调整图像大小；对灰度图像进行直方图均衡；对均衡过的灰度图像采用Haar分类器进行模式识别；在图中标注识别结果，对于识别出的目标物，在灰度图像上以相应尺寸的正方形标出。
7.根据权利要求1所述的一种3D成像视觉引导系统，其特征在于：所述坐标输出模块，用于以识别效果中的矩形区域为参考对象，选取景深图像对应的矩形区域中心5x5的方形采样区；发景深图像的像素信息为图像坐标，将图像坐标转换为相对摄像头的实际空间坐标，获得每个像素点的相对镜头的真实空间坐标；计算采样区所有像素点的深度均值，将与均值相差超20%的噪点剔除，计算剩余正常像素点的深度均值Z；计算剩余正常像素点其余方向的坐标均值X、Y；获得目标物在相对镜头的空间坐标系中的坐标(X，Y，Z)并向控制台输出。
CN201811284401.9A 2018-10-31 2018-10-31 一种3d成像视觉引导系统 Pending CN109495732A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811284401.9A CN109495732A (zh) 2018-10-31 2018-10-31 一种3d成像视觉引导系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811284401.9A CN109495732A (zh) 2018-10-31 2018-10-31 一种3d成像视觉引导系统

Publications (1)

Publication Number Publication Date
CN109495732A true CN109495732A (zh) 2019-03-19

Family

ID=65692070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811284401.9A Pending CN109495732A (zh) 2018-10-31 2018-10-31 一种3d成像视觉引导系统

Country Status (1)

Country Link
CN (1) CN109495732A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111354031A (zh) * 2020-03-16 2020-06-30 浙江一木智能科技有限公司 基于深度学习的3d视觉引导系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164695A (zh) * 2013-02-26 2013-06-19 中国农业大学 一种基于多源图像信息融合的果实识别方法
US20150022669A1 (en) * 2013-07-17 2015-01-22 Microsoft Corporation Real-time registration of a stereo depth camera array
CN104484648A (zh) * 2014-11-27 2015-04-01 浙江工业大学 基于轮廓识别的机器人可变视角障碍物检测方法
CN105303549A (zh) * 2015-06-29 2016-02-03 北京格灵深瞳信息技术有限公司 一种确定视频图像中被测对象间位置关系的方法及装置
CN108536157A (zh) * 2018-05-22 2018-09-14 上海迈陆海洋科技发展有限公司 一种智能水下机器人及其系统、物标跟踪方法
CN108564018A (zh) * 2018-04-04 2018-09-21 北京天目智联科技有限公司 一种基于红外拍照的生物特征3d四维数据识别方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103164695A (zh) * 2013-02-26 2013-06-19 中国农业大学 一种基于多源图像信息融合的果实识别方法
US20150022669A1 (en) * 2013-07-17 2015-01-22 Microsoft Corporation Real-time registration of a stereo depth camera array
CN104484648A (zh) * 2014-11-27 2015-04-01 浙江工业大学 基于轮廓识别的机器人可变视角障碍物检测方法
CN105303549A (zh) * 2015-06-29 2016-02-03 北京格灵深瞳信息技术有限公司 一种确定视频图像中被测对象间位置关系的方法及装置
CN108564018A (zh) * 2018-04-04 2018-09-21 北京天目智联科技有限公司 一种基于红外拍照的生物特征3d四维数据识别方法及系统
CN108536157A (zh) * 2018-05-22 2018-09-14 上海迈陆海洋科技发展有限公司 一种智能水下机器人及其系统、物标跟踪方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111354031A (zh) * 2020-03-16 2020-06-30 浙江一木智能科技有限公司 基于深度学习的3d视觉引导系统

Similar Documents

Publication Publication Date Title
CN109934848B (zh) 一种基于深度学习的运动物体精准定位的方法
CN107688391B (zh) 一种基于单目视觉的手势识别方法和装置
CN105866790B (zh) 一种考虑激光发射强度的激光雷达障碍物识别方法及系统
CN105716539B (zh) 一种快速高精度的三维形面测量方法
CN103530599B (zh) 一种真实人脸和图片人脸的区别方法和系统
CN106826815A (zh) 基于彩色图像与深度图像的目标物体识别与定位的方法
CN109048926A (zh) 一种基于立体视觉的机器人智能避障系统及方法
CN107103277B (zh) 一种基于深度相机和3d卷积神经网络的步态识别方法
CN111932678B (zh) 多视点实时人体运动、手势、表情、纹理重建系统
CN110443898A (zh) 一种基于深度学习的ar智能终端目标识别系统及方法
CN107239748A (zh) 基于棋盘格标定技术的机器人目标识别与定位方法
CN106056053A (zh) 基于骨骼特征点提取的人体姿势识别方法
CN105225230A (zh) 一种识别前景目标对象的方法及装置
CN112801074B (zh) 一种基于交通摄像头的深度图估计方法
CN105930795A (zh) 一种基于人体骨骼关节点间空间向量的行走状态识别方法
CN106874884A (zh) 基于部位分割的人体再识别方法
CN106503605A (zh) 基于立体视觉技术的人体目标识别方法
CN103971379B (zh) 基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法
CN110189294A (zh) 基于深度可信度分析的rgb-d图像显著性检测方法
CN110021029A (zh) 一种适用于rgbd-slam的实时动态配准方法及存储介质
CN108171753A (zh) 基于形心特征点与邻域灰度互相关性的立体视觉定位方法
CN109241822A (zh) 一种基于mtcnn的多方位人脸检测方法及系统
CN109443319A (zh) 基于单目视觉的障碍物测距系统及其测距方法
CN109495732A (zh) 一种3d成像视觉引导系统
CN117218192A (zh) 一种基于深度学习与合成数据的弱纹理物体位姿估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190319

RJ01 Rejection of invention patent application after publication