CN107543531A - 一种机器人视觉定位系统 - Google Patents
一种机器人视觉定位系统 Download PDFInfo
- Publication number
- CN107543531A CN107543531A CN201710709752.9A CN201710709752A CN107543531A CN 107543531 A CN107543531 A CN 107543531A CN 201710709752 A CN201710709752 A CN 201710709752A CN 107543531 A CN107543531 A CN 107543531A
- Authority
- CN
- China
- Prior art keywords
- module
- video
- robot
- frame
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 29
- 230000004888 barrier function Effects 0.000 claims abstract description 14
- 230000004807 localization Effects 0.000 claims description 6
- 239000013589 supplement Substances 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 4
- 238000009434 installation Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 2
- 230000008901 benefit Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Manipulator (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种机器人视觉定位系统，包括视频采集模块、视频角度调整模块、数据处理模块、三维重构模块、坐标标定模块、路线输出模块、机器人驱动模块。本发明通过kinect深度传感器进行目标位置深度图像、障碍物深度图像的获取以及三维图像的重构，然后通过在三维图像内的目标位置和障碍物的坐标定位以及机器人的实时定位数据进行目标路线的输出，实现了目标路线的实时更新，提高了定位结果的精确度；经实验可知，利用Kinect传感器采集的不同的深度图像完成目标物体的三维重建，仅需要48s，并且得到非常精细的重建效果，大大提高了视觉定位的效率。
Description
技术领域
本发明涉及机器人定位系统领域，具体涉及一种机器人视觉定位系统。
背景技术
机器人(Robot)是自动执行工作的机器装置。它既可以接受人类指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动。它的任务是协助或取代人类工作的工作，例如生产业、建筑业，或是危险的工作。
现有的室内定位方法装置大多过于复杂，机器人搭载起来过于笨重而庞大，成本和造价也颇高。而采用磁条进行定位的方法，不仅体形笨重、处理速度较慢、成本较高，而且无法更改行走路线。
随着视觉图像处理的兴起，用视觉方式来实现室内定位具有其特殊的优势。鉴于此，提供一种机器人视觉定位方法对本领域技术来说是非常有必要的。
发明内容
本发明的目的在于提供了一种机器人视觉定位系统，通过三维图像的重构、目标位置和障碍物位置的坐标定位以及机器人的定位数据实现了目标路线的实时更新输出，提高了定位的效率和精确度。
为实现上述目的，本发明采取的技术方案为：
一种机器人视觉定位系统，包括
视频采集模块，用于进行目标视频数据的采集，并将所采集到的视频数据发送到视频角度调整模块；所述视频文件包括多个连续的视频帧、与每一个视频帧对应的坐标信息和时间信息，且所述坐标信息与所述时间信息唯一对应；
视频角度调整模块，用于根据每个视频帧的坐标信息确定每个视频帧的偏转角度，并按其中一个视频帧的偏转角度进行其他视频帧的重构，并将处理后的视频发送到数据处理模块；
数据处理模块，用于通过kinect深度传感器进行所接收到的视频数据内目标位置深度图像、障碍物深度图像的获取，并将获取的目标位置深度图像、障碍物深度图像发送到三维重构模块；
三维重构模块，用于将所获得的障碍物深度图像以及目标位置深度图像进行三角化，然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场，对距离场中所有的体索应用整体三角剖分算法产生一个涵盖所有体素的凸包，并利用MarchingTetrahedra算法构造等值面，完成三维图像的重构；
坐标标定模块，用于根据视频图像中的坐标信息完成重构的三维图像中目标位置坐标以及障碍物坐标的标定；
路线输出模块，用于根据坐标标定模块的输出结果以及机器人定位数据进行目标路线的输出，并将目标路线发送到机器人驱动模块；
机器人驱动模块，用于根据接收到的目标路线进行机器人的驱动。
优选地，通过以下步骤完成其他视频帧的重构；
根据每个视频帧的偏转角度计算每个视频帧的补充偏转角度；
根据每个视频帧的补充偏转角度重新绘制每个视频帧。
优选地，还包括一人机操作模块，用于输入各种控制命令和数据调用命令。
优选地，所述视频采集模块采用摄像头，至少包括五个，其中一个位于机器人头部，另外四个分别通过支架安装在机器人所在位置的前后左右四侧。
优选地，五个摄像头均为可360°旋转安装。
优选地，所述机器人定位数据通过安装在机器人内部的GPS定位模块进行实时监测实现。
优选地，所述GPS定位模块包括GPS芯片、RFID芯片和电子罗盘芯片，GPS芯片内设有一中央处理模块，GPS输入信号经过噪音抑制模块和增益放大模块进入中央处理模块，GPS输出信号经过调制模块输出，RFID芯片和电子罗盘芯片与中央处理模块相连。
优选地，还包括一中央处理器，用于协调上述模块工作。
本发明具有以下有益效果：
通过kinect深度传感器进行目标位置深度图像、障碍物深度图像的获取以及三维图像的重构，然后通过在三维图像内的目标位置和障碍物的坐标定位以及机器人的实时定位数据进行目标路线的输出，实现了目标路线的实时更新，提高了定位结果的精确度；经实验可知，利用Kinect传感器采集的不同的深度图像完成目标物体的三维重建，仅需要48s，并且得到非常精细的重建效果，大大提高了视觉定位的效率。
附图说明
图1为本发明实施例民航机场候机楼人脸快速识别系统的系统框图。
具体实施方式
为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明实施例提供了一种机器人视觉定位系统，包括
视频采集模块，用于进行目标视频数据的采集，并将所采集到的视频数据发送到视频角度调整模块；所述视频文件包括多个连续的视频帧、与每一个视频帧对应的坐标信息和时间信息，且所述坐标信息与所述时间信息唯一对应；所述视频采集模块采用摄像头，至少包括五个，其中一个位于机器人头部，另外四个分别通过支架安装在机器人所在位置的前后左右四侧，五个摄像头均为可360°旋转安装。
视频角度调整模块，用于根据每个视频帧的坐标信息确定每个视频帧的偏转角度，并按其中一个视频帧的偏转角度进行其他视频帧的重构，并将处理后的视频发送到数据处理模块；具体的，通过以下步骤完成其他视频帧的重构；
根据每个视频帧的偏转角度计算每个视频帧的补充偏转角度；
根据每个视频帧的补充偏转角度重新绘制每个视频帧。
数据处理模块，用于通过kinect深度传感器进行所接收到的视频数据内目标位置深度图像、障碍物深度图像的获取，并将获取的目标位置深度图像、障碍物深度图像发送到三维重构模块；
三维重构模块，用于将所获得的障碍物深度图像以及目标位置深度图像进行三角化，然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场，对距离场中所有的体素应用整体三角剖分算法产生一个涵盖所有体素的凸包，并利用MarchingTetrahedra算法构造等值面，完成三维图像的重构；
坐标标定模块，用于根据视频图像中的坐标信息完成重构的三维图像中目标位置坐标以及障碍物坐标的标定；
路线输出模块，用于根据坐标标定模块的输出结果以及机器人定位数据进行目标路线的输出，并将目标路线发送到机器人驱动模块；
机器人驱动模块，用于根据接收到的目标路线进行机器人的驱动。
人机操作模块，用于输入各种控制命令和数据调用命令；
中央处理器，用于协调上述模块工作。
所述机器人定位数据通过安装在机器人内部的GPS定位模块进行实时监测实现，所述GPS定位模块包括GPS芯片、RFID芯片和电子罗盘芯片，GPS芯片内设有一中央处理模块，GPS输入信号经过噪音抑制模块和增益放大模块进入中央处理模块，GPS输出信号经过调制模块输出，RFID芯片和电子罗盘芯片与中央处理模块相连。
本具体实施首先通过视频采集模块进行目标位置视频图像的获取，然后视频角度调整模块完成了视频角度的调整，从而提高了定位的精确度；然后通过kinect深度传感器获取了视频图像内目标位置深度图像和障碍物深度图像，利用Kinect传感器采集的不同的深度图像完成目标物体的三维重建，仅需要48s；然后通过在三维图像内的目标位置和障碍物的坐标定位以及机器人的实时定位数据进行目标路线的输出，实现了目标路线的实时更新，提高了定位结果的精确度；同时采用优化的GPS定位模块，GPS的输入信号首先经过噪音抑制模块过滤噪音，然后经过增益放大模块放大信号后输入中央处理模块。与此同时，RFID芯片将机器人的身份信息也输入中央处理模块，避免了各机器人之间的相互干扰，经过中央处理模块处理后，输出信号经过调制模块输出。当暂时无法接受到GPS信号时，电子罗盘芯片将机器人的移动轨迹输入中央处理模块，中央处理模块根据最后的定位信息推算出使用者现在的大致位置，然后将此位置输出。这就避免了由于暂时无法接受GPS信号造成的定位盲区。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种机器人视觉定位系统，其特征在于，包括
视频采集模块，用于进行目标视频数据的采集，并将所采集到的视频数据发送到视频角度调整模块；所述视频文件包括多个连续的视频帧、与每一个视频帧对应的坐标信息和时间信息，且所述坐标信息与所述时间信息唯一对应；
视频角度调整模块，用于根据每个视频帧的坐标信息确定每个视频帧的偏转角度，并按其中一个视频帧的偏转角度进行其他视频帧的重构，并将处理后的视频发送到数据处理模块；
数据处理模块，用于通过kinect深度传感器进行所接收到的视频数据内目标位置深度图像、障碍物深度图像的获取，并将获取的目标位置深度图像、障碍物深度图像发送到三维重构模块；
三维重构模块，用于将所获得的障碍物深度图像以及目标位置深度图像进行三角化，然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场，对距离场中所有的体素应用整体三角剖分算法产生一个涵盖所有体素的凸包，并利用Marching Tetrahedra算法构造等值面，完成三维图像的重构；
坐标标定模块，用于根据视频图像中的坐标信息完成重构的三维图像中目标位置坐标以及障碍物坐标的标定；
路线输出模块，用于根据坐标标定模块的输出结果以及机器人定位数据进行目标路线的输出，并将目标路线发送到机器人驱动模块；
机器人驱动模块，用于根据接收到的目标路线进行机器人的驱动。
2.如权利要求1所述的一种机器人视觉定位系统，其特征在于，通过以下步骤完成其他视频帧的重构；
根据每个视频帧的偏转角度计算每个视频帧的补充偏转角度；
根据每个视频帧的补充偏转角度重新绘制每个视频帧。
3.如权利要求1所述的一种机器人视觉定位系统，其特征在于，还包括一人机操作模块，用于输入各种控制命令和数据调用命令。
4.如权利要求1所述的一种机器人视觉定位系统，其特征在于，所述视频采集模块采用摄像头，至少包括五个，其中一个位于机器人头部，另外四个分别通过支架安装在机器人所在位置的前后左右四侧。
5.如权利要求4所述的一种机器人视觉定位系统，其特征在于，五个摄像头均为可360°旋转安装。
6.如权利要求1所述的一种机器人视觉定位系统，其特征在于，所述机器人定位数据通过安装在机器人内部的GPS定位模块进行实时监测实现。
7.如权利要求6所述的一种机器人视觉定位系统，其特征在于，所述GPS定位模块包括GPS芯片、RFID芯片和电子罗盘芯片，GPS芯片内设有一中央处理模块，GPS输入信号经过噪音抑制模块和增益放大模块进入中央处理模块，GPS输出信号经过调制模块输出，RFID芯片和电子罗盘芯片与中央处理模块相连。
8.如权利要求1所述的一种机器人视觉定位系统，其特征在于，还包括一中央处理器，用于协调上述模块工作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710709752.9A CN107543531B (zh) | 2017-08-13 | 2017-08-13 | 一种机器人视觉定位系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710709752.9A CN107543531B (zh) | 2017-08-13 | 2017-08-13 | 一种机器人视觉定位系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107543531A true CN107543531A (zh) | 2018-01-05 |
| CN107543531B CN107543531B (zh) | 2019-10-11 |
Family
ID=60957513
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710709752.9A Active CN107543531B (zh) | 2017-08-13 | 2017-08-13 | 一种机器人视觉定位系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107543531B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108332755A (zh) * | 2018-02-08 | 2018-07-27 | 衢州职业技术学院 | 一种球形机器人视觉定位系统 |
| CN108890691A (zh) * | 2018-07-02 | 2018-11-27 | 衢州职业技术学院 | 一种机器人视觉系统 |
| CN109974713A (zh) * | 2019-04-26 | 2019-07-05 | 安阳全丰航空植保科技股份有限公司 | 一种基于地表特征群的导航方法及系统 |
| CN110704568A (zh) * | 2019-10-10 | 2020-01-17 | 吉林师范大学 | 一种地理信息大数据三维可视化系统 |
| CN111060091A (zh) * | 2019-12-13 | 2020-04-24 | 西安航空职业技术学院 | 一种机器人导航系统 |
| CN113030960A (zh) * | 2021-04-06 | 2021-06-25 | 陕西国防工业职业技术学院 | 一种基于单目视觉slam的车辆定位方法 |
| CN113409387A (zh) * | 2021-05-11 | 2021-09-17 | 深圳拓邦股份有限公司 | 一种机器人视觉定位方法及机器人 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150020875A (ko) * | 2013-08-19 | 2015-02-27 | 주식회사 로보쓰리 | 투휠 셀프 밸런싱 이동부와 공압 실린더 작동식 상부 바디를 기반으로 하는 로봇 권투경기 운영방법 |
| CN104856720A (zh) * | 2015-05-07 | 2015-08-26 | 东北电力大学 | 一种基于rgb-d传感器的机器人辅助超声扫描系统 |
| CN105045263A (zh) * | 2015-07-06 | 2015-11-11 | 杭州南江机器人股份有限公司 | 一种基于Kinect的机器人自定位方法 |
| CN105302132A (zh) * | 2015-08-07 | 2016-02-03 | 浙江海洋学院 | 一种基于行走机器人的分布式视觉定位系统及方法 |
| CN105843223A (zh) * | 2016-03-23 | 2016-08-10 | 东南大学 | 一种基于空间词袋模型的移动机器人三维建图与避障方法 |
| CN105904468A (zh) * | 2016-06-13 | 2016-08-31 | 北京科技大学 | 一种具有自主地图构建和无线充电的多功能巡逻机器人 |
| CN106156740A (zh) * | 2016-07-05 | 2016-11-23 | 张宁 | 民航机场候机楼人脸快速识别系统 |
| CN106372575A (zh) * | 2016-08-22 | 2017-02-01 | 宿州学院 | 一种远程监控智能人像识别管理系统 |
| CN106371281A (zh) * | 2016-11-02 | 2017-02-01 | 辽宁中蓝电子科技有限公司 | 基于结构光多模块360度空间扫描和定位的3d相机 |
| CN106453551A (zh) * | 2016-10-09 | 2017-02-22 | 东南大学 | 一种办公室内物品递送机器人任务规划与执行装置及方法 |
| CN106485229A (zh) * | 2016-10-14 | 2017-03-08 | 黑龙江科技大学 | 农林交错区火灾遥感监测预警系统 |
-
2017
- 2017-08-13 CN CN201710709752.9A patent/CN107543531B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150020875A (ko) * | 2013-08-19 | 2015-02-27 | 주식회사 로보쓰리 | 투휠 셀프 밸런싱 이동부와 공압 실린더 작동식 상부 바디를 기반으로 하는 로봇 권투경기 운영방법 |
| CN104856720A (zh) * | 2015-05-07 | 2015-08-26 | 东北电力大学 | 一种基于rgb-d传感器的机器人辅助超声扫描系统 |
| CN105045263A (zh) * | 2015-07-06 | 2015-11-11 | 杭州南江机器人股份有限公司 | 一种基于Kinect的机器人自定位方法 |
| CN105302132A (zh) * | 2015-08-07 | 2016-02-03 | 浙江海洋学院 | 一种基于行走机器人的分布式视觉定位系统及方法 |
| CN105843223A (zh) * | 2016-03-23 | 2016-08-10 | 东南大学 | 一种基于空间词袋模型的移动机器人三维建图与避障方法 |
| CN105904468A (zh) * | 2016-06-13 | 2016-08-31 | 北京科技大学 | 一种具有自主地图构建和无线充电的多功能巡逻机器人 |
| CN106156740A (zh) * | 2016-07-05 | 2016-11-23 | 张宁 | 民航机场候机楼人脸快速识别系统 |
| CN106372575A (zh) * | 2016-08-22 | 2017-02-01 | 宿州学院 | 一种远程监控智能人像识别管理系统 |
| CN106453551A (zh) * | 2016-10-09 | 2017-02-22 | 东南大学 | 一种办公室内物品递送机器人任务规划与执行装置及方法 |
| CN106485229A (zh) * | 2016-10-14 | 2017-03-08 | 黑龙江科技大学 | 农林交错区火灾遥感监测预警系统 |
| CN106371281A (zh) * | 2016-11-02 | 2017-02-01 | 辽宁中蓝电子科技有限公司 | 基于结构光多模块360度空间扫描和定位的3d相机 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108332755A (zh) * | 2018-02-08 | 2018-07-27 | 衢州职业技术学院 | 一种球形机器人视觉定位系统 |
| CN108890691A (zh) * | 2018-07-02 | 2018-11-27 | 衢州职业技术学院 | 一种机器人视觉系统 |
| CN109974713A (zh) * | 2019-04-26 | 2019-07-05 | 安阳全丰航空植保科技股份有限公司 | 一种基于地表特征群的导航方法及系统 |
| CN109974713B (zh) * | 2019-04-26 | 2023-04-28 | 安阳全丰航空植保科技股份有限公司 | 一种基于地表特征群的导航方法及系统 |
| CN110704568A (zh) * | 2019-10-10 | 2020-01-17 | 吉林师范大学 | 一种地理信息大数据三维可视化系统 |
| CN111060091A (zh) * | 2019-12-13 | 2020-04-24 | 西安航空职业技术学院 | 一种机器人导航系统 |
| CN111060091B (zh) * | 2019-12-13 | 2023-09-01 | 西安航空职业技术学院 | 一种机器人导航系统 |
| CN113030960A (zh) * | 2021-04-06 | 2021-06-25 | 陕西国防工业职业技术学院 | 一种基于单目视觉slam的车辆定位方法 |
| CN113409387A (zh) * | 2021-05-11 | 2021-09-17 | 深圳拓邦股份有限公司 | 一种机器人视觉定位方法及机器人 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107543531B (zh) | 2019-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107543531B (zh) | 一种机器人视觉定位系统 | |
| CN106826833B (zh) | 基于3d立体感知技术的自主导航机器人系统 | |
| CN102794767B (zh) | 视觉引导的机器人关节空间b样条轨迹规划方法 | |
| CN106020201A (zh) | 移动机器人3d导航定位系统及导航定位方法 | |
| CN108594851A (zh) | 一种基于双目视觉的无人机自主障碍物检测系统、方法及无人机 | |
| CN106426186A (zh) | 一种基于多传感器信息融合的带电作业机器人自主作业方法 | |
| CN101419055A (zh) | 基于视觉的空间目标位姿测量装置和方法 | |
| CN105243664B (zh) | 一种基于视觉的轮式移动机器人快速目标跟踪方法 | |
| CN108536157A (zh) | 一种智能水下机器人及其系统、物标跟踪方法 | |
| CN105014675B (zh) | 一种狭窄空间智能移动机器人视觉导航系统及方法 | |
| CN106595630A (zh) | 一种基于激光导航变电站巡检机器人的建图系统与方法 | |
| CN106162144A (zh) | 一种用于夜视环境的视觉图像处理设备、系统和智能机器 | |
| CN106197452A (zh) | 一种视觉图像处理设备及系统 | |
| CN109917788A (zh) | 一种机器人沿墙行走的控制方法及装置 | |
| CN110260866A (zh) | 一种基于视觉传感器的机器人定位与避障方法 | |
| CN108828996A (zh) | 一种基于视觉信息的机械臂遥操作系统及方法 | |
| CN108170166A (zh) | 机器人的跟随控制方法及其智能装置 | |
| CN104898675A (zh) | 一种机器人智能导航控制方法 | |
| CN104570764A (zh) | 一种机载目标指示系统验证平台 | |
| CN107972027A (zh) | 机器人的定位方法和装置、机器人 | |
| CN208126205U (zh) | 一种自动避障的无人飞行装置 | |
| Park et al. | 3D log recognition and pose estimation for robotic forestry machine | |
| CN114923477A (zh) | 基于视觉与激光slam技术的多维度空地协同建图系统和方法 | |
| Duecker et al. | Towards an Open-Source Micro Robot Oceanarium: A Low-Cost, Modular, and Mobile Underwater Motion-Capture System | |
| CN109917670A (zh) | 一种智能机器人集群的同时定位与建图方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20180105 Assignee: TIANJIN KAINUO INDUSTRIAL Co.,Ltd. Assignor: TIANJIN University OF TECHNOLOGY AND EDUCATION Contract record no.: X2024980003689 Denomination of invention: A Robot Vision Positioning System Granted publication date: 20191011 License type: Common License Record date: 20240329 |