CN108332755A - 一种球形机器人视觉定位系统 - Google Patents
一种球形机器人视觉定位系统 Download PDFInfo
- Publication number
- CN108332755A CN108332755A CN201810125583.9A CN201810125583A CN108332755A CN 108332755 A CN108332755 A CN 108332755A CN 201810125583 A CN201810125583 A CN 201810125583A CN 108332755 A CN108332755 A CN 108332755A
- Authority
- CN
- China
- Prior art keywords
- module
- image
- ball shape
- camera
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
Abstract
本发明公开了一种球形机器人视觉定位系统，包括图像采集模块、图像角度调整模块、深度数据挖掘模块、三维重构模块、坐标标定模块、路线规划模块、避障模块、摄像头监控模块和摄像头联合调度模块。本发明通过对图像角度的调整，实现了三维图像的拼接重构，从而实现了目标位置的准确定位，实现了目标路线的实时更新输出，提高了定位的效率和精确度；且机器人在运动的过程中，各摄像头可以根据路线规划实现联合调度，在实现图像实时采集的同时，也解决了其所带来的安装不变的问题。
Description
技术领域
本发明涉及机器人定位系统领域，具体涉及一种球形机器人视觉定位系统。
背景技术
球形机器人是指一类将运动执行机构、传感器、控制器、能源装置都内置于一个球形壳体内部、利用球形外壳作为滚动行走装置的系统的总称。与轮式，足式和履带式的机器人相比，具有结构新颖，运动灵活和效率高的特定，在军事、民用和工业领域有广泛的应用前景。
球形机器人的定位问题是实现球形机器人智能化的一个关键问题。目前球形机器人主要采用惯性导航系统、里程计、GPS等方式进行定位，但是惯性导航系统需要通过积分来得到位移和角度，存在时间漂移误差；里程计由于球面滑动，跳跃等因素，将产生累计误差，同时球形机器人平台不稳定，难以找到合适的搭载里程计的位置；GPS精度不高，室内无法使用。球形机器人外面是封闭球壳，相机透过球壳采集图像质量很差甚至无法采集图像。相机安装困难，通常的安装位置会使相机随球360度转动。
发明内容
本发明的目的在于提供了一种球形机器人视觉定位系统，实现了目标路线的实时更新输出，提高了定位的效率和精确度。
为实现上述目的，本发明采取的技术方案为：
一种球形机器人视觉定位系统，包括
图像采集模块，通过均匀安装在球形机器人上的N个带陀螺仪的鱼眼镜头进行图像数据的采集；并将所采集到的图像数据发送到图像角度调整模块；
图像角度调整模块，用于根据陀螺仪所采集到的数据确定每个图像的偏转角度，并按其中一个图像的偏转角度进行其他图像的重构，并将处理后的图像发送到深度数据挖掘模块；
深度数据挖掘模块，用于通过kinect深度传感器进行所接收到的图像数据的图像深度数据的采集，并将采集到的图像深度数据发送到三维重构模块；
三维重构模块，用于将所获得的图像深度数据进行三角化，然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场，对距离场中所有的体素应用整体三角剖分算法产生一个涵盖所有体素的凸包，并利用Marching Tetrahedra算法构造等值面,完成三维图像的重构；
坐标标定模块，用于通过识别重构的三维图像中的目标位置，从而完成目的的坐标的定位；
路线规划模块，用于根据坐标标定模块的输出结果以及机器人定位数据进行目标路线的规划输出，并将所得的路线发送到机器人驱动模块。
优选地，通过以下步骤完成其他视频帧的重构；
根据每个图像的偏转角度计算每个图像的补充偏转角度；
根据每个图像的补充偏转角度重新绘制每个图像。
优选地，所述N至少为四个，所述鱼眼镜头拍摄的视频数据的水平角度为360°/N的水平角度，所述鱼眼镜头拍摄的视频数据的垂直角度为360°/N的垂直角度。
优选地，N个摄像头均为可360°旋转安装。
优选地，N个摄像头均通过电动伸缩杆安装在球体机器人上，可进行球形机器人整体周围图像数据的采集。
优选地，还包括一避障模块，用于通过双目视觉传感器及激光雷达来检测机器人周围环境的障碍信息，并通过三维数字罗盘掌握自身的姿态信息，实现机器人的避障及越障。
优选地，还包括一摄像头监控模块，用于通过识别图像数据中所对应的陀螺仪角度是数据进行所对应的摄像头工作状态的判定，一旦未识别到对应的角度的图像数据则启动预警模块进行预警短信的发送。
优选地，所发送的预警短信至少包括故障摄像头编号、当前机器人所在位置，以自动填空的方式进行预警的短信的编辑。
优选地，所述球体机器人的外壁上设有若干用于安装摄像头的安装槽，摄像头可完全收纳在该安装槽内。
优选地，还包括一摄像头联合调度模块，用于根据路线规划模块输出的路线进行各摄像头的联合调度。
本发明具有以下有益效果：
通过对图像角度的调整，实现了三维图像的拼接重构，从而实现了目标位置的准确定位，实现了目标路线的实时更新输出，提高了定位的效率和精确度；且机器人在运动的过程中，各摄像头可以根据路线规划实现联合调度，在实现图像实时采集的同时，也解决了其所带来的安装不变的问题。
附图说明
图1为本发明实施例一种球形机器人视觉定位系统的系统框图。
具体实施方式
为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明实施例提供了一种球形机器人视觉定位系统，包括
图像采集模块，通过均匀安装在球形机器人上的N个带陀螺仪的鱼眼镜头进行图像数据的采集；并将所采集到的图像数据发送到图像角度调整模块；
图像角度调整模块，用于根据陀螺仪所采集到的数据确定每个图像的偏转角度，并按其中一个图像的偏转角度进行其他图像的重构，并将处理后的图像发送到深度数据挖掘模块；通过以下步骤完成其他视频帧的重构；
根据每个图像的偏转角度计算每个图像的补充偏转角度；
根据每个图像的补充偏转角度重新绘制每个图像。
深度数据挖掘模块，用于通过kinect深度传感器进行所接收到的图像数据的图像深度数据的采集，并将采集到的图像深度数据发送到三维重构模块；
三维重构模块，用于将所获得的图像深度数据进行三角化，然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场，对距离场中所有的体素应用整体三角剖分算法产生一个涵盖所有体素的凸包，并利用Marching Tetrahedra算法构造等值面,完成三维图像的重构；
坐标标定模块，用于通过识别重构的三维图像中的目标位置，从而完成目的的坐标的定位；
路线规划模块，用于根据坐标标定模块的输出结果以及机器人定位数据进行目标路线的规划输出，并将所得的路线发送到机器人驱动模块；
避障模块，用于通过双目视觉传感器及激光雷达来检测机器人周围环境的障碍信息，并通过三维数字罗盘掌握自身的姿态信息，实现机器人的避障及越障。
摄像头监控模块，用于通过识别图像数据中所对应的陀螺仪角度是数据进行所对应的摄像头工作状态的判定，一旦未识别到对应的角度的图像数据则启动预警模块进行预警短信的发送。所发送的预警短信至少包括故障摄像头编号、当前机器人所在位置，以自动填空的方式进行预警的短信的编辑；
摄像头联合调度模块，用于根据路线规划模块输出的路线进行各摄像头的联合调度，具体的，通过控制电动伸缩杆和旋转轴进行各摄像头图像采集角度以及工作位置的调整；
微处理器，用于协调上述模块进行工作。
所述N至少为四个，所述鱼眼镜头拍摄的视频数据的水平角度为360°/N的水平角度，所述鱼眼镜头拍摄的视频数据的垂直角度为360°/N的垂直角度。N个摄像头均为可360°旋转安装。N个摄像头均通过电动伸缩杆安装在球体机器人上，可进行球形机器人整体周围图像数据的采集。所述球体机器人的外壁上设有若干用于安装摄像头的安装槽，在电动伸缩杆处于最短长度时，整个摄像头可完全收纳在该安装槽内，电动伸缩杆一端通过旋转轴与摄像头相连，另一端与所述安装槽的内底面通过螺栓连接。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种球形机器人视觉定位系统，其特征在于，包括
图像采集模块，通过均匀安装在球形机器人上的N个带陀螺仪的鱼眼镜头进行图像数据的采集；并将所采集到的图像数据发送到图像角度调整模块；
图像角度调整模块，用于根据陀螺仪所采集到的数据确定每个图像的偏转角度，并按其中一个图像的偏转角度进行其他图像的重构，并将处理后的图像发送到深度数据挖掘模块；
深度数据挖掘模块，用于通过kinect深度传感器进行所接收到的图像数据的图像深度数据的采集，并将采集到的图像深度数据发送到三维重构模块；
三维重构模块，用于将所获得的图像深度数据进行三角化，然后在尺度空间中融合所有三角化的深度图像构建分层有向距离场，对距离场中所有的体素应用整体三角剖分算法产生一个涵盖所有体素的凸包，并利用Marching Tetrahedra算法构造等值面,完成三维图像的重构；
坐标标定模块，用于通过识别重构的三维图像中的目标位置，从而完成目的的坐标的定位；
路线规划模块，用于根据坐标标定模块的输出结果以及机器人定位数据进行目标路线的规划输出，并将所得的路线发送到机器人驱动模块。
2.如权利要求1所述的一种球形机器人视觉定位系统，其特征在于，通过以下步骤完成其他视频帧的重构；
根据每个图像的偏转角度计算每个图像的补充偏转角度；
根据每个图像的补充偏转角度重新绘制每个图像。
3.如权利要求1所述的一种球形机器人视觉定位系统，其特征在于，所述N至少为四个，所述鱼眼镜头拍摄的视频数据的水平角度为360°/N的水平角度，所述鱼眼镜头拍摄的视频数据的垂直角度为360°/N的垂直角度。
4.如权利要求1所述的一种球形机器人视觉定位系统，其特征在于，N个摄像头均为可360°旋转安装。
5.如权利要求1所述的一种球形机器人视觉定位系统，其特征在于，N个摄像头均通过电动伸缩杆安装在球体机器人上，可进行球形机器人整体周围图像数据的采集。
6.如权利要求1所述的一种球形机器人视觉定位系统，其特征在于，还包括一避障模块，用于通过双目视觉传感器及激光雷达来检测机器人周围环境的障碍信息，并通过三维数字罗盘掌握自身的姿态信息，实现机器人的避障及越障。
7.如权利要求1所述的一种球形机器人视觉定位系统，其特征在于，还包括一摄像头监控模块，用于通过识别图像数据中所对应的陀螺仪角度是数据进行所对应的摄像头工作状态的判定，一旦未识别到对应的角度的图像数据则启动预警模块进行预警短信的发送。
8.如权利要求7所述的一种球形机器人视觉定位系统，其特征在于，所发送的预警短信至少包括故障摄像头编号、当前机器人所在位置，以自动填空的方式进行预警的短信的编辑。
9.如权利要求1所述的一种球形机器人视觉定位系统，其特征在于，所述球体机器人的外壁上设有若干用于安装摄像头的安装槽，摄像头可完全收纳在该安装槽内。
10.如权利要求7所述的一种球形机器人视觉定位系统，其特征在于，还包括一摄像头联合调度模块，用于根据路线规划模块输出的路线进行各摄像头的联合调度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810125583.9A CN108332755A (zh) | 2018-02-08 | 2018-02-08 | 一种球形机器人视觉定位系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810125583.9A CN108332755A (zh) | 2018-02-08 | 2018-02-08 | 一种球形机器人视觉定位系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108332755A true CN108332755A (zh) | 2018-07-27 |
Family
ID=62927186
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810125583.9A Pending CN108332755A (zh) | 2018-02-08 | 2018-02-08 | 一种球形机器人视觉定位系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108332755A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110806203A (zh) * | 2018-08-06 | 2020-02-18 | 拓连科技股份有限公司 | 车辆的位置决定方法及系统 |
| CN111060091A (zh) * | 2019-12-13 | 2020-04-24 | 西安航空职业技术学院 | 一种机器人导航系统 |
| CN111298419A (zh) * | 2020-03-24 | 2020-06-19 | 天水师范学院 | 一种用于健美操队形训练装置 |
| CN111464776A (zh) * | 2020-01-19 | 2020-07-28 | 浙江工贸职业技术学院 | 一种物联网安全报警设备及考核方法 |
| CN112017237A (zh) * | 2020-08-31 | 2020-12-01 | 北京轩宇智能科技有限公司 | 一种基于视场拼接和三维重建的操作辅助装置及方法 |
| CN113031591A (zh) * | 2021-02-24 | 2021-06-25 | 丰疆智能(深圳)有限公司 | 推料机器人的异常处理方法、装置、服务器及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140257562A1 (en) * | 2011-05-27 | 2014-09-11 | Hon Hai Precision Industry Co., Ltd. | Object searching system, object searching method, and cleaning robot |
| CN104853150A (zh) * | 2015-02-11 | 2015-08-19 | 居锦武 | 一种多摄像机目标协同跟踪技术 |
| CN106803879A (zh) * | 2017-02-07 | 2017-06-06 | 努比亚技术有限公司 | 协同取景拍摄装置及方法 |
| CN107543531A (zh) * | 2017-08-13 | 2018-01-05 | 天津职业技术师范大学 | 一种机器人视觉定位系统 |
| CN107647828A (zh) * | 2017-10-27 | 2018-02-02 | 江苏环实科技有限公司 | 安装有鱼眼摄像头的扫地机器人 |
-
2018
- 2018-02-08 CN CN201810125583.9A patent/CN108332755A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140257562A1 (en) * | 2011-05-27 | 2014-09-11 | Hon Hai Precision Industry Co., Ltd. | Object searching system, object searching method, and cleaning robot |
| CN104853150A (zh) * | 2015-02-11 | 2015-08-19 | 居锦武 | 一种多摄像机目标协同跟踪技术 |
| CN106803879A (zh) * | 2017-02-07 | 2017-06-06 | 努比亚技术有限公司 | 协同取景拍摄装置及方法 |
| CN107543531A (zh) * | 2017-08-13 | 2018-01-05 | 天津职业技术师范大学 | 一种机器人视觉定位系统 |
| CN107647828A (zh) * | 2017-10-27 | 2018-02-02 | 江苏环实科技有限公司 | 安装有鱼眼摄像头的扫地机器人 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110806203A (zh) * | 2018-08-06 | 2020-02-18 | 拓连科技股份有限公司 | 车辆的位置决定方法及系统 |
| CN111060091A (zh) * | 2019-12-13 | 2020-04-24 | 西安航空职业技术学院 | 一种机器人导航系统 |
| CN111060091B (zh) * | 2019-12-13 | 2023-09-01 | 西安航空职业技术学院 | 一种机器人导航系统 |
| CN111464776A (zh) * | 2020-01-19 | 2020-07-28 | 浙江工贸职业技术学院 | 一种物联网安全报警设备及考核方法 |
| CN111298419A (zh) * | 2020-03-24 | 2020-06-19 | 天水师范学院 | 一种用于健美操队形训练装置 |
| CN112017237A (zh) * | 2020-08-31 | 2020-12-01 | 北京轩宇智能科技有限公司 | 一种基于视场拼接和三维重建的操作辅助装置及方法 |
| CN112017237B (zh) * | 2020-08-31 | 2024-02-06 | 北京轩宇智能科技有限公司 | 一种基于视场拼接和三维重建的操作辅助装置及方法 |
| CN113031591A (zh) * | 2021-02-24 | 2021-06-25 | 丰疆智能(深圳)有限公司 | 推料机器人的异常处理方法、装置、服务器及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108332755A (zh) | 一种球形机器人视觉定位系统 | |
| US11613873B2 (en) | Shovel and work support system for construction machine | |
| CN107150329B (zh) | 一种基于三自由度视觉平台的移动机器人及其控制方法 | |
| EP3086283B1 (en) | Providing a point cloud using a surveying instrument and a camera device | |
| Thrun et al. | Scan alignment and 3-D surface modeling with a helicopter platform | |
| JP4671317B2 (ja) | 地形形状計測装置およびガイダンス装置 | |
| CN108958250A (zh) | 多传感器移动平台及基于已知地图的导航与避障方法 | |
| JP6807781B2 (ja) | 表示システム、表示方法、及び遠隔操作システム | |
| US9154769B2 (en) | Parallel online-offline reconstruction for three-dimensional space measurement | |
| KR20190051704A (ko) | 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템 | |
| AU2015234395A1 (en) | Real-time range map generation | |
| TWI687870B (zh) | 環境取得系統以及環境取得方法 | |
| KR20180042251A (ko) | 쇼벨의 계측장치 | |
| WO2020003631A1 (ja) | 表示制御装置、および表示制御方法 | |
| US20230011911A1 (en) | Primary-secondary type infrastructure disease detection and repair system and method | |
| JP2016177640A (ja) | 映像監視システム | |
| KR20130049610A (ko) | 이동 기기 및 보행 로봇 | |
| JP7080750B2 (ja) | 表示制御システム、遠隔操作システム、表示制御装置、および表示制御方法 | |
| US11977378B2 (en) | Virtual path guidance system | |
| CN103226693A (zh) | 基于全景立体视觉的捕捞对象的识别和空间定位装置及方法 | |
| US9967525B2 (en) | Monitoring camera apparatus with depth information determination | |
| Sugasawa et al. | Visualization of Dump Truck and Excavator in Bird’s-eye View by Fisheye Cameras and 3D Range Sensor | |
| US11869159B2 (en) | High density 3D environment capture with guided mixed reality | |
| Kim et al. | Development of an Autonomous Mobile Robot in the Outdoor Environments with a Comparative Survey of LiDAR SLAM | |
| CN211552835U (zh) | 基于无人机的远程gps rtk测量的公路外业勘测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180727 |