CN108326845B - 基于双目相机和激光雷达的机器人定位方法、装置及系统 - Google Patents

基于双目相机和激光雷达的机器人定位方法、装置及系统 Download PDF

Info

Publication number
CN108326845B
CN108326845B CN201711311494.5A CN201711311494A CN108326845B CN 108326845 B CN108326845 B CN 108326845B CN 201711311494 A CN201711311494 A CN 201711311494A CN 108326845 B CN108326845 B CN 108326845B
Authority
CN
China
Prior art keywords
robot
positioning
binocular camera
camera
radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711311494.5A
Other languages
English (en)
Other versions
CN108326845A (zh
Inventor
尚凌辉
金杭
王丹
张利刚
陈鑫
裴向南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lishi Industrial Interconnection Technology Co ltd
Original Assignee
Zhejiang Jieshang Artificial Intelligence Research And Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Jieshang Artificial Intelligence Research And Development Co ltd filed Critical Zhejiang Jieshang Artificial Intelligence Research And Development Co ltd
Priority to CN201711311494.5A priority Critical patent/CN108326845B/zh
Publication of CN108326845A publication Critical patent/CN108326845A/zh
Application granted granted Critical
Publication of CN108326845B publication Critical patent/CN108326845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/022—Optical sensing devices using lasers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Navigation (AREA)

Abstract

本发明公开了基于双目相机和激光雷达的机器人定位方法、装置及系统，首先通过激光雷达获取雷达数据，根据雷达数据构建当前区域的地图，实现当前区域的全局定位，确定机器人的全局位置；其次通过双目相机获取相机数据，根据相机数据实现以机器人的全局位置为中心、以预定距离为半径的区域的局部定位，确定机器人的具体位置。本发明利用激光雷达构建全局地图，实现大范围内的全局定位，给出机器人的全局位置，对机器人进行初步定位，再利用双目相机实现局部的精确定位，所带来的好处是，同时具备激光雷达定位范围大的优点和双目相机定位精度高的优点，能够实现机器人在大范围内的精准定位。

Description

基于双目相机和激光雷达的机器人定位方法、装置及系统
技术领域
本发明涉及机器人定位的技术领域，尤其涉及基于双目相机和激光雷达的机器人定位方法、装置及系统。
背景技术
目前大部分机器人通过激光雷达实现大范围的定位，也有机器人通过双目相机实现小范围定位。
激光雷达定位的缺点是定位精度不高，双目相机定位在小范围内定位精度高，缺点在于计算量大，不能直接用于大范围的精确定位。
发明内容
为了克服现有技术的不足，本发明的目的在于提供基于双目相机和激光雷达的机器人定位方法、装置及系统，旨在解决现有技术的机器人定位算法无法同时满足定位精度和适用范围的问题。
本发明的目的采用以下技术方案实现：
一种基于双目相机和激光雷达的机器人定位方法，包括：
雷达定位步骤，通过激光雷达获取雷达数据，根据雷达数据构建当前区域的地图，实现当前区域的全局定位，确定机器人的全局位置；
相机定位步骤，通过双目相机获取相机数据，根据相机数据实现以机器人的全局位置为中心、以预定距离为半径的区域的局部定位，确定机器人的具体位置。
在上述实施例的基础上，优选的，所述雷达定位步骤中，采用slam算法构建当前区域的地图。
在上述任意实施例的基础上，优选的，所述预定距离为3m。
一种基于双目相机和激光雷达的机器人定位装置，包括：
雷达定位模块，用于通过激光雷达获取雷达数据，根据雷达数据构建当前区域的地图，实现当前区域的全局定位，确定机器人的全局位置；
相机定位模块，用于通过双目相机获取相机数据，根据相机数据实现以机器人的全局位置为中心、以预定距离为半径的区域的局部定位，确定机器人的具体位置。
在上述实施例的基础上，优选的，所述雷达定位模块采用slam算法构建当前区域的地图。
在上述任意实施例的基础上，优选的，所述预定距离为3m。
在上述任意实施例的基础上，优选的，所述机器人定位装置搭载有基于GPU的计算平台；所述计算平台根据相机数据实现以机器人的全局位置为中心、以预定距离为半径的区域的局部定位，确定机器人的具体位置。
一种基于双目相机和激光雷达的机器人定位系统，包括激光雷达、双目相机和上述任一项实施例中的基于双目相机和激光雷达的机器人定位装置；
以机器人行进方向为前，双目相机安装在机器人前方的中间位置，激光雷达安装在机器人前部的上方；
激光雷达用于获取雷达数据；
双目相机用于获取相机数据。
相比现有技术，本发明的有益效果在于：
本发明公开了基于双目相机和激光雷达的机器人定位方法、装置及系统，首先通过激光雷达获取雷达数据，根据雷达数据构建当前区域的地图，实现当前区域的全局定位，确定机器人的全局位置；其次通过双目相机获取相机数据，根据相机数据实现以机器人的全局位置为中心、以预定距离为半径的区域的局部定位，确定机器人的具体位置。本发明利用激光雷达构建全局地图，实现大范围内的全局定位，给出机器人的全局位置，对机器人进行初步定位，再利用双目相机实现局部的精确定位，所带来的好处是，同时具备激光雷达定位范围大的优点和双目相机定位精度高的优点，能够实现机器人在大范围内的精准定位。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1示出了本发明实施例提供的一种基于双目相机和激光雷达的机器人定位方法的流程示意图；
图2示出了本发明实施例提供的一种基于双目相机和激光雷达的机器人定位装置的结构示意图；
图3示出了本发明实施例提供的一种基于双目相机和激光雷达的机器人定位系统的结构示意图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
具体实施例一
如图1所示，本发明实施例提供了一种基于双目相机和激光雷达的机器人定位方法，包括：
雷达定位步骤S101，通过激光雷达获取雷达数据，根据雷达数据构建当前区域的地图，实现当前区域的全局定位，确定机器人的全局位置；
相机定位步骤S102，通过双目相机获取相机数据，根据相机数据实现以机器人的全局位置为中心、以预定距离为半径的区域的局部定位，确定机器人的具体位置。
本发明实施例对雷达定位算法不做限定，优选的，所述雷达定位步骤S101中可以采用slam算法构建当前区域的地图。Slam，即即时定位与地图构建技术，能够通过感知自身周围环境来构建3D增量式地图，从而实现自主定位和导航。
本发明实施例对预定距离不做限定，以机器人的全局位置为中心、根据预定距离可以划定一个较小的距离范围。优选的，所述预定距离可以为3m。
本发明实施例利用激光雷达扫描当前区域，构建全局地图，实现大范围内的全局定位，给出机器人的全局位置，对机器人进行初步定位，再利用双目相机拍摄机器人所处的局部区域实现局部的精确定位，所带来的好处是，同时具备激光雷达定位范围大的优点和双目相机定位精度高的优点，能够实现机器人在大范围内的精准定位。
在上述的具体实施例一中，提供了基于双目相机和激光雷达的机器人定位方法，与之相对应的，本申请还提供基于双目相机和激光雷达的机器人定位装置。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
具体实施例二
如图2所示，本发明实施例提供了一种基于双目相机和激光雷达的机器人定位装置，包括：
雷达定位模块201，用于通过激光雷达获取雷达数据，根据雷达数据构建当前区域的地图，实现当前区域的全局定位，确定机器人的全局位置；
相机定位模块202，用于通过双目相机获取相机数据，根据相机数据实现以机器人的全局位置为中心、以预定距离为半径的区域的局部定位，确定机器人的具体位置。
优选的，所述雷达定位模块201可以采用slam算法构建当前区域的地图。
优选的，所述预定距离可以为3m。
优选的，所述机器人定位装置可以搭载有基于GPU的计算平台；所述计算平台根据相机数据实现以机器人的全局位置为中心、以预定距离为半径的区域的局部定位，确定机器人的具体位置。基于GPU架构的计算平台，其算法经过并行优化后，可以在GPU上获得比CPU高数十倍的加速性能，从而为算法提供了更多的计算资源，可以运行更为复杂的算法来获得更好的效果，应用于本发明实施例中，可以加快相机定位模块202的运算速度。
本发明实施例利用激光雷达构建全局地图，实现大范围内的全局定位，给出机器人的全局位置，对机器人进行初步定位，再利用双目相机实现局部的精确定位，所带来的好处是，同时具备激光雷达定位范围大的优点和双目相机定位精度高的优点，能够实现机器人在大范围内的精准定位。
具体实施例三
如图3所示，本发明实施例提供了一种基于双目相机和激光雷达的机器人定位系统，包括激光雷达、双目相机和具体实施例二中的基于双目相机和激光雷达的机器人定位装置；
以机器人行进方向为前，双目相机安装在机器人前方的中间位置，激光雷达安装在机器人前部的上方；
激光雷达用于获取雷达数据；
双目相机用于获取相机数据。
本发明实施例对所述机器人定位装置不做限定，优选的，其可以为计算机或服务器。
本发明实施例利用激光雷达构建全局地图，实现大范围内的全局定位，给出机器人的全局位置，对机器人进行初步定位，再利用双目相机实现局部的精确定位，所带来的好处是，同时具备激光雷达定位范围大的优点和双目相机定位精度高的优点，能够实现机器人在大范围内的精准定位。
本发明从使用目的上，效能上，进步及新颖性等观点进行阐述，其具有的实用进步性，己符合专利法所强调的功能增进及使用要件，本发明以上的说明及附图，仅为本发明的较佳实施例而己，并非以此局限本发明，因此，凡一切与本发明构造，装置，待征等近似、雷同的，即凡依本发明专利申请范围所作的等同替换或修饰等，皆应属本发明的专利申请保护的范围之内。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。尽管本发明已进行了一定程度的描述，明显地，在不脱离本发明的精神和范围的条件下，可进行各个条件的适当变化。可以理解，本发明不限于所述实施方案，而归于权利要求的范围，其包括所述每个因素的等同替换。对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (8)

1.一种基于双目相机和激光雷达的机器人定位方法，其特征在于，包括：
雷达定位步骤，通过激光雷达获取雷达数据，根据雷达数据构建当前区域的地图，实现当前区域的全局定位，确定机器人的全局位置；
相机定位步骤，通过双目相机获取相机数据，根据相机数据实现以机器人的全局位置为中心、以预定距离为半径的区域的局部定位，确定机器人的具体位置。
2.根据权利要求1所述的基于双目相机和激光雷达的机器人定位方法，其特征在于，所述雷达定位步骤中，采用slam算法构建当前区域的地图。
3.根据权利要求1或2所述的基于双目相机和激光雷达的机器人定位方法，其特征在于，所述预定距离为3m。
4.一种基于双目相机和激光雷达的机器人定位装置，其特征在于，包括：
雷达定位模块，用于通过激光雷达获取雷达数据，根据雷达数据构建当前区域的地图，实现当前区域的全局定位，确定机器人的全局位置；
相机定位模块，用于通过双目相机获取相机数据，根据相机数据实现以机器人的全局位置为中心、以预定距离为半径的区域的局部定位，确定机器人的具体位置。
5.根据权利要求4所述的基于双目相机和激光雷达的机器人定位装置，其特征在于，所述雷达定位模块采用slam算法构建当前区域的地图。
6.根据权利要求4或5所述的基于双目相机和激光雷达的机器人定位装置，其特征在于，所述预定距离为3m。
7.根据权利要求4或5所述的基于双目相机和激光雷达的机器人定位装置，其特征在于，所述机器人定位装置搭载有基于GPU的计算平台；所述计算平台根据相机数据实现以机器人的全局位置为中心、以预定距离为半径的区域的局部定位，确定机器人的具体位置。
8.一种基于双目相机和激光雷达的机器人定位系统，其特征在于，包括激光雷达、双目相机和权利要求4-7任一项所述的基于双目相机和激光雷达的机器人定位装置；
以机器人行进方向为前，双目相机安装在机器人前方的中间位置，激光雷达安装在机器人前部的上方；
激光雷达用于获取雷达数据；
双目相机用于获取相机数据。
CN201711311494.5A 2017-12-11 2017-12-11 基于双目相机和激光雷达的机器人定位方法、装置及系统 Active CN108326845B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711311494.5A CN108326845B (zh) 2017-12-11 2017-12-11 基于双目相机和激光雷达的机器人定位方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711311494.5A CN108326845B (zh) 2017-12-11 2017-12-11 基于双目相机和激光雷达的机器人定位方法、装置及系统

Publications (2)

Publication Number Publication Date
CN108326845A CN108326845A (zh) 2018-07-27
CN108326845B true CN108326845B (zh) 2020-06-26

Family

ID=62922586

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711311494.5A Active CN108326845B (zh) 2017-12-11 2017-12-11 基于双目相机和激光雷达的机器人定位方法、装置及系统

Country Status (1)

Country Link
CN (1) CN108326845B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109398463A (zh) * 2018-10-19 2019-03-01 五邑大学 一种购物车及其购物方法
CN110075462A (zh) * 2019-05-14 2019-08-02 中国科学院自动化研究所 消防系统
CN110275181A (zh) * 2019-07-08 2019-09-24 武汉中海庭数据技术有限公司 一种车载移动测量系统及其数据处理方法
CN110517303B (zh) * 2019-08-30 2023-06-30 的卢技术有限公司 一种基于双目相机和毫米波雷达的融合slam方法及系统
US11852751B2 (en) 2020-03-02 2023-12-26 Beijing Baidu Netcom Science And Technology Co., Ltd. Method, apparatus, computing device and computer-readable storage medium for positioning
CN111409070B (zh) * 2020-03-25 2021-07-30 上海高仙自动化科技发展有限公司 检测方法及装置、智能机器人及存储介质
CN112207804A (zh) * 2020-12-07 2021-01-12 国网瑞嘉(天津)智能机器人有限公司 带电作业机器人及多传感器识别定位方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469405A (zh) * 2015-11-26 2016-04-06 清华大学 基于视觉测程的同时定位与地图构建方法
CN105928505A (zh) * 2016-04-19 2016-09-07 深圳市神州云海智能科技有限公司 移动机器人的位姿确定方法和设备
CN106681330A (zh) * 2017-01-25 2017-05-17 北京航空航天大学 基于多传感器数据融合的机器人导航方法及装置
CN107390703A (zh) * 2017-09-12 2017-11-24 北京创享高科科技有限公司 一种智能化导盲机器人及其导盲方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8649930B2 (en) * 2009-09-17 2014-02-11 Agjunction Llc GNSS integrated multi-sensor control system and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469405A (zh) * 2015-11-26 2016-04-06 清华大学 基于视觉测程的同时定位与地图构建方法
CN105928505A (zh) * 2016-04-19 2016-09-07 深圳市神州云海智能科技有限公司 移动机器人的位姿确定方法和设备
CN106681330A (zh) * 2017-01-25 2017-05-17 北京航空航天大学 基于多传感器数据融合的机器人导航方法及装置
CN107390703A (zh) * 2017-09-12 2017-11-24 北京创享高科科技有限公司 一种智能化导盲机器人及其导盲方法

Also Published As

Publication number Publication date
CN108326845A (zh) 2018-07-27

Similar Documents

Publication Publication Date Title
CN108326845B (zh) 基于双目相机和激光雷达的机器人定位方法、装置及系统
JP6862409B2 (ja) 地図生成及び移動主体の位置決めの方法及び装置
US10659925B2 (en) Positioning method, terminal and server
US11353589B2 (en) Iterative closest point process based on lidar with integrated motion estimation for high definition maps
EP3505869B1 (en) Method, apparatus, and computer readable storage medium for updating electronic map
US11243086B2 (en) Method, device and apparatus for acquiring map, and computer readable storage medium
JP6745328B2 (ja) 点群データを復旧するための方法及び装置
CN109710724B (zh) 一种构建点云地图的方法和设备
US11227395B2 (en) Method and apparatus for determining motion vector field, device, storage medium and vehicle
CN110386142A (zh) 用于自动驾驶车辆的俯仰角校准方法
US20210354718A1 (en) Lidar localization using rnn and lstm for temporal smoothness in autonomous driving vehicles
JP2021120844A (ja) 車両の位置特定に用いられる方法、装置、電子デバイス及び記憶媒体
JP7241057B2 (ja) 車両測位方法、装置、電子機器、車両及び記憶媒体
JP2021524026A (ja) 姿勢判断システムおよび方法
US11313696B2 (en) Method and apparatus for a context-aware crowd-sourced sparse high definition map
CN113091737A (zh) 一种车路协同定位方法、装置、自动驾驶车辆及路侧设备
CN112362059B (zh) 移动载体的定位方法、装置、计算机设备和介质
CN113763504B (zh) 地图更新方法、系统、车载终端、服务器及存储介质
JP2022014921A (ja) 路側カメラの外部パラメータに基づく三次元感知情報取得方法及び路側機器
JP7375149B2 (ja) 測位方法、測位装置、ビジュアルマップの生成方法およびその装置
CN112400122B (zh) 定位目标对象的系统和方法
US11182652B2 (en) Methods and system for inferring perception based on augmented feature maps of a perception network
CN115588085A (zh) 轴线重建方法、设备及存储介质
CN111383337A (zh) 用于识别对象的方法和装置
US12125287B2 (en) Detecting obstacle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220922

Address after: Room 802, Building 18, No. 998, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province, 310000

Patentee after: Zhejiang Lishi industrial Interconnection Technology Co.,Ltd.

Address before: 310000 rooms 502 and 602, unit 1, building 7, No. 998, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province

Patentee before: ZHEJIANG JIESHANG ARTIFICIAL INTELLIGENCE RESEARCH AND DEVELOPMENT Co.,Ltd.

TR01 Transfer of patent right