CN108608466A - 一种双目相机和激光雷达联合的机器人定位方法 - Google Patents

一种双目相机和激光雷达联合的机器人定位方法 Download PDF

Info

Publication number
CN108608466A
CN108608466A CN201810159711.1A CN201810159711A CN108608466A CN 108608466 A CN108608466 A CN 108608466A CN 201810159711 A CN201810159711 A CN 201810159711A CN 108608466 A CN108608466 A CN 108608466A
Authority
CN
China
Prior art keywords
laser radar
binocular camera
dimensional
robot
environmental information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810159711.1A
Other languages
English (en)
Inventor
沈俊
韩锐
王坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Krund Artificial Intelligence Technology Co Ltd
Original Assignee
Beijing Krund Artificial Intelligence Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Krund Artificial Intelligence Technology Co Ltd filed Critical Beijing Krund Artificial Intelligence Technology Co Ltd
Priority to CN201810159711.1A priority Critical patent/CN108608466A/zh
Publication of CN108608466A publication Critical patent/CN108608466A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/022—Optical sensing devices using lasers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means

Abstract

本发明提供了一种双目相机和激光雷达联合的机器人定位方法，环境识别传感器将采集的外部环境信息传递给工控机并绘制环境地图，通过相互之间的配合来判断机器人自身的位姿以及是否移动到目标的区域，通过传感器数据的配合使用可以对机器人进行良好的定位。通过双目相机和激光雷达的配合使用，向机器人传达了更丰富的环境信息，解决了二维激光环境信息少，三维激光成本高的问题，同时也提供了更加准确的室外定位信息。

Description

一种双目相机和激光雷达联合的机器人定位方法
技术领域
本发明涉及一种机器人定位方法，具体涉及双目相机和激光雷达联合的机器人定位方法。
背景技术
随着计算能力和传感器等技术的不断增强，室外巡逻型和安防型机器人的功能也变得日益增大，与此同时，多传感器数据的混合使用也变得日益多样。此时，机器人不再局限于单一的传感器的使用，而可以通过多传感器数据的相互配合从而获得更加准备的环境以及位姿信息。多传感器数据的相互配合使用做位机器人定位的重要手段，需要比较强的计算能力，现在计算机的发展正好为此条件提供了良好的基础。
现有的机器人定位方法大多使用多个二维传感器获取环境信息，多个二维传感器配合使用的必然缺陷导致机器人定位精度不是很高，这样的机器人会出现在导航定位中的效果相对较差，且可拓展性也不足的问题；获取三维环境信息的三维激光成本又高。
发明内容
有鉴于此，本发明提供了一种双目相机和激光雷达联合的机器人定位方法，通过双目相机和激光雷达的配合使用，向机器人传达了更丰富的环境信息，解决了二维激光环境信息少，三维激光成本高的问题，同时也提供了更加准确的室外定位信息。
一种双目相机和激光雷达联合的机器人定位方法，定位步骤如下：
步骤一：将双目相机和激光雷达联合标定，得到双目相机的内参、外参以及双目相机相对于激光雷达的旋转和平移阵以纠正双目相机的畸变偏差；
步骤三：工控机对离线二维环境栅格地图和离线三维特征环境信息进行映射匹配处理，得到激光雷达和双目相机的匹配关系K1；
步骤四：将激光雷达扫描的实时二维环境信息S1传递给工控机，工控机利用激光雷达和双目相机的匹配关系K1对实时二维环境信息S1进行处理，得到关键帧位姿信息S1′；
将双目相机扫描的实时三维环境信息S2传递给工控机；
步骤五：对关键帧位姿信息S1′和实时三维环境信息S2进行加权处理，得到机器人的当前定位姿态信息S。
进一步地，所述映射匹配为非线性化映射匹配或局部线性映射匹配。
进一步地，所述激光雷达的扫描角度满足不能扫描到机器人本体。
进一步地，所述激光雷达和双目相机的扫描频率一致。
有益效果：
1、本发明中双目相机使机器人可以获取三维环境信息，激光雷达可以获取二维环境信息，通过双目相机和激光雷达数据的配合使用，向机器人传达了更丰富的环境信息，解决了二维激光环境信息少，三维激光成本高的问题，并且可以在单一传感器失效的情况下另外一个传感器也能继续完成任务，能够满足室外安防机器人定位的需要，同时也提供了更加准确的室外定位信息。
2、本发明采用多样性的算法应用与双目相机结合起来，使得其对机器人定位有一定的可扩展性。
3、本发明采用非线性映射匹配或局部线性映射，是为了保证位于同一个坐标系下，并且提高了鲁棒性。
4、本发明设置激光雷达的扫描角度保证获取外部环境信息的精确性。
5、本发明激光雷达和双目相机的扫描频率一致，保证采集外部环境信息的精确性。
附图说明
附图为本发明的结构原理图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供了一种双目相机和激光雷达联合的机器人定位方法，如附图所示，环境识别传感器将采集的外部环境信息传递给工控机并绘制环境地图，通过相互之间的配合来判断机器人自身的位姿以及是否移动到目标的区域，通过传感器数据的配合使用可以对机器人进行良好的定位。
本发明的环境识别传感器包括：激光雷达和双目相机。
具体定位步骤如下：
步骤一：将双目相机和激光雷达联合标定，得到双目相机的内参、外参以及双目相机相对于激光雷达的旋转和平移阵以纠正双目相机的畸变偏差；
步骤二：将激光雷达的扫描频率设为10hz，扫描角度设置为180度；将双目相机的扫描的频率同样设为10hz，双目相机的广角采用70度；
编译ORBSLAM，采用建图模式对外部信息进行离线建特征点图，激光雷达和双目相机同时采集机器人外部的二维环境信息和三维环境信息并传递给工控机，采用建图模式，分别建立完整的离线二维环境栅格地图和离线三维特征环境信息；
步骤三：工控机对离线二维环境栅格地图和离线三维特征环境信息进行非线性化映射匹配处理，得到激光雷达和双目相机的匹配关系K1；
此处的映射匹配方法也可以采用局部线性映射匹配，需要先将离线二维环境栅格地图、离线三维特征环境信息及离线环境位姿信息进行分块处理，然后再进行局部线性映射匹配，实现功能与非线性化映射匹配相同，保证进行映射的坐标系位于同一个坐标系下；
步骤四：将匹配关系带入双目相机中，目的是为了让双目相机和其他传感器的坐标系一致，得到最终双目相机的输出结果；
在定位模式下，将激光雷达扫描的实时二维环境信息S1传递给工控机，工控机利用激光雷达和双目相机的匹配关系K1对实时二维环境信息S1进行处理，得到关键帧位姿信息S1′；
将双目相机扫描的实时三维环境信息S2传递给工控机；
步骤五：对关键帧位姿信息S1′和实时三维环境信息S2进行加权处理，得到机器人的当前定位姿态信息S。
此时得到的当前定位姿态信息S较为精确。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种双目相机和激光雷达联合的机器人定位方法，其特征在于，定位步骤如下：
步骤一：将双目相机和激光雷达联合标定，得到双目相机的内参、外参以及双目相机相对于激光雷达的旋转和平移阵以纠正双目相机的畸变偏差；
步骤二：激光雷达和双目相机同时采集机器人外部的二维环境信息和三维环境信息并传递给工控机，分别建立完整的离线二维环境栅格地图和离线三维特征环境信息；
步骤三：工控机对离线二维环境栅格地图和离线三维特征环境信息进行映射匹配处理，得到激光雷达和双目相机的匹配关系K1；
步骤四：将激光雷达扫描的实时二维环境信息S1传递给工控机，工控机利用激光雷达和双目相机的匹配关系K1对实时二维环境信息S1进行处理，得到关键帧位姿信息S1′；
将双目相机扫描的实时三维环境信息S2传递给工控机；
步骤五：对关键帧位姿信息S1′和实时三维环境信息S2进行加权处理，得到机器人的当前定位姿态信息S。
2.如权利要求1所述的双目相机和激光雷达联合的机器人定位方法，其特征在于，所述映射匹配为非线性化映射匹配或局部线性映射匹配。
3.如权利要求1所述的双目相机和激光雷达联合的机器人定位方法，其特征在于，所述激光雷达的扫描角度满足不能扫描到机器人本体。
4.如权利要求1所述的双目相机和激光雷达联合的机器人定位方法，其特征在于，所述激光雷达和双目相机的扫描频率一致。
CN201810159711.1A 2018-02-26 2018-02-26 一种双目相机和激光雷达联合的机器人定位方法 Pending CN108608466A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810159711.1A CN108608466A (zh) 2018-02-26 2018-02-26 一种双目相机和激光雷达联合的机器人定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810159711.1A CN108608466A (zh) 2018-02-26 2018-02-26 一种双目相机和激光雷达联合的机器人定位方法

Publications (1)

Publication Number Publication Date
CN108608466A true CN108608466A (zh) 2018-10-02

Family

ID=63658302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810159711.1A Pending CN108608466A (zh) 2018-02-26 2018-02-26 一种双目相机和激光雷达联合的机器人定位方法

Country Status (1)

Country Link
CN (1) CN108608466A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109712190A (zh) * 2018-11-10 2019-05-03 浙江大学 三维激光扫描仪与三维激光雷达的外参标定方法
CN109940570A (zh) * 2019-03-28 2019-06-28 东北大学 一种闸道检修机器人
CN110497373A (zh) * 2019-08-07 2019-11-26 大连理工大学 一种移动作业机器人的三维激光雷达与机械臂间的联合标定方法
CN110517303A (zh) * 2019-08-30 2019-11-29 的卢技术有限公司 一种基于双目相机和毫米波雷达的融合slam方法及系统
CN110579764A (zh) * 2019-08-08 2019-12-17 北京三快在线科技有限公司 深度相机和毫米波雷达的配准方法、装置、电子设备
CN110733039A (zh) * 2019-10-10 2020-01-31 南京驭行科技有限公司 基于vfh+与视觉辅助决策的机器人自动驾驶方法
CN110910498A (zh) * 2019-11-21 2020-03-24 大连理工大学 一种利用激光雷达和双目相机构建栅格地图的方法
CN111609853A (zh) * 2019-02-25 2020-09-01 北京奇虎科技有限公司 三维地图构建方法、扫地机器人及电子设备
CN111679663A (zh) * 2019-02-25 2020-09-18 北京奇虎科技有限公司 三维地图构建方法、扫地机器人及电子设备
CN112124825A (zh) * 2020-09-22 2020-12-25 同济大学 一种垃圾转运装备机械爪定位控制系统
CN112462758A (zh) * 2020-11-06 2021-03-09 深圳市优必选科技股份有限公司 一种建图方法、装置、计算机可读存储介质及机器人

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104914863A (zh) * 2015-05-13 2015-09-16 北京理工大学 一种一体式无人运动平台环境理解系统及其工作方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104914863A (zh) * 2015-05-13 2015-09-16 北京理工大学 一种一体式无人运动平台环境理解系统及其工作方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109712190A (zh) * 2018-11-10 2019-05-03 浙江大学 三维激光扫描仪与三维激光雷达的外参标定方法
CN111609853A (zh) * 2019-02-25 2020-09-01 北京奇虎科技有限公司 三维地图构建方法、扫地机器人及电子设备
CN111679663A (zh) * 2019-02-25 2020-09-18 北京奇虎科技有限公司 三维地图构建方法、扫地机器人及电子设备
CN109940570A (zh) * 2019-03-28 2019-06-28 东北大学 一种闸道检修机器人
CN110497373A (zh) * 2019-08-07 2019-11-26 大连理工大学 一种移动作业机器人的三维激光雷达与机械臂间的联合标定方法
CN110579764B (zh) * 2019-08-08 2021-03-09 北京三快在线科技有限公司 深度相机和毫米波雷达的配准方法、装置、电子设备
CN110579764A (zh) * 2019-08-08 2019-12-17 北京三快在线科技有限公司 深度相机和毫米波雷达的配准方法、装置、电子设备
CN110517303A (zh) * 2019-08-30 2019-11-29 的卢技术有限公司 一种基于双目相机和毫米波雷达的融合slam方法及系统
CN110733039A (zh) * 2019-10-10 2020-01-31 南京驭行科技有限公司 基于vfh+与视觉辅助决策的机器人自动驾驶方法
CN110910498A (zh) * 2019-11-21 2020-03-24 大连理工大学 一种利用激光雷达和双目相机构建栅格地图的方法
CN110910498B (zh) * 2019-11-21 2021-07-02 大连理工大学 一种利用激光雷达和双目相机构建栅格地图的方法
CN112124825A (zh) * 2020-09-22 2020-12-25 同济大学 一种垃圾转运装备机械爪定位控制系统
CN112462758A (zh) * 2020-11-06 2021-03-09 深圳市优必选科技股份有限公司 一种建图方法、装置、计算机可读存储介质及机器人

Similar Documents

Publication Publication Date Title
CN108608466A (zh) 一种双目相机和激光雷达联合的机器人定位方法
CN108680156A (zh) 一种多传感器数据融合的机器人定位方法
CN108571971B (zh) 一种agv视觉定位系统及方法
CN104395932B (zh) 对准数据的方法
CN106856003B (zh) 轴类工件侧表面缺陷检测图像的展开校正方法
CN108594245A (zh) 一种目标物运动监测系统及方法
CN108346165A (zh) 机器人与三维传感组件联合标定方法与装置
CN107063229A (zh) 基于人工路标的移动机器人定位系统及方法
CN108638125A (zh) 一种双目相机和差分gps联合的机器人定位方法
CN106504287B (zh) 基于模板的单目视觉目标空间定位系统
KR101021470B1 (ko) 영상 데이터를 이용한 로봇 움직임 데이터 생성 방법 및 생성 장치
Scaioni et al. Image-based deformation measurement
CN106651957A (zh) 基于模板的单目视觉目标空间定位方法
Mi et al. A vision-based displacement measurement system for foundation pit
Bok et al. Extrinsic calibration of a camera and a 2D laser without overlap
JP6289317B2 (ja) モデル化データ算出方法及びモデル化データ算出装置
Lee Use of infrared light reflecting landmarks for localization
CN108731679A (zh) 移动机器人环境特征定位方法
Kofman et al. Hand-held 3D scanner for surface-shape measurement without sensor pose tracking or surface markers: a compact hand-held 3D scanner simultaneously projecting multiple light lines is presented, enabling 3D surface-shape measurement without requiring sensor tracking or surface markers
Aydar et al. A low-cost laser scanning system design
Hu et al. Accurate fiducial mapping for pose estimation using manifold optimization
Liang et al. An integrated camera parameters calibration approach for robotic monocular vision guidance
Kita et al. 3D map building using mobile robot with scan device
CN110992413A (zh) 机载遥感影像的高精度快速配准方法
Kim et al. Automatic registration of laser scanned color point clouds based on common feature extraction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181002

RJ01 Rejection of invention patent application after publication