CN106556825B - 一种全景视觉成像系统的联合标定方法 - Google Patents

一种全景视觉成像系统的联合标定方法 Download PDF

Info

Publication number
CN106556825B
CN106556825B CN201510632658.9A CN201510632658A CN106556825B CN 106556825 B CN106556825 B CN 106556825B CN 201510632658 A CN201510632658 A CN 201510632658A CN 106556825 B CN106556825 B CN 106556825B
Authority
CN
China
Prior art keywords
laser radar
beam laser
vision
camera
vision camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510632658.9A
Other languages
English (en)
Other versions
CN106556825A (zh
Inventor
崇博
魏克全
刘栋苏
郝鹏
李晗
时兆峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Automation Control Equipment Institute BACEI
Original Assignee
Beijing Automation Control Equipment Institute BACEI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Automation Control Equipment Institute BACEI filed Critical Beijing Automation Control Equipment Institute BACEI
Priority to CN201510632658.9A priority Critical patent/CN106556825B/zh
Publication of CN106556825A publication Critical patent/CN106556825A/zh
Application granted granted Critical
Publication of CN106556825B publication Critical patent/CN106556825B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Studio Devices (AREA)

Abstract

本发明属于车载环境感知技术领域，具体涉及一种全景视觉成像系统的联合标定方法。该联合标定方法利用多光束激光雷达和视觉相机针对同一目标景物所采集图像的法向量在空间内平行的原理，建立两幅图像的之间的映射关系，从而实现多光束激光雷达点云图像和视觉相机图像间的联合标定。使用本发明的方法，能够快速、准确地计算出视觉相机图像与多光束激光雷达图像间的映射关系，实现此两者之间的联合标定，使得视觉相机和多光束激光雷达的图像融合成为可能，在无人车环境感知方面具备广阔的应用前景。

Description

一种全景视觉成像系统的联合标定方法
技术领域
本发明属于车载环境感知技术领域，具体涉及一种全景视觉成像系统的联合标定方法。
背景技术
车载环境感知系统是一个集成的多传感器系统，具备多环境参量的实时获取和数据融合与传输功能，是以无人车为代表的地面无人平台实现环境目标物特征提取和识别的核心系统。
视觉相机和多光束激光雷达是车载环境感知系统中两个主要功能单元，前者具有实时成像能力，可快速、清晰地获取环境目标物的二维几何外形和颜色信息，是获取物体纹理信息的有效手段；后者具有精确的空间测距能力，可快速、准确地获取环境目标物的空间三维坐标，是获取空间数据的有效手段。结合视觉相机和激光雷达的优缺点，发挥各自优势，将视觉相机和激光雷达的数据相结合，建立激光雷达点云和视觉图像像素的映射关系，构建全景视觉成像系统，可解决车载环境感知系统三维环境快速建模的难题，是环境目标物特征提取和识别的基础。
发明内容
本发明需要解决的技术问题为：提供一种视觉相机图像和多光束激光雷达点云图像的联合标定方法。
本发明的技术方案如下所述：
一种全景视觉成像系统的联合标定方法，包括以下步骤：
步骤一、将多光束激光雷达调整至任意一个视觉相机中的上方，使两者正对同一目标景物，且多光束激光雷达发射窗口的中心轴线与该视觉相机镜头的中心轴线同平面；
步骤二、将标定靶面设置于所述多光束激光雷达和该视觉相机共同的正前方，并开始图像采集；
步骤三、结合相机参数，分别计算所采集到多光束激光雷达点云图像和视觉相机图像的法向量，建立两幅图像的之间的映射关系；
步骤四、依次将多光束激光雷达调整到其它视觉相机的上方，使多光束激光雷达与该视觉相机正对同一目标景物，且多光束激光雷达发射窗口的中心轴线与该视觉相机镜头的中心轴线同平面，每次调整完成后，均依次执行步骤二和步骤三；
步骤五、在获得多光束激光雷达分别与所有视觉相机针对同一标定靶面所成图像间的映射关系后，完成联合标定。
优选的，所述视觉相机有5个，在空间内均匀排布，它们镜头的中轴线共平面，且相邻的两视觉相机镜头的中轴线成角72°，所述视觉相机具有水平82°的视场角。
优选的，步骤一中所述多光束激光雷达的调整通过旋转装置实现。
优选的，步骤三中建立两幅图像的之间的映射关系的依据为：多光束激光雷达点云图像和视觉相机图像的法向量在空间内平行。
一种全景视觉成像系统，包括：视觉相机、多光束激光雷达、旋转扫描机构、系统综合控制模块和系统结构工装，所述系统结构工装为正五棱柱形状，在五棱柱形状每个侧面的中心均安装有视觉相机，所有视觉相机镜头的中轴线共平面，相邻的两个视觉相机镜头的中轴线成角72°；在所述系统结构工装正五边形上底面的中心安装有旋转扫描机构，多光束激光雷达设置于旋转扫描机构之上，所述多光束激光雷达能够在旋转扫描机构的带动下平行于所述系统结构工装的正五边形上底面360°旋转；所述系统综合控制模块安装于系统结构工装下底面，用于实现视觉相机和多光束激光雷达的起停控制，调节旋转扫描机构的转速及工作模式，还进行数据的收集和处理。
本发明的有益效果为：
使用本发明的方法，能够快速、准确地计算出视觉相机图像与多光束激光雷达图像间的映射关系，实现此两者之间的联合标定，使得视觉相机和多光束激光雷达的图像融合成为可能，在无人车环境感知方面具备广阔的应用前景。
附图说明
图1为全景视觉成像系统的组成示意图；
图2为图1的俯视图；
图3为基于全景视觉成像系统的联合标定方法的流程图；
图4为全景视觉成像系统的联合标定时的工作时序图；
其中，1-视觉相机，2-多光束激光雷达，3-旋转扫描机构，4-系统综合控制模块，5-系统结构工装。
具体实施方式
本发明所述的全景视觉成像系统基于视觉相机和多光束激光雷达。在本发明的实施例中，共使用了5部视觉相机1，全部为单目视觉相机，其水平视场角为82°，垂直视场角为66°，利用面阵CCD芯片成像。5部视觉相机1的镜头中轴线共平面，且相邻的两部视觉相机1镜头的中轴线成角72°，因此通过这5部激光相机1可以获得水平360°视场范围、垂直-33°～+33°视场范围内的全景图像，相机单帧成像时间10ms。
在本发明的实施例中使用的多光束激光雷达2具备32路激光发射通道，采用脉冲激光测距机制，利用飞行时间法测量目标物与多光束激光雷达2间的距离，垂直视场范围为-30°～+10°。在本实施例中将多光束激光雷达2设置于旋转扫描机构3之上，使得多光束激光雷达实现了水平360°视场范围内频率为20Hz的扫描探测。
除了前述的视觉相机1和多光束激光雷达2之外，在实施例的全景视觉成像系统中还包含有系统综合控制模块4，用于实现视觉相机1和多光束激光雷达2的起停控制，调节旋转扫描机构3的转速及工作模式，还进行数据的收集和处理。视觉相机1通过CameraLink接口与系统综合控制模块4进行数据通讯，而多光束激光雷达2通过以太网口将其扫描得到的环境目标物点云数据通讯至系统综合控制模块4。
所述的视觉相机1、多光束激光雷达2、旋转扫描机构3和系统综合控制模块4都被集成安装于一个系统结构工装之内5，如图1、2所示。
本发明所述的全景视觉成像系统是将视觉相机1和多光束激光雷达2所获得的数据相融合，再生成三维的全景环境信息。所述融合需要建立多光束激光雷达2的点云像素和视觉相机1的图像像素之间的映射关系，即实现视觉相机1和多光束激光雷达2的全景联合标定。具体做法为：打开全景视觉成像系统，此时多光束激光雷达2的发射窗口应位于其中一个视觉相机1的上方，两者正对同一目标景物，多光束激光雷达2发射窗口的中心轴线与该视觉相机1镜头的中心轴线同平面。记此时多光束激光雷达2的位置为0°位置，将标定靶面放置于多光束激光雷达2的发射窗口前方，之后系统综合控制模块4开始读取该视觉相机1和所述多光束激光雷达2所拍摄的图像数据，并进行数据处理。
由于该视觉相机1和多光束激光雷达2所拍摄的为同一标定靶面，故两者所生成的两幅图像的法向量应在空间内平行，根据这一关系，可以建立在0°位置处激光雷达坐标系和视觉相机坐标系的映射关系，即旋转矩阵和平移矩阵。
之后旋转多光束激光雷达2至72°、144°、216°、288°位置处，重复前述操作，得到其他四个位置处视觉相机1和多光束激光雷达2成像坐标系之间映射关系，完成全景视觉成像系统的联合标定。
联合标定方法的系统工作时序图和方法流程图分别如图3、图4所示。
通过联合标定获得旋转矩阵和平移矩阵，可以将视觉相机1所产生的视觉图像像素点q(u，v)与激光雷达云点Q(X，Y，Z)相融合，即将q的RGB属性值赋给Q，从而把Q变为具有颜色属性的彩色点云数据。

Claims (5)

1.一种全景视觉成像系统的联合标定方法，其特征在于：包括以下步骤：
步骤一、将多光束激光雷达调整至任意一个视觉相机中的上方，使两者正对同一目标景物，且多光束激光雷达发射窗口的中心轴线与该视觉相机镜头的中心轴线同平面；
步骤二、将标定靶面设置于所述多光束激光雷达和该视觉相机共同的正前方，并开始图像采集；
步骤三、结合相机参数，分别计算所采集到多光束激光雷达点云图像和视觉相机图像的法向量，建立两幅图像的之间的映射关系；
步骤四、依次将多光束激光雷达调整到其它视觉相机的上方，使多光束激光雷达与该视觉相机正对同一目标景物，且多光束激光雷达发射窗口的中心轴线与该视觉相机镜头的中心轴线同平面，每次调整完成后，均依次执行步骤二和步骤三；
步骤五、在获得多光束激光雷达分别与所有视觉相机针对同一标定靶面所成图像间的映射关系后，完成联合标定。
2.如权利要求1所述的全景视觉成像系统的联合标定方法，其特征在于：所述视觉相机有5个，在空间内均匀排布，它们镜头的中轴线共平面，且相邻的两视觉相机镜头的中轴线成角72°，所述视觉相机具有水平82°的视场角。
3.如权利要求2所述的全景视觉成像系统的联合标定方法，其特征在于：步骤一中所述多光束激光雷达的调整通过旋转装置实现。
4.如权利要求3所述的全景视觉成像系统的联合标定方法，其特征在于：步骤三中建立两幅图像的之间的映射关系的依据为：多光束激光雷达点云图像和视觉相机图像的法向量在空间内平行。
5.一种全景视觉成像系统，包括：视觉相机、多光束激光雷达、旋转扫描机构、系统综合控制模块和系统结构工装，其特征在于：所述系统结构工装为正五棱柱形状，在五棱柱形状每个侧面的中心均安装有视觉相机，所有视觉相机镜头的中轴线共平面，相邻的两个视觉相机镜头的中轴线成角72°；在所述系统结构工装正五边形上底面的中心安装有旋转扫描机构，多光束激光雷达设置于旋转扫描机构之上，所述多光束激光雷达能够在旋转扫描机构的带动下平行于所述系统结构工装的正五边形上底面360°旋转；所述系统综合控制模块安装于系统结构工装下底面，用于实现视觉相机和多光束激光雷达的起停控制，调节旋转扫描机构的转速及工作模式，还进行数据的收集和处理。
CN201510632658.9A 2015-09-29 2015-09-29 一种全景视觉成像系统的联合标定方法 Active CN106556825B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510632658.9A CN106556825B (zh) 2015-09-29 2015-09-29 一种全景视觉成像系统的联合标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510632658.9A CN106556825B (zh) 2015-09-29 2015-09-29 一种全景视觉成像系统的联合标定方法

Publications (2)

Publication Number Publication Date
CN106556825A CN106556825A (zh) 2017-04-05
CN106556825B true CN106556825B (zh) 2019-05-10

Family

ID=58414555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510632658.9A Active CN106556825B (zh) 2015-09-29 2015-09-29 一种全景视觉成像系统的联合标定方法

Country Status (1)

Country Link
CN (1) CN106556825B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109839624A (zh) * 2017-11-27 2019-06-04 北京万集科技股份有限公司 一种多激光雷达位置标定方法及装置
CN108226906B (zh) * 2017-11-29 2019-11-26 深圳市易成自动驾驶技术有限公司 一种标定方法、装置及计算机可读存储介质
CN109143205B (zh) * 2018-08-27 2020-07-24 深圳一清创新科技有限公司 一体化传感器外参数标定方法、装置
CN109160452B (zh) * 2018-10-23 2023-06-20 西安中科光电精密工程有限公司 基于激光定位和立体视觉的无人转运叉车及导航方法
CN111179351B (zh) * 2018-11-13 2023-07-14 北京图森智途科技有限公司 一种参数标定方法及其装置、处理设备
CN109634279B (zh) * 2018-12-17 2022-08-12 瞿卫新 基于激光雷达与单目视觉的物体定位方法
CN111462243A (zh) * 2019-01-22 2020-07-28 上海欧菲智能车联科技有限公司 车载流媒体后视镜标定方法、系统及装置
CN109828250B (zh) * 2019-03-28 2020-07-21 森思泰克河北科技有限公司 一种雷达标定方法、标定装置及终端设备
CN109932701B (zh) * 2019-04-02 2022-07-15 哈尔滨工程大学 一种模拟船用雷达的目标船回波2d成像方法
CN112180362B (zh) * 2019-07-05 2024-04-23 北京地平线机器人技术研发有限公司 雷达与相机之间的转换位姿确定方法、装置以及电子设备
CN110579764B (zh) * 2019-08-08 2021-03-09 北京三快在线科技有限公司 深度相机和毫米波雷达的配准方法、装置、电子设备
CN110864725A (zh) * 2019-10-24 2020-03-06 大连理工大学 基于升降运动的全景三维彩色激光扫描系统及其方法
CN111337909B (zh) * 2020-03-30 2022-03-04 苏州华兴源创科技股份有限公司 基于激光雷达检测系统的双平行面零点标定系统及方法
CN111757021B (zh) * 2020-07-06 2021-07-20 浙江大学 面向移动机器人远程接管场景的多传感器实时融合方法
CN113763478B (zh) * 2020-09-09 2024-04-12 北京京东尚科信息技术有限公司 无人车相机标定方法、装置、设备、存储介质及系统
CN114384496B (zh) * 2020-10-22 2023-03-21 北京一径科技有限公司 激光雷达角度的标定方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455144A (zh) * 2013-08-22 2013-12-18 深圳先进技术研究院 车载人机交互系统及方法
CN104914863A (zh) * 2015-05-13 2015-09-16 北京理工大学 一种一体式无人运动平台环境理解系统及其工作方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10228452B2 (en) * 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455144A (zh) * 2013-08-22 2013-12-18 深圳先进技术研究院 车载人机交互系统及方法
CN104914863A (zh) * 2015-05-13 2015-09-16 北京理工大学 一种一体式无人运动平台环境理解系统及其工作方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Mutual Information Approach to Automatic Calibration of Camera and Lidar in Natural Environments;Zachary Taylor等;《Proceedings of Australasian Conference on Robotics and Automation》;20121231;全文
三维激光和单目视觉间的联合标定与数据融合;陈东;《中国优秀硕士学位论文全文数据库 信息科技辑》;20100715;全文
摄像机与3D激光雷达联合标定的新方法;项志宇等;《浙江大学学报》;20090831;第43卷(第8期);全文

Also Published As

Publication number Publication date
CN106556825A (zh) 2017-04-05

Similar Documents

Publication Publication Date Title
CN106556825B (zh) 一种全景视觉成像系统的联合标定方法
TWI555379B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
CN106780725B (zh) 一种双目三维重构方法及系统
CA2907047C (en) Method for generating a panoramic image
US9443308B2 (en) Position and orientation determination in 6-DOF
CN105243637B (zh) 一种基于三维激光点云进行全景影像拼接方法
US9772405B2 (en) Backfilling clouds of 3D coordinates
CN108717728A (zh) 一种基于多视角深度摄像机的三维重建装置及方法
EP3488603B1 (en) Methods and systems for processing an image
CN106548477A (zh) 一种基于立体标定靶的多路鱼眼相机标定装置及方法
CN114998499B (zh) 一种基于线激光振镜扫描的双目三维重建方法及系统
US20090251680A1 (en) Three dimensional spatial imaging system and method
CN106878687A (zh) 一种基于多传感器的车载环境识别系统及全方位视觉模块
US9881377B2 (en) Apparatus and method for determining the distinct location of an image-recording camera
CN110827392B (zh) 单目图像三维重建方法、系统及装置
CA2707176A1 (en) Method and apparatus for rapid three-dimensional restoration
EP1946567A2 (en) Device for generating three dimensional surface models of moving objects
CN206460515U (zh) 一种基于立体标定靶的多路鱼眼相机标定装置
CN106454090A (zh) 基于深度相机的自动对焦方法及系统
CN206611521U (zh) 一种基于多传感器的车载环境识别系统及全方位视觉模块
CN206460516U (zh) 一种多路鱼眼相机双目标定装置
JP2023505891A (ja) 環境のトポグラフィを測定するための方法
CN111009030A (zh) 一种多视高分辨率纹理图像与双目三维点云映射方法
CN104732557A (zh) 一种地面激光扫描仪彩色点云生成方法
CN110230979A (zh) 一种立体标靶及其三维彩色数字化系统标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant