CN112017205B - 一种激光雷达和相机传感器空间位置自动标定方法及系统 - Google Patents
一种激光雷达和相机传感器空间位置自动标定方法及系统 Download PDFInfo
- Publication number
- CN112017205B CN112017205B CN202010729645.4A CN202010729645A CN112017205B CN 112017205 B CN112017205 B CN 112017205B CN 202010729645 A CN202010729645 A CN 202010729645A CN 112017205 B CN112017205 B CN 112017205B
- Authority
- CN
- China
- Prior art keywords
- laser radar
- camera sensor
- data
- spatial position
- axis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012216 screening Methods 0.000 claims abstract description 36
- 238000001914 filtration Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 5
- 230000006872 improvement Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G06T5/70—
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Abstract
本发明公开了一种激光雷达和相机传感器空间位置自动标定方法及系统，所述方法包括：调整激光雷达相对于相机传感器的空间位置，得到多组激光雷达和相机传感器的空间位置关系；对于一个空间位置关系，从激光雷达点云数据中筛选出符合直线特征的数据；从相机传感器图像数据中筛选符合直线特征的数据；将符合直线特征的激光雷达数据投影到相机传感器的像素坐标系，计算投影后的符合直线特征的一个激光雷达点的灰度值作为得分，累加全部激光雷达点的得分作为总得分；遍历所有的空间位置关系，得到多个总得分；从多个总得分中，选择最高总得分对应的激光雷达和相机传感器的空间位置关系，作为标定后的激光雷达和相机传感器的位置关系。
Description
技术领域
本发明涉及多传感器标定领域，尤其涉及一种激光雷达和相机传感器空间位置自动标定方法及系统。
背景技术
多传感器标定方法是无人驾驶领域的研究重点和难点之一。在当前的传感器标定算法中，通常为手动标定的方式，此种方法通常对标定环境要求较为严格，并且选取标定物体的精度也会影响标定精度。并且，在运行过程中，激光雷达和相机的空间位置关系会逐渐变化，因此需要一种可以实时在线监测空间位置关系，并能及时纠正累计误差的自动标定方法。
发明内容
本发明的目的在于提供一种激光雷达和相机传感器空间位置自动标定方法及系统，可以实时判断当前激光雷达和相机的空间位置是否准确，并且在准确度低的情况下在线纠正激光雷达和相机的空间位置误差。该方法不需要人为设计标定物体，可以自动采集环境中的信息，标定激光雷达和相机空间位置。
为实现上述目的，本发明的实施例1提供了一种激光雷达和相机传感器空间位置自动标定方法，所述方法包括：
调整激光雷达相对于相机传感器的空间位置，得到多组激光雷达和相机传感器的空间位置关系；
对于一个空间位置关系，从激光雷达点云数据中筛选出符合直线特征的数据；从相机传感器图像数据中筛选符合直线特征的数据；将符合直线特征的激光雷达数据投影到相机传感器的像素坐标系，计算投影后的符合直线特征的一个激光雷达点的灰度值作为得分，累加全部激光雷达点的得分作为总得分；遍历所有的空间位置关系，得到多个总得分；
从多个总得分中，选择最高总得分对应的激光雷达和相机传感器的空间位置关系，作为标定后的激光雷达和相机传感器的位置关系。
作为上述方法的一种改进，所述方法还包括：判断当前激光雷达和相机传感器的空间位置是否准确，具体包括：
从激光雷达点云数据中筛选出符合直线特征的数据；从相机传感器图像数据中筛选符合直线特征的数据；
将符合直线特征的激光雷达数据投影到相机传感器的像素坐标系，计算投影后的符合直线特征的一个激光雷达点的灰度值，对全部激光雷达点的灰度值累计求和，记为A；对全部激光雷达点的最大灰度值累计求和，记为B；
判断A/B的值是否大于0.9，如果为是，则当前激光雷达和相机传感器的空间位置准确，否则，当前激光雷达和相机传感器的空间位置不准确。
作为上述方法的一种改进，所述调整激光雷达相对于相机传感器的空间位置，具体包括：固定相机传感器，按照下述六个自由度中的一个或者任意组合调整激光雷达的空间位置，六个自由度包括：沿x轴方向移动、沿y轴方向移动、沿z轴方向移动，绕x轴旋转、绕y轴旋转和绕z轴旋转，其中，x轴、y轴和z轴为相机传感器的本体坐标系的三个坐标轴。
作为上述方法的一种改进，所述从激光雷达点云数据中筛选出符合直线特征的数据，具体为：
获取多线束激光雷达数据，对于每一个线束中的激光雷达点，若相邻两个激光雷达点的距离变化大于阈值，则去除距离较远的激光雷达数据点，由此筛选出符合直线特征的数据。
作为上述方法的一种改进，所述从相机传感器图像数据中筛选符合直线特征的数据，具体为：
获取相机传感器采集的图像数据并转换为灰度图；
使用边缘检测算法检测灰度图得到边缘特征图像；
对边缘特征图像进行过滤，留下竖直和水平特征；
使用高斯滤波平滑边缘特征图像得到符合直线特征的图像数据。
本发明的实施例2提供了一种激光雷达和相机传感器空间位置自动标定系统，所述系统包括：激光雷达、相机传感器和空间位置标定模块；
所述空间位置标定模块，用于调整激光雷达相对于相机传感器的空间位置，得到多组激光雷达和相机传感器的空间位置关系；对于一个空间位置关系，从激光雷达点云数据中筛选出符合直线特征的数据；从相机传感器图像数据中筛选符合直线特征的数据；将符合直线特征的激光雷达数据投影到相机传感器的像素坐标系，计算投影后的符合直线特征的一个激光雷达点的灰度值作为得分，累加全部激光雷达点的得分作为总得分；遍历所有的空间位置关系，得到多个总得分；从多个总得分中，选择最高总得分对应的激光雷达和相机传感器的空间位置关系，作为标定后的激光雷达和相机传感器的位置关系。
作为上述系统的一种改进，所述系统还包括：判断模块，用于判断当前激光雷达和相机传感器的空间位置是否准确；该模块的具体实现过程为：
从激光雷达点云数据中筛选出符合直线特征的数据；从相机传感器图像数据中筛选符合直线特征的数据；
将符合直线特征的激光雷达数据投影到相机传感器的像素坐标系，计算投影后的符合直线特征的一个激光雷达点的灰度值，对全部激光雷达点的灰度值累计求和，记为A；对全部激光雷达点的最大灰度值累计求和，记为B；
判断A/B的值是否大于0.9，如果为是，则当前激光雷达和相机传感器的空间位置准确，否则，当前激光雷达和相机传感器的空间位置不准确。
作为上述系统的一种改进，所述调整激光雷达相对于相机传感器的空间位置，具体包括：固定相机传感器，按照下述六个自由度中的一个或者任意组合调整激光雷达的空间位置，六个自由度包括：沿x轴方向移动、沿y轴方向移动、沿z轴方向移动，绕x轴旋转、绕y轴旋转和绕z轴旋转，其中，x轴、y轴和z轴为相机传感器的本体坐标系的三个坐标轴。
作为上述系统的一种改进，所述从激光雷达点云数据中筛选出符合直线特征的数据，具体为：
获取多线束激光雷达数据，对于每一个线束中的激光雷达点，若相邻两个激光雷达点的距离变化大于阈值，则去除距离较远的激光雷达数据点，由此筛选出符合直线特征的数据。
作为上述系统的一种改进，所述从相机传感器图像数据中筛选符合直线特征的数据，具体为：
获取相机传感器采集的图像数据并转换为灰度图；
使用边缘检测算法检测灰度图得到边缘特征图像；
对边缘特征图像进行过滤，留下竖直和水平特征；
使用高斯滤波平滑边缘特征图像得到符合直线特征的图像数据。
与现有技术相比，本发明的所述的优势在于：
1、本发明的方法能够自动完成特征提取，不需要手动设计标定板，也不依赖特定环境；避免了标定场景的限制，提升标定方法的适用性和便捷性；
2、本发明的方法为实时在线标定，可以自动纠正使用过程的误差，避免了使用过程中的累计误差对系统的影响；
3、本发明的点云直线特征和图像直线特征筛选方法可以过滤非直线特征，提升自动标定精度。
附图说明
图1为本发明的激光雷达和相机传感器空间位置自动标定方法的流程图；
图2为点云直线特征示意图；
图3为图像直线特征示意图；
图4为本发明的移动终端的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案进行详细说明。
实施例1
如图1所示，本发明的实施例1提供了一种激光雷达和相机传感器空间位置自动标定方法，该方法可以纠正多传感器系统的累计位置误差。激光雷达指发射激光束探测目标位置特征量的三维雷达系统，相机传感器指利用光学成像原理形成影像的设备，该方法包括以下步骤：
步骤101)判断当前激光雷达和相机传感器的空间位置是否准确，具体包括：
从激光雷达点云数据中筛选出符合直线特征的数据；具体包括：
获取多线束激光雷达数据，对于每一个线束中的激光雷达点，若相邻两个激光雷达点的距离变化大于阈值，则去除距离较远的激光雷达数据点，由此筛选出符合直线特征的数据。如图2所示。
从相机传感器图像数据中筛选符合直线特征的数据；具体包括：
获取相机传感器采集的图像数据并转换为灰度图；
使用边缘检测算法检测灰度图得到边缘特征图像；
对边缘特征图像进行过滤，留下竖直和水平特征；
使用高斯滤波平滑边缘特征图像得到符合直线特征的图像数据。如图3所示。
将符合直线特征的激光雷达数据投影到相机传感器的像素坐标系，计算投影后的符合直线特征的一个激光雷达点的灰度值，对全部激光雷达点的灰度值累计求和，记为A；对全部激光雷达点的最大灰度值累计求和，记为B；
判断AB的值是否大于0.9，如果为是，则当前激光雷达和相机传感器的空间位置准确，否则，当前激光雷达和相机传感器的空间位置不准确。
步骤102)调整激光雷达相对于相机传感器的空间位置，得到多组激光雷达和相机传感器的空间位置关系；
所述调整激光雷达相对于相机传感器的空间位置，具体包括：固定相机传感器，按照下述六个自由度中的一个或者任意组合调整激光雷达的空间位置，六个自由度包括：沿x轴方向移动、沿y轴方向移动、沿z轴方向移动，绕x轴旋转、绕y轴旋转和绕z轴旋转，其中，x轴、y轴和z轴为相机传感器的本体坐标系的三个坐标轴。
步骤103)对于一个空间位置关系，从激光雷达点云数据中筛选出符合直线特征的数据；从相机传感器图像数据中筛选符合直线特征的数据；将符合直线特征的激光雷达数据投影到相机传感器的像素坐标系，计算投影后的符合直线特征的一个激光雷达点的灰度值作为得分，累加全部激光雷达点的得分作为总得分；遍历所有的空间位置关系，得到多个总得分；
步骤104)从多个总得分中，选择最高总得分对应的激光雷达和相机传感器的空间位置关系，作为标定后的激光雷达和相机传感器的位置关系。
本发明的点云和图像直线特征提取不依赖于特定的环境。本发明的点云和图像直线特征筛选自动完成，不需要人工筛选。
实施例2
本发明的实施例2提供了一种激光雷达和相机传感器空间位置自动标定系统，所述系统包括：激光雷达、相机传感器和空间位置标定模块；
所述空间位置标定模块，用于调整激光雷达相对于相机传感器的空间位置，得到多组激光雷达和相机传感器的空间位置关系；对于一个空间位置关系，从激光雷达点云数据中筛选出符合直线特征的数据；从相机传感器图像数据中筛选符合直线特征的数据；将符合直线特征的激光雷达数据投影到相机传感器的像素坐标系，计算投影后的符合直线特征的一个激光雷达点的灰度值作为得分，累加全部激光雷达点的得分作为总得分；从多个总得分中，选择最高总得分对应的激光雷达和相机传感器的空间位置关系，作为标定后的激光雷达和相机传感器的位置关系。
实施例3
如图4所示，本发明的实施例3提供的一种终端设备，包括：至少一个处理器301、存储器302、至少一个网络接口303和用户接口304。各个组件通过总线系统305耦合在一起。可理解，总线系统305用于实现这些组件之间的连接通信。总线系统305除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图中将各种总线都标为总线系统305。
其中，用户接口304可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(track ball)、触感板或者触摸屏等。
可以理解，本公开实施例中的存储器302可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DRRAM)。本文描述的存储器302旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器302存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统3021和应用程序3022。
其中，操作系统3021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序3022，包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。实现本公开实施例方法的程序可以包含在应用程序3022中。
在本公开实施例中，通过调用存储器302存储的程序或指令，具体的，可以是应用程序3022中存储的程序或指令，处理器301用于：
执行实施例1的方法的步骤。
实施例1的方法可以应用于处理器301中，或者由处理器301实现。处理器301可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器301中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器301可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行实施例1中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合实施例1所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器302，处理器301读取存储器302中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本发明描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits，ASIC)、数字信号处理器(Digital SignalProcessing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(ProgrammableLogic Device，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本发明的功能模块(例如过程、函数等)来实现本发明技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
实施例4
本发明实施例4提供一种非易失性存储介质，用于存储计算机程序。当该计算机程序被处理器执行时可以实现上述方法实施例1中的各个步骤。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (4)
1.一种激光雷达和相机传感器空间位置自动标定方法，所述方法包括：
调整激光雷达相对于相机传感器的空间位置，得到多组激光雷达和相机传感器的空间位置关系；
对于一个空间位置关系，从激光雷达点云数据中筛选出符合直线特征的数据；从相机传感器图像数据中筛选符合直线特征的数据；将符合直线特征的激光雷达数据投影到相机传感器的像素坐标系，计算投影后的符合直线特征的一个激光雷达点的灰度值作为得分，累加全部激光雷达点的得分作为总得分；遍历所有的空间位置关系，得到多个总得分；
从多个总得分中，选择最高总得分对应的激光雷达和相机传感器的空间位置关系，作为标定后的激光雷达和相机传感器的位置关系；
所述从激光雷达点云数据中筛选出符合直线特征的数据，具体为：
获取多线束激光雷达数据，对于每一个线束中的激光雷达点，若相邻两个激光雷达点的距离变化大于阈值，则去除距离较远的激光雷达数据点，由此筛选出符合直线特征的数据；
所述从相机传感器图像数据中筛选符合直线特征的数据，具体为：
获取相机传感器采集的图像数据并转换为灰度图；
使用边缘检测算法检测灰度图得到边缘特征图像；
对边缘特征图像进行过滤，留下竖直和水平特征；
使用高斯滤波平滑边缘特征图像得到符合直线特征的图像数据。
2.根据权利要求1所述的激光雷达和相机传感器空间位置自动标定方法，其特征在于，所述调整激光雷达相对于相机传感器的空间位置，具体包括：固定相机传感器，按照下述六个自由度中的一个或者任意组合调整激光雷达的空间位置，六个自由度包括：沿x轴方向移动、沿y轴方向移动、沿z轴方向移动，绕x轴旋转、绕y轴旋转和绕z轴旋转，其中，x轴、y轴和z轴为相机传感器的本体坐标系的三个坐标轴。
3.一种激光雷达和相机传感器空间位置自动标定系统，其特征在于，所述系统包括：激光雷达、相机传感器和空间位置标定模块；
所述空间位置标定模块，用于调整激光雷达相对于相机传感器的空间位置，得到多组激光雷达和相机传感器的空间位置关系；对于一个空间位置关系，从激光雷达点云数据中筛选出符合直线特征的数据；从相机传感器图像数据中筛选符合直线特征的数据；将符合直线特征的激光雷达数据投影到相机传感器的像素坐标系，计算投影后的符合直线特征的一个激光雷达点的灰度值作为得分，累加全部激光雷达点的得分作为总得分；遍历所有的空间位置关系，得到多个总得分；从多个总得分中，选择最高总得分对应的激光雷达和相机传感器的空间位置关系，作为标定后的激光雷达和相机传感器的位置关系；
所述从激光雷达点云数据中筛选出符合直线特征的数据，具体为：
获取多线束激光雷达数据，对于每一个线束中的激光雷达点，若相邻两个激光雷达点的距离变化大于阈值，则去除距离较远的激光雷达数据点，由此筛选出符合直线特征的数据；
所述从相机传感器图像数据中筛选符合直线特征的数据，具体为：
获取相机传感器采集的图像数据并转换为灰度图；
使用边缘检测算法检测灰度图得到边缘特征图像；
对边缘特征图像进行过滤，留下竖直和水平特征；
使用高斯滤波平滑边缘特征图像得到符合直线特征的图像数据。
4.根据权利要求3所述的激光雷达和相机传感器空间位置自动标定系统，其特征在于，所述调整激光雷达相对于相机传感器的空间位置，具体包括：固定相机传感器，按照下述六个自由度中的一个或者任意组合调整激光雷达的空间位置，六个自由度包括：沿x轴方向移动、沿y轴方向移动、沿z轴方向移动，绕x轴旋转、绕y轴旋转和绕z轴旋转，其中，x轴、y轴和z轴为相机传感器的本体坐标系的三个坐标轴。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010729645.4A CN112017205B (zh) | 2020-07-27 | 2020-07-27 | 一种激光雷达和相机传感器空间位置自动标定方法及系统 |
| US17/336,342 US11249174B1 (en) | 2020-07-27 | 2021-06-02 | Automatic calibration method and system for spatial position of laser radar and camera sensor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010729645.4A CN112017205B (zh) | 2020-07-27 | 2020-07-27 | 一种激光雷达和相机传感器空间位置自动标定方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112017205A CN112017205A (zh) | 2020-12-01 |
| CN112017205B true CN112017205B (zh) | 2021-06-25 |
Family
ID=73499781
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010729645.4A Active CN112017205B (zh) | 2020-07-27 | 2020-07-27 | 一种激光雷达和相机传感器空间位置自动标定方法及系统 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11249174B1 (zh) |
| CN (1) | CN112017205B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114578328B (zh) * | 2022-02-24 | 2023-03-17 | 苏州驾驶宝智能科技有限公司 | 一种多激光雷达和多相机传感器空间位置自动标定方法 |
| CN115100299B (zh) * | 2022-08-29 | 2023-02-10 | 广州镭晨智能装备科技有限公司 | 一种标定方法、装置、设备和存储介质 |
| CN115588051B (zh) * | 2022-09-29 | 2023-06-13 | 中国矿业大学(北京) | 矿石加工环节的激光雷达和相机空间位置自动标定方法 |
| CN115856849B (zh) * | 2023-02-28 | 2023-05-05 | 季华实验室 | 一种深度相机与2d激光雷达标定方法及相关设备 |
| CN116468804B (zh) * | 2023-04-21 | 2024-04-02 | 湖南佑湘网联智能科技有限公司 | 激光雷达与相机外参标定精度评定方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109270534A (zh) * | 2018-05-07 | 2019-01-25 | 西安交通大学 | 一种智能车激光传感器与相机在线标定方法 |
| CN109949372A (zh) * | 2019-03-18 | 2019-06-28 | 北京智行者科技有限公司 | 一种激光雷达与视觉联合标定方法 |
| CN110906950A (zh) * | 2018-09-14 | 2020-03-24 | 高德软件有限公司 | 激光坐标系和惯导坐标系的标定方法和装置以及存储介质 |
| CN111127563A (zh) * | 2019-12-18 | 2020-05-08 | 北京万集科技股份有限公司 | 联合标定方法、装置、电子设备及存储介质 |
| CN111311689A (zh) * | 2020-02-10 | 2020-06-19 | 清华大学 | 一种激光雷达与相机相对外参的标定方法及系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10528823B2 (en) * | 2017-11-27 | 2020-01-07 | TuSimple | System and method for large-scale lane marking detection using multimodal sensor data |
| US10733761B2 (en) * | 2018-06-29 | 2020-08-04 | Zoox, Inc. | Sensor calibration |
| KR102145557B1 (ko) * | 2019-02-21 | 2020-08-18 | 재단법인대구경북과학기술원 | 이종 센서 간의 데이터 융합 장치 및 방법 |
| US11676307B2 (en) * | 2019-07-05 | 2023-06-13 | Nvidia Corporation | Online sensor calibration for autonomous vehicles |
| CN110599541B (zh) * | 2019-08-28 | 2022-03-11 | 贝壳技术有限公司 | 一种对多传感器进行标定的方法、装置和存储介质 |
-
2020
- 2020-07-27 CN CN202010729645.4A patent/CN112017205B/zh active Active
-
2021
- 2021-06-02 US US17/336,342 patent/US11249174B1/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109270534A (zh) * | 2018-05-07 | 2019-01-25 | 西安交通大学 | 一种智能车激光传感器与相机在线标定方法 |
| CN110906950A (zh) * | 2018-09-14 | 2020-03-24 | 高德软件有限公司 | 激光坐标系和惯导坐标系的标定方法和装置以及存储介质 |
| CN109949372A (zh) * | 2019-03-18 | 2019-06-28 | 北京智行者科技有限公司 | 一种激光雷达与视觉联合标定方法 |
| CN111127563A (zh) * | 2019-12-18 | 2020-05-08 | 北京万集科技股份有限公司 | 联合标定方法、装置、电子设备及存储介质 |
| CN111311689A (zh) * | 2020-02-10 | 2020-06-19 | 清华大学 | 一种激光雷达与相机相对外参的标定方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| Line Feature Based Extrinsic Calibration of LiDAR and Camera;Jingjing Jiang 等;《2018 IEEE International Conference on Vehicular Electronics and Safety（ICVES）》;20180914;全文 * |
| 面向自动驾驶系统的相机-激光雷达的自动标定;许涵博;《中国优秀硕士学位论文全文数据库》;20200215;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US11249174B1 (en) | 2022-02-15 |
| US20220026547A1 (en) | 2022-01-27 |
| CN112017205A (zh) | 2020-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112017205B (zh) | 一种激光雷达和相机传感器空间位置自动标定方法及系统 | |
| CN110322513B (zh) | 一种相机外参标定方法、装置及电子设备 | |
| CN109613543B (zh) | 激光点云数据的修正方法、装置、存储介质和电子设备 | |
| CN110850872A (zh) | 机器人巡检方法、装置、计算机可读存储介质及机器人 | |
| CN111563450B (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN112990124B (zh) | 一种车辆跟踪方法、装置、电子设备及存储介质 | |
| CN112230241B (zh) | 基于随机扫描型雷达的标定方法 | |
| CN109558471B (zh) | 栅格地图的更新方法、装置、存储介质和系统 | |
| CN112083441A (zh) | 激光雷达和毫米波雷达深度融合的障碍物检测方法及系统 | |
| CN114279453B (zh) | 基于车路协同的自动驾驶车辆定位方法、装置及电子设备 | |
| CN115810133B (zh) | 基于图像处理和点云处理的焊接控制方法及相关设备 | |
| US20220327739A1 (en) | Pose calibration method, robot and computer readable storage medium | |
| CN114943952A (zh) | 多相机重叠视域下障碍物融合方法、系统、设备和介质 | |
| US11034028B2 (en) | Pose determining method for mobile robot and apparatus and mobile robot thereof | |
| CN114067001A (zh) | 车载相机角度标定方法、终端及存储介质 | |
| CN115376090A (zh) | 高精地图构建方法、装置及电子设备、存储介质 | |
| CN111445513A (zh) | 基于深度图像的植株冠层体积获取方法、装置、计算机设备和存储介质 | |
| CN115546216A (zh) | 一种托盘检测方法、装置、设备及存储介质 | |
| CN113513983B (zh) | 一种精度检测方法、装置、电子设备和介质 | |
| CN114755663A (zh) | 车辆传感器的外参校准方法、装置及计算机可读存储介质 | |
| CN113850875A (zh) | 枪机标定方法、装置及电子设备 | |
| CN114063024A (zh) | 传感器的标定方法、装置、电子设备和存储介质 | |
| CN115166701B (zh) | 一种rgb-d相机和激光雷达的系统标定方法及装置 | |
| CN114693802A (zh) | 相机和三维设备的联合标定方法、装置及存储介质 | |
| CN112348875B (zh) | 一种标志杆的结构化参数表示确定方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |