CN112859022A - 多种雷达和相机联合标定方法、系统、设备及存储介质 - Google Patents

多种雷达和相机联合标定方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN112859022A
CN112859022A CN202110089938.5A CN202110089938A CN112859022A CN 112859022 A CN112859022 A CN 112859022A CN 202110089938 A CN202110089938 A CN 202110089938A CN 112859022 A CN112859022 A CN 112859022A
Authority
CN
China
Prior art keywords
calibration
sensor
radar sensor
millimeter wave
laser radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110089938.5A
Other languages
English (en)
Other versions
CN112859022B (zh
Inventor
章嵘
张大鹏
赵钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Westwell Information Technology Co Ltd
Original Assignee
Shanghai Westwell Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Westwell Information Technology Co Ltd filed Critical Shanghai Westwell Information Technology Co Ltd
Priority to CN202110089938.5A priority Critical patent/CN112859022B/zh
Publication of CN112859022A publication Critical patent/CN112859022A/zh
Priority to PCT/CN2021/108586 priority patent/WO2022156176A1/zh
Priority to EP21920557.2A priority patent/EP4283328A1/en
Application granted granted Critical
Publication of CN112859022B publication Critical patent/CN112859022B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G01M11/0242—Testing optical properties by measuring geometrical properties or aberrations
    • G01M11/0257—Testing optical properties by measuring geometrical properties or aberrations by analyzing the image formed by the object to be tested
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Chemical & Material Sciences (AREA)
  • Algebra (AREA)
  • Analytical Chemistry (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了多种雷达和相机联合标定方法、系统、设备及存储介质，该方法包括以下步骤：设置多种雷达传感器以及图像传感器共同形成公共视野区域；将一标定板依次设置于公共视野区域中的多个靶位，标定板上设有多个标定图案，标定图案为不同反射系数的材料根据标定图案的中心环绕排列，获得雷达传感器以及图像传感器对不同靶位的标定板的侦测数据获得标定图案的中心在每个雷达传感器以及图像传感器各自三维坐标系中的坐标信息；根据坐标信息进行联合标定。本发明能够通过三种不同传感器同时获得同一标定板上的参照点的世界坐标，然后通过迭代匹配实现联合标定，减少了多传感器标定的步骤，加快了联合标定的速度。

Description

多种雷达和相机联合标定方法、系统、设备及存储介质
技术领域
本发明属于多传感器标定技术领域，尤其涉及一种多种雷达和相机联合标定方法、系统、设备及存储介质。
背景技术
目前，在无人驾驶、V2X路测感知以及其他工业领域广泛的使用包括毫米波雷达、激光雷达和相机在内的多传感器融合技术。多传感器融合需要在空间和时间范围内进行同步，融合的的第一步就是进行空间上的同步，即联合标定，传统的联合标定方法比较零散，需要两两传感器之间单独标定，最后进行整合，且标定流程复杂，需大量的人为优化迭代调参，对场景要求苛刻，标定目标物种类繁多，每次标定都需要大量的专业工程人员花费大量的时间去标定，标定的参数质量不高。如果传感器之间稍有刚体变形就会需要重新标定。
因此，本发明提供了一种多种雷达和相机联合标定方法、系统、设备及存储介质。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
针对现有技术中的问题，本发明的目的在于提供多种雷达和相机联合标定方法、系统、设备及存储介质，克服了现有技术的困难，能够通过三种不同传感器同时获得同一标定板上的参照点的世界坐标，然后通过迭代匹配实现联合标定，减少了多传感器标定的步骤，加快了联合标定的速度。
本发明的实施例提供一种多种雷达和相机联合标定方法，包括以下步骤：
S100、设置多种雷达传感器以及图像传感器共同形成公共视野区域；
S200、将一标定板依次设置于所述公共视野区域中的多个靶位，所述标定板上设有多个标定图案，所述标定图案为不同反射系数的材料根据所述标定图案的中心环绕排列，获得所述雷达传感器以及图像传感器对不同靶位的所述标定板的侦测数据获得所述标定图案的中心在每个所述雷达传感器以及图像传感器各自三维坐标系中的坐标信息；
S300、根据所述坐标信息进行联合标定。
优选地，在所述步骤S100中，设置毫米波雷达传感器、激光雷达传感器以及图像传感器共同形成公共视野区域；
在所述步骤S200中，将同一标定板依次设置于所述公共视野区域中的W个靶位，所述标定板包括一反射板本体、p个同层嵌设于所述反射板本体中的中心对称图案反射区域以及同心设置于每个所述中心对称图案反射区域中心、凸起于反射板本体表面的反射器，所述反射板本体、中心对称图案反射区域以及反射器的反射率各不相同；分别采集所述标定板位于每个靶位时，所述毫米波雷达传感器、激光雷达传感器以及图像传感器的检测到的定位信息，根据所述毫米波雷达传感器、激光雷达传感器以及图像传感器分别对位于每个所述靶位的所述标定板进行同步侦测各自获得的关于所述中心对称图案反射区域的中心定位信息；
在所述步骤S300中，根据不同所述靶位下所述毫米波雷达传感器、激光雷达传感器以及图像传感器的各自中心定位信息进行联合标定。
优选地，所述步骤S100中包括，将所述毫米波雷达传感器、激光雷达传感器以及图像传感器刚体连接，且所述毫米波雷达传感器、激光雷达传感器以及图像传感器的侦测方向共同交汇于公共视野区域。
优选地，所述步骤S200中包括，位于所述靶位的标定板完整出现于所述图像传感器的图像以及所述毫米波雷达传感器、激光雷达传感器的侦测范围中。
优选地，所述步骤S200中包括，所述图像传感器获得所述中心对称图案反射区域的中心定位信息包括以下步骤：
S211、所述图像传感器拍摄所述反射板的图像；
S212、对所述图像进行图像识别，获得中心对称图案反射区域的第一图案轨迹；
S213、根据所述第一图案轨迹，获得所述中心对称图案反射区域的中心；
S214、基于所述图像传感器的三维坐标系，获得所述中心在所述图像传感器的三维坐标系中的三维坐标。
优选地，所述反射板本体为矩形，所述步骤S211中还包括对图像进行矩形矫正。
优选地，所述步骤S200中包括，所述激光雷达传感器获得所述中心对称图案反射区域的中心定位信息包括以下步骤：
S221、所述激光雷达传感器扫描所述标定板；
S222、根据所述激光雷达传感器对于所述反射板本体和中心对称图案反射区域的反射率差异获得区分所述反射板本体和中心对称图案的第二图案轨迹；
S223、根据所述第二图案轨迹，获得所述中心对称图案反射区域的中心；
S224、基于所述激光雷达传感器的三维坐标系，获得所述中心在所述激光雷达传感器的三维坐标系中的三维坐标。
优选地，所述步骤S200中包括，所述毫米波雷达传感器获得所述中心对称图案反射区域的中心定位信息包括以下步骤：
S231、所述毫米波雷达传感器扫描所述标定板上反射器的形状；
S232、基于所述毫米波雷达传感器的三维坐标系，获得所述反射器在所述毫米波雷达传感器的三维坐标系中的三维坐标；
S233、根据所述反射器与所述中心对称图案反射区域的中心的预设位置关系，获得所述中心在所述毫米波雷达传感器的三维坐标系中的三维坐标。
优选地，所述步骤S300中包括以下步骤，
设每个传感器的目标特征y＝{y1,...yW}，设每个标定板的靶位为
Figure BDA0002912078030000031
k为标定板位置编号，c、l、r依次为图像传感器、激光雷达传感器以及毫米波雷达传感器；
则所述图像传感器到激光雷达传感器之间的4×4的转换矩阵为
Figure BDA0002912078030000041
其中，R1、t1分别为所述图像传感器到激光雷达传感器的3×3的旋转矩阵和3×1的平移矩阵；
对于第k个标定板位置，所述图像传感器和激光雷达传感器之间的转换矩阵误差用每个相对的圆心之间的欧式距离表示，
Figure BDA0002912078030000042
其中，
Figure BDA0002912078030000043
表示靶位k的图像传感器和激光雷达传感器外参匹配的误差，
Figure BDA0002912078030000044
表示标定板在靶位k时p圆在图像传感器坐标系下标定板圆心的三维坐标，
Figure BDA0002912078030000045
表示标定板在靶位k时p圆在激光雷达传感器转换在图像传感器坐标系下的三维坐标系，Tc,l表示图像传感器到激光雷达传感器的旋转和平移矩阵，p表示标定板中的圆编号；
所述毫米波雷达传感器到激光雷达传感器之间的4×4的转换矩阵为
Figure BDA0002912078030000046
其中，R2、t2分别为所述毫米波雷达传感器到激光雷达传感器的3×3的旋转矩阵和3×1的平移矩阵；
对于毫米波雷达传感器和激光雷达传感器，第k个标定板位置，误差方程表示如下：
Figure BDA0002912078030000047
其中，
Figure BDA0002912078030000048
表示靶位k在毫米波雷达传感器和激光雷达外参匹配的误差，
Figure BDA0002912078030000049
表示标定板在靶位k时p圆在毫米波雷达传感器坐标系下标定板圆心的三维坐标，
Figure BDA00029120780300000410
表示标定板在靶位k时p圆在激光雷达传感器转换在图像传感器坐标系下的三维坐标系，Tr,l表示毫米波到激光雷达传感器的旋转和平移矩阵，p表示标定板中的圆编号；
通过将欧式空间表示转换到球坐标系，用
Figure BDA00029120780300000411
坐标表示公式(3)为：
Figure BDA00029120780300000412
其中
Figure BDA00029120780300000413
为标定板在靶位k时毫米波雷达传感器坐标系下圆心的球坐标，且俯仰角ψk为未知数，初始值设为0，
Figure BDA00029120780300000414
为激光雷达传感器坐标系下标定板的圆心球坐标；
通过毫米波雷达传感器的垂直方向的视场角，限定一个最大的ψmax，
则获得：
Figure BDA0002912078030000051
对于第W个标定板位置，所述图像传感器和激光雷达传感器之间的总误差用f(θc,l)表示：
Figure BDA0002912078030000052
所述毫米波雷达传感器到激光雷达传感器之间的总误差用f(θr,l)表示
Figure BDA0002912078030000053
其中，
Figure BDA0002912078030000054
表示所述图像传感器和激光雷达传感器之间的参数是否存在，存在为1，不存在为0；
Figure BDA0002912078030000055
表示所述毫米波雷达传感器到激光雷达传感器之间的参数是否存在，存在为1，不存在为0；
通过最小二乘法来迭代优化f(θc,l)和f(θr,l)，当f(θc,l)最小时，获得所述图像传感器和激光雷达传感器之间的转换矩阵；当f(θr,l)最小时，获得所述毫米波雷达传感器到激光雷达传感器之间的转换矩阵。
本发明的实施例还提供一种多种雷达和相机联合标定系统，用于实现上述的多种雷达和相机联合标定方法，多种雷达和相机联合标定系统包括：
公共视野模块，设置多种雷达传感器以及图像传感器共同形成公共视野区域；
坐标侦测模块，将一标定板依次设置于所述公共视野区域中的多个靶位，所述标定板上设有多个标定图案，所述标定图案为不同反射系数的材料根据所述标定图案的中心环绕排列，获得所述雷达传感器以及图像传感器对不同靶位的所述标定板的侦测数据获得所述标定图案的中心在每个所述雷达传感器以及图像传感器各自三维坐标系中的坐标信息；
联合标定模块，根据所述坐标信息进行联合标定。
本发明的实施例还提供一种多种雷达和相机联合标定设备，包括：
处理器；
存储器，其中存储有处理器的可执行指令；
其中，处理器配置为经由执行可执行指令来执行上述多种雷达和相机联合标定方法的步骤。
本发明的实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现上述多种雷达和相机联合标定方法的步骤。
本发明的多种雷达和相机联合标定方法、系统、设备及存储介质，能够通过三种不同传感器同时获得同一标定板上的参照点的世界坐标，然后通过迭代匹配实现联合标定，减少了多传感器标定的步骤，加快了联合标定的速度。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明的多种雷达和相机联合标定方法的流程图。
图2至4是本发明的多种雷达和相机联合标定方法的实施过程示意图。
图5是本发明的多种雷达和相机联合标定系统的结构示意图
图6是本发明的多种雷达和相机联合标定设备的结构示意图。以及
图7是本发明一实施例的计算机可读存储介质的结构示意图。
附图标记
1 卡车
21 毫米波雷达传感器
22 激光雷达传感器
23 图像传感器
3 标定板
31 反射板本体
32 中心对称图案反射区域
33 反射器
3A 第一靶位
3B 第二靶位
3C 第三靶位
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
图1是本发明的多种雷达和相机联合标定方法的流程图。如图1所示，本发明的实施例提供一种多种雷达和相机联合标定方法，包括以下步骤：
S100、设置多种雷达传感器以及图像传感器共同形成公共视野区域。
S200、将一标定板依次设置于公共视野区域中的多个靶位，标定板上设有多个标定图案，标定图案为不同反射系数的材料根据标定图案的中心环绕排列，获得雷达传感器以及图像传感器对不同靶位的标定板的侦测数据获得标定图案的中心在每个雷达传感器以及图像传感器各自三维坐标系中的坐标信息。
S300、根据坐标信息进行联合标定。
在一个有选方案中，至少一雷达传感器通过反射数据的分析获得每个标定图案的轨迹的位置信息，然后通过图像处理获得标定图案的中心，但不以此为限。
在一个有选方案中，至少一雷达传感器通过反射数据的分析获得每个标定图案中心的标定物的位置信息，然后通过预设的标定物与标定图案中心的空间位置关系获得标定图案的中心，但不以此为限。
在一个有选方案中，至少一图像传感器通过识别获得每个标定图案的轨迹的位置信息，然后通过图像处理获得标定图案的中心，但不以此为限。为了克服传统的基于手眼单独标定的多传感器联合标定方法所带了的精度不高，流程复杂等的不足，本发明提供一种全自动的毫米波雷达、激光雷达和相机的联合标定方法。该系统不需要人为调整对齐标定参数，且标定结果精度高，流程简洁可以实现量产化，从而真正意义上实现联合标定的高精度量产化。
图2至4是本发明的多种雷达和相机联合标定方法的实施过程示意图。如图2至4所示，本发明的实施过程包括：
在步骤S100中，将毫米波雷达传感器21、激光雷达传感器22以及图像传感器23刚体连接安装于卡车1的车头前端，且毫米波雷达传感器21、激光雷达传感器22以及图像传感器23的侦测方向共同交汇于公共视野区域。
在步骤S200中，将同一标定板依次设置于公共视野区域中的W个靶位(参见图2中的第一靶位3A、第二靶位3B、第三靶位3C)，位于靶位的每个标定板完整出现于图像传感器23的图像以及毫米波雷达传感器21、激光雷达传感器22的侦测范围中。标定板包括一反射板本体31、p个同层嵌设于反射板本体31中的中心对称图案反射区域32(本实施例中为4个同层嵌设于反射板本体31中的圆形区域)以及同心设置于每个中心对称图案反射区域32中心、凸起于反射板本体31表面的反射器33，反射板本体31、中心对称图案反射区域32以及反射器33的反射率各不相同。本实施例中，反射板本体31的材质为低反射泡棉，中心对称图案反射区域32的材质为高反射反光纸，反射器33为金属三棱锥反射器33。金属三棱锥反射器33的反射率大于高反射反光纸的反射率，高反射反光纸的反射率大于低反射泡棉的反射率。分别采集标定板位于每个靶位时，毫米波雷达传感器21、激光雷达传感器22以及图像传感器23的检测到的定位信息，根据毫米波雷达传感器21、激光雷达传感器22以及图像传感器23分别对位于每个靶位(参见图2中的第一靶位3A、第二靶位3B、第三靶位3C)的标定板进行同步侦测各自获得的关于中心对称图案反射区域32的中心定位信息。
在步骤S300中，根据不同靶位下毫米波雷达传感器21、激光雷达传感器22以及图像传感器23的各自中心定位信息进行联合标定。步骤S300中包括以下步骤，
在一个优选实施例中，图像传感器23获得中心对称图案反射区域32的中心定位信息包括以下步骤：
S211、反射板本体31为矩形，图像传感器23拍摄反射板的图像，对图像进行矩形矫正。
S212、对图像进行图像识别，获得中心对称图案反射区域32的第一图案轨迹。本实施例中，可以采用了现有的的图像识别方法，对图像中重复排列的中心对称图案反射区域32进行图像识别，获得每个中心对称图案反射区域32的未知区域，但不以此为限。
S213、根据第一图案轨迹，获得中心对称图案反射区域32的中心。通过图形处理算法，根据每个第一图案轨迹获得其对应的内部中心位置，但不以此为限。
S214、基于图像传感器23的三维坐标系，获得中心在图像传感器23的三维坐标系中的三维坐标。
在一个优选实施例中，激光雷达传感器22获得中心对称图案反射区域32的中心定位信息包括以下步骤：
S221、激光雷达传感器22扫描标定板。
S222、根据激光雷达传感器22对于反射板本体31和中心对称图案反射区域32的反射率差异获得区分反射板本体31和中心对称图案的第二图案轨迹。本实施例中，反射板本体31和中心对称图案反射区域32是两种反射差异很大的介质分别构成，所以能够通过激光雷达传感器22的反射数据的分析，获得反射板本体31和中心对称图案反射区域32之间的边界作为第二图案轨迹，但不以此为限。
S223、根据第二图案轨迹，获得中心对称图案反射区域32的中心。通过图形处理算法，根据每个第二图案轨迹获得其对应的内部中心位置，但不以此为限。S224、基于激光雷达传感器22的三维坐标系，获得中心在激光雷达传感器22的三维坐标系中的三维坐标。
在一个优选实施例中，毫米波雷达传感器21获得中心对称图案反射区域32的中心定位信息包括以下步骤：
S231、毫米波雷达传感器21扫描标定板上反射器33的形状。本实施例中，采用高反射率的的金属角反射器，所以能够通过毫米波雷达传感器21的反射数据的分析，获得金属角反射器的位置，但不以此为限。S232、基于毫米波雷达传感器21的三维坐标系，获得反射器33在毫米波雷达传感器21的三维坐标系中的三维坐标。
S233、根据反射器33与中心对称图案反射区域32的中心的预设位置关系，获得中心在毫米波雷达传感器21的三维坐标系中的三维坐标。例如：通过预设的金属角反射器与中心对称图案反射区域32中心的空间位置关系获得标定图案的中心，但不以此为限。
在一个优选实施例中，在步骤S300中，根据不同靶位下毫米波雷达传感器21、激光雷达传感器22以及图像传感器23的各自中心定位信息进行联合标定。步骤S300中包括以下步骤，
设每个传感器的目标特征y＝{y1,...yW}，设每个标定板的靶位为
Figure BDA0002912078030000101
k为标定板位置编号，c、l、r依次为图像传感器23、激光雷达传感器22以及毫米波雷达传感器21。
则图像传感器23到激光雷达传感器22之间的4×4的转换矩阵为
Figure BDA0002912078030000102
其中，R1、t1分别为图像传感器23到激光雷达传感器22的3×3的旋转矩阵和3×1的平移矩阵。
对于第k个标定板位置，图像传感器23和激光雷达传感器22之间的转换矩阵误差用每个相对的圆心之间的欧式距离表示，
Figure BDA0002912078030000103
其中，
Figure BDA0002912078030000104
表示图像传感器23和激光雷达传感器22外参匹配的误差，
Figure BDA0002912078030000105
表示图像传感器23坐标系下标定板圆心的三维坐标，
Figure BDA0002912078030000106
表示激光雷达传感器22转换在图像传感器23坐标系下的三维坐标系，Tc,l表示图像传感器23到激光雷达传感器22的旋转和平移矩阵，p表示标定板中的圆编号。
毫米波雷达传感器21到激光雷达传感器22之间的4×4的转换矩阵为
Figure BDA0002912078030000107
其中，R2、t2分别为毫米波雷达传感器21到激光雷达传感器22的3×3的旋转矩阵和3×1的平移矩阵。
对于毫米波雷达传感器21和激光雷达传感器22，第k个标定板位置，误差方程表示如下：
Figure BDA0002912078030000108
其中，
Figure BDA0002912078030000109
表示毫米波雷达传感器21和激光雷达外参匹配的误差，
Figure BDA00029120780300001010
表示毫米波雷达传感器21坐标系下标定板圆心的三维坐标，
Figure BDA0002912078030000111
表示激光雷达传感器22转换在图像传感器23坐标系下的三维坐标系，Tr,l表示毫米波到激光雷达传感器22的旋转和平移矩阵，p表示标定板中的圆编号。
通过将欧式空间表示转换到球坐标系，用
Figure BDA0002912078030000112
坐标表示公式(3)为：
Figure BDA0002912078030000113
其中
Figure BDA0002912078030000114
为毫米波雷达传感器21坐标系下圆心的球坐标，且俯仰角ψk为未知数，初始值设为0，
Figure BDA0002912078030000115
为激光雷达传感器22坐标系下标定板的圆心球坐标。
通过毫米波雷达传感器21的垂直方向的视场角，限定一个最大的ψmax，
则获得：
Figure BDA0002912078030000116
对于第W个标定板位置，图像传感器23和激光雷达传感器22之间的总误差用f(θc,l)表示：
Figure BDA0002912078030000117
毫米波雷达传感器21到激光雷达传感器22之间的总误差用f(θr,l)表示
Figure BDA0002912078030000118
其中，
Figure BDA0002912078030000119
表示图像传感器23和激光雷达传感器22之间的参数是否存在，存在为1，不存在为0。
Figure BDA00029120780300001110
表示毫米波雷达传感器21到激光雷达传感器22之间的参数是否存在，存在为1，不存在为0。
通过最小二乘法来迭代优化f(θc,l)和f(θr,l)，当f(θc,l)最小时，获得图像传感器23和激光雷达传感器22之间的转换矩阵。当f(θr,l)最小时，获得毫米波雷达传感器21到激光雷达传感器22之间的转换矩阵，但不以此为限。
在一个变形例中，本发明也可以使用现有的或者未来发明的其他联合标定算法，根据不同靶位下毫米波雷达传感器21、激光雷达传感器22以及图像传感器23的各自中心定位信息进行联合标定。
本发明解决其技术问题所采用的技术方案是：将毫米波雷达、激光雷达和相机刚体连接，保证相对位置不变，在三种传感器的公共视野内正向放置本方法所设计的特制联合标定板。与以往的每两个传感器共用一套标定板，多种不同标定板分别标准不同传感器不同，本方法的专用标定板将三种传感器的目标特征集与一身，可以实现三种传感器之间的任意坐标转换，且只需一个标定板就可以满足整个标定流程，从而提高了精度和鲁棒性。
结合本方法中的联合标定板，将各不同传感器的数据每帧对应，分别提取图像中的四个圆心坐标、激光雷达数据三个点云中心点三维坐标以及毫米波雷达角反射器33中心点减去角反射器33深度的三维坐标。此时，三种传感器的标定转换为点点之间的匹配，通过多组数据，并结合本发明中的迭代匹配算法进行迭代优化，最终求得一个最小误差，在最小误差下得到的转换矩阵即为外参。然后将三种传感器数据进行两两验证，无误后输出结果。通过本方法的特定标定板，三种不同传感器同时获得标定板上的圆形的世界坐标，然后通过本文中的算法进行迭代匹配，最终算出精确的坐标转换矩阵。
本发明提供了一种高效、高精度、环境依赖少且标定流程简洁且标定快速的方法急需被用于解决多传感器以及相机采用单一标定物进行同步标定的问题，为联合标定量产化提供了可行的方案，可以有效解决标定的难题，减少了多传感器标定的步骤，加快了联合标定的速度。
本发明可以在长方形板上规则的排布1到N(可以任意个)不同反射率的圆形反光材，在每个圆形反光材中抠出一个三角凹型的三角孔，在里面固定金属角反射器。
本方案将毫米波雷达、激光雷达和相机三种传感器进行刚体连接，保持相对坐标不变，之后制作特定标定板，并放置在三种传感器的公共视野范围内。
三种传感器对于所需的特征各不相同。毫米波雷达通过角反射器获得稳定高精度的三角形中心点，即圆心，以及RCS值。激光雷达通过不同反射率材质的差异，依靠反射率提取出圆形，并通过圆形的边缘获得圆心的3维坐标。同理，相机采集的图片经过去畸变后，通过霍夫圆变换，也获得图像中的圆心坐标，进而通过和激光雷达进行ICP配准，得到相机坐标系下圆心的x,y,z坐标。
获得三种传感器的公共特征点坐标等信息后，下一步是对三种传感器中各自目标圆心的坐标进行匹配。标定过程中，标定板可以换W个不同的位置，因此每一种传感器都有W个目标特征y＝{y1,...yW},对于相机和激光雷达每个圆心包含x,y,z三维坐标特征，毫米波雷达为x,y和z＝0的三维特征。
由于每个传感器拥有不同的视场角，所以标定板必须放置在公共视野区域，每一个标定板的放置位置用
Figure BDA0002912078030000131
来表示，k表示标定板位置编号，i表示传感器编号。在本发明中，不同传感器之间的外参矩阵用T1,2表示，且
Figure BDA0002912078030000132
代表传感器1到传感器2的旋转R和平移t，即为4*4的齐次方程，可以表示6个自由度。
对于第k个标定板位置，相机和激光雷达之间的转换矩阵误差用每个相对的圆心之间的欧式距离表示，
Figure BDA0002912078030000133
其中，
Figure BDA0002912078030000134
表示相机和激光雷达外参匹配的误差，
Figure BDA0002912078030000135
表示相机坐标系下标定板圆心的三维坐标，
Figure BDA0002912078030000136
表示激光雷达转换在相机坐标系下的三维坐标系，Tc,l表示相机到激光雷达的旋转和平移矩阵，p表示标定板中的圆编号(1到4)。
对于毫米波和激光雷达，第k个标定板位置，误差方程表示如下，
Figure BDA0002912078030000137
其中，
Figure BDA0002912078030000138
表示毫米波雷达和激光雷达外参匹配的误差，
Figure BDA0002912078030000139
表示毫米波雷达坐标系下标定板圆心的三维坐标(最开始z默认为0)，
Figure BDA00029120780300001310
表示激光雷达转换在相机坐标系下的三维坐标系，Tr,l表示毫米波到激光雷达的旋转和平移矩阵，p表示标定板中的圆编号(1到4)。
公式(2)与公式(1)不同的是
Figure BDA00029120780300001311
相比于
Figure BDA00029120780300001312
多一个未知数，即毫米波雷达的z轴方向的值。在公式(2)中很难求出每个位置的z方向的值，因此，可以通过将欧式空间表示转换到球坐标系，用
Figure BDA00029120780300001313
坐标表示，
则公式(2)可以用下式表示：
Figure BDA0002912078030000141
其中
Figure BDA0002912078030000142
为毫米波雷达坐标系下圆心的球坐标，且俯仰角ψk为未知数，初始值设为0，
Figure BDA0002912078030000143
为激光雷达坐标系下标定板的圆心球坐标。
由于毫米波雷达没有俯仰角参数，因此，标定毫米波雷达的可以转换为迭代优化问题，通过毫米波雷达的垂直方向的视场角，可以限定一个最大的ψmax，从而有
Figure BDA0002912078030000144
从而将三种传感器外参关系转换为迭代优化问题，对于第W个标定板位置，两两传感器之间的总误差用f(θ1,2)表示
Figure BDA0002912078030000145
其中
Figure BDA0002912078030000146
表示两种传感器之间的参数是否存在，存在为1，不存在为0，ek(θ1,2)公式(1)和公式(2)代入，此方程中最终为最小二乘法来迭代优化f(θ1,2)。
当f(θ1,2)最小时，对应的解为最优解，即对应的旋转平移矩阵。
在本发明中，三种传感器之间的位姿优化可将任意传感器坐标设置为基准坐标，因此，两两传感器之间均可形成一种迭代优化方程，将所有组合的误差表示为，
Figure BDA0002912078030000147
在此方程中，用l表示一个闭循环，即所有闭循环的积等于一个单位矩阵，
Figure BDA0002912078030000148
其中，sl为l闭环中的传感器总数，通过将所有的误差加在一起，可以获得鲁棒性更高的优化结果。
通过以上所示方程，最终优化出最小误差，最小误差对应的转换矩阵即为外参。上述发明可高效、高精度标定毫米波雷达、激光雷达和相机，并实现量产化。
图5是本发明的多种雷达和相机联合标定系统的结构示意图。如图5所示，本发明的实施例还提供一种多种雷达和相机联合标定系统5，用于实现上述的多种雷达和相机联合标定方法，多种雷达和相机联合标定系统5包括：
公共视野模块51，设置多种雷达传感器以及图像传感器共同形成公共视野区域。
坐标侦测模块52，将一标定板依次设置于公共视野区域中的多个靶位，标定板上设有多个标定图案，标定图案为不同反射系数的材料根据标定图案的中心环绕排列，获得雷达传感器以及图像传感器对不同靶位的标定板的侦测数据获得标定图案的中心在每个雷达传感器以及图像传感器各自三维坐标系中的坐标信息。
联合标定模块53，根据坐标信息进行联合标定。
本发明的多种雷达和相机联合标定系统，能够通过三种不同传感器同时获得同一标定板上的参照点的世界坐标，然后通过迭代匹配实现联合标定，减少了多传感器标定的步骤，加快了联合标定的速度。
本发明实施例还提供一种多种雷达和相机联合标定设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的多种雷达和相机联合标定方法的步骤。
如上，本发明的多种雷达和相机联合标定设备能够通过三种不同传感器同时获得同一标定板上的参照点的世界坐标，然后通过迭代匹配实现联合标定，减少了多传感器标定的步骤，加快了联合标定的速度。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
图6是本发明的多种雷达和相机联合标定设备的结构示意图。下面参照图6来描述根据本发明的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的多种雷达和相机联合标定方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
如上所示，该实施例的计算机可读存储介质的程序在执行时，能够通过三种不同传感器同时获得同一标定板上的参照点的世界坐标，然后通过迭代匹配实现联合标定，减少了多传感器标定的步骤，加快了联合标定的速度。
图7是本发明的计算机可读存储介质的结构示意图。参考图7所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上，本发明的多种雷达和相机联合标定方法、系统、设备及存储介质，能够通过三种不同传感器同时获得同一标定板上的参照点的世界坐标，然后通过迭代匹配实现联合标定，减少了多传感器标定的步骤，加快了联合标定的速度。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (12)

1.一种多种雷达和相机联合标定方法，其特征在于，包括以下步骤：
S100、设置多种雷达传感器以及图像传感器共同形成公共视野区域；
S200、将一标定板依次设置于所述公共视野区域中的多个靶位，所述标定板上设有多个标定图案，所述标定图案为不同反射系数的材料根据所述标定图案的中心环绕排列，获得所述雷达传感器以及图像传感器对不同靶位的所述标定板的侦测数据获得所述标定图案的中心在每个所述雷达传感器以及图像传感器各自三维坐标系中的坐标信息；
S300、根据所述坐标信息进行联合标定。
2.根据权利要求1所述的多种雷达和相机联合标定方法，其特征在于，在所述步骤S100中，设置毫米波雷达传感器、激光雷达传感器以及图像传感器共同形成公共视野区域；
在所述步骤S200中，将同一标定板依次设置于所述公共视野区域中的W个靶位，所述标定板包括一反射板本体、p个同层嵌设于所述反射板本体中的中心对称图案反射区域以及同心设置于每个所述中心对称图案反射区域中心、凸起于反射板本体表面的反射器，所述反射板本体、中心对称图案反射区域以及反射器的反射率各不相同；分别采集所述标定板位于每个靶位时，所述毫米波雷达传感器、激光雷达传感器以及图像传感器的检测到的定位信息，根据所述毫米波雷达传感器、激光雷达传感器以及图像传感器分别对位于每个所述靶位的所述标定板进行同步侦测各自获得的关于所述中心对称图案反射区域的中心定位信息；
在所述步骤S300中，根据不同所述靶位下所述毫米波雷达传感器、激光雷达传感器以及图像传感器的各自中心定位信息进行联合标定。
3.根据权利要求2所述的多种雷达和相机联合标定方法，其特征在于，所述步骤S100中包括，将所述毫米波雷达传感器、激光雷达传感器以及图像传感器刚体连接，且所述毫米波雷达传感器、激光雷达传感器以及图像传感器的侦测方向共同交汇于公共视野区域。
4.根据权利要求2所述的多种雷达和相机联合标定方法，其特征在于，所述步骤S200中包括，位于所述靶位的标定板完整出现于所述图像传感器的图像以及所述毫米波雷达传感器、激光雷达传感器的侦测范围中。
5.根据权利要求2所述的多种雷达和相机联合标定方法，其特征在于，所述步骤S200中包括，所述图像传感器获得所述中心对称图案反射区域的中心定位信息包括以下步骤：
S211、所述图像传感器拍摄所述反射板的图像；
S212、对所述图像进行图像识别，获得中心对称图案反射区域的第一图案轨迹；
S213、根据所述第一图案轨迹，获得所述中心对称图案反射区域的中心；
S214、基于所述图像传感器的三维坐标系，获得所述中心在所述图像传感器的三维坐标系中的三维坐标。
6.根据权利要求5所述的多种雷达和相机联合标定方法，其特征在于，所述反射板本体为矩形，所述步骤S211中还包括对图像进行矩形矫正。
7.根据权利要求2所述的多种雷达和相机联合标定方法，其特征在于，所述步骤S200中包括，所述激光雷达传感器获得所述中心对称图案反射区域的中心定位信息包括以下步骤：
S221、所述激光雷达传感器扫描所述标定板；
S222、根据所述激光雷达传感器对于所述反射板本体和中心对称图案反射区域的反射率差异获得区分所述反射板本体和中心对称图案的第二图案轨迹；
S223、根据所述第二图案轨迹，获得所述中心对称图案反射区域的中心；
S224、基于所述激光雷达传感器的三维坐标系，获得所述中心在所述激光雷达传感器的三维坐标系中的三维坐标。
8.根据权利要求2所述的多种雷达和相机联合标定方法，其特征在于，所述步骤S200中包括，所述毫米波雷达传感器获得所述中心对称图案反射区域的中心定位信息包括以下步骤：
S231、所述毫米波雷达传感器扫描所述标定板上反射器的形状；
S232、基于所述毫米波雷达传感器的三维坐标系，获得所述反射器在所述毫米波雷达传感器的三维坐标系中的三维坐标；
S233、根据所述反射器与所述中心对称图案反射区域的中心的预设位置关系，获得所述中心在所述毫米波雷达传感器的三维坐标系中的三维坐标。
9.根据权利要求2所述的多种雷达和相机联合标定方法，其特征在于，所述步骤S300中包括以下步骤，
设每个传感器的目标特征y＝{y1,...yW}，设每个标定板的靶位为ui k，k为标定板位置编号，c、l、r依次为图像传感器、激光雷达传感器以及毫米波雷达传感器；
则所述图像传感器到激光雷达传感器之间的4×4的转换矩阵为
Figure FDA0002912078020000031
其中，R1、t1分别为所述图像传感器到激光雷达传感器的3×3的旋转矩阵和3×1的平移矩阵；
对于第k个标定板位置，所述图像传感器和激光雷达传感器之间的转换矩阵误差用每个相对的圆心之间的欧式距离表示，
Figure FDA0002912078020000032
其中，
Figure FDA0002912078020000033
表示靶位k的图像传感器和激光雷达传感器外参匹配的误差，
Figure FDA0002912078020000034
表示标定板在靶位k时p圆在图像传感器坐标系下标定板圆心的三维坐标，
Figure FDA0002912078020000035
表示标定板在靶位k时p圆在激光雷达传感器转换在图像传感器坐标系下的三维坐标系，Tc,l表示图像传感器到激光雷达传感器的旋转和平移矩阵，p表示标定板中的圆编号；
所述毫米波雷达传感器到激光雷达传感器之间的4×4的转换矩阵为
Figure FDA0002912078020000036
其中，R2、t2分别为所述毫米波雷达传感器到激光雷达传感器的3×3的旋转矩阵和3×1的平移矩阵；
对于毫米波雷达传感器和激光雷达传感器，第k个标定板位置，误差方程表示如下：
Figure FDA0002912078020000037
其中，
Figure FDA0002912078020000038
表示靶位k在毫米波雷达传感器和激光雷达外参匹配的误差，
Figure FDA0002912078020000039
表示标定板在靶位k时p圆在毫米波雷达传感器坐标系下标定板圆心的三维坐标，
Figure FDA00029120780200000310
表示标定板在靶位k时p圆在激光雷达传感器转换在图像传感器坐标系下的三维坐标系，Tr,l表示毫米波到激光雷达传感器的旋转和平移矩阵，p表示标定板中的圆编号；
通过将欧式空间表示转换到球坐标系，用
Figure FDA0002912078020000041
坐标表示公式(3)为：
Figure FDA0002912078020000042
其中
Figure FDA0002912078020000043
为标定板在靶位k时毫米波雷达传感器坐标系下圆心的球坐标，且俯仰角ψk为未知数，初始值设为0，
Figure FDA0002912078020000044
为激光雷达传感器坐标系下标定板的圆心球坐标；
通过毫米波雷达传感器的垂直方向的视场角，限定一个最大的ψmax，
则获得：
Figure FDA0002912078020000045
对于第W个标定板位置，所述图像传感器和激光雷达传感器之间的总误差用f(θc,l)表示：
Figure FDA0002912078020000046
所述毫米波雷达传感器到激光雷达传感器之间的总误差用f(θr,l)表示
Figure FDA0002912078020000047
其中，
Figure FDA0002912078020000048
表示所述图像传感器和激光雷达传感器之间的参数是否存在，存在为1，不存在为0；
Figure FDA0002912078020000049
表示所述毫米波雷达传感器到激光雷达传感器之间的参数是否存在，存在为1，不存在为0；
通过最小二乘法来迭代优化f(θc,l)和f(θr,l)，当f(θc,l)最小时，获得所述图像传感器和激光雷达传感器之间的转换矩阵；当f(θr,l)最小时，获得所述毫米波雷达传感器到激光雷达传感器之间的转换矩阵。
10.一种多种雷达和相机联合标定系统，其特征在于，用于实现如权利要求1所述的多种雷达和相机联合标定方法，包括：
公共视野模块，设置多种雷达传感器以及图像传感器共同形成公共视野区域；
坐标侦测模块，将一标定板依次设置于所述公共视野区域中的多个靶位，所述标定板上设有多个标定图案，所述标定图案为不同反射系数的材料根据所述标定图案的中心环绕排列，获得所述雷达传感器以及图像传感器对不同靶位的所述标定板的侦测数据获得所述标定图案的中心在每个所述雷达传感器以及图像传感器各自三维坐标系中的坐标信息；
联合标定模块，根据所述坐标信息进行联合标定。
11.一种多种雷达和相机联合标定设备，其特征在于，包括：
处理器；
存储器，其中存储有处理器的可执行指令；
其中，处理器配置为经由执行可执行指令来执行权利要求1至9中任意一项所述多种雷达和相机联合标定方法的步骤。
12.一种计算机可读存储介质，用于存储程序，其特征在于，程序被执行时实现权利要求1至9中任意一项所述多种雷达和相机联合标定方法的步骤。
CN202110089938.5A 2021-01-22 2021-01-22 多种雷达和相机联合标定方法、系统、设备及存储介质 Active CN112859022B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110089938.5A CN112859022B (zh) 2021-01-22 2021-01-22 多种雷达和相机联合标定方法、系统、设备及存储介质
PCT/CN2021/108586 WO2022156176A1 (zh) 2021-01-22 2021-07-27 多种雷达和相机联合标定方法、系统、设备及存储介质
EP21920557.2A EP4283328A1 (en) 2021-01-22 2021-07-27 Multi-radar and camera joint calibration method, system and device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110089938.5A CN112859022B (zh) 2021-01-22 2021-01-22 多种雷达和相机联合标定方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112859022A true CN112859022A (zh) 2021-05-28
CN112859022B CN112859022B (zh) 2023-08-18

Family

ID=76008033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110089938.5A Active CN112859022B (zh) 2021-01-22 2021-01-22 多种雷达和相机联合标定方法、系统、设备及存储介质

Country Status (3)

Country Link
EP (1) EP4283328A1 (zh)
CN (1) CN112859022B (zh)
WO (1) WO2022156176A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205563A (zh) * 2021-06-03 2021-08-03 河南科技大学 一种自动驾驶传感器联合标定靶和标定方法
CN113359117A (zh) * 2021-06-29 2021-09-07 上海智能网联汽车技术中心有限公司 一种静态标定系统及方法
CN113359097A (zh) * 2021-06-21 2021-09-07 北京易航远智科技有限公司 一种毫米波雷达和相机联合标定的方法
CN113487686A (zh) * 2021-08-02 2021-10-08 固高科技股份有限公司 一种多目相机的标定方法、装置、多目相机和存储介质
CN113484830A (zh) * 2021-06-22 2021-10-08 上海智能网联汽车技术中心有限公司 复合标定板及标定方法
CN113589263A (zh) * 2021-08-06 2021-11-02 北京易航远智科技有限公司 一种多个同源传感器联合标定方法及系统
CN113744348A (zh) * 2021-08-31 2021-12-03 南京慧尔视智能科技有限公司 一种参数标定方法、装置及雷视融合检测设备
CN113888652A (zh) * 2021-10-22 2022-01-04 智能移动机器人(中山)研究院 4d毫米波雷达与热感相机的内外参自动标定技术
CN114509776A (zh) * 2022-04-08 2022-05-17 探维科技(北京)有限公司 硬件级图像融合系统的同步测量装置、方法、设备及介质
WO2022156176A1 (zh) * 2021-01-22 2022-07-28 上海西井信息科技有限公司 多种雷达和相机联合标定方法、系统、设备及存储介质
CN114942039A (zh) * 2022-05-18 2022-08-26 清华大学深圳国际研究生院 一种多传感器联合标定装置及标定方法
CN115598626A (zh) * 2022-12-14 2023-01-13 成都量芯集成科技有限公司（Cn） 一种激光测距仪偏差校准装置及方法
CN116416319A (zh) * 2022-11-17 2023-07-11 南京理工大学 面向智能驾驶多类型传感器标定的一次性联合标定方法
WO2023150961A1 (zh) * 2022-02-10 2023-08-17 华为技术有限公司 一种标定方法及装置
WO2023226403A1 (zh) * 2022-05-27 2023-11-30 华为技术有限公司 标定板以及标定控制设备
CN117848403A (zh) * 2024-03-08 2024-04-09 宁德时代新能源科技股份有限公司 标定件和使用标定件标定检测系统的方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113702967B (zh) * 2021-09-24 2023-07-28 中国北方车辆研究所 地面无人平台的引导车辆目标识别与跟踪方法及车载系统
CN115327532A (zh) * 2022-08-04 2022-11-11 澳克诺(上海)汽车科技有限公司 一种用于传感器数据融合的方法和系统
CN115661270B (zh) * 2022-12-22 2023-04-07 陕西欧卡电子智能科技有限公司 一种用于毫米波雷达与鱼眼摄像头的在线标定方法
CN116819469B (zh) * 2023-08-28 2023-11-10 南京慧尔视智能科技有限公司 一种多雷达目标位置同步方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097601A (zh) * 2019-04-17 2019-08-06 清华大学深圳研究生院 用于多模态采集系统视场标定的标定板及标定方法
CN209460400U (zh) * 2019-02-01 2019-10-01 成都信息工程大学 一种用于激光雷达和相机外部参数标定的标定板
CN110322519A (zh) * 2019-07-18 2019-10-11 天津大学 一种用于激光雷达与相机联合标定的标定装置及标定方法
CN111127561A (zh) * 2019-12-05 2020-05-08 农芯(南京)智慧农业研究院有限公司 一种多视角图像标定装置及方法
CN111366912A (zh) * 2020-03-10 2020-07-03 上海西井信息科技有限公司 激光传感器与摄像头标定方法、系统、设备及存储介质
CN111427020A (zh) * 2020-06-11 2020-07-17 交通运输部公路科学研究所 环境信息数据采集设备的联合标定方法、装置和系统
CN111754583A (zh) * 2020-05-29 2020-10-09 江苏大学 一种车载三维激光雷达和相机外参联合标定的自动化方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006011570A (ja) * 2004-06-23 2006-01-12 Daihatsu Motor Co Ltd カメラキャリブレーション方法及びカメラキャリブレーション装置
KR101948569B1 (ko) * 2017-06-07 2019-02-15 국방과학연구소 라이다 센서 및 팬틸트줌 카메라를 활용한 비행체 식별 시스템 및 그 제어 방법
CN107609522B (zh) * 2017-09-19 2021-04-13 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统
CN108399643A (zh) * 2018-03-15 2018-08-14 南京大学 一种激光雷达和相机间的外参标定系统和方法
CN110390695B (zh) * 2019-06-28 2023-05-23 东南大学 一种基于ros的激光雷达、摄像头的融合标定系统及标定方法
CN211087307U (zh) * 2019-12-11 2020-07-24 四川深瑞视科技有限公司 用于相机标定的标靶及系统
CN111413983A (zh) * 2020-04-08 2020-07-14 江苏盛海智能科技有限公司 一种无人驾驶车辆的环境感知方法及控制端
CN112241007A (zh) * 2020-07-01 2021-01-19 北京新能源汽车技术创新中心有限公司 自动驾驶环境感知传感器的标定方法、布置结构及车辆
CN112859022B (zh) * 2021-01-22 2023-08-18 上海西井科技股份有限公司 多种雷达和相机联合标定方法、系统、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN209460400U (zh) * 2019-02-01 2019-10-01 成都信息工程大学 一种用于激光雷达和相机外部参数标定的标定板
CN110097601A (zh) * 2019-04-17 2019-08-06 清华大学深圳研究生院 用于多模态采集系统视场标定的标定板及标定方法
CN110322519A (zh) * 2019-07-18 2019-10-11 天津大学 一种用于激光雷达与相机联合标定的标定装置及标定方法
CN111127561A (zh) * 2019-12-05 2020-05-08 农芯(南京)智慧农业研究院有限公司 一种多视角图像标定装置及方法
CN111366912A (zh) * 2020-03-10 2020-07-03 上海西井信息科技有限公司 激光传感器与摄像头标定方法、系统、设备及存储介质
CN111754583A (zh) * 2020-05-29 2020-10-09 江苏大学 一种车载三维激光雷达和相机外参联合标定的自动化方法
CN111427020A (zh) * 2020-06-11 2020-07-17 交通运输部公路科学研究所 环境信息数据采集设备的联合标定方法、装置和系统

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022156176A1 (zh) * 2021-01-22 2022-07-28 上海西井信息科技有限公司 多种雷达和相机联合标定方法、系统、设备及存储介质
CN113205563A (zh) * 2021-06-03 2021-08-03 河南科技大学 一种自动驾驶传感器联合标定靶和标定方法
CN113359097B (zh) * 2021-06-21 2022-09-02 北京易航远智科技有限公司 一种毫米波雷达和相机联合标定的方法
CN113359097A (zh) * 2021-06-21 2021-09-07 北京易航远智科技有限公司 一种毫米波雷达和相机联合标定的方法
CN113484830A (zh) * 2021-06-22 2021-10-08 上海智能网联汽车技术中心有限公司 复合标定板及标定方法
CN113359117A (zh) * 2021-06-29 2021-09-07 上海智能网联汽车技术中心有限公司 一种静态标定系统及方法
CN113487686A (zh) * 2021-08-02 2021-10-08 固高科技股份有限公司 一种多目相机的标定方法、装置、多目相机和存储介质
CN113589263A (zh) * 2021-08-06 2021-11-02 北京易航远智科技有限公司 一种多个同源传感器联合标定方法及系统
CN113589263B (zh) * 2021-08-06 2023-10-31 北京易航远智科技有限公司 一种多个同源传感器联合标定方法及系统
CN113744348A (zh) * 2021-08-31 2021-12-03 南京慧尔视智能科技有限公司 一种参数标定方法、装置及雷视融合检测设备
CN113888652A (zh) * 2021-10-22 2022-01-04 智能移动机器人(中山)研究院 4d毫米波雷达与热感相机的内外参自动标定技术
WO2023150961A1 (zh) * 2022-02-10 2023-08-17 华为技术有限公司 一种标定方法及装置
CN114509776B (zh) * 2022-04-08 2022-07-29 探维科技(北京)有限公司 硬件级图像融合系统的同步测量装置、方法、设备及介质
CN114509776A (zh) * 2022-04-08 2022-05-17 探维科技(北京)有限公司 硬件级图像融合系统的同步测量装置、方法、设备及介质
CN114942039A (zh) * 2022-05-18 2022-08-26 清华大学深圳国际研究生院 一种多传感器联合标定装置及标定方法
CN114942039B (zh) * 2022-05-18 2024-05-07 清华大学深圳国际研究生院 一种多传感器联合标定装置及标定方法
WO2023226403A1 (zh) * 2022-05-27 2023-11-30 华为技术有限公司 标定板以及标定控制设备
CN116416319A (zh) * 2022-11-17 2023-07-11 南京理工大学 面向智能驾驶多类型传感器标定的一次性联合标定方法
CN116416319B (zh) * 2022-11-17 2023-11-24 南京理工大学 面向智能驾驶多类型传感器标定的一次性联合标定方法
CN115598626A (zh) * 2022-12-14 2023-01-13 成都量芯集成科技有限公司（Cn） 一种激光测距仪偏差校准装置及方法
CN115598626B (zh) * 2022-12-14 2023-03-14 成都量芯集成科技有限公司 一种激光测距仪偏差校准装置及方法
CN117848403A (zh) * 2024-03-08 2024-04-09 宁德时代新能源科技股份有限公司 标定件和使用标定件标定检测系统的方法

Also Published As

Publication number Publication date
EP4283328A1 (en) 2023-11-29
WO2022156176A1 (zh) 2022-07-28
CN112859022B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN112859022B (zh) 多种雷达和相机联合标定方法、系统、设备及存储介质
CN109521403B (zh) 多线激光雷达的参数标定方法及装置、设备及可读介质
US11480443B2 (en) Method for calibrating relative pose, device and medium
CN110780285B (zh) 激光雷达与组合惯导的位姿标定方法、系统及介质
CN107656259B (zh) 外场环境标定的联合标定系统与方法
CN111090084A (zh) 多激光雷达外参标定方法、标定装置、标定系统和电子设备
US11367204B1 (en) Multi-sensor spatial data auto-synchronization system and method
CN112308925A (zh) 可穿戴设备的双目标定方法、设备及存储介质
Morales et al. Boresight calibration of construction misalignments for 3D scanners built with a 2D laser rangefinder rotating on its optical center
EP3430595B1 (en) Determining the relative position between a point cloud generating camera and another camera
CN112098964A (zh) 路端雷达的标定方法、装置、设备及存储介质
CN113034612A (zh) 一种标定装置、方法及深度相机
CN112379352A (zh) 一种激光雷达标定方法、装置、设备及存储介质
CN116449392B (zh) 一种地图构建方法、装置、计算机设备及存储介质
US20220327739A1 (en) Pose calibration method, robot and computer readable storage medium
CN115267718A (zh) 基于点云拼接的环视雷达360°探测实现方法
CN112305557A (zh) 一种全景相机与多线激光雷达外参标定系统
CN115267747A (zh) 一种稀疏激光雷达与可见光/红外成像系统的标定方法
CN113459088B (zh) 地图调整方法、电子设备及存储介质
CN114758005A (zh) 激光雷达与相机外参标定方法及装置
Lee et al. Extrinsic calibration of multiple 3D LiDAR sensors by the use of planar objects
CN114137564A (zh) 一种室内物体自动标识定位方法和装置
CN113624142A (zh) 一种飞机装配紧固件凹凸量检测方法
CN114792343B (zh) 图像获取设备的标定方法、获取图像数据的方法、装置
CN113362445B (zh) 基于点云数据重建对象的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 503-3, 398 Jiangsu Road, Changning District, Shanghai 200050

Applicant after: Shanghai Xijing Technology Co.,Ltd.

Address before: Room 503-3, 398 Jiangsu Road, Changning District, Shanghai 200050

Applicant before: SHANGHAI WESTWELL INFORMATION AND TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant