CN112907676B - 传感器的标定方法、装置、系统、车辆、设备及存储介质 - Google Patents

传感器的标定方法、装置、系统、车辆、设备及存储介质 Download PDF

Info

Publication number
CN112907676B
CN112907676B CN201911135984.3A CN201911135984A CN112907676B CN 112907676 B CN112907676 B CN 112907676B CN 201911135984 A CN201911135984 A CN 201911135984A CN 112907676 B CN112907676 B CN 112907676B
Authority
CN
China
Prior art keywords
calibration
radar
camera
point
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911135984.3A
Other languages
English (en)
Other versions
CN112907676A (zh
Inventor
鲍虎军
章国锋
王宇伟
刘余钱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shangtang Technology Development Co Ltd
Original Assignee
Zhejiang Shangtang Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shangtang Technology Development Co Ltd filed Critical Zhejiang Shangtang Technology Development Co Ltd
Priority to CN201911135984.3A priority Critical patent/CN112907676B/zh
Priority to PCT/CN2020/128773 priority patent/WO2021098608A1/zh
Priority to JP2021536014A priority patent/JP2022514912A/ja
Publication of CN112907676A publication Critical patent/CN112907676A/zh
Application granted granted Critical
Priority to US17/740,679 priority patent/US20220270293A1/en
Publication of CN112907676B publication Critical patent/CN112907676B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B43/00—Testing correct operation of photographic apparatus or parts thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18—Focusing aids
    • G03B13/30—Focusing aids indicating depth of field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种传感器的标定方法、装置、系统、车辆、设备及存储介质。其中，传感器包括相机和雷达，多个标定板位于相机和雷达的共同视野范围内，多个标定板的位姿信息不同，该标定方法包括：针对位姿信息不同的多个标定板，通过相机采集图像，并通过雷达采集雷达点云数据；分别对多个标定板在图像和雷达点云数据中的坐标点进行检测，得到图像中的第一坐标点以及雷达点云数据中的第二坐标点；根据多个标定板的第一坐标点和第二坐标点，对相机和雷达之间的外参进行标定。

Description

传感器的标定方法、装置、系统、车辆、设备及存储介质
技术领域
本申请实施例涉及计算机视觉技术领域，尤其涉及一种传感器的标定方法、装置、系统、车辆、设备及存储介质。
背景技术
随着计算机视觉的不断发展，为了使设备能够更好的学习和感知周围环境，通常采用多传感器融合的方式，比如，采用雷达和相机融合的方式。在雷达和相机融合过程中，雷达和相机之间的外参的准确性决定了环境感知的准确性。
目前亟需一种雷达和相机之间的外参标定方法，以解决标定过程中耗时耗力的技术问题。
发明内容
本申请实施例提供一种传感器的标定方法、装置、系统、车辆、设备及存储介质。
第一方面，本申请实施例提供一种传感器的标定方法，所述传感器包括相机和雷达，多个标定板位于所述相机和所述雷达的共同视野范围内，所述多个标定板的位姿信息不同，所述方法包括：针对位姿信息不同的所述多个标定板，通过所述相机采集图像，并通过所述雷达采集雷达点云数据；分别对所述多个标定板在所述图像和所述雷达点云数据中的坐标点进行检测，得到所述图像中的第一坐标点以及所述雷达点云数据中的第二坐标点；根据所述多个标定板的所述第一坐标点和所述第二坐标点，对所述相机和所述雷达之间的外参进行标定。
可选的，所述根据所述多个标定板的所述第一坐标点和所述第二坐标点，对所述相机和所述雷达之间的外参进行标定，包括：根据所述第一坐标点和所述相机的内参，确定所述多个标定板中每个标定板在相机坐标系下的第一位姿信息；根据所述第二坐标点，确定所述多个标定板中每个标定板在雷达坐标系下的第二位姿信息；根据所述每个标定板的所述第一位姿信息和所述第二位姿信息，对所述相机和所述雷达之间的外参进行标定。
可选的，所述第一坐标点包括角点，所述对所述多个标定板在所述图像中的坐标点进行检测，得到所述图像中的第一坐标点，包括：确定所述多个标定板在所述图像中的候选角点；对所述候选角点进行聚类，得到所述多个标定板在所述图像中的角点，并将得到的角点确定为所述图像中的所述第一坐标点。
可选的，在所述得到所述多个标定板在所述图像中的角点之后，所述方法还包括：基于所述多个标定板中每个标定板对格点的直线约束关系，对所述图像中聚类后的角点位置进行校正，以将所述图像中经过校正后得到的角点确定为所述第一坐标点。
可选的，所述根据所述第二坐标点，确定所述多个标定板中每个标定板在雷达坐标系下的第二位姿信息，包括：确定所述每个标定板在所述雷达点云数据中所在的平面区域；将所述平面区域对应的位姿信息，确定为所述每个标定板在所述雷达坐标系下的所述第二位姿信息。
可选的，所述相机和所述雷达之间的外参包括：所述相机坐标系和所述雷达坐标系之间的转换关系；所述根据所述每个标定板的所述第一位姿信息和所述第二位姿信息，对所述相机和所述雷达之间的外参进行标定，包括：针对相机坐标系下所述每个标定板的角点，确定在雷达坐标系下的对应点，并将相机坐标系下的所述每个标定板的角点与相应的在雷达坐标系下的对应点确定为一组点对；根据所述多组点对，确定待定转换关系；将所述第二坐标点按照所述待定转换关系，得到在所述图像中的第三坐标点；在所述图像中的所述第三坐标点与对应的所述第一坐标点之间的距离小于阈值的情况下，将所述待定转换关系确定为所述转换关系。
可选的，所述针对相机坐标系下所述多个标定板中所述每个标定板的角点，确定在雷达坐标系下的对应点，包括：确定所述每个标定板的中心位置，在所述相机坐标系下的第四坐标点，以及在所述雷达坐标系下的第五坐标点；针对所述相机坐标下的所述第四坐标点和所述雷达坐标系下的所述第五坐标点之间的对应关系，确定所述每个标定板在所述相机坐标系和所述雷达坐标系下的匹配关系；针对所述每个标定板的角点在所述相机坐标系下的位置，在所述雷达坐标系下与所述每个标定板存在所述匹配关系的区域中，确定所述位置的对应点。
可选的，所述标定板的图案包括特征点集、特征边中的至少一项。
可选的，所述雷达和所述相机部署在车辆上。
可选的，所述图像包括完整的所述多个标定板，所述雷达点云数据包括完整的所述多个标定板对应的点云数据。
可选的，所述雷达包括激光雷达，所述激光雷达发射的激光线与所述多个标定板中每个标定板所在的平面相交。
可选的，所述多个标定板在所述图像中不存在重叠区域，且所述多个标定板中存在至少两个标定板与所述相机之间的水平距离不同。
第二方面，本申请实施例提供一种标定装置，所述传感器包括相机和雷达，多个标定板位于所述相机和所述雷达的共同视野范围内，所述多个标定板的位姿信息不同，所述装置包括：采集模块，用于针对位姿信息不同的所述多个标定板，通过所述相机采集图像，并通过所述雷达采集雷达点云数据；检测模块，用于分别对所述多个标定板在所述图像和所述雷达点云数据中的坐标点进行检测，得到所述图像中的第一坐标点以及所述雷达点云数据中的第二坐标点；标定模块，用于根据所述多个标定板的所述第一坐标点和所述第二坐标点，对所述相机和所述雷达之间的外参进行标定。
可选的，所述标定模块根据所述多个标定板的所述第一坐标点和所述第二坐标点，对所述相机和所述雷达之间的外参进行标定时，具体包括：根据所述第一坐标点和所述相机的内参，确定所述多个标定板中每个标定板在相机坐标系下的第一位姿信息；根据所述第二坐标点，确定所述多个标定板中每个标定板在雷达坐标系下的第二位姿信息；根据所述每个标定板的所述第一位姿信息和所述第二位姿信息，对所述相机和所述雷达之间的外参进行标定。
可选的，所述第一坐标点包括角点，所述检测模块对所述多个标定板在所述图像中的坐标点进行检测，得到所述图像中的第一坐标点时，具体包括：确定所述多个标定板在所述图像中的候选角点；对所述候选角点进行聚类，得到所述多个标定板在所述图像中的角点，并将得到的角点确定为所述图像中的所述第一坐标点。
可选的，所述检测模块在得到所述多个标定板在所述图像中的角点之后，还用于基于所述多个标定板中每个标定板对格点的直线约束关系，对所述图像中聚类后的角点位置进行校正，以将所述图像中经过校正后得到的角点确定为所述第一坐标点。
可选的，所述标定模块根据所述第二坐标点，确定所述多个标定板中每个标定板在雷达坐标系下的第二位姿信息时，具体包括：确定所述每个标定板在所述雷达点云数据中所在的平面区域；将所述平面区域对应的位姿信息，确定为所述每个标定板在所述雷达坐标系下的所述第二位姿信息。
可选的，所述相机和所述雷达之间的外参包括：所述相机坐标系和所述雷达坐标系之间的转换关系；所述标定模块根据所述每个标定板的所述第一位姿信息和所述第二位姿信息，对所述相机和所述雷达之间的外参进行标定时，具体包括：针对相机坐标系下所述每个标定板的角点，确定在雷达坐标系下的对应点，并将相机坐标系下的所述每个标定板的角点与相应的在雷达坐标系下的对应点确定为一组点对；根据所述多组点对，确定待定转换关系；将所述第二坐标点按照所述待定转换关系，得到在所述图像中的第三坐标点；在所述图像中的所述第三坐标点与对应的所述第一坐标点之间的距离小于阈值的情况下，将所述待定转换关系确定为所述转换关系。
可选的，所述标定模块针对相机坐标系下所述多个标定板中所述每个标定板的角点，确定在雷达坐标系下的对应点时，具体包括：确定所述每个标定板的中心位置，在所述相机坐标系下的第四坐标点，以及在所述雷达坐标系下的第五坐标点；针对所述相机坐标下的所述第四坐标点和所述雷达坐标系下的所述第五坐标点之间的对应关系，确定所述每个标定板在所述相机坐标系和所述雷达坐标系下的匹配关系；针对所述每个标定板的角点在所述相机坐标系下的位置，在所述雷达坐标系下与所述每个标定板存在所述匹配关系的区域中，确定所述位置的对应点。
可选的，所述标定板的图案包括特征点集、特征边中的至少一项。
可选的，所述雷达和所述相机部署在车辆上。
可选的，所述图像包括完整的所述多个标定板，所述雷达点云数据包括完整的所述多个标定板对应的点云数据。
可选的，所述雷达包括激光雷达，所述激光雷达发射的激光线与所述多个标定板中每个标定板所在的平面相交。
可选的，所述多个标定板在所述图像中不存在重叠区域，且所述多个标定板中存在至少两个标定板与所述相机之间的水平距离不同。
第三方面，本申请实施例提供一种标定系统，包括：相机、雷达和多个标定板；所述多个标定板位于所述相机和所述雷达的共同视野范围内，所述多个标定板之间互不遮挡，且所述多个标定板的位姿信息不同。
第四方面，本申请实施例提供一种车辆，包括：车辆本体、车载相机、激光雷达和第二方面所述的车辆传感器参数的标定系统；所述车载相机、所述激光雷达和所述车辆传感器参数的标定系统均设置在所述车辆本体上。
第五方面，本申请实施例提供一种车辆传感器参数的标定设备，包括：存储器；处理器；以及计算机程序；其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现第一方面所述的方法。
第六方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现第一方面所述的方法。
第七方面，本申请实施例提供一种计算机程序，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现第一方面所述的方法的指令。
本申请实施例提供的一种传感器的标定方法、装置、系统、车辆、设备及存储介质，其中，传感器包括相机和雷达，该方法包括：基于通过相机采集到的图像，和基于雷达采集到的点云数据分别进行坐标点检测，以确定图像中的第一坐标点和雷达点云数据中的第二坐标点，之后基于第一坐标点和第二坐标点，对相机和雷达之间的外参进行标定。其中，多个标定板位于相机和雷达的共同视野范围内，且多个标定板的位姿信息不同。
相机和雷达是在包含多个标定板的场景下分别采集到用于标定的图像和雷达点云数据，且多个标定板位姿信息不同，那么单张图像中包括了多个标定板，一组雷达点云数据中包括多个标定板的点云数据。因此，采集一张图像及相应的一组雷达点云数据，就能够对相机和雷达之间的外参进行标定。这样可以在保证标定准确度的情况下，有效减少待处理的图像数量以及雷达点云数据的数量，从而节省了数据处理过程所占用的资源。
此外，在实际标定过程的图像采集过程中，标定板全程处于静置状态，那么针对相机和雷达而言，就能有效降低对于相机和雷达的同步性的需求，从而有效提高标定准确率。
附图说明
图1为本申请实施例提供的标定系统的示意图；
图2为本申请实施例提供的传感器的标定方法流程图；
图3为本申请实施例提供的相机坐标系下多个标定板位姿的示意图；
图4为本申请另一实施例提供的标定系统的示意图；
图5为本申请实施例提供的角点检测的流程图；
图6为本申请实施例提供的对外参优化之前的各标定板的空间位置示意图；
图7为本申请实施例提供的对外参优化之后的各标定板的空间位置示意图；
图8为本申请实施例提供的标定装置的结构示意图；
图9为本申请实施例提供的标定设备的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本申请实施例提供的传感器的标定方法，可以适用于图1所示的标定系统。如图1所示，该标定系统包括：相机11、雷达12和多个标定板13。其中，相机11可以采用单目相机、双目相机或具备更多摄像头的相机；雷达可以是激光雷达、毫米波雷达等汽车上常用的雷达；多个标定板13的图案通常包括显著的特征，比如，棋盘格、特征点集、特征边等，且标定板13的形态可以为诸如矩形、圆形等规则图形或是不规则图形等。
另外，在通过相机11正式拍摄或通过雷达12正式扫描之前，可以通过相机11预先观察一下所有标定板13或通过雷达12预先扫描一组包括所有标定板13的雷达点云数据，并调整部分或全部标定板的位置或者姿态，或是调整传感器的位置或姿态，以使得所有标定板13同时在相机11和雷达12的共同视野范围内，且完全可见，并尽量覆盖相机11和雷达12的视野范围，尤其是摄像头拍摄的图像的边缘部分或者雷达扫描的区域的边缘部分。
其中，相机的视野指的是通过相机可以看到的区域，相机的视野范围指的是通过相机可以采集到区域对应的范围。在本申请实施例中，相机的视野范围可以基于如下参数中的一项或是多项的组合来确定：相机镜头到被拍摄物体的距离、相机的尺寸以及相机镜头的焦距等。例如，相机镜头到物体的距离为1500mm，相机的尺寸为4.8mm，相机镜头的焦距为50mm，则相机的视野＝(1500*4.8)/50＝144mm。在一种实现方式中，相机的视野范围还可以理解为是相机镜头中心点到成像平面对角线两端所形成的夹角。对于相同的成像面积，相机镜头的焦距越短，相机的视角就越大。
其中，雷达的视野指的是通过雷达可以扫描到的区域。雷达的视野范围指的是通过雷达可以扫描到的区域对应的范围，包括垂直视野范围和水平视野范围，垂直视野范围指的是雷达在垂直方向可以扫描到的区域对应的范围，水平视野范围指的是雷达在水平方向可以扫描到的区域对应的范围。以旋转式激光雷达为例，其水平视野为360度，垂直视野为40度，代表该旋转式激光雷达可以扫描到在水平方向360度范围内的区域，以及在垂直方向40度范围内的区域。需要说明的是，上述旋转式激光雷达的水平视野及垂直视野所对应的角度取值，仅为一种实例性的表述，并不作为对本申请实施例的限定。
另外，本实施例中还需要使所有标定板13相互之间没有遮挡或者没有被其他物体遮挡。其中，多个标定板13之间相互没有遮挡，可以理解为在相机和雷达的共同视野范围内多个标定板之间没有重叠，且多个标定板是完整的，即拍摄到的图像和扫描到的雷达点云数据中包括的多个标定板之间没有重叠，且图像和雷达点云数据中包括的是多个完整的标定板。因此，在布置多个标定板的过程中，使得任意两个标定板间隔一定距离，不要紧挨。在布置多个标定板的过程中，还可以使多个标定板中的至少两个标定板与相机和雷达之间的水平距离不同，以使相机采集的图像和雷达扫描的雷达点云数据中多个标定板的位置信息更加多样化。以相机为例，也就意味着，在采集到的单张图像中，包括距相机多种距离范围的标定板。比如，将相机的视野范围划分为3个维度，分别为距相机距离较近、距离适中、距离较远。这样，在采集到的单张图像中，至少包括处于上述3个维度内的标定板，从而使采集到的图像中标定板的位置信息多样化。在布置多个标定板的过程中，使多个标定板中的至少两个标定板与雷达之间的水平距离不同，与相机类似，具体可参见相机部分的介绍，此处不再赘述。
此外，为了使采集到的图像或雷达点云数据中的标定板更加清晰，可以通过保证标定板平整性的方式来实现，比如，可以通过诸如铝合金框等限位装置将标定板的四周固定，以使标定板上呈现的图形、点集等特征数据更加清晰的呈现。
需要说明的是，图1中标定板的数量仅做示意说明，不应当理解为对标定板数量的限定，本领域技术人员可以根据实际情况布置相应数量的标定板。
本申请实施例图1所示的标定系统可以应用于对多传感器，例如相机和雷达之间的外参标定。需要说明的是，图1所示的标定系统可以应用于自动驾驶场景中对车载相机和车载雷达的标定、搭载有视觉系统的机器人的标定，或是安装有多传感器的无人机的标定等。在本申请实施例中，以对相机和雷达之间的外参进行标定为例，对本申请提供的技术方案进行说明。
需要说明的是，在对多传感器进行标定的过程中，可以对传感器的内参、外参等中的一项或是多项进行标定。在传感器包括相机和雷达的情况下，对传感器进行标定的过程中，可以是对相机的内参、相机的外参、雷达的内参、雷达的外参、相机和雷达之间的外参等中的一项或是多项进行标定。
其中，内参指的是用于反映传感器自身特性相关的参数，可以包括传感器的出厂参数，比如，传感器的性能参数、技术参数等；外参指的是物体在世界坐标系中相对于传感器的位置关系的参数，可以包括用于表示空间中某一点到传感器坐标系的转换关系的参数等。
相机的内参指的是用于反映相机自身特性相关的参数，可以包括但不限于如下参数中的一项或是多项的组合：相机的焦距、图像的分辨率等。
相机的外参指的是物体在世界坐标系中相对于相机的位置关系的参数，可以包括但不限于如下参数中的一项或多项的组合：相机采集到的图像的畸变参数、用于表示空间中某一点到相机坐标系的转换关系的参数等。
雷达的内参指的是用于反映雷达自身特性相关的参数，以激光雷达为例，可以包括但不限于如下参数中的一项或是多项的组合：波长、探测距离、视场角(field of view，FOV)、测距精度。其中，在光学仪器中，以光学仪器的镜头为顶点，以被测目标的物像可通过镜头的最大范围的两条边缘构成的夹角，称为视场角。视场角的大小决定了光学仪器的视野范围，视场角越大，视野就越大，光学倍率就越小。
雷达的外参指的是物体在世界坐标系中相对于雷达的位置关系的参数，可以包括但不限于如下参数中的一项或多项的组合：用于表示空间中某一点到雷达坐标系的转换关系的参数等。
相机和雷达之间的外参指的是物理世界中的物体在相机坐标系中相对于雷达的位置关系的参数。
需要说明的是，上述对于内参、外参的说明仅作为一种示例，并不作为对相机的内参、相机的外参、雷达的内参、雷达的外参、相机和雷达之间的外参的限定。
本申请实施例提供的传感器的标定方法，旨在解决现有技术的如上技术问题。
下面以激光雷达为例，结合具体实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图2为本申请实施例提供的传感器的标定方法流程图。本申请实施例针对现有技术的如上技术问题，提供了传感器的标定方法，其中，传感器包括相机和雷达，该方法具体步骤如下：
步骤201、针对位姿信息不同的多个标定板，通过相机采集图像，并通过雷达采集雷达点云数据。
其中，多个标定板位于相机和雷达的共同视野范围内。相机采集的图像和雷达采集的雷达点云数据分别包括多个标定板，多个标定板之间相互没有遮挡，且多个标定板的位姿信息不同。
上述位姿信息是指标定板在空间中的位置状态，具体可以包括位置信息和姿态信息。其中，位置信息指的是标定板距离相机和雷达的相对位置关系，姿态信息是指标定板在位置信息指示的位置上的旋转、俯/仰等姿态。在本申请实施例中，位姿信息还可以指的是标定板在空间中6个维度中的至少一项对应的信息。那么位姿信息不同，指的可以是在空间中的至少一个维度上的信息不同。其中，6个维度分别是指标定板在三维坐标系中X轴、Y轴和Z轴上的平移信息和旋转信息。
具体的，通过相机11对包含多个标定板的场景进行拍摄，得到相机坐标系下不同位姿的多个标定板。其中，相机坐标系下多个标定板的位姿可以如图3所示。从图3中可以看出，多个标定板的位姿信息均不同。
具体的，如图1所示，通过雷达12对包含多个标定板的场景进行扫描，得到一组雷达点云数据。可选的，雷达包括激光雷达，激光雷达发射的激光线与多个标定板中每个标定板所在的平面相交，从而得到激光点云数据。以雷达是激光雷达为例，例如，在激光雷达发射出的一束激光照射到标定板表面的情况下，标定板表面将会对激光进行反射。若激光雷达发射出的激光按照某种轨迹进行扫描，例如360度旋转扫描，将得到大量的激光点，因而就可形成标定板对应的雷达点云数据。
其中，相机拍摄的图像包括完整的多个标定板。若本实施例中的图像是多张图像，则多张图像可以是通过相机采集的多张图像,也可以是相机通过录制等方式采集的视频序列中的多帧在时序上相邻或不相邻的图像。若本实施例中的雷达点云数据是多组雷达点云数据，则多组雷达点云数据可以是雷达通过多次采集得到的雷达点云序列，雷达点云序列包括在时序上相邻或不相邻的多组雷达点云数据。
此处需要注意的是，相机和雷达需同时工作，以保证相机和雷达的时间同步性，尽量降低相机和雷达采集数据的时间误差为标定带来的影响。
步骤202、分别对多个标定板在图像和雷达点云数据中的坐标点进行检测，得到图像中的第一坐标点以及雷达点云数据中的第二坐标点。
其中，第一坐标点包括多个标定板在图像中的坐标点，第二坐标点包括多个标定板在雷达点云数据中的坐标点。
针对多个标定板中的一个标定板而言，第一坐标点包括一个标定板的格点映射到图像中的角点，第二坐标点包括一个标定板的格点映射到雷达点云数据中的点。
在本实施例中，对多个标定板在图像中的坐标点进行检测，包括：对多个标定板在图像中的角点进行检测。其中，角点指的是标定板的格点映射到图像中的像素点，通常情况下，可以将图像中局部的最大值认为是一个角点。例如，若一个像素点比周围的像素点都亮或者都暗，就可以认为该像素点为角点，如图1中标定板的棋盘格中每两条线的交点映射至图像中所对应的像素点。其中，标定板的格点，指的是在标定板的图案为棋盘格的情况下，用于划分黑格和白格的两条线的交点，即指标定板上用于表示黑格或白格的矩形的顶点。比如，如图1所示的格点O’(图1中左方箭头所指)。
示例性地，分别检测多个标定板在图像中的角点，可以是对多个标定板中的至少两个标定板进行角点检测，例如，在标定系统中包括20个标定板，那么可以通过相机采集得到包含部分或是全部标定板的图像，比如，包括18个标定板的图像。这样就可以通过对这18个标定板进行角点检测。当然，也可以通过对该图像中少于18个标定板的角点进行检测，比如，对包括18个标定板的图像中的15个标定板进行角点检测。
本实施例中，由于雷达采集的雷达点云数据可能存在密度不规则、存在离群点、噪声等因素导致点云中存在大量噪声点，因而需要对采集的雷达点云数据进行预处理，例如进行滤波。从而滤除雷达点云数据中的噪声点，滤除噪声点后剩余的雷达点云数据即为检测得到的多个标定板在雷达点云数据中的坐标点，即第二坐标点。
步骤203、根据多个标定板的第一坐标点和第二坐标点，对相机和雷达之间的外参进行标定。
可选的，根据多个标定板的第一坐标点和第二坐标点，对相机和雷达之间的外参进行标定，包括：根据第一坐标点和相机的内参，确定多个标定板中每个标定板在相机坐标系下的第一位姿信息；根据第二坐标点，确定多个标定板中每个标定板在雷达坐标系下的第二位姿信息；根据每个标定板的第一位姿信息和第二位姿信息，对相机和雷达之间的外参进行标定。
本实施例中，相机的内参可以根据已有的标定算法预先标定得到，具体可参见现有的对相机内参的标定算法，本实施例在此不做赘述。
其中，每个标定板在相机坐标系下的第一位姿信息是指每个标定板在相机坐标系下的位置状态信息，具体包括三维位置坐标信息和姿态信息。在一个示例中，每个标定板在相机坐标系下的三维位置坐标信息可以是其在相机坐标系的X、Y、Z轴上的坐标值，每个标定板在相机坐标系下的姿态信息可以是每个标定板的横滚角roll、俯仰角pitch、偏航角yaw，对于横滚角roll、俯仰角pitch、偏航角yaw的具体定义可参见现有技术的介绍，本实施例在此不做具体介绍。
本步骤检测到的第一坐标点用于表示标定板在图像中的位置，表达标定板的二维信息，为了得到标定板在相机坐标系下的三维位姿信息，可以根据已标定的相机的内参和二维图像中的角点确定。例如，可以采用PnP算法确定多个标定板在相机坐标下的三维位姿信息，从而完成将单张二维图像从标定板坐标系转换到相机坐标系下。具体包括：根据已标定的相机的内参和待定的相机外参，将世界坐标系下标定板上的N个点投影至图像上，得到N个投影点；根据N个点和N个投影点，以及已标定的相机的内参和待定的相机外参，建立目标函数；对目标函数求最优解，得到相机的最终外参，即用于表示标定板坐标系到相机坐标系的转换关系的参数。
具体的，每个标定板在雷达坐标系下的第二位姿信息，是指每个标定板在雷达坐标系下的位置状态信息，具体包括三维位置坐标信息和姿态信息。其中，每个标定板在雷达坐标系下的三维位置坐标信息是指在雷达坐标系的X、Y、Z轴上的坐标值，每个标定板在雷达坐标系下的姿态信息是指每个标定板在雷达坐标系下的横滚角roll、俯仰角pitch、偏航角yaw，对于横滚角roll、俯仰角pitch、偏航角yaw的具体定义可参见现有技术的介绍，本实施例在此不做赘述。
本步骤检测的第二坐标点用于表示标定板在雷达点云数据中的位置，即标定板在雷达坐标系中的位置，因此，可以根据第二坐标点得到标定板在雷达坐标系下的第二位姿信息。采用上述实现方式，能够得到标定板坐标系到雷达坐标系之间的转换，即通过雷达点云数据中的平面信息，筛选出雷达点云数据中的标定板平面，从而得到标定板在雷达坐标系下的位姿信息，即第二位姿信息。
之后根据每个标定板在相机坐标系下的第一位姿信息和每个标定板在雷达坐标系下的第二位姿信息，确定相机坐标系和雷达坐标系之间的外参。其中，相机坐标系和雷达坐标系之间的外参是指相机相对于雷达的位置、旋转方向等参数，可以理解为用于表示相机坐标系和雷达坐标系之间的转换关系的参数,该转换关系的参数能够使相机和雷达在同一时段内采集的数据得到空间上的同步，从而使相机与雷达更好的融合。
可选的，本申请实施例还可以通过单个标定板对相机和雷达之间的外参进行标定。示例性地，可以采用如图4所示的标定系统对相机和雷达之间的外参进行标定，该标定系统包括：相机41、雷达42和一个标定板43。在对相机和雷达标定的过程中，通过移动和/或旋转标定板43，或是移动相机41和雷达42(其中，移动过程中需要保证相机41和雷达42的相对位置关系不变)，然后通过相机41拍摄多张包含一个标定板43的图像，每张图像中的标定板43的位置和姿态均不同，以及通过雷达42扫描得到多组包含一个标定板43的雷达点云数据。相机41和雷达42对同一位置处相同姿态的标定板拍摄的图像和扫描的雷达点云数据称之为一组数据，通过拍摄和扫描多次，以获得多组数据，例如10-20组，然后从多组数据中挑选符合标定算法要求的数据，作为图像和雷达点云数据，之后基于挑选的图像和雷达点云数据对相机和雷达之间的外参进行标定。
在多标定板的标定场景下，基于通过相机采集到的图像，和基于雷达采集到的雷达点云数据分别进行坐标点检测，以确定图像中的第一坐标点和雷达点云数据中的第二坐标点，之后基于第一坐标点和第二坐标点，对相机和雷达之间的外参进行标定。其中，多个标定板位于相机和雷达的共同视野范围内，且多个标定板的位姿信息不同。
相对于单标定板的标定场景而言，相机和雷达在包含多个标定板的场景下分别采集到用于标定的图像和雷达点云数据，且多个标定板位姿信息不同，那么单张图像中包括多个标定板，一组雷达点云数据中包括多个标定板的点云数据。因此，采集一张图像及相应的一组雷达点云数据，就能够对相机和雷达之间的外参进行标定。这样可以在保证标定准确度的情况下，有效减少待处理的图像数量以及雷达点云数据的数量，从而节省了数据处理过程所占用的资源。
此外，在实际标定过程的图像采集过程中，标定板全程处于静置状态，那么针对相机和雷达而言，就能有效降低对于相机和雷达的同步性的需求，从而有效提高标定准确率。
可选的，第一坐标点包括角点，对多个标定板在图像中的坐标点进行检测，得到图像中的第一坐标点，包括：确定多个标定板在图像中的候选角点；对候选角点进行聚类，得到多个标定板在图像中的角点，并将得到的角点确定为图像中的第一坐标点。其中，候选角点指的是标定板格点对应的角点。本实施例对候选角点进行聚类，可以得到属于图像中标定板上的像素点。通过聚类可以将候选角点中不属于标定板上的点过滤掉，实现对图像去噪。具体实现过程可以为：以图像中的某个像素点为参考点，在图像中确定一个邻域，通过计算邻域内像素点与当前像素点的相似度，若相似度小于预设阈值，则认为该领域内像素点是当前像素点的相似点。可选的，相似度可以采用平方差之和(Sum of SquaredDifference，SSD)来衡量。应当理解的是，本申请实施例也可以采用其他一些相似度计算方法来衡量。其中，预设阈值可以预先设定，具体可以根据标定板上图案的不同来进行调整，在此对于预设阈值的取值不予限定。
可选的，确定多个标定板在图像中的候选角点，包括：检测图像中的角点；从检测到的角点中滤除标定板的格点映射到图像中的角点以外的点，得到候选角点。其中，检测到的角点包括标定板的格点映射到图像中的角点，还包括标定板的格点映射到图像中的角点之外的其他被误检测到的点。可选的，可以采用非极大值抑制的方法滤除标定板的格点映射到图像中的角点以外的点。本实施例能够在初步去噪的基础上进一步筛掉图像中其他被误检测到的点，实现进一步去噪。
可选的，从检测到的角点中滤除标定板的格点映射到图像中的角点以外的点，得到候选角点之后，所述方法还包括：滤除候选角点中离散的像素点。本实施例通过滤除候选角点中不属于标定板的角点的像素点，能够在上一步去噪的基础上，根据标定板格点的数量确定图像中的角点数量。并且，根据标定板中格点呈规律分布的特点，可以将不属于标定板上角点的像素点进行滤除。例如，对于6*10标定板而言，其具有5*9＝45个格点，那么对应到图像中，应当有45个角点。上述步骤过程是对不属于这45个角点之外的其他像素点进行滤除。
可选的，在得到多个标定板在图像中的角点之后，本实施例的方法还包括：基于多个标定板中每个标定板对格点的直线约束关系，对图像中聚类后的角点位置进行校正，以将图像中经过校正后得到的角点确定为第一坐标点。本实施例中，对候选角点聚类后可以得到每个标定板中的角点，但是这些角点的位置可能会存在不准确。例如，对标定板的格点来说，在图像中应当有3个点是在一条直线上的，如A(1,1)，B(2,2)和C(3,3)应当位于图像中的同一条直线上，但是聚类后的角点中有一个角点不在直线上，如聚类后的角点坐标分别为A(1,1)，B(2,2)和C(3.1,3.3)，那么就需要对C角点进行校正，校正为(3,3)，使C角点与其他两个A角点和B角点在同一直线上。经过本步骤的校正过程，能够使得检测的角点位置更准确，从而在后续的标定过程中，提高标定精度。
下面通过一个完整的示例对上述过程进行详细说明：
图5为本申请另一实施例提供的传感器的标定方法流程图。该传感器的标定方法，具体包括如下步骤：
步骤501、检测图像中的角点。
其中，可以根据现有的角点检测算法来检测角点。
步骤502、从检测到的角点中滤除标定板的格点映射到图像中的角点以外的点，得到候选角点。
由于标定板上格点的数量是已知的，故对应到图像中，每个标定板上的角点数量通常也是确定的。因此，可以根据标定板的格点的数量和图像中角点的数量相同这一关系来进行去噪。
步骤503、除去候选角点中离散的像素点。
具体的，由于标定板上的格点呈规律分布，故本步骤503可以通过对候选角点进行聚类，从而除去那些离散的像素点，来进一步滤除噪声像素点。
由于本实施例的图像包含了多个标定板，每个标定板中像素点之间通常是密集的，且由于每两个标定板之间是存在一定距离，因此，每两个标定板对应的密集的像素点群之间存在一定间隔，因此，可以通过聚类的方法来大致划分出每个标定板的位置，并滤除标定板格点之外的离散点。
步骤504、根据标定板对格点的直线约束，得到每个标定板的格点位置，作为第一坐标点。
可选的，在经过步骤503划分出每个标定板的位置后，可以根据标定板对格点的直线约束对图像中每个标定板上的像素点进行处理，得到每个标定板在图像中的角点位置。其中，标定板对格点的直线约束，是指标定板上像素点分布在同一直线上的关系。
在本申请实施例的一种实现方式中，每个标定板检测到的角点位置是以矩阵的形式存储，假设标定板的数量为N，则通过本实施例的角点检测方法可以得到N个矩阵。例如，在图2所示的标定系统中有6个标定板，则通过本实施例的角点检测方法在每个图像中可以得到6个矩阵。
可选的，根据第二坐标点，确定多个标定板中每个标定板在雷达坐标系下的第二位姿信息，包括：确定每个标定板在雷达点云数据中所在的平面区域；将平面区域对应的位姿信息，确定为每个标定板在雷达坐标系下的第二位姿信息。由于标定板在点云中的三维点是密集的，且明显区别于雷达点云中其他区域部分，因此，可以在雷达点云数据中确定与标定板形状相匹配的平面。例如，标定板为矩形形状，则可以在雷达点云数据中，通过确定点云中的坐标点构成的矩形形状的平面，来确定平面区域。确定了平面区域后，就可以将该平面区域对应的标定板的位姿信息作为标定板在雷达坐标系下的第二位姿信息。
可选的，若相机和雷达之间的外参包括：相机坐标系和雷达坐标系之间的转换关系。则根据每个标定板的第一位姿信息和第二位姿信息，对相机和雷达之间的外参进行标定，包括：针对相机坐标系下每个标定板的角点，确定在雷达坐标系下的对应点，并将相机坐标系下的每个标定板的角点与相应的在雷达坐标系下的对应点确定为一组点对；根据多组点对，确定待定转换关系；将第二坐标点按照待定转换关系，得到在图像中的第三坐标点；在图像中的第三坐标点与对应的第一坐标点之间的距离小于阈值的情况下，将待定转换关系确定为转换关系。
可选的，针对相机坐标系下多个标定板中每个标定板的角点，确定在雷达坐标系下的对应点，包括：确定每个标定板的中心位置，在相机坐标系下的第四坐标点，以及在雷达坐标系下的第五坐标点；针对相机坐标下的第四坐标点和雷达坐标系下的第五坐标点之间的对应关系，确定每个标定板在所述相机坐标系和所述雷达坐标系下的匹配关系；针对所述每个标定板的角点在相机坐标系下的位置，在雷达坐标系下与每个标定板存在匹配关系的区域中，确定位置的对应点。
当然，本实施例也可以选取标定板其他位置来确定在相机坐标系下的第四坐标点，以及在雷达坐标系下的第五坐标点，本实施例对此不做具体限定。其他位置例如靠近标定板中心点的位置，或者远离标定板边缘的位置点。
在相机坐标系下检测到的角点集合为P(X1,X2,…Xn)，雷达坐标系下检测到的坐标点集合为G(Y1,Y2,…Yn)的情况下，图像中的角点可以用Pi表示，Pi＝Xi，首先通过定义一个预设的约束条件，例如四元矩阵(4*4的旋转平移矩阵)，然后将角点集合P叉乘该四元矩阵，得到在雷达坐标系下对应的坐标点集合P'(X'1,X'2,…X'n)，如此，可以得到图像中的角点Pi在雷达点云数据中对应的坐标点Pi'，可以基于Pi与Pi'建立一个目标函数，并采用最小二乘法对该目标函数求出最小二乘误差，确定该误差是否在预设的误差范围内，若该误差在预设的误差范围内，则停止迭代，若该误差不在预设的误差范围内，则根据该误差调整四元矩阵的旋转信息和平移信息，并继续根据调整后的四元矩阵执行上述过程，直至误差在预设的误差范围内，将最终的四元矩阵作为最终的转换关系。其中，可以基于Pi与Pi'之间的欧氏距离建立目标函数。上述误差范围，可以预先设定，在本申请实施例中，对于误差范围的取值等不予限定。
具体的，确定相机坐标系下的标定板与雷达坐标系下的标定板之间的匹配关系，可以理解为是将相机坐标系下的标定板与雷达坐标系下的标定板对应起来，即在相机坐标系下和雷达坐标系下分别找到如图2所示的应用场景中的同一标定板，并建立该标定板在相机坐标系下的位置坐标和在雷达坐标系下的位置坐标之间的对应关系。例如，多个标定板分别具有以阿拉伯数字进行区别的编号1至9，如图6所示，假设相机坐标系下多个标定板的编号分别为1至9，雷达坐标系下多个标定板的编号分别为1’至9’；其中，相机坐标系下编号1至9的标定板依次对应雷达坐标系下编号1’至9’的标定板，例如，相机坐标系下编号1标定板与雷达坐标系下编号1’的标定板对应标定系统中同一块标定板。则相机坐标系下的标定板与雷达坐标系下的标定板之间的匹配关系是在相机坐标系下和雷达坐标系下分别找到编号为1和1’的标定板，并建立编号为1和1’的标定板在相机坐标系下和雷达坐标系下的位置坐标的对应关系。
可选的，在将相机坐标系下的标定板与雷达坐标系下的标定板对应起来之后，将匹配成功的两个标定板中的角点可以按照预设顺序排列，例如按行或按列排序，然后按照行或列执行本实施例的方法步骤。但通常情况下，由于通过上述实施例将图像和雷达点云数据中的标定板匹配起来之后，是将图像和雷达点云数据中的同一块标定板进行了匹配，但标定板的方位可能会存在差异。因此，还需要对图像或雷达点云数据中标定板的方位进行调整，从而使图像和雷达点云数据中的同一标定板的方位也相同。其中，标定板的方位信息指的是标定板在图像和雷达点云数据中的方向信息和/或位置信息。以方向信息为例，标定板在采集图像的过程中处于横向放置的状态，而在采集雷达点云数据的过程中处于竖向放置的状态，其中，横向和竖向可以为标定板的方位信息。
由于得到的相机和雷达之间的外参，即相机和雷达坐标系之间的变换矩阵T是较为粗略的，因此还需通过非线性优化的方式对变换矩阵T进行进一步优化，使得外参更加精确。其中，对相机和雷达之间的外参进行优化包括：基于检测的角点和标定板上的格点投影到图像中的投影点，建立目标函数；对该目标函数求最优解，得到相机和雷达之间的最终外参。其中，基于检测的角点和标定板上的格点投影到图像中的投影点，建立目标函数，包括：根据相机和雷达之间的外参、已标定的内参、相机坐标系下的角点坐标、标定板坐标系与相机坐标系之间的转换关系，将标定板上的格点通过投影函数关系投影到图像中，得到投影点；基于检测的角点和投影点，建立目标函数。如此，能够最小化每个标定板中的角点误差，对检测的角点位置进行优化，提高相机和雷达之间外参的标定精度。
图6是对外参优化之前的各标定板的空间位置示意图。
图7是对外参优化之后的各标定板的空间位置示意图。
以雷达为激光雷达为例，如图6、图7所示，图中实线边框为激光雷达坐标系下的标定板经转换后，得到的在相机坐标系下的投影，用于表示激光雷达坐标系下的标定板经转换后在相机坐标系中的位置；图中点集为相机坐标系下标定板格点，用于表示相机坐标系下的标定板。
从图6中可以看到，标定板在相机坐标系下的位置，以及在雷达坐标系下该标定板经由转换得到的相机坐标系下的位置之间存在一定距离，例如，标定板在相机坐标系下的编号为1，而该标定板在雷达坐标系下经转换得到的相机坐标系下的该标定板编号为1’，而标定板1与标定板1’之间存在一定距离。同理，标定板2至9，分别于标定板2’至9’之间具有一定距离。
从图7中可以看到，经过优化后，同一标定板在相机坐标系下的位置与在雷达坐标系下经由位置转换得到的相机坐标系下的位置之间存在的距离减小了，且同一标定板在两种情况下得到的相机坐标系下的位置几乎重合。
采用上述实施例的标定方法对相机和雷达之间的外参标定后，可以利用标定好的相机和雷达采集的数据进行测距、定位或者自动驾驶的控制等。例如，在利用标定好的相机和雷达之间的外参采集的数据进行自动驾驶的控制的情况下，具体可以包括：利用标定好的车载相机采集包括车辆周围环境的图像；利用标定好的车载雷达采集包括车辆周围环境的雷达点云数据；基于环境信息和雷达点云数据进行融合；基于融合后的数据确定车辆当前所处位置；根据车辆当前所处位置对车辆进行控制。例如，控制车辆减速、刹车或转向等。在测距过程中，激光雷达发出的激光照射到物体表面，该物体表面将会对该束激光进行反射，该激光雷达根据该物体表面反射的激光，可确定该物体相对于该激光雷达的方位、距离等信息。因此，能够实现测距。
对于车载相机和雷达以及其他一些安装有相机和雷达的载体而言，由于相机和雷达通常会固定在载体上，移动不便，在采用本申请实施例提供的技术方案的情况下，能够实现在不移动相机和雷达的情况下，完成对多传感器的标定。
另外，对于车载相机、车载雷达或者是搭载有相机和雷达等多传感器的无人机或机器人来说，由于周围环境信息的采集对于车辆的自动驾驶或无人机的飞行，以及机器人的路线规划很重要，常常会影响自动驾驶或飞行、机器人行走的安全性，因此，通过本实施例的标定方法进行标定，标定精度能够提高，使得用于进行数据处理的周围环境信息的准确度也更高，相应的，对于车辆或无人机的定位、测距等功能来说，准确度也会提高，进而提高无人驾驶或飞行的安全性。对于机器人来说，标定精度提升，能够提升机器人基于视觉系统执行各操作的精准度。
此外，为了简化标定过程，还可以利用指路牌、交通标志等具备规则图形或是易识别信息的对象来实现车辆上部署的相机和/或雷达的标定。在本申请实施例中，采用常规标定板对相机和雷达之间的外参的标定过程进行阐述，但并不局限于借助常规标定板来实现标定过程，具体可以根据传感器部署的物体的特性或是局限性来实现相应传感器的标定。
图8为本申请实施例提供的标定装置的结构示意图。本申请实施例提供的标定装置可以执行传感器的标定方法实施例提供的处理流程，传感器包括相机和雷达，多个标定板位于相机和雷达的共同视野范围内，多个标定板的位姿信息不同。如图8所示，标定装置80包括：采集模块81、检测模块82和标定模块83；其中，采集模块81，用于针对位姿信息不同的多个标定板，通过相机采集图像，并通过雷达采集雷达点云数据；检测模块82，用于分别对多个标定板在图像和雷达点云数据中的坐标点进行检测，得到图像中的第一坐标点以及雷达点云数据中的第二坐标点；标定模块83，用于根据多个标定板的第一坐标点和第二坐标点，对相机和雷达之间的外参进行标定。
可选的，标定模块83根据多个标定板的第一坐标点和第二坐标点，对相机和雷达之间的外参进行标定时，具体包括：根据第一坐标点和相机的内参，确定多个标定板中每个标定板在相机坐标系下的第一位姿信息；根据第二坐标点，确定多个标定板中每个标定板在雷达坐标系下的第二位姿信息；根据每个标定板的第一位姿信息和第二位姿信息，对相机和雷达之间的外参进行标定。
可选的，第一坐标点包括角点，检测模块82对多个标定板在图像中的坐标点进行检测，得到图像中的第一坐标点时，具体包括：确定多个标定板在图像中的候选角点；对候选角点进行聚类，得到多个标定板在图像中的角点，并将得到的角点确定为图像中的第一坐标点。
可选的，检测模块82在得到多个标定板在图像中的角点之后，还用于基于多个标定板中每个标定板对格点的直线约束关系，对图像中聚类后的角点位置进行校正，以将图像中经过校正后得到的角点确定为第一坐标点。
可选的，标定模块83根据第二坐标点，确定多个标定板中每个标定板在雷达坐标系下的第二位姿信息时，具体包括：确定每个标定板在雷达点云数据中所在的平面区域；将平面区域对应的位姿信息，确定为每个标定板在雷达坐标系下的第二位姿信息。
可选的，相机和雷达之间的外参包括：相机坐标系和雷达坐标系之间的转换关系；标定模块83根据每个标定板的第一位姿信息和第二位姿信息，对相机和雷达之间的外参进行标定时，具体包括：针对相机坐标系下每个标定板的角点，确定在雷达坐标系下的对应点，并将相机坐标系下的每个标定板的角点与相应的在雷达坐标系下的对应点确定为一组点对；根据多组点对，确定待定转换关系；将第二坐标点按照待定转换关系，得到在图像中的第三坐标点；在图像中的第三坐标点与对应的第一坐标点之间的距离小于阈值的情况下，将待定转换关系确定为转换关系。
可选的，标定模块83针对相机坐标系下多个标定板中每个标定板的角点，确定在雷达坐标系下的对应点时，具体包括：确定每个标定板的中心位置，在相机坐标系下的第四坐标点，以及在雷达坐标系下的第五坐标点；针对相机坐标下的第四坐标点和雷达坐标系下的第五坐标点之间的对应关系，确定每个标定板在相机坐标系和雷达坐标系下的匹配关系；针对每个标定板的角点在相机坐标系下的位置，在雷达坐标系下与每个标定板存在匹配关系的区域中，确定位置的对应点。
可选的，标定板的图案包括特征点集、特征边中的至少一项。
可选的，雷达和相机部署在车辆上。
可选的，图像包括完整的多个标定板，雷达点云数据包括完整的多个标定板对应的雷达点云数据。
可选的，多个标定板中存在至少一个标定板位于相机视野的边缘位置。
可选的，雷达包括激光雷达，激光雷达发射的激光线与多个标定板中每个标定板所在的平面相交。
可选的，多个标定板在图像中不存在重叠区域，且多个标定板中存在至少两个标定板与相机之间的水平距离不同。
图8所示实施例的标定装置可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图9为本申请实施例提供的标定设备的结构示意图。本申请实施例提供的标定设备可以执行传感器的标定方法实施例提供的处理流程，其中，传感器包括相机和雷达，多个标定板位于相机和雷达的共同视野范围内，多个标定板的位姿信息不同，如图9所示，标定设备90包括：存储器91、处理器92、计算机程序和通讯接口93；其中，计算机程序存储在存储器91中，并被配置为由处理器92执行以下方法步骤：针对位姿信息不同的多个标定板，通过相机采集图像，并通过雷达采集雷达点云数据；分别对多个标定板在图像和雷达点云数据中的坐标点进行检测，得到图像中的第一坐标点以及雷达点云数据中的第二坐标点；根据多个标定板的第一坐标点和第二坐标点，对相机和雷达之间的外参进行标定。
可选的，处理器92根据多个标定板的第一坐标点和第二坐标点，对相机和雷达之间的外参进行标定时，具体包括：根据第一坐标点和相机的内参，确定多个标定板中每个标定板在相机坐标系下的第一位姿信息；根据第二坐标点，确定多个标定板中每个标定板在雷达坐标系下的第二位姿信息；根据每个标定板的第一位姿信息和第二位姿信息，对相机和雷达之间的外参进行标定。
可选的，第一坐标点包括角点；处理器92对多个标定板在图像中的坐标点进行检测，得到图像中的第一坐标点时，具体包括：确定多个标定板在图像中的候选角点；对候选角点进行聚类，得到多个标定板在图像中的角点，并将得到的角点确定为图像中的第一坐标点。
可选的，处理器92还用于基于多个标定板中每个标定板对格点的直线约束关系，对图像中聚类后的角点位置进行校正，以将图像中经过校正后得到的角点确定为第一坐标点。
可选的，处理器92根据第二坐标点，确定多个标定板中每个标定板在雷达坐标系下的第二位姿信息时，具体包括：确定每个标定板在雷达点云数据中所在的平面区域；将平面区域对应的位姿信息，确定为每个标定板在雷达坐标系下的第二位姿信息。
可选的，相机和雷达之间的外参包括：相机坐标系和雷达坐标系之间的转换关系；处理器92根据每个标定板的第一位姿信息和第二位姿信息，对相机和雷达之间的外参进行标定时，具体包括：针对相机坐标系下每个标定板的角点，确定在雷达坐标系下的对应点，并将相机坐标系下的每个标定板的角点与相应的在雷达坐标系下的对应点确定为一组点对；根据多组点对，确定待定转换关系；将第二坐标点按照待定转换关系，得到在图像中的第三坐标点；在图像中的第三坐标点与对应的第一坐标点之间的距离小于阈值的情况下，将待定转换关系确定为转换关系。
可选的，处理器92针对相机坐标系下多个标定板中每个标定板的角点，确定在雷达坐标系下的对应点时，具体包括：确定每个标定板的中心位置，在相机坐标系下的第四坐标点，以及在雷达坐标系下的第五坐标点；针对相机坐标下的第四坐标点和雷达坐标系下的第五坐标点之间的对应关系，确定每个标定板在相机坐标系和雷达坐标系下的匹配关系；针对每个标定板的角点在相机坐标系下的位置，在雷达坐标系下与每个标定板存在匹配关系的区域中，确定位置的对应点。
可选的，标定板的图案包括特征点集、特征边中的至少一项。
可选的，雷达和相机部署在车辆上。
可选的，图像包括完整的多个标定板，雷达点云数据包括完整的多个标定板对应的雷达点云数据。
可选的，雷达包括激光雷达，激光雷达发射的激光线与多个标定板中每个标定板所在的平面相交。
可选的，多个标定板在图像中不存在重叠区域，且多个标定板中存在至少两个标定板与相机之间的水平距离不同。
图9所示实施例的标定设备可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
另外，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现上述实施例的传感器的标定方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (26)

1.一种传感器的标定方法，其特征在于，所述传感器包括相机和雷达，多个标定板位于所述相机和所述雷达的共同视野范围内，所述多个标定板的位姿信息不同，所述方法包括：
针对位姿信息不同的所述多个标定板，通过所述相机采集图像，并通过所述雷达采集雷达点云数据；
分别对所述多个标定板在所述图像和所述雷达点云数据中的坐标点进行检测，得到所述图像中的第一坐标点以及所述雷达点云数据中的第二坐标点；
根据所述第一坐标点和所述相机的内参，确定所述多个标定板中每个标定板在相机坐标系下的第一位姿信息；
根据所述第二坐标点，确定所述多个标定板中每个标定板在雷达坐标系下的第二位姿信息；
根据所述每个标定板的所述第一位姿信息和所述第二位姿信息，对所述相机和所述雷达之间的外参进行标定。
2.根据权利要求1所述的方法，其特征在于，所述第一坐标点包括角点，所述对所述多个标定板在所述图像中的坐标点进行检测，得到所述图像中的第一坐标点，包括：
确定所述多个标定板在所述图像中的候选角点；
对所述候选角点进行聚类，得到所述多个标定板在所述图像中的角点，并将得到的角点确定为所述图像中的所述第一坐标点。
3.根据权利要求2所述的方法，其特征在于，在所述得到所述多个标定板在所述图像中的角点之后，所述方法还包括：
基于所述多个标定板中每个标定板对格点的直线约束关系，对所述图像中聚类后的角点位置进行校正，以将所述图像中经过校正后得到的角点确定为所述第一坐标点。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第二坐标点，确定所述多个标定板中每个标定板在雷达坐标系下的第二位姿信息，包括：
确定所述每个标定板在所述雷达点云数据中所在的平面区域；
将所述平面区域对应的位姿信息，确定为所述每个标定板在所述雷达坐标系下的所述第二位姿信息。
5.根据权利要求4所述的方法，其特征在于，所述相机和所述雷达之间的外参包括：所述相机坐标系和所述雷达坐标系之间的转换关系；
所述根据所述每个标定板的所述第一位姿信息和所述第二位姿信息，对所述相机和所述雷达之间的外参进行标定，包括：
针对相机坐标系下所述每个标定板的角点，确定在雷达坐标系下的对应点，并将相机坐标系下的所述每个标定板的角点与相应的在雷达坐标系下的对应点确定为一组点对；
根据多组所述点对，确定待定转换关系；
将所述第二坐标点按照所述待定转换关系，得到在所述图像中的第三坐标点；
在所述图像中的所述第三坐标点与对应的所述第一坐标点之间的距离小于阈值的情况下，将所述待定转换关系确定为所述转换关系。
6.根据权利要求5所述的方法，其特征在于，所述针对相机坐标系下所述多个标定板中所述每个标定板的角点，确定在雷达坐标系下的对应点，包括：
确定所述每个标定板的中心位置，在所述相机坐标系下的第四坐标点，以及在所述雷达坐标系下的第五坐标点；
针对所述相机坐标下的所述第四坐标点和所述雷达坐标系下的所述第五坐标点之间的对应关系，确定所述每个标定板在所述相机坐标系和所述雷达坐标系下的匹配关系；
针对所述每个标定板的角点在所述相机坐标系下的位置，在所述雷达坐标系下与所述每个标定板存在所述匹配关系的区域中，确定所述位置的对应点。
7.根据权利要求1至6中任意一项所述的方法，其特征在于，所述标定板的图案包括特征点集、特征边中的至少一项。
8.根据权利要求1至6中任意一项所述的方法，其特征在于，所述雷达和所述相机部署在车辆上。
9.根据权利要求1至6中任意一项所述的方法，其特征在于，所述图像包括完整的所述多个标定板，所述雷达点云数据包括完整的所述多个标定板对应的点云数据。
10.根据权利要求1至6中任意一项所述的方法，其特征在于，所述雷达包括激光雷达，所述激光雷达发射的激光线与所述多个标定板中每个标定板所在的平面相交。
11.根据权利要求1至6中任意一项所述的方法，其特征在于，所述多个标定板在所述图像中不存在重叠区域，且所述多个标定板中存在至少两个标定板与所述相机之间的水平距离不同。
12.一种标定装置，其特征在于，所述标定装置应用于一种传感器，所述传感器包括相机和雷达，多个标定板位于所述相机和所述雷达的共同视野范围内，所述多个标定板的位姿信息不同，所述装置包括：
采集模块，用于针对位姿信息不同的所述多个标定板，通过所述相机采集图像，并通过所述雷达采集雷达点云数据；
检测模块，用于分别对所述多个标定板在所述图像和所述雷达点云数据中的坐标点进行检测，得到所述图像中的第一坐标点以及所述雷达点云数据中的第二坐标点；
标定模块，用于根据所述第一坐标点和所述相机的内参，确定所述多个标定板中每个标定板在相机坐标系下的第一位姿信息；
根据所述第二坐标点，确定所述多个标定板中每个标定板在雷达坐标系下的第二位姿信息；
根据所述每个标定板的所述第一位姿信息和所述第二位姿信息，对所述相机和所述雷达之间的外参进行标定。
13.根据权利要求12所述的装置，其特征在于，所述第一坐标点包括角点，所述检测模块对所述多个标定板在所述图像中的坐标点进行检测，得到所述图像中的第一坐标点时，具体包括：
确定所述多个标定板在所述图像中的候选角点；
对所述候选角点进行聚类，得到所述多个标定板在所述图像中的角点，并将得到的角点确定为所述图像中的所述第一坐标点。
14.根据权利要求13所述的装置，其特征在于，所述检测模块在得到所述多个标定板在所述图像中的角点之后，还用于基于所述多个标定板中每个标定板对格点的直线约束关系，对所述图像中聚类后的角点位置进行校正，以将所述图像中经过校正后得到的角点确定为所述第一坐标点。
15.根据权利要求12所述的装置，其特征在于，所述标定模块根据所述第二坐标点，确定所述多个标定板中每个标定板在雷达坐标系下的第二位姿信息时，具体包括：
确定所述每个标定板在所述雷达点云数据中所在的平面区域；
将所述平面区域对应的位姿信息，确定为所述每个标定板在所述雷达坐标系下的所述第二位姿信息。
16.根据权利要求15所述的装置，其特征在于，所述相机和所述雷达之间的外参包括：所述相机坐标系和所述雷达坐标系之间的转换关系；
所述标定模块根据所述每个标定板的所述第一位姿信息和所述第二位姿信息，对所述相机和所述雷达之间的外参进行标定时，具体包括：
针对相机坐标系下所述每个标定板的角点，确定在雷达坐标系下的对应点，并将相机坐标系下的所述每个标定板的角点与相应的在雷达坐标系下的对应点确定为一组点对；
根据多组所述点对，确定待定转换关系；
将所述第二坐标点按照所述待定转换关系，得到在所述图像中的第三坐标点；
在所述图像中的所述第三坐标点与对应的所述第一坐标点之间的距离小于阈值的情况下，将所述待定转换关系确定为所述转换关系。
17.根据权利要求16所述的装置，其特征在于，所述标定模块针对相机坐标系下所述多个标定板中所述每个标定板的角点，确定在雷达坐标系下的对应点时，具体包括：
确定所述每个标定板的中心位置，在所述相机坐标系下的第四坐标点，以及在所述雷达坐标系下的第五坐标点；
针对所述相机坐标下的所述第四坐标点和所述雷达坐标系下的所述第五坐标点之间的对应关系，确定所述每个标定板在所述相机坐标系和所述雷达坐标系下的匹配关系；
针对所述每个标定板的角点在所述相机坐标系下的位置，在所述雷达坐标系下与所述每个标定板存在所述匹配关系的区域中，确定所述位置的对应点。
18.根据权利要求12至17中任意一项所述的装置，其特征在于，所述标定板的图案包括特征点集、特征边中的至少一项。
19.根据权利要求12至17中任意一项所述的装置，其特征在于，所述雷达和所述相机部署在车辆上。
20.根据权利要求13至17中任意一项所述的装置，其特征在于，所述图像包括完整的所述多个标定板，所述雷达点云数据包括完整的所述多个标定板对应的点云数据。
21.根据权利要求12至17中任意一项所述的装置，其特征在于，所述雷达包括激光雷达，所述激光雷达发射的激光线与所述多个标定板中每个标定板所在的平面相交。
22.根据权利要求12至17中任意一项所述的装置，其特征在于，所述多个标定板在所述图像中不存在重叠区域，且所述多个标定板中存在至少两个标定板与所述相机之间的水平距离不同。
23.一种标定系统，其特征在于，包括：相机、雷达和多个标定板；所述相机和所述雷达应用如权利要求12-22任一项所述的标定装置，所述多个标定板位于所述相机和所述雷达的共同视野范围内，所述多个标定板之间互不遮挡，且所述多个标定板的位姿信息不同。
24.一种车辆，其特征在于，包括：
车辆本体、车载相机、激光雷达和如权利要求12-22任一项所述的标定装置；
所述车载相机、所述激光雷达和所述标定装置均设置在所述车辆本体上。
25.一种标定设备，其特征在于，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-11中任一所述的方法。
26.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-11任一项所述的方法。
CN201911135984.3A 2019-11-19 2019-11-19 传感器的标定方法、装置、系统、车辆、设备及存储介质 Active CN112907676B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911135984.3A CN112907676B (zh) 2019-11-19 2019-11-19 传感器的标定方法、装置、系统、车辆、设备及存储介质
PCT/CN2020/128773 WO2021098608A1 (zh) 2019-11-19 2020-11-13 传感器的标定方法、装置、系统、车辆、设备及存储介质
JP2021536014A JP2022514912A (ja) 2019-11-19 2020-11-13 センサのキャリブレーション方法、装置、システム、車両、機器及び記憶媒体
US17/740,679 US20220270293A1 (en) 2019-11-19 2022-05-10 Calibration for sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911135984.3A CN112907676B (zh) 2019-11-19 2019-11-19 传感器的标定方法、装置、系统、车辆、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112907676A CN112907676A (zh) 2021-06-04
CN112907676B true CN112907676B (zh) 2022-05-10

Family

ID=75980832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911135984.3A Active CN112907676B (zh) 2019-11-19 2019-11-19 传感器的标定方法、装置、系统、车辆、设备及存储介质

Country Status (4)

Country Link
US (1) US20220270293A1 (zh)
JP (1) JP2022514912A (zh)
CN (1) CN112907676B (zh)
WO (1) WO2021098608A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111735479B (zh) * 2020-08-28 2021-03-23 中国计量大学 一种多传感器联合标定装置及方法
CN112509057B (zh) * 2020-11-30 2024-04-12 北京百度网讯科技有限公司 相机外参标定方法、装置、电子设备以及计算机可读介质
CN113436273A (zh) * 2021-06-28 2021-09-24 南京冲浪智行科技有限公司 一种3d场景定标方法、定标装置及其定标应用
CN115598624B (zh) * 2021-06-28 2023-12-12 苏州一径科技有限公司 一种激光雷达的标定方法、装置及设备
CN113359117A (zh) * 2021-06-29 2021-09-07 上海智能网联汽车技术中心有限公司 一种静态标定系统及方法
CN113486795A (zh) * 2021-07-06 2021-10-08 广州小鹏自动驾驶科技有限公司 视觉识别性能测试方法、装置、系统及设备
US20230034492A1 (en) * 2021-07-20 2023-02-02 Locus Robotics Corp. Calibration of a Lidar Sensor
CN116071431A (zh) * 2021-11-03 2023-05-05 北京三快在线科技有限公司 一种标定方法、装置、存储介质及电子设备
CN114332240B (zh) * 2021-12-23 2024-10-18 赛可智能科技(上海)有限公司 一种多传感器联合标定方法及标定装置
CN114332230A (zh) * 2021-12-31 2022-04-12 北京小马易行科技有限公司 自动驾驶车辆的标定方法、其标定装置以及其标定系统
CN114509776B (zh) * 2022-04-08 2022-07-29 探维科技(北京)有限公司 硬件级图像融合系统的同步测量装置、方法、设备及介质
CN115100287B (zh) * 2022-04-14 2024-09-03 美的集团(上海)有限公司 外参标定方法及机器人
CN218299035U (zh) * 2022-05-27 2023-01-13 华为技术有限公司 标定板以及标定控制设备
CN114710228B (zh) * 2022-05-31 2022-09-09 杭州闪马智擎科技有限公司 一种时间的同步方法、装置、存储介质及电子装置
CN114782556B (zh) * 2022-06-20 2022-09-09 季华实验室 相机与激光雷达的配准方法、系统及存储介质
CN116184339B (zh) * 2023-04-26 2023-08-11 山东港口渤海湾港集团有限公司 一种雷达的标定方法、电子设备、存储介质及标定辅助件
CN116962649B (zh) * 2023-09-19 2024-01-09 安徽送变电工程有限公司 图像监控调整系统及线路施工模型
CN117252880B (zh) * 2023-11-17 2024-01-16 宝德华南(深圳)热能系统有限公司 一种新能源汽车的adas综合评测系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5361421B2 (ja) * 2009-01-30 2013-12-04 三菱電機株式会社 計測装置、計測装置のレーザー位置姿勢値補正方法およびレーザー位置姿勢値補正プログラム
KR20130051681A (ko) * 2011-11-10 2013-05-21 한국전자통신연구원 노면 표식물 인식 시스템 및 방법
CN103837869B (zh) * 2014-02-26 2016-06-01 北京工业大学 基于向量关系的单线激光雷达和ccd相机标定方法
JP2016048172A (ja) * 2014-08-27 2016-04-07 株式会社トプコン 画像処理装置、画像処理方法、およびプログラム
CN204854773U (zh) * 2015-08-19 2015-12-09 深圳科澳汽车科技有限公司 一种多标定板组合装置
CN106097300B (zh) * 2016-05-27 2017-10-20 西安交通大学 一种基于高精度运动平台的多相机标定方法
CN107976669B (zh) * 2016-10-21 2020-03-31 法法汽车(中国)有限公司 一种确定相机与激光雷达之间的外参数的装置
CN106548477B (zh) * 2017-01-24 2019-03-29 长沙全度影像科技有限公司 一种基于立体标定靶的多路鱼眼相机标定装置及方法
CN107194972B (zh) * 2017-05-16 2021-04-02 成都通甲优博科技有限责任公司 一种摄像机标定方法及系统
CN108257185A (zh) * 2018-01-03 2018-07-06 上海兴芯微电子科技有限公司 多棋盘格角点检测方法及摄像机标定方法
CN108734743A (zh) * 2018-04-13 2018-11-02 深圳市商汤科技有限公司 用于标定摄像装置的方法、装置、介质及电子设备
US10140855B1 (en) * 2018-08-24 2018-11-27 Iteris, Inc. Enhanced traffic detection by fusing multiple sensor data
CN109522935B (zh) * 2018-10-22 2021-07-02 易思维（杭州）科技有限公司 一种对双目视觉测量系统的标定结果进行评价的方法
CN110378972A (zh) * 2019-08-22 2019-10-25 北京双髻鲨科技有限公司 一种内参标定的方法、装置及设备
CN110456331A (zh) * 2019-08-30 2019-11-15 深圳奥比中光科技有限公司 一种tof相机的标定装置和标定方法

Also Published As

Publication number Publication date
US20220270293A1 (en) 2022-08-25
CN112907676A (zh) 2021-06-04
JP2022514912A (ja) 2022-02-16
WO2021098608A1 (zh) 2021-05-27

Similar Documents

Publication Publication Date Title
CN112907676B (zh) 传感器的标定方法、装置、系统、车辆、设备及存储介质
CN112270713B (zh) 标定方法以及装置、存储介质、电子装置
CN110264520B (zh) 车载传感器与车辆位姿关系标定方法、装置、设备和介质
CN112907675B (zh) 图像采集设备的标定方法、装置、系统、设备及存储介质
CN108020825B (zh) 激光雷达、激光摄像头、视频摄像头的融合标定系统及方法
CN112819896B (zh) 传感器的标定方法及装置、存储介质和标定系统
JP6767998B2 (ja) 画像の線からのカメラの外部パラメータ推定
CN103065323B (zh) 一种基于单应性变换矩阵的分段空间对准方法
CN111627072B (zh) 一种对多传感器进行标定的方法、装置和存储介质
CN111383279B (zh) 外参标定方法、装置及电子设备
US20220276360A1 (en) Calibration method and apparatus for sensor, and calibration system
CN114637023A (zh) 用于激光深度图取样的系统及方法
CN109961468A (zh) 基于双目视觉的体积测量方法、装置及存储介质
CN111699410B (zh) 点云的处理方法、设备和计算机可读存储介质
CN106444837A (zh) 一种无人机避障方法及系统
CN112017251A (zh) 标定方法、装置、路侧设备和计算机可读存储介质
KR20210049581A (ko) 이동체의 전방향에 대한 거리 취득 장치 및 방법
CN110827361B (zh) 基于全局标定架的相机组标定方法及装置
KR102490521B1 (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
CN110750153A (zh) 一种无人驾驶车辆的动态虚拟化装置
CN112348890A (zh) 一种空间定位方法、装置及计算机可读存储介质
CN115100287B (zh) 外参标定方法及机器人
CN112750165A (zh) 参数标定方法、智能驾驶方法及其装置、设备和存储介质
CN110852278A (zh) 地面标识线识别方法、设备及计算机可读存储介质
EP4345750A1 (en) Position estimation system, position estimation method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant