CN113393527A - 车载移动测量系统中的相机外参标定方法、装置和系统 - Google Patents

车载移动测量系统中的相机外参标定方法、装置和系统 Download PDF

Info

Publication number
CN113393527A
CN113393527A CN202010168045.5A CN202010168045A CN113393527A CN 113393527 A CN113393527 A CN 113393527A CN 202010168045 A CN202010168045 A CN 202010168045A CN 113393527 A CN113393527 A CN 113393527A
Authority
CN
China
Prior art keywords
point
inertial navigation
camera
pose
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010168045.5A
Other languages
English (en)
Inventor
李勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010168045.5A priority Critical patent/CN113393527A/zh
Publication of CN113393527A publication Critical patent/CN113393527A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了车载移动测量系统中的相机外参标定方法、装置和系统。所述方法包括：对点云数据与图像数据进行同名要素匹配，得到同名要素组合，将两两图像中的同名要素对包括的要素点配准得到同名要素点对；针对同名要素对中的同名要素点对，根据相机相对于惯导的设定位姿和拍摄图像时惯导在世界坐标系中的位姿，将第一要素点反投影到点云数据中得到反投影点，将反投影点投影到第二要素点所在图像，得到投影点，确定第二要素点所谓面积与投影点所谓面积的比值；判断比值的平均值是否低于误差阈值；若否，改变设定位姿，直至判断为是，将当前设定位姿作为相机外参的标定结果。能够实现车载移动测量系统中的相机外参的自动标定，标定准确度高。

Description

车载移动测量系统中的相机外参标定方法、装置和系统
技术领域
本发明涉及电子地图数据采集技术领域，特别涉及车载移动测量系统中的相机外参标定方法、装置和系统。
背景技术
在电子地图制作过程中，除了通过激光扫描仪获取的点云数据来制作各种地图要素，通常还会利用相机拍摄的图像对点云着色，提高电子地图的制作效率，点云着色的精度取决于激光扫描仪和相机之间的相对位姿即相机的外参标定的准确性。
目前标定相机外参的主要方法是人工选取点云和图像之间对应的同名点或同名边界，然后进行人工标定，这种方法对点云质量要求很高，对标定人员的要求也较高，标定结果易受噪音影响，容易存在匹配误差，且耗时长。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的车载移动测量系统中的相机外参标定方法、装置和系统。
第一方面，本发明实施例提供一种车载移动测量系统中的相机外参标定方法，包括：
对采集的点云数据与图像数据中的至少两张图像进行同名要素匹配，得到同名要素组合，将同名要素组合中两两图像中的同名要素对包括的要素点配准得到多对同名要素点对；
针对同名要素对中的同名要素点对，根据相机相对于惯导的设定位姿和拍摄图像时惯导在世界坐标系中的位姿，将所述同名要素点对中第一要素点反投影到点云数据中得到反投影点，将反投影点投影到所述同名要素点对中第二要素点所在图像，得到投影点，确定第二要素点所谓面积与投影点所谓面积的比值；
判断所述比值的平均值是否低于误差阈值；
若否，按照预设规则改变所述设定位姿，直至重新确定的比值的平均值低于误差阈值，将当前设定位姿作为相机外参的标定结果。
在一些可选的实施例中，根据相机相对于惯导的设定位姿和拍摄图像时惯导在世界坐标系中的位姿，将所述同名要素点对中第一要素点反投影到点云数据中得到反投影点，具体包括：
根据图像的时间戳和惯导轨迹数据，确定拍摄图像时惯导在世界坐标系中的位姿；
根据相机相对于惯导的设定位姿和确定的惯导在世界坐标系中的位姿，将所述同名要素点对中第一要素点反投影到点云数据中得到反投影点。
在一些可选的实施例中，所述根据图像的时间戳和惯导轨迹数据，确定拍摄图像时惯导在世界坐标系中的位姿，具体包括：
根据图像的时间戳对惯导轨迹数据进行插值得到插值点；
将所述插值点包括的惯导在世界坐标系中的位姿确定为拍摄所述图像时惯导在世界坐标系中的位姿。
在一些可选的实施例中，根据相机相对于惯导的设定位姿和拍摄图像时惯导在世界坐标系中的位姿，将所述同名要素点对中第一要素点反投影到点云数据中得到反投影点，具体包括：
根据相机内参和畸变参数，将所述同名要素点对中第一要素点的像素坐标转换成相机坐标，根据相机相对于惯导的设定位姿将第一要素点的相机坐标转换成惯导坐标，根据拍摄第一要素点所在图像时惯导在世界坐标系中的位姿，将第一要素点的惯导坐标转换成世界坐标，得到世界坐标点集，将所述世界坐标点集所在轨迹与点云数据所在平面的交点作为第一要素点的反投影点；对应的将反投影点投影到所述同名要素点对中第二要素点所在图像，得到投影点，具体包括：
根据拍摄所述同名要素点对中第二要素点所在图像时惯导在世界坐标系中的位姿，将反投影点的世界坐标转换成惯导坐标，根据相机相对于惯导的设定位姿将所述反投影点的惯导坐标转换成相机坐标，根据相机内参和畸变参数，将所述反投影点的相机坐标转换成像素坐标，将根据反投影点的像素坐标确定的在第二要素点所在图像中的点作为反投影点的投影点。
在一些可选的实施例中，所述判断所述比值的平均值是否低于误差阈值，具体包括：
判断所述比值中大于第一比值阈值的比值的平均值是否低于误差阈值。
在一些可选的实施例中，所述判断所述比值的平均值是否低于误差阈值，还包括：
确定同名要素组合中同名要素对的对应比值中大于第一比值阈值的比值的第一平均值，判断大于第二比值阈值的第一平均值的平均值是否低于误差阈值。
在一些可选的实施例中，所述判断所述比值的平均值是否低于误差阈值，还包括：
确定两张图像中的同名要素对的对应比值中大于第一比值阈值的比值的第二平均值，判断大于第三比值阈值的第二平均值的平均值是否低于误差阈值。
第二方面，本发明实施例提供一种车载移动测量系统中的相机外参标定装置，包括：
匹配模块，用于对采集的点云数据与图像数据中的至少两张图像进行同名要素匹配，得到同名要素组合，将同名要素组合中两两图像中的同名要素对包括的要素点配准得到多对同名要素点对；
确定模块，用于针对所述匹配模块匹配出的同名要素对中的同名要素点对，根据相机相对于惯导的设定位姿和拍摄图像时惯导在世界坐标系中的位姿，将所述同名要素点对中第一要素点反投影到点云数据中得到反投影点，将反投影点投影到所述同名要素点对中第二要素点所在图像，得到投影点，确定第二要素点所谓面积与投影点所谓面积的比值；
判断模块，用于判断所述确定模块确定的比值的平均值是否低于误差阈值；
当所述判断模块判断为否时，所述确定模块用于按照预设规则改变所述设定位姿，重新确定第二要素点所围面积与投影点所围面积的比值；
标定模块，用于当所述判断模块判断为是时，将当前设定位姿作为相机外参的标定结果。
第三方面，本发明实施例提供一种车载移动测量系统，包括惯导、激光扫描仪、相机和控制器，所述控制器设置有上述相机外参标定装置；
所述相机外参标定装置，用于根据所述惯导采集的惯导轨迹数据、所述激光扫描仪采集的点云数据和所述相机采集的图像数据，对所述相机的外参进行标定。
第四方面，本发明实施例提供一种服务器，包括：存储器、处理器及存储于存储器上并可在处理器上运行的计算机程序，所述处理器执行上述车载移动测量系统中的相机外参标定方法。
第五方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机指令，当该指令被处理器执行时实现上述车载移动测量系统中的相机外参标定方法。
本发明实施例提供的上述技术方案的有益效果至少包括：
1、本发明实施例提供的车载移动测量系统中的相机外参标定方法，对点云数据与图像数据中的至少两张图像进行同名要素匹配，得到同名要素组合，将两两图像中的同名要素对包括的要素点配准得到若干同名要素点对；针对同名要素对中的同名要素点对，根据相机相对于惯导的设定位姿和拍摄图像时惯导在世界坐标系中的位姿，将第一要素点反投影到点云数据中得到反投影点，将反投影点投影到第二要素点所在图像，得到投影点，确定第二要素点所谓面积与投影点所谓面积的比值；判断比值的平均值是否低于误差阈值；若否，按照预设规则改变设定位姿，直至平均值低于误差阈值，将当前设定位姿作为相机外参的标定结果。整个标定过程都是自动完成的，无需人工参与，实现了自动标定，节省了人力成本，同时提高了标定效率。
2、针对同名要素点对，将第一要素点反投影到点云数据中得到反投影点，将反投影点投影到第二要素点所在图像得到投影点，确定第二要素点所谓面积与投影点所谓面积的比值，较直接将点云数据中的要素点投影到第二要素点所在图像，对点云数据中的要素点进行了校正，避免了因为点云数据本身的精度问题带来的标定误差，故可以降低对点云数据的质量要求，扩大了适应范围，且标定准确度高。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例一中车载移动测量系统中的相机外参标定方法的流程图；
图2为本发明实施例一中点云数据、图像和惯导轨迹示意图；
图3为本发明实施例一中同名要素组合示意图；
图4为将第一要素点反投影到点云数据中的具体实现流程图；
图5为将将反投影点投影到第二要素点所在图像的具体实现流程图；
图6A为本发明实施例一中平均值的确定方法示例图；
图6B为本发明实施例一中另一平均值的确定方法示例图；
图7为车载移动测量系统中的相机外参标定的具体实现流程图；
图8为本发明实施例中车载移动测量系统中的相机外参标定装置的结构示意图；
图9为本发明实施例中车载移动测量系统的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为了解决现有技术中存在的人工标定相机外参对点云质量和标定人员的要求较高，且标定误差大、耗时长的问题，本发明实施例提供一种车载移动测量系统中的相机外参标定方法、装置和系统，能够实现车载移动测量系统中相机外参的自动标定，且标定效率和准确度高。
车载移动测量系统是指在车载平台上，集成定位定姿系统((Position andOrientation System，POS)(简称惯导)、控制系统、测量传感器(激光扫描仪、相机等)所构成的综合测量系统。本申请的技术方案应用的车载移动测量系统，包括惯导、控制系统、激光扫描仪和相机。
首先，使用车载移动测量系统进行数据采集，数据采集过程在装有车载移动测量系统的车辆行驶中进行，三维激光扫描仪用于获取点云数据；惯导用于获取惯导位姿信息(惯导在世界坐标系中的位置和姿态信息)，得到惯导轨迹数据，包括惯导所在位置信息与时间关系的轨迹和惯导在世界坐标系中的位姿信息与时间关系的位姿轨迹；而相机则用于获取拍摄视角范围内的图像。
实施例一
本发明实施例一提供一种车载移动测量系统中的相机外参标定方法，其流程如图1所示，包括下述步骤：
步骤S11：对采集的点云数据与图像数据中的至少两张图像进行同名要素匹配，得到同名要素组合，将同名要素组合中两两图像中的同名要素对包括的要素点配准得到多对同名要素点对。
获取车载移动测量系统在所在车辆行驶过程中采集到的：通过相机获取的图像数据、通过激光扫描仪获取的点云数据和通过惯导获取的惯导轨迹数据。其中，惯导轨迹数据包括：惯导所在位置信息与时间关系的轨迹和惯导在世界坐标系中的位姿信息与时间关系的位姿轨迹。
具体的，获取到的点云数据和惯导轨迹数据是解算后的，或者是先获取到原始的点云数据和惯导轨迹数据，再利用相应的解算方法完成数据的解算。
原始点云数据为激光扫描仪参考坐标系(scanner's own coordinate system,SOCS)下的点云数据，需利用相关的解算方法，结合惯导位姿信息(可以将惯导在世界坐标系中的位姿作为激光扫描仪在世界坐标系中的位姿)，解算出世界坐标系统的全景点云数据；采集到的原始惯导轨迹数据中轨迹点的位置信息为经纬度，需要解算成世界坐标系。
可选的，也可以是解算出的点云数据和惯导轨迹数据为局部世界坐标系统。这样可以减小数据中的坐标数值的大小，减小计算量，增加数据的可读性。
参照图2所示，左边为解算后的点云数据；中间为获取到的图像；右边为解算后的惯导轨迹数据，包括惯导轨迹和位姿轨迹。
对采集的点云数据与图像数据中的至少两张图像进行同名要素匹配，得到同名要素组合，具体的，可以包括，先确定点云数据中的要素，例如一个路牌、一段车道线或一个地面标识等；针对点云数据中的每个要素，利用深度学习的方法，从图像数据中匹配出至少两张图像中的与要素匹配的要素，得到同名要素组合，参照图3所示，其中的点云数据为某一路牌对应的点云数据，3张图像中的路牌与点云数据对应的路牌为同一路牌，即为同名要素。
从同名要素组合中匹配出两两图像包括的同名要素点对，即将同名要素组合中两两图像中的同名要素进行同名点配准，例如50米范围内依次拍摄的图像A、B、C、D和E都包含了同一路牌，则可以将图像A中的路牌和图像B中的路牌的点进行同名点配准，将图像B中的路牌和图像C中的路牌的点进行同名点配准，将图像C中的路牌和图像D中的路牌的点进行同名点配准，将图像D中的路牌和图像E中的路牌的点进行同名点配准。即将相邻时间拍摄的两张图像中的同名要素进行同名点配准，得到同名要素点对。
上述同名要素点对就是物体上同一个点在不同图像上成的像点。
步骤S12：针对同名要素对中的同名要素点对，根据相机相对于惯导的设定位姿和拍摄图像时惯导在世界坐标系中的位姿，将同名要素点对中第一要素点反投影到点云数据中得到反投影点，将反投影点投影到同名要素点对中第二要素点所在图像，得到投影点，确定第二要素点所谓面积与投影点所谓面积的比值。
上述相机相对于惯导的设定位姿，其初值可以是在进行相机外参标定初始时刻相机的已知位姿，即对于从未进行过外参标定的相机，其设定位姿可以是车载移动测量系统完成安装时相机相对于惯导的初始位姿；对于进行过外参标定的相机，其设定位姿可以是最近一次的相机外参标定结果。
具体的，上述相机外参即相机相对于惯导的位姿，指相机相对惯导的位置参数：Xpano-pos、Ypano-pos和Zpano-pos，以及相机相对惯导的姿态角：偏航角Yawpano-pos、俯仰角Pitchpano-pos和翻滚角ROllpano-pos。
在一个实施例中，参照图4所示，将同名要素点对中第一要素点反投影到点云数据中得到反投影点，可以包括下述步骤：
步骤S41：根据相机内参和畸变参数，将同名要素点对中第一要素点的像素坐标转换成相机坐标。
步骤S42：根据相机相对于惯导的设定位姿将第一要素点的相机坐标转换成惯导坐标。
步骤S43：根据拍摄第一要素点所在图像时惯导在世界坐标系中的位姿，将第一要素点的惯导坐标转换成世界坐标，得到世界坐标点集。
步骤S44：将世界坐标点集所在轨迹与点云数据所在平面的交点作为第一要素点的反投影点。
将反投影点投影到所述同名要素点对中第二要素点所在图像，得到投影点，是将第一要素点反投影到点云数据得到反投影点的逆处理的过程，参照图5所示，可以包括下述步骤：
步骤S51：根据拍摄同名要素点对中第二要素点所在图像时惯导在世界坐标系中的位姿，将反投影点的世界坐标转换成惯导坐标。
步骤S52：根据相机相对于惯导的设定位姿将反投影点的惯导坐标转换成相机坐标。
具体的，也可以是直接根据下式(1)，通过世界坐标系到惯导坐标系的变换矩阵
Figure BDA0002408168410000091
和惯导坐标系到相机坐标系的变换矩阵
Figure BDA0002408168410000092
得到世界坐标系到相机坐标系的变换矩阵
Figure BDA0002408168410000093
Figure BDA0002408168410000094
再根据世界坐标系到相机坐标系的变换矩阵
Figure BDA0002408168410000095
中的姿态变换
Figure BDA0002408168410000096
和位置变换
Figure BDA0002408168410000097
利用公式(2)将特征点的世界坐标PW转换成相机坐标PC：
Figure BDA0002408168410000098
步骤S53：根据相机内参和畸变参数，将反投影点的相机坐标转换成像素坐标。
具体的，可以是先将相机坐标中的横纵坐标进行转置：
Figure BDA0002408168410000099
再根据转置后的相机坐标的横坐标
Figure BDA00024081684100000910
和纵坐标
Figure BDA00024081684100000911
预设的相机内参和畸变参数，利用公式(4)-公式(7)，将反投影点的相机坐标转换成像素坐标：
Figure BDA00024081684100000912
K＝1+K1r2+K2r4+K3r6 公式(5)
Figure BDA0002408168410000101
Figure BDA0002408168410000102
公式(4)-公式(7)中，u和v为像素坐标，fx、fy、cx和cy为相机的内参，k1、k2、k3、p1和p2为相机的畸变参数。
步骤S54：将根据反投影点的像素坐标确定的在第二要素点所在图像中的点作为反投影点的投影点。
针对同名要素对中的同名要素点对，确定完第一要素点在第二要素点所在图像中的投影点后，确定第二要素点围成的范围的面积，即对应的同名要素的面积；确定投影点围成的范围的面积；进而确定第二要素点所谓面积与投影点所谓面积的比值。
步骤S13：判断比值的平均值是否低于误差阈值。
具体的，可以是通过下述三种方式确定比值的平均值。
方式一：直接确定比值的平均值。
汇总根据同名要素对确定的比值，确定比值中大于第一比值阈值的比值的平均值。
若第二要素点所谓面积与投影点所谓面积的比值大于第一比值阈值，可以认为对应的同名要素对的第一要素和/或第一要素数据存在问题，故将其删除，确定筛选后的比值的平均值，使得求取的平均值更贴近实际，排除了大量干扰信息。
方式二：以同名要素组合为单元确定比值的平均值。
针对每个同名要素组合，确定同名要素组合中同名要素对的对应比值中大于第一比值阈值的比值的第一平均值；确定大于第二比值阈值的第一平均值的平均值。
以同名要素组合为单元确定比值的平均值，若同名要素组合对应的比值的第一平均值大于第二比值阈值，说明对应的要素在采集数据的过程中可能存在遮挡或者干扰等因素导致采集到的数据存在误差，故将其删除，确定筛选后的比值的平均值，使得求取的平均值更贴近实际，排除了干扰信息。
例如，参照图6A所示，以一组同名要素组合为例，图像A-图像D具有同名要素，将图像A与图像B中的同名要素对AB、图像B与图像C中的同名要素对BC、图像C与图像D中的同名要素对CD完成同名点配准后，利用步骤S12的方法，确定同名要素对AB对应的比值AB、同名要素对BC对应的比值BC和同名要素对CD对应的比值CD，进而确定上述同名要素对得到的所有比值中大于第一比值阈值的比值的第一平均值；确定大于第二比值阈值的第一平均值的平均值。
方式三：以图像为单元确定比值的平均值。
确定两张图像中的同名要素对的对应比值中大于第一比值阈值的比值的第二平均值，确定大于第三比值阈值的第二平均值的平均值。
以图像为单元确定比值的平均值，若根据两张图像中的所有同名要素对确定的比值的第二平均值大于第三比值阈值，说明其中一张或两张图像的数据都可能存在问题，故将其删除，确定筛选后的比值的平均值，使得求取的平均值更贴近实际，排除了干扰信息。
参照图6B所示，在图像A与图像B中匹配得到的同名要素对有同名要素对AB1、同名要素对AB2、同名要素对AB3、有同名要素对AB4、同名要素对AB5和同名要素对AB6。针对同名要素对AB1中的配准后的同名要素点对，利用步骤S12的方法，得到比值AB1；针对同名要素对AB2中的配准后的同名要素点对，利用步骤S12的方法，得到比值AB2；针对同名要素对AB3中的配准后的同名要素点对，利用步骤S12的方法，得到比值AB3；针对同名要素对AB4中的配准后的同名要素点对，利用步骤S12的方法，得到比值AB4；针对同名要素对AB5中的配准后的同名要素点对，利用步骤S12的方法，得到比值AB5；针对同名要素对AB6中的配准后的同名要素点对，利用步骤S12的方法，得到比值AB6。确定上述像A与图像B中的同名要素对中的对应比值中大于第一比值阈值的比值的第二平均值；确定得到的大于第三比值阈值的第二平均值的平均值。
可选的，也可以根据实际需求选择其他的比值的平均值确定方式，具体比值的平均值确定方式本实施例不做限定。
当步骤S13判断为是时，执行步骤S15；当步骤S13判断为否时，执行步骤S14。
步骤S14：按照预设规则改变相机相对于惯导的设定位姿。
判断各同名要素对的对应比值的平均值不低于误差阈值时，按照预设的规则改变相机相对于惯导的设定位姿，重新执行步骤S12，确定新的比值平均值。
步骤S15：将当前设定位姿作为相机外参的标定结果。
判断各同名要素对的对应比值的平均值低于误差阈值时，将当前相机相对于惯导的设定位姿作为相机外参的标定结果。
上述实施例一中的整个相机外参标定过程都是自动完成的，无需人工参与，实现了自动标定，节省了人力成本，同时提高了标定的效率。
针对同名要素点对，将第一要素点反投影到点云数据中得到反投影点，将反投影点投影到第二要素点所在图像得到投影点，确定第二要素点所谓面积与投影点所谓面积的比值，较直接将点云数据中的要素点投影到第二要素点所在图像，对点云数据中的要素点进行了校正，避免了因为点云数据本身的精度问题带来的标定误差，故可以降低对点云数据的质量要求，扩大了适应范围，且标定准确度高。
实施例二
本发明实施例二提供一种车载移动测量系统中的相机外参标定的具体实现方法，其流程如图7所示，包括下述步骤：
步骤S71：获取车载移动测量系统在所在车辆行驶过程中采集到的图像数据、点云数据和惯导轨迹数据。
具体的，获取到的点云数据和惯导轨迹数据是解算后的局部世界坐标系统的数据。这样可以减小数据中的坐标数值的大小，减小计算量，增加数据的可读性。
步骤S72：识别出点云数据中的要素，针对每个要素，利用深度学习方法确定图像数据中的至少两张图像中的同名要素，得到同名要素组合，将同名要素组合中两两图像中的同名要素对包括的要素点配准得到多对同名要素点对。
针对各同名要素对，分别执行下述步骤S73-S75。
步骤S73：根据同名要素对中的同名要素点对中第一要素点所在图像的时间戳对惯导轨迹数据进行插值得到插值点，将插值点包括的惯导在世界坐标系中的位姿确定为拍摄图像时惯导在世界坐标系中的位姿。
为了描述上更清楚，后面将第一要素点所在图像描述为第一图像，将拍摄第一图像时惯导在世界坐标系中的位姿描述为惯导在世界坐标系中的第一位姿；将同名要素点对中第二要素点所在图像描述为第二图像，将拍摄第二图像时惯导在世界坐标系中的位姿描述为惯导在世界坐标系中的第二位姿。
步骤S74：根据相机相对于惯导的设定位姿和惯导在世界坐标系中的第一位姿，将第一要素点反投影到点云数据中得到反投影点。
步骤S75：根据相机相对于惯导的设定位姿和惯导在世界坐标系中的第二位姿，将反投影点投影到第二图像，得到投影点，确定第二要素点所围面积与投影点所围面积的比值。
通过上述步骤S73-S75，针对两两图像中的一个同名要素对，确定了其对应的面积比值。确定完所有同名要素对的对应比值后，执行步骤S76。
步骤S76：判断比值中大于第一比值阈值的比值的平均值是否低于误差阈值。
当步骤S76判断为是时，执行步骤S78；当步骤S76判断为否时，执行步骤S77。
步骤S77：按照预设规则改变相机相对于惯导的设定位姿。
判断比值中大于第一比值阈值的比值的平均值不低于误差阈值时，按照预设的规则改变相机相对于惯导的设定位姿，重新执行步骤S74和步骤S75。
步骤S78：将当前相机相对于惯导的设定位姿作为相机外参的标定结果。
判断比值中大于第一比值阈值的比值的平均值低于误差阈值时，将当前相机相对于惯导的设定位姿作为相机外参的标定结果。
基于本发明的发明构思，本发明实施例还提供一种车载移动测量系统中的相机外参标定装置，其结构如图8所示，包括：
匹配模块81，用于对采集的点云数据与图像数据中的至少两张图像进行同名要素匹配，得到同名要素组合，将同名要素组合中两两图像中的同名要素对包括的要素点配准得到多对同名要素点对；
确定模块82，用于针对匹配模块81匹配出的同名要素对中的同名要素点对，根据相机相对于惯导的设定位姿和拍摄图像时惯导在世界坐标系中的位姿，将所述同名要素点对中第一要素点反投影到点云数据中得到反投影点，将反投影点投影到所述同名要素点对中第二要素点所在图像，得到投影点，确定第二要素点所谓面积与投影点所谓面积的比值；
判断模块83，用于判断确定模块82确定的比值的平均值是否低于误差阈值；
当判断模块83判断为否时，确定模块82用于按照预设规则改变所述设定位姿，重新确定第二要素点所围面积与投影点所围面积的比值；
标定模块84，用于当判断模块83判断为是时，将当前设定位姿作为相机外参的标定结果。
在一些实施例中，确定模块82，根据相机相对于惯导的设定位姿和拍摄图像时惯导在世界坐标系中的位姿，将所述同名要素点对中第一要素点反投影到点云数据中得到反投影点，具体用于：
根据图像的时间戳和惯导轨迹数据，确定拍摄图像时惯导在世界坐标系中的位姿；根据相机相对于惯导的设定位姿和确定的惯导在世界坐标系中的位姿，将所述同名要素点对中第一要素点反投影到点云数据中得到反投影点。
在一些实施例中，确定模块82，所述根据图像的时间戳和惯导轨迹数据，确定拍摄图像时惯导在世界坐标系中的位姿，具体用于：
根据图像的时间戳对惯导轨迹数据进行插值得到插值点；将所述插值点包括的惯导在世界坐标系中的位姿确定为拍摄所述图像时惯导在世界坐标系中的位姿。
在一些实施例中，确定模块82，根据相机相对于惯导的设定位姿和拍摄图像时惯导在世界坐标系中的位姿，将所述同名要素点对中第一要素点反投影到点云数据中得到反投影点，具体用于：
根据相机内参和畸变参数，将所述同名要素点对中第一要素点的像素坐标转换成相机坐标，根据相机相对于惯导的设定位姿将第一要素点的相机坐标转换成惯导坐标，根据拍摄第一要素点所在图像时惯导在世界坐标系中的位姿，将第一要素点的惯导坐标转换成世界坐标，得到世界坐标点集，将所述世界坐标点集所在轨迹与点云数据所在平面的交点作为第一要素点的反投影点；对应的将反投影点投影到所述同名要素点对中第二要素点所在图像，得到投影点，具体用于：
根据拍摄所述同名要素点对中第二要素点所在图像时惯导在世界坐标系中的位姿，将反投影点的世界坐标转换成惯导坐标，根据相机相对于惯导的设定位姿将所述反投影点的惯导坐标转换成相机坐标，根据相机内参和畸变参数，将所述反投影点的相机坐标转换成像素坐标，将根据反投影点的像素坐标确定的在第二要素点所在图像中的点作为反投影点的投影点。
在一些实施例中，判断模块83，具体用于：
判断所述比值中大于第一比值阈值的比值的平均值是否低于误差阈值。
在一些实施例中，判断模块83，还用于：
确定同名要素组合中同名要素对的对应比值中大于第一比值阈值的比值的第一平均值，判断大于第二比值阈值的第一平均值的平均值是否低于误差阈值。
在一些实施例中，判断模块83，还用于：
确定两张图像中的同名要素对的对应比值中大于第一比值阈值的比值的第二平均值，判断大于第三比值阈值的第二平均值的平均值是否低于误差阈值。
基于本发明的发明构思，本发明实施例还提供一种载移动测量系统，其结构如图9所示，包括惯导91、激光扫描仪92、相机93和控制器94，控制器94设置有上述相机外参标定装置；
所述相机外参标定装置，用于根据惯导91采集的惯导轨迹数据、激光扫描仪92采集的点云数据和相机93采集的图像数据，对相机93的外参进行标定。
关于上述实施例中的装置和系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
基于同一发明构思，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机指令，当该指令被处理器执行时实现上述车载移动测量系统中的相机外参标定。
基于同一发明构思，本发明实施例还提供一种服务器，包括：存储器、处理器及存储于存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述车载移动测量系统中的相机外参标定。
除非另外具体陈述，术语比如处理、计算、运算、确定、显示等等可以指一个或更多个处理或者计算系统、或类似设备的动作和/或过程，所述动作和/或过程将表示为处理系统的寄存器或存储器内的物理(如电子)量的数据操作和转换成为类似地表示为处理系统的存储器、寄存器或者其他此类信息存储、发射或者显示设备内的物理量的其他数据。信息和信号可以使用多种不同的技术和方法中的任何一种来表示。例如，在贯穿上面的描述中提及的数据、指令、命令、信息、信号、比特、符号和码片可以用电压、电流、电磁波、磁场或粒子、光场或粒子或者其任意组合来表示。
应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。
结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该ASIC可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。
对于软件实现，本申请中描述的技术可用执行本申请所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

Claims (10)

1.车载移动测量系统中的相机外参标定方法，其中，包括：
对采集的点云数据与图像数据中的至少两张图像进行同名要素匹配，得到同名要素组合，将同名要素组合中两两图像中的同名要素对包括的要素点配准得到多对同名要素点对；
针对同名要素对中的同名要素点对，根据相机相对于惯导的设定位姿和拍摄图像时惯导在世界坐标系中的位姿，将所述同名要素点对中第一要素点反投影到点云数据中得到反投影点，将反投影点投影到所述同名要素点对中第二要素点所在图像，得到投影点，确定第二要素点所围面积与投影点所围面积的比值；
判断所述比值的平均值是否低于误差阈值；
若否，按照预设规则改变所述设定位姿，直至重新确定的比值的平均值低于误差阈值，将当前设定位姿作为相机外参的标定结果。
2.如权利要求1所述的方法，其中，根据相机相对于惯导的设定位姿和拍摄图像时惯导在世界坐标系中的位姿，将所述同名要素点对中第一要素点反投影到点云数据中得到反投影点，具体包括：
根据图像的时间戳和惯导轨迹数据，确定拍摄图像时惯导在世界坐标系中的位姿；
根据相机相对于惯导的设定位姿和确定的惯导在世界坐标系中的位姿，将所述同名要素点对中第一要素点反投影到点云数据中得到反投影点。
3.如权利要求2所述的方法，其中，所述根据图像的时间戳和惯导轨迹数据，确定拍摄图像时惯导在世界坐标系中的位姿，具体包括：
根据图像的时间戳对惯导轨迹数据进行插值得到插值点；
将所述插值点包括的惯导在世界坐标系中的位姿确定为拍摄所述图像时惯导在世界坐标系中的位姿。
4.如权利要求1所述的方法，其中，根据相机相对于惯导的设定位姿和拍摄图像时惯导在世界坐标系中的位姿，将所述同名要素点对中第一要素点反投影到点云数据中得到反投影点，具体包括：
根据相机内参和畸变参数，将所述同名要素点对中第一要素点的像素坐标转换成相机坐标，根据相机相对于惯导的设定位姿将第一要素点的相机坐标转换成惯导坐标，根据拍摄第一要素点所在图像时惯导在世界坐标系中的位姿，将第一要素点的惯导坐标转换成世界坐标，得到世界坐标点集，将所述世界坐标点集所在轨迹与点云数据所在平面的交点作为第一要素点的反投影点；对应的将反投影点投影到所述同名要素点对中第二要素点所在图像，得到投影点，具体包括：
根据拍摄所述同名要素点对中第二要素点所在图像时惯导在世界坐标系中的位姿，将反投影点的世界坐标转换成惯导坐标，根据相机相对于惯导的设定位姿将所述反投影点的惯导坐标转换成相机坐标，根据相机内参和畸变参数，将所述反投影点的相机坐标转换成像素坐标，将根据反投影点的像素坐标确定的在第二要素点所在图像中的点作为反投影点的投影点。
5.如权利要求1所述的方法，其中，所述判断所述比值的平均值是否低于误差阈值，具体包括：
判断所述比值中大于第一比值阈值的比值的平均值是否低于误差阈值。
6.如权利要求5所述的方法，其中，所述判断所述比值的平均值是否低于误差阈值，还包括：
确定同名要素组合中同名要素对的对应比值中大于第一比值阈值的比值的第一平均值，判断大于第二比值阈值的第一平均值的平均值是否低于误差阈值。
7.如权利要求6所述的方法，其中，所述判断所述比值的平均值是否低于误差阈值，还包括：
确定两张图像中的同名要素对的对应比值中大于第一比值阈值的比值的第二平均值，判断大于第三比值阈值的第二平均值的平均值是否低于误差阈值。
8.一种车载移动测量系统中的相机外参标定装置，其中，包括：
匹配模块，用于对采集的点云数据与图像数据中的至少两张图像进行同名要素匹配，得到同名要素组合，将同名要素组合中两两图像中的同名要素对包括的要素点配准得到多对同名要素点对；
确定模块，用于针对所述匹配模块匹配出的同名要素对中的同名要素点对，根据相机相对于惯导的设定位姿和拍摄图像时惯导在世界坐标系中的位姿，将所述同名要素点对中第一要素点反投影到点云数据中得到反投影点，将反投影点投影到所述同名要素点对中第二要素点所在图像，得到投影点，确定第二要素点所谓面积与投影点所谓面积的比值；
判断模块，用于判断所述确定模块确定的比值的平均值是否低于误差阈值；
当所述判断模块判断为否时，所述确定模块用于按照预设规则改变所述设定位姿，重新确定第二要素点所围面积与投影点所围面积的比值；
标定模块，用于当所述判断模块判断为是时，将当前设定位姿作为相机外参的标定结果。
9.一种车载移动测量系统，其中，包括惯导、激光扫描仪、相机和控制器，所述控制器设置有如权利要求8所述的相机外参标定装置；
所述相机外参标定装置，用于根据所述惯导采集的惯导轨迹数据、所述激光扫描仪采集的点云数据和所述相机采集的图像数据，对所述相机的外参进行标定。
10.一种计算机可读存储介质，其上存储有计算机指令，其中，当该指令被处理器执行时实现权利要求1-7任一所述的车载移动测量系统中的相机外参标定方法。
CN202010168045.5A 2020-03-11 2020-03-11 车载移动测量系统中的相机外参标定方法、装置和系统 Pending CN113393527A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010168045.5A CN113393527A (zh) 2020-03-11 2020-03-11 车载移动测量系统中的相机外参标定方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010168045.5A CN113393527A (zh) 2020-03-11 2020-03-11 车载移动测量系统中的相机外参标定方法、装置和系统

Publications (1)

Publication Number Publication Date
CN113393527A true CN113393527A (zh) 2021-09-14

Family

ID=77615528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010168045.5A Pending CN113393527A (zh) 2020-03-11 2020-03-11 车载移动测量系统中的相机外参标定方法、装置和系统

Country Status (1)

Country Link
CN (1) CN113393527A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114399555A (zh) * 2021-12-20 2022-04-26 禾多科技（北京）有限公司 数据在线标定方法、装置、电子设备和计算机可读介质
CN115267746A (zh) * 2022-06-13 2022-11-01 广州文远知行科技有限公司 激光雷达点云投影错误的定位方法及相关设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114399555A (zh) * 2021-12-20 2022-04-26 禾多科技（北京）有限公司 数据在线标定方法、装置、电子设备和计算机可读介质
CN114399555B (zh) * 2021-12-20 2022-11-11 禾多科技（北京）有限公司 数据在线标定方法、装置、电子设备和计算机可读介质
CN115267746A (zh) * 2022-06-13 2022-11-01 广州文远知行科技有限公司 激光雷达点云投影错误的定位方法及相关设备

Similar Documents

Publication Publication Date Title
CN110298298B (zh) 目标检测及目标检测网络的训练方法、装置及设备
CN108805934B (zh) 一种车载摄像机的外部参数标定方法及装置
CN106776996A (zh) 用于测试高精度地图的准确性的方法和装置
CN108428248B (zh) 车窗定位方法、系统、设备及存储介质
CN110135323A (zh) 图像标注方法、装置、系统及存储介质
CN113313047B (zh) 一种基于车道结构先验的车道线检测方法及系统
CN113393527A (zh) 车载移动测量系统中的相机外参标定方法、装置和系统
CN113947638B (zh) 鱼眼相机影像正射纠正方法
CN111750881A (zh) 一种基于路灯杆的车辆位姿的修正方法和装置
CN113793270A (zh) 一种基于无人机姿态信息的航拍图像几何校正方法
CN113393528A (zh) 车载移动测量系统中的相机外参标定方法、装置和系统
CN112614192A (zh) 一种车载相机的在线标定方法和车载信息娱乐系统
CN105324637B (zh) 驾驶辅助系统、方法以及存储介质
CN112347205A (zh) 一种车辆误差状态的更新方法和装置
CN115953302A (zh) 一种多矩阵顶点融合拼接方法、系统、电子设备
CN112967393B (zh) 车辆移动轨迹的修正方法、装置、电子设备及存储介质
CN111611329B (zh) 地图数据检查实现方法、装置和设备
CN100416466C (zh) 单目视觉半实物仿真系统及方法
CN116358486A (zh) 基于单目相机的目标测距方法、装置及介质
CN112907663A (zh) 定位方法、计算机程序产品、装置及系统
CN112419423A (zh) 一种标定方法、装置、电子设备及存储介质
CN111968182A (zh) 一种双目相机非线性模型参数的标定方法
CN114792343B (zh) 图像获取设备的标定方法、获取图像数据的方法、装置
CN115493568A (zh) 一种基于机器视觉的单目相机室内坐标定位方法
CN114910085A (zh) 一种基于路政设施识别的车辆融合定位方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination