CN116228875A - 一种多相机车载系统的标定方法、装置、系统及存储介质 - Google Patents
一种多相机车载系统的标定方法、装置、系统及存储介质 Download PDFInfo
- Publication number
- CN116228875A CN116228875A CN202211519584.4A CN202211519584A CN116228875A CN 116228875 A CN116228875 A CN 116228875A CN 202211519584 A CN202211519584 A CN 202211519584A CN 116228875 A CN116228875 A CN 116228875A
- Authority
- CN
- China
- Prior art keywords
- camera
- coordinate system
- vehicle
- rotation axis
- objective function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 239000013598 vector Substances 0.000 claims abstract description 93
- 238000013519 translation Methods 0.000 claims abstract description 77
- 238000006243 chemical reaction Methods 0.000 claims abstract description 28
- 230000003137 locomotive effect Effects 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 57
- 239000011159 matrix material Substances 0.000 claims description 25
- 230000014509 gene expression Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 6
- 238000004378 air conditioning Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004807 localization Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Electric Propulsion And Braking For Vehicles (AREA)
Abstract
本发明公开了一种多相机车载系统的标定方法、装置、系统及存储介质，其中，标定方法包括在每个相机采集的前后两帧图像中识别相匹配的特征点，以及确定各个特征点在相机坐标系下的方向向量；根据方向向量之间的几何关系，构建目标函数；将各个相机的旋转角度相同作为约束条件，对目标函数进行优化，以确定各个相机的旋转轴和平移向量；及基于相机的旋转轴和平移向量，构建相机坐标系与车体坐标系之间的转换方程，以求解转换方程，确定各个相机与车体坐标系之间的相对姿态。标定精度较高。
Description
技术领域
本发明涉及自动驾驶技术领域，具体涉及一种多相机车载系统的标定方法、装置、系统及存储介质。
背景技术
无人驾驶技术，又称自动驾驶技术，是指车辆在不需要人为操作的情况下，通过自身配备的传感器感知行驶环境，自主决策行驶路径，并控制车辆按照期望的路径到达期望目的地的技术。与传统驾驶相比，对车辆运行环境实时感知与定位(SimultaneousLocalization and Mapping，同步定位与建图)，是无人驾驶车辆实施决策和控制的基础。为满足实时性与可靠性要求，无人驾驶车辆通常配备有视觉相机、IMU(InertialMeasurement Unit，惯性测量单元)、激光雷达和轮速计等多种传感器。其中，视觉相机能够感知的外界信息最为丰富，如车辆周边景物的色彩、结构、纹理等。因此，视觉相机是无人驾驶车辆通常的基本配置。
通常，会将多个视觉相机以环绕的方式安装在车身周围，以实现对车辆运行环境的全方位无死角实时感知。在车辆运行之前，可以标定各个相机与车体坐标系之间的相对位姿，以将多个相机采集的图像信息转换到同一个坐标系下进行描述。
目前，在相机之间无重叠区域或重叠区域较小的情况下，通常是逐一标定每个相机和车体坐标系之间的相对位姿。这种标定方法精度不高。
发明内容
有鉴于此，本发明实施方式提供了一种多相机车载系统的标定方法、标定装置、标定系统及计算机可读存储介质，可以提高标定精度。
本发明一方面提供了一种多相机车载系统的标定方法，所述标定方法包括：
在每个相机采集的前后两帧图像中识别相匹配的特征点，以及确定各个所述特征点在相机坐标系下的方向向量；
根据所述方向向量之间的几何关系，构建目标函数；
将各个所述相机的旋转角度相同作为约束条件，对所述目标函数进行优化，以确定各个所述相机的旋转轴和平移向量；及
基于所述相机的旋转轴和平移向量，构建所述相机坐标系与车体坐标系之间的转换方程，并求解所述转换方程，以确定各个所述相机与所述车体坐标系之间的相对姿态。
在一些实施例中，所述在每个相机采集的前后两帧图像中识别相匹配的特征点，包括：
检测车辆在第一时刻和第二时刻之间的旋转角度和平移量；
针对任一所述相机，在所述旋转角度大于角度阈值，和/或所述平移量大于平移阈值的情况下，将该相机在所述第一时刻和所述第二时刻采集的图像作为该相机采集的前后两帧图像，并在该前后两帧图像中识别相匹配的特征点。
在一些实施例中，所述检测车辆在第一时刻和第二时刻之间的旋转角度和平移量，包括：
检测所述车辆在所述第一时刻和所述第二时刻之间产生的车轮脉冲数量；
根据所述车轮脉冲数量和所述车辆的车轮周长，确定所述车辆在所述第一时刻和所述第二时刻之间的旋转角度和平移量。
在一些实施例中，基于如下表达式，构建所述目标函数：
其中，
表示第i个相机的平移向量，/>
表示第i个相机的旋转轴，α表示相机的旋转角度，/>
表示使用第i相机的旋转轴以及旋转角度表示的第i个相机的旋转矩阵，
表示第i个相机采集的前一帧图像中的第j个特征点所对应的方向向量，/>
表示第i个相机采集的后一帧图像中的第j个特征点所对应的方向向量。
在一些实施例中，所述对所述目标函数进行优化，以确定各个所述相机的旋转轴和平移向量，包括：
在所述目标函数中，控制各个所述相机的旋转角度相同，调整各个所述相机的平移向量、旋转轴以及旋转角度，以使所述目标函数的取值达到目标最小值；
根据取值达到所述目标最小值时的目标函数，确定各个所述相机的旋转轴和平移向量。
在一些实施例中，在调整所述目标函数中的平移向量、旋转轴以及旋转角度之前，所述方法还包括：
对于任一所述相机，基于该相机采集的前后两帧图像中相匹配的特征点，确定该相机对应的初始旋转矩阵和初始平移向量；
所述调整各个所述相机的平移向量、旋转轴以及旋转角度，包括：
根据各个所述相机的初始旋转矩阵和初始平移向量，确定对所述目标函数中的平移向量、旋转轴以及旋转角度进行调整时的初始值，并从所述初始值开始调整各个所述相机的平移向量、旋转轴以及旋转角度。
在一些实施例中，所述构建所述相机坐标系与车体坐标系之间的转换方程，包括：
在车辆直行的情况下，基于所述相机的平移向量构建所述相机坐标系与车体坐标系之间的转换方程；和/或
在车辆旋转行驶的情况下，基于所述相机的旋转轴构建所述相机坐标系与车体坐标系之间的转换方程。
本发明另一方面还提供了一种标定装置，所述标定装置包括：
匹配单元，用于在每个相机采集的前后两帧图像中识别相匹配的特征点，以及确定各个所述特征点在相机坐标系下的方向向量；
函数构建单元，用于根据所述方向向量之间的几何关系，构建目标函数；
函数优化单元，用于将各个所述相机的旋转角度相同作为约束条件，对所述目标函数进行优化，以确定各个所述相机的旋转轴和平移向量；及
标定单元，用于基于所述相机的旋转轴和平移向量，构建所述相机坐标系与车体坐标系之间的转换方程，并求解所述转换方程，以确定各个所述相机与所述车体坐标系之间的相对姿态。
本发明另一方面还提供了一种标定系统，所述标定系统包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上所述的方法。
本发明另一方面还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现如上所述的方法。
在本申请一些实施例的技术方案中，基于特征点的方向向量之间的几何关系，构建目标函数，然后将各个相机的旋转角度相同作为约束条件，对目标函数进行优化，以确定各个相机与车体坐标系之间的相对姿态。相对于一些技术中的分别确定各个相机与车体坐标系之间的相对位姿，未考虑相机之间的约束关系，本申请将各个相机的旋转角度相同作为约束条件，考虑了多个相机之间的约束关系，保证了多个相机之间相对位姿的一致性，从而可以提高标定精度。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1示出了本申请的一个实施例提供的多相机车载系统的示意图；
图2示出了本申请的一个实施例提供的多相机车载系统的标定方法的流程示意图；
图3示出了本申请的一个实施例提供的标定装置的功能模块示意图；
图4示出了本申请的一个实施例提供的标定系统的结构示意图。
具体实施方式
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
请参阅图1，为本申请的一个实施例提供的多相机车载系统100的示意图。图1中，多相机车载系统100包括车体10以及围绕车体10安装的多个相机11。
基于车体10和相机11，可以预先定义多个不同的坐标系。这些坐标系可以是右手系的坐标系，具体可以包括车体坐标系以及相机坐标系。其中，车体坐标系的原点为车体后轴中心，z轴垂直地面向上，y轴指向车体行进正前方向，x轴指向车体行进方向的右侧。相机坐标系的原点为相机的光心，z轴指向相机的朝向，x轴平行于图像平面且指向图像右侧，y轴平行于图像平面且指向图像下方。
多个相机11可以组成全景成像系统，用于对车辆周边环境进行全方位无死角的实时感知。通常，为了便于对各个相机11采集的图像进行分析和处理，可以将各个相机11采集的图像转换到车体坐标系下进行描述。因此，在车辆运行前，需要预先对相机11(即相机坐标系)和车体坐标系之间的相对位姿进行标定。
请参阅图2，为本申请的一个实施例提供的多相机车载系统的标定方法的流程示意图。标定方法可以应用于图1中的多相机车载系统100。图2中，标定方法可以包括如下步骤：
步骤S21，在每个相机采集的前后两帧图像中识别相匹配的特征点，以及确定各个特征点在相机坐标系下的方向向量。
其中，进行特征点识别时，可以是在同一个相机采集的前后两帧图像中进行识别。比如相机A拍摄了前后两帧图像PA1和PA2，相机B拍摄了前后两帧图像PB1和PB2，那么是在图像PA1和PA2中识别匹配的特征点，以及在图像PB1和PB2中识别匹配的特征点。
前后两帧图像中相匹配的特征点，可以是前后两帧图像中具有相似或相同特征的点。举例来说，一个相机在拍摄前后两帧图像时，拍摄到了车辆周围环境中的同一个目标对象，那么该目标对象在前后两帧图像中的投影点，便可以作为前后两帧图像中相匹配的特征点。
本领域技术人员应该知晓的是，基于相机内参，可以将图像中的每个特征点转换到相机坐标系下来进行描述。另外，根据上述车体坐标系和相机坐标系的定义可以理解的是，在车辆行驶过程中，车体坐标系和相机坐标系可以是变化的。具体地，在车辆直行时，车体坐标系和相机坐标系的原点可以变化的；在车辆旋转时，车体坐标系和相机坐标系也可以相应地进行旋转变化。
在本实施例中，为了减少后续步骤中的计算量(可参见后续相关描述)，采集前后帧图像时，车辆可以处于行驶过程中，相机坐标系可以是变化的。即将前后两帧图像中相匹配的特征点转换到相机坐标系下后，这两个特征点位于不同的相机坐标系中。这两个不同的相机坐标系之间存在相对位姿。
基于上述描述，在每个相机采集的前后两帧图像中识别相匹配的特征点，可以包括：
检测车辆在第一时刻和第二时刻之间的旋转角度和平移量；
针对任一相机，在旋转角度大于角度阈值，或者平移量大于平移阈值的情况下，将该相机在第一时刻和第二时刻采集的图像作为该相机采集的前后两帧图像，并在该前后两帧图像中识别相匹配的特征点。
由于车辆在第一时刻和第二时刻之间存在旋转角度或平移量，因此可以判断车辆处于行驶过程中，且第一时刻和第二时刻的相机坐标系是不同的。如此，相机在第一时刻和第二时刻采集的前后帧图像可以作为特征点匹配的图像。
进一步的，检测车辆在第一时刻和第二时刻之间的旋转角度和平移量，可以包括：
检测车辆在第一时刻和第二时刻之间产生的车轮脉冲数量；
根据车轮脉冲数量和车辆的车轮周长，确定车辆在第一时刻和第二时刻之间的旋转角度和平移量。
本领域技术人员应该知晓的是，车轮脉冲可以是用于检测车轮转速的脉冲信号。车轮脉冲可以由安装在车辆上的感测装置产生。车轮每转动一圈，感测装置产生预设数量的车轮脉冲。将第一时刻和第二时刻之间的车轮脉冲数量除以上述预设数量，可以确定车轮在第一时刻和第二时刻之间的转动圈数，进而基于车轮周长和车轮圈数，可以确定车辆在第一时刻和第二时刻之间的行驶距离。
在本实施例中，将第一时刻和第二时刻之间的时长划分为多个子时间段Δτ。根据每个子时间段Δτ内的脉冲个数增量Δpulse，以及车轮周长C和转弯半径r，可以计算得到车辆在每个子时间段Δτ内的线速度v(τ)和角速度ω(τ)，进而根据每个子时间段Δτ内的线速度v(τ)和角速度ω(τ)，可以确定车辆在第一时刻和第二时刻之间的旋转角度和平移量。其中，转弯半径r与车辆方向盘的转角存在对应关系。通过检测车辆方向盘的转角，可以获得转弯半径r。
具体地，基于表达式(1)可以确定车辆在每个子时间段Δτ内的线速度v(τ)：
基于表达式(2)可以确定车辆在每个子时间段Δτ内的角速度ω(τ)：
基于表达式(3)可以确定车辆在第一时刻和第二时刻之间的旋转角度θ：
其中，τ1表示第一时刻，τ2表示第二时刻，
表示对车辆在各个子时间段Δτ内的角速度ω(τ)进行积分，得到车辆在第一时刻和第二时刻之间的旋转角度θ。
基于表达式(4)可以确定第一时刻和第二时刻之间，车辆在车体坐标系下的旋转矩阵Rb：
其中，eul2rotm表示将车辆的旋转角度转换为旋转矩阵的函数；
表示将车辆在第一时刻和第二时刻之间的旋转角度，转换为车辆在第一时刻和第二时刻之间的旋转矩阵。
基于表达式(5)可以确定第一时刻和第二时刻之间，车辆在车体坐标系下的平移量tb：
其中，R(τ)表示车辆在各个子时间段Δτ内的旋转矩阵，
表示对车辆在各个子时间段Δτ内的角速度线速度进行积分，并乘以旋转矩阵R(τ)，得到车辆在第一时刻和第二时刻之间的平移量以及移动方向。
基于上述表达式(1)至表达式(5)的相关介绍，可以确定车辆在第一时刻和第二时刻之间的旋转角度和平移量。在旋转角度达到角度阈值，或平移量达到平移阈值的情况下，可以将各个相机在第一时刻和第二时刻采集的图像作为进行特征点匹配的图像。其中，角度阈值可以为5度，平移阈值可以为1米。
在本实施例中，可以基于光流跟踪的方法确定前后两帧图像中相匹配的特征点。光流跟踪的方法为本领域的常规技术，本申请在此不作详细说明。
另外，可以理解的是，对于同一个相机的前后两帧图像来说，可以存在多对相匹配的特征点。比如前一帧图像中有3个特征点与后一帧图像中的3个特征点相匹配。
在本实施例中，针对每个相机对应的前后两帧图像，分别查找j对匹配的特征点。查找出的特征点对如表达式(6)所示。
其中，
可以表示第i个相机采集的前一帧图像中的第j个特征点；/>
可以表示第i个相机采集的后一帧图像中的第j个特征点。i和j取值相同的特征点/>
与特征点/>
相匹配。相匹配的两个特征点为一个特征点对。特征点/>
为使用坐标来表示的点。此处的坐标为特征点在像素坐标系下的坐标。
需要说明的是，每个相机采集前后帧图像的时间点可以统一。即在第一时刻和第二时刻，分别控制所有的相机进行图像采集，得到各个相机对应的前后帧图像。
同时，为了提高标定精度，在本申请的一些实施例中，可以控制相机在多个时间段内进行前后帧图像的采集，得到每个相机在各个时间段内的前后帧图像以及特征点对。为便于理解，表格1示例性的列出了相机、时间段以及特征点对的对应关系。
表格1相机、时间段以及特征点对的对应关系
从表格1可以看出，针对每个相机在各个时间段内分别得到了j个特征点对。可以理解的是，不同时间段内，相机坐标系和车辆坐标系也应该是变化的。
在一些实施例中，在得到前后帧图像中的特征点后，可以确定各个时间段内的特征点在相机坐标系下的方向向量。具体地，利用相机内参可以直接将特征点对中各个特征点转换为相机坐标系下的方向向量，该过程为本领域技术人员均应该清楚的过程，在此不作详细说明。在本申请中，使用
表示其中一个时间段内第i个相机的第j个特征点对在相机坐标系下的方向向量对。对于N个时间段，就存在N个/>
步骤S22，根据方向向量之间的几何关系，构建目标函数。
具体地，可以利用对极几何约束来构建目标函数。针对每个时间段内方向向量之间的几何关系，可以分别构建一个目标函数。对于任一时间段，以该时间段内各个相机的平移向量、旋转轴、旋转角度、方向向量作为参数，可以构建该时间段对应的目标函数。目标函数可以如表达式(7)所示：
其中，
表示第i个相机的平移向量(T表示/>
的转置)，/>
表示第i个相机的旋转轴，α表示第i个相机的旋转角度，/>
表示使用第i相机的旋转轴以及旋转角度表示的第i个相机的旋转矩阵，/>
表示第i个相机采集的前一帧图像中的第j个特征点所对应的方向向量，/>
表示第i个相机采集的后一帧图像中的第j个特征点所对应的方向向量。
其中，在构建目标函数时，旋转轴
旋转角度α以及平移/>
可以先使用未知参数来代替，/>
和/>
可以使用步骤S21中求得的向量来代替。
根据上述步骤S21的相关描述以及对极几何约束的原理，由于前后帧图像所对应的相机坐标系是不同的，因此，表达式(7)中，将
乘以/>
可以表示将第i个相机采集的后一帧图像中的第j个特征点所对应的方向向量，转换到与前一帧图像对应的相机坐标系方向相同的坐标系下，以与第i个相机采集的前一帧图像中的第j个特征点所对应的方向向量构成极平面。/>
表示极平面的法向量。由于/>
也在极平面上，因此，
的最小值理论上应该趋于0。基于这个原理，可以执行步骤S23，对目标函数进行优化。
步骤S23，将各个相机的旋转角度相同作为约束条件，对目标函数进行优化，以确定各个相机的旋转轴和平移向量。
在一些实施例中，考虑到多个相机之间的变换为刚体变换，不同相机之间的旋转角度应该相同。因此，在优化目标函数时，可以在目标函数中，控制各个相机的旋转角度相同，调整各个相机的平移向量、旋转轴以及旋转角度，以使目标函数取值达到目标最小值，并根据取值达到目标最小值时的目标函数，确定各个相机的旋转轴和平移向量。如此，在目标函数的优化过程中，对多个相机的旋转角度进行约束，可以使保证相机之间的相对位姿保持一致，提高标定精度。
其中，在调整各个相机的平移向量、旋转轴以及旋转角度时，对于任一相机，可以基于该相机采集的前后两帧图像中相匹配的特征点，确定该相机对应的初始旋转矩阵和初始平移向量，进而可以根据各个相机的初始旋转矩阵和初始平移向量，确定对目标函数中的平移向量、旋转轴以及旋转角度进行调整时的初始值，并从初始值开始调整各个相机的平移向量、旋转轴以及旋转角度。
具体地，针对每个相机在各个时间段内的特征点，可以利用五点法求解本征矩阵，进而从本征矩阵中可以分解得到各个时间段内每个相机的初始旋转矩阵和初始平移向量。以表格1中的相机1在时间段1内的特征点为例。可以基于表达式(8)建立本征矩阵的求解方程：
其中，
f1表示相机1在时间段1内的第j个特征点在相机坐标系下的方向向量，f2表示相机2在时间段2内的第j个特征点在相机坐标系下的方向向量，ρ1是f1的最后一个元素，ρ2是f2的最后一个元素。通过求解表达式(8)，可以得到相机1在时间段1内的本征矩阵E，进而从本征矩阵E中可以分解得到时间段1内相机1在相机坐标系下的初始旋转矩阵和初始平移向量。基于各个时间段内的初始旋转矩阵，利用本领域的常规技术方法求解，可以得到相应时间段内的初始旋转轴和初始旋转角度。进而可以将各个时间段内的初始平移向量、初始旋转轴和初始旋转角度，作为对相应时间段内的目标函数进行调整的初始值。相比于随机确定目标函数优化时的初始值，通过上述方法确定的初始值与正确值差距较小，可以提高目标函数的优化速度。
当一个时间段对应的目标函数的值达到目标最小值时，可以获取目标函数中的平移向量
旋转轴/>
和旋转角度α，作为相机在该时间段内的平移向量/>
旋转轴/>
和旋转角度α。
步骤S24，基于相机的旋转轴和平移向量，构建相机坐标系与车体坐标系之间的转换方程，并求解转换方程，以确定各个相机与车体坐标系之间的相对位姿。
具体地，针对相机在每个时间段内的旋转轴和平移向量，可以分别构建转换方程。转换方程可以如表达式(9)和表达式(10)所示。
其中，
表示车辆平移的方向向量(即车辆在车体坐标系下平移的方向向量)；/>
表示相机平移的方向向量(即相机在自身的相机坐标系下平移的方向向量)；/>
表示车辆旋转时的旋转轴(即车辆在车体坐标系下旋转时的旋转轴)；/>
表示相机旋转时的旋转轴(即相机在自身的相机坐标系下旋转时的旋转轴)；/>
表示相机相对于车体坐标系的相对姿态。
其中，车辆直行时，车辆平移的方向向量
为(0,1,0)T，相机平移的方向向量/>
可通过表达式(11)求的。
车辆旋转时，车辆的旋转轴
为(0,0,1)T，相机的旋转轴为步骤S23中求得的相机在相应时间段内的旋转轴/>
如此，在上述转换方程中，
为未知量。结合多个时间段内的转换方程联合求解，可以得到/>
另外，考虑到车辆在其中一个时间段内，可能只存在直行和旋转中的其中一种运行状态。在车辆直行时，基于表达式(10)求得的
可能存在不准确的问题。同理，在车辆旋转时，基于表达式(9)求得的/>
可能存在不准确的问题。为了使标定结果具有更好的鲁棒性，在车辆直行的情况下，基于相机的平移向量构建相机坐标系与车体坐标系之间的转换方程；在车辆旋转行驶的情况下，基于相机的旋转轴构建相机坐标系与车体坐标系之间的转换方程。即在一个时间段内，根据该时间段内车辆的实际运行情况，可以只构建表达式(9)和表达式(10)中的其中一个转换方程。
在本申请一些实施例的技术方案中，基于特征点在相机坐标系下的方向向量所对应的几何关系，构建目标函数，然后将各个相机的旋转角度相同作为约束条件，对目标函数进行优化，以确定各个相机与车体坐标系之间的相对姿态。相对于一些技术中的分别确定各个相机与车体坐标系之间的相对位姿，未考虑相机之间的约束关系，本申请将各个相机的旋转角度相同作为约束条件，考虑了多个相机之间的约束关系，保证了多个相机之间相对位姿的一致性，从而可以提高标定精度。为便于理解，将本申请的方案和一些相关技术进行对比，来说明本申请的相关的有益效果：
在一些标定方法中，在相机之间的无重叠区域或者重叠区域较小的情况下，是逐一标定每个相机和车体坐标系之间的相对位姿。这种标定方法未考虑相机之间的约束关系，容易导致相机之间的相对位姿不一致，从而影响标定精度。本申请以各个相机的旋转角度相同作为优化的约束条件，可以解决这些技术中标定精度不高的问题，进而提高标定精度。
在另一些标定方法中，是通过对相机重叠区域进行特征匹配，来进行相机与车体坐标系之间的标定。这种标定方法中，若相机重叠区域较小，或者相机重叠区域的畸变较大，则会大大影响标定精度。而本申请是建立目标函数，以各个相机的旋转角度相同作为优化的约束条件，通过对目标函数进行优化来对相机与车体坐标系进行标定，避免了对相机重叠区域进行特征匹配，对相机重叠区域较小，或者相机重叠区域的畸变较大的多相机车载系统较为友好，可以大大提高这种多相机车载系统的标定精度。
在另一些标定方法中，是基于SLAM(Simultaneous Localization and Mapping，同步定位与建图)的方法对每个相机进行大范围环境重建，然后通过对齐不同相机的重建模型来估计相机之间的相对位姿，这种方法效率不高，且会占用大量的计算资源。而本申请对符合要求的图像帧进行筛选，并通过五点法计算不同前后帧图像之间的视觉相对位姿(即各个时间段内的初始平移向量、初始旋转轴和初始旋转角度)，使得最后只需要对转换方程进行求解，便可计算得到各个相机与车体坐标系之间的相对姿态，可以大大提高计算效率，并降低计算资源的占用率。
请参阅图3，为本申请的一个实施例提供的标定装置的功能模块示意图。标定装置包括：
匹配单元，用于在每个相机采集的前后两帧图像中识别相匹配的特征点，以及确定各个特征点在相机坐标系下的方向向量；
函数构建单元，用于根据方向向量之间的几何关系，构建目标函数；
函数优化单元，用于将各个相机的旋转角度相同作为约束条件，对目标函数进行优化，以确定各个相机的旋转矩阵和平移向量；及
标定单元，用于基于相机的旋转矩阵和平移向量，构建相机坐标系与车体坐标系之间的转换方程，并求解转换方程，确定各个相机与车体坐标系之间的相对姿态。
请参阅图4，为本申请的一个实施例提供的标定系统的结构示意图。其中，标定系统包括处理器和存储器，存储器用于存储计算机程序，计算机程序被处理器执行时，实现上述的标定方法。
其中，处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施方式中的方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请一个实施方式还提供一种计算机可读存储介质，计算机可读存储介质用于存储计算机程序，计算机程序被处理器执行时，实现上述的标定方法。
虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种多相机车载系统的标定方法，其特征在于，所述方法包括：
在每个相机采集的前后两帧图像中识别相匹配的特征点，以及确定各个所述特征点在相机坐标系下的方向向量；
根据所述方向向量之间的几何关系，构建目标函数；
将各个所述相机的旋转角度相同作为约束条件，对所述目标函数进行优化，以确定各个所述相机的旋转轴和平移向量；及
基于所述相机的旋转轴和平移向量，构建所述相机坐标系与车体坐标系之间的转换方程，并求解所述转换方程，以确定各个所述相机与所述车体坐标系之间的相对姿态。
2.如权利要求1所述的方法，其特征在于，所述在每个相机采集的前后两帧图像中识别相匹配的特征点，包括：
检测车辆在第一时刻和第二时刻之间的旋转角度和平移量；
针对任一所述相机，在所述旋转角度大于角度阈值，和/或所述平移量大于平移阈值的情况下，将该相机在所述第一时刻和所述第二时刻采集的图像作为该相机采集的前后两帧图像，并在该前后两帧图像中识别相匹配的特征点。
3.如权利要求2所述的方法，其特征在于，所述检测车辆在第一时刻和第二时刻之间的旋转角度和平移量，包括：
检测所述车辆在所述第一时刻和所述第二时刻之间产生的车轮脉冲数量；
根据所述车轮脉冲数量和所述车辆的车轮周长，确定所述车辆在所述第一时刻和所述第二时刻之间的旋转角度和平移量。
4.如权利要求1所述的方法，其特征在于，基于如下表达式，构建所述目标函数：
其中，
表示第i个相机的平移向量，/>
表示第i个相机的旋转轴，α表示相机的旋转角度，/>
表示使用第i相机的旋转轴以及旋转角度表示的第i个相机的旋转矩阵，/>
表示第i个相机采集的前一帧图像中的第j个特征点所对应的方向向量，/>
表示第i个相机采集的后一帧图像中的第j个特征点所对应的方向向量。
5.如权利要求4所述的方法，其特征在于，所述对所述目标函数进行优化，以确定各个所述相机的旋转轴和平移向量，包括：
在所述目标函数中，控制各个所述相机的旋转角度相同，调整各个所述相机的平移向量、旋转轴以及旋转角度，以使所述目标函数的取值达到目标最小值；
根据取值达到所述目标最小值时的目标函数，确定各个所述相机的旋转轴和平移向量。
6.如权利要求5所述的方法，其特征在于，在调整所述目标函数中的平移向量、旋转轴以及旋转角度之前，所述方法还包括：
对于任一所述相机，基于该相机采集的前后两帧图像中相匹配的特征点，确定该相机对应的初始旋转矩阵和初始平移向量；
所述调整各个所述相机的平移向量、旋转轴以及旋转角度，包括：
根据各个所述相机的初始旋转矩阵和初始平移向量，确定对所述目标函数中的平移向量、旋转轴以及旋转角度进行调整时的初始值，并从所述初始值开始调整各个所述相机的平移向量、旋转轴以及旋转角度。
7.如权利要求1所述的方法，其特征在于，所述构建所述相机坐标系与车体坐标系之间的转换方程，包括：
在车辆直行的情况下，基于所述相机的平移向量构建所述相机坐标系与车体坐标系之间的转换方程；和/或
在车辆旋转行驶的情况下，基于所述相机的旋转轴构建所述相机坐标系与车体坐标系之间的转换方程。
8.一种标定装置，其特征在于，所述标定装置包括：
匹配单元，用于在每个相机采集的前后两帧图像中识别相匹配的特征点，以及确定各个所述特征点在相机坐标系下的方向向量；
函数构建单元，用于根据所述方向向量之间的几何关系，构建目标函数；
函数优化单元，用于将各个所述相机的旋转角度相同作为约束条件，对所述目标函数进行优化，以确定各个所述相机的旋转轴和平移向量；及
标定单元，用于基于所述相机的旋转轴和平移向量，构建所述相机坐标系与车体坐标系之间的转换方程，并求解所述转换方程，以确定各个所述相机与所述车体坐标系之间的相对姿态。
9.一种标定系统，其特征在于，所述标定系统包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1至7中任一所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至7中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211519584.4A CN116228875B (zh) | 2022-11-30 | 2022-11-30 | 一种多相机车载系统的标定方法、装置、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211519584.4A CN116228875B (zh) | 2022-11-30 | 2022-11-30 | 一种多相机车载系统的标定方法、装置、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116228875A true CN116228875A (zh) | 2023-06-06 |
| CN116228875B CN116228875B (zh) | 2023-12-08 |
Family
ID=86575631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211519584.4A Active CN116228875B (zh) | 2022-11-30 | 2022-11-30 | 一种多相机车载系统的标定方法、装置、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116228875B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110910453A (zh) * | 2019-11-28 | 2020-03-24 | 魔视智能科技(上海)有限公司 | 基于无重叠视域多相机系统的车辆位姿估计方法及其系统 |
| CN111260733A (zh) * | 2020-01-13 | 2020-06-09 | 魔视智能科技(上海)有限公司 | 车载环视多相机系统的外参数估计方法及其系统 |
| CN112669354A (zh) * | 2020-12-08 | 2021-04-16 | 重庆邮电大学 | 一种基于车辆非完整约束的多相机运动状态估计方法 |
| CN114638897A (zh) * | 2022-05-18 | 2022-06-17 | 魔视智能科技(武汉)有限公司 | 基于无重叠视域的多相机系统的初始化方法、系统及装置 |
| CN114742905A (zh) * | 2022-06-13 | 2022-07-12 | 魔视智能科技(武汉)有限公司 | 一种多相机参数标定方法、装置、设备及存储介质 |
| CN115147495A (zh) * | 2022-06-01 | 2022-10-04 | 魔视智能科技(上海)有限公司 | 一种针对车载系统的标定方法、装置以及系统 |
-
2022
- 2022-11-30 CN CN202211519584.4A patent/CN116228875B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110910453A (zh) * | 2019-11-28 | 2020-03-24 | 魔视智能科技(上海)有限公司 | 基于无重叠视域多相机系统的车辆位姿估计方法及其系统 |
| CN111260733A (zh) * | 2020-01-13 | 2020-06-09 | 魔视智能科技(上海)有限公司 | 车载环视多相机系统的外参数估计方法及其系统 |
| CN112669354A (zh) * | 2020-12-08 | 2021-04-16 | 重庆邮电大学 | 一种基于车辆非完整约束的多相机运动状态估计方法 |
| CN114638897A (zh) * | 2022-05-18 | 2022-06-17 | 魔视智能科技(武汉)有限公司 | 基于无重叠视域的多相机系统的初始化方法、系统及装置 |
| CN115147495A (zh) * | 2022-06-01 | 2022-10-04 | 魔视智能科技(上海)有限公司 | 一种针对车载系统的标定方法、装置以及系统 |
| CN114742905A (zh) * | 2022-06-13 | 2022-07-12 | 魔视智能科技(武汉)有限公司 | 一种多相机参数标定方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116228875B (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110146869B (zh) | 确定坐标系转换参数的方法、装置、电子设备和存储介质 | |
| Zhu et al. | The multivehicle stereo event camera dataset: An event camera dataset for 3D perception | |
| US20230360260A1 (en) | Method and device to determine the camera position and angle | |
| US10928838B2 (en) | Method and device of determining position of target, tracking device and tracking system | |
| CN109887057B (zh) | 生成高精度地图的方法和装置 | |
| CN109975792B (zh) | 基于多传感器融合矫正多线激光雷达点云运动畸变的方法 | |
| CN110148185B (zh) | 确定成像设备坐标系转换参数的方法、装置和电子设备 | |
| CN110910453B (zh) | 基于无重叠视域多相机系统的车辆位姿估计方法及其系统 | |
| WO2020097796A1 (en) | Methods and systems for color point cloud generation | |
| US11057604B2 (en) | Image processing method and device | |
| WO2018210078A1 (zh) | 无人机的距离测量方法以及无人机 | |
| JP2020085886A (ja) | 乗物、乗物測位システム、及び乗物測位方法 | |
| CN110766760B (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
| CN112669354A (zh) | 一种基于车辆非完整约束的多相机运动状态估计方法 | |
| WO2021081774A1 (zh) | 一种参数优化方法、装置及控制设备、飞行器 | |
| JP2023505987A (ja) | 人間関節を用いた無人航空機上のカメラの校正 | |
| CN114638897B (zh) | 基于无重叠视域的多相机系统的初始化方法、系统及装置 | |
| JP2023505891A (ja) | 環境のトポグラフィを測定するための方法 | |
| Yang et al. | Simultaneous estimation of ego-motion and vehicle distance by using a monocular camera | |
| CN116228875B (zh) | 一种多相机车载系统的标定方法、装置、系统及存储介质 | |
| WO2021056283A1 (en) | Systems and methods for adjusting a vehicle pose | |
| WO2020215296A1 (zh) | 可移动平台的巡线控制方法、设备、可移动平台及系统 | |
| CN114648639B (zh) | 一种目标车辆的检测方法、系统及装置 | |
| JP2021081272A (ja) | 位置推定装置および位置推定用コンピュータプログラム | |
| WO2022037370A1 (zh) | 一种运动估计方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |