CN115641385A - 车载环视相机标定方法、装置、设备及介质 - Google Patents

Abstract

本发明提供一种车载环视相机标定方法、装置、设备及介质，包括：对图像数据当前帧图像和相邻帧图像进行地面特征点检测和匹配，确定两帧图像匹配得到的特征点集；基于特征点集，确定车辆行驶方向向量在相机坐标系下的行驶方向向量坐标以及地面法向量在相机坐标系的地面法向量坐标；基于行驶方向向量坐标和地面法向量坐标，得到相机姿态矩阵，相机姿态矩阵用于表示相机坐标系与车载坐标系之间的姿态变换关系；基于相机内参、安装位置参数以及相机姿态矩阵，确定各个相机的位置标定结果。本发明用以解决现有技术中由于需要特定标定物辅助进行标定，导致难以保证标定精度的缺陷，实现提升了相机标定的精度。

Description

车载环视相机标定方法、装置、设备及介质

技术领域

本发明涉及车载相机技术领域，尤其涉及一种车载环视相机标定方法、装置、设备及介质。

背景技术

目前，随着图像技术的发展，摄像头设备被广泛应用于汽车领域，作为辅助驾驶的重要传感器。尤其对于大型车辆而言，车辆周围存在较多盲区，在处理车辆起步、行车转弯、泊车入位、窄道会车、规避障碍等情况时容易出现剐蹭、碰撞碾压行人/非机动车辆，经常造成重大交通事故。在车辆上安装环视设备，通过多路摄像头同时采集车辆四周的影像，经过处理最终形成一幅车辆四周的全景俯视图，呈现出车辆所处的位置和周边情况，可以有效减少事故发生。其中，利用图像处理技术进行环视相机的标定工作是全景俯视图拼接质量的关键。

传统的环视相机标定需要借助特定标定物。前装场景下，通常是在地面印刷特定形状的标记(方格、圆点或平行线)搭建出一个专用标定场地，让车辆开到场地中间，通过识别特定特征，以及预先设定的标记图案尺寸，实现环视相机的标定；后装场景下，需要人工在车体周围铺设一定数量的特定标记物，并且需要用测量出这些图案之间的距离或者图案自身的尺寸，经过识别处理后计算标定出摄像头之间的相对关系，以完成最终的环视标定。

对于使用特定标定物的传统环视标定方法，标定精度依赖标定物尺寸数据的测量精度或者印刷精度，同时标定物来回搬运、印刷图案反复碾压都可能出现缺损或模糊，导致标定精度难以保证，额外增加了生产、运输和维护成本，此外不同厂商方案不同，对图案的要求和尺寸不一，无法兼容复用。

因此，亟需一种无需特定标定物辅助的环视相机标定方法。

发明内容

本发明提供一种车载环视相机标定方法、装置、设备及介质，用以解决现有技术中由于需要特定标定物辅助进行标定，导致难以保证标定精度的缺陷，实现提升了相机标定的精度。

本发明提供一种车载环视相机标定方法，包括：

对图像数据当前帧图像和相邻帧图像进行地面特征点检测和匹配，确定两帧图像匹配得到的特征点集；

基于所述特征点集，确定车辆行驶方向向量在相机坐标系下的行驶方向向量坐标以及地面法向量在所述相机坐标系的地面法向量坐标；

基于所述行驶方向向量坐标和所述地面法向量坐标，得到相机姿态矩阵，所述相机姿态矩阵用于表示所述相机坐标系与车载坐标系之间的姿态变换关系；

基于相机内参、安装位置参数以及所述相机姿态矩阵，确定各个相机的位置标定结果。

根据本发明提供的一种车载环视相机标定方法，基于相机内参、安装位置参数以及所述相机姿态矩阵，确定各个相机的位置标定结果，包括：

基于相机内参、安装位置参数以及所述相机姿态矩阵，确定每个相机的俯视图；

在所述俯视图的重叠区域内进行特征检测和匹配，确定匹配点集，并基于所述匹配点集对进行相机位置优化，确定各个相机的位置标定结果。

根据本发明提供的一种车载环视相机标定方法，确定所述特征点集，包括：

基于标定相机的图像数据，确定所述当前帧图像和所述相邻帧图像；

对所述当前帧图像和所述相邻帧图像依次进行图像处理、特征检测和匹配，得到共有的特征点集。

根据本发明提供的一种车载环视相机标定方法，基于所述特征点集，确定车辆行驶方向向量在相机坐标系下的行驶方向向量坐标，包括：

基于所述特征点集和所述相机内参，确定所述相机内参对应的基础矩阵；

基于所述基础矩阵，确定相机从所述当前帧图像到所述相邻帧图像的位姿变换矩阵，所述位姿变换矩阵包括旋转矩阵和平移向量，所述平移向量为车载坐标系的车辆行驶方向向量。

5、根据权利要求4所述的车载环视相机标定方法，其特征在于，基于所述特征点集，确定地面法向量在所述相机坐标系的地面法向量坐标，包括：

基于所述位姿变换矩阵、所述相机内参和所述特征点集，确定特征点在所述相机坐标系的3D坐标；

基于所述3D坐标拟合出地面平面方程，确定地面法向量在所述相机坐标系的地面法向量坐标。

根据本发明提供的一种车载环视相机标定方法，包括：

使用多帧图像数据确定多组车辆平移向量和地面法向量，并基于所述多组车辆平移向量和地面法向量，对所述相机姿态矩阵进行优化；

其中，所述对所述相机姿态矩阵进行优化，是指使用非线性约束包括前进方向约束、垂直方向约束对所述相机姿态矩阵进行优化。

本发明还提供一种车载环视相机标定装置，包括：

地面特征点检测模块，用于对图像数据当前帧图像和相邻帧图像进行地面特征点检测和匹配，确定两帧图像匹配得到的特征点集；

坐标计算模块，用于基于所述特征点集，确定车辆行驶方向向量在相机坐标系下的行驶方向向量坐标以及地面法向量在所述相机坐标系的地面法向量坐标；

姿态矩阵计算模块，用于基于所述行驶方向向量坐标和所述地面法向量坐标，得到相机姿态矩阵，所述相机姿态矩阵用于表示所述相机坐标系与车载坐标系之间的姿态变换关系；

位置标定计算模块，用于基于相机内参、安装位置参数以及所述相机姿态矩阵，确定各个相机的位置标定结果。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述车载环视相机标定方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述车载环视相机标定方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述车载环视相机标定方法。

本发明提供的车载环视相机标定方法、装置、设备及介质，考虑到车辆行驶道路的地面通常存在一定的纹理特征及各种交通标记(如车道线、斑马线、转向标志等)，通过利用地面特征对各个相机分别做姿态标定，得到姿态矩阵；基于该矩阵，结合相机内参及相机安装位置，利用相邻相机重叠视野，对每个相机进行位置优化以及位置标定，提升了相机标定的精度。本发明在相机标定时无需特征形状的标定物，只要找一段平整的有一定纹理的地面即可完成标定，既降低了标定物运输维护的成本，又减少了测量误差带来的问题，更为便捷高效。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的车载环视相机标定方法的流程示意图之一；

图2是本发明中所描述的相机坐标系与车载坐标系的说明图；

图3是本发明提供的车载环视相机标定方法的流程示意图之二；

图4是本发明提供的车载环视相机标定方法的流程示意图之三；

图5是本发明中所描述的相邻帧数据之间坐标系位置示意图；

图6是本发明提供的车载环视相机标定方法的流程示意图之四；

图7是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1-图6描述本发明的车载环视相机标定方法。

请参照图1，本发明提出的车载环视相机标定方法，包括：

步骤10，对图像数据当前帧图像和相邻帧图像进行地面特征点检测和匹配，确定两帧图像匹配得到的特征点集；

在本实施例中，采集当前标定相机的图像数据，将当前帧图像数据F₁和上一帧图像数据F₀发送到图像处理模块进行处理；所述当前帧图像数据F₁和上一帧图像数据F₀，可以是相邻帧，也可以是相邻多帧的数据，需要保证两帧数据具有重叠的部分；所属图像处理还包括，对F₁和F₀两帧图像数据进行图像处理、特征检测、匹配，得到共有的特征点集的图像坐标。

步骤20，基于所述特征点集，确定车辆行驶方向向量在相机坐标系下的行驶方向向量坐标以及地面法向量在所述相机坐标系的地面法向量坐标；

在本实施例中，启动车辆，选择一段平整且有一定纹理特征的地面，进入自动标定程序，保持车辆慢速直行，在运动过程中，对安装在车辆上的每个摄像头分别进行姿态标定。

在车辆慢速直行过程中，分别对各个相机进行姿态标定，具体过程包括：首先，使用当前帧图像和上一帧图像进行地面特征点检测和匹配，经过计算得到车辆从上一帧位置到当前帧位置的位姿变化，得到车辆行驶方向在相机坐标系下的方向向量坐标，得到形式方向向量坐标，以及，对应地面法向量在相机坐标系的坐标，得到地面法向量坐标。

其中，地面法向量坐标的计算过程为：根据车辆在两帧之间位姿变化及两帧图像匹配好的特征点对能够得到对应地面特征点在相机坐标系的三维坐标，经过计算拟合出所在平面法向量，得到地面法向量在相机坐标系下的坐标，即地面法向量坐标。

步骤30，基于所述行驶方向向量坐标和所述地面法向量坐标，得到相机姿态矩阵，所述相机姿态矩阵用于表示所述相机坐标系与车载坐标系之间的姿态变换关系；

之后，使用相机坐标系下的车辆行驶方向向量和地面法向量，得到相机坐标系与车载坐标系之间的姿态变换关系，即相机的姿态矩阵。其中，车载坐标系为在车辆上的世界坐标系。

进一步地，可以对相机姿态矩阵进行优化后，再重新执行本步骤，对相机姿态矩阵进行优化的优化，包括：基于多帧数据的车辆行驶方向向量和地面法向量对该姿态矩阵进行优化。

步骤40，基于相机内参、安装位置参数以及所述相机姿态矩阵，确定各个相机的位置标定结果。

需要说明的是，预先安装固定已标定好内参的各个相机，并测量各个相机在车体上的安装位置，得到安装位置参数，其中，安装位置参数包括左右距离、前后距离及高度。具体地，预先标定好相机内参，相机内参包括焦距、主点、镜头畸变系数等相机内在参数，内参标定方法是可以根据需求进行选择，这里不做赘述。预先在车身四周安装固定相机，测量各个相机在车体上的安装位置，得到安装位置数据，安装位置数据包括距离车辆中心的左右距离、前后距离和高度，在位置标定之前，根据图2所示的车载坐标系方向将左右距离、前后距离和高度转为车载坐标系下的坐标，得到安装位置数据。

基于相机内参、安装位置参数以及上述得到的相机姿态矩阵，计算每个相机的俯视图；在相邻相机的俯视图重叠区域内进行特征检测和匹配，基于匹配点对进行相机位置优化，得到拼接效果最优的标定结果。

本发明提供的车载环视相机标定方法，考虑到车辆行驶道路的地面通常存在一定的纹理特征及各种交通标记(如车道线、斑马线、转向标志等)，通过利用地面特征对各个相机分别做姿态标定，得到姿态矩阵；基于该矩阵，结合相机内参及相机安装位置，计算每个相机的位置标定结果。本发明在相机标定时无需特征形状的标定物，只要找一段平整的有一定纹理的地面即可完成标定，既降低了标定物运输维护的成本，又减少了测量误差带来的问题，更为便捷高效。

在一种可能的实施例中，请参照图3，步骤40、基于相机内参、安装位置参数以及所述相机姿态矩阵，确定各个相机的位置标定结果，包括：

步骤41，基于相机内参、安装位置参数以及所述相机姿态矩阵，确定每个相机的俯视图；

步骤42，在所述俯视图的重叠区域内进行特征检测和匹配，确定匹配点集，并基于所述匹配点集对进行相机位置优化，确定各个相机的位置标定结果。

本实施例中，基于相机内参、安装位置以及上述得到的优化后的相机姿态矩阵，计算每个相机的俯视图；在相邻相机的俯视图重叠区域内进行特征检测和匹配，基于匹配点对进行相机位置优化，得到拼接效果最优的标定结果。

本实施例通过结合相机内参及相机安装位置，计算每个相机的俯视图，在相邻相机的俯视图重叠区域内进行特征检测和匹配，基于多组匹配的特征点对进行相机位置优化，以获得更小的拼接误差。

在一种可能的实施例中，步骤10、确定所述特征点集，包括：

步骤11，基于标定相机的图像数据，确定所述当前帧图像和所述相邻帧图像；

步骤12，对所述当前帧图像和所述相邻帧图像依次进行图像处理、特征检测和匹配，得到共有的特征点集。

在本实施例中，采集当前标定相机的图像数据，将当前帧图像数据F₁和上一帧图像数据F₀发送到图像处理模块进行处理；所述当前帧图像数据F₁和上一帧图像数据F₀，可以是相邻帧，也可以是相邻多帧的数据，需要保证两帧数据具有重叠的部分；所属图像处理还包括，对F₁和F₀两帧图像数据进行图像处理、特征检测、匹配，得到共有的特征点集的图像坐标。

本实施例中，可以通过当前帧图像和所述相邻帧图像，进行图像处理、特征检测和匹配，得到共有的特征点集，提取得到地面特征点，提升了特征点提取的准确度，从而进一步提升了相机标定的精度。

在一种可能的实施例中，请参照图4，步骤20、基于所述特征点集，确定车辆行驶方向向量在相机坐标系下的行驶方向向量坐标，包括：

步骤201，基于所述特征点集和所述相机内参，确定所述相机内参对应的基础矩阵；

步骤202，基于所述基础矩阵，确定相机从所述当前帧图像到所述相邻帧图像的位姿变换矩阵，所述位姿变换矩阵包括旋转矩阵和平移向量，所述平移向量为车载坐标系的车辆行驶方向向量。

其中，请参照图5，车辆行驶方向向量是从车辆坐标系原点在相邻帧图像F₀帧数据指示的位置时的坐标O_v0指向到车辆坐标系原点在当前帧图像F₁帧数据指示的当前位置时的坐标O_v1。

在本实施例中，使用当前帧图像F₁和相邻帧图像F₀两帧图像共有的特征点集，计算出相机坐标系下的车辆行驶方向向量

具体地：

为了计算出车辆行驶方向向量

需要利用对极几何原理，结合相机内参，计算得到基础矩阵或本质矩阵，再从中恢复出相机从相邻帧图像F₀帧的位置到当前帧F₁帧位置的位姿变换，得到旋转矩阵R₀₁和平移向量t01，这里是刚体运动，因此

得到的平移向量即为车辆行驶方向向量

本实施例中，提供了一种车辆行驶方向向量的计算方式，即，可以通过相机的基础矩阵计算得到相机从当前帧图像到相邻帧图像的位姿变换，得到车载坐标系的车辆行驶方向向量。

在一种可能的实施例中，请参照图6，步骤20、基于所述特征点集，确定地面法向量在所述相机坐标系的地面法向量坐标，包括：

步骤211，基于所述位姿变换矩阵、所述相机内参和所述特征点集，确定特征点在所述相机坐标系的3D坐标；

步骤212，基于所述3D坐标拟合出地面平面方程，确定地面法向量在所述相机坐标系的地面法向量坐标。

本实施例提出了一个地面法向量的计算方式，为了计算出

利用相机内参、旋转矩阵R₀₁、平移向量t₀₁和特征点集的图像坐标，经过三角测量算法，得到特征点在相机坐标系的3d坐标，再拟合出地面平面方程，得到相机坐标系下的地面法向量坐标。

在一种可能的实施例中，步骤30、基于所述行驶方向向量坐标和所述地面法向量坐标，得到相机姿态矩阵，包括：

步骤31，基于所述行驶方向向量坐标和所述地面法向量坐标，计算相机坐标系相对于车体坐标系的姿态矩阵初值；

步骤32，基于所述姿态矩阵初值，使用多帧数据对姿态矩阵进行优化；

其中，使用

和

计算相机坐标系相对于车体坐标系的姿态初值，即，旋转矩阵R_c2v：

这里正向直行状态下，车辆平移向量

沿车体坐标系y轴方向，即

为车辆坐标系y轴在相机坐标系下的方向向量；平坦路面上，地面法向量

与车体坐标系的z轴平行，即

为车辆坐标系z轴在相机坐标系下的方向向量；在理想状况下，

与

互相垂直，车体坐标系x轴向量在相机坐标系下的坐标

可以表示为：

根据欧式准则存在下式关系成立：

其中，[e_vx e_vy e_vz]是车载坐标系的单位正交基，[e_cx e_cy e_cz]是相机坐标系的单位正交基，

是车载坐标系xyz轴的方向向量，实为一单位阵，

是对应方向向量在相机坐标系的坐标值。

根据定义，旋转矩阵由两组基的内积组成，即R_c2v＝[e_vx ^T e_vy ^T e_vz ^T]^T·[e_cx e_cye_cz]，因此上式可表示为

因此可以得到

根据此式，我们可以由

和

计算得到旋转矩阵R_c2v的一个初始值。

在一种可能的实施例中，本发明提出的车载环视相机标定方法，还包括一种相机姿态矩阵的优化方法，包括：

使用多帧图像数据确定多组车辆平移向量和地面法向量，并基于多组车辆平移向量和地面法向量，对所述相机姿态矩阵进行优化；

其中，所述对所述相机姿态矩阵进行优化，是指使用非线性约束包括前进方向约束、垂直方向约束对所述相机姿态矩阵进行优化。

使用多帧数据计算多组车辆平移向量

和地面法向量

对相机姿态矩阵R_c2v进行优化，具体包括：

所述使用多帧数据计算多组车辆平移向量

和地面法向量

是指，对车辆慢速直行中重复执行步骤10和步骤20，得到多组

和

所述对相机姿态矩阵R_c2v进行优化，是指使用非线性约束包括前进方向约束、垂直方向约束对姿态进行优化。

前进方向约束是车辆在平面上沿直线行驶，相机的位移变化与车体中心的位移变化相同带来的约束，推导可得

与R_c2v的第二列平行，以下用

表示矩阵的第x列，这里存在约束：

垂直约束是利用车辆始终位于地面平面的特点，推导可得地面平面法向量

与R_c2v的第三列平行R_c2v，存在约束

结合这些优化目标对旋转矩阵进行优化。

本实施例通过基于多组匹配的特征点对相机姿态矩阵进行优化，实现对相机姿态矩阵优化，以获得更高精度的相机姿态矩阵。

进一步，得到所有相机优化的位置标定结果后，在车辆静止状态下，采集车载环视系统中所有相机的图像数据，结合相机内参、相机位置初值和优化得到的相机旋转矩阵，生成俯视图，再进行位置标定，进一步提升相机标定精度，具体步骤包括：

基于各个相机的内参K_i、相机位置初值t_i以及相机的旋转矩阵R_ci2v，生成各个相机的俯视图映射。

俯视图上像素坐标系与世界坐标系之间的关系为

世界坐标系与各个相机之间的关系

得到俯视图与各个相机图像坐标系之间的关系为

得到俯视图后，根据视野重叠范围，在相邻相机的俯视图中分别确定一个roi区域，在该区域内进行特征点检测和匹配，得到俯视图上的特征点坐标，再转换为对应相机图像坐标。使用相邻俯视图上特征点集的相机图像坐标，结合相机内参、位置和姿态利用三角测量算法得到特征点的3d坐标。基于以上各个重叠区域内特征点的3d坐标、相机图像坐标，结合相机内参、旋转矩阵及位置初值，使用BundleAdjustment算法以重投影误差作为目标函数，对相机位置进行非线性优化。至此，得到各个相机的姿态和位置标定结果。

下面对本发明提供的车载环视相机标定装置进行描述，下文描述的车载环视相机标定装置与上文描述的车载环视相机标定方法可相互对应参照。

本发明提供的车载环视相机标定装置，包括：

地面特征点检测模块，用于对图像数据当前帧图像和相邻帧图像进行地面特征点检测和匹配，确定两帧图像匹配得到的特征点集；

坐标计算模块，用于基于所述特征点集，确定车辆行驶方向向量在相机坐标系下的行驶方向向量坐标以及地面法向量在所述相机坐标系的地面法向量坐标；

姿态矩阵计算模块，用于基于所述行驶方向向量坐标和所述地面法向量坐标，得到相机姿态矩阵，所述相机姿态矩阵用于表示所述相机坐标系与车载坐标系之间的姿态变换关系；

位置标定计算模块，用于基于相机内参、安装位置参数以及所述相机姿态矩阵，确定各个相机的位置标定结果。

进一步的，所述位置标定计算模块模块，还用于：

基于相机内参、安装位置参数以及所述相机姿态矩阵，确定每个相机的俯视图；

在所述俯视图的重叠区域内进行特征检测和匹配，确定匹配点集，并基于所述匹配点集对进行相机位置优化，确定各个相机的位置标定结果。

进一步地，所述地面特征点检测模块，还用于：

基于标定相机的图像数据，确定所述当前帧图像和所述相邻帧图像；

对所述当前帧图像和所述相邻帧图像依次进行图像处理、特征检测和匹配，得到共有的特征点集。

进一步地，所述坐标计算模块，还用于：

基于所述特征点集和所述相机内参，确定所述相机内参对应的基础矩阵；

基于所述基础矩阵，确定相机从所述当前帧图像到所述相邻帧图像的位姿变换矩阵，所述位姿变换矩阵包括旋转矩阵和平移向量，所述平移向量为车载坐标系的车辆行驶方向向量。

进一步地，所述坐标计算模块，还用于：

基于所述位姿变换矩阵、所述相机内参和所述特征点集，确定特征点在所述相机坐标系的3D坐标；

基于所述3D坐标拟合出地面平面方程，确定地面法向量在所述相机坐标系的地面法向量坐标。

进一步地，所述车载环视相机标定装置还包括相机姿态矩阵优化模块，还用于：

使用多帧图像数据确定多组车辆平移向量和地面法向量，并基于所述多组车辆平移向量和地面法向量，对所述相机姿态矩阵进行优化；

其中，所述对所述相机姿态矩阵进行优化，是指使用非线性约束包括前进方向约束、垂直方向约束对所述相机姿态矩阵进行优化。

图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行车载环视相机标定方法，该方法包括：对图像数据当前帧图像和相邻帧图像进行地面特征点检测和匹配，确定两帧图像匹配得到的特征点集；基于所述特征点集，确定车辆行驶方向向量在相机坐标系下的行驶方向向量坐标以及地面法向量在所述相机坐标系的地面法向量坐标；基于所述行驶方向向量坐标和所述地面法向量坐标，得到相机姿态矩阵，所述相机姿态矩阵用于表示所述相机坐标系与车载坐标系之间的姿态变换关系；基于相机内参、安装位置参数以及所述相机姿态矩阵，确定各个相机的位置标定结果。

此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的车载环视相机标定方法，该方法包括：对图像数据当前帧图像和相邻帧图像进行地面特征点检测和匹配，确定两帧图像匹配得到的特征点集；基于所述特征点集，确定车辆行驶方向向量在相机坐标系下的行驶方向向量坐标以及地面法向量在所述相机坐标系的地面法向量坐标；基于所述行驶方向向量坐标和所述地面法向量坐标，得到相机姿态矩阵，所述相机姿态矩阵用于表示所述相机坐标系与车载坐标系之间的姿态变换关系；基于相机内参、安装位置参数以及所述相机姿态矩阵，确定各个相机的位置标定结果。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的车载环视相机标定方法，该方法包括：对图像数据当前帧图像和相邻帧图像进行地面特征点检测和匹配，确定两帧图像匹配得到的特征点集；基于所述特征点集，确定车辆行驶方向向量在相机坐标系下的行驶方向向量坐标以及地面法向量在所述相机坐标系的地面法向量坐标；基于所述行驶方向向量坐标和所述地面法向量坐标，得到相机姿态矩阵，所述相机姿态矩阵用于表示所述相机坐标系与车载坐标系之间的姿态变换关系；基于相机内参、安装位置参数以及所述相机姿态矩阵，确定各个相机的位置标定结果。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种车载环视相机标定方法，其特征在于，包括：

对图像数据当前帧图像和相邻帧图像进行地面特征点检测和匹配，确定两帧图像匹配得到的特征点集；

基于所述特征点集，确定车辆行驶方向向量在相机坐标系下的行驶方向向量坐标以及地面法向量在所述相机坐标系的地面法向量坐标；

基于所述行驶方向向量坐标和所述地面法向量坐标，得到相机姿态矩阵，所述相机姿态矩阵用于表示所述相机坐标系与车载坐标系之间的姿态变换关系；

基于相机内参、安装位置参数以及所述相机姿态矩阵，确定各个相机的位置标定结果。

2.根据权利要求1所述的车载环视相机标定方法，其特征在于，基于相机内参、安装位置参数以及所述相机姿态矩阵，确定各个相机的位置标定结果，包括：

基于相机内参、安装位置参数以及所述相机姿态矩阵，确定每个相机的俯视图；

在所述俯视图的重叠区域内进行特征检测和匹配，确定匹配点集，并基于所述匹配点集对进行相机位置优化，确定各个相机的位置标定结果。

3.根据权利要求1所述的车载环视相机标定方法，其特征在于，确定所述特征点集，包括：

基于标定相机的图像数据，确定所述当前帧图像和所述相邻帧图像；

对所述当前帧图像和所述相邻帧图像依次进行图像处理、特征检测和匹配，得到共有的特征点集。

4.根据权利要求1所述的车载环视相机标定方法，其特征在于，基于所述特征点集，确定车辆行驶方向向量在相机坐标系下的行驶方向向量坐标，包括：

基于所述特征点集和所述相机内参，确定所述相机内参对应的基础矩阵；

基于所述基础矩阵，确定相机从所述当前帧图像到所述相邻帧图像的位姿变换矩阵，所述位姿变换矩阵包括旋转矩阵和平移向量，所述平移向量为车载坐标系的车辆行驶方向向量。

5.根据权利要求4所述的车载环视相机标定方法，其特征在于，基于所述特征点集，确定地面法向量在所述相机坐标系的地面法向量坐标，包括：

基于所述位姿变换矩阵、所述相机内参和所述特征点集，确定特征点在所述相机坐标系的3D坐标；

基于所述3D坐标拟合出地面平面方程，确定地面法向量在所述相机坐标系的地面法向量坐标。

6.根据权利要求1所述的车载环视相机标定方法，其特征在于，包括：

使用多帧图像数据确定多组车辆平移向量和地面法向量，并基于所述多组车辆平移向量和地面法向量，对所述相机姿态矩阵进行优化；

其中，所述对所述相机姿态矩阵进行优化，是指使用非线性约束包括前进方向约束、垂直方向约束对所述相机姿态矩阵进行优化。

7.一种车载环视相机标定装置，其特征在于，包括：

地面特征点检测模块，用于对图像数据当前帧图像和相邻帧图像进行地面特征点检测和匹配，确定两帧图像匹配得到的特征点集；

坐标计算模块，用于基于所述特征点集，确定车辆行驶方向向量在相机坐标系下的行驶方向向量坐标以及地面法向量在所述相机坐标系的地面法向量坐标；

姿态矩阵计算模块，用于基于所述行驶方向向量坐标和所述地面法向量坐标，得到相机姿态矩阵，所述相机姿态矩阵用于表示所述相机坐标系与车载坐标系之间的姿态变换关系；

位置标定计算模块，用于基于相机内参、安装位置参数以及所述相机姿态矩阵，确定各个相机的位置标定结果。

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述车载环视相机标定方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述车载环视相机标定方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述车载环视相机标定方法。

Images