CN112241986A - 一种车载相机的标定方法和装置 - Google Patents

Abstract

本发明提供了一种车载相机的标定方法和装置，通过对当前帧车辆行驶图像数据、当前帧车辆行驶图像数据的上一帧车辆行驶图像数据、以及当前帧车辆行驶图像数据的下一帧车辆行驶图像数据进行处理，得到地面的标定结果和车辆行驶方向的标定结果，并以此得到相机坐标系与定义在车辆上的世界坐标系之间的变换关系，从而可以根据实际情况对相机坐标系与定义在车辆上的世界坐标系之间的变换关系进行标定，提高了标定准确率，简化了标定流程，从而推动车载相机的应用。

Description

一种车载相机的标定方法和装置

技术领域

本发明涉及车辆倒车技术领域，具体而言，涉及一种车载相机的标定方法和装置。

背景技术

目前，随着数字图像处理技术的发展，全景成像技术逐渐普及，全景成像系统通过设置的多个相机实时采集图像，并对图像进行拼接处理，生成周边环境的全景图像，构成全景成像系统。当然，全景成像系统也可以采用单个相机采集图像，并对采集到的图像进行处理后得到全景图像。

为了得到全景图像，通常会先使用静止的实物标志对相机、车辆与地面的位置关系进行标定，得到一些特定情况的相机、车辆与地面的位置关系。然后通过得到的相机，车辆与地面的位置关系得到全景图像。

车辆行驶过程中，相机、车辆与地面的位置关系经常改变，那么使用静止的实物标志对相机、车辆与地面的位置关系进行标定的结果无法应用在任何路况条件下适用，导致全景成像系统在实际使用过程中，往往会得到错误的全景图像结果。

发明内容

为解决上述问题，本发明实施例的目的在于提供一种车载相机的标定方法和装置。

第一方面，本发明实施例提供了一种车载相机的标定方法，包括：

对当前帧车辆行驶图像数据和所述当前帧车辆行驶图像数据的上一帧车辆行驶图像数据进行处理，得到车辆从所述上一帧车辆行驶图像数据指示的第一位置，移动到所述当前帧车辆行驶图像数据指示的第二位置时的第一位姿变化，并根据得到的第一位姿变化对地面进行标定，得到地面的标定结果；

对当前帧车辆行驶图像数据和所述当前帧车辆行驶图像数据的下一帧车辆行驶图像数据进行处理，得到车辆从所述当前帧车辆行驶图像数据指示的第二位置，移动到所述当前帧车辆行驶图像数据的下一帧车辆行驶图像数据指示的第三位置时的第二位姿变化，并根据得到的第二位姿变化和所述地面的标定结果，对车辆行驶方向进行标定，得到车辆行驶方向的标定结果；

根据地面的标定结果和车辆行驶方向的标定结果，得到相机坐标系与定义在车辆上的世界坐标系之间的变换关系。

第二方面，本发明实施例还提供了一种车载相机的标定装置，包括：

第一处理模块，用于对当前帧车辆行驶图像数据和所述当前帧车辆行驶图像数据的上一帧车辆行驶图像数据进行处理，得到车辆从所述上一帧车辆行驶图像数据指示的第一位置，移动到所述当前帧车辆行驶图像数据指示的第二位置时的第一位姿变化，并根据得到的第一位姿变化对地面进行标定，得到地面的标定结果；

第二处理模块，用于对当前帧车辆行驶图像数据和所述当前帧车辆行驶图像数据的下一帧车辆行驶图像数据进行处理，得到车辆从所述当前帧车辆行驶图像数据指示的第二位置，移动到所述当前帧车辆行驶图像数据的下一帧车辆行驶图像数据指示的第三位置时的第二位姿变化，并根据得到的第二位姿变化和所述地面的标定结果，对车辆行驶方向进行标定，得到车辆行驶方向的标定结果；

第三处理模块，用于根据地面的标定结果和车辆行驶方向的标定结果，得到相机坐标系与定义在车辆上的世界坐标系之间的变换关系。

本发明实施例上述第一方面至第二方面提供的方案中，通过对当前帧车辆行驶图像数据、所述当前帧车辆行驶图像数据的上一帧车辆行驶图像数据、以及当前帧车辆行驶图像数据的下一帧车辆行驶图像数据进行处理，得到地面的标定结果和车辆行驶方向的标定结果，并以此得到相机坐标系与定义在车辆上的世界坐标系之间的变换关系，与相关技术中需要使用实物标志来对相机、车辆与地面的位置关系进行标定的方式相比，可以根据实际情况对相机坐标系与定义在车辆上的世界坐标系之间的变换关系进行标定，提高了标定准确率，从而在全景成像系统实际使用时，可以得到准确的全景图像结果，提高了全景图像的应用体验。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了一种可应用于本发明实施例的全景成像系统的结构示意图；

图2示出了一种可应用于本发明实施例的世界坐标系、地面坐标系和相机坐标系之间的关系图；

图3示出了本发明实施例1所提供的车载相机的标定方法的流程图；

图4示出了本发明实施例2所提供的一种车载相机的标定装置的结构示意图。

具体实施方式

目前，随着数字图像处理技术的发展，全景成像技术逐渐普及，全景成像系统通过设置的多个相机实时采集图像，并对图像进行拼接处理，生成周边环境的全景图像，构成全景成像系统。当然，全景成像系统也可以采用单个相机采集图像，并对采集到的图像进行处理后得到全景图像。

为了得到全景图像，通常会先使用静止的实物标志对相机、车辆与地面的位置关系进行标定，得到一些特定情况的相机、车辆与地面的位置关系。然后通过得到的相机，车辆与地面的位置关系得到全景图像。

车辆行驶过程中，相机、车辆与地面的位置关系经常改变，那么使用静止的实物标志对相机、车辆与地面的位置关系进行标定的结果无法应用在任何路况条件下适用，导致全景成像系统在实际使用过程中，往往会得到错误的全景图像结果。

基于此，本实施例提出一种车载相机的标定方法和装置，通过对当前帧车辆行驶图像数据、所述当前帧车辆行驶图像数据的上一帧车辆行驶图像数据、以及当前帧车辆行驶图像数据的下一帧车辆行驶图像数据进行处理，得到地面的标定结果和车辆行驶方向的标定结果，并以此得到相机坐标系与定义在车辆上的世界坐标系之间的变换关系，可以根据实景情况对相机坐标系与定义在车辆上的世界坐标系之间的变换关系进行标定，提高了标定准确率，从而在全景成像系统实际使用时，可以得到准确的全景图像结果。

参见图1所示的车辆上安装的全景成像系统，该全景成像系统包括相机100、图像处理单元102、图像存储单元104和图像显示单元106。相机100安装在车辆尾部，用于获取车辆后方的图像。图像处理单元102主要负责图像畸变矫正、图像拼接、图像透视变换等图像处理任务以及对相机、地面和车辆的关系进行标定，是本方案的核心计算单元。图像存储单元104用于存储图像。图像显示单元106用于实时向驾驶员显示全景图像，以视觉的方式向驾驶员全方位无死角展示车辆周边及底部影像。

为了对相机、地面和车辆的关系进行标定，首先，进行相机标定，得到相机的焦距、主点、镜头畸变系数等相机参数；所述相机参数，就是与相机自身特性相关的内参数。然后，将已标定的相机安装在车辆尾部的合适位置，启动车辆倒车，图像处理单元102进入自动标定程序。进入自动标定程序后，保持车辆直行，选取时间相近的任意两帧图像(即当前帧车辆行驶图像数据和所述当前帧车辆行驶图像数据的上一帧车辆行驶图像数据)进行处理，以确保两帧图像有足够多的共有特征点进行地面标定，得到地面在相机坐标系中的法向量。如果地面标定失败，选择地面纹理比较丰富的场景，重新进行地面标定，直至地面标定成功。完成地面标定后，继续保持车辆直行，直至得到车辆正方向，完成车辆正方向标定。最后，根据地面标定结果和车辆正方向标定结果计算相机与车辆世界坐标系的转换矩阵，完成自动标定。

为了方便对相机、地面和车辆的关系进行标定，本方案设置世界坐标系、地面坐标系和相机坐标系来对如何标定相机、地面和车辆的关系进行说明。

参见图2所示的世界坐标系、地面坐标系和相机坐标系之间的关系图，O-X_WY_WZ_W表示世界坐标系；其中，OZ_W轴正方向与车辆向前直行的方向相反；当面向车辆向前直行时，OY_W轴正方向垂直轴指向车辆左侧；平面OY_WZ_W与地面平行，O-X_W轴正方向垂直地面向上。O-X_CY_CZ_C为相机坐标系，其中OZ_C轴平行相机主光轴，正方向指向相机成像平面；OX_C轴与相机成像平面上边界平行，正方向指向右侧；OY_C轴平行相机成像平面左边界，正方向指向下方。O-X_GY_GZ_G为地面坐标系，其作为世界坐标系和相机坐标系的中间变量，由世界坐标系和相机坐标系共同确定；其中OX_G轴与世界坐标系O-X_WY_WZ_W的OX_W轴重合，方向相同；设过原点O且垂直于平面OX_CX_G的轴为相机坐标系与地面坐标系的旋转轴的向量v，将相机坐标系O-X_CY_CZ_C绕v轴旋转角度θ后，相机坐标系的OX_C轴与地面坐标系的OX_G轴重合且方向相同；此时，相机坐标系的OY_C轴和OZ_C轴与地面坐标系的OY_G轴和OZ_G轴重合且方向相同。

在以下各实施例中，术语“车辆正方向”与术语“车辆行驶方向”的含义相同。

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请做进一步详细的说明。

实施例1

本实施例提出一种车载相机的标定方法，执行主体是上述全景成像系统中的图像处理单元102。

所述图像处理单元102，可以采用现有技术中任何能够对图像进行处理并对相机、地面和车辆的关系进行标定的图像处理器，这里不再一一赘述。

参见图3所示的车载相机的标定方法的流程，本实施例提出的车载相机的标定方法，可以包括以下步骤：

步骤200、对当前帧车辆行驶图像数据和所述当前帧车辆行驶图像数据的上一帧车辆行驶图像数据进行处理，得到车辆从所述上一帧车辆行驶图像数据指示的第一位置，移动到所述当前帧车辆行驶图像数据指示的第二位置时的第一位姿变化，并根据得到的第一位姿变化对地面进行标定，得到地面的标定结果。

在上述步骤200中，首先，全景成像系统中的相机100，会在车辆行驶过程中，采集当前帧车辆行驶图像数据和所述当前帧车辆行驶图像数据的上一帧车辆行驶图像数据。然后将采集到的当前帧车辆行驶图像数据和所述当前帧车辆行驶图像数据的上一帧车辆行驶图像数据发送到图像处理单元102中进行处理。

所述当前帧车辆行驶图像数据和所述当前帧车辆行驶图像数据的上一帧车辆行驶图像数据，可以是相邻的两帧图像数据，也可以不是相邻的两帧图像数据。

为了得到第一位姿变化，所述图像处理单元102，获取到相机在第一位置L₁处得到的当前帧车辆行驶图像数据的上一帧车辆行驶图像数据f₁，和在第二位置L₂处得到的当前帧车辆行驶图像数据f₂两帧图像。经过图像处理、特征点提取与匹配后，得到f₁和f₂的共有特征点集Ω₁₂，并得到Ω₁₂中所有的共有特征点的图像坐标；然后，结合相机参数，利用五点法或八点法等已公开的方法计算相机从第一位置L₁处到第二位置L₂处的第一位姿变化：第一旋转矩阵R和第一平移向量T；然后，计算集合Ω₁₂中所有特征点在相机坐标系中的三维坐标，该相机坐标系为相机在位置L₁处时的相机坐标系，被称为基础相机坐标系；最后，利用相机参数、第一旋转矩阵R和第一平移向量T，使用随机采样一致性算法计算地面在相机坐标系中的平面方程。

所述图像坐标，就是所述共有特征点所在像素在图像中的位置坐标，包括：图像横坐标和图像纵坐标。

地面在相机坐标系中的平面方程可以通过以下公式1表示：

A_Gc×X_G+B_GC×Y_G+C_GC×Z_G＝D_GC (1)

其中，A_GC表示

在x轴上的坐标；B_GC表示

在y轴上的坐标；C_GC表示

在y轴上的坐标；

表示地面在相机坐标系下的法向量；D_GC表示相机坐标系下地面到相机坐标系原点的距离。

上述得到集合Ω₁₂中所有特征点的图像坐标、第一位姿变化、以及得到地面在相机坐标系中的平面方程的过程均为现有技术，这里不再赘述。

在得到集合Ω₁₂中所有特征点的图像坐标、第一位姿变化、以及得到地面在相机坐标系中的平面方程后，可以根据得到的第一位姿变化对地面进行标定，得到地面的标定结果。为了根据得到的第一位姿变化对地面进行标定，得到地面的标定结果，上述步骤200还可以包括以下步骤(1)至步骤(5)：

(1)获取相机参数，并根据所述相机参数、所述第一旋转矩阵和所述第一平移向量，计算得到地面在相机坐标系下的平面方程；

(2)根据得到的地面在相机坐标系下的平面方程，得到地面在相机坐标系下的法向量；

(3)获取相机坐标系的X轴的向量，并根据地面在相机坐标系下的法向量和相机坐标系的X轴的向量，对相机坐标系与地面坐标系的旋转轴的向量进行计算；

(4)根据地面在相机坐标系下的法向量，对相机坐标系与地面坐标系重合的旋转角度进行计算；

(5)根据所述旋转轴的向量和所述旋转角度，得到相机坐标系与地面坐标系的转换矩阵，从而得到地面的标定结果。

上述步骤(1)中，根据所述相机参数、所述第一旋转矩阵和所述第一平移向量计算得到地面在相机坐标系下的平面方程的过程为现有技术，这里不再赘述。

所述相机参数，是在相机标定完成后，被技术人员输入全景成像系统中的图像处理单元102缓存。所以，图像处理单元102可以从图像处理单元102自身就可以获取到相机参数。

在上述步骤(2)中，通过以上公式1可以确定地面在相机坐标系下的法向量OX_G在相机坐标系中的值为(A_GC，B_GC，C_GC)。

在上述步骤(3)中，通过以下公式2对相机坐标系与地面坐标系的旋转轴的向量进行计算：

其中，v^T表示相机坐标系与地面坐标系的旋转轴v的转置向量；

表示相机坐标系的X轴的向量；

表示地面在相机坐标系下的法向量；A_GG表示

在x轴上的坐标；B_GC表示

在y轴上的坐标；C_GC表示

在y轴上的坐标。

所述相机坐标系与地面坐标系的旋转轴的向量是v。

其中，

的具体向量值可以在相机标定后，存储在图像处理单元102中。

所以，图像处理单元102可以在对相机坐标系与地面坐标系的旋转轴的向量进行计算时，能够从图像处理单元102自身获取到

的具体向量值。

在上述步骤(4)中，通过以下公式3对相机坐标系与地面坐标系的旋转角度进行计算：

其中，A_GC表示

在x轴上的坐标；B_GC表示

在y轴上的坐标；C_GC表示

在y轴上的坐标。

在上述步骤(5)中，通过以下公式4对相机坐标系与地面坐标系的转换矩阵进行计算：

其中，R_GC表示相机坐标系与地面坐标系的转换矩阵；I表示单位矩阵；v_u表示单位化后的所述旋转轴的向量；

表示单位化后的所述旋转轴v_u的转置向量；θ表示相机坐标系与地面坐标系的旋转角度；x_u表示单位化后的所述旋转轴的向量的在x轴上的坐标；y_u表示单位化后的所述旋转轴的向量的在y轴上的坐标；z_u表示单位化后的所述旋转轴的向量的在z轴上的坐标。

所述单位化后的所述旋转轴的向量是v_u。

这里，为了得到v_u，图像处理单元102需要对v进行单位化处理。

通过以下公式5对v进行单位化处理：

所述单位矩阵，存储在图像处理单元102中。

在通过所述步骤200得到对地面的标定结果后，可以继续执行以下步骤202，对车辆行驶方向进行标定。

步骤202、对当前帧车辆行驶图像数据和所述当前帧车辆行驶图像数据的下一帧车辆行驶图像数据进行处理，得到车辆从所述当前帧车辆行驶图像数据指示的第二位置，移动到所述当前帧车辆行驶图像数据的下一帧车辆行驶图像数据指示的第三位置时的第二位姿变化，并根据得到的第二位姿变化和所述地面的标定结果，对车辆行驶方向进行标定，得到车辆行驶方向的标定结果。

在上述步骤202中，所述当前帧车辆行驶图像数据和所述当前帧车辆行驶图像数据的下一帧车辆行驶图像数据可以是两帧相邻的图像数据，也可以是两帧不相邻的图像数据。

所述第二位姿变化，包括：车辆从所述当前帧车辆行驶图像数据指示的第二位置，移动到所述当前帧车辆行驶图像数据的下一帧车辆行驶图像数据指示的第三位置时的第二旋转矩阵和第二平移向量。

为了对车辆行驶方向进行标定，上述步骤202可以执行以下步骤(1)至步骤(6)：

(1)确定出当前帧车辆行驶图像数据f₂、所述当前帧车辆行驶图像数据的下一帧车辆行驶图像数据f₃、以及所述当前帧车辆行驶图像数据的上一帧车辆行驶图像数据f₁的共有特征点；

(2)利用相机参数、共有特征点的图像坐标和在相机坐标系下的三维坐标，计算得到第二旋转矩阵和第二平移向量；

(3)基于第二旋转矩阵和第二平移向量，对相机在第三位置处的光心在相机坐标系中的第一坐标进行计算；

(4)将相机的第一坐标转换到相机在第三位置处的光心在地面坐标系中的第二坐标；

(5)根据所述第二坐标，对地面坐标系与世界坐标系重合的旋转角度进行计算；

(6)获取地面坐标系与世界坐标系的旋转轴的向量，并根据地面坐标系与世界坐标系重合的旋转角度、地面坐标系与世界坐标系的旋转轴的向量，得到地面坐标系到世界坐标系的转换矩阵，从而得到车辆行驶方向的标定结果。

在上述步骤(1)中，确定出当前帧车辆行驶图像数据、所述下一帧车辆行驶图像数据、以及所述上一帧车辆行驶图像数据的共有特征点的过程为现有技术，这里不再赘述。

在之前的步骤200中，已经得到f₁和f₂的共有特征点集Ω₁₂中所有共有特征点的三维坐标和图像坐标。而f₁、f₂和f₃的共有特征点一定在特征点集Ω₁₂中，所以就能够得到f₁、f₂和f₃的共有特征点的三维坐标和图像坐标。

在上述步骤(2)中，通过以下公式6至公式8计算第二旋转矩阵和第二平移向量：

其中，a表示当前帧车辆行驶图像数据、所述当前帧车辆行驶图像数据的下一帧车辆行驶图像数据、以及所述当前帧车辆行驶图像数据的上一帧车辆行驶图像数据的共有特征点的图像横坐标；b表示当前帧车辆行驶图像数据、所述当前帧车辆行驶图像数据的下一帧车辆行驶图像数据、以及所述当前帧车辆行驶图像数据的上一帧车辆行驶图像数据的共有特征点的图像纵坐标；X_b表示当前帧车辆行驶图像数据、所述当前帧车辆行驶图像数据的下一帧车辆行驶图像数据、以及所述当前帧车辆行驶图像数据的上一帧车辆行驶图像数据的共有特征点在相机坐标系下x轴上的坐标；Y_b表示共有特征点在相机坐标系下y轴上的坐标；Z_b表示当前帧车辆行驶图像数据、所述当前帧车辆行驶图像数据的下一帧车辆行驶图像数据、以及所述当前帧车辆行驶图像数据的上一帧车辆行驶图像数据的共有特征点在相机坐标系下z轴上的坐标；K表示相机参数矩阵；I表示单位矩阵；R₃₁表示第二旋转矩阵；t₃₁表示第二平移向量。

在上述步骤(3)中，所述光心，就是相机坐标系的原点。

所述相机在第三位置处的光心，就是相机在第三位置处时相机坐标系的原点。

通过以下公式对相机在第三位置处的光心在相机坐标系中的第一坐标进行计算：

其中，R₃₁表示第二旋转矩阵；t₃₁表示第二平移向量；X_bc表示第一坐标在x轴上的坐标；Y_bc表示第一坐标在y轴上的坐标；Z_bc表示第一坐标在z轴上的坐标。

在上述步骤(4)中，通过以下公式9将相机的第一坐标转换到相机在第三位置处的光心在地面坐标系中的第二坐标：

其中，

表示相机坐标系与地面坐标系的转换矩阵的逆矩阵；X_bcg表示第二坐标在x轴上的坐标；Y_bcg表示第二坐标在y轴上的坐标；Z_bcg表示第二坐标在z轴上的坐标。

在上述步骤(5)中，通过以下公式10对地面坐标系与世界坐标系重合的旋转角度进行计算：

其中，X_bc表示第二坐标在x轴上的坐标；Y_bcg表示第二坐标在y轴上的坐标；Z_bcg表示第二坐标在z轴上的坐标；α表示地面坐标系与世界坐标系重合的旋转角度。

在上述步骤(6)中，所述地面坐标系与世界坐标系的旋转轴的向量的具体值可以存储在图像处理单元102中。

在需要得到地面坐标系到世界坐标系的转换矩阵时，图像处理单元102可以从图像处理单元102自身获取到所述地面坐标系与世界坐标系的旋转轴的向量的具体值。

在获取到所述地面坐标系与世界坐标系的旋转轴的向量后，可以继续通过以下公式11得到地面坐标系到世界坐标系的转换矩阵：

其中，R_WG表示地面坐标系到世界坐标系的转换矩阵；I表示单位矩阵；α表示地面坐标系与世界坐标系重合的旋转角度；v_WG表示地面坐标系与世界坐标系的旋转轴的向量；

表示地面坐标系与世界坐标系的旋转轴的向量的转置向量。

在通过以上步骤200至步骤202,得到地面的标定结果和车辆行驶方向的标定结果后，可以继续执行以下步骤204，得到相机坐标系与定义在车辆上的世界坐标系之间的变换关系。

步骤204、根据地面的标定结果和车辆行驶方向的标定结果，得到相机坐标系与定义在车辆上的世界坐标系之间的变换关系。

通过以下公式12表示相机坐标系与定义在车辆上的世界坐标系之间的变换关系：

R_WC＝R_WG*R_GC (12)

其中，R_WC表示相机坐标系与定义在车辆上的世界坐标系之间的变换关系；R_GC表示相机坐标系与地面坐标系的转换矩阵；R_WG表示地面坐标系到世界坐标系的转换矩阵。

综上所述，本实施例提出的一种车载相机的标定方法，通过对当前帧车辆行驶图像数据、所述当前帧车辆行驶图像数据的上一帧车辆行驶图像数据、以及当前帧车辆行驶图像数据的下一帧车辆行驶图像数据进行处理，得到地面的标定结果和车辆行驶方向的标定结果，并以此得到相机坐标系与定义在车辆上的世界坐标系之间的变换关系，与相关技术中需要使用实物标志来对相机、车辆与地面的位置关系进行标定的方式相比，可以根据实际情况对相机坐标系与定义在车辆上的世界坐标系之间的变换关系进行标定，提高了标定准确率，从而在全景成像系统实际使用时，可以得到准确的全景图像结果，提高了全景图像的应用体验。

实施例2

本实施例提出一种车载相机的标定装置，用于执行上述实施例1提出的一种车载相机的标定方法。

参见图4所示的一种车载相机的标定装置的结构示意图，本实施例一种车载相机的标定装置，包括：

第一处理模块300，用于对当前帧车辆行驶图像数据和所述当前帧车辆行驶图像数据的上一帧车辆行驶图像数据进行处理，得到车辆从所述上一帧车辆行驶图像数据指示的第一位置，移动到所述当前帧车辆行驶图像数据指示的第二位置时的第一位姿变化，并根据得到的第一位姿变化对地面进行标定，得到地面的标定结果。

第二处理模块302，用于对当前帧车辆行驶图像数据和所述当前帧车辆行驶图像数据的下一帧车辆行驶图像数据进行处理，得到车辆从所述当前帧车辆行驶图像数据指示的第二位置，移动到所述当前帧车辆行驶图像数据的下一帧车辆行驶图像数据指示的第三位置时的第二位姿变化，并根据得到的第二位姿变化和所述地面的标定结果，对车辆行驶方向进行标定，得到车辆行驶方向的标定结果。

第三处理模块304，用于根据地面的标定结果和车辆行驶方向的标定结果，得到相机坐标系与定义在车辆上的世界坐标系之间的变换关系。

综上所述，本实施例提出的一种车载相机的标定装置，通过对当前帧车辆行驶图像数据、所述当前帧车辆行驶图像数据的上一帧车辆行驶图像数据、以及当前帧车辆行驶图像数据的下一帧车辆行驶图像数据进行处理，得到地面的标定结果和车辆行驶方向的标定结果，并以此得到相机坐标系与定义在车辆上的世界坐标系之间的变换关系，与相关技术中需要使用实物标志来对相机、车辆与地面的位置关系进行标定的方式相比，可以根据实际情况对相机坐标系与定义在车辆上的世界坐标系之间的变换关系进行标定，提高了标定准确率，从而在全景成像系统实际使用时，可以得到准确的全景图像结果，提高了全景图像的应用体验。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种车载相机的标定方法，其特征在于，包括：

对当前帧车辆行驶图像数据和所述当前帧车辆行驶图像数据的上一帧车辆行驶图像数据进行处理，得到车辆从所述上一帧车辆行驶图像数据指示的第一位置，移动到所述当前帧车辆行驶图像数据指示的第二位置时的第一位姿变化，并根据得到的第一位姿变化对地面进行标定，得到地面的标定结果；

对当前帧车辆行驶图像数据和所述当前帧车辆行驶图像数据的下一帧车辆行驶图像数据进行处理，得到车辆从所述当前帧车辆行驶图像数据指示的第二位置，移动到所述当前帧车辆行驶图像数据的下一帧车辆行驶图像数据指示的第三位置时的第二位姿变化，并根据得到的第二位姿变化和所述地面的标定结果，对车辆行驶方向进行标定，得到车辆行驶方向的标定结果；

根据地面的标定结果和车辆行驶方向的标定结果，得到相机坐标系与定义在车辆上的世界坐标系之间的变换关系。

2.根据权利要求1所述的方法，其特征在于，所述第一位姿变化，包括：车辆从所述上一帧车辆行驶图像数据指示的第一位置，移动到所述当前帧车辆行驶图像数据指示的第二位置时的第一旋转矩阵和第一平移向量；

根据得到的第一位姿变化对地面进行标定，得到地面的标定结果，包括：

获取相机参数，并根据所述相机参数、所述第一旋转矩阵和所述第一平移向量，计算得到地面在相机坐标系下的平面方程；

根据得到的地面在相机坐标系下的平面方程，得到地面在相机坐标系下的法向量；

获取相机坐标系的X轴的向量，并根据地面在相机坐标系下的法向量和相机坐标系的X轴的向量，对相机坐标系与地面坐标系的旋转轴的向量进行计算；

根据地面在相机坐标系下的法向量，对相机坐标系与地面坐标系重合的旋转角度进行计算；

根据所述旋转轴的向量和所述旋转角度，得到相机坐标系与地面坐标系的转换矩阵，从而得到地面的标定结果。

3.根据权利要求2所述的方法，其特征在于，根据地面在相机坐标系下的法向量和相机坐标系的X轴的向量，对相机坐标系与地面坐标系的旋转轴的向量进行计算，包括：

通过以下公式对相机坐标系与地面坐标系的旋转轴的向量进行计算：

其中，v^T表示相机坐标系与地面坐标系的旋转轴v的转置向量；

表示相机坐标系的X轴的向量；

表示地面在相机坐标系下的法向量；A_GC表示

在x轴上的坐标；B_GC表示

在y轴上的坐标；C_GC表示

在y轴上的坐标。

4.根据权利要求3所述的方法，其特征在于，根据地面在相机坐标系下的法向量，对相机坐标系与地面坐标系重合的旋转角度进行计算，包括：

通过以下公式对相机坐标系与地面坐标系的旋转角度进行计算：

其中，A_GC表示

在x轴上的坐标；B_GC表示

在y轴上的坐标；C_GC表示

在y轴上的坐标。

5.根据权利要求3所述的方法，其特征在于，根据所述旋转轴的向量和所述旋转角度，得到相机坐标系与地面坐标系的转换矩阵进行，包括：

通过以下公式对相机坐标系与地面坐标系的转换矩阵进行计算：

其中，R_GC表示相机坐标系与地面坐标系的转换矩阵；I表示单位矩阵；v_u表示单位化后的所述旋转轴的向量；

表示单位化后的所述旋转轴v_u的转置向量；θ表示相机坐标系与地面坐标系的旋转角度；x_u表示单位化后的所述旋转轴的向量的在x轴上的坐标；y_u表示单位化后的所述旋转轴的向量的在y轴上的坐标；z_u表示单位化后的所述旋转轴的向量的在z轴上的坐标。

6.根据权利要求5所述的方法，其特征在于，第二位姿变化，包括：车辆从所述当前帧车辆行驶图像数据指示的第二位置，移动到所述当前帧车辆行驶图像数据的下一帧车辆行驶图像数据指示的第三位置时的第二旋转矩阵和第二平移向量；

对当前帧车辆行驶图像数据和所述当前帧车辆行驶图像数据的下一帧车辆行驶图像数据进行处理，得到车辆从所述当前帧车辆行驶图像数据指示的第二位置，移动到所述当前帧车辆行驶图像数据的下一帧车辆行驶图像数据指示的第三位置时的第二位姿变化，并根据得到的第二位姿变化和所述地面的标定结果，对车辆行驶方向进行标定，得到车辆行驶方向的标定结果，包括：

确定出当前帧车辆行驶图像数据、所述当前帧车辆行驶图像数据的下一帧车辆行驶图像数据、以及所述当前帧车辆行驶图像数据的上一帧车辆行驶图像数据的共有特征点；

利用相机参数、共有特征点的图像坐标和在相机坐标系下的三维坐标，计算得到第二旋转矩阵和第二平移向量；

基于第二旋转矩阵和第二平移向量，对相机在第三位置处的光心在相机坐标系中的第一坐标进行计算；

将相机的第一坐标转换到相机在第三位置处的光心在地面坐标系中的第二坐标；

根据所述第二坐标，对地面坐标系与世界坐标系重合的旋转角度进行计算；

获取地面坐标系与世界坐标系的旋转轴的向量，并根据地面坐标系与世界坐标系重合的旋转角度、地面坐标系与世界坐标系的旋转轴的向量，得到地面坐标系到世界坐标系的转换矩阵，从而得到车辆行驶方向的标定结果。

7.根据权利要求6所述的方法，其特征在于，利用相机参数、共有特征点的图像坐标和在相机坐标系下的三维坐标，计算得到第二旋转矩阵和第二平移向量，包括：

通过以下公式计算第二旋转矩阵和第二平移向量：

其中，a表示当前帧车辆行驶图像数据、所述当前帧车辆行驶图像数据的下一帧车辆行驶图像数据、以及所述当前帧车辆行驶图像数据的上一帧车辆行驶图像数据的共有特征点的图像横坐标；b表示当前帧车辆行驶图像数据、所述当前帧车辆行驶图像数据的下一帧车辆行驶图像数据、以及所述当前帧车辆行驶图像数据的上一帧车辆行驶图像数据的共有特征点的图像纵坐标；X_b表示当前帧车辆行驶图像数据、所述当前帧车辆行驶图像数据的下一帧车辆行驶图像数据、以及所述当前帧车辆行驶图像数据的上一帧车辆行驶图像数据的共有特征点在相机坐标系下x轴上的坐标；Y_b表示共有特征点在相机坐标系下y轴上的坐标；Z_b表示当前帧车辆行驶图像数据、所述当前帧车辆行驶图像数据的下一帧车辆行驶图像数据、以及所述当前帧车辆行驶图像数据的上一帧车辆行驶图像数据的共有特征点在相机坐标系下z轴上的坐标；K表示相机参数矩阵；I表示单位矩阵；R₃₁表示第二旋转矩阵；t₃₁表示第二平移向量。

8.根据权利要求7所述的方法，其特征在于，基于第二旋转矩阵和第二平移向量，对相机在第三位置处的光心在相机坐标系中的第一坐标进行计算，包括：

通过以下公式对相机在第三位置处的光心在相机坐标系中的第一坐标进行计算：

其中，R₃₁表示第二旋转矩阵；t₃₁表示第二平移向量；X_bC表示第一坐标在x轴上的坐标；Y_bc表示第一坐标在y轴上的坐标；Z_bc表示第一坐标在z轴上的坐标。

9.根据权利要求8所述的方法，其特征在于，将相机的第一坐标转换到相机在第三位置处的光心在地面坐标系中的第二坐标，包括：

通过以下公式将相机的第一坐标转换到相机在第三位置处的光心在地面坐标系中的第二坐标：

其中，

表示相机坐标系与地面坐标系的转换矩阵的逆矩阵；X_bc表示第二坐标在x轴上的坐标；Y_bc表示第二坐标在y轴上的坐标；Z_bcg表示第二坐标在z轴上的坐标。

10.根据权利要求9所述的方法，其特征在于，根据所述第二坐标，对地面坐标系与世界坐标系重合的旋转角度进行计算，包括：

通过以下公式对地面坐标系与世界坐标系重合的旋转角度进行计算：

其中，X_bcg表示第二坐标在x轴上的坐标；Y_bcg表示第二坐标在y轴上的坐标；Z_bcg表示第二坐标在z轴上的坐标；α表示地面坐标系与世界坐标系重合的旋转角度。

11.根据权利要求10所述的方法，其特征在于，根据地面坐标系与世界坐标系重合的旋转角度、地面坐标系与世界坐标系的旋转轴的向量，得到地面坐标系到世界坐标系的转换矩阵，包括：

通过以下公式得到地面坐标系到世界坐标系的转换矩阵：

其中，R_WG表示地面坐标系到世界坐标系的转换矩阵；I表示单位矩阵；α表示地面坐标系与世界坐标系重合的旋转角度；v_WG表示地面坐标系与世界坐标系的旋转轴的向量；

表示地面坐标系与世界坐标系的旋转轴的向量的转置向量。

12.根据权利要求11所述的方法，其特征在于，根据地面的标定结果和车辆行驶方向的标定结果，得到相机坐标系与定义在车辆上的世界坐标系之间的变换关系，包括：

通过以下公式表示相机坐标系与定义在车辆上的世界坐标系之间的变换关系：

R_WC＝R_WG*R_GC

其中，R_WC表示相机坐标系与定义在车辆上的世界坐标系之间的变换关系；R_GC表示相机坐标系与地面坐标系的转换矩阵；R_WG表示地面坐标系到世界坐标系的转换矩阵。

13.一种车载相机的标定装置，其特征在于，包括：

第一处理模块，用于对当前帧车辆行驶图像数据和所述当前帧车辆行驶图像数据的上一帧车辆行驶图像数据进行处理，得到车辆从所述上一帧车辆行驶图像数据指示的第一位置，移动到所述当前帧车辆行驶图像数据指示的第二位置时的第一位姿变化，并根据得到的第一位姿变化对地面进行标定，得到地面的标定结果；

第二处理模块，用于对当前帧车辆行驶图像数据和所述当前帧车辆行驶图像数据的下一帧车辆行驶图像数据进行处理，得到车辆从所述当前帧车辆行驶图像数据指示的第二位置，移动到所述当前帧车辆行驶图像数据的下一帧车辆行驶图像数据指示的第三位置时的第二位姿变化，并根据得到的第二位姿变化和所述地面的标定结果，对车辆行驶方向进行标定，得到车辆行驶方向的标定结果；

第三处理模块，用于根据地面的标定结果和车辆行驶方向的标定结果，得到相机坐标系与定义在车辆上的世界坐标系之间的变换关系。

Images