CN112802109B - 一种汽车鸟瞰全景图生成方法 - Google Patents

Abstract

本发明公开了一种汽车鸟瞰全景图生成方法，具体为：选择标定区域，在标定区域内用线激光器打上标记线，组成矩形激光器区域；在汽车的左前、右前、左后、右后、车前、车后、车左和车右八个位置安装相机，8个相机总的视野范围覆盖车身周围360度，相邻两个相机的视野范围存在重叠；将汽车移动到激光器区域中心，建立车辆坐标系；在相机的视野范围内摆放棋盘格，采集相机视野范围内的棋盘格图像，计算棋盘格上角点在车辆坐标系下的坐标；计算图像坐标系下角点的坐标；计算棋盘格图像对应的投影变换矩阵，将棋盘格图像转换为鸟瞰图像；将所有的鸟瞰图像拼接得到汽车鸟瞰全景图。本发明克服传统方法中存在盲区的问题，同时大大提高计算速度。

Description

一种汽车鸟瞰全景图生成方法

技术领域

本发明涉及一种汽车鸟瞰全景图生成方法，属于智能驾驶技术领域。

背景技术

传统的全景拼接图一般都是通过测量地平面上棋盘格的坐标和相机图像上棋盘格的坐标，由矩阵直接求解法得到H单映性矩阵。这种直接求解的方式不可逆，即不能由H矩阵得到相机间的R和t。

发明内容

本发明所要解决的技术问题是：提供一种汽车鸟瞰全景图生成方法，采用将相机图像投影到地面的方法，大大提高了计算速度和精度。

本发明为解决上述技术问题采用以下技术方案：

一种汽车鸟瞰全景图生成方法，包括如下步骤：

步骤1，选择一标定区域，在该标定区域内用多个线激光器打上5条标记线，其中4条组成一矩形激光器区域，另外1条为该矩形激光器区域长边的中心线；

步骤2，在汽车的左前、右前、左后、右后、车前、车后、车左和车右八个位置，每个位置安装1个相机，8个相机总的视野范围覆盖车身周围360度，且相邻两个相机的视野范围存在重叠部分；

步骤3，将汽车移动到矩形激光器区域的中心，建立车辆坐标系，计算矩形激光器区域的四个顶点以及该矩形激光器区域两条长边的中点在车辆坐标系下的坐标；

步骤4，在每个相机的视野范围内摆放棋盘格，并采集各相机视野范围内的棋盘格图像，计算棋盘格上各角点在车辆坐标系下的坐标；

步骤5，根据采集的棋盘格图像，计算图像坐标系下各角点的坐标；

步骤6，计算各棋盘格图像对应的投影变换矩阵，根据投影变换矩阵将棋盘格图像转换为鸟瞰图像；

步骤7，将所有的鸟瞰图像拼接起来得到汽车鸟瞰全景图。

作为本发明的一种优选方案，所述步骤3的具体过程如下：

步骤3.1，将汽车移动到矩形激光器区域的中心，并确保车头中心与矩形激光器区域其中一条长边的中点对齐，车尾中心与矩形激光器区域另一条长边的中点对齐；

步骤3.2，以汽车中心点为车辆坐标系的中心，汽车中心点往右为X轴正方向，汽车中心点往上为Y轴正方向，建立车辆坐标系；

步骤3.3，计算矩形激光器区域的四个顶点以及该矩形激光器区域两条长边的中点在车辆坐标系下的坐标。

作为本发明的一种优选方案，所述步骤4的具体过程如下：

步骤4.1，在每个相机的视野范围内摆放一3*4的棋盘格，并确保棋盘格的长边与矩形激光器区域的长边平行；

步骤4.2，采集每个相机视野范围内的棋盘格图像，并测量各棋盘格图像左上角在车辆坐标系下的坐标；

步骤4.3，根据棋盘格的实际尺寸，推算得到棋盘格各角点在车辆坐标系下的坐标。

作为本发明的一种优选方案，所述步骤5的具体过程如下：

步骤5.1，对采集的棋盘格图像进行畸变矫正；

步骤5.2，利用开源视觉算法库opencv中的findChessboardCorners()和cornerSubPix()，提取畸变矫正后的图像中的棋盘格角点坐标。

作为本发明的一种优选方案，所述步骤6的具体过程如下：

步骤6.1，在汽车正上方设置一虚拟相机，其光轴垂直于地平面π，通过虚拟相机拍摄得到车身周围的虚拟鸟瞰图，设定虚拟相机满足针孔投影模型，则其内参矩阵K₁如下：

其中，u₀＝(W-1)*0.5，v₀＝(H-1)*0.5，f_x＝(w₀*d)/W，f_y＝(w₁*d)/H，u₀、v₀分别为X、Y方向平移的距离，f_x、f_y分别为焦距f在X、Y方向的投影，W、H分别为虚拟鸟瞰图的宽度、长度，w₀、w₁分别为相机物理平面的宽度、长度，d为虚拟相机距地平面的高度；

步骤6.2，计算各棋盘格图像对应的投影变换矩阵，根据投影变换矩阵将棋盘格图像转换为鸟瞰图像；具体为：

Step1，当棋盘格图像为安装在汽车右前位置的相机所采集的图像时，通过pnp算法计算地平面π相对于虚拟相机的旋转矩阵R₁和平移向量t₁，以及地平面π相对于右前相机的旋转矩阵R₂和平移向量t₂；

Step2，计算虚拟相机与右前相机的转换关系：

X₁＝R₁*X_w+t₁

X₂＝R₂*X_w+t₂

则X₂＝R₂*R₁ ^-1*X₁+t₂-R₂*R₁ ^-1*t₁，其中，X₁、X₂分别为虚拟相机、右前相机坐标系下的棋盘格角点坐标，X_w为车辆坐标系下的棋盘格角点坐标；

Step3，设定地平面π在虚拟相机坐标系下的单位法向量为N，则

已知X₂＝RX₁+T，R＝R₂*R₁ ^-1，T＝t₂-R₂*R₁ ^-1*t₁，则地平面π在虚拟相机和右前相机坐标系下的位置关系为：

其中，

Step4，已知x₁＝K₁X₁，x₂＝K₂X₂，其中，K₂为右前相机内参矩阵，x₁、x₂分别为虚拟相机、右前相机图像坐标系下的棋盘格角点坐标，则

则投影变换矩阵为根据投影变换矩阵将棋盘格图像转换为鸟瞰图像P_r＝HP_L，其中，P_r为鸟瞰图像坐标系下的棋盘格角点坐标，P_L为右前相机图像坐标系下的棋盘格角点坐标。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、为了感知汽车周围360°场景问题，本发明提出一种适用于汽车平台的鸟瞰全景图生成方法，可作为智能汽车环境感知的有效手段。将8个相机安装于汽车车身，可获得近距离道路环境的图像；采用一种相机图像投影到地面的方法，克服传统方法中存在盲区的问题，同时大大提高计算速度。

2、自动驾驶算法中经常用到相机之间的关系，相机之间的位姿关系在自动驾驶中很重要。本发明采用打激光线的方法测量地平面的棋盘格坐标，简单快捷，由相机之间的R和t计算H矩阵的方法，更加满足自动驾驶场景的需要。

附图说明

图1是本发明一种汽车鸟瞰全景图生成方法的流程图。

图2是建立车辆坐标系示意图。

图3是在矩形激光器区域内摆放棋盘格示意图。

图4是经畸变矫正后的棋盘格图像。

图5是虚拟相机成像模型图。

图6是虚拟鸟瞰示意图。

图7是安装在车辆右前位置的相机与虚拟相机间的示意图。

图8是同一平面在两个相机间的原理图。

图9是拼接效果图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

如图1所示，为本发明一种汽车鸟瞰全景图生成方法的流程图，具体步骤如下：

步骤1：选择标定区域

选择一块比较平整的尺寸大小约为10m*10m的标定区域，在标定区域内用多个线激光器打上标记线①③,③⑥,④⑥,①④,②⑤，使得②⑤为矩形①③⑥④的中心线，如图2所示。

步骤2：相机安装位置

将相机安装在汽车的左前、车前、右前、车右、右后、车后、左后、车左八个位置，8个相机可以全覆盖车身周围360度即可。

步骤3：移动车辆到矩形中心

3.1确保前车中心与②点对齐，后车中心与⑤点对齐；

3.2建立车辆坐标系，以车辆中心点为车辆坐标系的中心，中心点往右为X轴正方向，中心点往上为Y轴正方向；

3.3测量①②③④⑤⑥在车辆坐标系下的坐标。

步骤4：在激光区域摆放棋盘格

4.1将棋盘格摆放在激光区域内，确保棋盘格的边平行于矩形区域的边，并且在相机的可视视野内，如图3所示；

4.2采集每个相机视野内的棋盘格图像；

4.3测量此时棋盘格图像左上角在车辆坐标系下的坐标p1-p8；

4.4已知每个棋盘格的实际尺寸，推算出棋盘格上每个角点在车辆坐标系下的坐标。

步骤5：计算棋盘格图像坐标系下的角点坐标

5.1先对棋盘格图像进行畸变矫正，图4为畸变矫正后的棋盘格图像；

5.2提取图像中的角点坐标

采用开源视觉算法库opencv中的findChessboardCorners()和cornerSubPix()提取图像中的棋盘格角点坐标。

步骤6：计算投影变换矩阵

本发明提出一种图像投影到地面的方法，克服了传统方法采用畸变矫正和单应映射造成的图像视角的损失。

6.1虚拟相机内参矩阵

假设汽车正上方有一个虚拟相机，其光轴垂直于地平面π，拍摄得到车身周围的鸟瞰图。根据摄像机视野范围等参数，可以得出此虚拟摄像机的内参数。图5是虚拟相机成像模型图。图6是虚拟鸟瞰示意图。

设虚拟相机满足针孔投影模型，则其内参矩阵如下：

其中，

u₀＝(W-1)*0.5

v₀＝(H-1)*0.5

则f_x＝(w₀*d)/W，f_y＝(w₁*d)/H；给定一个d就有给定的f_x和f_y，u₀、v₀分别为X、Y方向平移的距离，f_x、f_y分别为焦距f在X、Y方向的投影，W、H分别为虚拟鸟瞰图的宽度、长度，w₀、w₁分别为相机物理平面的宽度、长度，d为虚拟相机距地平面的高度。

6.2相机图像到虚拟相机图像的变换

Step1.通过pnp算法计算平面相对于斜视相机和虚拟相机的位姿，包括计算地平面π相对于虚拟相机的旋转矩阵R₁和平移向量t₁，以及地平面π相对于右前相机的旋转矩阵R₂和平移向量t₂。

Step2.计算两个相机的转换关系，图7为安装在车辆右前位置的相机与虚拟相机间的示意图。

X₁＝R₁*X_w+t₁

X₂＝R₂*X_w+t₂

则X₂＝R₂*R₁ ^-1*X₁+t₂-R₂*R₁ ^-1*t₁

Step3.计算投影矩阵，图8为同一平面在两个相机间的原理图。

设地平面π在虚拟相机坐标系下的单位法向量为N，其到虚拟相机中心(坐标原点)的距离为d，则地平面π可表示为：

已知两个相机坐标的变换关系：

X₂＝RX₁+T

则有同一平面在两个不同相机坐标系下的位置关系

Step4.计算同一平面在两个相机图像坐标下的位置关系

x₁＝K₁X₁，x₂＝K₂X₂

设鸟瞰图像坐标系P_r上坐标为(u,v,1)，相机图像坐标系P_L上坐标为(x,y,1)，则

P_r＝HP_L

步骤7：获取拼接效果图，如图9所示。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (4)

1.一种汽车鸟瞰全景图生成方法，其特征在于，包括如下步骤：

步骤1，选择一标定区域，在该标定区域内用多个线激光器打上5条标记线，其中4条组成一矩形激光器区域，另外1条为该矩形激光器区域长边的中心线；

步骤2，在汽车的左前、右前、左后、右后、车前、车后、车左和车右八个位置，每个位置安装1个相机，8个相机总的视野范围覆盖车身周围360度，且相邻两个相机的视野范围存在重叠部分；

步骤3，将汽车移动到矩形激光器区域的中心，建立车辆坐标系，计算矩形激光器区域的四个顶点以及该矩形激光器区域两条长边的中点在车辆坐标系下的坐标；

步骤4，在每个相机的视野范围内摆放棋盘格，并采集各相机视野范围内的棋盘格图像，计算棋盘格上各角点在车辆坐标系下的坐标；

步骤5，根据采集的棋盘格图像，计算图像坐标系下各角点的坐标；

步骤6，计算各棋盘格图像对应的投影变换矩阵，根据投影变换矩阵将棋盘格图像转换为鸟瞰图像；具体过程如下：

步骤6.1，在汽车正上方设置一虚拟相机，其光轴垂直于地平面π，通过虚拟相机拍摄得到车身周围的虚拟鸟瞰图，设定虚拟相机满足针孔投影模型，则其内参矩阵K₁如下：

其中，u₀＝(W-1)*0.5，v₀＝(H-1)*0.5，f_x＝(w₀*d)/W，f_y＝(w₁*d)/H，u₀、v₀分别为X、Y方向平移的距离，f_x、f_y分别为焦距f在X、Y方向的投影，W、H分别为虚拟鸟瞰图的宽度、长度，w₀、w₁分别为相机物理平面的宽度、长度，d为虚拟相机距地平面的高度；

步骤6.2，计算各棋盘格图像对应的投影变换矩阵，根据投影变换矩阵将棋盘格图像转换为鸟瞰图像；具体为：

Step1，当棋盘格图像为安装在汽车右前位置的相机所采集的图像时，通过pnp算法计算地平面π相对于虚拟相机的旋转矩阵R₁和平移向量t₁，以及地平面π相对于右前相机的旋转矩阵R₂和平移向量t₂；

Step2，计算虚拟相机与右前相机的转换关系：

X₁＝R₁*X_w+t₁

X₂＝R₂*X_w+t₂

则其中，X₁、X₂分别为虚拟相机、右前相机坐标系下的棋盘格角点坐标，X_w为车辆坐标系下的棋盘格角点坐标；

Step3，设定地平面π在虚拟相机坐标系下的单位法向量为N，则

已知X₂＝RX₁+T，则地平面π在虚拟相机和右前相机坐标系下的位置关系为：

其中，

Step4，已知x₁＝K₁X₁，x₂＝K₂X₂，其中，K₂为右前相机内参矩阵，x₁、x₂分别为虚拟相机、右前相机图像坐标系下的棋盘格角点坐标，则

则投影变换矩阵为根据投影变换矩阵将棋盘格图像转换为鸟瞰图像P_r＝HP_L，其中，P_r为鸟瞰图像坐标系下的棋盘格角点坐标，P_L为右前相机图像坐标系下的棋盘格角点坐标；

步骤7，将所有的鸟瞰图像拼接起来得到汽车鸟瞰全景图。

2.根据权利要求1所述汽车鸟瞰全景图生成方法，其特征在于，所述步骤3的具体过程如下：

步骤3.1，将汽车移动到矩形激光器区域的中心，并确保车头中心与矩形激光器区域其中一条长边的中点对齐，车尾中心与矩形激光器区域另一条长边的中点对齐；

步骤3.2，以汽车中心点为车辆坐标系的中心，汽车中心点往右为X轴正方向，汽车中心点往上为Y轴正方向，建立车辆坐标系；

步骤3.3，计算矩形激光器区域的四个顶点以及该矩形激光器区域两条长边的中点在车辆坐标系下的坐标。

3.根据权利要求1所述汽车鸟瞰全景图生成方法，其特征在于，所述步骤4的具体过程如下：

步骤4.1，在每个相机的视野范围内摆放一3*4的棋盘格，并确保棋盘格的长边与矩形激光器区域的长边平行；

步骤4.2，采集每个相机视野范围内的棋盘格图像，并测量各棋盘格图像左上角在车辆坐标系下的坐标；

步骤4.3，根据棋盘格的实际尺寸，推算得到棋盘格各角点在车辆坐标系下的坐标。

4.根据权利要求1所述汽车鸟瞰全景图生成方法，其特征在于，所述步骤5的具体过程如下：

步骤5.1，对采集的棋盘格图像进行畸变矫正；

步骤5.2，利用开源视觉算法库opencv中的findChessboardCorners()和cornerSubPix()，提取畸变矫正后的图像中的棋盘格角点坐标。