CN108876719A - 基于虚拟相机模型的车辆全景图像拼接外部参数估计方法 - Google Patents

Abstract

本发明涉及基于虚拟相机模型的车辆全景图像拼接外部参数估计方法，包括步骤：(1)针对具体车辆建立虚拟相机模型，计算出虚拟相机模型的参数矩阵；将摄像头安装在车辆周围，在车身周围地面区域放置多个标记点；(2)每个摄像头拍摄一组含有标记点的图像，找出其对应的多个标记点在全景视野范围的坐标，并通过待求的外部参数矩阵将该坐标转化成当前相机坐标系下的坐标；(3)对原始图像进行畸变校正，找出标记点的图像坐标，并通过相机成像模型将其转化为对应相机坐标系下的坐标；将步骤(2)、(3)的坐标建立方程组，求解出每个摄像头的外部参数。本发明通过建立方程组得到每个摄像头外部参数的解析解简化了外部参数估计的步骤。

Description

基于虚拟相机模型的车辆全景图像拼接外部参数估计方法

技术领域

本发明属于汽车电子技术领域，具体涉及基于虚拟相机模型的车辆全景图像拼接技术。

背景技术

车辆全景图像拼接是指在车辆的周围安装多个广角或鱼眼摄像头，通常是前后左右共4个摄像头，采用图像处理的方法将多个摄像头的视频图像无缝地拼接成一幅全景视频图像。驾驶员通过全景视频图像能够直观并实时地观察车身周围的情况，极大地提高了驾驶员在复杂环境下行车的安全性。因此全景图像拼接方法的研究具有直接的现实意义。

基于虚拟相机模型的全景图像拼接方法主要是假设在车辆的正上方存在一个虚拟相机，全景图像直接由该虚拟相机生成。通过分析虚拟相机和周围摄像头的相互位置关系，利用图像变换的方法实现周围摄像头图像到虚拟相机图像映射，经过图像融合技术形成最终的全景视频。相对于对周围图像进行直接拼接的方式，基于虚拟相机模型的全景图像拼接方法具有操作上的灵活性。在基于虚拟相机模型的拼接方法中，虚拟相机和周围相机的位置关系被称为外部参数，其求解过程被称为外部参数校正或外部参数估计。参数的准确性直接影响了最终全景拼接的效果。目前传统方法是采用图像分析通过优化的方法计算该外部参数，操作复杂且稳定性不高。

发明内容

为了解决现有基于虚拟相机模型的车辆全景图像拼接技术所存在的问题，本发明提出了基于虚拟相机模型的车辆全景图像拼接外部参数估计方法，该方法在车辆周围地面区域放置标记点，通过分析摄像头校正图像与全景图像中标记点的位置关系，直接推导出外部参数的解析解，操作简便且可靠、有效地进行外部参数估计，能够改善全景拼接的效率与性能。

本发明所采用的技术方案如下：基于虚拟相机模型的车辆全景图像拼接外部参数估计方法，包括以下步骤：

(1)确定车辆全景视野范围和全景图像的尺寸，针对具体车辆建立虚拟相机模型，根据全景视野范围、全景图像的尺寸和虚拟相机的高度计算出虚拟相机模型的参数矩阵；将校正好的摄像头安装在车辆周围，在车身周围地面区域放置多个标记点；

(2)每个摄像头拍摄一组含有标记点的图像，用于计算该摄像头与虚拟相机的位置关系，即外部参数；针对每一个摄像头，找出其对应的多个标记点在全景视野范围的坐标，并通过待求的外部参数矩阵将该坐标转化成当前相机坐标系下的坐标；

(3)针对每一个摄像头，对含有标记点的原始图像进行畸变校正，在校正图像中找出标记点的图像坐标，并通过相机成像模型将标记点的图像坐标转化为对应相机坐标系下的坐标；将步骤(2)与步骤(3)得到的坐标建立方程组，求解出每个摄像头的外部参数。

优选地，步骤(2)中，全景视野范围的坐标转化为当前相机坐标系下的坐标包括三次转化：首先是全景视野范围的坐标转化为全景图像齐次坐标，其次是全景图像齐次坐标转化为全景相机坐标系下的坐标，最后利用外部参数矩阵转化为当前相机坐标系下的坐标。

本发明的一个优选实施例中，在车身周围地面区域放置的标记点为12个或16个。待求的外部参数矩阵为一个3×3的矩阵，具有8个未知参数且第3行第3列的元素为1。在车辆的前后左右共安装四个摄像头，每个摄像头至少能够拍摄到4个标记点，每个标记点产生2个方程，4个标记点一共产生8个方程；将8个方程组成线性方程组，求解出所述待求的外部参数矩阵的8个未知参数。

本发明相对于现有技术具有如下的有益效果：

1、首先，本发明通过标记点坐标分析分别地对每个摄像头外部参数进行估计，能够提高全景图像拼接的灵活性。其次，本发明提出的外部参数估计方法具有解析解，能够极大地提高计算效率以及图像拼接的准确性。

2、本发明巧妙地利用摄像头的校正图像作为原始图像和全景视野坐标转化的桥梁，并通过建立方程组得到每个摄像头外部参数的解析解，极大低简化了外部参数估计的步骤，同时提高其精确性，从而提高了基于虚拟相机模型的车辆全景图像拼接效率和性能。

附图说明

图1为本发明外部参数估计方法的流程框架示意图；

图2为本发明标记点位置示意图，其中(a)示意了12个标记点的情形，(b)示意了16个标记点的情形；

图3为本发明虚拟相机与右侧相机坐标转换示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步的详细说明，但本发明的实施方式不限于此。

实施例

本实施例中，基于虚拟相机模型的车辆全景图像拼接外部参数估计方法，其流程框架如图1所示。具体实现包括以下步骤：

步骤1、根据实际应用情况确定车辆全景视野范围和全景图像的尺寸，假设全景图像视野范围为A×B的矩形区域，全景图像的尺寸为a×b。指定虚拟相机的高度为H，该值对计算结果影响不大，但一般取值大小与全景视野范围在一个数量级。针对具体车辆建立虚拟相机模型，根据全景视野范围、全景图像的尺寸和虚拟相机的高度计算出虚拟相机模型的参数矩阵为：

其中u₀＝(a-1)×0.5，v₀＝(b-1)×0.5。

根据具体车辆大小选择摄像头的个数以满足全景图像拼接的要求，一般小型轿车在前后左右共安装4个鱼眼摄像头即可，下面以4个摄像头的情况进行说明。首先将鱼眼摄像头通过鱼眼畸变校正的方法得到相机参数和畸变系数，然后将校正好的摄像头安装在车辆周围合适位置。在车辆周围地面区域放置12个标记点，如图2(a)所示，这些标记点必须在全景视野范围内且每个鱼眼摄像头至少能够拍摄到4个标记点，有部分标记点为公共点。也可以在车辆周围放置16个标记点，如图2(b)所示，这样更加保证每个鱼眼摄像头能够至少拍摄4个标记点。

步骤2、摄像头安装好并且标记点放置完成后，每个摄像头拍摄一组含有标记点的图像，用于后续计算相应摄像头与虚拟相机的位置关系，即外部参数。

对每个摄像头分别单独计算其外部参数。针对每一个摄像头，找出其对应4个标记点在全景视野范围的坐标，并通过其待求的外部参数矩阵将该坐标转为当前相机(即对应摄像头)坐标系下的坐标。

由于每个摄像头与虚拟相机的位置关系是单独计算的，下面以车辆右方摄像头为例来说明：以全景视野区域的左上角为原点建立直角坐标系，水平向右为X轴，水平向下为Y轴。记录右方摄像头对应的4个标记点在全景视野区域的坐标。如图3所示，假设其中一个点P的坐标为(x,y)，根据全景视频与全景图像的比例关系，可以得到该点在全景图像中的齐次坐标为：

根据相机成像模型，可以得到该点在全景相机坐标系下的坐标为：

其中inv(K)表示虚拟相机参数矩阵K的逆矩阵。假设待求的外部参数矩阵为Rt，即右侧相机相对于虚拟相机的旋转平移矩阵。则P点在右侧相机坐标系下的坐标可以表示为：

步骤3、针对每一个摄像头，对含有标记点的原始鱼眼图像进行畸变校正，在校正图像中找出标记点的图像坐标，并通过相机成像模型将4个标记点的图像坐标转化为对应相机坐标系下的坐标；将步骤2与步骤3得到的坐标建立方程组，求解出每个摄像头的外部参数。

本步骤对含有标记点的原始鱼眼图像进行校正后，校正图像中仍然能找到4个标记点的位置，且不能有3个以上的点共线。

继续以车辆右方摄像头为例进行说明：从右侧摄像头的畸变图像中得到P点在右侧相机坐标系下的坐标。首先对原始的鱼眼图像进行畸变校正，然后在校正后的图像中找出P点的像素坐标，记作为(p₁,p₂)，根据相机成像模型，可以得到以下关系：

其中，K_A为右侧摄像机模型的参数矩阵，经过通用的摄像头校正即可以得到，其表示为：

现假设待求的外部参数矩阵的形式为：

将(3)式代入(4)式有：

s₃·p＝K_A·Rt·v, (7)

其中s₃＝r₃₁v₁+r₃₂v₂+v₃，将(7)式进行展开得到：

进一步化简得：

将上面等式写成矩阵的形式：

上面矩阵方程中，只有外部参数矩阵Rt(表示成列向量)为未知参数，且Rt有8个未知数。如(10)式所示，每个点能够提供2个方程，因此利用4个点可以求解出右侧摄像头相对于虚拟相机的外部参数矩阵Rt。

也就是说，按同样的方式对其他三个标记点建立相应方程，每个标记点产生2个方程，四个标记点一共产生8个；将8个方程组成线性方程组，假设其形式为：

A[r₁₁ r₁₂ r₁₃ r₂₁ r₂₂ r₂₃ r₃₁ r₃₂]^T＝b, (11)

其中A为系数矩阵，可以直接计算出解析解：

[r₁₁ r₁₂ r₁₃ r₂₁ r₂₂ r₂₃ r₃₁ r₃₂]^T＝inv(A)·b. (12)

对解向量进行重排即得到外部参数矩阵Rt。

得到外部参数矩阵Rt，则可以实现右侧畸变图像到全景图像的映射。采用相同的方式，可以实现周围其他摄像头图像到全景图像的转换，通过现有的图像融合和光照归一化技术可以实现全景图像的生成。

以上所述，仅为本发明专利发明较佳/优选的实施方式，但发明专利的保护范围不局限于此，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围内。

Claims (6)

1.基于虚拟相机模型的车辆全景图像拼接外部参数估计方法，其特征在于，包括以下步骤：

(1)确定车辆全景视野范围和全景图像的尺寸，针对具体车辆建立虚拟相机模型，根据全景视野范围、全景图像的尺寸和虚拟相机的高度计算出虚拟相机模型的参数矩阵；将校正好的摄像头安装在车辆周围，在车身周围地面区域放置多个标记点；

(2)每个摄像头拍摄一组含有标记点的图像，用于计算该摄像头与虚拟相机的位置关系，即外部参数；针对每一个摄像头，找出其对应的多个标记点在全景视野范围的坐标，并通过待求的外部参数矩阵将该坐标转化成当前相机坐标系下的坐标；

(3)针对每一个摄像头，对含有标记点的原始图像进行畸变校正，在校正图像中找出标记点的图像坐标，并通过相机成像模型将标记点的图像坐标转化为对应相机坐标系下的坐标；将步骤(2)与步骤(3)得到的坐标建立方程组，求解出每个摄像头的外部参数。

2.根据权利要求1所述的车辆全景图像拼接外部参数估计方法，其特征在于，假设全景图像视野范围为A×B的矩形区域，全景图像的尺寸为a×b，虚拟相机的高度为H，虚拟相机模型的参数矩阵为：

其中u₀＝(a-1)×0.5，v₀＝(b-1)×0.5。

3.根据权利要求1所述的车辆全景图像拼接外部参数估计方法，其特征在于，步骤(2)中，全景视野范围的坐标转化为当前相机坐标系下的坐标包括三次转化：首先是全景视野范围的坐标转化为全景图像齐次坐标，其次是全景图像齐次坐标转化为全景相机坐标系下的坐标，最后利用外部参数矩阵转化为当前相机坐标系下的坐标。

4.根据权利要求1所述的车辆全景图像拼接外部参数估计方法，其特征在于，在车身周围地面区域放置的标记点为12个或16个。

5.根据权利要求1所述的车辆全景图像拼接外部参数估计方法，其特征在于，所述待求的外部参数矩阵为一个3×3的矩阵，具有8个未知参数且第3行第3列的元素为1。

6.根据权利要求5所述的车辆全景图像拼接外部参数估计方法，其特征在于，在车辆的前后左右共安装四个摄像头，每个摄像头至少能够拍摄到4个标记点，每个标记点产生2个方程，4个标记点一共产生8个方程；将8个方程组成线性方程组，求解出所述待求的外部参数矩阵的8个未知参数。