CN105825475B - 基于单摄像头的360度全景影像生成方法 - Google Patents

Abstract

本发明公开了一种基于单摄像头的360度全景影像生成方法，主要解决目前实现车载360度全景影像的方法需要4个摄像头的问题。其技术方案是：1.通过摄像机标定，求解将图像变换为顶视图的单应性变换矩阵M；2.将每帧图像转换为顶视图，并对每帧转换后的顶视图进行特征点检测与匹配；3.求解相邻帧间的旋转矩阵和平移向量，实现顶视图拼接；4.判断拍摄是否停止，若拍摄未停止，则返回步骤2，若拍摄停止，则停止循环，在车辆行驶多于一个车身的距离后，得到车身周围360度的动态全景影像。本发明具有成本低廉、安装简便的优点，实现了使用单个摄像头获得360度全景影像的功能，鲁棒性高，可用于行车或泊车时对车辆周围情况的观察。

Description

基于单摄像头的360度全景影像生成方法

技术领域

本发明属于图像处理技术领域，涉及一种实现360度全景影像的方法，可用于行车或泊车时对车辆周围情况的观察。

背景技术

随着社会的发展，汽车以每天上万辆的数量在飞速增长，相应地，驾驶员的数量也在日益增加。道路的拥挤，停车位的狭窄给很多本就是新手的驾驶员带来了各种各样的难题，驾驶员行车安全问题越来越受人关注。行车安全问题不仅仅关系到对车辆的保护，行车中出现的意外情况还容易引发一系列城市管理问题，甚至威胁到驾驶员以及他人的生命安全。

目前针对行车安全，市面上提出了各种各样的科技手段，在车上加装测量仪器来辅助驾驶员安全行车。其中基于加装摄像头的主要有泊车时后视摄像头，用于行车记录的前视摄像头和用于生成360度全景的多摄像头。基于车载多摄像头生成360度全景影像是近年来的新技术，该技术一般是使用4个摄像头，安装到车头、车尾以及车身两侧，将四个摄像头采集到的影像数据利用图像处理技术进行拼接，将图像置为顶视图，形成一个360度全景影像。该全景影像便于驾驶员对车身周围的情况进行判断，也在行车、泊车时给驾驶员提供了便利。然而，由于借助了四个摄像头,这个系统存在以下问题：

1)由于使用多个摄像头，整个系统成本较高；

2)因为要将摄像头固定到车辆的前后左右，需要拆装车的部分外壳以供走线，所以安装困难，特别是左右摄像头安装时，需要破坏部分车身；

3)多摄像头的参数在使用一段时间后，由于硬件老化程度不一致或个别产生位移，就会出现画面畸变，拼接处出现无法对齐等问题。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于单摄像头的360度全景影像生成方法，以减小成本，简化安装，降低由于摄像头不一致对画面效果造成的不良影响。

实现本发明目的的技术方案如下：

(1)使用一个车载前摄像头或后摄像头，并用定标板对摄像头采集到的图像进行标定，得到摄像头的内参矩阵K和畸变系数D；

(2)将定标板平置在地面之上，利用摄像机拍摄一幅包含定标板的混合图像，检测该混合图像上的定标板角点，并定义一个顶视图坐标系以及该坐标系下对应定标板角点的点集，计算检测到的定标板角点投影到顶视图坐标系下的对应点的单应性变换矩阵M；

(3)利用步骤(1)和步骤(2)结果，在车辆行驶时对摄像头采集的每帧图像进行转换，得到每帧图像转换后的顶视图；

(4)对每帧图像转换后的顶视图进行特征点检测：若检测的当前帧是第一帧，则直接执行步骤(5b)，否则，将检测到的特征点与前一帧图像的特征点进行匹配，求解两相邻帧在顶视图坐标系下的旋转矩阵R和平移向量t，执行步骤5a)；

(5)顶视图拼接：

5a)根据步骤(4)求得的旋转矩阵R和平移向量t，将顶视图与新采集到的图像的顶视图拼接形成新的顶视图，并进行保存；

5b)在新的顶视图中，将当前帧的顶视图部分保留为彩色，其余部分为灰色图像；

5c)将汽车模型图案显示在屏幕中，使生成的顶视图与当前车身所在位置相对应；

(6)循环执行步骤(3)到步骤(5)，在车辆行驶多于一个车身的距离后，得到车身周围360度的动态全景影像，直到拍摄停止。

本发明与现有技术相比，具有以下优点：

第一，本发明使用图像处理技术，有别于普通单摄像头系统只能看到车头或车尾一米左右的影像，其能够在行车或倒车过程中观察车身与周围各个方向的物体的相对位置，为驾驶员开车提供了更加可靠的参考。

第二，本发明采用一个摄像头实现360度全景影像，相比现有技术采用4个摄像头实现全景影像的方法，成本更加低廉，安装更加简便。

第三，本发明使用一个摄像头，在标定之后对单一摄像头的图像进行校正，再通过图像处理技术对图像进行拼接，解决了现有技术中由于硬件老化问题造成多个摄像头的内参和畸变系数的差别，以及使用过程中发生碰撞使摄像头外参发生改变，进而使几个摄像头的图像拼接出现误差的问题。

附图说明

图1为本发明的实现流程图；

图2为本发明中求解单应性变换矩阵M的子流程图；

图3为用本发明实验生成的全景影像示意图。

具体实施方式

下面结合附图对本发明做进一步详细说明。

参照图1，本发明具体实施方式如下：

步骤1，摄像机标定。

1.1)使用摄像机采集若干张包含定标板的采样图像，并使定标板在采样图像中呈现不同的大小和姿态，该定标板，是一种带有固定间距图案阵列的平板，其图案分为实心圆阵列图案和棋盘格图案两种，本发明中使用的是棋盘格图案的定标板；

1.2)检测每一张采样图像上定标板的角点，利用鱼眼镜头模型计算得到摄像头的内参矩阵K和畸变系数D：

D＝[d₀ d₁ d₂ d₃ d₄]^T，

其中f_x＝f/d_x为采样图像上u轴的归一化焦距，d_x表示传感器u轴上单位像素的尺寸大小，f_y＝f/d_y为采样图像上v轴的归一化焦距，d_y表示传感器v轴上单位像素的尺寸大小，f是相机的焦距，u_x和u_y表示光学中心的横坐标和纵坐标，该光学中心是摄像机光轴与图像平面的交点；d₀、d₁、d₂、d₃和d₄分别表示鱼眼镜头模型中入射光线与鱼眼相机光轴之间夹角θ的多项近似式θ_d的前5项系数。

步骤2，求解将图像变换为顶视图的单应性变换矩阵M。

参照图2，本步骤的实现如下：

2.1)将定标板平置在地面之上，利用摄像机拍摄一幅包含定标板的混合图像，如图2(a)所示；再检测该混合图像上的定标板角点，如图2(b)所示，并利用步骤1中得到的内参矩阵K和畸变系数D对混合图像进行畸变校正，得到畸变校正后混合图像上的定标板角点；

2.2)定义一个汽车顶视图所在的坐标系，即顶视图坐标系，如图2(c)所示，其中圆点表示顶视图坐标系中与检测到的定标板角点相对应的位置；

2.3)根据畸变校正后的混合图像和顶视图之间满足单应性变换关系，通过对应点的坐标，计算畸变校正后混合图像上的定标板角点投影到顶视图对应点的单应性变换矩阵M：

2.3.1)设畸变校正后混合图像上的定标板角点点集的齐次坐标矩阵为X_S＝[X_S1X_S2 … X_Si … X_Sn]，其中X_Si是X_S的第i列，X_Si＝[x_Si y_Si 1]^T，x_Si为角点的横坐标，y_Si为纵坐标，n为检测到的角点数目；

2.3.2)设顶视图坐标系下与定标板角点位置对应的点集齐次坐标矩阵为X_T＝[X_T1X_T2 … X_Ti … X_Tn]，其中X_Ti是X_T的第i列，X_Ti＝[x_Ti y_Ti 1]^T，x_Ti为与角点相对应的点的横坐标，y_Ti为与角点相对应的点的纵坐标；

2.3.3)根据X_S与X_T满足单应性变换关系：X_T＝M·X_S，求解单应性变换矩阵M

推导得到：

Am＝0，

其中A是一个2n×9的矩阵,n为定标板上检测到的角点数目：

m＝[h₁₁ h₁₂ h₁₃ h₂₁ h₂₂ h₂₃ h₃₁ h₃₂ 1]^T，

其中h₁₁、h₁₂、h₁₃分别表示单应性变换矩阵M中的第1行的第1列、第2列和第3列，h₂₁、h₂₂、h₂₃分别表示单应性变换矩阵M中的第2行的第1列、第2列和第3列，h₃₁、h₃₂分别表示单应性变换矩阵M中的第3行的第1列和第2列；

2.3.4)使用奇异值分解将上述2n×9的矩阵A分解为两个正交矩阵U_A和V_A，以及一个奇异值矩阵S_A,奇异值矩阵S_A中最小的奇异值对应的第二个正交矩阵V_A中的奇异向量即为最小二乘解,也就是上述向量m的解，进而得到单应性变换矩阵M，利用单应性变换矩阵M，将摄像头采集到的图像转换到顶视图，如图2(d)所示。

步骤3，将每帧图像转换到顶视图。

利用步骤1和步骤2结果，在车辆行驶时对摄像头采集的每帧图像进行转换，得到每帧图像转换后的顶视图，该转换出来的顶视图与汽车当前的位置相对应。

步骤4，对每帧图像转换后的顶视图进行特征点检测：若检测的当前帧是第一帧，则直接执行步骤6.2)，否则，将检测到的特征点与前一帧图像的特征点进行匹配。

步骤5，求解两相邻帧在顶视图坐标系下的旋转矩阵R和平移向量t。

根据顶视图坐标系下只存在旋转和平移，且旋转只有一个自由度，平移只有两个自由度的关系，根据步骤4中匹配到大量特征点对，使用最小二乘的方法求解两相邻帧的旋转矩阵R和平移向量t，以降低噪声和匹配错误点的对结果造成的影响。其实现步骤如下：

5.1)设前一帧匹配的点集坐标为X_P＝[X_P1 X_P2 … X_Pi … X_Pm]，其中X_Pi是点集坐标X_P的第i列，X_Pi＝[x_Pi y_Pi]^T，x_Pi为匹配到的特征点在前一帧图像中的横坐标，y_Pi为纵坐标，m为匹配的点数；

5.2)设当前帧匹配的点集坐标为X_C＝[X_C1 X_C2 … X_Ci … X_Cm]，其中X_Ci是点集坐标X_C的第i列，X_Ci＝[x_Ci y_Ci]^T,x_Ci为匹配到的特征点在当前帧图像中的横坐标，y_Ci为纵坐标；

5.3)根据X_P和X_C满足旋转和平移关系：X_C＝R·X_P+t，求解旋转矩阵R和平移向量t

其中θ为前一帧图像到当前帧图像的旋转角度，t_x和t_y分别为前一帧图像与当前帧图像位移的横坐标和纵坐标；

对方程组X_C＝R·X_P+t进行推导，得到齐次线性方程组：

Bn＝0，

其中B是一个2m×7的矩阵，m为当前帧图像与前一帧图像特征点匹配的数目，

n＝[cosθ sinθ -sinθ cosθ t_x t_y 1]^T，

5.4)使用奇异值分解将上述2m×7的矩阵B分解为两个正交矩阵U_B和V_B，以及一个奇异值矩阵S_B,奇异值矩阵S_B中最小的奇异值对应的第二个正交矩阵V_B中的奇异向量即为最小二乘解,也就是上述向量n的解，进而得到旋转矩阵R和平移矩阵t。

步骤6，顶视图拼接。

6.1)根据步骤4求得的旋转矩阵R和平移矩阵t，将顶视图与新采集到的图像的顶视图拼接形成新的顶视图，并进行保存；

6.2)在新的顶视图中，将当前帧的顶视图部分保留为彩色，其余部分为灰色图像；

6.3)将汽车模型图案显示在屏幕中，使生成的顶视图与当前车身所在位置相对应。

步骤7，生成360度全景影像。

循环执行步骤3到步骤6，在车辆行驶多于一个车身的距离后，得到车身周围360度的动态全景影像，直到拍摄停止。

循环执行步骤3到步骤6生成全景影像的过程，如图3所示，其中：

图3(a)是摄像头采集到第一帧图像，并进行畸变校正后的结果；

图3(d)是与图3(a)相对应的转换为顶视图的结果；

图3(b)是车辆行驶了一段距离后摄像头采集到的图像；

图3(e)是与图3(b)相对应的转换为顶视图后与之前保存的顶视图拼接后的结果图中当前帧的顶视图部分保留为彩色，其余部分为灰色图像；

图3(c)是车辆行驶多于一个车身的距离后摄像头采集到的图像；

图3(f)是与图3(c)相对应的转换为顶视图后与之前保存的顶视图拼接后的结果，图3(f)显示了车身周围360度的全景影像及汽车模型图案，全景影像及汽车模型的相对位置与当前车身在真实场景中的位置相对应。

Claims (3)

1.一种基于单摄像头的360度全景影像生成方法，其特征在于包括：

(1)使用一个车载前摄像头或后摄像头，并用定标板对摄像头采集到的采样图像进行标定，得到摄像头的内参矩阵K和畸变系数D；

(2)将定标板平置在地面之上，利用摄像机拍摄一幅包含定标板的混合图像，并检测该混合图像上的定标板角点,利用步骤(1)中得到的内参矩阵K和畸变系数D对混合图像进行畸变校正，进而得到畸变校正后混合图像上的定标板角点,定义一个顶视图坐标系以及该坐标系下对应定标板角点的点集；

(3)计算畸变校正后混合图像上的定标板角点投影到顶视图坐标系下的对应点的单应性变换矩阵M：

(3a)设畸变校正后混合图像上的定标板角点点集的齐次坐标矩阵为X_S＝[X_S1 X_S2 …X_Si … X_Sn]，其中X_Si是X_S的第i列，X_Si＝[x_Si y_Si 1]^T，x_Si为角点的横坐标，y_Si为纵坐标，n为检测到的角点数目；

(3b)设顶视图坐标系下与定标板角点位置对应的点集齐次坐标矩阵为X_T＝[X_T1 X_T2 …X_Ti … X_Tn]，其中X_Ti是X_T的第i列，X_Ti＝[x_Ti y_Ti 1]^T，x_Ti为与角点相对应的点的横坐标，y_Ti为与角点相对应的点的纵坐标；

(3c)根据X_S与X_T满足单应性变换关系：X_T＝M·X_S，求解单应性变换矩阵M

推导得到：

Am＝0，

其中A是一个2n×9的矩阵,n为定标板上检测到的角点数目：

m＝[h₁₁ h₁₂ h₁₃ h₂₁ h₂₂ h₂₃ h₃₁ h₃₂ 1]^T，

其中h₁₁、h₁₂、h₁₃分别表示单应性变换矩阵M中的第1行的第1列、第2列和第3列，h₂₁、h₂₂、h₂₃分别表示单应性变换矩阵M中的第2行的第1列、第2列和第3列，h₃₁、h₃₂分别表示单应性变换矩阵M中的第3行的第1列和第2列；

(3d)使用奇异值分解将上述2n×9的矩阵A分解为两个正交矩阵U_A和V_A，以及一个奇异值矩阵S_A,奇异值矩阵S_A中最小的奇异值对应的第二个正交矩阵V_A中的奇异向量即为最小二乘解,也就是上述向量m的解，进而得到单应性变换矩阵M；

(4)利用步骤(1)和步骤(3)的结果，在车辆行驶时对摄像头采集的每帧图像进行转换，得到每帧图像转换后的顶视图；

(5)对每帧图像转换后的顶视图进行特征点检测：若检测的当前帧是第一帧，则直接执行步骤(6b)，否则，将检测到的特征点与前一帧图像的特征点进行匹配，求解两相邻帧在顶视图坐标系下的旋转矩阵R和平移向量t，执行步骤6a)；

(6)顶视图拼接：

6a)根据步骤(5)求得的旋转矩阵R和平移向量t，将顶视图与新采集到的图像的顶视图拼接形成新的顶视图，并进行保存；

6b)在新的顶视图中，将当前帧的顶视图部分保留为彩色，其余部分为灰色图像；

6c)将汽车模型图案显示在屏幕中，使生成的顶视图与当前车身所在位置相对应；

(7)循环执行步骤(4)到步骤(6)，在车辆行驶多于一个车身的距离后，得到车身周围360度的动态全景影像，直到拍摄停止。

2.根据权利要求1所述的基于单摄像头的360度全景影像生成方法，其特征在于：骤(1)中用定标板对摄像头采集到的采样图像进行标定，按如下步骤进行：

(1a)使用摄像头采集若干张包含定标板的采样图像，并使定标板在采样图像中呈现不同的大小和姿态；

(1b)对采样图像中的定标板进行角点检测，利用鱼眼镜头模型计算得到摄像头的内参矩阵K和畸变系数D:

D＝[d₀ d₁ d₂ d₃ d₄]^T，

其中f_x＝f/d_x，f_y＝f/d_y，分别称为采样图像上u轴和v轴上的归一化焦距；f是相机的焦距，d_x和d_y分别表示传感器u轴和v轴上单位像素的尺寸大小，u_x和u_y表示光学中心坐标，即摄像机光轴与图像平面的交点；d₀、d₁、d₂、d₃和d₄分别表示鱼眼镜头模型中入射光线与鱼眼相机光轴之间夹角θ的多项近似式θ_d的前5项系数。

3.根据权利要求1所述的基于单摄像头的360度全景影像生成方法，其特征在于：步骤(5)中求解两相邻帧在顶视图坐标系下的旋转矩阵R和平移向量t，按如下步骤进行：

(5a)设前一帧匹配的点集坐标为X_P＝[X_P1 X_P2 … X_Pi … X_Pm]，其中X_Pi是点集坐标X_P的第i列，X_Pi＝[x_Pi y_Pi]^T，x_Pi为匹配到的特征点在前一帧图像中的横坐标，y_Pi为纵坐标，m为匹配的点数；

(5b)设当前帧匹配的点集坐标为X_C＝[X_C1 X_C2 … X_Ci … X_Cm]，其中X_Ci是点集坐标X_C的第i列，X_Ci＝[x_Ci y_Ci]^T,x_Ci为匹配到的特征点在当前帧图像中的横坐标，y_Ci为纵坐标；

(5c)根据X_P和X_C满足旋转和平移关系：X_C＝R·X_P+t，求解旋转矩阵R和平移向量t

其中θ为前一帧图像到当前帧图像的旋转角度，t_x和t_y分别为前一帧图像与当前帧图像位移的横坐标和纵坐标；

对方程组X_C＝R·X_P+t进行推导，得到齐次线性方程组：

Bn＝0，

其中B是一个2m×7的矩阵，m为当前帧图像与前一帧图像特征点匹配的数目，

n＝[cosθ sinθ -sinθ cosθ t_x t_y 1]^T，

(5d)使用奇异值分解将上述2m×7的矩阵B分解为两个正交矩阵U_B和V_B，以及一个奇异值矩阵S_B,奇异值矩阵S_B中最小的奇异值对应的第二个正交矩阵V_B中的奇异向量即为最小二乘解,也就是上述向量n的解，进而得到旋转矩阵R和平移矩阵t。