CN104504677A - 一种基于可变视角的图像生成方法 - Google Patents

Abstract

本发明公开了一种基于可变视角的图像生成方法，用于根据实际的视角需求，进行图像显示。本发明方法先通过多台不同视角的摄像机进行图像采集；其次，标定摄像机的参数并对采集的图像进行畸变矫正；然后，根据指定的视角需求，进行图像遍历，求取所需显示图像的像素值；最后，系统遍历结束。本发明的基于可变视角的图像生成方法对硬件设备要求低，过程简单易行，根据实际视角的需求，生成任意指定视角下的虚拟摄像机图像，实用性强。

Description

一种基于可变视角的图像生成方法

技术领域

本发明属于数字图像处理领域，具体涉及一种基于可变视角的图像生成方法。

背景技术

随着经济的高速发展和人们生活水平的不断提高，汽车已经成为人们生活中的重要组成部分和主要的交通工具。人们对汽车的需求越来越大，使得我国私家车的拥有量呈逐年上升的趋势，由此引发了一系列的交通安全问题，我国的交通事故也已跃居全球首位，汽车安全问题亟待解决。

为了解决这些交通安全问题，我们不仅需要关注各种交通安全法规的制定，同时也应该关注智能交通系统、智能汽车以及汽车辅助驾驶等技术的研究。因为，在众多的交通事故中，大多数是因为驾驶员的一些不规范操作引起。而这些不规范操作并不是因为驾驶员的主观因素造成，只是由于驾驶员存在一定的视觉盲区，导致无法全方位观察车辆周围的路况引起。在汽车行驶过程中，驾驶员只能同时关注一个方向，可视范围受限，稍不注意其他方向就有可能发生交通事故。为此，如何解决驾驶员的视觉盲区，为驾驶员提供一个全方位360度的视觉信息，成为当前汽车辅助驾驶技术领域的研究热点。

随着图像处理和计算机视觉技术的快速发展，越来越多的技术被应用到汽车电子领域。传统的基于图像的辅助驾驶系统只是在汽车车尾安装摄像头，只能覆盖车尾周围有限的区域，而车辆两侧和车头的盲区增加了车辆安全驾驶的隐患。同时，一些现有的全景视觉技术虽然能够解决驾驶员的盲区问题，但是其大多采用全景鸟瞰图的生成方法，无法根据驾驶员的喜好和要求，进行指定视角的显示全景图像。

因此，需要一种基于可变视角的图像生成方法以解决上述问题。

发明内容

本发明的目的是针对现有技术的辅助驾驶系统视野范围有限、存在视野盲区以及无法根据驾驶员需求显示指定视角图像的不足，提供一种基于可变视角的图像生成方法。

为实现上述发明目的，本发明基于可变视角的图像生成方法可采用如下技术方案：

一种基于可变视角的图像生成方法，包括以下步骤：

1)、安装不同视角的摄像机C_i，其中，i＝1，2，…n；

2)、对步骤1)中的摄像机进行标定，并计算摄像机的畸变参数，其中，畸变参数包括径向畸变系数和切向畸变系数；

3)、根据步骤2)得到的摄像机的畸变参数，分别对每台摄像机拍摄的原始图像进行畸变矫正，得到畸变矫正后的图像，其中，原始图像坐标和畸变矫正后的图像坐标的关系为：

$\left\{\begin{array}{c}{x}^{\′}=x(1+k_1{r}^2+k_2{r}^4)+{2p}_1\mathrm{xy}+p_2(r^2+{2x}^2)\\ y^{\′}=y(1+k_1{r}^2+k_2{r}^4)+2p_2\mathrm{xy}+p_1(r^2+{2y}^2)\end{array}\right.$

其中，r²＝x²+y²；k₁、k₂和k₃为径向畸变系数，p₁和p₂为切向畸变系数，(x′，y′)为原始图像坐标，(x，y)为矫正后的图像坐标；

4)、确定虚拟摄像机的视角以及在世界坐标系中的位置；

5)、确定虚拟摄像机图像的遍历点在虚拟摄像机的图像坐标系下的坐标(m，n)；

6)、根据虚拟摄像机的图像坐标系和世界坐标系之间的坐标变换关系，计算虚拟摄像机的像素点坐标(m，n)对应的世界坐标系中的像素点坐标(X，Y)，其中：

$\left\{\begin{array}{c}X=\sqrt{h^2+Y^2}\frac{2m\tan \mathrm{\β}}{W}\\ Y=h\frac{H\cot \mathrm{\γ}+2n\tan \mathrm{\β}}{H-2ytcot\mathrm{\γ}\tan \mathrm{\β}}\end{array}\right.$

其中，X和Y分别表示虚拟摄像机的像素点在世界坐标系中的横坐标和纵坐标；m和n分别表示虚拟摄像机的像素点在虚拟摄像机的图像坐标系中的横坐标和纵坐标；H和W分别表示虚拟摄像机图像的长和宽；h表示虚拟摄像机的安装高度；2α表示虚拟摄像机的水平视场角；2β表示虚拟摄像机的垂直视场角；γ表示虚拟摄像机的安装俯仰角；

7)、根据摄像机的图像坐标系和世界坐标系之间的坐标变换关系，分别计算步骤6)得到的世界坐标系中的像素点坐标(X，Y)对应的所有摄像机的图像坐标系中的坐标(x_i，y_i)，其中；

$\left\{\begin{array}{c}{x}_i=\frac{{\mathrm{XW}}_i}{2\tan {\mathrm{\β}}_i\sqrt{{h_i}^2+Y^2}}\\ y_i=\frac{H_i(Y-h_i\tan {\mathrm{\γ}}_i)}{2\tan {\mathrm{\β}}_i(Y\tan {\mathrm{\γ}}_i+h_i)}\end{array}\right.$

其中，X和Y分别表示虚拟摄像机的像素点在世界坐标系中的横坐标和纵坐标；x_i和y_i分别表示世界坐标系中像素点(X，Y)在第i个摄像机的图像坐标系中的横坐标和纵坐标；H_i和W_i分别表示第i个摄像机图像的长和宽；h_i表示第i个摄像机的安装高度；2α_i表示第i个摄像机的水平视场角；2β_i表示第i个摄像机的垂直视场角；γ_i表示第i个摄像机的安装俯仰角；

8)、依次判断坐标(x_i，y_i)是否在第i个摄像机的图像范围内，如果在，则将第i个摄像机的像素点(x_i，y_i)对应的像素值赋予虚拟摄像机的像素点(m，n)；

9)、将虚拟摄像机的遍历点的坐标(m，n)修改为下一个像素点的坐标；

10)、重复步骤6)-9)直到虚拟摄像机的图像上所有的像素点均遍历结束。

更进一步的，步骤1)中摄像机为广角摄像机。广角摄像机的视野比较宽广，容易实现360度全景拍摄。

更进一步的，步骤1)中摄像机的数量为4个。四个摄像机即可实现360度全景拍摄。

更进一步的，相邻摄像机的图像之间均具有重叠区域。确保最后拍摄融合的图像没有视觉盲区。

更进一步的，步骤1)中摄像机均匀分布在同一位置的四周。

更进一步的，所述虚拟摄像机的视角包括水平视场角、垂直视场角和俯仰角。

有益效果：本发明的基于可变视角的图像生成方法对硬件设备要求低，过程简单易行，根据实际视角的需求，生成任意指定视角下的虚拟摄像机图像，实用性强。

附图说明

图1是本发明的基于可变视角的图像生成方法的流程图；

图2是实施例1的广角摄像机安装位置示意图；

图3是世界坐标系、摄像机坐标系和图像坐标系示意图；

图4是虚拟摄像机与汽车位置关系示意图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

实施例1:

请参阅图1所示

步骤1：在本实例中采用四个摄像机C_i，其中，i＝1,2,3,4为摄像机的编号。摄像机安装位置和拍摄区域如图2所示，要求各相邻摄像机之间应具有一定的公共区域，确保拍摄的图形没有视觉盲区。

步骤2：对步骤1中的摄像机进行标定，计算摄像机的内部参数和广角镜头的畸变参数；

利用张征友在论文“一种灵活用于相机标定的新方法”(Zhang,Z.Y.Aflexible new technique for camera calibration.IEEE Transactions onPattern Analysis and Machine Intelligence,vol.22,no.11,pp.330-1334,2000.)中公开的镜头参数标定方法，对步骤1中的摄像机镜头进行标定，得到摄像机的内部参数M_i和畸变参数K_i。当然，也可以利用现有技术中通用的其他相机标定方法对摄像机进行标定。

步骤3：根据步骤2得到的摄像机的内部参数M_i和畸变参数K_i，对四台摄像机拍摄的原始图片I_i进行畸变矫正，得到畸变矫正后的图像

根据布朗提出的铅垂模型，畸变图像和无畸变图像(即畸变矫正后的图像)坐标的对应关系为：

$\left\{\begin{array}{c}{x}^{\′}=x(1+k_1{r}^2+k_2{r}^4)+{2p}_1\mathrm{xy}+p_2(r^2+{2x}^2)\\ y^{\′}=y(1+k_1{r}^2+k_2{r}^4)+2p_2\mathrm{xy}+p_1(r^2+{2y}^2)\end{array}\right.$

其中，r²＝x²+y²；k₁，k₂，k₃为径向畸变系数，p₁，p₂为切向畸变系数，(x′，y′)为畸变图像坐标，(x，y)为矫正后的图像坐标。

步骤4：确定虚拟摄像机的视角以及在世界坐标系中的位置。虚拟摄像机的视角包括水平视场角、垂直视场角和俯仰角。请参阅图4所示，虚拟摄像机与汽车的位置关系。其中，虚拟摄像机需在汽车的上方。在算法实现过程中，可根据驾驶员的需求进行指定虚拟相机的位置、水平视场角、垂直视场角以及俯仰角。

步骤5：确定虚拟摄像机图像的遍历初始点在虚拟摄像机的图像坐标系中的坐标(m,n)；

步骤6：根据虚拟摄像机的图像坐标系和世界坐标系之间的坐标变换关系，利用摄像机视场角、俯仰角、安装位置和拍摄图像像素大小等参数，计算遍历点(m,n)对应的世界坐标(X,Y)；

世界坐标系O-XYZ、摄像机坐标系S-XYZ和图像坐标系o’-xy之间的位置关系如图3所示，SX为摄像机的光轴，光轴与成像平面的交点为图像的中心点o’。其中，在本实施例中，世界坐标系原点O位于车辆前轴的中心位置，X轴平行于水平面向前，Z轴垂直于水平面向上，Y轴符合右手定则；摄像机坐标系的原点S位于摄像机的光心位置，SX轴沿着摄像机的光轴方向指向成像平面，SZ轴与世界坐标系的Z轴平行，SY轴符合右手定则；图像坐标系的原点o’位于光轴与图像平面的交点，即图像的无变形点位置，o’x轴沿着图像宽度的方向向右，o’y轴沿着图像高度的方向向上。

利用虚拟摄像机的图像坐标系与世界坐标系之间的投影关系，对遍历点坐标(m,n)进行计算，求取其对应的世界坐标系中的坐标(X,Y)，具体的计算公式如下：

$\left\{\begin{array}{c}X=\sqrt{h^2+Y^2}\frac{2m\tan \mathrm{\β}}{W}\\ Y=h\frac{H\cot \mathrm{\γ}+2n\tan \mathrm{\β}}{H-2ytcot\mathrm{\γ}\tan \mathrm{\β}}\end{array}\right.$

其中，X和Y分别表示遍历点在世界坐标系的横坐标和纵坐标；m和n分别表示遍历点在虚拟摄像机的图像坐标系中的横坐标和纵坐标；H和W分别表示虚拟摄像机图像的长和宽；h表示虚拟摄像机的安装高度；2α表示虚拟摄像机的水平视场角；2β表示虚拟摄像机的垂直视场角；γ表示虚拟摄像机的安装俯仰角；

步骤7：根据步骤6得到的世界坐标(X,Y)，计算坐标点(X,Y)对应的各输入图像的图像坐标(x_i，y_i)；

同样利用摄像机的图像坐标系与世界坐标系之间的投影关系，经过三角变换和公式推导，得到世界坐标系与摄像机的图像坐标系之间的对应关系：

$\left\{\begin{array}{c}{x}_i=\frac{{\mathrm{XW}}_i}{2\tan {\mathrm{\β}}_i\sqrt{h^2+Y^2}}\\ y_i=\frac{H(Y-h\tan \mathrm{\γ})}{2\tan \mathrm{\β}(Y\tan \mathrm{\γ}+h)}\end{array}\right.$

其中，X和Y分别表示遍历点在世界坐标系中的横坐标和纵坐标；x_i和y_i分别表示世界坐标系中像素点(X，Y)在第i个摄像机的图像坐标系中的横坐标和纵坐标；H_i和W_i分别表示第i个摄像机图像的长和宽；h_i表示第i个摄像机的安装高度；2α_i表示第i个摄像机的水平视场角；2β_i表示第i个摄像机的垂直视场角；γ_i表示第i个摄像机的安装俯仰角；

根据上面的式子，对步骤6得到的世界坐标(X,Y)进行计算，求取其对应的在个各摄像机的图像坐标系中图像坐标(x_i，y_i)，i表示摄像机的编号。

步骤8：依次判断(x_i，y_i)是否在第i个摄像机的图像范围内，若在，则将第i个摄像机的图像坐标系中像素点(x_i，y_i)对应的像素值赋予遍历点(m，n)。判断结束后，将单个或多个像素值进行融合后，将对应的像素值赋给像素点(x,y)；

当世界坐标(X,Y)处于相邻摄像机的公共区域时，世界坐标(X,Y)所对应的图像坐标(x_i，y_i)将得到两个有效像素值，此时，需要对两个像素值进行融合处理，融合处理的方法较多，这里采用的融合方法为线性加权融合方法，为简便起见加权系数各取0.5。之后再将融合后的像素值赋给像素点(m，n)；当世界坐标(X,Y)处于相邻摄像机的非公共区域时，世界坐标(X,Y)所对应的图像坐标(x_i，y_i)只得到一个有效像素值，此时，无需进行融合处理，可直接将对应的像素值赋给像素点(m，n)。

步骤8：根据步骤7中的图像坐标(x_i，y_i)，提取(x_i，y_i)对应图像的像素值，并对提取到的单个或多个像素值进行融合后赋给像素点(m，n)；当世界坐标(X,Y,)处于相邻摄像机的公共区域时，世界坐标(X,Y)所对应的图像坐标(x_i，y_i)将得到两个有效像素值，此时，需要对两个像素值进行融合处理，之后再将融合后的像素值赋给像素点(x,y)；当世界坐标(X,Y)处于相邻摄像机的非公共区域时，世界坐标(X,Y)所对应的图像坐标(x_i，y_i)只得到一个有效像素值，此时，无需进行融合处理，可直接将对应的像素值赋给像素点(m，n)。

步骤9：判断虚拟摄像机图像坐标(m，n)是否遍历结束，若是，则算法结束，显示全景图像；否则，继续遍历图像的下一个像素点，并转到步骤6。

到此，按上述遍历算法，即可实现基于可变视角的360度全景图像显示。

本发明的基于可变视角的图像生成方法对硬件设备要求低，过程简单易行，根据实际视角的需求，生成任意指定视角下的虚拟摄像机图像，实用性强。

Claims (5)

1.一种基于可变视角的图像生成方法，其特征在于：包括以下步骤：

1)、安装不同视角的摄像机C_i，其中，i＝1，2，…n；

2)、对步骤1)中的摄像机进行标定，并计算摄像机的畸变参数，其中，畸变参数包括径向畸变系数和切向畸变系数；

3)、根据步骤2)得到的摄像机的畸变参数，分别对每台摄像机拍摄的原始图像进行畸变矫正，得到畸变矫正后的图像，其中，原始图像坐标和畸变矫正后的图像坐标的关系为：

$\left\{\begin{array}{c}{x}^{\′}=x(1+k_1{r}^2+k_2{r}^4)+2p_1\mathrm{xy}+p_2(r^2+{2x}^2)\\ y^{\′}=y(1+k_1{r}^2+k_2{r}^4)+2p_2\mathrm{xy}+p_1(r^2+{2y}^2)\end{array}\right.$

其中，r²＝x²+y²；k₁，k₂，k₃为径向畸变系数，p₁，p₂为切向畸变系数，(x′，y′)为原始图像坐标，(x，y)为矫正后的图像坐标；

4)、确定虚拟摄像机的视角以及在世界坐标系中的位置；

5)、确定虚拟摄像机图像的遍历点在虚拟摄像机的图像坐标系下的坐标(m，n)；

6)、根据虚拟摄像机的图像坐标系和世界坐标系之间的坐标变换关系，计算虚拟摄像机的像素点坐标(m，n)对应的世界坐标系中的像素点坐标(X，Y)，其中：

$\left\{\begin{array}{c}X=\sqrt{h^2+Y^2}\frac{2m\tan \mathrm{\β}}{W}\\ Y=h\frac{H\cot \mathrm{\γ}+2n\tan \mathrm{\β}}{H-2y\cot \mathrm{\γ}\tan \mathrm{\β}}\end{array}\right.$

其中，X和Y分别表示虚拟摄像机的像素点在世界坐标系中的横坐标和纵坐标；m和n分别表示虚拟摄像机的像素点在虚拟摄像机的图像坐标系中的横坐标和纵坐标；H和W分别表示虚拟摄像机图像的长和宽；h表示虚拟摄像机的安装高度；2α表示虚拟摄像机的水平视场角；2β表示虚拟摄像机的垂直视场角；γ表示虚拟摄像机的安装俯仰角；

7)、根据摄像机的图像坐标系和世界坐标系之间的坐标变换关系，分别计算步骤6)得到的世界坐标系中的像素点坐标(X，Y)对应的所有摄像机的图像坐标系中的坐标(x_i，y_i)，其中；

$\left\{\begin{array}{c}{x}_i=\frac{{\mathrm{XW}}_i}{2\tan {\mathrm{\β}}_i\sqrt{{h_i}^2+Y^2}}\\ y_i=\frac{H_i(Y-h_i\tan {\mathrm{\γ}}_i)}{2\tan {\mathrm{\β}}_i(Y\tan {\mathrm{\γ}}_i+h_i)}\end{array}\right.$

其中，X和Y分别表示虚拟摄像机的像素点在世界坐标系中的横坐标和纵坐标；x_i和y_i分别表示世界坐标系中像素点(X，Y)在第i个摄像机的图像坐标系中的横坐标和纵坐标；H_i和W_i分别表示第i个摄像机图像的长和宽；h_i表示第i个摄像机的安装高度；2α_i表示第i个摄像机的水平视场角；2β_i表示第i个摄像机的垂直视场角；γ_i表示第i个摄像机的安装俯仰角；

8)、依次判断坐标(x_i，y_i)是否在第i个摄像机的图像范围内，如果在，则将第i个摄像机的像素点(x_i，y_i)对应的像素值赋予虚拟摄像机的像素点(m，n)；

9)、将虚拟摄像机的遍历点的坐标(m，n)修改为下一个像素点的坐标；

10)、重复步骤6)-9)直到虚拟摄像机的图像上所有的像素点均遍历结束。

2.如权利要求1所述的基于可变视角的图像生成方法，其特征在于：步骤1)中摄像机为广角摄像机。

3.如权利要求书1所述的基于可变视角的图像生成方法，其特征在于：步骤1)中摄像机的数量为4个，相邻摄像机的图像之间均具有重叠区域。

4.如权利要求书1所述的基于可变视角的图像生成方法，其特征在于：步骤1)中摄像机均匀分布在同一位置的四周。

5.如权利要求书1所述的基于可变视角的图像生成方法，其特征在于：所述虚拟摄像机的视角包括水平视场角、垂直视场角和俯仰角。