CN103065318A - 多摄像机全景系统的曲面投影方法及装置 - Google Patents

Abstract

本发明公开了一种多摄像机全景系统的曲面投影方法，包括如下步骤：获取广角摄像机的畸变图像；对所述畸变图像进行畸变矫正生成无畸变图像；将无畸变图像投影到三维曲面生成全景图像。本发明先通过畸变矫正获得无畸变图像，然后建立三维曲面模型，根据该三维曲面模型中Z轴坐标值Zc统一坐标变换，最终将无畸变图像投影到三维曲面模型上，实现曲面上的全景成像，相对于现有的全景成像技术，本发明实施例中的多摄像机全景系统的曲面投影方法具有以下优点：场景看上去有立体感，比较真实；显示的有效范围大大增加；对于一些立体的物体，投影到曲面可以看出物体的形状及轮廓，有效解决了立体物体投影到平面后模糊不清的问题。

Description

多摄像机全景系统的曲面投影方法及装置

技术领域

本发明涉及全景成像技术领域，具体涉及一种多摄像机全景系统的曲面投影方法及装置，尤其是用于车载系统中的多摄像机全景系统的曲面投影方法及装置。

背景技术

近年来，随着光学技术、微电子技术和计算机技术的进步，立体显示技术也获得了飞速的发展。显示器一直以来都是人们接触最频繁的电子产品，而显示技术的进步也代表人类在追求更真实的视觉享受。从早期的黑白电视到彩色电视，再到现在的高清电视，无一不是追求更自然、逼真的影像品质，而立体显示技术的发展提供了人们更进一步的视觉体验，除了一般的影像与色彩外，还提供了立体空间感受。人们对客观环境的感知总是通过视觉、听觉、触觉、嗅觉及味觉等自然地获取，对系统的控制也自然地借助自动跟踪系统，即利用性能先进的传感器对人体位置及力度进行有效的探测。换言之，人们对客观世界的感知方式有多种，借助视觉所能获取的信息量远远超过了通过听觉、触觉、嗅觉及味觉等其它方式所能获取的信息量，而且视觉可产生客体景物的深度感，即提供客体景物的立体三维信息。

全景图像是一种非常有前景的三维图像技术。这一技术正吸引着越来越多的三维图像领域内的科学家和公司企业的注意和重视，成为在三维图像领域的研究热点。目前，基于全景图像的三维显示设备已初具雏形，有部分应用在车载领域中。然而，现有的全景图像显示技术中，均将图像投影到平面上，而图像投影到平面上的缺点如下：

1.场景看上去缺乏立体感和真实感；

2.显示的有效范围不够理想；

3.对于一些立体的物体，投影到平面后只是一个点，存在立体物体投影到平面后模糊不清的问题。

发明内容

本发明提供一种多摄像机全景系统的曲面投影方法，能够解决上述问题。

本发明提供一种多摄像机全景系统的曲面投影方法，包括如下步骤：

A：获取广角摄像机的畸变图像；

B：对所述畸变图像进行畸变矫正生成无畸变图像；

C：将无畸变图像投影到三维曲面生成全景图像。

优选地，所述步骤B中对所述畸变图像进行畸变矫正生成无畸变图像包括如下步骤：

B1:建立世界坐标与摄像机坐标之间的函数关系,其函数关系式为 $\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\left[\begin{array}{cc}{R}_{3\×3}& t_{3\×1}\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$ 其中t_3×1为平移向量，R_3×3为旋转矩阵，(X_c Y_c Z_c)^T为摄像机坐标，(X_w Y_w Z_w)^T为世界坐标；

B2：矫正摄像机坐标，矫正摄像机坐标采用函数公式为 $\begin{array}{c}\hat{x}=x(1+k_1{m}^2+k_2{m}^4)+2p_1\mathrm{xy}+p_2(m^2+2x^2)\\ \hat{y}=y(1+k_1{m}^2+k_2{m}^4)+2p_2\mathrm{xy}+p_1(m^2+2x^2)\end{array}$ 式中,

和是由小孔模型计算出来的图像点坐标的理想值,(x,y)为实际图像点的坐标；m²＝x²+y²，k₁、k₂为径向畸变系数，p₁、p₂为切向畸变系数；

B3：建立摄像机坐标与图像坐标的函数对应关系，其函数对应公式为 $\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\frac{1}{Z_c}\left[\begin{array}{ccc}\frac{1}{k}& 0& u_0\\ 0& \frac{1}{l}& v_0\\ 0& 0& 1\\ & & \end{array}\right]\left[\begin{array}{cccc}f-f& \cot \mathrm{\θ}& 0& 0\\ 0& \frac{f}{\sin \mathrm{\θ}}& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\frac{1}{Z_c}\left[\begin{array}{cccc}\frac{f}{k}-\frac{f}{k}& \cot \mathrm{\θ}& u_0& 0\\ 0& \frac{f}{l\sin \mathrm{\θ}}& v_0& 0\\ 0& 0& 1& 0\\ & & & \end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]$ 其中，（u，v）表示图像坐标系中的坐标，原点位于（u0，v0）像素点上，k×l表示一个像素点的大小，f为摄像机焦距，θ为摄像机坐标系的偏斜度；

B4：利用双线性插值将图像坐标整数化，获得无畸变图像，其整数化公式为f(x,y)=a₁x+b₁y+c₁xy+d₁。

优选地，所述步骤C中将无畸变图像投影到三维曲面生成全景图像包括如下步骤：

C1:建立三维曲面模型，获取三维曲面的平面延展半径r；

C2：判断无畸变图像的坐标点（x,y）是否满足：

如果是，则令无畸变图像变换到三维曲面模型中的Z轴坐标值Zc=0;如果否，则令无畸变图像变换到三维曲面模型中的Z轴坐标值

其中β为曲面的曲度，a、b为椭圆面的长轴与短轴；

C3：根据三维曲面模型中Z轴坐标值Zc统一坐标变换，并进行图像融合，在所述三维曲面模型中生成全景图像。

优选地，所述步骤C之后还包括步骤：将所述全景图像输出到显示设备上。

相应地，本发明实施例中还提供了一种多摄像机全景系统的曲面投影装置，包括：

畸变图像获取单元，用于获取广角摄像机的畸变图像；

矫正单元，用于对所述畸变图像进行畸变矫正生成无畸变图像；

三维曲面投影单元，用于将无畸变图像投影到三维曲面生成全景图像。

优选地，所述矫正单元包括：

坐标变换单元，用于建立世界坐标与摄像机坐标之间的函数关系,其函数关系式为 $\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\left[\begin{array}{cc}{R}_{3\×3}& t_{3\×1}\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$ 其中t_3×1为平移向量，R_3×3为旋转矩阵，(X_c Y_c Z_c)^T为摄像机坐标，(X_w Y_w Z_w)^T为世界坐标；

摄像机坐标矫正单元，用于矫正摄像机坐标，矫正摄像机坐标采用函数公式为 $\begin{array}{c}\hat{x}=x(1+k_1{m}^2+k_2{m}^4)+2p_1\mathrm{xy}+p_2(m^2+2x^2)\\ \hat{y}=y(1+k_1{m}^2+k_2{m}^4)+2p_2\mathrm{xy}+p_1(m^2+2x^2)\end{array}$ 式中,

和

是由小孔模型计算出来的图像点坐标的理想值,(x,y)为实际图像点的坐标；m²＝x²+y²，k₁、k₂为径向畸变系数，p₁、p₂为切向畸变系数；

图像坐标生成单元，用于建立摄像机坐标与图像坐标的函数对应关系，其函数对应公式为 $\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\frac{1}{Z_c}\left[\begin{array}{ccc}\frac{1}{k}& 0& u_0\\ 0& \frac{1}{l}& v_0\\ 0& 0& 1\\ & & \end{array}\right]\left[\begin{array}{cccc}f-f& \cot \mathrm{\θ}& 0& 0\\ 0& \frac{f}{\sin \mathrm{\θ}}& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\frac{1}{Z_c}\left[\begin{array}{cccc}\frac{f}{k}-\frac{f}{k}& \cot \mathrm{\θ}& u_0& 0\\ 0& \frac{f}{l\sin \mathrm{\θ}}& v_0& 0\\ 0& 0& 1& 0\\ & & & \end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]$ 其中，（u，v）表示图像坐标系中的坐标，原点位于（u0，v0）像素点上，k×l表示一个像素点的大小，f为摄像机焦距，θ为摄像机坐标系的偏斜度；

插值单元，用于利用双线性插值将图像坐标整数化，获得无畸变图像，其整数化公式为f(x,y)=a₁x+b₁y+c₁xy+d₁。

优选地，所述矫正单元包括：

三维曲面模型建立单元，用于建立三维曲面模型，获取三维曲面的平面延展半径r；

判断单元，用于判断无畸变图像的坐标点（x,y）是否满足：

如果是，则令无畸变图像变换到三维曲面模型中的Z轴坐标值Zc=0;如果否，则令无畸变图像变换到三维曲面模型中的Z轴坐标值

其中a表示（）；

全景图像生成单元，用于根据三维曲面模型中Z轴坐标值Zc统一坐标变换，并进行图像融合，在所述三维曲面模型中生成全景图像。

优选地，所述装置还包括输出单元，用于将所述全景图像输出到显示设备上。

上述技术方案可以看出，由于本发明实施例先通过畸变矫正获得无畸变图像，然后建立三维曲面模型，根据该三维曲面模型中Z轴坐标值Zc统一坐标变换，最终将无畸变图像投影到三维曲面模型上，实现曲面上的全景成像，相对于现有的全景成像技术，本发明实施例中的多摄像机全景系统的曲面投影方法具有以下优点：

1.场景看上去有立体感，比较真实；

2.显示的有效范围大大增加；

3.对于一些立体的物体，投影到平面后只是一个点，而投影到曲面则可以看出物体的形状及轮廓，有效解决了立体物体投影到平面后模糊不清的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例1中多摄像机全景系统的曲面投影方法的流程图；

图2是本发明实施例1中对畸变图像进行畸变矫正的流程图；

图3是本发明实施例1中无畸变图像投影到三维曲面生成全景图像的流程图；

图4是本发明实施例1中图像显示于三维曲面模型的效果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例1：

本发明实施例提供一种多摄像机全景系统的曲面投影方法，如图1所示，包括以下步骤。

步骤1：获取广角摄像机的畸变图像。

摄像机是全景系统中获取图像的关键部件，摄像机和数码照相机、扫描仪等又被统称为图像传感器，其将被处理目标物体的光信号转换为视频电信号，再将此信号A/D转换并送到处理器后就可以处理、分析、识别该目标物体了。因此，本发明实施例中步骤1中不限于获取广角摄像机的畸变图像，对于数码照相机、扫描仪的畸变图像获取也在本步骤1的范围内。

本步骤中，广角摄像机为全景系统中所有方位的广角摄像机，在实际生活中，全景系统中为了保证图像的全景呈现，需要至少三个摄像机，可以理解的是，在实际应用中广角摄像机的数量和方位分布越多，则全景呈现的效果越佳，而在本发明实施例中以四个广角摄像机摄取图像为例，本全景系统对四个广角摄像机所摄取的图像进行接收获取，以备后续步骤中使用。

步骤2：对所述畸变图像进行畸变矫正生成无畸变图像。

由于系统在上述步骤1中通过四个广角摄像机所获取的图像均为畸变图像，不利于直观地向用户展现场景。因此本步骤中需要对该畸变图像进行矫正，以获得无畸变图像。

本发明实施例的全景系统中,首先从摄像机获取的图像信息出发，计算三维空间中物体的几何信息,并由此重建和识别物体,而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,由摄像机成像的几何模型决定,这些几何模型参数就是摄像机参数。在大多数条件下这些参数必须通过实验与计算才能得到,这个过程被称为摄像机标定。摄像机参数包括摄像机的内部几何和光学特性(内部参数)以及摄像机的三维位置和方向(外部参数)。内部参数主要有摄像机的焦距、镜头畸变系数和图像平面原点的计算机图像坐标(又称相面中心)；外部参数包括旋转矩阵和平移矩阵。

因此，本发明实施例的通过以下步骤实现畸变图像到无畸变图像的矫正。

步骤201：建立世界坐标与摄像机坐标之间的函数关系。

由于摄像机可安放在环境中的任意位置，在环境中选择一个基准坐标系来描述摄像机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系。摄影机坐标系的原点为摄像机光心，x轴与y轴与图像的X,Y轴平行，z轴为摄像机光轴，它与图像平面垂直。光轴与图像平面的交点，即为图像坐标系的原点，构成的直角坐标系称为摄像机坐标系。

摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵与平移向量来描述。其函数关系式为 $\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\left[\begin{array}{cc}{R}_{3\×3}& t_{3\×1}\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$ 其中t_3×1为平移向量，R_3×3为旋转矩阵，(X_c Y_c Z_c)^T为摄像机坐标，(X_w Y_w Z_w)^T为世界坐标。

步骤202：矫正摄像机坐标，矫正摄像机坐标采用函数公式为 $\begin{array}{c}\hat{x}=x(1+k_1{m}^2+k_2{m}^4)+2p_1\mathrm{xy}+p_2(m^2+2x^2)\\ \hat{y}=y(1+k_1{m}^2+k_2{m}^4)+2p_2\mathrm{xy}+p_1(m^2+2x^2)\end{array},$ 本发明实施例中采用了能精确反映成像过程的带有透镜径向一阶畸变的小孔摄像机模型，上式中，

和

是由小孔模型计算出来的图像点坐标的理想值,(x,y)为实际图像点的坐标；m²＝x²+y²，k₁、k₂为径向畸变系数，p₁、p₂为切向畸变系数。

步骤203：建立摄像机坐标与图像坐标的函数对应关系，其函数对应公式为 $\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\frac{1}{Z_c}\left[\begin{array}{ccc}\frac{1}{k}& 0& u_0\\ 0& \frac{1}{l}& v_0\\ 0& 0& 1\\ & & \end{array}\right]\left[\begin{array}{cccc}f-f& \cot \mathrm{\θ}& 0& 0\\ 0& \frac{f}{\sin \mathrm{\θ}}& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\frac{1}{Z_c}\left[\begin{array}{cccc}\frac{f}{k}-\frac{f}{k}& \cot \mathrm{\θ}& u_0& 0\\ 0& \frac{f}{l\sin \mathrm{\θ}}& v_0& 0\\ 0& 0& 1& 0\\ & & & \end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]$ 其中，（u，v）表示图像坐标系中的坐标，原点位于（u0，v0）像素点上，k×l表示一个像素点的大小（其单位为毫米），f为摄像机焦距，θ为摄像机坐标系的偏斜度。

摄像机采集的图像以标准电视信号的形式经高速图像采集系统转换为数字图像，并输入计算机。每幅数字图像在计算机内为M*N数组。在图像上定义直角坐标系u,v，每个像素的坐标（u,v）分别以该像素为单位的图像坐标系坐标。

步骤204：利用双线性插值将图像坐标整数化，获得无畸变图像，其整数化公式为f(x,y)=a₁x+b₁y+c₁xy+d₁，其中，a₁、b₁、c₁、d₁均为方程系数。

经过上述步骤之后，可以获得无畸变图像，有利于直观地向用户展现场景。为了实现立体感和真实感较强的全景展现，接下来需要将该无畸变图像投影到三维曲面上，即步骤3：将无畸变图像投影到三维曲面生成全景图像。具体参见图3所示的步骤：

首先，在步骤301中建立具有延展平面的三维曲面模型，以车体为中心，在三维曲面模型中建立一个延展平面，用于投影车体本身（或其他装有广角摄像机的取景设备，以下以车体为例做出介绍）是有必要的；获取三维曲面的延展平面系数a、b；其中，a为椭圆面长轴、b为椭圆面短轴，因此，延展平面的面积大小由a、b系数决定，应当保证延展平面的面积刚好能够适应车体本身的投影为宜；众所周知，当椭圆面的长轴a等于短轴b的时候，该椭圆面成为一个圆形面，因此，延展平面包括了圆形面和椭圆面，即圆形面是特殊的椭圆面，在延展平面为圆形面的方案中，仍属于本发明的保护范围。

本发明实施例中的三维曲面模型具有一个延展平面，该三维曲面与延展平面接合，使得车体周围场景范围大大增加。如图4所示，本发明实施例中建立这样一个具有延展平面的三维曲面，车体投影在延展平面上，无畸变图像投影在与延展平面结合的曲面上（图中曲面上暂未显示车体周围景物），能够给用户更直观的感觉，日常生活中车辆均停靠的路面或停车场的平面上，很少有车子停留在球面上，本步骤中结合生活实际和人体感官需要，创建了具有延展平面的三维曲面模型，给用户逼真、贴实的感官享受。

步骤302中，判断无畸变图像的坐标点（x,y）是否满足：

由于本发明实施例中所建立的三维曲面模型区别于现有的平面模型，因此，此处判断主要是作为三维曲面中Z轴坐标的赋值的依据。

当判断出时，则证明图像的Z轴坐标值Zc实际在延展平面下，为了能够将该图像的Z轴上的点显示在三维曲面上，则执行步骤303：令无畸变图像变换到三维曲面模型中的Z轴坐标值Zc=0。事实上，Zc=0表示为三维曲面模型中的延展平面。

当判断出

时，则可以根据平面曲度系数β赋予无畸变图像在Z轴上的坐标值

以保证图像显示的真实感和立体感，其中β是曲面的曲度，在步骤301中建立三维曲面模型时，曲面的曲度β是确定的。

至此，无畸变图像在所述三维曲面模型中的坐标点可以唯一确定，则执行步骤305：根据三维曲面模型中Z轴坐标值Zc统一坐标变换，并进行图像融合，在所述三维曲面模型中生成全景图像。在本步骤中图像融合包括了图像的拼接过程，本领域技术人员可以在现有技术上获知，此处不再赘述。

在本发明实施例中还包括步骤4：将所述全景图像输出到显示设备上。在车载系统应用中，该显示设备则是车载系统中车内显示屏，能够为驾驶员提供立体感和真实感强的全景图像，便于驾驶员对整个车子的操作。

实施例2：

基于上述方法，本发明实施例提供了一种多摄像机全景系统的曲面投影装置，包括：

畸变图像获取单元，用于获取广角摄像机的畸变图像；

矫正单元，用于对所述畸变图像进行畸变矫正生成无畸变图像；

三维曲面投影单元，用于将无畸变图像投影到三维曲面生成全景图像。

所述矫正单元包括：坐标变换单元，用于建立世界坐标与摄像机坐标之间的函数关系；摄像机坐标矫正单元，用于矫正摄像机坐标；图像坐标生成单元，用于建立摄像机坐标与图像坐标的函数对应关系；插值单元，用于利用双线性插值将图像坐标整数化，获得无畸变图像。

所述矫正单元包括：三维曲面模型建立单元，用于建立三维曲面模型，获取三维曲面的平面延展半径r；判断单元，用于判断无畸变图像的坐标点（x,y）是否满足：

如果是，则令无畸变图像变换到三维曲面模型中的Z轴坐标值Zc=0;如果否，则令无畸变图像变换到三维曲面模型中的Z轴坐标值

全景图像生成单元，用于根据三维曲面模型中Z轴坐标值Zc统一坐标变换，并进行图像融合，在所述三维曲面模型中生成全景图像。

本发明实施例中的所述装置还包括输出单元，用于将所述全景图像输出到显示设备上。

需要说明的是，上述装置和系统内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁盘或光盘等。

以上对本发明实施例所提供的一种多摄像机全景系统的曲面投影方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.多摄像机全景系统的曲面投影方法，其特征在于，包括如下步骤：

A：获取广角摄像机的畸变图像；

B：对所述畸变图像进行畸变矫正生成无畸变图像；

C：将无畸变图像投影到三维曲面生成全景图像。

2.如权利要求1所述的多摄像机全景系统的曲面投影方法，其特征在于，所述步骤B中对所述畸变图像进行畸变矫正生成无畸变图像包括如下步骤：

B1:建立世界坐标与摄像机坐标之间的函数关系,其函数关系式为 $\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\left[\begin{array}{cc}{R}_{3\×3}& t_{3\×1}\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$ 其中t_3×1为平移向量，R_3×3为旋转矩阵，(X_c Y_c Z_c)^T为摄像机坐标，(X_w Y_w Z_w)^T为世界坐标；

B2：矫正摄像机坐标，矫正摄像机坐标采用函数公式为 $\begin{array}{c}\hat{x}=x(1+k_1{m}^2+k_2{m}^4)+2p_1\mathrm{xy}+p_2(m^2+2x^2)\\ \hat{y}=y(1+k_1{m}^2+k_2{m}^4)+2p_2\mathrm{xy}+p_1(m^2+2x^2)\end{array}$ 式中,和是由小孔模型计算出来的图像点坐标的理想值,(x,y)为实际图像点的坐标；m²＝x²+y²，k₁、k₂为径向畸变系数，p₁、p₂为切向畸变系数；

B3：建立摄像机坐标与图像坐标的函数对应关系，其函数对应公式为 $\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\frac{1}{Z_c}\left[\begin{array}{ccc}\frac{1}{k}& 0& u_0\\ 0& \frac{1}{l}& v_0\\ 0& 0& 1\\ & & \end{array}\right]\left[\begin{array}{cccc}f-f& \cot \mathrm{\θ}& 0& 0\\ 0& \frac{f}{\sin \mathrm{\θ}}& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\frac{1}{Z_c}\left[\begin{array}{cccc}\frac{f}{k}-\frac{f}{k}& \cot \mathrm{\θ}& u_0& 0\\ 0& \frac{f}{l\sin \mathrm{\θ}}& v_0& 0\\ 0& 0& 1& 0\\ & & & \end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]$ 其中，（u，v）表示图像坐标系中的坐标，原点位于（u0，v0）像素点上，k×l表示一个像素点的大小，f为摄像机焦距，θ为摄像机坐标系的偏斜度；

B4：利用双线性插值将图像坐标整数化，获得无畸变图像，其整数化公式为f(x,y)=a₁x+b₁y+c₁xy+d₁。

3.如权利要求1或2所述的多摄像机全景系统的曲面投影方法，其特征在于，所述步骤C中将无畸变图像投影到三维曲面生成全景图像包括如下步骤：

C1:建立具有延展平面的三维曲面模型，获取三维曲面的延展平面系数a、b；

C2：判断无畸变图像的坐标点（x,y）是否满足：

如果是，则令无畸变图像变换到三维曲面模型中的Z轴坐标值Zc=0;如果否，则令无畸变图像变换到三维曲面模型中的Z轴坐标值

其中β为曲面的曲度，a、b为椭圆面的长轴与短轴;

C3：根据三维曲面模型中Z轴坐标值Zc统一坐标变换，并进行图像融合，在所述三维曲面模型中生成全景图像。

4.如权利要求1所述的多摄像机全景系统的曲面投影方法，其特征在于，所述步骤C之后还包括步骤：将所述全景图像输出到显示设备上。

5.多摄像机全景系统的曲面投影装置，其特征在于，包括，

畸变图像获取单元，用于获取广角摄像机的畸变图像；

矫正单元，用于对所述畸变图像进行畸变矫正生成无畸变图像；

三维曲面投影单元，用于将无畸变图像投影到三维曲面生成全景图像。

6.如权利要求5所述的多摄像机全景系统的曲面投影装置，其特征在于，所述矫正单元包括：

坐标变换单元，用于建立世界坐标与摄像机坐标之间的函数关系,其函数关系式为 $\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\left[\begin{array}{cc}{R}_{3\×3}& t_{3\×1}\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]$ 其中t_3×1为平移向量，R_3×3为旋转矩阵，(X_c Y_c Z_c)^T为摄像机坐标，(X_w Y_w Z_w)^T为世界坐标；

摄像机坐标矫正单元，用于矫正摄像机坐标，矫正摄像机坐标采用函数公式为 $\begin{array}{c}\hat{x}=x(1+k_1{m}^2+k_2{m}^4)+2p_1\mathrm{xy}+p_2(m^2+2x^2)\\ \hat{y}=y(1+k_1{m}^2+k_2{m}^4)+2p_2\mathrm{xy}+p_1(m^2+2x^2)\end{array}$ 式中,

和是由小孔模型计算出来的图像点坐标的理想值,(x,y)为实际图像点的坐标；m²=x²+y²，k₁、k₂为径向畸变系数，p₁、p₂为切向畸变系数；

图像坐标生成单元，用于建立摄像机坐标与图像坐标的函数对应关系，其函数对应公式为 $\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\frac{1}{Z_c}\left[\begin{array}{ccc}\frac{1}{k}& 0& u_0\\ 0& \frac{1}{l}& v_0\\ 0& 0& 1\\ & & \end{array}\right]\left[\begin{array}{cccc}f-f& \cot \mathrm{\θ}& 0& 0\\ 0& \frac{f}{\sin \mathrm{\θ}}& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]=\frac{1}{Z_c}\left[\begin{array}{cccc}\frac{f}{k}-\frac{f}{k}& \cot \mathrm{\θ}& u_0& 0\\ 0& \frac{f}{l\sin \mathrm{\θ}}& v_0& 0\\ 0& 0& 1& 0\\ & & & \end{array}\right]\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]$ 其中，（u，v）表示图像坐标系中的坐标，原点位于（u0，v0）像素点上，k×l表示一个像素点的大小，f为摄像机焦距，θ为摄像机坐标系的偏斜度；

插值单元，用于利用双线性插值将图像坐标整数化，获得无畸变图像，其整数化公式为f(x,y)=a₁x+b₁y+c₁xy+d₁。

7.如权利要求5或6所述的多摄像机全景系统的曲面投影装置，其特征在于，所述矫正单元包括：

三维曲面模型建立单元，用于建立具有延展平面的三维曲面模型，获取三维曲面的延展平面系数a、b；

判断单元，用于判断无畸变图像的坐标点（x,y）是否满足：

如果是，则令无畸变图像变换到三维曲面模型中的Z轴坐标值Zc=0;如果否，则令无畸变图像变换到三维曲面模型中的Z轴坐标值

其中β为曲面的曲度，a、b为椭圆面的长轴与短轴；

全景图像生成单元，用于根据三维曲面模型中Z轴坐标值Zc统一坐标变换，并进行图像融合，在所述三维曲面模型中生成全景图像。

8.如权利要求1所述的多摄像机全景系统的曲面投影装置，其特征在于，还包括输出单元，用于将所述全景图像输出到显示设备上。

Images