CN102999891A - 一种基于装订参数的全景图像拼接方法 - Google Patents

Abstract

本发明属于视频监控技术领域，具体涉及一种基于装订参数的全景图像拼接方法。本发明的方法包括以下步骤：离线计算像平面-柱面投影参数，确定点对点的快速投影查找表；装订投影参数；获取360°图像；计算柱面投影；拼接全景图像。本发明需要解决由于监控前端难以进行复杂运算，导致图像匹配精度降低、拼接痕迹明显的技术费问题。本发明的方法既降低了图像投影过程中重复计算的工作量又不影响匹配精度，图像拼接效果得到显著提高。

Description

一种基于装订参数的全景图像拼接方法

技术领域

本发明属于视频监控技术领域，具体涉及一种基于装订参数的全景图像拼接方法。

背景技术

大部分全景摄像机是通过多个传感器传输高分辨率的全动态高清逐行扫描视频图像，由于成像设备都有一定的视野限制，为了满足全景的需求，需要解决图像的拼接问题。

图像拼接技术就是将数张有重叠部分的图像(可能是不同时间、不同视角或者不同传感器获得的)拼成一幅大型的无缝高分辨率图像的技术。图像拼接要解决的问题就是如何把小视域的照片拼接成一张大视域的图像，以满足人们观察、浏览大范围场景的需要。

成像设备采集到的反映360°全景的一组图像是成像设备在不同角度下拍摄的，它们并不在同一投影平面上，为了保持视觉一致性，不破坏实际景物的空间约束关系，必须将得到的反映各自投影平面的图像映射到一个标准投影上。由于柱面坐标的变换比较简单并且投影图像与其投影到圆柱表面的位置无关，用其描述的柱面全景图像可在水平方向上满足360°环视，具有较好的视觉效果，因此被广泛采用。摄像机拍摄的图像是多个不连续的平面，投影到柱面之后，产生类似于人站在中心，向四周观看的视觉效果。

对于实时监控系统，由于前端处理能力的限制，难以进行非常复杂的运算，如浮点数的乘除及开方以及一些复杂的数学模型的插补运算，因此直接计算柱面投影不符合监控场景的要求。为了解决这个问题，现有技术通过降低分辨率来减少运算开销，但这样做会导致匹配精度的降低，对于高清晰度的图像，拼接痕迹明显，拼接效果不理想。

发明内容

本发明需要解决的技术问题是：现有全景拼接方法中，由于监控前端难以进行复杂运算，导致图像匹配精度降低、拼接痕迹明显。

本发明的技术方案如下所述：

一种基于装订参数的全景图像拼接方法，包括以下步骤：

步骤(1)：离线计算像平面-柱面投影参数，确定点对点的快速投影查找表；步骤(2)：装订投影参数；步骤(3)：获取360°图像；步骤(4)：计算柱面投影；步骤(5)：拼接全景图像。

步骤(1)中，将摄像机拍摄的像平面投影到柱面上，摄像机旋转轴平行于像平面的y轴，摄像机焦距、柱面半径和转轴到像平面的距离均为r；

I为像平面，K为投影柱面，I′为像平面到柱面的投影区域；其中点O为柱面K的中心，O_I为过点O垂直于像平面I的直线和像平面I的交点；对于像平面I上任意一点P，点P′是P在柱面K上的投影，设点C是点P在像平面I的x轴上的投影，C′点是OC与柱面K的交点，可得：

$O_I{C}^{\′}=r\×{\tan }^{-1}\frac{O_{I}C}{r}$

P′是P在柱面K上的投影，可得：

$\frac{P^{\′}{C}^{\′}}{{\mathrm{OC}}^{\′}}=\frac{\mathrm{PC}}{\mathrm{OC}}=\frac{\mathrm{PC}}{\frac{r}{\cos \frac{O_I{C}^{\′}}{r}}}$

设P的像平面坐标为(x_I，y_I)，点P′的柱面展平坐标为(x，y)，则从像平面点到柱面点的对应关系为：

$x=O_I{C}^{\′}=r{\tan }^{-1}\frac{x_I}{r}$

$y=P^{\′}{C}^{\′}=y_1\sec \frac{x}{r}$

根据以上两个公式，将图像点投影到柱面上，遍历计算像平面-柱面每一个点的对应关系，确定点对点的快速投影查找表。

步骤(2)中，将步骤(1)确定的像平面-柱面快速投影查找表写入摄像机的芯片程序。

步骤(3)中，采用180°全景摄像机，摄像机的俯仰角度从-180°到180°，获得能够构成一幅全景图像的图像序列，以获取360°图像。

步骤(4)包括以下步骤：

步骤(4.1)取出步骤(3)图像序列中构成全景图像所需的第1幅图像，根据步骤(2)中装订的投影参数，快速将其投影到柱面模型上；

步骤(4.2)判断是否还有图像用于合成全景图像，如果有用于合成全景图像的图像则继续计算柱面投影；如果没有用于合成全景图像的图像则进行步骤(5)。

步骤(5)中，通过柱面投影图像的匹配和融合来构成全景图像。

作为优选方案，步骤(1)中，柱面上点的像素值等于其对应的像平面点的像素值，如果柱面上的点对应的像平面点的位置(x，y)不是整数，用这个像平面上的点近邻的整数位置点的像素值加权确定柱面上点的像素值，距离越近，权重越高。。

本发明的有益效果为：

本发明的一种基于装订参数的全景图像拼接方法预先根据摄像头的已知参数计算柱面投影参数，按照点对点的方式记录像平面-柱面变换对，将这些点与点的对应关系装订入镜头芯片，这种设计既降低了图像投影过程中重复计算的工作量又不影响匹配精度，图像拼接效果得到显著提高。

附图说明

图1(a)为像平面-柱面投影计算示意图；

图1(b)为图1(a)的Y方向投影图；

图1(c)为图1(b)的左半部分示意图。

具体实施方式

下面结合附图和实施例对本发明的一种基于装订参数的全景图像拼接方法进行详细说明。

本发明的一种基于装订参数的全景图像拼接方法具体包括以下步骤：

步骤(1)：离线计算像平面-柱面投影参数，确定点对点的快速投影查找表。

将摄像机拍摄的像平面投影到柱面上，首先需要确定三个关键影响因素：由生产厂家提供的摄像机焦距，摄像机在工作时除了旋转不能有其他的移动方式，摄像机旋转轴平行于像平面的y轴。本实施例中，为了简化模型，摄像机焦距、柱面半径和转轴到像平面的距离均为r。

如图1所示，I为像平面，K为投影柱面，I′为像平面到柱面的投影区域。其中点O为柱面K的中心，O_I为过点O垂直于像平面I的直线和像平面I的交点。对于像平面I上任意一点P，点P′是P在柱面K上的投影，那么，设点C是点P在像平面I的x轴上的投影，C′点是OC与柱面K的交点。根据几何原理，有

$O_I{C}^{\′}=r\×{\tan }^{-1}\frac{O_{I}C}{r}$

由于P′是P在柱面K上的投影，那ΔOPC相似于ΔOP′C′，由此可得：

$\frac{P^{\′}{C}^{\′}}{{\mathrm{OC}}^{\′}}=\frac{\mathrm{PC}}{\mathrm{OC}}=\frac{\mathrm{PC}}{\frac{r}{\cos \frac{O_I{C}^{\′}}{r}}}$

设P的像平面坐标为(x_I，y_I)，点P′的柱面展平坐标为(x，y)，则从像平面点到柱面点的对应关系为

$x=O_I{C}^{\′}=r{\tan }^{-1}\frac{x_I}{r}$

$y=P^{\′}{C}^{\′}=y_1\sec \frac{x}{r}$

根据以上两个公式，可以将图像点投影到柱面上。

上述公式中存在复杂的三角函数计算，运算开销较大，影响实时系统的性能。为了满足实时处理的需求，采用装订参数的方法来实现投影计算。

柱面上点的像素值等于其对应的像平面点的像素值。由于像平面-柱面投影位置(x，y)一般不是整数，而离散的数字图像只在整数位置存在像素值。若柱面上的点对应的像平面点的位置不是整数，需要用这个像平面上的点近邻的整数位置点的像素值加权确定柱面上点的像素值，距离越近，权重越高。

遍历计算像平面-柱面每一个点的对应关系，确定点对点的快速投影查找表。

步骤(2)：装订投影参数。将步骤(1)确定的像平面-柱面快速投影查找表写入摄像机的芯片程序。

步骤(3)：获取360°图像。本实施例中，获取图像的设备为180°全景摄像机，摄像机的俯仰角度从-180°到180°，可以获得一个图像序列。这个图像序列可以构成一幅全景图像。

步骤(4)：计算柱面投影。

步骤(4.1)取出步骤(3)图像序列中构成全景图像所需的第1幅图像，根据步骤(2)中装订的投影参数，快速将其投影到柱面模型上；

步骤(4.2)判断是否还有图像用于合成全景图像，如果有则继续计算柱面投影，直到全景拼接所需的图像全部投影到柱面模型上；如果没有进行步骤(5)。

步骤(5)：拼接全景图像。通过柱面投影图像的匹配和融合来构成全景图像。所述全景图像的匹配和融合方法为本领域技术人员公知常识。

Claims (7)

1.一种基于装订参数的全景图像拼接方法，其特征在于：包括以下步骤：

步骤(1)：离线计算像平面-柱面投影参数，确定点对点的快速投影查找表；

步骤(2)：装订投影参数；

步骤(3)：获取360°图像；

步骤(4)：计算柱面投影；

步骤(5)：拼接全景图像。

2.根据权利要求1所述的基于装订参数的全景图像拼接方法，其特征在于：步骤(1)中，将摄像机拍摄的像平面投影到柱面上，摄像机旋转轴平行于像平面的y轴，摄像机焦距、柱面半径和转轴到像平面的距离均为r；

I为像平面，K为投影柱面，I′为像平面到柱面的投影区域；其中点O为柱面K的中心，O_I为过点O垂直于像平面I的直线和像平面I的交点；对于像平面I上任意一点P，点P′是P在柱面K上的投影，设点C是点P在像平面I的x轴上的投影，C′点是OC与柱面K的交点，可得：

$O_I{C}^{\′}=r\×{\tan }^{-1}\frac{O_{I}C}{r}$

P′是P在柱面K上的投影，可得：

$\frac{P^{\′}{C}^{\′}}{{\mathrm{OC}}^{\′}}=\frac{\mathrm{PC}}{\mathrm{OC}}=\frac{\mathrm{PC}}{\frac{r}{\cos \frac{O_I{C}^{\′}}{r}}}$

设P的像平面坐标为(x_I，y_I)，点P′的柱面展平坐标为(x，y)，则从像平面点到柱面点的对应关系为：

$x=O_I{C}^{\′}=r{\tan }^{-1}\frac{x_I}{r}$

$y=P^{\′}{C}^{\′}=y_1\sec \frac{x}{r}$

根据以上两个公式，将图像点投影到柱面上，遍历计算像平面-柱面每一个点的对应关系，确定点对点的快速投影查找表。

3.根据权利要求1所述的基于装订参数的全景图像拼接方法，其特征在于：步骤(1)中，柱面上点的像素值等于其对应的像平面点的像素值，如果柱面上的点对应的像平面点的位置(x，y)不是整数，用这个像平面上的点近邻的整数位置点的像素值加权确定柱面上点的像素值，距离越近，权重越高。

4.根据权利要求1或2所述的基于装订参数的全景图像拼接方法，其特征在于：步骤(2)中，将步骤(1)确定的像平面-柱面快速投影查找表写入摄像机的芯片程序。

5.根据权利要求1或2所述的基于装订参数的全景图像拼接方法，其特征在于：步骤(3)中，采用180°全景摄像机，摄像机的俯仰角度从-180°到180°，获得能够构成一幅全景图像的图像序列，以获取360°图像。

6.根据权利要求4所述的基于装订参数的全景图像拼接方法，其特征在于：步骤(4)包括以下步骤：

步骤(4.1)取出步骤(3)图像序列中构成全景图像所需的第1幅图像，根据步骤(2)中装订的投影参数，快速将其投影到柱面模型上；

步骤(4.2)判断是否还有图像用于合成全景图像，如果有用于合成全景图像的图像则继续计算柱面投影；如果没有用于合成全景图像的图像则进行步骤(5)。

7.根据权利要求1或4所述的基于装订参数的全景图像拼接方法，其特征在于：步骤(5)中，通过柱面投影图像的匹配和融合来构成全景图像。

Images