CN105657268A - 一种基于多分辨率的多视点视频拼接融合算法 - Google Patents

Abstract

本发明公开了一种基于多分辨率的多视点视频拼接融合算法，包括：步骤1，每个视点的视频包括多个时刻的视频图像，将同一时刻不同视点的多帧视频图像映射到同一基准柱面上；步骤2，对映射后得到的同一时刻相邻的两幅视频图像进行拼接；步骤3，对同一时刻相邻两幅视频图像拼接后的重叠部分进行亮度均衡，完成多视点视频的融合。本发明提供的基于多分辨率的多视点视频拼接融合算法，通过降低分辨率来加速拼接和融合过程，并综合考虑颜色和梯度信息，实现多视点视频的快速高质量拼接融合。

Description

一种基于多分辨率的多视点视频拼接融合算法

技术领域

本发明涉及多视点视频拼接和融合领域，具体涉及一种基于多分辨率的多视点视频拼接融合算法。

背景技术

基于多视点视频图像绘制的虚拟现实技术是目前虚拟现实研究中非常活跃的研究课题，而多视点视频全景图的生成则是其中重要的应用领域之一。

多视点视频全景图是通过将多幅不同视点的视频场景图像进行拼接和融合来实现的。目前常见的拼接和融合算法有：相位相关度算法、特征无关的方法和基于特征的方法，但是各算法都存在一定的局限性，且对拼接和融合用的图像质量一般要求比较高，而对于用普通数码相机在不受限制的条件下拍摄到的图像的拼接和融合效果则不尽理想。

相位相关度算法对于理想的两幅相邻图像，即对于不存在明显曝光差异和边缘扭曲的图像的处理效果很好，但是对于存在上述质量问题的图像却很难达到预期的效果。

特征无关的方法首先在相邻帧间进行纹理特征跟踪，进而求摄像机焦距和帧间偏移距离。该算法虽能取得较好的精度，但是纹理特征的检测和跟踪却带来了巨大的计算量。

基于特征的方法采用有8个未知参数的矩阵来描述两幅图像之间的颜色变换关系，并用最小化算法来估计该矩阵。该算法由于采用了迭代的方式解非线性方程组，所以对迭代初始值特别敏感，而且能否得到解还要完全依赖于迭代初始值。另外，如果两幅图像的曝光条件差得比较远，那么该算法的拼接和融合效果就不甚理想。对于存在上下位移的两幅图像，则可能得不到预期的拼接和融合效果。

发明内容

本发明提供了一种基于多分辨率的多视点视频拼接融合算法，通过降低分辨率来加速拼接和融合过程，并综合考虑颜色和梯度信息，实现多视点视频的快速高质量拼接融合。

一种基于多分辨率的多视点视频拼接融合算法，包括：

步骤1，每个视点的视频包括多个时刻的视频图像，将同一时刻不同视点的多帧视频图像映射到同一基准柱面上；

步骤2，对映射后得到的同一时刻相邻的两幅视频图像进行拼接；

步骤3，对同一时刻相邻两幅视频图像拼接后的重叠部分进行亮度均衡，完成多视点视频的融合。

多视点视频是从多个角度拍摄同一场景或物体，进行多视点视频拼接时，首先将同一时刻的视频图像进行拼接和融合，然后将不同时刻的融合结果连续起来，即得到全景视频。

本发明中，通过步骤1将同一时刻不同视点的多帧视频图像投影到同一个基准柱面上，然后对同一基准柱面上的视频图像进行拼接和融合。

拼接和融合针对的都是相邻视频图像，拼接将两相邻视频图像进行平移，使相同部分重叠，融合对重叠部分进行亮度调整，消除拼接的痕迹。

为了加快算法的速度，优选地，步骤2中，依次在低分辨率和原始分辨率下，对同一时刻相邻的两幅视频图像进行拼接。

本发明中首先采用低分辨率算法对同一时刻相邻的视频图像进行粗匹配，大大降低算法的复杂度，然后在粗匹配完成后，进一步进行精确匹配，保证拼接的效果。

本发明中由于首先使用低分辨率图像进行拼接，因此，降低了对多视点视频图像的质量要求，降低了对多视点拍摄时的相机的性能要求，节省了花费在视频采集设备的成本。

作为优选，步骤2中，采用Canny算子计算原始图像的边缘图像，并利用小波变换得到低分辨率图像，对低分辨率图像进行拼接。低分辨率图像拼接完成后，以低分辨率下的平移参数为初始条件，进一步进行原始分辨率图像的拼接。

作为优选，低分辨率图像拼接时的平移参数D_L的计算公式如下：

$D_L={\Σ}_{\begin{array}{c}(x1,y1)\∈I^{\′}\\ (x,y)\∈I\end{array}}\[\left(I\right(x,y)-I^{\′}{(x1,y1)}^2\]$

式中：I(x,y)表示多视点视频低分辨率图像I中像素点(x，y)的灰度值；

I′(x1,y1)表示多视点视频低分辨率图像I'中对应于(x,y)的像素点(x1,y1)的灰度值。

作为优选，原始分辨率图像拼接时的平移参数D_cs的计算公式如下：

$D_{cs}={\Σ}_{\begin{array}{c}(X1,Y1)\∈I_{HSV1}\\ (x,y)\∈I_{HSV2}\end{array}}\[(h\left(x,y\right)-h{\left(x1,y1\right)}^2+(s\left(x,y\right)-s{\left(x1,y1\right)}^2+(v\left(x,y\right)-v{\left(x1,y1\right)}^2\]$

式中，(x,y)是多视点视频HSV图像I_HSV1中一个像素的坐标；

(x1,y1)是多视点视频HSV图像I_HSV2中对应于像素(x,y)的坐标；

h(x,y)是多视点视频HSV图像I_HSV1中像素(x,y)的色度分量；

s(x,y)是多视点视频HSV图像I_HSV1中像素(x,y)的饱和度分量；

v(x,y)是多视点视频HSV图像I_HSV1中像素(x,y)的亮度分量；

h(x1,y1)是多视点视频HSV图像I_HSV2中像素(x1,y1)的色度分量；

s(x1,y1)是多视点视频HSV图像I_HSV2中像素(x1,y)1的饱和度分量；

v(x1,y1)是多视点视频HSV图像I_HSV2中像素(x1,y1)的亮度分量。

由于光照时间和曝光时间的不同，致使采集的同一时刻的多视点视频图像在亮度上有较大差异，因此，在同一时刻多视频视频图像的缝合线处产生亮度的突变线性，影响生成的多视点视频的效果，因此，需要对缝合线处的亮度进行均衡。

本发明中采用颜色渐进过渡的方法进行同一时刻相邻两幅视频图像的融合，步骤3中，进行亮度均衡时，相邻两幅视频图像重合部分中任意一个像素点M的亮度值为

$L\left(M\right)=L_1(x,y)\∂\left(\mathrm{\ω}\right)+L_2(x^{\′},y^{\′})(1-\∂(\mathrm{\ω}\left)\right)$

式中，L₁(x,y)和L₂(x′,y′)分别为点M在相邻两幅视频图像中对应像素点的颜色亮度值，为线性权重函数，ω为点M与重合部分图像边缘的距离。

本发明提供的多视点视频拼接融合算法中，首先在较低分辨率基础上，通过颜色和梯度信息对同一时刻的视频图像进行粗拼接和融合，然后基于低分辨率下的拼接结果对原始图像进行精细拼接和融合，提高了大视频图像的拼接和融合速度，放宽了拍摄原始多视点视频图像的硬件要求，同时改善了光照存在显著差异，且边缘扭曲的多视点视频中同一时刻相邻两幅视频图像的拼接和融合效果。

附图说明

图1为本发明基于多分辨率的多视点视频拼接融合算法的流程图。

具体实施方式

下面结合附图对本发明进行详细说明。

如图1所示，一种基于多分辨率的多视点视频拼接融合算法，包括如下步骤：

(1)同一时刻的多视点视频图像的柱面投影

多视点视频拼接融合中，由于拼接和融合所采用的多视点图像是摄像机在不同视点角度下拍摄的，这些图像并不在同一投影平面上，因此，如果对同一时刻的多视点视频图像直接进行拼接融合，会产生严重的失真和变形。

为了降低拼接和融合的难度，保证拼接后的图像视觉一致，必须将同一时刻的多视点视频图像映射到一个标准投影面(柱面)上，映射过程参见文献SunLifen,ZhongLi,LiYun-hao,etal.Realtimewalkthroughinrealimagebasedvirtualspace[J].JournalofImageandGraphics,1999,4(6):507-513，依据该文献中给出的焦距估计方法，以及图像柱面投影公式将多视点视频图像映射到一个标准投影面上。

(2)同一时刻多视点视频相邻图像的拼接和匹配

为了求取平移参数，需要给出多视点视频相邻两幅图像之间匹配程度的度量，称之为图像间距离，为便于叙述，首先给出如下图像间距离的定义：

a、多视点视频图像间的HSV颜色空间距离

与RGB颜色模型相比，HSV颜色模型可以从彩色信息中消去亮度对彩色信息的影响，因此，在HSV颜色模型中可单独处理亮度分量，有助于减轻困扰多视点视频两幅相邻图像匹配的亮度差异问题。

同一时刻，两相邻图像间的HSV颜色空间距离D_cs(下角cs表示颜色空间)定义在两幅HSV多视点视频图像上

$D_{cs}={\Σ}_{\begin{array}{c}(X1,Y1)\∈I_{HSV1}\\ (x,y)\∈I_{HSV2}\end{array}}\[(h\left(x,y\right)-h{\left(x1,y1\right)}^2+(s\left(x,y\right)-s{\left(x1,y1\right)}^2+(v\left(x,y\right)-v{(x1,y1)}^2\]$

式中，(x,y)是多视点视频HSV图像I_HSV1中一个像素的坐标；

(x1,y1)是多视点视频HSV图像I_HSV2中对应于像素(x,y)的坐标；

h(x,y)是多视点视频HSV图像I_HSV1中像素(x,y)的色度分量；

s(x,y)是多视点视频HSV图像I_HSV1中像素(x,y)的饱和度分量；

v(x,y)是多视点视频HSV图像I_HSV1中像素(x,y)的亮度分量。

h(x1,y1)是多视点视频HSV图像I_HSV2中像素(x1,y1)的色度分量；

s(x1,y1)是多视点视频HSV图像I_HSV2中像素(x1,y)1的饱和度分量；

v(x1,y1)是多视点视频HSV图像I_HSV2中像素(x1,y1)的亮度分量。

如果多视点视频HSV图像I_HSV1中某个像素点在多视点视频HSV图像I_HSV2中的对应像素点落在多视点视频HSV图像I_HSV2中的边界之外，则该点对D_cs没有贡献。

为了尽量减小多视点视频中同一时刻，两幅相邻视频图像的光照差异对D_cs的影响，必须首先均衡两幅相邻视频图像的光照，均衡方法如下：

分别统计同一时刻，相邻的两幅图像在有效区域内所有像素点的亮度累加值分别为v和v’，两个累加值相除得到一个光照强度的比例P，根据这个比例P，通过调整两副图像的亮度，计算出两幅图像的颜色空间距离。

$P=\frac{v}{v^{\′}}=\frac{\Σv(x,y)}{\Σv^{\′}(x,y)}$

b、低分辨率边缘投影图像距离

本实施例采用Canny算子，通过提取边缘来更有效地利用图像中的梯度信息，但是原始图像降低分辨率之后，由于信息的丢失，会使图像的边缘变得很难提取，为此首先定义低分辨率投影图像，继而提出低分辨率边缘投影图像距离，以便更方便地利用边缘信息做低分辨率处理。

通过把原始图像用Canny算子得到的边缘图像进行小波变换来降低图像的分辨率，以获取低分辨率边缘投影图像，这样就可从二值的原始边缘图像得到低分辨率边缘投影灰度图像。

低分辨率边缘投影图像距离D_L(下角L代表Lowresolution)定义在多视点视频相邻两幅低分辨率边缘投影图像I和I'之上，即

$D_L={\Σ}_{\begin{array}{c}(x1,y1)\∈I^{\′}\\ (x,y)\∈I\end{array}}\[\left(I\right(x,y)-I^{\′}{(x1,y1)}^2\]$

式中，I(x,y)表示多视点视频低分辨率图像I中像素点(x，y)的灰度值；

I′(x1,y1)表示多视点视频低分辨率图像I'中对应于(x,y)的像素点(x1,y1)的灰度值。

如果多视点图像I中某个像素点在多视点图像I'中的对应的像素点落在图像I'的边界之外，则该点对D_L没有贡献。

同一时刻，多视点视频中两幅相邻图像匹配算法的步骤如下：

2-1、首先进行低分辨率的拼接和匹配：计算经过了投影处理过后的同一时刻低分辨率多视点视频图像的平移关系，即计算低分辨率下的多视点相邻图像之间的距离D_L，进行低分辨率的拼接和匹配；

2-2、精细拼接和匹配：用前一步求得的平移参数作为初始条件来求出两幅原始分辨率图像之间的的平移参数，也即HSV空间的距离D_cs，进行更精确的拼接和匹配。

(3)多视点视频中，同一时刻相邻两幅图像的融合

由于光照条件、曝光时间的不同，致使采集的同一时刻的多视点视频图像在亮度上会有较大的差别，因此在同一时刻多视点视频图像的缝合线处会产生亮度的突变现象，这将影响生成的多视点视频的效果。

本实施例首先对多视点视频同一时刻相邻的两幅图像进行亮度均衡，然后采用颜色渐进过渡的方法进行两幅图像的融合。

两幅图像重合部分中任意一点M的亮度值为

$L\left(M\right)=L_1(x,y)\∂\left(\mathrm{\ω}\right)+L_2(x^{\′},y^{\′})(1-\∂(\mathrm{\ω}\left)\right)$

式中，L₁(x,y)和L₂(x′,y′)分别为点M在相邻两幅图像中对应像素点的颜色亮度值，为线性权重函数，ω为点M与重合部分图像边缘的距离，在左边缘处取值为1，右边缘取值为0。

Claims (7)

1.一种基于多分辨率的多视点视频拼接融合算法，其特征在于，包括：

步骤1，每个视点的视频包括多个时刻的视频图像，将同一时刻不同视点的多帧视频图像映射到同一基准柱面上；

步骤2，对映射后得到的同一时刻相邻的两幅视频图像进行拼接；

步骤3，对同一时刻相邻两幅视频图像拼接后的重叠部分进行亮度均衡，完成多视点视频的融合。

2.如权利要求1所述的基于多分辨率的多视点视频拼接融合算法，其特征在于，步骤2中，依次在低分辨率和原始分辨率下，对同一时刻相邻的两幅视频图像进行拼接。

3.如权利要求2所述的基于多分辨率的多视点视频拼接融合算法，其特征在于，步骤2中，采用Canny算子计算原始图像的边缘图像，并利用小波变换得到低分辨率图像，对低分辨率图像进行拼接。

4.如权利要求3所述的基于多分辨率的多视点视频拼接融合算法，其特征在于，低分辨率图像拼接完成后，以低分辨率下的平移参数为初始条件，进一步进行原始分辨率图像的拼接。

5.如权利要求4所述的基于多分辨率的多视点视频拼接融合算法，其特征在于，低分辨率图像拼接时的平移参数D_L的计算公式如下：

$D_L={\mathrm{\Σ}}_{\underset{(x,y)\∈I}{(x1,y1)\∈I^{\′}}}\[(I\left(x,y\right)-I^{\′}{(x1,y1)}^2\]$

式中：I(x,y)表示多视点视频低分辨率图像I中像素点(x，y)的灰度值；

I′(x1,y1)表示多视点视频低分辨率图像I'中对应于(x,y)的像素点(x1,y1)的灰度值。

6.如权利要求5所述的基于多分辨率的多视点视频拼接融合算法，其特征在于，原始分辨率图像拼接时的平移参数D_cs的计算公式如下：

$D_{cs}={\Σ}_{\underset{(x,y)\∈I_{HSV2}}{(X1,Y1)\∈I_{{\mathrm{HSV}}^1}}}\[\left(h\right(x,y)-h{(x1,y1)}^2+\left(s\right(x,y)-s{(x1,y1)}^2+\left(v\right(x,y)-v{(x1,y1)}^2\]$

式中，(x,y)是多视点视频HSV图像I_HSV1中一个像素的坐标；

(x1,y1)是多视点视频HSV图像I_HSV2中对应于像素(x,y)的坐标；

h(x,y)是多视点视频HSV图像I_HSV1中像素(x,y)的色度分量；

s(x,y)是多视点视频HSV图像I_HSV1中像素(x,y)的饱和度分量；

v(x,y)是多视点视频HSV图像I_HSV1中像素(x,y)的亮度分量；

h(x1,y1)是多视点视频HSV图像I_HSV2中像素(x1,y1)的色度分量；

s(x1,y1)是多视点视频HSV图像I_HSV2中像素(x1,y)1的饱和度分量；

v(x1,y1)是多视点视频HSV图像I_HSV2中像素(x1,y1)的亮度分量。

7.如权利要求6所述的基于多分辨率的多视点视频拼接融合算法，其特征在于，步骤3中，进行亮度均衡时，相邻两幅视频图像重合部分中任意一个像素点M的亮度值为

$L\left(M\right)=L_1(x,y)\∂\left(\mathrm{\ω}\right)+L_2(x^{\′},y^{\′})(1-\∂(\mathrm{\ω}\left)\right)$

式中，L₁(x,y)和L₂(x′,y′)分别为点M在相邻两幅视频图像中对应像素点的颜色亮度值，为线性权重函数，ω为点M与重合部分图像边缘的距离。