CN102938845A - 基于透视投影的实时虚拟视点生成方法 - Google Patents

Abstract

本发明涉及基于透视投影的实时虚拟视点生成方法，包括：a．对双目立体视频解码；b．对解码后的双目立体视频序列进行立体匹配，计算左右图像的视差关系和左右图像正视差最大值；c．确定虚拟视点的插入位置及三维透视投影的偏移角度；d．根据步骤c计算的偏移角度分别对左右图像进行透视投影，得到对应的多点虚拟视点图像；e．根据光栅式裸眼3D的显示特性对多视点图像进行RGB重排列，使得多点虚拟视点的3D图像合成与光栅排列相一致。本发明的方法，能够实现多视点立体视频的实时生成，满足裸眼立体电视播放要求，并且保证双目立体视频转多目立体视频的实时性，有效的提高了转换的多视点视频的主观质量和舒适度。

Description

基于透视投影的实时虚拟视点生成方法

技术领域

本发明涉及立体视频处理方法，具体的讲是基于透视投影的实时虚拟视点生成方法。

背景技术

在视频显示领域中，与二维视频显示相比，立体视频显示与人的视觉特征更加匹配，使得人们在观看图像时富有立体感和沉浸感。目前的立体电视主要分为眼镜式和裸眼式两种，其中眼镜式立体显示主要以主动快门式和被动偏光式为主，裸眼式主要分为视差屏障式、柱状透镜式等。眼镜式立体技术主要集中在消费级市场，如立体电视、立体投影等，裸眼式立体技术由于技术及成本因素，目前主要于机场、展览等商用显示及小尺寸消费电子产品。裸眼式立体显示技术因为不需要额外的设备即可让观众欣赏到立体效果，因而受到了消费者的普遍期待和各国厂家的重视，正成为下一代立体显示的发展方向。

现有大尺寸裸眼立体电视通常为多视点自由立体显示方式，这就要求视频信号源为多视点立体视频。多视点立体视频是指由位置不同的多个摄像机在相同时刻对相同场景进行拍摄时产生的多个视图的序列，一个视图对应一个视点。目前立体拍摄主要采用双目摄像机实现立体摄制，这对摄像设备和摄像技术要求较高，国内外已有多家公司推出立体摄像机和立体照相机产品。而针对多视点视频采集还存在一定的技术瓶颈，目前多视点视频通常采用立体建模制作或双目立体视频转多目立体视频方式产生。为了让现有双目立体视频可在多视点裸眼立体电视上进行显示，如何将双目立体视频实时转换为多目立体视频正成为裸眼立体领域的一个研究热点。

发明内容

本发明提供了一种基于透视投影的实时虚拟视点生成方法，可用于多视点立体视频的实时生成，满足裸眼立体电视播放要求，保证双目立体视频转多目立体视频的实时性，提高转换的多视点视频的主观质量和舒适度。

本发明基于透视投影的实时虚拟视点生成方法，包括：

a．对双目立体视频进行解码得到双目立体视频序列，并依次将所述的双目立体视频序列送入缓冲区；

b．对缓冲区的双目立体视频序列进行立体匹配，计算左右图像的视差关系，统计左右图像正视差最大值；

c．根据步骤b计算的双目立体视频序列的视差关系和左右图像正视差最大值，确定虚拟视点的插入位置及三维透视投影的偏移角度；

d．根据步骤c计算的偏移角度分别对左右图像进行透视投影，得到对应的多点虚拟视点图像；

e．根据光栅式裸眼3D的显示特性对多视点图像进行RGB重排列，使得多点虚拟视点的3D图像合成与光栅排列相一致。

通过对双目立体图像进行立体匹配计算双目立体图像的左右视差关系，可自适应确定虚拟视点插入的位置及投影透视的偏移角度，得到对应的虚拟视点图像，这样不仅能够保证双目立体视频转多目立体视频的实时性，还能够大幅度提高转换的多视点视频的主观质量和舒适度。

具体的，步骤a中所述的对双目立体视频进行解码包括对左右图像进行分离，如过图像在水平或垂直方向上有分辨率损失，对分辨率有损失的方向按照正常宽高比进行还原。记录单路图像的分辨率为h×v，其中h为水平方向上的分辨率，v为垂直方向上的分辨率，依次将解码的双目立体图像送入缓冲区进行处理。

具体的，步骤b中所述的立体匹配，是基于区域的匹配方法对该对双目立体视频序列进行立体匹配。为加快计算的速度，可针对图像特定区域进行立体匹配。立体匹配的方法还有很多中，例如基于特征点的匹配等，这里采用基于区域的匹配方法有利于保证双目立体图像视差的准确性。

一种具体实现步骤b中所述基于区域的匹配方法包括：

b1．将左路或右路的像素点通过立体匹配找到该像素点在另一路图像的匹配点，采用模板进行像素匹配；

b2．通过比较左右视差图像在各个位置的相关系数，相关性最大的值为最佳匹配点，并根据所述最佳匹配点求得左右图像匹配的像素点；

b3．根据左右图像对应匹配的像素点水平方向值的大小，判断出像素点与屏幕的相对立体关系；

b4．统计左右图像像素点正视差最大值。

除了这种具体实现方法外，还可以通过步骤b3所计算出的当前像素的视差关系，得到当前像素的视差值，并对左右图像所有像素的视差值进行统计，得到正视差的最大值。

具体的，步骤c中计算虚拟视点的插入位置及三维透视投影的偏移角度包括：

计算在已有的双目立体图像内侧插入的虚拟视点个数；

计算在已有的双目立体图像外侧插入的虚拟视点个数；

计算相邻的左右两路图像间的视差；

计算相邻的左右两路图像进行透视投影的偏移角度。

具体的，步骤d包括：以垂直于图像中轴线的平面为转轴，以对应的旋转角度进行旋转，从垂直于该图像的视角得到的透视投影画面即是所求是虚拟视点图像。

具体的，步骤e中所述多点虚拟视点的3D图像合成是根据光栅周期、光栅倾斜度、2D显示屏子像素宽度和所采用的视点数进行计算的。

本发明基于透视投影的实时虚拟视点生成方法，能够实现多视点立体视频的实时生成，满足裸眼立体电视播放要求，并且保证双目立体视频转多目立体视频的实时性，有效的提高了转换的多视点视频的主观质量和舒适度。

以下结合实施例的具体实施方式，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。在不脱离本发明上述技术思想情况下，根据本领域普通技术知识和惯用手段做出的各种替换或变更，均应包括在本发明的范围内。

附图说明

图1为本发明基于透视投影的实时虚拟视点生成方法的流程图。

具体实施方式

本实施例中均以左路图像为参考。

如图1所示本发明基于透视投影的实时虚拟视点生成方法，包括：

a．对双目立体视频进行解码得到双目立体视频序列，并依次将所述的双目立体视频序列送入缓冲区。对双目立体视频进行解码包括对左右图像进行分离，如果在获取双目立体视频内容时，双目立体视频是采用拼接方式进行压缩的，则先调用2D视频解码库得到双目立体视频序列，如果是蓝光3D视频压缩格式，则先调用H.264MVC解码库对左右路图像进行解码，然后再对左右图像进行分离。如过图像在水平或垂直方向上有分辨率损失，对分辨率有损失的方向按照正常宽高比进行还原。记录单路图像的分辨率为h×v，其中h为水平方向上的分辨率，v为垂直方向上的分辨率，依次将解码的双目立体图像送入缓冲区进行处理。

b．对缓冲区的双目立体视频序列进行立体匹配，计算左右图像的视差关系，统计左右图像正视差最大值。所述的立体匹配，是基于区域的匹配方法对该对双目立体视频序列进行立体匹配。为加快计算的速度，可针对图像特定区域进行立体匹配。具体步骤包括：

b1．将左路或右路的像素点通过立体匹配找到该像素点在另一路图像的匹配点，采用模板进行像素匹配。假设左路图像像素点(x₁,y₁)，通过立体匹配可找到该像素在右路图像的匹配像素点(x_r,y_r)，采用M×N子块模板进行像素匹配。假设左路图像以像素点(x₁,y₁)为中心的模板为T，匹配右路图像的子图像为T′，可通过下列公式计算T和T′的相似度：

$C(T,T^{\′})=\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\left[(T^{\′}(i,j)-T(i,j))\right]}^2}{\sqrt{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\left[\left(T^{\′}(i,j)\right)\right]}^2}\sqrt{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\left[T(i,j)\right]}^2}}$

通过相似度的计算，可以得知左路图像模板T和对应的右路子图像T′是否匹配。

b2．通过比较左右视差图像在各个位置的相关系数，相关性最大的值为最佳匹配点，并根据所述最佳匹配点求得左右图像匹配的像素点；

b3．根据左右图像对应匹配的像素点水平方向值的大小，判断出像素点与屏幕的相对立体关系。以左路图像为参考，在该图像中位于像素点(x₁,y₁)处对应的视差值大小为：

D(x₁,y₁)=x₁-x_r

当x₁>x_r时，视差D(x₁,y₁)为正，该像素点(x₁,y₁)是凸出立体显示屏的；当x₁<x_r时，视差D(x₁,y₁)为负，该像素点(x₁,y₁)是凹进立体显示屏的；当x₁=x_r时，视差D(x₁,y₁)为零，该像素点(x₁,y₁)是位于立体显示屏上的。

在计算各点的视差之后，需要将视差值从最小到最大映射到灰度级0～255上，可得到左右路图像的深度图，并对深度图进行平滑处理。

b4．以左路图像为参考统计左右图像像素点正视差最大值：

D_max=max{D(x₁,y₁),…,D(x_h,y_v)}

c．根据步骤b计算的双目立体视频序列的视差关系和左右图像正视差最大值，确定虚拟视点的插入位置及三维透视投影的偏移角度，具体为：

通过步骤b中得到的左右视点像素点正视差最大值D_max，假设最终生成的多视点立体视频视点数为K，插入虚拟视点的位置可通过以下公式进行计算：

在已有双目立体图像内侧插入的虚拟视点个数为：

其中

为下取整符号。

在已有双目立体图像外侧插入的虚拟视点个数为：

为保证每个视角视差连续性，计算相邻的左右两路图像间的视差值为：

$D=\frac{D_{\max }}{K_1+1}$

此时，对邻两路图像进行透视投影的偏转角度为：

$\mathrm{\&theta;}=R\&times;\frac{D_{\max }}{K_1+1}$

其中，R为常数。

d．根据步骤c计算的偏移角度分别对左右图像进行透视投影，得到对应的多点虚拟视点图像。透视投影最显著的特征就是透视缩短，物体距离照相机越远，它在最终图像中看上去就越小。位于视景体之内的物体被投影到金字塔的顶点，也就是照相机或观察点的位置。靠近观察点的物体看上去更大一些，因为和远处的物体相比，它们占据了视景体中相对较大的区域。

以在左右图像内侧插入虚拟视点图像为例，若要在左路图像右侧进行虚拟视点生成，要以垂直于该图像中轴线（水平方向分辨率为h/2的连线）的平面为转轴（假设为z轴），以θ角度进行逆时针旋转，在三维坐标系下，假设左路图像像素点P(x,y,z)绕z轴旋转θ角度得到的像素点为P′(x′,y′,z′)，则有：

$\left[\begin{array}{c}{x}^{\&prime;}\\ y^{\&prime;}\\ z^{\&prime;}\\ 1\end{array}\right]=\left[\begin{array}{cccc}\cos \mathrm{\&theta;}& -\sin \mathrm{\&theta;}& 0& 0\\ \sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}& 0& 0\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right]$

此时，从垂直于左路图像的视角得到的透视投影即是所求是虚拟视点图像。

若要在左右图像外侧插入虚拟视点图像，同样以垂直于图像中轴线（水平方向分辨率为h/2的连线）的平面为转轴，以对应的旋转角度θ进行旋转，从垂直于该图像的视角得到的透视投影画面即是所求是虚拟视点图像。

e．根据光栅式裸眼3D显示特性获取多视点3D图像的合成方式，由于不同光栅的设计不同，多视点3D图像的合成方式也不一样。通常来说，设光栅周期为P，光栅倾斜度为θ，2D显示屏子像素宽度为W_p，所采用的视点数为K，这四个参数应满足如下关系:

其中，

为上取整符号。

根据光栅式裸眼3D的显示特性对多视点图像进行RGB重排列，使得多点虚拟视点的3D图像合成与光栅排列相一致。

通过对双目立体图像进行立体匹配计算双目立体图像的视差关系，可自适应确定虚拟视点插入位置及投影透视的偏移角度，以垂直于图像中轴线的平面为转轴进行三维旋转可得到对应的虚拟视点图像，不仅可以保证双目立体视频转多目立体视频的实时性，还大幅度提高了转换的多视点视频的主观质量和舒适度。

Claims (7)

1.基于透视投影的实时虚拟视点生成方法，其特征包括：

a．对双目立体视频进行解码得到双目立体视频序列，并依次将所述的双目立体视频序列送入缓冲区；

b．对缓冲区的双目立体视频序列进行立体匹配，计算左右图像的视差关系，统计左右图像正视差最大值；

c．根据步骤b计算的双目立体视频序列的视差关系和左右图像正视差最大值，确定虚拟视点的插入位置及三维透视投影的偏移角度；

d．根据步骤c计算的偏移角度分别对左右图像进行透视投影，得到对应的多点虚拟视点图像；

e．根据光栅式裸眼3D的显示特性对多视点图像进行RGB重排列，使得多点虚拟视点的3D图像合成与光栅排列相一致。

2.如权利要求1所述的基于透视投影的实时虚拟视点生成方法，其特征为：步骤a中所述的对双目立体视频进行解码包括对左右图像进行分离，如过图像在水平或垂直方向上有分辨率损失，对分辨率有损失的方向按照正常宽高比进行还原。

3.如权利要求1所述的基于透视投影的实时虚拟视点生成方法，其特征为：步骤b中所述的立体匹配，是基于区域的匹配方法对该对双目立体视频序列进行立体匹配。

4.如权利要求3所述的基于透视投影的实时虚拟视点生成方法，其特征为：所述基于区域的匹配方法包括：

b1．将左路或右路的像素点通过立体匹配找到该像素点在另一路图像的匹配点，采用模板进行像素匹配；

b2．通过比较左右视差图像在各个位置的相关系数，相关性最大的值为最佳匹配点，并根据所述最佳匹配点求得左右图像匹配的像素点；

b3．根据左右图像对应匹配的像素点水平方向值的大小，判断出像素点与屏幕的相对立体关系；

b4．统计左右图像像素点正视差最大值。

5.如权利要求1所述的基于透视投影的实时虚拟视点生成方法，其特征为：步骤c中计算虚拟视点的插入位置及三维透视投影的偏移角度包括：

计算在已有的双目立体图像内侧插入的虚拟视点个数；

计算在已有的双目立体图像外侧插入的虚拟视点个数；

计算相邻的左右两路图像间的视差；

计算相邻的左右两路图像进行透视投影的偏移角度。

6.如权利要求1所述的基于透视投影的实时虚拟视点生成方法，其特征为：步骤d包括：以垂直于图像中轴线的平面为转轴，以对应的旋转角度进行旋转，从垂直于该图像的视角得到的透视投影画面即是所求是虚拟视点图像。

7.如权利要求1所述的基于透视投影的实时虚拟视点生成方法，其特征为：步骤e中所述多点虚拟视点的3D图像合成是根据光栅周期、光栅倾斜度、2D显示屏子像素宽度和所采用的视点数进行计算的。

Images