CN104935908B

CN104935908B - 一种3d视频转多视点自由立体显示的方法

Info

Publication number: CN104935908B
Application number: CN201510178515.5A
Authority: CN
Inventors: 姚莉
Original assignee: Southeast University
Current assignee: Southeast University
Priority date: 2015-04-16
Filing date: 2015-04-16
Publication date: 2017-04-12
Anticipated expiration: 2035-04-16
Also published as: CN104935908A

Abstract

本发明公开了一种自动将3D视频转换为多视点自由立体显示视频的方法,该方法有三个步骤，首先对3D视频左右视点图像进行分析并从中提取稀疏深度、边、显著性等信息，然后利用这些信息得到能量约束方程并对能量约束方程最小化进行数值求解即可得到从当前视点到新视点上的图像域非线性变形函数，最后利用得到的图像域非线性变形函数和3D视频左右视点图像合成新的视点图像。通过本发明方法能够自动的将3D视频转换为多视点自由立体显示视频，无需人工干预，节省人力成本，而且该方法使用图像域变形，避免了传统的基于深度图像绘制技术合成新视点方法需要稠密深度信息和需要对因为遮盖引起的空洞进行图像修补就能得到较好的新视点图像。

Description

一种3D视频转多视点自由立体显示的方法

技术领域

本发明属于视频和图像处理领域，特别涉及一种将当前3D视频转换为多视点自由立体显示视频的方法。

背景技术

随着近年来3D电影的风行，特别是电影《阿凡达》的横空出世，在全球掀起了一股3D狂潮，到目前已经有不少3D动漫和3D电影，电视机厂商也生产许多了基于不同3D显示技术的3D电视机。早期电视机厂商所发展的3D电视机,是需搭配红蓝眼镜、偏光眼镜、快门眼镜等,然此缺点为倘若3D眼镜不见、损坏、或人数过多不敷使用等,则光靠3D显示器也呈现不出立体影像；另外的缺点是,需戴眼镜的3D显示器仅能作到2视点的3D视角范围,而无法作到3个视点以上。以上原因，也促使电视厂商渐朝向裸视、多视点的3D显示技术发展。然而多视点自由立体显示视频内容制作依然是一个没有有效解决的问题。目前常见的办法是从原有的3D视频中提取深度信息，然后利用基于深度图像绘制技术使用深度图和3D视频合成新的视点图像，该技术存在以下几个问题还没有有效解决：

1) 基于深度图像绘制技术需要从现有的3D视频中提取稠密深度信息，目前深度提取技术主要利用3D视频左右视点图像中的特征点匹配技术得到，很难得到稠密深度图。

2）基于深度图像绘制技术使用了立体几何和物理光学等知识，要求较高准确度的深度信息，而利用特征点匹配得到的深度信息都是相对的。

3）由于3D视频中的物体存在遮盖现象，一个物体在当前视点是不可见的但是到了新的视点可能又变为可见了，但是原来的3D视频中并没有记录被遮盖物体的图像信息，在新的视点该物体处就会变为空洞，基于深度图像绘制技术需要对因为遮盖原因引起的新视点空洞进行图像修补，图像修补目前没有什么又快速又效果好的算法。

发明内容

本发明主要解决的技术问题是提供一种基于图像显著性的非线性图像域变形技术，该方法只需要从3D视频中提取稀疏深度、边、显著性信息，然后利用这些信息实现从3D视频视点到新视点的图像域变形。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种3D视频转多视点自由立体显示的方法，具体步骤包括：

（100）、首先对3D视频的左右视点图像进行分析并从中提取稀疏深度图、边、显著性信息；

（200）、然后利用这些信息得到能量约束方程，并对能量约束方程最小化进行数值求解，即可得到从当前视点到新视点上的图像域非线性变形函数；

（300）、最后利用得到的图像域非线性变形函数和3D视频左右视点图像融合得到新的视点图像。

在本发明一个较佳实施例中，所述步骤（100）中，提取稀疏深度图的过程包括：

（111）、对3D视频的左右视点图像进行特征点提取和特征点匹配；

（112）、在提取到特征点后，使用RANSAC算法去除特征点中的奇异值；由匹配特征点之间的位移即可得视差图，根据视差与深度的几何关系即可从视差图得到深度图；由于根据匹配特征点得到深度图，特征点可能会集中到左右视点图像中的几个集中的区域，故得到的深度图也是集中到几个区域的稀疏深度图。

在本发明一个较佳实施例中，所述步骤（111）中，特征点的提取和特征点匹配采用SIFT、kd-tree算法。

在本发明一个较佳实施例中，所述步骤（112）中利用特征点匹配求深度图，结合基于光流计算视差方法，得到更精确的视差图，从而得到更精确的深度图。

在本发明一个较佳实施例中，所述步骤（100）中，从3D视频左右视点图像中提取边，采用边缘提取算子提取边缘后再采用Hough变换从边中提取直线。

在本发明一个较佳实施例中，所述步骤（100）中，从3D视频左右视点图像中提取显著性信息，通过计算3D视频左右视点图像的四元傅里叶变换的相位谱得到图像的时空显著性信息，图像中的每一个像素点都用四元组表示：颜色，亮度和运动向量。

在本发明一个较佳实施例中，步骤（200）中，

根据从3D视频左右视点图像中提取的信息和能量方程，采用最小化方法求解从3D视频左右视点图像到新视点图像的非线性图像域变形函数，应该考虑四个方面的约束：深度约束、保角约束、边约束、时间约束；

深度约束，将3D视频左右视点中的点结合显著性移动到新视点中对应的位置；

保角约束，测量非线性图像域变形网格面的变形程度，补偿强的局部形变；

时间约束，为了减小新视点图像数据帧间图像差距大引起瑕疵，引入时间约束；

边约束，垂直边在立体融合中相当重要，在从3D视频左右视点到新视点的图像域变形中应该尽量保持垂直边不发生弯曲变形，这样可以减少因为垂直边变形引起观看者的不舒适感。

在本发明一个较佳实施例中，步骤（300）中，3D视频左右视点图像根据得到的非线性图像域变形函数变形到新的视点图像后，按照一定的比率融合得到新的视点的图像；采用按照新的视点与3D视频左右视点图像的视差做参数来计算作为融合的比率。

本发明的有益效果是：

1）、本发明3D视频转多视点自由立体显示的方法只需要从3D视频左右视点图像中利用特征点匹配算法提取稀疏深度信息，该方法是鲁棒、可靠、精确、和自动的。

2）、本发明3D视频转多视点自由立体显示的方法考虑了图像的显著性，保证了从3D视频左右视点图像到新视点变形后显著值大的区域没有明显的几何形变；且给显著值大的区域分配更多的深度值范围，增大显著值大的区域的深度梯度，增强了该区域的立体感。

3）、本发明3D视频转多视点自由立体显示的方法不存在像传统基于深度图绘制技术新视点合成的存在因遮盖引起空洞需要进行图像修补的问题。

附图说明

图1 是由3D视频合成多视点自由立体显示视频概念示意图；

图2 是由3D视频合成多视点自由立体显示视频框图；

图3是使用非线性图像变形函数对输入图像变形示例图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

结合附图1-3所示，本发明公开一种3D视频转多视点自由立体显示的方法，具体步骤包括：

100）、从3D视频中提取稀疏深度信息、边、显著性信息：

对3D视频的左右视点图像进行分析和特征提取，从中获取稀疏深度图、边、显著性等信息。

110）、稀疏深度图提取：

稀疏深度图提取采用基于传统的计算机视觉方法，通过利用在3D视频中左右2个不同的视点获得的同一景物的2幅图像进行特征点匹配来恢复出场景物体的深度信息。具体为：

111）、首先对3D视频的左右视点图像进行特征点提取和特征点匹配；

112）、根据特征点匹配得到对应点的视差图；然后根据对应点的视差与深度的关系计算出深度，从而将视差图转化为深度图。具体为在提取到3D视频左右视点图像的特征点后使用RANSAC算法移除特征点中的奇异值，然后采用kd-tree算法进行特征点匹配即可得到视差图。由于使用根据匹配特征点得到深度图，特征点可能会集中到左右视点图像中的几个集中的区域，故得到的深度图也是集中到几个区域的稀疏深度图。这里利用特征点匹配求深度图可以结合基于光流计算视差的Lucas-Kanade方法，来得到更好的视差图，从而得到更好的深度图。

120）、边的提取：

垂直边对立体融合相当重要，因此我们检测出3D视频左右视点图像中的垂直边，在从3D视频左右视点图像到新视点图像的非线性图像域变形再融合时保持垂直边不变形。垂直边的检测可以使用利用Sobel算子提取3D视频左右视点图像中的边后再使用Hough变换提取垂直直线。

130）、显著性信息提取：

利用Guo等人提出的PQFT（Phase Spectrum of Quaternion Fourier Transform）方法通过计算3D视频左右视点图像的四元傅里叶变换的相位谱得到图像的时空显著性信息，图像中的每一个像素点都用四元组表示：颜色，亮度和运动。四元组为四维度向量，四个维度分别用来存储PQFT方法对输入图像转换得到的两个红绿、蓝黄颜色通道、一个亮度通道、一个运动通道。PQFT方法首先将输入图像的红、绿、蓝三色通道转化为四个颜色通道：红、绿、蓝、黄和一个亮度通道，再利用人类的视觉系统特性分别将红绿相减、蓝黄相减得到具有相关性的两个红绿、蓝黄通道。运动通道存储不同帧图像之间的亮度差。

PQFT模型独立于先验信息，不需要参数，计算高效，适合于实时显著性检测。

200）、求解图像域非线性变形函数：

210）、深度的非线性化：

结合提取到的显著性信息对显著值大的区域深度值可以进行深度值范围扩大和梯度增大，增强显著值大的区域的立体感，对显著值小进行深度值范围压缩。

220）、图像域非线性变形函数求解：

利用提取到的稀疏深度、边、显著性等信息和能量约束方程最小化方法得到从3D视频左右视点到新视点的图像域非线性变形函数。组合的能量方程由四部分组成：

(1)

图像域非线性变形函数为规则的四边形网格，网格有点、边、和面。W()代表给定的3D视频左右视点图像到新的视点图像的位置映射。能量约束方程由以下四部分组成：

(2)

保角约束：保角约束测量网格面的变形，补偿强的局部形变。

(3)

(4)

(5)

深度约束：、代表相同特征点在3D视频中左右视点图像中的位置，、…代表特征点在第1、2…N个新视点图像中的位置，代表特征点的显著性，对于最靠近3D视频左视点的新视点图像中的特征点采用约束式(3)，对于最靠近3D视频右视点的新视点图像中的特征点采用约束式(4)，对于一般新视点中的特征点采用约束式(5)，深度约束式将3D视频左右视点中的特征点结合显著性移动到新视点中对应的位置。

，、

(6)

时间约束：为了减小新视点图像数据帧间图像差距大引起瑕疵，引入时间约束。

(7)

垂直边约束：垂直边在立体融合中相当重要，在从3D视频左右视点到新视点的图像域变形中应该尽量保持垂直边不发生弯曲变形。

对(1)式能量约束方程最小化进行数值求解即可得到从当前视点到新视点上的图像域非线性变形函数W()。

300）、对3D视频左右视点图像进行图像域变形再融合得到新视点的图像：

利用得到的图像域非线性变形函数W()对3D视频左右视点图像进行图像域变形，再按照比率融合即可得到新视点的图像。采用按照新的视点与3D视频左右视点图像的视差做参数来计算作为融合的比率，具体计算公式如下：

（8）

假定，代表参考视点A，B非线性变形到新视点后的图像，，代表参考视点A，B到合成视点I的视差，代表视差的最大值。当不存在时，=，反之当不存在时，=。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种3D 视频转多视点自由立体显示的方法，其特征在于，具体步骤包括：

（100）、首先对3D 视频的左右视点图像进行分析并从中提取稀疏深度图、边、显著性信息；

能量约束方程由深度约束、保角约束、边约束、时间约束四部分组成：

，其中，，，，是各约束项的权重；

保角约束，

其中B是边缘检测后得到的边，为边上的第个点，为边上的第个点，为给定的3D视频左右视点图像到新的视点图像的位置映射；

深度约束

，

其中、代表相同特征点在 3D 视频中左右视点图像中的位置，代表特征点在第 1、2…N 个新视点图像中的位置，代表特征点的显著性；

时间约束；

其中M是视频中每一帧的图像域，表示图像域M中的第k个点，为、帧上的图像域M上非线性变形函数；

垂直边约束

其中为相同hough边上的第i、i+1像素点；

（300）、最后利用得到的图像域非线性变形函数和3D 视频左右视点图像融合得到新的视点图像。

2.根据权利要求1 所述的3D 视频转多视点自由立体显示的方法，其特征在于，所述步骤（100）中，提取稀疏深度图的过程包括：

（111）、对3D 视频的左右视点图像进行特征点提取和特征点匹配；

（112）、在提取到特征点后，使用RANSAC 算法去除特征点中的奇异值；由匹配特征点之间的位移即可得视差图，根据视差与深度的几何关系即可从视差图得到深度图。

3.根据权利要求2 所述的3D 视频转多视点自由立体显示的方法，其特征在于，所述步骤（111）中，特征点的提取和特征点匹配采用SIFT、kd-tree 算法。

4.根据权利要求2 所述的3D 视频转多视点自由立体显示的方法，其特征在于，所述步骤（112）中利用特征点匹配求深度图，结合基于光流计算视差方法，得到更精确的视差图，从而得到更精确的深度图。

5.根据权利要求1 所述的3D 视频转多视点自由立体显示的方法，其特征在于，所述步骤（100）中，从3D 视频左右视点图像中提取边，采用边缘提取算子提取边缘后再采用Hough变换从边中提取直线。

6.根据权利要求1 所述的3D 视频转多视点自由立体显示的方法，其特征在于，所述步骤（100）中，从3D 视频左右视点图像中提取显著性信息，通过计算3D 视频左右视点图像的四元傅里叶变换的相位谱得到图像的时空显著性信息，图像中的每一个像素点都用四元组表示：颜色，亮度和运动向量。

7.根据权利要求1 所述的3D 视频转多视点自由立体显示的方法，其特征在于，步骤（200）中，

根据从3D 视频左右视点图像中提取的信息和能量方程，采用最小化方法求解从3D 视频左右视点图像到新视点图像的非线性图像域变形函数，所述四个方面的约束为深度约束、保角约束、边约束、时间约束；

深度约束，将3D 视频左右视点中的点结合显著性移动到新视点中对应的位置；

边约束，在从3D 视频左右视点到新视点的图像域变形中应该尽量保持垂直边不发生弯曲变形。

8.根据权利要求1 所述的3D 视频转多视点自由立体显示的方法，其特征在于，步骤（300）中，3D 视频左右视点图像根据得到的非线性图像域变形函数变形到新的视点图像后，按照一定的比率融合得到新的视点的图像；采用按照新的视点与3D 视频左右视点图像的视差做参数来计算作为融合的比率。