CN105704476A - 一种基于边缘修复的虚拟视点图像频域快速获取方法 - Google Patents

Abstract

本发明涉及立体显示像源获取技术，公开了一种基于边缘修复的虚拟视点图像频域快速获取方法，包括：三维光场重建：根据2D图像和景深图建立三维光场矩阵；边缘修复：对三维矩阵的背景层中的空洞区域进行边缘填充；傅里叶切片：对边缘填充后的三维矩阵进行快速傅里叶变换，获得三维光场的频域信息，然后对该频域信息进行特定角度的二维切片，将二维切片进行傅里叶反变换即得到不同指定角度的单视点图像。本发明首次提出三维光场重建与傅里叶中心切片定理相结合的方法，从频域角度快速获取用于立体显示的多视点图像，避免了传统方法所使用的像素匹配，大大提高了处理速度，另外基于图像修复理论的空洞边缘填充，也使得获取的虚拟视点更加自然。

Description

一种基于边缘修复的虚拟视点图像频域快速获取方法

技术领域

本发明涉及立体显示领域，具体涉及一种基于边缘修复的虚拟视点图像频域快速获取方法。

背景技术

傅里叶切片定理又叫做中心切片定理。它由Bracewell于1956年在对射电天文学进行研究时提出的，它也是医学图像处理的理论基础。该定理的提出为后来在信号处理、图像处理等领域带来了极大的帮助。

三维显示系统将场景的三维信息完全地再现出来，显示具有纵深感的图像。观看者可以直接看出场景中各物体的远近，迅速直观地洞察场景中物体的三维空间关系，从而获得完整和准确的信息。正如声音的记录与再现不断向立体、高保真方向发展一样，图像也从二维向三维、高分辨方向发展。

下一代高分辨率三维显示技术能够完美呈现三维场景中所有物体的位置、角度、颜色、细节特征等丰富信息，具有连续视角和空间深度感，更符合人眼的观看习惯，但是显示所需的数据量需要比现有系统需提高2～3个数量级。巨大的信息量对于复杂场景的高速表征、实时光波场描述和再现系统的空间带宽积提出了更高的要求。因此必须对海量信息的三维显示的像源处理方法就变得尤为重要。

目前行业内所使用的几种方案包括以下几种，其一，采用3DMAX模拟仿真获取，优点是它可以模拟任意拍摄环境，但是它只能处理虚拟场景。其二，采用相机阵列，优点是它可以它可以拍出立体效果很好的像源，但是其制作成本较高，且操作复杂。还有就是飞利浦采用的像素匹配方案，但是对于高分辨率像源，它的最大问题就是处理时间很长。另外，对于空洞填充，文献RegionFillingandObjectRemovalbyExemplar-BasedImageInpainting有提到Criminisi算法，但它面对的是整个空洞区域填充，非常耗时。

发明内容

发明目的：解决高分辨率三维显示中高清像源快速获取的问题，本发明公开了一种基于傅里叶中心切片定理和边缘修复的虚拟视点图像快速获取方法。

技术方案：为实现上述发明目的，本发明采用如下技术方案：

一种基于边缘修复的虚拟视点图像频域快速获取方法，该方法包括如下步骤：

(1)三维光场重建：根据2D图像和景深图建立三维光场矩阵P(x,y,z)；

(2)边缘修复：对步骤(1)中得到的三维矩阵的背景层中的空洞区域进行边缘填充；

(3)傅里叶切片：对步骤(2)中边缘填充后的三维矩阵进行快速傅里叶变换，获得三维光场的频域信息Q(m,n,w)，其中m,n,w轴分别与x,y,z轴对应，然后对该频域信息进行特定角度的二维切片，将所述二维切片进行傅里叶反变换即得到不同指定角度的单视点图像。

所述步骤(1)中根据2D图像和景深图建立三维光场矩阵的方法为：首先建立一个具有N层的三维矩阵P(x,y,z)，其中x-y面为2D图像面，z为层数；然后根据景深图，将2D图中对应的像素填充到在三维矩阵的不同层；其中，x-y面大小与2D图像大小一致，z与N之间满足公式：其中depth为景深值。

所述步骤(2)中采用改进Criminisi算法对三维矩阵的背景层中的空洞区域进行边缘填充，具体为：当满足条件时，将匹配窗口像素灰度值填充到待填充区域，λ加1，重复该操作，直到不满足条件λ≤num(z)；其中，ψ_q表示待填充区域，ψ_p表示匹配窗口，num(z)为每一层单个空洞区单行域需要填充的像素个数，λ为该行已经填充的像素个数，SSD为图像相关性算法函数。

所述步骤(3)中的二维切片M(a,b)的大小与2D图像一致，M(a,b)为沿着频域信息Q(m,n,w)的n轴，并与w轴的夹角为θ向m-w面的切片，或者沿着m轴，并与w轴的夹角为θ向n-w面的切片，θ为指定的角度。

若M(a,b)为沿着频域信息Q(m,n,w)的n轴，并与w轴的夹角为θ向m-w面的切片，a＝m*cosθ,b＝m*sinθ；若M(a,b)为沿着频域信息Q(m,n,w)的m轴，并与w轴的夹角为θ向n-w面的切片，a＝n*cosθ,b＝n*sinθ。

当b不为整数时，设频域信息Q(m,n,w)中每个点(m,n,w)的信息为I(m,n,w)，b的整数部分为b1，小数部分为b2，那么实际填充到切片M(a,b)中的信息为I(m,n,w)*(1-b2)+i(m,n,w+1)*b2。

有益效果：本发明采用了三维光场重建与傅里叶中心切片定理相结合的方法，从频域角度快速获取用于立体显示的多视点图像，避免了传统方法所使用的像素匹配，大大提高了处理速度，并且虚拟视点的空洞填充边缘更加自然和连续，对未来超高清立体显示提供了技术支持。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。

图1为本发明实施例的流程图；

图2为本发明实施例中三维光场坐标转换示意图；

图3为本发明实施例的原理示意图；

图4为本发明实施例的仿真结果图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述。

传统方法合成多视点，常采用的办法如下。其一，采用3DMAX模拟仿真获取，优点是它可以模拟任意拍摄环境，但是它只能处理虚拟场景。其二，采用相机阵列，优点是它可以它可以拍出立体效果很好的像源，但是其制作成本较高，且操作复杂。还有就是飞利浦采用的像素匹配方案，但是对于高分辨率像源，它的最大问题就是处理时间很长。

本发明采用了三维光场重建与傅里叶中心切片定理相结合的方法，从频域角度快速获取用于立体显示的多视点图像，避免了传统方法所使用的像素匹配，大大提高了处理速度，对未来超高清立体显示提供了技术支持。

如图1所示，本发明实施例公开的一种基于边缘修复的虚拟视点图像快速获取方法，主要包括如下步骤：

S1、三维光场重建。建立一个具有N层的三维矩阵P(x,y,z)，其中x-y面为2D图像面，z为层数。根据景深图，将2D图中对应的像素填充到在三维矩阵的不同层，还原图像真实的相对位置关系。

S2、边缘修复。S1中三维矩阵的背景层中的空洞区域，该区域是由于前景信息被移走，而在背景上留下的空洞。采用改进Criminisi算法进行边缘填充，边缘填充条件为：num(z)为每一层单个空洞区单行域需要填充的像素个数，为该行已经填充的像素个数。当判定条件λ≤num(z)不满足时，该空洞区域填充结束。

S3、傅里叶切片。对S2中边缘填充完的三维矩阵进行快速傅里叶变换(NFFT)，获得三维光场的频域信息Q(m,n,w)，然后对该频域信息进行特定角度的二维切片M(a,b)，M(a,b)为沿着频域信息Q(m,n,w)的n轴，并与w轴的夹角为θ向m-w面的切片，或者沿着m轴，并与w轴的夹角为θ向n-w面的切片，且切片大小与2D图片一致。视点图像获取。将S3中得到的二维切片M(a,b)进行傅里叶反变换(IFFT)即得到不同角度的单视点图像P(x,y)。

下面以频域信息M(a,b)为沿着频域信息Q(m,n,w)的n轴，并与w轴的夹角为θ向m-w面的切片为例对本实施例的方法进行详细描述。

首先，以物体的中心点为原点，建立一个三维坐标系P(x,y,z)，如图2所示。那么所要获取切面其实就是H(R,Y,S)，其中R-Y面与X-Y面夹角为θ，两个面同时过Y轴，且大小一致。R-Y面就好比观察者沿着S轴向R-Y面观看物体所看到的真实三维物体遮挡关系。

两个坐标系满足关系：

R＝x*cosθ+z*sinθ；

Y＝y；

S＝-x*sinθ+z*cosθ；

根据景深图，如图3所示，S，E和U三个字母分别具有三种不同的景深值，根据公式：

$z=\frac{depth}{255}*N$

其中depth为景深值，N为三维矩阵总层数。

将2D图像中的像素按照对应depth值，分别填充到不同z层，每一层对应的(x,y)位置不变。没有数值的地方填0。

上述步骤操作完之后，需要对由于2D图片前景像素移走，而在本层留下的空洞，进行边缘修复填充。实验发现，当小角度切片时，只有很小部分的空洞像素会出现在最后的切片上，所以我们采取的方案是只填充空洞边缘的像素。填充方案为：num(z)为每一层单个空洞区单行域需要填充的像素个数，λ为该行已经填充的像素个数。当判定条件:

${\mathrm{\ψ}}_q=\arg \underset{{\mathrm{\ψ}}_q\∈\mathrm{\φ}}{\min }SSD({\mathrm{\ψ}}_p,{\mathrm{\ψ}}_q)---\left(1\right)$

λ≤num(z)(2)

其中，ψ_q表示待填充区域,ψ_p表示匹配窗口，SSD为图像相关性算法函数，目的是找出与待填充区域最相似的匹配窗口。当满足条件(1)时，将匹配窗口像素灰度值填充到待填充区域，λ加1。重复该操作，直到不满足条件(2)。

然后，对填充完的三维矩阵进行快速傅里叶变换，获得三维光场的频域信息Q(m,n,w)，对该频域信息进行特定角度的二维切片M(a,b)，若M(a,b)为沿着频域信息Q(m,n,w)的n轴，并与n轴的夹角为θ向m-w面的切片，则a＝m*cosθ,b＝m*sinθ；若沿着m轴，并与m轴的夹角为θ向n-w面的切片，则a＝n*cosθ,b＝n*sinθ。

上述二维切片M(a,b)中，a为行坐标，b为列坐标，得到M(a,b)时，a按照从1到m整数遍历，每一个a对应n个b，每个b不一定是整数，当b不为整数时，设频域信息Q(m,n,w)中每个点(m,n,w)的信息为I(m,n,w)，b的整数部分为b1，小数部分为b2，那么实际填充到切片M(a,b)中的信息为I(m,n,w)*(1-b2)+i(m,n,w+1)*b2。

最后，将在特定观看角度θ一定的情况下，对得到的二维切片M(a,b)进行傅里叶反变换，即可得到图2所示的R-Y面，即观看者沿S轴看到三维物体的遮挡关系。

下面分别举例说明本发明实施例的虚拟视点图像快速获取方法中的沿傅里叶变换后的三维光场的频域信息的不同轴(m轴和n轴)进行傅里叶切片得到的视觉效果。

示例1：沿n轴切片。根据上述实施例的方法中的S3步骤中，对填充完的三维矩阵进行快速傅里叶变换，获得三维光场的频域信息Q(m,n,w)，对该频域信息进行特定角度的二维切片M(a,b)，M(a,b)为沿着频域信息Q(m,n,w)的n轴，并与w轴的夹角为θ向m-w面的切片，此时a＝m*cosθ,b＝m*sinθ；将在特定观看角度θ一定的情况下，对得到的二维切片M(a,b)进行傅里叶反变换，即可得到图2所示的R-Y面，即观看者沿S轴看到三维物体的遮挡关系。

如图4所示，图4中间的一幅图的夹角θ为0°，S,E和U为正视的时候，它们的位置对应关系。图4上面的一幅夹角为-3°，其中字母S向左偏移，字母E向右偏移，U几乎不变。

图4下面的一幅夹角为3°，其中字母S向右偏移，字母E向左偏移，U几乎不变。

示例2：沿m轴切片。同样，根据上述实施例的方法中的S3步骤中，对填充完的三维矩阵进行快速傅里叶变换，获得三维光场的频域信息Q(m,n,w)，对该频域信息进行特定角度的二维切片M(a,b)，M(a,b)为沿着频域信息Q(m,n,w)的m轴，并与w轴的夹角为θ向n-w面的切片，此时a＝n*cosθ,b＝n*sinθ；将在特定观看角度θ一定的情况下，对得到的二维切片M(a,b)进行傅里叶反变换，即可得到图2所示的R-Y面，即观看者沿S轴看到三维物体的遮挡关系。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于边缘修复的虚拟视点图像频域快速获取方法，其特征在于，该方法包括如下步骤：

(1)三维光场重建：根据2D图像和景深图建立三维光场矩阵P(x,y,z)；

(2)边缘修复：对步骤(1)中得到的三维矩阵的背景层中的空洞区域进行边缘填充；

(3)傅里叶切片：对步骤(2)中边缘填充后的三维矩阵进行快速傅里叶变换，获得三维光场的频域信息Q(m,n,w)，其中m,n,w轴分别与x,y,z轴对应，然后对该频域信息进行特定角度的二维切片，将所述二维切片进行傅里叶反变换即得到不同指定角度的单视点图像。

2.根据权利要求1所述的基于边缘修复的虚拟视点图像频域快速获取方法，其特征在于，所述步骤(1)中根据2D图像和景深图建立三维光场矩阵的方法为：首先建立一个具有N层的三维矩阵P(x,y,z)，其中x-y面为2D图像面，z为层数；然后根据景深图，将2D图中对应的像素填充到在三维矩阵的不同层；其中，x-y面大小与2D图像大小一致，z与N之间满足公式：其中depth为景深值。

3.根据权利要求1所述的基于边缘修复的虚拟视点图像频域快速获取方法，其特征在于，所述步骤(2)中采用改进Criminisi算法对三维矩阵的背景层中的空洞区域进行边缘填充，具体为：当满足条件时，将匹配窗口像素灰度值填充到待填充区域，λ加1，重复该操作，直到不满足条件λ≤num(z)；其中，ψ_q表示待填充区域，ψ_p表示匹配窗口，num(z)为每一层单个空洞区单行域需要填充的像素个数，λ为该行已经填充的像素个数，SSD为图像相关性算法函数。

4.根据权利要求2所述的基于边缘修复的虚拟视点图像频域快速获取方法，其特征在于，所述步骤(3)中的二维切片M(a,b)的大小与2D图像一致，M(a,b)为沿着频域信息Q(m,n,w)的n轴，并与w轴的夹角为θ向m-w面的切片，或者沿着m轴，并与w轴的夹角为θ向n-w面的切片，θ为指定的角度。

5.根据权利要求4所述的基于边缘修复的虚拟视点图像频域快速获取方法，其特征在于，若M(a,b)为沿着频域信息Q(m,n,w)的n轴，并与w轴的夹角为θ向m-w面的切片，a＝m*cosθ,b＝m*sinθ；若M(a,b)为沿着频域信息Q(m,n,w)的m轴，并与w轴的夹角为θ向n-w面的切片，a＝n*cosθ,b＝n*sinθ。

6.根据权利要求4所述的基于边缘修复的虚拟视点图像频域快速获取方法，其特征在于，当b不为整数时，设频域信息Q(m,n,w)中每个点(m,n,w)的信息为I(m,n,w)，b的整数部分为b1，小数部分为b2，那么实际填充到切片M(a,b)中的信息为I(m,n,w)*(1-b2)+i(m,n,w+1)*b2。