CN104601972B - 一种利用图像修补的自由视点合成方法 - Google Patents

Abstract

本发明涉及一种利用图像修补的自由视点合成方法，包括步骤：1).利用三维扭曲将已有的图像投影到合成视点中，出现前景遮挡导致的一定空洞；2).采用以空洞的一边来计算优先级的改进Criminisi算法自动修补空洞区域；根据视点合成的遮挡区域主要来自于背景的先验知识，通过OSTU最大类间距聚类法来提取修补边缘的背景部分，并将对应的深度信息集成到优先级计算中，进一步提高强结构点的优先级；并且利用块的深度信息计算自适应阈值来限制搜索区域，使得匹配块尽量来自于背景区域，通过这些策略提升了最后的合成质量。本方法与常见算法的实验结果比较，在芭蕾的主观合成效果和客观指标方面均有明显提升。

Description

一种利用图像修补的自由视点合成方法

技术领域

本发明涉及自由视点合成技术，具体是一种利用基于样例的图像补全来修补缺失区域的自由视点合成算法。

背景技术

3D视频技术最近越来越受到关注，给人们带来了更加真实的3D观看体验。传统的立体成像设备分别给左右眼提供不同的视频流以此来产生深度的感觉，这要求观看者在固定的视点上观看。但是实际情况是，越来越多的观看者想从不同的视点上观看视频，这使得自由视点合成技术越来越被人所重视。这种技术中场景信号是通过一系列不同视点的摄像机同步获得的即视频信号，是由一系列序列不同摄像机拍摄视频序列组成的。这种技术被广泛的用在自由视点视频中，在应用中用户可以自由的选择视点而不受视频视角的限制。目前商业广播系统还不能支持多视频信号的处理和传输，而且在接受端计算合成虚拟视频也是非常低效的。为了解决这一问题研究者提出了不同的编码方法和虚拟视频合成方法并被证明是有效的。

一种最直接的自由视点合成技术是用多个视点的图像来合成，但是这需要很大的传输带宽，很多应用采用这种技术会很不现实。另一种可选方案是采用单张图像以及对应的深度图像来合成，这种技术可以大大减少传输带宽以及摄像机的个数，极大的减少成本。随着性能良好又便宜的深度摄像机例如微软的KINECT的出现，使得单张图片的视点合成成为可能。

发明内容

为了避免现有技术存在的上述不足，本发明提供一种利用图像修补的自由视点合成方法，其在视点合成过程中利用基于样例的图像修补技术来修补缺失区域，以提升合成图像的质量，满足观看者从不同的视点上观看视频的需求。

本发明提供的利用图像修补的自由视点合成方法，包括以下步骤：

1)、利用三维扭曲(3D wrap)将已有的纹理图像和深度图像投影到合成视点中，出现前景遮挡导致的一定空洞；

2)、采用以空洞的一边来计算优先级的改进Criminisi算法自动修补空洞区域，该算法包含：

(21).提取待修复空洞(修复区域)的修补边缘，利用OSTU最大类间距方法将深度图像边界的深度值分为两类，取深度低的一类当做靠近背景的修补边缘；

(22).计算以修补边缘上的每一点为中心的各图像块的优先级，取优先级最大的图像块作为待修复块，设P点为修补边缘上的点，优先级公式为：P(p)＝C(p)×D(p)·T(p)其中，C(p)是置信项，D(p)是数据项，T(p)是深度块平滑程度项；

(23).将深度图像运用OSTU最大类间距的方法聚成大于深度阈值D_th的高深度值A类和不大于深度阈值D_th的低深度值B类，从图像已知区域中减去超出深度阈值D_th的区域得到的搜索区域；然后，在该搜索区域内搜索与待修复块最近似的图像块作为最佳匹配块；

(24).以搜索到的最佳匹配块作为模板对待修复空洞进行修复；并更新置信度值；

重复执行步骤(21)至步骤(24)，直至待修复空洞均完成修复。

上述步骤(22)中，所述深度块平滑程度项T(p)以下式表示：

$T\left(p\right)=\frac{\underset{q\∈{\mathrm{\Ψ}}_p\∩\mathrm{\Φ}}{\mathrm{\Σ}}|z_q-q_m|}{\left|Z_p\right|+\underset{q\∈{\mathrm{\Ψ}}_p\∩\mathrm{\Φ}}{\mathrm{\Σ}}|z_q-z_m|}$

其中,|Z_p|表示以p点为中心的块的面积，也就是块内像素数目；z_m为块内深度的均值。

上述步骤(23)中，所述深度阈值D_th如下式定义：

$D_{\mathrm{th}}=\left\{\begin{array}{cc}\min (\mathrm{avg}\left(Z_q\left(p\right)\right|q\∈{\mathrm{\Ψ}}_p\∩\mathrm{\Φ},M_A),& \mathrm{if}\frac{|Z_q\left(p\right)>M_A|q\∈{\mathrm{\Ψ}}_p\∩\mathrm{\Φ}|}{\left|Z\left(p\right)\right|}>R_{\mathrm{th}}\\ M_A,& \mathrm{otherwise}.\end{array}\right.$

其中，Ψ_p是优先级最高的块；|Z(p)|为Ψ_p的像素数目；Z_q(p)为块Ψ_p内在像素q上的深度值，|Z_q(p)＞M_A|q∈Ψ_p∩Φ|为块内深度值大于M_A的数目；R_th为设定比例阈值，取值范围0到1；D_th取值范围R_th到1。

深度阈值D_th根据块内像素高于M_A的比例有两种不同的值，如果块内像素高于M_A的比例超过了设定比例阈值R_th，选择深度平均值或者M_A的较小值来作为深度阈值D_th；而当块内高深度值高于M_A的比例低，也就是可能属于连续的背景区域的时候，此时用M_A来作为深度阈值D_th。

本发明自由视点合成方法，在视点合成过程中利用基于样例的图像修补技术(改进Criminisi算法)来修补遮挡区域。在提取修补边缘的时候，不是将所有的边缘都拿过来，而是考虑到遮挡区域主要需要用背景来修补的先验知识，利用OSTU最大类间距的方法将边缘的深度分为两类，然后只是提取深度低那一类(也就是背景区域)来作为修补边缘。在计算修补优先级的过程中，在经典的Criminisi算法的两项基础之上，又加了深度块平滑程度项，将块内深度信息集成到优先级计算之中，深度波动越强结构越强，因此利用深度进一步有限修补结构强的区域，有利于最后修补的全局结构完整性。在搜最佳匹配块的时候，先用搜索块的深度信息计算自适应阈值来限定搜索区域，保证最佳匹配块尽量来自于背景，进一步提升修补质量。

附图说明

图1为本发明提取边缘示意图，图1中(a)为三维扭曲后的深度图，(b)为缺失区域(空洞)的映射图，白色部分表示缺失信息，(c)为提取边缘的示意图，白色边缘为最后需要计算优先级的边缘；

图2为在优先级计算中增加深度平滑项前后的结果对比图，图2中(a)表示没有添加深度平滑项的结果，(b)表示增加了深度平滑项之后的结果；

图3为限定搜索区域的结果对比图，图3中(a)表示没有限定搜索区域的结果，(b)表示Ahn方法中的限定搜索区域的方法得到的结果，(c)表示本发明方法中限定搜索区域后得到的结果。

图4为采用本发明方法在芭蕾上的主观合成效果图，图4中(a)、(b)为视点5三维扭曲到视点4和视点2的结果图(白色区域表示遮挡)，(c)、(d)为本发明方法的结果，视点5三维扭曲到视点4和视点2的结果图；

图5为本发明利用图像补全的自由视点合成流程图。

具体实施方式

以下结合流程图5、效果对比图等对本发明进一步说明。

1)、首先利用三维扭曲(3D wrap)将已有的纹理图像和深度图像投影到合成视点中，由于前景遮挡造成一定的遮挡空洞。然而，由三维扭曲造成的空洞是有方向性的，比如向左扭曲的空洞就会出现在前景的左边，右边也是如此。而考虑到三维扭曲的特性，空洞的出现是由于有前景遮挡，我们用背景来修复空洞，因此只需要用空洞的一边来计算优先级修补缺失区域即可。

2)、采用下述以空洞的一边来计算优先级的改进Criminisi算法自动修补空洞区域。

(21)提取待修复空洞(修复区域)的修补边缘，将深度图像边界的深度值利用OSTU最大类间距方法将深度图像边界的深度值分为两类，取深度低的一类当做靠近背景的修补边缘。

提取边缘如示意图1所示，图1中(a)为三维扭曲后的深度图，(b)为缺失区域(空洞)的映射图，白色部分表示缺失信息；(c)为提取边缘的示意图，白色边缘为最后需要计算优先级的边缘。

(22)提取边缘之后，就开始利用基于样例的图像补全算法来修补空洞。计算以修补边缘上的每一点为中心的各图像块的优先级，取优先级最大的图像块作为待修复块；考虑到目标图像的对应的深度图像，设P点为修补边缘上的点，在优先级模型P(p)计算中，除了传统Criminisi算法的置信项C(p)和数据项D(p)之外，还增加了一个深度块平滑程度的项T(p)，最终的优先级计算公式(1)如下所示：

P(p)＝C(p)×D(p)·T(p) (1)

式(1)中深度块平滑程度项T(p)如下式(2)：

$T\left(p\right)=\frac{\underset{q\∈{\mathrm{\Ψ}}_p\∩\mathrm{\Φ}}{\mathrm{\Σ}}|z_q-q_m|}{\left|Z_p\right|+\underset{q\∈{\mathrm{\Ψ}}_p\∩\mathrm{\Φ}}{\mathrm{\Σ}}|z_q-z_m|}---\left(2\right)$

其中，|Z_p|表示以p点为中心的块的面积，也就是块内像素数目，z_m为块内深度的均值，由公式(2)可知，当块内深度波动大的时候，T(p)的值更大，因此我们给予变化剧烈的部分更高的优先级，也符合结构强烈的部分先修补的原则，保持了结构的完整性。

参考在优先级计算中增加深度平滑项前后的结果对比图2，图2中(a)表示没有添加深度平滑项T(p)的结果图，(b)表示增加了深度平滑项T(p)之后的结果图。如图2中方框所示，增加了深度平滑项之后，主要结构的修补有了一定的改进。

(23)一旦拥有最高优先级的点被选择出来之后，就需要在背景区域找到最匹配的块将其内容复制到空洞中。这一步中，深度信息再次被使用，用来分割前景以及背景区域。首先将深度图像运用OSTU最大类间距的方法聚成高深度值A和低深度值B两类，A类的深度值大于深度阈值D_th，B类的深度值不大于深度阈值D_th，通过已知区域减去超出深度阈值D_th的区域得到最后的搜索区域，然后，在该搜索区域内搜索与待修复块最近似的图像块作为最佳匹配块。

其中，深度阈值D_th根据块内像素高于M_A的比例有两种不同的值，如果块内像素高于M_A的比例超过了比例阈值R_th，表明这个块可能含有不需要的前景区域的值，这时候用选择平均值或者M_A的较小值来作为深度阈值D_th，而当块内高深度值高于M_A的比例低，也就是可能属于连续的背景区域的时候，此时用M_A来作为阈值D_th。因此深度阈值D_th如下式(3)定义：

$D_{\mathrm{th}}=\left\{\begin{array}{cc}\min (\mathrm{avg}\left(Z_q\left(p\right)\right|q\∈{\mathrm{\Ψ}}_p\∩\mathrm{\Φ},M_A),& \mathrm{if}\frac{|Z_q\left(p\right)>M_A|q\∈{\mathrm{\Ψ}}_p\∩\mathrm{\Φ}|}{\left|Z\left(p\right)\right|}>R_{\mathrm{th}}\\ M_A,& \mathrm{otherwise}.\end{array}\right.---\left(3\right)$

Ψ_p是优先级最高的块，|Z(p)|为Ψ_p的像素数目，Z_q(p)为块Ψ_p内在像素q上的深度值，|Z_q(p)＞M_A|q∈Ψ_p∩Φ|为块内深度值大于M_A的数目；R_th为设定比例阈值，R_th取值0到1之间；D_th取值范围R_th到1。

(24)以搜索到的最佳匹配块作为模板对待修复空洞进行修复；并更新置信度值。

重复执行步骤(21)至步骤(24)，直至待修复空洞均完成修复。

图3显示了限定搜索区域前后的的结果对比变化，图3中(a)表示没有限定搜索区域的结果，(b)表示Ahn方法中的限定搜索区域的方法得到的结果，(c)表示本发明方法中限定搜索区域后得到的结果，显然限定了搜索区域之后，明显修补的合理性大大增加。

本发明实验结果从主观和客观两方面和现有方法进行了对比。我们使用来源于微软的多视点视频加深度图像序列(MVD)“芭蕾”和“街舞者”的部分帧来作为测试的图片，分别表示为BA和BR，BAX2Y表示芭蕾从X视点到Y视点合成。我们比较了几种常见算法的实验结果，所有试验结果都按流程图5中的框图得到，在处理前和处理后都经过了滤波处理去噪。有一些重要的参数在合成中需要自定义的，比如λ取0.5到1之间，我们一般取0.75；R_th取0.2。为了测量算法的客观性能，我们采用标峰值性噪比(PSNR)和结构相似性(SSIM)来做评价指标。表1显示了在客观指标上的实验结果。

表1在PSNR和SSIM上的效果

测试序列	标峰值性噪比PSNR	结构相似性SSIM
			BA524	31.62	0.9237
BA522	25.83	0.7858
			BR524	29.76	0.9142
BR522	27.47	0.8549

图4为采用本发明方法在芭蕾上的主观合成效果图，图4中(a)、(b)为视点5三维扭曲到视点4和视点2的结果图(白色区域表示遮挡)，(c)、(d)为本发明方法的结果，视点5三维扭曲到视点4和视点2的结果图。实验结果也证明了本方法的优越性。本方法在视点合成过程中，利用基于样例的图像修补技术(改进Criminisi算法)来修补遮挡区域。根据视点合成的遮挡区域主要来自于背景的先验知识，通过OSTU最大类间距聚类方法来提取修补边缘的背景部分，并将对应的深度信息集成到修补过程的优先级计算中，进一步提高强结构点的优先级；并且利用块的深度信息计算自适应阈值来限制搜索区域，使得匹配块尽量来自于背景区域，通过这些策略实现了最后合成质量的提升。

Claims (3)

1.一种利用图像修补的自由视点合成方法，包括以下步骤：

1). 利用三维扭曲将已有的纹理图像和深度图像投影到合成视点中，出现前景遮挡导致的一定空洞；

2). 采用以空洞的一边来计算优先级的改进Criminisi算法自动修补空洞区域，该算法包括：

(21). 提取待修复空洞的修补边缘，利用OSTU最大类间距方法将深度图像边界的深度

值分为两类，取深度低那一类当做靠近背景的修补边缘；

(22). 计算以修补边缘上的每一点为中心的各图像块的优先级，取优先级最大的图像块作为待修复块，设P点为修补边缘上的点，优先级公式如下：P(p) ＝ C(p)×D(p)×T(p) ，其中，C(p)是置信项，D(p)是数据项，T(p)是深度块平滑程度的项；

(23). 将深度图像运用OSTU最大类间距的方法聚成大于深度阈值Dth的高深度值A类和不大于深度阈值Dth的低深度值B类，从图像已知区域中减去超出深度阈值D th的区域得到的搜索区域；然后，在该搜索区域内搜索与待修复块最近似的图像块作为最佳匹配块；

(24). 以搜索到的最佳匹配块作为模板对待修复空洞进行修复；并更新置信度值；重复执行步骤(21)至步骤(24)，直至待修复空洞均完成修复；

步骤(22)中所述深度块平滑程度的项T(p)以下式表示：

该式中，|Zp| 表示以p点为中心的块的面积，也就是块内像素数目；zm为块内深度的均值,Ψ_p表示以P点为中心的图像块，Ф是图像中的所有已知像素点的全集，q是Ψ_p与Ф的交集的任意一个点，Z_q就是q点的像素值;

步骤(23)中所述深度阈值Dth如下式定义：

该式中，Ψp是优先级最高的块，|Z(p)|为Ψp的像素数目，Zq(p)为块Ψp内在像素q上的深度值，|Zq(p)>MA|q ∈ Ψp∩ Φ| 为块内深度值大于MA的数目，Rth为设定比例阈值；

深度阈值Dth根据块内像素的深度值高于MA的比例有两种不同的值，如果块内像素的深度值高于MA的比例超过了设定比例阈值Rth，选择深度平均值或者MA的较小值来作为深度阈值Dth；而当块内高深度值高于MA的比例低，用MA来作为深度阈值Dth。

2.如权利要求1所述的方法，其特征是，其中所述的Dth取值范围Rth到1，所述设定比例阈值Rth取值范围0到1。

3.如权利要求2所述的方法，其特征是，所述的设定比例阈值Rth为 0.2。