CN103310420B - 基于纹理与几何相似性的彩色图像空洞修复方法及系统 - Google Patents

Abstract

本发明公开了一种基于纹理与几何相似性的彩色图像空洞修复方法及系统，本发明考虑基于深度图与彩色图渲染合成新的虚拟视点的深度图中几何信息特征和彩色图中纹理细节内容，在二者共同约束下最小化纹理能量函数，寻找最优匹配块，融合具有相似视觉特性图像块的纹理，合成符合人眼视觉特性的修复内容，修复虚拟视点图像空洞，增强虚拟视点的彩色图像中空洞合成内容与周围非空洞内容的纹理结构连续性。

Description

基于纹理与几何相似性的彩色图像空洞修复方法及系统

技术领域

本发明属于图像修复领域，特别是针对基于深度图的虚拟视点绘制（Depthimagebasedrendering，DIBR）技术中，合成虚拟视点的彩色图像空洞修复领域，具体涉及一种基于纹理与几何相似性的彩色图像空洞修复方法及系统。

背景技术

基于深度图像的虚拟视点绘制技术，仅需用一个视点的彩色图像和深度图像信息，使用基于3Dwarping方法就可以合成虚拟视点视频^[1]，但是该方法在经过3D空间畸变映射到目标平面的虚拟视点视频时，参考视点中因前景遮掩导致的背景缺失区域在目标视点视频中将变成黑洞^[2]。

已有多种彩色图像空洞修复、深度图空洞修复或深度图像滤波算法，用来解决虚拟视点中的图像空洞问题。Wangetal.^[3]在2008年的CVPR（国际计算机视觉与模式识别会议）中提出通过深度图像辅助合成彩色图像纹理的方法，此方法通过衡量彩色图像的相似性和差距程度，手动标记空洞区域及空洞周边区域，通过空洞及其周边区域之间的一致性来弥补空洞，该方法优于Criminisi^[7]的方法。但是，在DIBR合成的虚拟视点中由于空洞区域和前景区域之间的不连续性使得上述方法很难直接被使用。

Luo^[4]在2009年提出一种专在DIBR合成虚拟视点方法中运用的基于深度图像的彩色图像空洞修复技术，此技术将需修复的像素进行优先级计算，然后联合深度平均值差异到衡量纹理相似性的能量函数中，该方法在合成纹理和结构信息方面优于Criminisi^[7]的方法。但是，该方法需要平均深度值作为度能量函数的影响因子。而且，从全局领域看，仅在像素域上做操作会使得有些有复杂背景或者包含多个物体的虚拟视点在合成时将产生人工块效应。

P.Ndjiki-Nya^[6]提出了一种增强的彩色图像空洞修复技术，对彩色图像纹理进行提炼和初始化。该技术联合了初始化像素点的梯度值计算像素点修补的优先级，同时限制了空洞修补方向为从背景到前景。该方法对于有大基线的视点合成效果较好，但是，填补的内容会有轻微的模糊效应，因为该方法是以块为单位从原始图形中简单复制过来的。D.Simakov^[8]采用基于块的操作通过融合多个具有视觉相似性的块的内容进行填补，成功解决了图像恢复中的模糊问题，但是，由于该方法对于缺少几何信息的结构化区域，图像恢复的效果不是很好。

发明内容

针对现有技术存在的问题，本发明以D.Simakov^[8]提出基于图像块的空洞修复方法为基础，在相似性能量函数衡量判断中加入深度图像的几何信息特征的辅助判断，提出了一种基于纹理与几何相似性的彩色图像空洞修复方法及系统，该方法能增强彩色图像中的空洞区域修复内容与周围非空洞区域内容的纹理结构连续性。

为了解决上述技术问题，本发明采用如下的技术方案：

一、一种基于纹理与几何相似性的彩色图像空洞修复方法，包括步骤：

步骤1，预处理经畸变映射获得的虚拟视点的深度图像和彩色图像，以去除因深度值不精确造成的针状空洞；

步骤2，基于深度图像的几何信息和彩色图像的纹理信息构建最小纹理能量函数模型；

步骤3，采用期望值最大化算法求解步骤2构建的最小纹理能量函数模型，获取与待修复空洞图像块最大几何相似性和最大纹理特征相似性的最佳匹配图像块集，采用最佳匹配图像块的几何信息和纹理信息更新待修复空洞图像块。

上述步骤2中所构建的最小纹理能量函数模型为：

其中：

I表示步骤1中经预处理得到的虚拟视点的彩色图像，即彩色源图像；

I^*表示经空洞修复后输出的虚拟视点的彩色图像，即彩色目标图像；

D表示步骤1中经预处理得到的虚拟视点的深度图像，即深度源图像；

D^*表示经空洞修复后输出的虚拟视点的深度图像，即深度目标图像；

I_{p_i}表示彩色源图像I中选取的图像块p_i的像素值；

表示彩色目标图像I^*中图像块p_o的像素值，图像块p_o为彩色源图像I中选取的图像块p_i在彩色目标图像I^*中的最佳匹配图像块；

表示彩色目标图像I^*中选取的图像块q_i的像素值；

I_{q_o}表示彩色源图像I中图像块q_o的像素值，图像块q_o为彩色图像I^*中选取的图像块q_i在彩色源图像I中的最佳匹配图像块；

D_{p_i}表示深度源图像D中选取的图像块p_i的像素值；

表示深度目标图像D^*中图像块p_o的像素值，图像块p_o为深度源图像D中选取的图像块p_i在深度目标图像D^*中的最佳匹配图像块；

表示深度目标图像D^*中图像块q_i的像素值；

D_{q_o}表示深度源图像D中图像块q_o的像素值，图像块q_o为深度目标图像D^*中图像块q_i在深度源图像D中的最佳匹配图像块；

diff_A()和diff_B()为求和平均函数，用来计算图像块之间的相似性；

α和λ为经验系数，是通过多次试验得到的最优值。

上述求和平均函数diff_A()用来计算源图像中的图像块p_i与其在目标图像中最佳匹配的图像块p_o之间的相似性，此时仅考虑一定存在p_i的情况，即a≠0：

${\mathrm{diff}}_A(\mathrm{Im}{g}_{p\_i},\mathrm{Im}{g}_{p\_o}^{*})=\frac{1}{a}\underset{p\_i\∈A}{\mathrm{\Σ}}\left({\mathrm{\δ}}_{p\_i}{|\mathrm{Im}{g}_{p\_i}-\mathrm{Im}{g}_{p\_o}^{*}|}^2\right);$

上述求和平均函数diff_B()用来计算目标图像中的图像块q_i与其在源图像中最佳匹配的图像块q_o之间的相似性：

${\mathrm{diff}}_B(\mathrm{Im}{g}_{q\_0},\mathrm{Im}{g}_{q\_i}^{*})=\frac{1}{b}\underset{q\_o\∈B}{\mathrm{\Σ}}\left({\mathrm{\δ}}_{q\_o}{|\mathrm{Im}{g}_{q\_o}-\mathrm{Im}{g}_{q\_i}^{*}|}^2\right)$

其中，

Img_{p_i}和Img_{q_0}分别表示源图像中的图像块p_i和q_o的像素值，和分别表示目标图像中的图像块p_o和q_i的像素值，图像块p_o为源图像中图像块p_i在目标图像中的最佳匹配图像块，图像块q_o为目标图像中图像块q_i在源图像中的最佳匹配图像块；所述的目标图像包括彩色目标图像和深度目标图像，所述的源图像包括彩色源图像和深度源图像；

B表示目标图像中图像块q_i在源图像中对应的b个最佳匹配图像块q_o的集合；

A集合含义是，当源图像中选取块p_i在目标图像中搜索到的最佳匹配块p_o恰好与目标图像中图像块q_i重合时，源图像中的选取块p_i即为集合A中的元素，a为集合A中元素数；

δ_{p_i}和δ_{q_o}为标志函数，分别用来表示源图像中图像块p_i和q_o是否为空洞图像块，当图像块为空洞图像块时，其对应的标志函数取0；否则，对应的标志函数取1。

步骤3进一步包括以下子步骤：

3-1基于步骤2构建的最小纹理能量函数，以最大化纹理特征相似和几何特征相似为约束，找寻源图像中选取的各图像块在目标图像中对应的最佳匹配图像块，同时，找寻目标图像中选取的各图像块在源图像中对应的最佳匹配图像块；并根据搜索结果获得与目标图像中待修复空洞图像块最大几何相似性和最大纹理特征相似性的最佳匹配图像块集；

3-2基于步骤3-1步所获得的最佳匹配图像块集中各图像块的几何信息和纹理信息更新待修复空洞图像块得到空洞修复块，并最小化最小纹理能量函数；

3-3重复迭代步骤3-1和3-2，直至当前目标图像的空洞修复块的像素值与上一迭代的空洞修复块的像素值之间的平均差小于预设值。

上述子步骤3-2中采用如下公式分别对彩色目标图像和深度目标图像中的待修复空洞图像块中各像素依次进行替换：

当a≠0：

$I^{*}(i,j)={(\frac{\mathrm{\α}}{a}\underset{p\_i\∈A}{\mathrm{\Σ}}{\mathrm{\δ}}_{p\_i}+\frac{1-\mathrm{\α}}{b}\underset{q\_o\∈B}{\mathrm{\Σ}}{\mathrm{\δ}}_{q\_o})}^{-1}\×[\frac{\mathrm{\α}}{a}\underset{p\_i\∈A}{\mathrm{\Σ}}({\mathrm{\δ}}_{p\_i}\·I_{p\_i}(i,j))+\frac{1-\mathrm{\α}}{b}\underset{q\_o\∈B}{\mathrm{\Σ}}({\mathrm{\δ}}_{q\_o}\·I_{q\_o}(i,j))]$

$D^{*}(i,j)={(\frac{\mathrm{\α}}{a}\underset{p\_i\∈A}{\mathrm{\Σ}}{\mathrm{\δ}}_{p\_i}+\frac{1-\mathrm{\α}}{b}\underset{q\_o\∈B}{\mathrm{\Σ}}{\mathrm{\δ}}_{q\_o})}^{-1}\×[\frac{\mathrm{\α}}{a}\underset{p\_i\∈A}{\mathrm{\Σ}}({\mathrm{\δ}}_{p\_i}\·D_{p\_i}(i,j))+\frac{1-\mathrm{\α}}{b}\underset{q\_o\∈B}{\mathrm{\Σ}}({\mathrm{\δ}}_{q\_o}\·D_{q\_o}(i,j))]$

当a＝0：

$I^{*}(i,j)={\left(\underset{q\_o\∈B}{\mathrm{\Σ}}{\mathrm{\δ}}_{q\_o}\right)}^{-1}\×\underset{q\_o\∈B}{\mathrm{\Σ}}({\mathrm{\δ}}_{q\_o}\·I_{q\_o}(i,j))$

$D^{*}(i,j)={\left(\underset{q\_o\∈B}{\mathrm{\Σ}}{\mathrm{\δ}}_{q\_o}\right)}^{-1}\×\underset{q\_o\∈B}{\mathrm{\Σ}}({\mathrm{\δ}}_{q\_o}\·I_{q\_o}(i,j))$

其中：

(i,j)为目标图像中的待修复空洞像块q_i中像素点的坐标；

I^*(i,j)表示空洞修复后的彩色目标图像I^*中(i,j)位置的像素值；

I_{p_i}(i,j)和I_{q_o}(i,j)分别表示彩色源图像I中图像块p_i和q_o在(i,j)位置的像素值；

D^*(i,j)表示空洞修复后深度目标图像D^*中(i,j)位置的像素值；

D_{p_i}(i,j)和D_{q_o}(i,j)分别代表深度源图像D中图像块p_i和q_o在(i,j)位置的像素值；

δ_{p_i}和δ_{q_o}为标志函数，分别用来表示源图像中的图像块p_i和q_o是否为空洞图像块；

α为经验系数；

B为目标图像中待修复空洞图像块q_i在源图像中的最佳匹配图像块集，b为集合B中元素数；

A集合含义是，当源图像中选取块p_i在目标图像中搜索到的最佳匹配块p_o恰好与目标图像中待修复空洞图像块q_i重合时，源图像中的选取块p_i即为集合A中的元素，a为集合A中元素数；若源图像中选取块p_i在目标图像中搜索到的最佳匹配块p_o不存在恰好与目标图像中待修复空洞图像块q_i重合的情况，则A＝φ，即a＝0。

二、一种基于纹理与几何相似性的彩色图像空洞修复系统，包括：

预处理模块，用来预处理经畸变映射获得的虚拟视点的深度图像和彩色图像，以去除因不精确深度值造成的针状空洞；

最小纹理能量函数模型构建模块，用来基于深度图像的几何信息和彩色图像的纹理信息构建最小纹理能量函数模型；

空洞修复模块，用来采用期望值最大化算法求解步骤2构建的最小纹理能量函数模型，获取与待修复空洞图像块最大几何相似性和最大纹理特征相似性的最佳匹配图像块，采用最佳匹配图像块的几何信息和纹理信息更新待修复空洞图像块。

上述最小纹理能量函数模型构建模块构建的最小纹理能量函数模型为：

其中：

I表示步骤1中经预处理得到的虚拟视点的彩色图像，即彩色源图像；

I^*表示经空洞修复后输出的虚拟视点的彩色图像，即彩色目标图像；

D表示步骤1中经预处理得到的虚拟视点的深度图像，即深度源图像；

D^*表示经空洞修复后输出的虚拟视点的深度图像，即深度目标图像；

I_{p_i}表示彩色源图像I中选取的图像块p_i的像素值；

表示彩色目标图像I^*中图像块p_o的像素值，图像块p_o为彩色源图像I中选取的图像块p_i在彩色目标图像I^*中的最佳匹配图像块；

表示彩色目标图像I^*中选取的图像块q_i的像素值；

I_{q_o}表示彩色源图像I中图像块q_o的像素值，图像块q_o为彩色目标图像I^*中选取的图像块q_i在彩色源图像I中的最佳匹配图像块；

D_{p_i}表示深度源图像D中选取的图像块p_i的像素值；

表示深度目标图像D^*中图像块p_o的像素值，图像块p_o为深度源图像D中选取的图像块p_i在深度目标图像D^*中的最佳匹配图像块；

表示深度目标图像D^*中图像块q_i的像素值；

D_{q_o}表示深度源图像D中图像块q_o的像素值，图像块q_o为深度目标图像D^*中图像块q_i在深度源图像D中的最佳匹配图像块；

diff_A()和diff_B()为求和平均函数，用来计算图像块之间的相似性；

α和λ为经验系数，是通过多次试验得到的最优值。

上述的求和平均函数diff_A()用来计算源图像中的图像块p_i与其在目标图像中最佳匹配的图像块p_o之间的相似性，此时仅考虑一定存在p_i的情况，即a≠0：

${\mathrm{diff}}_A(\mathrm{Im}{g}_{p\_i},\mathrm{Im}{g}_{p\_o}^{*})=\frac{1}{a}\underset{p\_i\∈A}{\mathrm{\Σ}}\left({\mathrm{\δ}}_{p\_i}{|\mathrm{Im}{g}_{p\_i}-\mathrm{Im}{g}_{p\_o}^{*}|}^2\right);$

上述的求和平均函数diff_B()用来计算目标图像中的图像块q_i与其在源图像中最佳匹配的图像块q_o之间的相似性：

${\mathrm{diff}}_B(\mathrm{Im}{g}_{q\_0},\mathrm{Im}{g}_{q\_i}^{*})=\frac{1}{b}\underset{q\_o\∈B}{\mathrm{\Σ}}\left({\mathrm{\δ}}_{q\_o}{|\mathrm{Im}{g}_{q\_o}-\mathrm{Im}{g}_{q\_i}^{*}|}^2\right)$

其中，

Img_{p_i}和Img_{q_0}分别表示源图像中的图像块p_i和q_o的像素值，和分别表示目标图像中的图像块p_o和q_i的像素值，图像块p_o为源图像中图像块p_i在目标图像中的最佳匹配图像块，图像块q_o为目标图像中图像块q_i在源图像中的最佳匹配图像块；所述的目标图像包括彩色目标图像和深度目标图像，所述的源图像包括彩色源图像和深度源图像；

B表示目标图像中图像块q_i在源图像中对应的b个最佳匹配图像块q_o的集合；

A集合含义是，当源图像中选取块p_i在目标图像中搜索到的最佳匹配块p_o恰好与目标图像中图像块q_i重合时，源图像中的选取块p_i即为集合A中的元素，a为集合A中元素数；

δ_{p_i}和δ_{q_o}为标志函数，分别用来表示源图像中图像块p_i和q_o是否为空洞图像块，当图像块为空洞图像块时，其对应的标志函数取0；否则，对应的标志函数取1。

上述空洞修复模块进一步包括以下子模块：

最佳匹配图像块搜索模块，用来基于步骤2构建的最小纹理能量函数，以最大化纹理特征相似和几何特征相似为约束，找寻源图像中选取的各图像块在目标图像中对应的最佳匹配图像块，同时，找寻目标图像中选取的各图像块在源图像中对应的最佳匹配图像块；并根据搜索结果获得与目标图像中待修复空洞图像块最大几何相似性和最大纹理特征相似性的最佳匹配图像块集；

空洞图像块更新模块：用来基于最佳匹配图像块搜索模块所获得的最佳匹配图像块集中各图像块的几何信息和纹理信息更新待修复空洞图像块得到空洞修复块，并最小化最小纹理能量函数。

所述的空洞图像块更新模块采用如下公式分别对彩色目标图像和深度目标图像中的待修复空洞图像块中各像素依次进行替换：

当a≠0：

$I^{*}(i,j)={(\frac{\mathrm{\α}}{a}\underset{p\_i\∈A}{\mathrm{\Σ}}{\mathrm{\δ}}_{p\_i}+\frac{1-\mathrm{\α}}{b}\underset{q\_o\∈B}{\mathrm{\Σ}}{\mathrm{\δ}}_{q\_o})}^{-1}\×[\frac{\mathrm{\α}}{a}\underset{p\_i\∈A}{\mathrm{\Σ}}({\mathrm{\δ}}_{p\_i}\·I_{p\_i}(i,j))+\frac{1-\mathrm{\α}}{b}\underset{q\_o\∈B}{\mathrm{\Σ}}({\mathrm{\δ}}_{q\_o}\·I_{q\_o}(i,j))]$

$D^{*}(i,j)={(\frac{\mathrm{\α}}{a}\underset{p\_i\∈A}{\mathrm{\Σ}}{\mathrm{\δ}}_{p\_i}+\frac{1-\mathrm{\α}}{b}\underset{q\_o\∈B}{\mathrm{\Σ}}{\mathrm{\δ}}_{q\_o})}^{-1}\×[\frac{\mathrm{\α}}{a}\underset{p\_i\∈A}{\mathrm{\Σ}}({\mathrm{\δ}}_{p\_i}\·D_{p\_i}(i,j))+\frac{1-\mathrm{\α}}{b}\underset{q\_o\∈B}{\mathrm{\Σ}}({\mathrm{\δ}}_{q\_o}\·D_{q\_o}(i,j))]$

当a＝0：

$I^{*}(i,j)={\left(\underset{q\_o\∈B}{\mathrm{\Σ}}{\mathrm{\δ}}_{q\_o}\right)}^{-1}\×\underset{q\_o\∈B}{\mathrm{\Σ}}({\mathrm{\δ}}_{q\_o}\·I_{q\_o}(i,j))$

$D^{*}(i,j)={\left(\underset{q\_o\∈B}{\mathrm{\Σ}}{\mathrm{\δ}}_{q\_o}\right)}^{-1}\×\underset{q\_o\∈B}{\mathrm{\Σ}}({\mathrm{\δ}}_{q\_o}\·I_{q\_o}(i,j))$

其中：

(i,j)为目标图像中的待修复空洞像块q_i中像素点的坐标；

I^*(i,j)表示空洞修复后的彩色目标图像I^*中(i,j)位置的像素值；

I_{p_i}(i,j)和I_{q_o}(i,j)分别表示彩色源图像I中图像块p_i和q_o在(i,j)位置的像素值；

D^*(i,j)表示空洞修复后深度目标图像D^*中(i,j)位置的像素值；

D_{p_i}(i,j)和D_{q_o}(i,j)分别代表深度源图像D中图像块p_i和q_o在(i,j)位置的像素值；

δ_{p_i}和δ_{q_o}为标志函数，分别用来表示源图像中的图像块p_i和q_o是否为空洞图像块；

α为经验系数；

B为目标图像中待修复空洞图像块q_i在源图像中的最佳匹配图像块集，b为集合B中元素数；

A集合含义是，当源图像中选取块p_i在目标图像中搜索到的最佳匹配块p_o恰好与目标图像中待修复空洞图像块q_i重合时，源图像中的选取块p_i即为集合A中的元素，a为集合A中元素数；若源图像中选取块p_i在目标图像中搜索到的最佳匹配块p_o不存在恰好与目标图像中待修复空洞图像块q_i重合的情况，则A＝φ，即a＝0。

与现有技术相比，本发明具有以下特点：

现有的基于深度图像的虚拟视点绘制技术（DIBR）合成的虚拟视点彩色图像空洞修复技术，均考虑彩色图像的纹理相似性，将空洞修复转化为最小化纹理能量函数，将有相似视觉特性的图像块进行纹理合成，生成符合人眼视觉特性的修复内容。但对于结构化明显的彩色图像，几何信息的忽略会导致寻找到的相似块与纹理空洞块之间的匹配性较差，且修复的过程中无法描述彩色图像中的非刚性运动，导致修复内容与邻近非空洞区域内容之间不连续，产生严重的人工效应。

深度图像与相应彩色图像的大小一样，包含相同的像素个数，深度图中的每一个像素值表示场景中某一点与摄像机之间的距离，本文将这种距离信息称作几何信息。本发明提出基于纹理与几何相似性的彩色图像空洞修复技术，将考虑深度图中几何信息特征和彩色图中纹理细节内容二者共同约束下的最优匹配块的最小化纹理能量函数，并融合具有相似视觉特性图像块的纹理，合成符合人眼视觉特性的修复内容，修复空洞恢复图像，增强彩色图像中空洞合成内容与周围非空洞内容的纹理结构连续性。本发明方法使得新的虚拟视点在空洞区域有很大的主观质量提升。

附图说明

图1为本发明方法的流程图；

图2为本发明方法的空洞修复原理示意图。

具体实施方式

本发明提出了一种基于纹理与几何相似性的彩色图像空洞修复方法，该方法考虑了深度图中的几何信息特征和彩色图中的纹理细节内容，采用几何信息特征和纹理细节内容共同约束下的最优匹配块的最小化纹理能量函数，融合具有相似视觉特性图像块的纹理和几何信息，合成符合人眼视觉特性的修复内容，修复空洞恢复图像。本发明方法可增强彩色图像中的空洞区域修复内容与周围非空洞区域内容的纹理结构连续性。

图1为本发明方法流程图，下面将结合图1进一步说明本发明的具体实施方式，具体步骤如下：

步骤1，预处理经畸变映射获得的虚拟视点的深度图像和彩色图像。

采用形态学方法处理经3D空间畸变映射后得到的虚拟视点的彩色图像和深度图像，从而可去除彩色图像和深度图像中因不精确的深度值所造成的针状孔洞。

形态学方法包括膨胀操作与腐蚀操作，在膨胀操作时，输出的像素值是中心像素的邻域像素中的最大值；而在腐蚀操作中，输出的像素值为中心像素邻域内所有像素中的最小值。本具体实施中，先对虚拟视点的深度图像与彩色图像进行膨胀处理，然后再进行腐蚀处理，从而去除深度图像和彩色图像中的针状孔洞。

经过上述预处理操作，得到虚拟视点的彩色图像I和深度图像D，D(x,y)代表(x,y)位置像素的深度像素值，深度像素值即代表对应像素点的几何信息。

步骤2，基于深度图像的几何信息和彩色图像的纹理信息构建最小纹理能量函数模型。

在彩色图像I和深度图像D中选取图像块，含有空洞像素点的图像块为空洞图像块，一个空洞像素点可以出现在多个不同的空洞块中，见图2。

由于空洞部分内容完全缺失，图像补洞问题是一个病态问题。3Dwarping技术通过由参考图像映射到立体空间，再由立体空间映射至目标平面得到虚拟视点视频图像，因此，虚拟视点图像中空洞区域和邻近非空洞区域在纹理细节及几何特征上均保持着一致性。

此外，空洞往往出现在被遮挡的背景区域，因此，匹配块的搜索范围限定在背景区域。

本发明以现有的最小纹理能量函数^[8]为基础，加入了深度图像的完备性权重diff_A(D_{p_i},)和深度图像的一致性权重diff_B(D_{q_o},)，构建如下考虑了深度图像几何信息的最小纹理能量函数

其中：

I表示步骤1中经预处理得到的虚拟视点的彩色图像，即图2中的彩色源图像；

I^*表示经空洞修复后输出的虚拟视点的彩色图像，即图2中的彩色目标图像；

D表示步骤1中经预处理得到的虚拟视点的深度图像，即图2中的深度源图像；

D^*表示经空洞修复后输出的虚拟视点的深度图像，即图2中的深度目标图像；

I_{p_i}表示彩色源图像I中选取的图像块p_i的像素值，图像块的像素值为图像块中各像素的像素值构成的像素值矩阵；

表示彩色目标图像I^*中图像块p_o的像素值，图像块p_o为彩色源图像I中选取的图像块p_i在彩色目标图像I^*中的最佳匹配图像块；

表示彩色目标图像I^*中选取的图像块q_i的像素值；

I_{q_o}表示彩色源图像I中图像块q_o的像素值，图像块q_o为彩色目标图像I^*中图像块q_i在彩色源图像I中的最佳匹配图像块；

D_{p_i}表示深度源图像D中选取的图像块p_i的像素值；

表示深度目标图像D^*中图像块p_o的像素值，图像块p_o为深度源图像D中选取的图像块p_i在深度目标图像D^*中的最佳匹配图像块；

表示深度目标图像D^*中q_i位置图像块的像素值；

D_{q_o}表示深度源图像D中q_o位置图像块的像素值，q_o为深度目标图像D^*中q_i位置图像块在深度源图像D中的最佳匹配图像块；

α和λ为经验系数，是通过多次试验得到的最优值，本具体实施中，α＝0.3，λ＝0.47。

求和平均函数diff_A()用来计算源图像中的图像块p_i与其在目标图像中最佳匹配的图像块p_o之间的相似性,见公式（2），此时仅考虑一定存在p_i的情况，即a≠0。

${\mathrm{diff}}_A(\mathrm{Im}{g}_{p\_i},\mathrm{Im}{g}_{p\_o}^{*})=\frac{1}{a}\underset{p\_i\∈A}{\mathrm{\Σ}}\left({\mathrm{\δ}}_{p\_i}{|\mathrm{Im}{g}_{p\_i}-\mathrm{Im}{g}_{p\_o}^{*}|}^2\right)---\left(2\right)$

目标图像中搜索到的最佳匹配图像块p_o可能对应源图像中的多个图像块p_i，A表示源图像中与目标图像中的图像块p_o对应的a个图像块p_i的集合。

求和平均函数diff_B()用来计算目标图像中的图像块q_i与其在源图像中最佳匹配的图像块q_o之间的相似性，见公式（3）。目标图像中的图像块q_i对应源图像中的最佳匹配图像块为q_o，目标图像图像块q_i可能在源图像中对应b个最佳匹配图像块为q_o，B表示目标图像中图像块q_i在源图像中对应的b个最佳匹配图像块q_o的集合。

${\mathrm{diff}}_B(\mathrm{Im}{g}_{q\_0},\mathrm{Im}{g}_{q\_i}^{*})=\frac{1}{b}\underset{q\_o\∈B}{\mathrm{\Σ}}\left({\mathrm{\δ}}_{q\_o}{|\mathrm{Im}{g}_{q\_o}-\mathrm{Im}{g}_{q\_i}^{*}|}^2\right)---\left(3\right)$

公式（2）～（3）中：

Img表示源图像，Img^*表示目标图像，源图像包括彩色源图像和深度源图像，目标图像包括彩色目标图像和深度目标图像。那么，Img_{p_i}、Img_{q_o}、Img^* _{p_o}、Img^* _{q_i}可以依次表示彩色图像I_{p_i}、I_{q_o}、I^* _{p_o}、I^* _{q_i}，又可依次表示深度图像D_{p_i}、D_{q_o}、D^* _{p_o}、D^* _{q_i}；

δ_{p_i}和δ_{q_o}为标志函数，分别用来表示源图像中的图像块p_i和q_o是否为空洞图像块，其取值见公式（4）：

${\mathrm{\δ}}_m=\left\{\begin{array}{c}0,m\⋐T\\ 1,m\⋐S\end{array}\right.---\left(4\right)$

其中，m表示图像块；T为空洞图像块集合；S为非空洞图像块集合。

若图像块包含空洞像素点，则该图像块属于空洞图像块集合T；否则，属于非空洞图像块集合S。

步骤3，采用EM算法（期望值最大化算法，Expectation-maximizationalgorithm）求解最小化纹理能量函数，从而实现彩色图像空洞修复。

修复空洞属于图像恢复技术，其实质是一个最优化问题^[11]。纹理能量函数应该最小化，用来推导空洞区域的内容取值。由于步骤2构建的最小纹理能量函数中涉及的图像块q_o和p_o为隐变量，因此，本发明引入EM算法求解空洞修复的最优像素值，使得纹理能量函数最小。

（1）采用EM算法的E步进行最佳匹配图像块搜索，具体搜索方法如下：

基于步骤2构建的最小纹理能量函数以最大化纹理特征相似和几何特征相似为约束，采用ANN（ApproximateNearestNeighbor）最近邻匹配块搜索法进行搜索。

本发明中的搜索分为两步进行：

第一步搜索，即向前搜索，在源图像中顺次选取图像块，对选取的各图像块分别搜索其在目标图像中对应的最佳匹配图像块。

第二步搜索，即反向搜索，在目标图像中顺次选取图像块，对选取的各图像块分别搜索其在源图像中对应的最佳匹配图像块。

向前搜索中，在目标图像中搜索得到的最佳匹配图像块p_o，可能同时对应源图像中多个图像块，将此源图像中对应的多个图像块构成集合A，则集合A中的图像块均为与目标图像中图像块p_o具有相似彩色纹理特征和深度几何特征的图像块。若图像块p_o为空洞图像块，则可采用集合A中图像块的像素值修复空洞图像块p_o。

反向搜索中，目标图像中选取的图像块q_i，在源图像中能够搜索得到最佳匹配图像块，将此源图像中搜索得到的最佳匹配图像块构成集合B，则集合B中的图像块均为与目标图像中图像块q_i具有相似彩色纹理特征和深度几何特征的图像块。若图像块q_i为空洞图像块，则可采用集合B中图像块的像素值修复空洞图像块q_i。

通过双向搜索，获得需要修复的目标图像中的空洞图像块应融合的与其具有相似彩色纹理特征和深度几何特征的集合A和集合B中图像块的信息。

（2）采用EM算法的M步进行空洞修复，具体修复根据上述E步得到的集合A和集合B中图像块的信息进行加权平均，方法如下，

假设图像块q_i为选定的目标图像中的待修复空洞图像块，则由上述反向搜索方法获得的该空洞图像块在源图像中的最佳匹配图像块集B，将集合B中各图像块的像素值用于加权平均。

在向前搜索中，若当源图像中多个选取块在目标图像中搜索到的最佳匹配块都为p_o，且p_o恰好与反向搜索选定的目标图像中待修复空洞图像块q_i重合时，则此时源图像中的多个选取块构成图像块集A，将集合A中各图像块的像素值用于加权平均。此时，对彩色目标图像I^*和深度目标图像D^*中待修复空洞图像块中各像素依次进行替换的方法见公式（5）～（6）。

在向前搜索中，若当源图像中选取块在目标图像中搜索到的最佳匹配块为p_o，且不存在p_o恰好与反向搜索选定的目标图像中待修复空洞图像块q_i重合的情况时，A＝φ，此时仅采用图像块集B中图像块的像素值加权求和。此时，对彩色目标图像I^*和深度目标图像D^*中待修复空洞图像块中各像素依次进行替换的方法见公式（7）～（8）。

$I^{*}(i,j)={(\frac{\mathrm{\α}}{a}\underset{p\_i\∈A}{\mathrm{\Σ}}{\mathrm{\δ}}_{p\_i}+\frac{1-\mathrm{\α}}{b}\underset{q\_o\∈B}{\mathrm{\Σ}}{\mathrm{\δ}}_{q\_o})}^{-1}\×[\frac{\mathrm{\α}}{a}\underset{p\_i\∈A}{\mathrm{\Σ}}({\mathrm{\δ}}_{p\_i}\·I_{p\_i}(i,j))+\frac{1-\mathrm{\α}}{b}\underset{q\_o\∈B}{\mathrm{\Σ}}({\mathrm{\δ}}_{q\_o}\·I_{q\_o}(i,j))]---\left(5\right)$

$D^{*}(i,j)={(\frac{\mathrm{\α}}{a}\underset{p\_i\∈A}{\mathrm{\Σ}}{\mathrm{\δ}}_{p\_i}+\frac{1-\mathrm{\α}}{b}\underset{q\_o\∈B}{\mathrm{\Σ}}{\mathrm{\δ}}_{q\_o})}^{-1}\×[\frac{\mathrm{\α}}{a}\underset{p\_i\∈A}{\mathrm{\Σ}}({\mathrm{\δ}}_{p\_i}\·D_{p\_i}(i,j))+\frac{1-\mathrm{\α}}{b}\underset{q\_o\∈B}{\mathrm{\Σ}}({\mathrm{\δ}}_{q\_o}\·D_{q\_o}(i,j))]---\left(6\right)$

$I^{*}(i,j)={\left(\frac{1-\mathrm{\α}}{b}\underset{q\_o\∈B}{\mathrm{\Σ}}{\mathrm{\δ}}_{q\_o}\right)}^{-1}\×\left[\frac{1-\mathrm{\α}}{b}\underset{q\_o\∈B}{\mathrm{\Σ}}({\mathrm{\δ}}_{q\_o}\·I_{q\_o}(i,j))\right]---\left(7\right)$

$D^{*}(i,j)={\left(\frac{1-\mathrm{\α}}{b}\underset{q\_o\∈B}{\mathrm{\Σ}}{\mathrm{\δ}}_{q\_o}\right)}^{-1}\×\left[\frac{1-\mathrm{\α}}{b}\underset{q\_o\∈B}{\mathrm{\Σ}}({\mathrm{\δ}}_{q\_o}\·I_{q\_o}(i,j))\right]---\left(8\right)$

式（5）～（8）中：

(i,j)为目标图像中待修复空洞图像块q_i中像素点的坐标；

I^*(i,j)表示空洞修复后彩色目标图像I^*中(i,j)位置的像素值，即采用I^*(i,j)替换彩色目标图像I^*中(i,j)位置的原始像素值；

I_{p_i}(i,j)和I_{q_o}(i,j)分别表示彩色源图像I中图像块p_i和q_o在(i,j)位置的像素值；

D^*(i,j)表示空洞修复后深度目标图像D^*中(i,j)位置的像素值，即采用D^*(i,j)替换深度目标图像D^*中(i,j)位置的原始像素值；

D_{p_i}(i,j)和D_{q_o}(i,j)分别表示深度源图像D中图像块p_i和q_o在(i,j)位置的像素值；

δ_{p_i}和δ_{q_o}为标志函数，分别用来表示源图像中的图像块p_i和q_o是否为空洞图像块，其取值参见公式（4）；

α为经验系数，是通过多次试验得到的最优值，本具体实施中，α＝0.3。

B为目标图像中待修复空洞图像块q_i在源图像中的最佳匹配图像块集，b为集合B中元素数；

A集合含义是，当源图像中选取块p_i在目标图像中搜索到的最佳匹配块p_o恰好与目标图像中待修复空洞图像块q_i重合时，则A为对应的源图像中若干选取块p_i的集合，a为集合A中元素数，此时a≠0，采用公式（5）～（6）进行空洞修复。若源图像中选取块p_i在目标图像中搜索到的最佳匹配块p_o不存在恰好与目标图像中待修复空洞图像块q_i重合的情况，则A＝φ，此时a＝0，采用公式（7）～（8）进行空洞修复。

每次采用M步进行空洞修复后，最小化最小纹理能量函数的取值。

重复迭代E和M步。当迭代获得的当前彩色目标图像I^*和当前深度目标图像D^*的空洞修复块的像素值与上一迭代的空洞修复块的像素值的差值的平均值小于预设值时，结束迭代，当前彩目标色图像I^*和当前深度目标图像D^*即为理想的虚拟视点彩色图像空洞修复结果。

实验结果：

将本发明方法、KaiLuo^[4]提出的空洞修复算法、P.Ndjiki-Nya^[6]提出的空洞修复算法进行对比试验。基于软件平台VSRS2.3^[14]，测试序列选用大小为1024x768的德国海兹研究所的“Bookarrival”与“Breakdancers”，及韩国MPEG讨论组的“Lovebird1”。图像块的大小设为8*8，视频帧数为100帧。合成虚拟视点的空洞填充结果的质量评估指标为图像的SSIM值。对比试验结果见表1。对于测试序列“Bookarrival”及“Breakdancers”，本发明方法的SSIM值有提升，对于测试序列“Lovebird1”，本发明方法的SSIM值略微下降。

表1对比试验测试结果

本发明方法在已有基于彩色图像纹理内容信息的纹理能量函数基础上，根据彩色图像纹理特征和深度图像几何特征的联合相似性构建一种新型的能量函数，并基于该新型能量函数搜索与空洞图像块之间能量差异最小的最佳匹配非空洞图像块，并将与空洞图像块视觉相似的最佳匹配非空洞图像块融合推导出空洞区域的像素内容，增强彩色图像中空洞合成内容与周围非空洞内容的纹理结构连续性。

文中涉及如下参考文献：

[1]WilliamR.Mark,“Post-rendering3dimagewarping:Visibility,reconstruction,andperformancefordepth-imagewarping,”Aprl.1999.

[2]ChristophFehn,“Depth-image-basedrendering(dibr),compression,andtransmissionforanewapproachon3d-tv,”pp.93–104,2004.

[3]LiangWang,HailinJin,RuigangYang,andMinglunGong,“Stereoscopicinpainting:Jointcoloranddepthcompletionfromstereoimages,”inComputerVisionandPatternRecognition,2008.CVPR2008.IEEEConferenceon,june2008,pp.1–8.

[4]KaiLuo,Dong-xiaoLi,Ya-meiFeng,andMingZhang,“Depth-aidedinpaintingfordisocclusionrestorationofmulti-viewimagesusingdepth-image-basedrendering,”JournalofZhejiangUniversitySCIENCEA,vol.10,pp.1738–1749,2009.

[5]Kwan-JungOh,SehoonYea,andYo-SungHo,“Holefillingmethodusingdepthbasedin-paintingforviewsynthesisinfreeviewpointtelevisionand3-dvideo,”inPictureCodingSymposium,2009.PCS2009,may2009,pp.1–4.

[6]P.Ndjiki-Nya,M.Koppel,D.Doshkov,H.Lakshman,P.Merkle,K.Muller,andT.Wiegand,“Depthimagebasedrenderingwithadvancedtexturesynthesis,”inMultimediaandExpo(ICME),2010IEEEInternationalConferenceon,July2010,pp.424–429.

[7]A.Criminisi,P.Perez,andK.Toyama,“Objectremovalbyexemplar-basedinpainting,”inComputerVisionandPatternRecognition,2003.Proceedings.2003IEEEComputerSocietyConferenceon,June2003,vol.2,pp.II–721–II–728vol.2.

[8]D.Simakov,Y.Caspi,E.Shechtman,andM.Irani,“Summarizingvisualdatausingbidirectionalsimilarity,”inComputerVisionandPatternRecognition,2008.CVPR2008.IEEEConferenceon,June2008,pp.1–8.

[9]RuiZhong,RuiminHu,ZhongyuanWang,LuLiu,andZhenHan,“LBP-guideddepthimagefilter,”inDataCompressionConference,IEEEInternationalConferenceon,March2013.

[10]ISO/IECJTC1/SC29/WG11,“Referencesoftwaresfordepthestimationandviewsynthesis,”inDoc.M15377,Apr.2008.

[11]VivekKwatra,IrfanEssa,AaronBobick,andNipunKwatra,“Textureoptimizationforexample-basedsynthesis,”inACMTrans.Graph.,NewYork,NY,USA,July2005,vol.24,pp.795–802,ACM.

[12]KazuyoshiSuzuki,“Referencesoftwareforviewsynthesisversion2.3,”inDoc.M16090,June2008.

[13]ZhouWang,A.C.Bovik,H.R.Sheikh,andE.P.Simoncelli,“Imagequalityassessment:fromerrorvisibilitytostructuralsimilarity,”inImageProcessing,IEEETransactionson,Apr.2004,vol.13,pp.600–612.

[14]KazuyoshiSuzuki,“Referencesoftwareforviewsynthesisversion2.3,”inDoc.M16090,June2008.

Claims (6)

1.一种纹理与几何相似性的彩色图像空洞修复方法，其特征是，包括步骤：

步骤1，预处理经畸变映射获得的虚拟视点的深度图像和彩色图像，以去除因深度值不精确造成的针状空洞；

步骤2，基于深度图像的几何信息和彩色图像的纹理信息构建最小纹理能量函数模型；

步骤3，采用期望值最大化算法求解步骤2构建的最小纹理能量函数模型，获取与待修复空洞图像块最大几何相似性和最大纹理特征相似性的最佳匹配图像块集，采用最佳匹配图像块的几何信息和纹理信息更新待修复空洞图像块；

步骤3进一步包括以下子步骤：

3-1基于步骤2构建的最小纹理能量函数，以最大化纹理特征相似和几何特征相似为约束，搜索源图像中选取的各图像块在目标图像中对应的最佳匹配图像块，同时，搜索目标图像中选取的各图像块在源图像中对应的最佳匹配图像块；并根据搜索结果获得与目标图像中待修复空洞图像块最大几何相似性和最大纹理特征相似性的最佳匹配图像块集；

3-2基于步骤3-1步所获得的最佳匹配图像块集中各图像块的几何信息和纹理信息更新待修复空洞图像块，得到空洞修复块，并最小化最小纹理能量函数；

3-3重复迭代步骤3-1和3-2，直至当前目标图像的空洞修复块的像素值与上一迭代的空洞修复块的像素值之间的平均差小于预设值，所述的当前目标图像包括当前彩色目标图像和当前深度目标图像；

所述的子步骤3-2中采用如下公式分别对彩色目标图像和深度目标图像中的待修复空洞图像块中各像素依次进行替换：

当a≠0：

$I^{*}\left(i,j\right)={\left(\frac{\mathrm{\α}}{a}\underset{p\_i\∈A}{\Σ}{\mathrm{\δ}}_{p\_i}+\frac{1-\mathrm{\α}}{b}\underset{q\_o\∈B}{\Σ}{\mathrm{\δ}}_{q\_o}\right)}^{-1}\×\[\frac{\mathrm{\α}}{a}\underset{p\_i\∈A}{\Σ}\left({\mathrm{\δ}}_{p\_i}\·I_{p\_i}\left(i,j\right)\right)+\frac{1-\mathrm{\α}}{b}\underset{q\_o\∈B}{\Σ}\left({\mathrm{\δ}}_{q\_o}\·I_{q\_o}\left(i,j\right)\right)\]$

$D^{*}\left(i,j\right)={\left(\frac{\mathrm{\α}}{a}\underset{p\_i\∈A}{\Σ}{\mathrm{\δ}}_{p\_i}+\frac{1-\mathrm{\α}}{b}\underset{q\_o\∈B}{\Σ}{\mathrm{\δ}}_{q\_o}\right)}^{-1}\×\[\frac{\mathrm{\α}}{a}\underset{p\_i\∈A}{\Σ}\left({\mathrm{\δ}}_{p\_i}\·D_{p\_i}\left(i,j\right)\right)+\frac{1-\mathrm{\α}}{b}\underset{q\_o\∈B}{\Σ}\left({\mathrm{\δ}}_{q\_o}\·D_{q\_o}\left(i,j\right)\right)\]$

当a＝0：

$I^{*}\left(i,j\right)={\left(\underset{q\_o\∈B}{\Σ}{\mathrm{\δ}}_{q\_o}\right)}^{-1}\×\underset{q\_o\∈B}{\Σ}\left({\mathrm{\δ}}_{q\_o}\·I_{q\_o}\left(i,j\right)\right)$

$D^{*}\left(i,j\right)={\left(\underset{q\_o\∈B}{\Σ}{\mathrm{\δ}}_{q\_o}\right)}^{-1}\×\underset{q\_o\∈B}{\Σ}\left({\mathrm{\δ}}_{q\_o}\·D_{q\_o}\left(i,j\right)\right)$

其中：

(i,j)为目标图像中的待修复空洞像块q_i中像素点的坐标；

I^*(i,j)表示空洞修复后的彩色目标图像I^*中(i,j)位置的像素值；

I_{p_i}(i,j)和I_{q_o}(i,j)分别表示彩色源图像I中图像块p_i和q_o在(i,j)位置的像素值，彩色源图像I即步骤1中经预处理得到的虚拟视点的彩色图像；

D^*(i,j)表示空洞修复后深度目标图像D^*中(i,j)位置的像素值；

D_{p_i}(i,j)和D_{q_o}(i,j)分别代表深度源图像D中图像块p_i和q_o在(i,j)位置的像素值，深度源图像D即步骤1中经预处理得到的虚拟视点的深度图像；

δ_{p_i}和δ_{q_o}为标志函数，分别用来表示源图像中的图像块p_i和q_o是否为空洞图像块，标志函数 ${\mathrm{\δ}}_m=\left\{\begin{array}{c}0,m\⋐T\\ 1,m\⋐S\end{array}\right.,$ δ_m表示图像块m的标记函数，m表示图像块；T为空洞图像块集合；S为非空洞图像块集合；

α为经验系数；

B为目标图像中待修复空洞图像块q_i在源图像中的最佳匹配图像块集，b为集合B中元素数；

A集合含义是，当源图像中选取块p_i在目标图像中搜索到的最佳匹配块p_o恰好与目标图像中待修复空洞图像块q_i重合时，源图像中的选取块p_i即为集合A中的元素，a为集合A中元素数；若源图像中选取块p_i在目标图像中搜索到的最佳匹配块p_o不存在恰好与目标图像中待修复空洞图像块q_i重合的情况，则A＝φ，即a＝0。

2.如权利要求1所述的纹理与几何相似性的彩色图像空洞修复方法，其特征是：

步骤2中所述的最小纹理能量函数模型为：

其中：

I表示步骤1中经预处理得到的虚拟视点的彩色图像，即彩色源图像；

I^*表示经空洞修复后输出的虚拟视点的彩色图像，即彩色目标图像；

D表示步骤1中经预处理得到的虚拟视点的深度图像，即深度源图像；

D^*表示经空洞修复后输出的虚拟视点的深度图像，即深度目标图像；

I_{p_i}表示彩色源图像I中选取的图像块p_i的像素值；

表示彩色目标图像I^*中图像块p_o的像素值，图像块p_o为彩色源图像I中选取的图像块p_i在彩色目标图像I^*中的最佳匹配图像块；

表示彩色目标图像I^*中选取的图像块q_i的像素值；

I_{q_o}表示彩色源图像I中图像块q_o的像素值，图像块q_o为彩色目标图像I^*中选取的图像块q_i在彩色源图像I中的最佳匹配图像块；

D_{p_i}表示深度源图像D中选取的图像块p_i的像素值；

表示深度目标图像D^*中图像块p_o的像素值，图像块p_o为深度源图像D中选取的图像块p_i在深度目标图像D^*中的最佳匹配图像块；

表示深度目标图像D^*中图像块q_i的像素值；

D_{q_o}表示深度源图像D中图像块q_o的像素值，图像块q_o为深度目标图像D^*中图像块q_i在深度源图像D中的最佳匹配图像块；

diff_A()和diff_B()为求和平均函数，用来计算图像块之间的相似性；

α和λ为经验系数，是通过多次试验得到的最优值。

3.如权利要求2所述的纹理与几何相似性的彩色图像空洞修复方法，其特征是：

所述的求和平均函数diff_A()用来计算源图像中的图像块p_i与其在目标图像中最佳匹配的图像块p_o之间的相似性，此时a≠0：

${\mathrm{diff}}_A(\mathrm{Im}{g}_{p\_i},Im{g}_{p\_o}^{*})=\frac{1}{a}\underset{p\_i\∈A}{\Σ}\left({\mathrm{\δ}}_{p\_i}\right|\mathrm{Im}{g}_{p\_i}-Im{g}_{p\_o}^{*}{|}^2);$

所述的求和平均函数diff_B()用来计算目标图像中的图像块q_i与其在源图像中最佳匹配的图像块q_o之间的相似性：

${\mathrm{diff}}_B(\mathrm{Im}{g}_{q\_0},Im{g}_{q\_i}^{*})=\frac{1}{b}\underset{q\_o\∈B}{\Σ}\left({\mathrm{\δ}}_{q\_o}\right|\mathrm{Im}{g}_{q\_o}-Im{g}_{q\_i}^{*}{|}^2)$

其中，

Img_{p_i}和Img_{q_0}分别表示源图像中的图像块p_i和q_o的像素值，和分别表示目标图像中的图像块p_o和q_i的像素值，图像块p_o为源图像中图像块p_i在目标图像中的最佳匹配图像块，图像块q_o为目标图像中图像块q_i在源图像中的最佳匹配图像块；所述的目标图像包括彩色目标图像和深度目标图像，所述的源图像包括彩色源图像和深度源图像；

B表示目标图像中图像块q_i在源图像中对应的b个最佳匹配图像块q_o的集合；

A集合含义是，当源图像中选取块p_i在目标图像中搜索到的最佳匹配块p_o恰好与目标图像中待修复空洞图像块q_i重合时，源图像中的选取块p_i即为集合A中的元素，a为集合A中元素数；

δ_{p_i}和δ_{q_o}为标志函数，分别用来表示源图像中图像块p_i和q_o是否为空洞图像块，当图像块为空洞图像块时，其对应的标志函数取0；否则，对应的标志函数取1。

4.一种基于纹理与几何相似性的彩色图像空洞修复系统，其特征在于，包括：

预处理模块，用来预处理经畸变映射获得的虚拟视点的深度图像和彩色图像，以去除因不精确深度值造成的针状空洞；

最小纹理能量函数模型构建模块，用来基于深度图像的几何信息和彩色图像的纹理信息构建最小纹理能量函数模型；

空洞修复模块，用来采用期望值最大化算法求解构建的最小纹理能量函数模型，获取与待修复空洞图像块最大几何相似性和最大纹理特征相似性的最佳匹配图像块，采用最佳匹配图像块的几何信息和纹理信息更新待修复空洞图像块；

所述的空洞修复模块进一步包括以下子模块：

最佳匹配图像块搜索模块，用来基于构建的最小纹理能量函数，以最大化纹理特征相似和几何特征相似为约束，找寻源图像中选取的各图像块在目标图像中对应的最佳匹配图像块，同时，找寻目标图像中选取的各图像块在源图像中对应的最佳匹配图像块；并根据搜索结果获得与目标图像中待修复空洞图像块最大几何相似性和最大纹理特征相似性的最佳匹配图像块集；

空洞图像块更新模块：用来基于最佳匹配图像块搜索模块所获得的最佳匹配图像块集中各图像块的几何信息和纹理信息更新待修复空洞图像块得到空洞修复块，并最小化最小纹理能量函数；

所述的空洞图像块更新模块采用如下公式分别对彩色目标图像和深度目标图像中的待修复空洞图像块中各像素依次进行替换：

当a≠0：

$I^{*}\left(i,j\right)={\left(\frac{\mathrm{\α}}{a}\underset{p\_i\∈A}{\Σ}{\mathrm{\δ}}_{p\_i}+\frac{1-\mathrm{\α}}{b}\underset{q\_o\∈B}{\Σ}{\mathrm{\δ}}_{q\_o}\right)}^{-1}\×\[\frac{\mathrm{\α}}{a}\underset{p\_i\∈A}{\Σ}\left({\mathrm{\δ}}_{p\_i}\·I_{p\_i}\left(i,j\right)\right)+\frac{1-\mathrm{\α}}{b}\underset{q\_o\∈B}{\Σ}\left({\mathrm{\δ}}_{q\_o}\·I_{q\_o}\left(i,j\right)\right)\]$

$D^{*}\left(i,j\right)={\left(\frac{\mathrm{\α}}{a}\underset{p\_i\∈A}{\Σ}{\mathrm{\δ}}_{p\_i}+\frac{1-\mathrm{\α}}{b}\underset{q\_o\∈B}{\Σ}{\mathrm{\δ}}_{q\_o}\right)}^{-1}\×\[\frac{\mathrm{\α}}{a}\underset{p\_i\∈A}{\Σ}\left({\mathrm{\δ}}_{p\_i}\·D_{p\_i}\left(i,j\right)\right)+\frac{1-\mathrm{\α}}{b}\underset{q\_o\∈B}{\Σ}\left({\mathrm{\δ}}_{q\_o}\·D_{q\_o}\left(i,j\right)\right)\]$

当a＝0：

$I^{*}\left(i,j\right)={\left(\underset{q\_o\∈B}{\Σ}{\mathrm{\δ}}_{q\_o}\right)}^{-1}\×\underset{q\_o\∈B}{\Σ}\left({\mathrm{\δ}}_{q\_o}\·I_{q\_o}\left(i,j\right)\right)$

$D^{*}\left(i,j\right)={\left(\underset{q\_o\∈B}{\Σ}{\mathrm{\δ}}_{q\_o}\right)}^{-1}\×\underset{q\_o\∈B}{\Σ}\left({\mathrm{\δ}}_{q\_o}\·D_{q\_o}\left(i,j\right)\right)$

其中：

(i,j)为目标图像中的待修复空洞像块q_i中像素点的坐标；

I^*(i,j)表示空洞修复后的彩色目标图像I^*中(i,j)位置的像素值；

I_{p_i}(i,j)和I_{q_o}(i,j)分别表示彩色源图像I中图像块p_i和q_o在(i,j)位置的像素值，彩色源图像I即步骤1中经预处理得到的虚拟视点的彩色图像；

D^*(i,j)表示空洞修复后深度目标图像D^*中(i,j)位置的像素值；

D_{p_i}(i,j)和D_{q_o}(i,j)分别代表深度源图像D中图像块p_i和q_o在(i,j)位置的像素值，深度源图像D即步骤1中经预处理得到的虚拟视点的深度图像；

δ_{p_i}和δ_{q_o}为标志函数，分别用来表示源图像中的图像块p_i和q_o是否为空洞图像块，标志函数 ${\mathrm{\δ}}_m=\left\{\begin{array}{c}0,m\⋐T\\ 1,m\⋐S\end{array}\right.,$ δ_m表示图像块m的标记函数，m表示图像块；T为空洞图像块集合；S为非空洞图像块集合；

α为经验系数；

B为目标图像中待修复空洞图像块q_i在源图像中的最佳匹配图像块集，b为集合B中元素数；

A集合含义是，当源图像中选取块p_i在目标图像中搜索到的最佳匹配块p_o恰好与目标图像中待修复空洞图像块q_i重合时，源图像中的选取块p_i即为集合A中的元素，a为集合A中元素数；若源图像中选取块p_i在目标图像中搜索到的最佳匹配块p_o不存在恰好与目标图像中待修复空洞图像块q_i重合的情况，则A＝φ，即a＝0。

5.如权利要求4所述的基于纹理与几何相似性的彩色图像空洞修复系统，其特征在于：

所述的最小纹理能量函数模型构建模块构建的最小纹理能量函数模型为：

其中：

I表示经预处理得到的虚拟视点的彩色图像，即彩色源图像；

I^*表示经空洞修复后输出的虚拟视点的彩色图像，即彩色目标图像；

D表示经预处理得到的虚拟视点的深度图像，即深度源图像；

D^*表示经空洞修复后输出的虚拟视点的深度图像，即深度目标图像；

I_{p_i}表示彩色源图像I中选取的图像块p_i的像素值；

表示彩色目标图像I^*中图像块p_o的像素值，图像块p_o为彩色源图像I中选取的图像块p_i在彩色目标图像I^*中的最佳匹配图像块；

表示彩色目标图像I^*中选取的图像块q_i的像素值；

I_{q_o}表示彩色源图像I中图像块q_o的像素值，图像块q_o为彩色目标图像I^*中选取的图像块q_i在彩色源图像I中的最佳匹配图像块；

D_{p_i}表示深度源图像D中选取的图像块p_i的像素值；

D_p ^* _{_o}表示深度目标图像D^*中图像块p_o的像素值，图像块p_o为深度源图像D中选取的图像块p_i在深度目标图像D^*中的最佳匹配图像块；

表示深度目标图像D^*中图像块q_i的像素值；

D_{q_o}表示深度源图像D中图像块q_o的像素值，图像块q_o为深度目标图像D^*中图像块q_i在深度源图像D中的最佳匹配图像块；

diff_A()和diff_B()为求和平均函数，用来计算图像块之间的相似性；

α和λ为经验系数，是通过多次试验得到的最优值。

6.如权利要求5所述的基于纹理与几何相似性的彩色图像空洞修复系统，其特征在于：

所述的求和平均函数diff_A()用来计算源图像中的图像块p_i与其在目标图像中最佳匹配的图像块p_o之间的相似性，此时a≠0：

${\mathrm{diff}}_A(\mathrm{Im}{g}_{p\_i},Im{g}_{p\_o}^{*})=\frac{1}{a}\underset{p\_i\∈A}{\Σ}\left({\mathrm{\δ}}_{p\_i}\right|\mathrm{Im}{g}_{p\_i}-Im{g}_{p\_o}^{*}{|}^2);$

所述的求和平均函数diff_B()用来计算目标图像中的图像块q_i与其在源图像中最佳匹配的图像块q_o之间的相似性：

${\mathrm{diff}}_B(\mathrm{Im}{g}_{q\_0},Im{g}_{q\_i}^{*})=\frac{1}{b}\underset{q\_o\∈B}{\Σ}\left({\mathrm{\δ}}_{q\_o}\right|\mathrm{Im}{g}_{q\_o}-Im{g}_{q\_i}^{*}{|}^2)$

其中，

Img_{p_i}和Img_{q_0}分别表示源图像中的图像块p_i和q_o的像素值，和分别表示目标图像中的图像块p_o和q_i的像素值，图像块p_o为源图像中图像块p_i在目标图像中的最佳匹配图像块，图像块q_o为目标图像中图像块q_i在源图像中的最佳匹配图像块；所述的目标图像包括彩色目标图像和深度目标图像，所述的源图像包括彩色源图像和深度源图像；

B表示目标图像中图像块q_i在源图像中对应的b个最佳匹配图像块q_o的集合；

A集合含义是，当源图像中选取块p_i在目标图像中搜索到的最佳匹配块p_o恰好与目标图像中待修复空洞图像块q_i重合时，源图像中的选取块p_i即为集合A中的元素，a为集合A中元素数；

δ_{p_i}和δ_{q_o}为标志函数，分别用来表示源图像中图像块p_i和q_o是否为空洞图像块，当图像块为空洞图像块时，其对应的标志函数取0；否则，对应的标志函数取1。