CN103379350B - 虚拟视点图像后处理方法 - Google Patents

Abstract

一种虚拟视点图像后处理方法，包括以下步骤：选取待处理图像帧的彩色图像参考帧及深度图像参考帧；获取包含待处理图像帧中的空洞的待处理窗口，在彩色图像参考帧及深度图像参考帧的搜索范围内，搜索所有与所述待处理窗口相似的匹配窗口；选取与待处理窗口最相似的窗口为最佳匹配窗口，将最佳匹配窗口中与待处理窗口中空洞对应位置的像素填补到待处理窗口中的空洞。上述虚拟视点图像后处理方法，利用绘制过程中参考视点图像的时空相关信息，通过从选取的彩色参考帧和深度参考帧中以搜索、匹配的方式选取与待处理图像存在的由于遮挡、暴露或取整运算所造成的空洞的匹配的像素位置对空洞进行有效地填补，从而能够提高虚拟视点图像的质量。

Description

虚拟视点图像后处理方法

技术领域

本发明涉及图像处理，特别是涉及一种虚拟视点图像后处理方法。

背景技术

随着数字媒体技术的快速发展及生活水平的不断提高，人们对于视频娱乐节目提出了更高的要求，以固定视点观看的传统平面(二维)视频，已无法满足人们的需求。在这样的形势下，三维电视(three-dimensional TV，3DTV)/自由视点视频(free-viewpoint video，FVV)应运而生，三维电视和自由视点视频增加了场景对象的深度信息，增强了视觉的真实感，使图像不再局限于显示屏平面，仿佛能够走出显示屏，使观众感到景物迎面而来，恍若身临其境，感受到了真切的深度感和沉浸感。

三维电视和自由视点视频中的一项关键技术是虚拟视点图像的生成，它可以保证在客户端呈现出更多的不同视点的图像，使观众能够选择从任意视角进行观看视频节目，以增强了视觉的真实感。虚拟视点图像的生成可以分为：基于模型的绘制(Model Based Rendering，MBR)和基于图像的绘制(Image-BasedRendering，IBR)两种方式。基于模型的绘制采用三维建模的方式来获取任意视点的图像，它需要精确地模型和纹理分析，具有数据量小，交互性好的特点，然而绘制质量较低，同时存在场景建模困难的特点，不利于三维视频系统中的应用。基于图像的绘制采用插值等方式来获取虚拟视点，对场景理解的依赖度较低，但该方法一般基于较密集相机阵列采集的图像，需要庞大的图像数据以保证较好的交互性和高质量。

典型方法如基于光线空间的绘制、基于视差绘制方法或基于深度图的虚拟视点绘制(Depth Image Based Rendering，DIBR)是基于模型和基于图像的折中方案，视差或深度作为额外的几何信息辅助生成高质量绘制图像，避免基于图像的方法的大数据量问题，也避免了基于模型的方法的几何建模问题。基于视差的方法主要针对于平行相机阵列，基于深度图的绘制方法则对不同相机阵列有更好的适应性，是三维视频系统中的主流绘制方法。

基于深度图的绘制方法是一种利用彩色图及相应深度图生成虚拟视点图像的方法，在编码端只需压缩、编码较少视点的彩色图像信息，大大减少了在编码、传输过程中的数据量，而在解码端通过快速的虚拟视点绘制可以得到较多视点的彩色图像信息，以满足人们从任意视角观看视频节目的需求，该技术已被动态图像专家组(Moving Pictures Experts Group，MPEG)组织确认为三维视频系统中虚拟视点绘制的候选方案。基于深度图的虚拟视点绘制技术核心思想为：(1)利用深度信息，将参考图像上所有的像素点重新映射到它们对应的3维空间中；(2)这些3维空间点再被映射到目标图像平面。这个从2维到3维的重映射以及从3维再到2维的映射称为三维图像变换(3D Image Warping)。在三维图像变换的过程中，会由于遮挡、暴露或取整运算等在虚拟视点图像中产生了很多的空洞，以及由于通过深度估计得到的深度图中对象边缘突变、部分深度值不准确等造成的重采样、伪轮廓等问题，影响了虚拟视点图像的主、客观质量。

针对上述虚拟视点图像存在的问题，在虚拟视点图像后处理方法中，有人在空洞填补的过程中引入深度信息作为辅助，将深度信息加入到待修复区域优先级的计算和代价函数的表征中，仍存在许多因填补错误所造成的失真。同时在使用深度信息的时候没有对绘制得到的虚拟视点深度图像中的空洞先进行填补，造成所使用的深度信息存在很大的失真，以致优先级的判断和代价函数的计算造成一定的影响。另外，如果需要进行空洞填补的是运动较为剧烈的序列，利用加权平均填补的方式填补后，可能会在空洞区域会形成一定的“模糊”区域，影响主观质量。

发明内容

基于此，有必要提供一种能够有效填补空洞提高虚拟视点图像质量的虚拟视点图像后处理方法。

一种虚拟视点图像后处理方法，包括以下步骤：

选取待处理图像帧的彩色图像参考帧及深度图像参考帧；

获取包含待处理图像帧中的空洞的待处理窗口，在彩色图像参考帧及深度图像参考帧的搜索范围内，搜索所有与所述待处理窗口相似的匹配窗口；

选取与所述待处理窗口最相似的窗口为最佳匹配窗口，将最佳匹配窗口中与待处理窗口中空洞对应位置的像素填补到待处理窗口中的空洞。

在其中一个实施例中，所述虚拟视点图像后处理方法还包括：

采用公式P(u，v，k)＝C(u，v，k)×(i₀(u，v，k)+λ_D×d₀(u，v，k))计算所述待处理窗口的优先级，并按优先级的高低依次对待处理窗口进行空洞填补，其中，P为待处理窗口优先级，C为待处理窗口内非空洞像素个数的百分比，i₀表示窗口内非空洞像素的像素值变化波动，λ_D为常数，d₀表示待处理窗口内非空洞像素的深度值变化波动，(u，v)为待处理窗口的中心像素位置，k表示待处理窗口所在帧的序号。

在其中一个实施例中，所述选取待处理图像帧的彩色图像参考帧及深度图像参考帧的步骤为：

若待处理图像帧为第2帧及第2帧以后的图像帧，则选取待处理图像帧的前一帧图像及所述前一帧图像的左右视点的彩色图像参考帧、深度图像参考帧；

选取待处理图像帧的左右视点的彩色图像参考帧、深度图像参考帧及时间方向上的连续左右视点的彩色图像参考帧、深度图像参考帧；

若待处理图像帧为第1帧，则选取待处理图像帧的左右视点的彩色图像参考帧、深度图像参考帧及时间方向上的连续左右视点的彩色图像参考帧、深度图像参考帧。

在其中一个实施例中，所述获取包含待处理图像帧中的空洞的待处理窗口的步骤包括：

检测待处理图像帧的空洞分布；

依次以待处理图像中的各空洞的任一像素位置为中心，选取包含空洞的待处理窗口，其中所述待处理窗口小于待处理图像。

在其中一个实施例中，所述获取包含待处理图像帧中的空洞的待处理窗口，在彩色图像参考帧及深度图像参考帧的搜索范围内，搜索所有与所述待处理窗口相似的匹配窗口的步骤包括：

采用公式 $D(u_0+\mathrm{\Δu},v_0+\mathrm{\Δv},t,c,k)=\underset{(x_0,y_0)\∈W(u_0,v_0)}{\mathrm{\Σ}}l(x_0,y_0,k)\×|v^{\′}(x_0,y_0,c,k)-r(x_0,y_0,t,c,k)|$ 计算待处理窗口内的彩色非空洞像素值的差异度；

采用公式 $D(u_0+\mathrm{\Δu},v_0+\mathrm{\Δv},t,d,k)=\underset{(x_0,y_0)\∈W(u_0,v_0)}{\mathrm{\Σ}}l(x_0,y_0,k)\×|v^{\′}(x_0,y_0,d,k)-r(x_0,y_0,t,d,k)|$ 计算待处理窗口内的深度非空洞像素值的差异度；

采用公式T(u₀+Δu，v₀+Δv，t，k)＝D(u₀+Δu，v₀+Δv，t，c，k)+λ×D(u₀+Δu，v₀+Δv，t，d，k)计算待处理窗口的非空洞位置像素值与匹配窗口中对应位置像素值的代价函数；

其中，l表示待处理图像帧中非空洞像素的标记，v′表示待处理窗口内非空洞像素的像素值，r表示参考帧像素位置的像素值，(u₀，v₀)为待处理窗口的中心像素位置，(Δu，Δv)表示搜索匹配窗口偏移，t为参考帧序号，c为彩色图像信息，d为深度图像信息，k表示图像帧序号，W表示待处理窗口，λ为加权系数；

根据代价函数值判断所述匹配窗口与所述待处理窗口的相似度，其中，代价函数越小，相似度越高。

在其中一个实施例中，所述选取与所述待处理窗口最相似的窗口为最佳匹配窗口，将最佳匹配窗口中与待处理窗口中空洞对应位置的像素填补到待处理窗口中的空洞的步骤为：

比较待处理窗口内的非空洞像素值与彩色图像参考帧及深度图像参考帧搜索范围内、各匹配窗口中对应位置像素值的代价函数值，选取代价函数值最小的匹配窗口；

将代价函数值最小的匹配窗口中与待处理窗口中空洞对应位置的像素填补到待处理窗口中的空洞。

在其中一个实施例中，所述空洞包括大空洞、小空洞、伪轮廓，将所述待处理图像帧中的空洞进行标记得到空洞标记图，采用M₁xN₁大小并以当前空洞像素为中心的待处理窗口，若所述待处理窗口内的空洞像素个数大于非空洞像素个数，则标记当前待处理窗口中心像素的空洞像素为大空洞；若所述待处理窗口内的空洞像素个数不大于非空洞像素个数，标记当前待处理窗口中心像素的空洞像素为小空洞。

在其中一个实施例中，所述虚拟视点图像后处理方法还包括：

采用公式 $v^{\′}(u,v,c,k)=\frac{\underset{(x_0,y_0)\∈W(u,v)}{\mathrm{\Σ}}s(x_0,y_0,k)\×d(x_0,y_0,k)\×v(x_0,y_0,c,k)}{\underset{(x_0,y_0)\∈W(u,v)}{\mathrm{\Σ}}s(x_0,y_0,k)\×d(x_0,y_0,k)}$

计算待处理窗口中小空洞填补后的像素值；其中，

$d(x,y,k)=\frac{1}{\sqrt{{(x-u)}^2+{(y-v)}^2}}$

d表示待处理窗口内某像素位置到中心像素(u，v)距离的倒数，s为待处理图像帧中非空洞标记图的像素值0或1，v为待处理图像帧中像素位置的像素值，W表示待处理窗口；

将所述待处理窗口中小空洞填补后的像素值填补至待处理窗口的小空洞中。

在其中一个实施例中，所述虚拟视点图像后处理方法还包括：

采用公式 $v^{\′}(u,v,d,k)=\frac{\underset{(x_0,y_0)\∈W(u,v)}{\mathrm{\Σ}}h(x_0,y_0,k)\×d(x_0,y_0,k)\×v(x_0,y_0,d,k)}{\underset{(x_0,y_0)\∈W(u,v)}{\mathrm{\Σ}}h(x_0,y_0,k)\×d(x_0,y_0,k)}$

计算深度图像帧的待处理窗口中空洞填补后的像素值；其中，

$d(x,y,k)=\frac{1}{\sqrt{{(x-u)}^2+{(y-v)}^2}}$

d表示待处理窗口内某像素位置到中心像素(u，v)距离的倒数，v为待处理图像帧中像素位置的像素值，W表示待处理窗口，h为待处理图像帧中非空洞标记图的像素值0或1；

将所述深度图像帧的待处理窗口中空洞填补后的像素值填补至深度图像帧中待处理窗口的空洞中。

在其中一个实施例中，所述待处理图像帧包括待处理彩色图像帧和待处理深度图像帧。

上述虚拟视点图像后处理方法，利用绘制过程中参考视点图像的时空相关信息，通过从选取的彩色参考帧和深度参考帧中以搜索、匹配的方式选取与待处理图像存在的由于遮挡、暴露或取整运算等所造成的空洞的匹配的像素位置对空洞进行有效地填补，从而能够提高虚拟视点图像的质量。

附图说明

图1为虚拟视点图像后处理方法的流程图；

图2为选取彩色图像参考帧和深度图像参考帧的示意图；

图3为检测到的具有伪轮廓区域的示意图；

图4(a)和图4(b)为空洞填补的示意图。

具体实施方式

如图1所示，为虚拟视点图像后处理方法的流程图。一种虚拟视点图像后处理方法包括以下步骤：

步骤110，选取待处理图像帧的彩色图像参考帧及深度图像参考帧。

待处理图像帧是融合利用左视点绘制的彩色图像及深度图像和利用右视点绘制的彩色图像及深度图像得来的，包括待处理彩色图像帧和待处理深度图像帧。由于在融合的过程中存在遮挡、暴露或取整运算等，因而在融合后的虚拟视点图像中会出现空洞，造成图像质量失真或模糊，所以需要对具有空洞的待处理图像帧进行空洞填补。

具体地，选取待处理图像帧的彩色图像参考帧及深度图像参考帧步骤为：

若待处理图像帧为第1帧，则选取待处理图像帧的左右视点的彩色图像参考帧、深度图像参考帧及时间方向上的连续左右视点的彩色图像参考帧、深度图像参考帧。

若待处理图像帧为第2帧及第2帧以后的图像帧，则①选取待处理图像帧的前一帧图像及前一帧图像的左右视点的彩色图像参考帧、深度图像参考帧。

②选取待处理图像帧的左右视点的彩色图像参考帧、深度图像参考帧及时间方向上的连续左右视点的彩色图像参考帧、深度图像参考帧。

如图2所示，为选取彩色图像参考帧和深度图像参考帧的示意图。假设待处理图像帧为V_k+1，且为第1帧，则在视点方向上，会选择待处理图像帧V_k+1的左视点图像L_k+1和右视点图像R_k+1，在时间方向上，则选择左右视点图像的连续图像作为参考帧，即从L_k+1、R_k+1开始至左右视点图像的最后一帧。如果待处理图像帧V_k+1不为第1帧，则还能选择前一帧已经处理的图像帧V_k和V_k对应左右视点图像帧的作为参考帧。

步骤120，获取包含待处理图像帧中的空洞的待处理窗口，在彩色图像参考帧及深度图像参考帧的搜索范围内，搜索所有与所述待处理窗口相似的匹配窗口。

待处理图像帧中出现的空洞一般都不是规则的，因此，在计算像素值时，以待处理图像帧中的空洞的中心像素为窗口中心位置，选取矩形窗口。同样的，在参考帧中搜索匹配窗口时，也是在参考帧中选取与待处理图像帧中大小一致的对应矩形窗口。

获取包含待处理图像帧中的空洞的待处理窗口的具体步骤为：

测待处理图像帧的空洞分布。

②依次以待处理图像中的各空洞的任一像素位置为中心，选取包含空洞的待处理窗口，其中待处理窗口小于待处理图像。设(u₀，v₀)为待处理窗口的中心像素位置，(x₀，y₀)为待处理窗口中的任一像素位置，则u₀-M/2≤x₀≤u₀+M/2，v₀-N/2≤y₀≤v₀+N/2，其中M、N为窗口的长宽。

在本实施例中，空洞包括大空洞、小空洞、伪轮廓，小空洞为：将待处理图像帧中的空洞进行标记得到空洞标记图，采用M₁xN₁大小并以当前空洞像素为中心的待处理窗口，若待处理窗口内的空洞像素个数大于非空洞像素个数，则标记当前待处理窗口中心像素的空洞像素为大空洞；若待处理窗口内的空洞像素个数不大于非空洞像素个数，标记当前待处理窗口中心像素的空洞像素为小空洞。

在另一个实施例中，将待处理图像帧中的空洞进行标记得到空洞标记图，采用M₁xN₁大小并以当前空洞像素为中心的窗口，M₁＝3，N₁＝3，则小空洞为当前空洞的像素的八邻域像素中，空洞个数不超过四个的空洞，大空洞为当前空洞的像素的八邻域像素中，空洞个数超过四个的空洞。设当前像素为P，P₀至P₇为当前像素P邻域的八个像素，当这八个像素有四个以上的像素为空洞时，则当前像素P所在的位置为大空洞，当这八个像素不超过四个的像素为空洞时，则当前像素P所在的位置为小空洞。

设l(x，y，k)为大空洞标记图在像素位置(x，y)的像素值，其中像素值l(x，y，k)＝0，表示大空洞标记图在像素位置(x，y)为空洞，否则l(x，y，k)＝1，表示大空洞标记图在像素位置(x，y)为非空洞。对大空洞标记图，从左至右，从上到下逐一扫描其中的像素，若当前被扫描像素位置为(x，y)，若l(x-1，y，k)＝1，l_L(x+1，y，k)＝0，则标记该像素(x，y)为伪轮廓像素，于是得到左右参考视点绘制所产生的伪轮廓区域标记图，如图3所示，为检测到的具有伪轮廓区域的示意图。

在本实施例中，获取包含待处理图像帧中的空洞的待处理窗口，在彩色图像参考帧及深度图像参考帧的搜索范围内，搜索所有与所述待处理窗口相似的匹配窗口的步骤包括：

①采用公式

$D(u_0+\mathrm{\Δu},v_0+\mathrm{\Δv},t,c,k)=\underset{(x_0,y_0)\∈W(u_0,v_0)}{\mathrm{\Σ}}l(x_0,y_0,k)\×|v^{\′}(x_0,y_0,c,k)-r(x_0,y_0,t,c,k)|$ 计算待处理窗口内的彩色非空洞像素值的差异度。

②采用公式

$D(u_0+\mathrm{\Δu},v_0+\mathrm{\Δv},t,d,k)=\underset{(x_0,y_0)\∈W(u_0,v_0)}{\mathrm{\Σ}}l(x_0,y_0,k)\×|v^{\′}(x_0,y_0,d,k)-r(x_0,y_0,t,d,k)|$ 计算待处理窗口内的深度非空洞像素值的差异度。

③采用公式T(u₀+Δu，v₀+Δv，t，k)＝D(u₀+Δu，v₀+Δv，t，c，k)+λ×D(u₀+Δu，v₀+Δv，t，d，k)计算待处理窗口的非空洞位置像素值与匹配窗口中对应位置像素值的代价函数。

其中，l表示待处理图像帧中非空洞像素的标记，v′表示待处理窗口内非空洞像素的像素值，r表示参考帧像素位置的像素值，(u₀，v₀)为待处理窗口的中心像素位置，(Δu，Δv)表示搜索匹配窗口偏移，t为参考帧序号，c为彩色图像信息，d为深度图像信息，k表示图像帧序号，W表示待处理窗口，λ为加权系数。

④根据代价函数值判断所述匹配窗口与所述待处理窗口的相似度，其中，代价函数越小，相似度越高。

在本实施例中，差异度能够利用绝对差值和或差值平方和等来表征。

在本实施例中，彩色图像中每个像素包括一个亮度分量和两个色度分量。深度图像中像素只包括亮度分量。代价函数是用来表征待处理窗口和匹配窗口间的差别，代价函数越小，则表示该匹配窗口与待处理窗口的相似度越高，差别越小。

在本实施例中，小空洞的填补方法还能够采用如下步骤：

①采用公式 $v^{\′}(u,v,c,k)=\frac{\underset{(x_0,y_0)\∈W(u,v)}{\mathrm{\Σ}}s(x_0,y_0,k)\×d(x_0,y_0,k)\×v(x_0,y_0,c,k)}{\underset{(x_0,y_0)\∈W(u,v)}{\mathrm{\Σ}}s(x_0,y_0,k)\×d(x_0,y_0,k)}$

计算待处理窗口中小空洞填补后的像素值；其中，

$d(x,y,k)=\frac{1}{\sqrt{{(x-u)}^2+{(y-v)}^2}}$

d表示待处理窗口内某像素位置到中心像素(u，v)距离的倒数，s为待处理图像帧中非空洞标记图的像素值0或1，其中，0表示对应位置为空洞，1表示对应位置为非空洞，v为待处理图像帧中像素位置的像素值，W表示待处理窗口。

②将待处理窗口中小空洞填补后的像素值填补至待处理窗口的小空洞中。

在本实施例中，设s(x，y，k)为小空洞标记图在像素位置(x，y)的像素值，像素值为s(x，y，k)＝0，表示小空洞标记图在像素位置(x，y)为空洞，否则s(x，y，k)＝1，表示小空洞标记图在像素位置(x，y)为非空洞，对小空洞标记图，从左至右，从上到下逐一扫描其中的像素，若当前被扫描像素位置坐标为(u，v)，0≤u＜m，0≤v＜n，且s(u，v，k)＝0，则以像素位置(u，v)为中心坐标，选取一矩形窗口W(u，v)，窗口W(u，v)的宽和高分别为M₃，N₃，M₃＝11，N₃＝11。

设v(x，y，c，k)为融合后彩色图像V(c，k，m，n)在像素位置(x，y)的像素值，v′(x，y，c，k)为进行空洞填补后的彩色图像在像素位置(x，y)的像素值，(x₀，y₀)为窗口W(u，v)内的像素坐标，u-M₃/2≤x₀≤u+M₃/2，v-N₃/2≤y₀≤v+N₃/2，

采用下述公式计算该空洞像素位置(u，v)填补后的像素值：

$v^{\′}(u,v,c,k)=\frac{\underset{(x_0,y_0)\∈W(u,v)}{\mathrm{\Σ}}s(x_0,y_0,k)\×d(x_0,y_0,k)\×v(x_0,y_0,c,k)}{\underset{(x_0,y_0)\∈W(u,v)}{\mathrm{\Σ}}s(x_0,y_0,k)\×d(x_0,y_0,k)},$ 其中

$d(x,y,k)=\frac{1}{\sqrt{{(x-u)}^2+{(y-v)}^2}}$

为窗口W(u，v)内某像素位置(x，y)到中心像素(u，v)距离的倒数。

之后扫描下一个像素位置，重复上述步骤，直至所有像素点扫描完毕，于是得到了小空洞填补后的彩色图像。

在本实施例中，深度图像空洞的填补方法还能够采用如下步骤：

①采用公式 $v^{\′}(u,v,d,k)=\frac{\underset{(x_0,y_0)\∈W(u,v)}{\mathrm{\Σ}}h(x_0,y_0,k)\×d(x_0,y_0,k)\×v(x_0,y_0,d,k)}{\underset{(x_0,y_0)\∈W(u,v)}{\mathrm{\Σ}}h(x_0,y_0,k)\×d(x_0,y_0,k)}$

计算深度图像帧的待处理窗口中空洞填补后的像素值；其中，

$d(x,y,k)=\frac{1}{\sqrt{{(x-u)}^2+{(y-v)}^2}}$

d表示待处理窗口内某像素位置到中心像素(u，v)距离的倒数，v为待处理图像帧中像素位置的像素值，W表示待处理窗口，h为待处理图像帧中非空洞标记图的像素值0或1，其中，0表示对应位置为空洞，1表示对应位置为非空洞。

②将深度图像帧的待处理窗口中空洞填补后的像素值填补至深度图像帧中待处理窗口的空洞中。

在本实施例中，设h(x，y，k)为融合后的空洞标记图在像素位置(x，y)的像素值，其中像素值h(x，y，k)＝0，表示空洞标记图在位置(x，y)的像素为空洞，否则h(x，y，k)＝1，表示空洞标记图在位置(x，y)的像素为非空洞，对融合后的空洞标记图，从左至右，从上到下逐一扫描其中的像素，若当前被扫描像素位置坐标为(u，v)，0≤u＜m，0≤v＜n，且h(u，v，k)＝0，则以像素位置(u，v)为中心坐标，选取一矩形窗口W(u，v)，窗口W(u，v)的宽和高分别为M₂，N₂，M₂＝35，N₂＝35；

设v(x，y，d，k)为融合后的深度图像在像素位置(x，y)的像素值，v′(x，y，d，k)为进行空洞填补后的深度图在像素位置(x，y)的像素值，(x₀，y₀)为窗口W(u，v)内的像素坐标，m表示待处理图像帧的水平分辨率，n表示待处理图像帧的竖直分辨率；u-M₂/2≤x₀≤u+M₂/2，v-N₂/2≤y₀≤v+N₂/2。

计算该空洞像素位置(u，v)填补后的像素值：

$v^{\′}(u,v,d,k)=\frac{\underset{(x_0,y_0)\∈W(u,v)}{\mathrm{\Σ}}h(x_0,y_0,k)\×d(x_0,y_0,k)\×v(x_0,y_0,d,k)}{\underset{(x_0,y_0)\∈W(u,v)}{\mathrm{\Σ}}h(x_0,y_0,k)\×d(x_0,y_0,k)},$ 其中，

$d(x,y,k)=\frac{1}{\sqrt{{(x-u)}^2+{(y-v)}^2}}$

为窗口W(u，v)内某像素位置(x，y)到中心像素(u，v)距离的倒数。

扫描下一个像素位置，重复上述步骤，直至所有像素点扫描完毕，于是得到了空洞填补后的深度图。

在本实施例中，小空洞和深度图像的空洞填补，只需要计算出填补好小空洞位置和深度图像的空洞位置所包含的像素值，然后对应位置的像素值补充至计算出的像素值，即能完成小空洞和深度图像的空洞填补。

步骤130，选取与所述待处理窗口最相似的窗口为最佳匹配窗口，将最佳匹配窗口中与待处理窗口中空洞对应位置的像素填补到待处理窗口中。

具体地，选取与所述待处理窗口最相似的窗口为最佳匹配窗口，将最佳匹配窗口中与待处理窗口中空洞对应位置的像素填补到待处理窗口中的步骤为：

①比较待处理窗口内的非空洞像素值与彩色图像参考帧及深度图像参考帧搜索范围内、各匹配窗口中对应位置像素值的代价函数值，选取代价函数值最小的匹配窗口。

②将代价函数值最小的匹配窗口中与待处理窗口中空洞对应位置的像素填补到待处理窗口中的空洞。

在本实施例中，空洞填补具有优先级，优先级越高的越先填补，因此，采用公式P(u，v，k)＝C(u，v，k)×(i₀(u，v，k)+λ_D×d₀(u，v，k))计算所述待处理窗口的优先级，并按优先级的高低依次对待处理窗口进行空洞填补，其中，P为待处理窗口优先级，C为待处理窗口内非空洞像素个数的百分比，i₀表示窗口内非空洞像素的像素值变化波动，λ_D为常数，d₀表示待处理窗口内非空洞像素的深度值变化波动，(u，v)为待处理窗口的中心像素位置，k表示待处理窗口所在帧的序号。

在本实施例中，设l(x，y，k)为空洞标记图在像素位置(x，y)的像素值，其中像素值l(x，y，k)＝0，表示空洞标记图在像素位置(x，y)为空洞，否则l(x，y，k)＝1，表示空洞标记图在像素位置(x，y)为非空洞，对融合后的空洞标记图，从左至右，从上到下逐一扫描其中的像素，若当前被扫描像素位置为(u，v)，且l(u，v，k)＝0时，以该像素位置(u，v)为中心，选取一矩形窗口W(u，v)，窗口W(u，v)的宽和高分别为M₄，N₄，M₄＝11，N₄＝11，0≤u＜m，0≤v＜n，记(x₀，y₀)为窗口W(u，v)内的像素坐标，u-M₄/2≤x₀≤u+M₄/2，v-N₄/2≤y₀≤v+N₄/2，P(u，v，k)为以空洞像素位置(u，v)为中心的矩形窗口进行空洞填补的优先级，P(u，v，k)值越大表示该矩形窗口优先进行空洞填补，其计算表达式为

P(u，v，k)＝C(u，v，k)×(i₀(u，v，k)+λ_D×d₀(u，v，k))，

其中λ_D为常数，值为0.1，C(u，v，k)表示窗口W(u，v)内非空洞像素个数的百分比，C(u，v，k)的计算公式为：

$C(u,v,k)=\frac{1}{M_4\×N_4}\×\underset{(x_0,y_0)\∈W(u,v)}{\mathrm{\Σ}}l(x_0,y_0,k);$

i₀(u，v，k)表示窗口W(u，v)内非空洞像素的像素值(亮度Y分量)变化波动，反映图像纹理。

$i_0(u,v,k)=\underset{(x_0,y_0)\∈W(u,v)}{\mathrm{\Σ}}l(x_0,y_0,k)\×|v^{\′}(x_0,y_0,c,k)-{\stackrel{\‾}{v}}^{\′}(u,v,c,k)|;$

其中表示窗口W(u，v)内非空洞像素的彩色图中像素值的平均值。

d₀(u，v，k)表示窗口W(u，v)内非空洞像素的深度值变化波动。

$d_0(u,v,k)=\underset{(x_0,y_0)\∈W(u,v)}{\mathrm{\Σ}}l(x_0,y_0,k)\×|v^{\′}(x_0,y_0,d,k)-{\stackrel{\‾}{v}}^{\′}(u,v,d,k)|;$

表示窗口W(u，v)内非空洞像素的深度图中像素值的平均值。

基于上述所有实施例，如图4(a)和图4(b)所示，为空洞填补的示意图。待处理图像帧40中包含空洞402及其他不需要处理的像素位置。在以虚拟视点图像后处理方法来处理待处理图像帧40时，选取与待处理图像帧40对应的参考图像帧50，参考图像帧中与待处理图像帧40中的空洞402对应的位置是502，参考帧50中不包含空洞。从而在参考帧图像帧50搜索范围内，寻找与待处理窗口404的最佳匹配窗口504，待处理窗口404与匹配窗口504的的匹配条件是，两者之间以非空洞像素值的差异度来表征的代价函数值最小。将最佳匹配窗口504中的像素复制到待处理窗口404的空洞区域。依次在待处理图像帧中选取与待处理窗口404相似的区域，直至将空洞402填补完毕，即完成待处理图像帧40的空洞填补。

上述虚拟视点图像后处理方法，利用绘制过程中参考视点图像的时空相关信息，通过从选取的彩色参考帧和深度参考帧中以搜索、匹配的方式选取与待处理图像存在的由于遮挡、暴露或取整运算等所造成的空洞的匹配的像素位置对空洞进行有效地填补，从而能够提高虚拟视点图像的质量。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种虚拟视点图像后处理方法，包括以下步骤：

选取待处理图像帧的彩色图像参考帧及深度图像参考帧；

获取包含待处理图像帧中的空洞的待处理窗口，在彩色图像参考帧及深度图像参考帧的搜索范围内，搜索所有与所述待处理窗口相似的匹配窗口；

计算待处理窗口内的彩色非空洞像素值的差异度；

计算待处理窗口内的深度非空洞像素值的差异度；

计算待处理窗口的非空洞位置像素值与匹配窗口中对应位置像素值的代价函数；

根据代价函数值判断所述匹配窗口与所述待处理窗口的相似度，其中，代价函数越小，相似度越高；

选取与所述待处理窗口最相似的窗口为最佳匹配窗口，将最佳匹配窗口中与待处理窗口中空洞对应位置的像素填补到待处理窗口中的空洞。

2.根据权利要求1所述的虚拟视点图像后处理方法，其特征在于，所述虚拟视点图像后处理方法还包括：

采用公式P(u,v,k)C(u,v,k)×(i₀(u,v,k)+λ_D×d₀(u,v,k))计算所述待处理窗口的优先级，并按优先级的高低依次对待处理窗口进行空洞填补，其中，P为待处理窗口优先级，C为待处理窗口内非空洞像素个数的百分比，i₀表示窗口内非空洞像素的像素值变化波动，λ_D为常数，d₀表示待处理窗口内非空洞像素的深度值变化波动，(u,v)为待处理窗口的中心像素位置，k表示待处理窗口所在帧的序号。

3.根据权利要求1所述的虚拟视点图像后处理方法，其特征在于，所述选取待处理图像帧的彩色图像参考帧及深度图像参考帧的步骤为：

若待处理图像帧为第2帧及第2帧以后的图像帧，则选取待处理图像帧的前一帧图像及所述前一帧图像的左右视点的彩色图像参考帧、深度图像参考帧；

选取待处理图像帧的左右视点的彩色图像参考帧、深度图像参考帧及时间方向上的连续左右视点的彩色图像参考帧、深度图像参考帧；

若待处理图像帧为第1帧，则选取待处理图像帧的左右视点的彩色图像参考帧、深度图像参考帧及时间方向上的连续左右视点的彩色图像参考帧、深度 图像参考帧。

4.根据权利要求1所述的虚拟视点图像后处理方法，其特征在于，所述获取包含待处理图像帧中的空洞的待处理窗口的步骤包括：

检测待处理图像帧的空洞分布；

依次以待处理图像中的各空洞的任一像素位置为中心，选取包含空洞的待处理窗口，其中所述待处理窗口小于待处理图像。

5.根据权利要求1所述的虚拟视点图像后处理方法，其特征在于，所述获取包含待处理图像帧中的空洞的待处理窗口，在彩色图像参考帧及深度图像参考帧的搜索范围内，搜索所有与所述待处理窗口相似的匹配窗口的步骤包括：

采用公式

计算待处理窗口内的彩色非空洞像素值的差异度；

采用公式计算待处理窗口内的深度非空洞像素值的差异度；

采用公式T(u₀+Δu,v₀+Δv,t,k)＝D(u₀+Δu,v₀+Δv,t,c,k)+λ×D(u₀+Δu,v₀+Δv,t,d,k)计算待处理窗口的非空洞位置像素值与匹配窗口中对应位置像素值的代价函数；

其中，l表示待处理图像帧中非空洞像素的标记，v'表示待处理窗口内非空洞像素的像素值，r表示参考帧像素位置的像素值，(u₀,v₀)为待处理窗口的中心像素位置，(Δu,Δv)表示搜索匹配窗口偏移，t为参考帧序号，c为彩色图像信息，d为深度图像信息，k表示图像帧序号，W表示待处理窗口，λ为加权系数；

根据代价函数值判断所述匹配窗口与所述待处理窗口的相似度，其中，代价函数越小，相似度越高。

6.根据权利要求5所述的虚拟视点图像后处理方法，其特征在于，所述选取与所述待处理窗口最相似的窗口为最佳匹配窗口，将最佳匹配窗口中与待处理窗口中空洞对应位置的像素填补到待处理窗口中的空洞的步骤为：

比较待处理窗口内的非空洞像素值与彩色图像参考帧及深度图像参考帧搜索范围内、各匹配窗口中对应位置像素值的代价函数值，选取代价函数值最小 的匹配窗口；

将代价函数值最小的匹配窗口中与待处理窗口中空洞对应位置的像素填补到待处理窗口中的空洞。

7.根据权利要求1所述的虚拟视点图像后处理方法，其特征在于，所述空洞包括大空洞、小空洞、伪轮廓，将所述待处理图像帧中的空洞进行标记得到空洞标记图，采用M₁xN₁大小并以当前空洞像素为中心的待处理窗口，若所述待处理窗口内的空洞像素个数大于非空洞像素个数，则标记当前待处理窗口中心像素的空洞像素为大空洞；若所述待处理窗口内的空洞像素个数不大于非空洞像素个数，标记当前待处理窗口中心像素的空洞像素为小空洞。

8.根据权利要求7所述的虚拟视点图像后处理方法，其特征在于，所述虚拟视点图像后处理方法还包括：

采用公式

计算待处理窗口中小空洞填补后的像素值；其中，

d表示待处理窗口内某像素位置到中心像素(u，v)距离的倒数，v为待处理图像帧中像素位置的像素值，W表示待处理窗口，s为待处理图像帧中非空洞标记图的像素值0或1；

将所述待处理窗口中小空洞填补后的像素值填补至待处理窗口的小空洞中。

9.根据权利要求8所述的虚拟视点图像后处理方法，其特征在于，所述虚拟视点图像后处理方法还包括：

采用公式

计算深度图像帧的待处理窗口中空洞填补后的像素值；其中，

d表示待处理窗口内某像素位置到中心像素(u，v)距离的倒数，v为待处理图像帧中像素位置的像素值，W表示待处理窗口，h为待处理图像帧中非空洞标记图的像素值0或1；

将所述深度图像帧的待处理窗口中空洞填补后的像素值填补至深度图像帧中待处理窗口的空洞中。

10.根据权利要求1至9任意一项所述的虚拟视点图像后处理方法，其特征在于，所述待处理图像帧包括待处理彩色图像帧和待处理深度图像帧。