CN104320649B - 一种基于全概率模型的多视点深度图增强方法 - Google Patents

Abstract

本发明实施例公开了一种基于全概率模型的多视点深度图增强方法。该方法包括如下步骤：图像预处理步骤：将像素矢量聚合为超像素矢量；颜色信息分类步骤：使用狄利克雷混合模型模拟超像素矢量分布,并运用变分贝叶斯方法估测模型参数，得出超像素矢量的概率密度函数，根据概率进行分类；深度信息分类和增强步骤：基于颜色信息分类结果，使用贝塔混合模型模拟深度图像素矢量分布，并运用变分贝叶斯方法估计模型参数，根据所得概率密度函数对深度图像素进行细分，将各像素深度值更新为所在类内深度均值，完成深度图增强。利用本发明实施例，能够得到层次更加清晰，结构更加紧凑的深度图，从而提高基于深度绘制的多视点图像合成质量，具有很大的实用价值。

Description

一种基于全概率模型的多视点深度图增强方法

技术领域

本发明涉及多视点图像合成方法的改善，着重描述了一种基于全概率模型的深度图增强方法，从而达到提高多视点图像合成质量的目的。

背景技术

随着3D技术逐渐走入人们的生活，多视点视频作为一种应运而生的新兴数字媒体越来越受到大家的关注。多视点视频是通过在一个场景不同视角放置多台摄像机，可以更加真实、生动的还原场景，为用户提供交互式操作功能。但若想将这种3D视频表示方法应用到诸如自由视点电视(FTV)，远程医疗，交融式会议电视等多媒体业务中，图像质量，视频连贯性等还需要达到更高标准。

由于拍摄现场的摄像机数目限制，我们只能从有限的视角获取图景信息，若想流畅展示物体的全部视角，需要我们进行多视点图像合成。多视点图像合成大致分为三个步骤：图像的预处理、图像信息的处理与聚类、图像合成。其中，如何利用有限的信息以及如何有效的处理信息对多视点图像的合成质量有决定性作用。在数字图像处理中，图像的颜色作为最重要的视觉特征之一一直被广泛应用。K-means算法作为一种简单的聚类方法常被用于图像颜色信息的分割聚类。这一聚类方法虽然简单，但未能考虑像素间的关联性，且需要在聚类前确定聚类数目。因此，我们需要探索一种更高效的方法对图像的颜色信息进行聚类。

近年来，在图像合成过程中除了运用图像所包含的颜色信息，能够提供几何信息的深度图也开始得到广泛关注。深度图可以用一个二维矩阵表示，矩阵中每个像素值表示的是场景中各点与摄像机的距离。相比于2D的普通图像，深度信息可用于对场景内的物体进行更加精确的区分。然而，在多数研究中，深度图常用立体匹配算法进行估计，忽视了像素间的连续性，层次模糊的深度图可能会给图像合成造成负面影响。因此，如何充分利用图像信息对深度图进行增强，即得到分布更加紧凑、层次更加清晰的深度图，对基于深度的图像绘制结果具有重要意义。

另外，3D图像的合成需要对海量图片进行处理，加之图像高清化、超清化的趋势，如何对原图像进行预处理，从而迅速高效的进行图像合成，对于多视点视频的流畅性也具有十分重要的意义。

发明内容

为了解决基于深度的图像绘制技术中所使用的深度图连续性缺陷以及层次模糊的问题，本发明提供一种以基于全概率模型的深度图增强方法，改善了合成效果。

为达到上述目的，本发明提出的基于全概率模型的多视点深度图增强方法包括下列步骤：

步骤一.图像预处理步骤：针对高清图片包含的庞大像素数量，对原始图像进行超像素聚类，降低图像处理的计算复杂度；

步骤二.颜色信息聚类步骤：有效的颜色信息聚类是深度图增强的基础，本文使用狄利克雷混合模型(DMM-Dirichletmixturemodel)逼近三维超像素矢量的分布，并运用变分贝叶斯方法(VB-VariationalBayes)估计模型参数，从而获得作为颜色聚类依据的责任矩阵R；

步骤三.深度信息聚类及增强步骤：

A、深度信息聚类步骤：在颜色信息聚类结果的基础上，按照各像素的深度值再细分出不同子类，此处对一维深度像素矢量用贝塔混合模型(BMM–BetaMixtureModel)建模；

B、深度图增强步骤：计算步骤A中所得子类内像素矢量的深度均值，更新原始深度值，最终完成深度图的增强，得到层次更加清晰，结构更加紧凑的深度图。

在步骤一所述的图像预处理步骤中，可选用K-means，SLIC(Simple-Linear-Iterative-Clustering)等聚类方法将相似度高的像素聚合为三维超像素矢量S_m，便于对图像的进一步处理。

在步骤二所述颜色信息聚类步骤中，对三维超像素矢量用狄利克雷混合模型进行逼近，并运用变分贝叶斯方法估计分布参数，从而计算出像素矢量的概率密度，得到作为聚类依据的责任矩阵R。此步骤具体过程如下：

1)对步骤一所得三维超像素矢量S_m归一化，得到三维矢量x_m＝[x₁,x₂,x₃]^T，其中K＝3；

2)用狄利克雷混合模型对归一化后的超像素矢量进行建模，模型表示为：

$Dir\left(S_m\right|u)=\frac{\mathrm{\Γ}\left({\Σ}_{k=1}^K{u}_k\right)}{{\Π}_{k=1}^K\mathrm{\Γ}\left(u_k\right)}{\Π}_{k=1}^K{x}_k^{u_k-1};$

其中，г(z)表示伽玛函数，其定义为：为模型参数；

结合变分贝叶斯方法估计模型参数，得到超像素矢量的概率密度函数：

$p\left(S\right|\Π,U)={\Π}_{m=1}^M{\Σ}_{i=1}^I{\mathrm{\π}}_{i}Dir\left(S_m\right|u_i),0\≤{\mathrm{\π}}_i\≤1;$

其中，变量Π＝[π₁,…π_i,…π_I]表示各混合成分的权值，S＝[S₁,…S_m,…S_M]是M个三维超像素矢量构成的矩阵，U＝[u₁,…u_i,…u_I]是I个模型参数构成的参数矩阵，参数M表示超像素矢量的个数，参数I表示狄利克雷混合模型中包含I个狄利克雷混合成分；

3)根据概率密度函数得到责任矩阵R， $R^{\left(S\right)}=\[r_1^{\left(S\right)},\mathrm{...}{r}_m^{\left(S\right)},\mathrm{...}{r}_M^{\left(S\right)}\],$ 其中， $r_m^{\left(S\right)}={\[r_{m1}^{\left(S\right)},...r_{mi}^{\left(S\right)},...r_{mI}^{\left(S\right)}\]}^T$ 中各元素表示三维超像素矢量S_m属于第i类的概率，判定依据如下：

在步骤三所述深度信息聚类及增强步骤中，步骤A所述的深度信息聚类步骤中，以颜色信息聚类结果为基础，进行基于深度信息的子类划分。鉴于深度信息为一维矢量且其值有界，用贝塔混合模型对其进行建模。此步骤具体过程如下：

1)将与颜色像素矢量v_nr位置对应的深度矢量d_nr做同样聚类，第i深度簇表示为

2)用贝塔混合模型对深度矢量d_nr建模，并运用变分贝叶斯方法估计模型参数，从而得到深度矢量概率密度函数为：

其中，φ⁽ⁱ⁾表示第i深度类的类内像素索引序号；τ＝[τ₁,…τ_l,…τ_L]表示贝塔混合模型各混合成分的权值，a_l和b_l是贝塔分布的参数，模型参数a＝[a₁,…a_l,…a_L]^T和b＝[b₁,…b_l,…b_L]^T为参数矢量，可由变分贝叶斯方法估计获得；

从而可通过概率密度函数得到作为深度信息聚类依据的责任矩阵：

其中，元素表示深度矢量属于子类l的概率，把第i簇内深度矢量归为第l类的依据为：

步骤B所述的深度图增强步骤中，以步骤A所得深度图子类为基础，分别求解各类内深度均值，从而完成深度图增强。此步骤具体过程如下：

1)计算深度图子类内的深度均值，其计算公式为：

$d^{\left(il\right)}=\frac{{\Σ}_{v\∈{\mathrm{\γ}}^{\left(il\right)}}{r}_v^{\left(D\right)}{d}_v}{{\Σ}_{v\∈{\mathrm{\γ}}^{\left(il\right)}}{r}_v^{\left(D\right)}};$

其中，γ^(il)表示深度矢量的索引序号，表示深度矢量v属于第l子类的概率，d_v表示深度矢量v的深度值；

2)得到各深度均值后，将各深度矢量值更新为所在子类深度均值，从而完成深度图增强。

本发明的有益效果在于，相对于现有技术而言，本发明综合考虑图像的颜色信息和深度信息，运用狄利克雷混合模型对颜色矢量进行建模并分类，从而辅助基于深度信息的子类划分，得到层次更清晰，结构更紧凑的深度图，提高多视点图片的合成质量。

附图说明

图1为本发明提供的基于全概率模型的多视点深度图增强方法的步骤流程图；

图2为深度图分类及增强的步骤流程图。

具体实施方式

下面将结合附图对本发明具体实施方式进行详细说明。

图1是本发明的流程图，包括以下步骤：

第一步：图像预处理：对高清图像进行超像素聚类；

第二步：颜色信息聚类

步骤S1：使用狄利克雷混合模型模拟超像素分布,得到超像素概率密度函数，从而得到责任矩阵R^(S)，其元素表示各超像素属于各簇的概率，完成颜色信息聚类；

第三步：深度信息聚类及增强

步骤S2：在步骤S1所得聚类结果同样应用于深度图，并运用贝塔混合模型模拟深度矢量分布，得到其概率密度函数，根据责任矩阵R^(D)各元素所表示的深度矢量属于各深度簇的概率完成深度信息聚类；

步骤S3：对步骤S2所得各深度矢量子类求解类内深度均值，并将各深度矢量值更新为所在类的深度均值，从而完成深度图增强。

下面将对每个步骤进行具体的说明：

步骤S1进行颜色信息聚类，使用狄利克雷混合模型模拟超像素矢量分布，计算其概率密度函数，从而得到聚类依据，即责任矩阵R。本发明中三维超像素矢量S_m归一化可得三维矢量x_m＝[x₁,x₂,x₃]^T，详细步骤为：

1)用狄利克雷混合模型对归一化后的超像素矢量进行建模，模型表示为：

$Dir\left(S_m\right|u)=\frac{\mathrm{\Γ}\left({\Σ}_{k=1}^K{u}_k\right)}{{\Π}_{k=1}^K\mathrm{\Γ}\left(u_k\right)}{\Π}_{k=1}^K{x}_k^{u_k-1};$

公式中，K＝3，参数u_k可由变分贝叶斯方法进行估计；

2)对于超像素矢量S_m，通过I个狄利克雷模型混合，可得到其概率密度函数：

$p\left(S\right|\Π,U)={\Π}_{m=1}^M{\Σ}_{i=1}^I{\mathrm{\π}}_{i}Dir\left(S_m\right|u_i),0\≤{\mathrm{\π}}_i\≤1;$

其中，变量Π＝[π₁,…π_i,…π_I]表示各混合成分的权值，S＝[S₁,…S_m,…S_M]是M个三维超像素矢量构成的矩阵，U＝[u₁,…u_i,…u_I]是I个模型参数构成的参数矩阵，参数M表示超像素矢量的个数，参数I表示狄利克雷混合模型中包含I个狄利克雷混合成分；

3)根据概率密度函数可得责任矩阵R，

其中，中各元素表示超像素S_m属于第i类的概率，判定依据如下：

从而可得各超像素包含的所有颜色信息矢量v_nr的聚类结果，得到I个颜色信息簇。

步骤S2以步骤S1所得聚类结果为基础，对深度信息运用贝塔混合模型建模，从而对深度矢量进行子类划分。图2给出了该方法的具体流程如下：

1)输入1：深度矢量D＝[d₁,…d_NR]；

输入2：颜色信息矢量v_nr的聚类结果；

2)步骤21中，将深度矢量d_nr按其对应颜色矢量v_nr的聚类结果进行标号，划分为同样的I个子类；第i深度簇表示为 $D_i=\{d_1^{\left(i\right)},...,d_{NR}^{\left(i\right)}\};$

3)步骤22中，用贝塔混合模型对深度矢量d_nr建模，并运用变分贝叶斯方法估计模型参数，从而得到深度矢量概率密度函数为：

其中，φ⁽ⁱ⁾表示第i深度类的类内像素索引序号；τ＝[τ₁,…τ_l,…τ_L]表示贝塔混合模型各混合成分的权值，a_l和b_l是贝塔分布的参数，模型参数a＝[a₁,…a_l,…a_L]^T和b＝[b₁,…b_l,…b_L]^T为参数矢量，可由变分贝叶斯方法估计获得；

4)步骤23中，依据步骤22所得概率密度函数，可得作为深度信息聚类依据的责任矩阵：

其中，元素表示深度矢量属于子类l的概率。把第i簇内深度矢量归为第l类的依据为：

5)输出：深度信息子类划分结果D(il)。

步骤S4进行深度图增强，计算子深度簇l的深度均值:

$d^{\left(il\right)}=\frac{{\Σ}_{v\∈{\mathrm{\γ}}^{\left(il\right)}}{r}_v^{\left(D\right)}{d}_v}{{\Σ}_{v\∈{\mathrm{\γ}}^{\left(il\right)}}{r}_v^{\left(D\right)}};$

其中，γ^(il)表示深度矢量的索引序号，表示深度矢量v属于第l子类的概率，d_v表示深度矢量v的深度值；

得到各深度均值后，将各深度矢量值更新为所在子类深度均值，从而完成深度图增强。

以上结合附图对所提出的基于全概率模型的多视点深度图增强方法的具体实施方式进行了阐述。通过以上实施方式的描述，所属领域的一般技术人员可以清楚的了解增强深度图所使用的数学推导方法，得到增强后的深度图。基于更新后的深度图，可通过专业软件完成更高质量多视点图像的合成。

依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

以上所述的本发明实施方式，并不构成对发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于全概率模型的多视点深度图增强方法，其特征在于，包括以下步骤：

步骤一.图像预处理步骤：针对高清图片包含的庞大像素数量，对原始图像进行超像素聚类，得到三维超像素矢量S_m，从而降低图像处理的计算复杂度；

步骤二.颜色信息聚类步骤：有效的颜色信息分类是深度图增强的基础，本文使用狄利克雷混合模型(DMM-Dirichletmixturemodel)逼近三维超像素矢量的分布，并运用变分贝叶斯方法(VB-VariationalBayes)估计模型参数，从而获得作为颜色分类依据的责任矩阵R，具体过程如下：

1)对步骤一所得三维超像素矢量S_m归一化，得到三维矢量x_m＝[x₁,x₂,x₃]^T，其中K＝3；

2)用狄利克雷混合模型对归一化后的超像素矢量进行建模，模型表示为：

$Dir\left(S_m\right|u)=\frac{\mathrm{\Γ}\left({\mathrm{\Σ}}_{k=1}^K{u}_k\right)}{{\Π}_{k=1}^K\mathrm{\Γ}\left(u_k\right)}{\Π}_{k=1}^K{x}_k^{u_k-1};$

其中，г(z)表示伽玛函数，其定义为：u＝[u₁,u₂,u₃]^T为模型参数；

结合变分贝叶斯方法估计模型参数，得到超像素矢量的概率密度函数：

$p\left(S\right|\mathrm{\Π},U)={\mathrm{\Π}}_{m=1}^M{\mathrm{\Σ}}_{i=1}^I{\mathrm{\π}}_{i}Dir\left(S_m\right|u_i),0\≤{\mathrm{\π}}_i\≤1;$

其中，变量Π＝[π₁,…π_i,…π_I]表示各混合成分的权值，S＝[S₁,…S_m,…S_M]是M个三维超像素矢量构成的矩阵，U＝[u₁,…u_i,…u_I]是I个模型参数构成的参数矩阵，参数M表示超像素矢量的个数，参数I表示狄利克雷混合模型中包含I个狄利克雷混合成分；

3)根据概率密度函数得到责任矩阵R，其中，中各元素表示三维超像素矢量S_m属于第i类的概率，判定依据如下：

步骤三.深度信息聚类及增强步骤：

A、深度信息聚类步骤：在颜色信息分类结果的基础上，按照各像素的深度值再细分出不同子类，鉴于深度信息为一维矢量且其值有界，此处对一维深度像素矢量用贝塔混合模型(BMM–BetaMixtureModel)建模；此步骤具体过程如下：

1)将与颜色像素矢量v_nr位置对应的深度矢量d_nr做同样聚类，第i深度簇表示为

2)用贝塔混合模型对深度矢量d_nr建模，并运用变分贝叶斯方法估计模型参数，从而得到深度矢量概率密度函数为：

其中，φ⁽ⁱ⁾表示第i深度类的类内像素索引序号；τ＝[τ₁,…τ_l,…τ_L]表示贝塔混合模型各混合成分的权值，a_l和b_l是贝塔分布的参数，模型参数a＝[a₁,…a_l,…a_L]^T和b＝[b₁,…b_l,…b_L]^T为参数矢量，可由变分贝叶斯方法估计获得；

从而可通过概率密度函数得到作为深度信息聚类依据的责任矩阵：

其中，元素表示深度矢量属于子类l的概率，把第i簇内深度矢量归为第l类的依据为：

B、深度图增强步骤：计算步骤A中所得子类内像素矢量的深度均值，更新原始深度值，最终完成深度图的增强，得到层次更加清晰，结构更加紧凑的深度图，此步骤具体过程如下：

1)计算深度图子类内的深度均值d^(il)，其计算公式为：

$d^{\left(il\right)}=\frac{{\mathrm{\Σ}}_{v\∈{\mathrm{\γ}}^{\left(il\right)}}{r}_v^{\left(D\right)}{d}_v}{{\mathrm{\Σ}}_{v\∈{\mathrm{\γ}}^{\left(il\right)}}{r}_v^{\left(D\right)}};$

其中，γ^(il)表示深度矢量的索引序号，表示深度矢量v属于第l子类的概率，d_v表示深度矢量v的深度值；

2)得到各深度均值后，将各深度矢量值更新为所在子类深度均值，从而完成深度图增强。