CN105120252A - 一种面向虚拟多视点绘制的深度感知增强方法 - Google Patents

Abstract

本发明属于立体图像处理领域，为依据人眼视觉深度感知原理，提出面向虚拟多视点绘制的深度感知增强方法，通过对视差图进行调整，实现面向多虚拟视点绘制的深度感知增强方法，达到改善立体显示效果的目的。为此，本发明采取的技术方案是，一种面向虚拟多视点绘制的深度感知增强方法，包括如下步骤：1)图像分割2)面向虚拟多视点绘制的恰可察觉深度差异模型3)面向虚拟多视点绘制的深度感知增强4)虚拟多视点绘制5)自由立体显示本发明主要应用于图像处理。

Description

一种面向虚拟多视点绘制的深度感知增强方法

技术领域

本发明属于立体图像处理领域，涉及一种面向虚拟多视点绘制的深度感知增强方法，来增强立体显示的立体效果。

技术背景

立体(3D)技术是利用双眼立体视觉原理，结合各种深度或视差线索，使观看者从显示设备上获得立体感的各种技术的总称。3D显示技术可以分为传统立体显示技术和裸眼立体显示技术。传统的立体显示技术需要佩戴眼镜才能观察出3D图像的立体感。裸眼立体显示技术不需要佩戴眼镜，裸眼即可观察出3D图像的立体感。自由立体显示技术，是当前裸眼立体显示的主要发展方向之一，能基于多视角视频实现多观看视点的选择和全方位的立体显示，从而带给人以逼真震撼的观看效果，满足人们对场景真实再现的要求。分析表明，自由立体显示由于发展时间较短、难度较高，较传统立体显示技术而言在观看舒适度、立体感知效果等方面还有待提高。

虚拟视点绘制是自由立体显示技术的核心技术之一，根据原始视点可产生多个虚拟视点。虚拟视点绘制的目的是在原有视点的基础上，生成物理上不失真的虚拟视点视图。虚拟视点绘制技术主要包括基于模型的绘制(ModelBasedRendering，MBR)和基于图像的绘制(ImageBasedRendering，IBR)。基于模型的绘制需要几何建模与计算，在复杂场景下通过MBR成像效果并不是非常理想，无法满足用户不断发展的对图像真实感和沉浸感的需求。基于图像的绘制主要研究如何采用已知视点图像来直接生成虚拟视点下的对应图像，其绘制过程避免了复杂的几何建模与计算工作，因此具有快速、简单、逼真的优点，已成为当前最为活跃的研究方向。由于基于深度图像的虚拟视点绘制技术(DIBR)将图像和三维深度信息进行了有效的结合，提高了对自然场景的绘制速度，且可以利用少量的参考视点图像，高质量地绘制任意位置的新视点图像，节省了数据存储空间和传输带宽，近年来受到广泛的关注。但绘制多个中间虚拟视点时，会降低相邻视点之间的视差，从而降低了3D显示的立体感。因此，深度感知增强在3D显示方面具有重要作用。

从立体的角度来说，人眼在观看立体图像时只能感知大于某个值的深度变化或色彩变化，我们称之为立体的恰可察觉差异。JND模型即是针对HVS的特征通过大量实验推导出来的。研究表明，此阈值依赖于图像的亮度、对比度以及局部区域的空间分辨率等。在立体显示领域，JND模型可分为双目失真恰可察觉差异(BJND,BinocularJustNoticeableDifference)模型和JNDD(JJND,JustNoticeableDepthDifference)模型。BJND表示左右视图中人眼可察觉的最小内部差异，如果某立体图像的左右视图之间的对应位置及其像素差异小于BJND，则人眼不能感知其差别。JNDD表示人眼可察觉的最小深度差异。如果深度图中相邻对象的深度差异小于JNDD，采用该深度图合成的立体图像，人体不能感知其深度差异。Jung等基于最小可察觉深度差异(JNDD)模型实现了深度感知增强，通过拉伸深度图中物体深度差异小于JNDD阈值的部分，以使得人眼能够察觉这部分信息。Jung提出了全局深度感知增强算法，通过对JNDD模型的研究，利用深度图的直方图估计和核密度估计(KDE)方法把深度图进行分割分层处理，层之间的深度差值小于JNDD阈值的对象，采用能量最小化模型进行增强。考虑到这种全局增强算法存在诸多不足，Jung等通过更为细致的分析，提出了一种改进的基于JNDD模型的深度感知增强算法。改进算法包含深度数据维持，深度顺序保持和深度层拉伸三个主要部分。深度数据维持项通过权重函数来控制深度改变的方向，使得与真实场景的差异为最小。深度顺序保持项限制深度图中物体之间深度值的反转，使得对象边界信息准确。深度层拉伸项通过增加相邻分割层之间深度差异来增强人眼的深度感知能力。

发明内容

为克服现有技术的不足，本发明旨在依据人眼视觉深度感知原理，提出面向虚拟多视点绘制的深度感知增强方法，通过对视差图进行调整，实现面向多虚拟视点绘制的深度感知增强方法，达到改善立体显示效果的目的。为此，本发明采取的技术方案是，一种面向虚拟多视点绘制的深度感知增强方法，包括如下步骤：

1)图像分割

采用手动分割方法：依据彩色图的对象分布，人工获得准确的分割图；

2)面向虚拟多视点绘制的恰可察觉深度差异模型

分析出最小可察觉阈值会随着绘制中间虚拟视点数量变化，推导出面向虚拟多视点绘制的恰可察觉深度差异模型MVR_JNDD；

3)面向虚拟多视点绘制的深度感知增强

依据上述推导出的基于虚拟多视点绘制的恰可察觉深度差异模型，将视差图相邻层之间小于MVR_JNDD的部分进行拉伸，达到MVR_JNDD阈值。依据基于恰可察觉深度差异的深度感知增强能量函数，保证由不同数量虚拟视点合成的立体图像的深度效果。

4)虚拟多视点绘制

利用上述深度感知增强后的视差图，采用基于深度图像的虚拟视点绘制方法进行虚拟视点绘制，以8视点自由立体显示为例绘制7个虚拟视点，分别是1/7到7/7视点，绘制的虚拟视点存在空洞，利用空洞填补算法进行图像修复；

5)自由立体显示

最终采用参考视点和上述生成的7个虚拟视点组成八个视点并运用立体合成算法生成适合自由立体显示器显示的合成图，并予以显示。

构建了面向虚拟多视点绘制的恰可察觉深度差异模型MVR_JNDD，表示如下：

${\mathrm{MVR}}_{JNDD}\left(p\right)=\frac{(N+1)}{\mathrm{\α}}\·D_{JNDD}\left(d\right)$

其中N表示绘制的中间虚拟视点的数量，α是一个比例因子表示深度和视差之间的对应关系，d表示深度像素值，p表示视差像素值；α的计算公式如下：

$\mathrm{\α}=\frac{255}{p_{max}-p_{\min }}$

其中p_max和p_min分别表示视差的最大值和最小值；

恰可察觉深度差异模型D_JNDD(d)表示如下：

$D_{JNDD}\left(d\right)=\left\{\begin{array}{ccc}21,& if& 0\≤d\≤64,\\ 19,& if& 64\≤d\≤128,\\ 18,& if& 128\≤d\≤192,\\ 20,& if& 192\≤d\≤255.\end{array}\right.$

建立了基于恰可察觉深度差异的深度感知增强能量函数，定义如下：

$\begin{array}{c}{E}_{MVR}(x,x^0)=w_1\underset{i=1}{\overset{M}{\Σ}}\underset{j\∈{\mathrm{\Ψ}}_i}{\Σ}\max {(0,{\mathrm{MVR}}_{JNDD}(x_i^0)-|x_i-x_j\left|\right)}^2\\ x^{*}=\underset{x}{\arg \min }E(x,x^0)\\ x^0=\left\{x_i^0\right|i=1,\mathrm{....}M\},x^{*}=\{x_i^{*}|i=1,\mathrm{...}M\}\end{array}$

其中w₁是权重参数，取值为100，根据图像大小进行调节；x⁰和x^*分别表示原始和拉伸后的视差图的平均像素值，M表示分割图的分割层数，也就是场景中物体的数量，x_i、x_j对应表示原始视差图中位于第i、j层的物体的平均像素值。

能量函数采用最优化算法求解。

能量函数采用遗传算法求解。

与已有技术相比，本发明的技术特点与效果：

发明通过调整用来合成多视点自由立体图像的视差图，增强相邻分隔层的深度差异，使得人眼能够感知到场景中物体之间的层次感，有效的增强了显示图像的深度感、改善了立体显示效果。

附图说明

图1给出了未采用本发明方法的原始视差图。

图2给出了采用本发明方法获得的增强后的视差图。

图3给出了原始视差图绘制虚拟视点的合成图。

图4给出了为采用本发明方法增强后视差图绘制虚拟视点的合成图。

图5给出了技术方案的流程图。

具体实施方式

本发明的目的是依据人眼视觉深度感知原理，提出面向虚拟多视点绘制的深度感知增强方法。基于深度的虚拟视点绘制技术是目前应用最为广泛的一项3D生成技术。但是绘制的相邻视点由于视差减小，从而会降低对象间的深度差异，导致立体显示的深度感减弱。本发明针对该问题通过对视差图进行调整，实现了面向多虚拟视点绘制的深度感知增强方法，达到了改善立体显示效果的目的。

基于深度图像的虚拟多视点绘制在进行自由立体显示时，由于相邻视点间视差会大幅度降低，导致观测的立体图像深度感变差。为增强人眼对3D图像或视频的深度感知能力，本发明依据人眼最小可察觉深度差异(JNDD)原理，实现了面向虚拟多视点绘制的深度感知增强，具体的技术方案分为下列步骤：

1：图像分割

为了准确的表现本发明的效果，采用手动分割方法。手动分割是依据彩色图的对象分布，人工获得准确的分割图。

2：面向虚拟多视点绘制的恰可察觉深度差异模型

本发明分析出最小可察觉阈值会随着绘制中间虚拟视点数量变化，推导了面向虚拟多视点绘制的恰可察觉深度差异模型MVR_JNDD，表示如下：

${\mathrm{MVR}}_{JNDD}\left(p\right)=\frac{(N+1)}{\mathrm{\α}}\·D_{JNDD}\left(d\right)$

其中N表示绘制的中间虚拟视点的数量，α是一个比例因子表示深度和视差之间的对应关系，d表示深度像素值，p表示视差像素值。α的计算公式如下：

$\mathrm{\α}=\frac{255}{p_{max}-p_{\min }}$

其中p_max和p_min分别表示视差的最大值和最小值。

恰可察觉深度差异模型D_JNDD(d)表示如下：

$D_{JNDD}\left(d\right)=\left\{\begin{array}{ccc}21,& if& 0\≤d\≤64,\\ 19,& if& 64\≤d\≤128,\\ 18,& if& 128\≤d\≤192,\\ 20,& if& 192\≤d\≤255.\end{array}\right.$

3：面向虚拟多视点绘制的深度感知增强

依据上述推导出的基于虚拟多视点绘制的恰可察觉深度差异模型，将视差图相邻层之间小于MVR_JNDD的部分进行拉伸，达到MVR_JNDD阈值，从而保证了由不同数量的虚拟视点合成的立体图像的深度效果。基于恰可察觉深度差异的深度感知增强能量函数定义如下：

$E_{MVR}(x,x^0)=w_1\underset{i=1}{\overset{M}{\Σ}}\underset{j\∈{\mathrm{\Ψ}}_1}{\Σ}max{(0,{\mathrm{MVR}}_{JNDD}(x_i^0)-|x_i-x_j\left|\right)}^2$

其中w₁是权重参数，取值为100，可以根据图像大小进行调节。x⁰和x^*分别表示原始和拉伸后的视差图的平均像素值。M表示分割图的分割层数，也就是场景中物体的数量，x_i、x_j对应表示原始视差图中位于第i、j层的物体的平均像素值。

4：虚拟多视点绘制

利用上述深度感知增强后的视差图，采用DIBR技术进行虚拟视点绘制，以8视点自由立体显示为例绘制7个虚拟视点，分别是1/7到7/7视点。绘制的虚拟视点存在空洞，利用空洞填补算法进行图像修复。

5：自由立体显示

最终采用参考视点和上述生成的7个虚拟视点组成八个视点并运用立体合成算法生成适合自由立体显示器显示的合成图，并在多视点光栅自由立体显示器上显示。

下面通过8视点自由立体显示说明本专利提出的面向虚拟多视点绘制的深度感知增强方法的实施过程。本专利以Middlebury数据库为例，采用该数据库提供的彩色图及其对应的视差图进行方法实施说明。

1：图像分割

为了准确的表现本发明的效果，采用手动分割方法。手动分割是依据彩色图的对象分布，获得准确的分割图。每个分割对象对应一层。本发明用分割对象的视差平均值表示对应分割层的像素值。

2：面向虚拟多视点绘制的恰可察觉深度差异模型

下面详细叙述面向虚拟多视点绘制的恰可察觉差异模型的推到过程。

中间虚拟视点的像素和参考视图的关系如下式：

$p^{Li}=X_L-X_i=c\·p^{LR}=\frac{i\·p^{LR}}{N+1}=\frac{i\·Bf}{(N+1)Z}$

其中N表示绘制的中间虚拟视点的数量，X_L,X_i分别表示参考视点以及绘制的中间虚拟视点的水平坐标，B是基线，f是焦距，p^Li为第i个中间虚拟视点图的视差。P^LR是参考视图的视差图。c是局部参数，代表中间视图所处的相关位置与参考视图间的归一化距离。绘制虚拟视点的像素I_i可以表示如下：

I_i(X_i，Y)＝I_i(X_L-c·p^LP，Y)＝I_L(X_L，Y)

其中I_L表示参考视图的像素值。

$d=round(255\·(\frac{1}{z}-\frac{1}{z_{max}})/(\frac{1}{z_{min}}-\frac{1}{z_{max}}\left)\right)$

其中zmax和zmin分别表示真实场景中的深度的最大值和最小值。

依据上述公式，z可以表示为cBf/p，同理z_min和z_max可以分别表示为cBf/p_max和cBf/p_min，这样深度d和视差p之间的关系如下：

$\begin{array}{c}d\≅255\·(\frac{p}{c\·B\·f}-\frac{p_{\min }}{c\·B\·f})/(\frac{p_{\max }}{c\·B\·f}-\frac{p_{\min }}{c\·B\·f})\\ =\frac{255}{p_{\max }-p_{\min }}\·p-\frac{255\·p_{\min }}{p_{\max }-p_{\min }}\\ =\mathrm{\α}\·p+\mathrm{\β}\end{array}$

其中p_max和p_min分别表示视差图中视差的最大值和最小值。

从上述公式可以看出，由于β是一个常数，所以深度差值近似于视差差值的α倍。最小可察觉阈值需要随着绘制中间虚拟视点数量的增加而加大。最终本发明推导了面向虚拟多视点绘制的恰可察觉深度差异模型MVR_JNDD，表示如下：

${\mathrm{MVR}}_{JNDD}\left(p\right)=\frac{(N+1)}{\mathrm{\α}}\·D_{JNDD}\left(d\right)$

JNDD模型和深度层级之间的关系表示为分段线性函数。恰可察觉深度差异模型D_JNDD(d)如下：

$D_{JNDD}\left(d\right)=\left\{\begin{array}{ccc}21,& if& 0\≤d\≤64,\\ 19,& if& 64\≤d\≤128,\\ 18,& if& 128\≤d\≤192,\\ 20,& if& 192\≤d\≤255.\end{array}\right.$

3：面向虚拟多视点绘制的深度感知增强

面向虚拟多视点绘制的深度感知增强的能量函数包含深度数据维持项，深度顺序保持项和MVR项，能量函数如下：

E(x,x⁰)＝E_D(x,x⁰)+E_O(x,x⁰)+E_MVR(x,x⁰)

其中 $x^0=\left\{x_i^0\right|i=1,....M\},x^{*}=\{x_i^{*}|i=1,...M\}$

x⁰和x^*分别表示原始和感知增强后的视差图的平均像素值。M表示分割图的分割层数，也就是场景中物体的数量，xi表示原始视差图中位于第i层的物体的视差像素平均值。依据平均值的大小，x_i以递增顺序排列，即x_i>＝x_i-1。

深度数据维持项用ED表示，该项限制视差值的变化范围，使得相邻层的差值达到MVR_JNDD阈值为最佳。定义如下：

$E_D(x,x^0)=\underset{i=1}{\overset{M}{\Σ}}w(x_i,x_i^0)\·{(x_i-x_i^0)}^2$

其中 $w(x_i,x_i^0)=\exp \left(\mathrm{\γ}\right(h\left(x_i\right)-h\left(x_0\right)\left)\right)$

$h\left(x_i\right)=\frac{1}{128}|x_i-128|$

γ是常量参数。权重w表示如果物体新的视差值位置较之前视差值位置更靠近零视差区域，那么h(x_i)-h(x₀)<0，反之亦然。因此依据h(x_i)-h(x₀)的值来调整w，能够避免因过度拉伸导致物体偏离视觉舒适区域。

深度顺序维持项是为保证分割层对应物体的深度顺序不改变。影响深度顺序的有两个因素。首先，需保持场景中物体的深度顺序不改变。其次，保持相邻物体之间边缘顺序不改变。基于以上两个因素深度顺序维持项，定义如下：

$E_O(x,x^0)=\left\{\begin{array}{cc}\mathrm{\&infin;},{\mathrm{ifx}}_i>x_{i+1}& \&ForAll;i\\ {\mathrm{\&lambda;}}_1^l\underset{i=1}{\overset{N}{\&Sigma;}}\underset{j\&Element;{\mathrm{\&Omega;}}_i}{\mathrm{\&Sigma;}}\underset{k_1\&Element;{\mathrm{\&psi;}}_{ij},k_2\&Element;{\mathrm{\&psi;}}_{ji}}{\mathrm{\&Sigma;}}l(k_1,k_2)\&CenterDot;\stackrel{\&OverBar;}{u}\left(p_{ij}^1\right(k_1,k_2\left)\right)\&CenterDot;p_{ij}^2(k_1,k_2),& otherwise\end{array}\right.$

其中是权重参数，ψ_ij表示位于第i分割层物体边缘像素，Ω_i表示与第i分割层相邻的分割层的代数重数。l(k₁,k₂)是指示函数，k₁,k₂分别表示属于第i层物体和第j层物体的坐标，如果k₁,k₂位于物体边缘处，则l(k₁,k₂)＝1，其它区域l(k₁,k₂)＝0。定义如下：

$p_{ij}^1(k_1,k_2)=\left(p_i\right(k_1)-p_i(k_2\left)\right)\left(p_i^0\right(k_1)-p_j^0(k_2\left)\right)$

这样通过观察的符号可以观察局部深度顺序改变情况。在局部深度顺序反转的区域，即用来计算边缘深度顺序改变的程度定义如下：

$p_{ij}^2(k_1,k_2)={\left(\right(p_i\left(k_1\right)-p_i\left(k_2\right))-(p_i^0\left(k_1\right)-p_j^0\left(k_2\right)\left)\right)}^2$

反向阶跃函数能够使在深度顺序没有发生改变时的值为0，阶跃函数定义如下：

$\stackrel{\&OverBar;}{u}\left(d_{ij}^2\right)=\left\{\begin{array}{cc}1& {\mathrm{ifd}}_{ij}^1<0\\ 0& otherwise\end{array}\right.$

通过局部的和全局的深度顺序保持项，在进行深度感知增强时，则能够保持真实场景中几何物体的相对位置关系。

MVR项是用来将视差图相邻层之间小于MVR_JNDD的部分进行拉伸，达到MVR_JNDD阈值，从而保证了由不同数量的虚拟视点合成的立体图像的深度效果。MVR项定义如下：

$E_{MVR}(x,x^0)=w_1\underset{i=1}{\overset{M}{\&Sigma;}}\underset{j\&Element;{\mathrm{\&Psi;}}_1}{\&Sigma;}max{(0,{\mathrm{MVR}}_{JNDD}(x_i^0)-|x_i-x_j\left|\right)}^2$

其中w₁是权重参数，取值为100，可以根据图片大小进行调节。

能量函数可以用最优化算法求解，本发明中采用遗传算法求解。

4：虚拟多视点绘制

利用上述深度感知增强后的视差图，采用DIBR技术进行虚拟视点绘制，以8视点自由立体显示为例绘制7个虚拟视点，分别是1/7到7/7视点。绘制的虚拟视点存在空洞，利用空洞填补算法进行图像修复。

5：自由立体显示

最终采用参考视点和上述生成的7个虚拟视点组成八个视点并运用立体合成算法生成适合自由立体显示器显示的合成图，并在多视点光栅自由立体显示器上显示。

下面结合附图说明实验效果：

为使本发明的效果具有可比性，我们采用Middlebury立体图像库中Middl1为例进行说明。

图1为未采用本发明方法的原始视差图。

图2为采用本发明方法获得的增强后的视差图，从灰度颜色的深浅可以看出，采用本方法得到的视差图灰度对比明显加大，视差图的像素值就是反映的立体显示屏上立体图像的凹凸感的强烈程度。

图3为原始视差图绘制虚拟视点的合成图。

图4为采用本发明方法增强后的视差图绘制虚拟视点的合成图，在合成图中靠近前面的物体越模糊表示越凸出屏面，靠近背景的地方越清晰表示越凹进屏幕。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种面向虚拟多视点绘制的深度感知增强方法，其特征是，包括如下步骤，

1)图像分割

采用手动分割方法：依据彩色图的对象分布，人工获得准确的分割图；

2)面向虚拟多视点绘制的恰可察觉深度差异模型

分析出最小可察觉阈值会随着绘制中间虚拟视点数量变化，推导出面向虚拟多视点绘制的恰可察觉深度差异模型MVR_JNDD；

3)面向虚拟多视点绘制的深度感知增强

依据上述推导出的基于虚拟多视点绘制的恰可察觉深度差异模型，将视差图相邻层之间小于MVR_JNDD的部分进行拉伸，达到MVR_JNDD阈值，依据基于恰可察觉深度差异的深度感知增强能量函数，保证由不同数量虚拟视点合成的立体图像的深度效果；

4)虚拟多视点绘制

利用上述深度感知增强后的视差图，采用基于深度图像的虚拟视点绘制方法进行虚拟视点绘制，以8视点自由立体显示为例绘制7个虚拟视点，分别是1/7到7/7视点，绘制的虚拟视点存在空洞，利用空洞填补算法进行图像修复；

5)自由立体显示

最终采用参考视点和上述生成的7个虚拟视点组成八个视点并运用立体合成算法生成适合自由立体显示器显示的合成图，并予以显示。

2.如权利要求1所述的一种面向虚拟多视点绘制的深度感知增强方法，其特征是，构建了面向虚拟多视点绘制的恰可察觉深度差异模型MVR_JNDD，表示如下：

${\mathrm{MVR}}_{JNDD}\left(p\right)=\frac{(N+1)}{\mathrm{\&alpha;}}\&CenterDot;D_{JNDD}\left(d\right)$

其中N表示绘制的中间虚拟视点的数量，α是一个比例因子表示深度和视差之间的对应关系，d表示深度像素值，p表示视差像素值；α的计算公式如下：

$\mathrm{\&alpha;}=\frac{255}{p_{max}-p_{min}}$

其中p_max和p_min分别表示视差的最大值和最小值；

恰可察觉深度差异模型D_JNDD(d)表示如下：

$D_{JNDD}\left(d\right)=\left\{\begin{array}{ccc}21,& if& 0\&le;d\&le;64,\\ 19,& if& 64\&le;d\&le;128,\\ 18,& if& 128\&le;d\&le;192,\\ 20,& if& 192\&le;d\&le;255.\end{array}\right..$

3.如权利要求1所述的一种面向虚拟多视点绘制的深度感知增强方法，其特征是，建立了基于恰可察觉深度差异的深度感知增强能量函数，定义如下：

$E_{MVR}(x,x^0)=w_1\underset{i=1}{\overset{M}{\&Sigma;}}\underset{j\&Element;{\mathrm{\&Psi;}}_1}{\&Sigma;}max{(0,{\mathrm{MVR}}_{JNDD}(x_i^0)-|x_i-x_j\left|\right)}^2$

$x^{*}=\underset{x}{\arg \min }E(x,x^0)$

$x^0=\left\{x_i^0\right|i=1,\mathrm{....}M\},x^{*}=\{x_i^{*}|i=1,\mathrm{...}M\}$

其中w₁是权重参数，取值为100，根据图像大小进行调节；x⁰和x^*分别表示原始和拉伸后的视差图的平均像素值，M表示分割图的分割层数，也就是场景中物体的数量，x_i、x_j对应表示原始视差图中位于第i、j层的物体的平均像素值。

4.如权利要求1所述的一种面向虚拟多视点绘制的深度感知增强方法，其特征是，能量函数采用最优化算法求解。

5.如权利要求1所述的一种面向虚拟多视点绘制的深度感知增强方法，其特征是，能量函数采用遗传算法求解。