CN106231290A - 基于深度模板的3d树木图像构建方法 - Google Patents

Abstract

基于深度模板的3D树木图像构建方法，主要步骤如下：1、基于模板的树木深度信息构建；2、基于单幅2D树木图像的立体图像构建；3、红蓝立体图像的合成与制作。本发明在利用虚拟应用场景特征的基础上，通过模板库构建和模板匹配的方式，为2D树木图像构建立体信息，将单幅2D树木图像转化成3D树木立体图像并实现树木与应用场景的合成。该方法是基于特定对象的3D立体图像构建的一种具体化方案，在保证较好立体视觉效果的基础上大大减少3D立体素材获取和制作的成本，增加立体树木图像构建的灵活程度，从而提高立体树木在森林、城市规划和园林绿化等应用领域的制作效率。

Description

基于深度模板的3D树木图像构建方法

技术领域

本发明属于信息技术领域，涉及一种树木图像的构建方法。

背景技术

随着3D技术的发展及其在日常生活中的普及，人们对于3D图像、视频的视觉体验要求也越来越高，以影视行业为例，制作精良、视觉效果突出的3D影视与传统2D影视相比，前者具有很好的感官体验，因而有越来越多的消费者青睐于3D电影、3D电视等媒体。一幅3D立体图像是由赋予适当视差的左眼视图和右眼视图两幅图像组成的，当两者分别映入观察者双眼时，可以在双目立体视觉的作用下产生立体视觉感受。通常，3D图像资源的获取主要有两种方式，一类是依赖于3D摄影机、3D立体照相机等立体设备进行图像采集，此类方式的3D图像制作周期较长，人力物力等方面的成本较高，并且一旦对场景有所调整往往需要重新拍摄；另一类方式是利用现有的普通2D图像，在2D图像上加之立体信息，由此构建出图像对的视差，从而获得新的3D立体图像，这类方法操作简单，适用于大多数简单图像，但对过于复杂的图像场景的制作而言难度也相应增加。

3D树木图像是指承载树木图形的立体图像，可以应用在特定虚拟场景的构建中，如三维场景布置、虚拟森林模型的构建、城市规划和绿化设计等方面。考虑到树木对象在场景中的重现频次较高，并且具有特殊的结构特点，本发明专利通过在普通树木图像中增加树木深度信息的方式，将单幅2D树木图像转化并制作成为3D树木图像。该发明专利不但可以提高图像素材的利用效率，还可以增加树木场景设计的灵活性和便捷性，从而降低3D场景的制作成本和周期。

在立体视觉系统中，场景中各点相对于观察点的距离可以用深度(Depth)来表示，深度信息的构建也是赋予2D图像立体信息的主要方式。对于单幅2D图像而言，只能寻求图像本身具有的规律和特征，因此在单幅2D图像的基础上构建立体信息有着极大挑战。与其他对象不同，树木的形态结构复杂多变，树木深度信息的变化和过渡应当更为自然。对立体信息的层次感要求也更高，现有较为通用的深度信息构建方法往往在这些方面有所欠缺，难以满足不同树木类型的具体需求。而立体信息构建的合理程度将对所构建的立体树木图像的质量产生决定性的影响，不恰当的深度信息常常会影响整体的视差效果和一致性，从而引起视觉不适。

发明内容

本发明要克服现有技术的上述缺点，提供一种基于单幅树木图像的3D树木图像构建方法，能够利用树木深度模板，根据树木个体的类型特征为树木构建深度信息，并将树木对象与新的立体背景进行合成，从而减少立体树木图像构建的成本，增强立体树木图像编辑的灵活性。

本发明的基于深度模板的3D树木图像构建方法的主要步骤如下：

1.基于模板的树木深度信息构建

2D图像的深度信息构建的层次性和合理性将直接影响到立体图像的视差，从而影响立体图像的观看效果。

为了在2D树木图像的基础上构建恰当的立体信息，在遵照树木基本结构和像素离散特性的基础上首先对2D彩色图像中的目标树木对象进行树木结构分类，并在树木结构分离的基础上根据亮度、轮廓信息对树冠部分实施再分割。根据目标树木与树木形态模板的匹配结果，利用对应类型的深度模板为树木的各个结构区块赋予适当的深度模拟信息，从而完成深度信息的初始化，即获得载有各个像素点对应深度值的树木深度图，以此作为树木的初始立体信息。不同种类的树木往往具有不同形态的外形结构，因此不仅需要对树木结构进行分析和分类，并且考虑不同树木形态类型情况下的深度模板的构建和选取，从而使2D树木图像对应的深度变化情况更加符合树木个体的实际特征。具体步骤如下所示：

(11)对单幅2D彩色树木图像进行基于Lab颜色模型的树木结构提取，分离出树冠部分和树干部分：

(11-1)将目标彩色树木图像的颜色空间从RGB模型转化至Lab模型；

(11-2)对Lab模型下的目标图像的各像素作K-Means聚类；

(11-3)对聚类后的像素图像实行形态学方法的去噪，并确定树干所在的聚类和树冠所在的聚类；

(11-4)根据树木原始形态分离出树木对象的树干部分和树冠部分，完成树木基本结构的提取；

(12)根据目标树木图像的树冠形态，依次计算目标树木与球形、锥形、圆柱形和宽展开型这四种典型树木类型的相似度，将目标树木归于相似度最高的树木类型，从而获得目标树木的类型。若目标树木与四种典型树木类型均不匹配，则判定该树木为非典型树木；

(13)进行(12)的同时，对树冠部分进行基于多尺度图谱的树冠再分割，根据树冠边缘信息和局部像素特征将树冠划分成多个较为均匀的区块；

(14)根据树木类型信息和树木区域分割的信息对目标树木进行基于深度模板的树木深度图初始化：

(14-1)建立深度梯度假设图，用不同变化方向的渐变深度来模拟深度变化情况，

(14-2)构建典型树木的深度模板。利用深度梯度假设图，分别根据四种典型类型树木水平或垂直方向的深度变化情况选择深度梯度图进行组合，从而获得四种树木类型的深度模板；

(14-3)通过步骤(14-2)通过相似度计算所得目标树木类型匹配的结果，若为典型树木，则启用典型树木对应的深度模板；若为非典型树木，则根据树木个体的形态特征选择恰当的深度假设图进行叠加、重组，从而为其构建个性化深度模板。

(14-4)深度模板的应用

根据树冠再分割情况，对于树冠图像中的任意区域R，计算与其对应的深度梯模板中的区域深度平均深度D(R)，将其作为目标树木图像的树冠区域的初始化深度。

$D\left(R\right)=\frac{1}{\left|R\right|}\underset{(x,y)\∈R^{\′}}{\Σ}D(x,y)---\left(1\right)$

其中，x，y指图像中某像素点的横坐标和纵坐标，R为树木对象结构分析和区域分割后的任一分割区域，R’是该对应深度模板中的相同区域，|R|指区域R中的像素个数，D(x,y)指区域R内的某一像素点的深度值。由此完成目标树木各个区块的深度值计算，生成初始深度图像。

(14-5)利用双边滤波器对目标树木的初始深度图进行平滑去噪处理。

2、基于单幅2D树木图像的立体图像构建

基于单幅2D树木图像的立体图像构建时，为了使树木个体的深度信息与应用场景一致，首先对虚拟立体场景进行深度估计，根据树木在场景中的目标融合位置对树木的初始立体信息实施深度自适应调整；然后在调整后的树木深度图基础上，将原2D树木图像作为左眼视图，依照3D立体图像对的一般制作方法在深度图的基础上进行视差计算、视差调整和视差平移而得到右眼视图。

基于单幅2D树木图像的立体图像构建主要流程如下所示：

(21)确定目标树木即将合成的背景立体图像，及其在背景图像中的目标位置R。

(22)本方法采用基于非参数的特征平滑模型的背景立体图像深度估计方法计算得到背景立体图像的深度图。

(23)基于背景深度信息进行树木深度信息的自适应调整。

(23-1)计算树木的融合点深度值。

树木需融合在背景图像位置的A处，(i,j)是该点的坐标，目标树木初始化时的主干深度值为D_o，当选定目标合成位置时，树木底端融合处的深度值Depth(i,j)应与背景图像对应位置深度值保持一致。为了避免背景图像深度图中的噪声影响，我们选取背景深度图中以A为中心的小面积邻域Nr内的平均深度值，S_Nr就是该区域的面积，并把该深度值作为主干所处的深度D_t：

$D_t=\frac{{\mathrm{\Σ}}_{(i,j)\∈N_r}Depth(i,j)}{S_{N_r}}---\left(2\right)$

(23-2)树木深度值的自适应调整

目标树木主干底部深度变化值为D_o-D_t。随着主干深度信息的改变，树木各像素点的相对深度保持不变，树木的其他像素点深度信息也应随之改动。若背景图像对最大深度和最小深度分别为D_max和D_min，D₁(p)是树木图像中像素点p对应的树木初始化深度值，D₂(p)是像素点p自适应调整后的深度值，那么，(D_o-D_t)/(D_max-D_min)即是主干部分的深度值变化率，树木深度依照深度值变化率进行等比率的深度自适应调整，如下式所示：

$D_2\left(p\right)=D_1\left(p\right)\×(1+\frac{D_0-D_t}{D_{max}-D_{\min }})---\left(3\right)$

由此完成树木图像在背景制定位置的深度自适应调整，得到与背景深度信息相一致的深度图像。

(24)对于单幅2D树木图像及其经自适应调整后的树木深度图，按照以下步骤获得树木立体图像对：

(24-1)计算零视差面Z_c，计算方法为：其中Z_near和Z_far分别为最近限幅平面和最远限幅平面，在8位的深度图中，Z_near＝255；Z_far＝0。

(24-2)计算视差d_p，计算方法为：其中z_p是深度，e代表人两眼之间的距离，约为6.5cm，D是人眼观测距离，和分别是左右眼所观察到的目标对象点在立体成像模型上的位置。

(24-3)树木图像的最大视差为M_max(m)，m为长度单位米，立体图像显示器的水平像素分辨率为Screen_w(pixel)，Pixel表示像素的个数，显示器的水平宽度为Screen_w(m)，计算像素级别的最大视差M_max(pixel)：

$M_{max}\left(pixel\right)=\frac{{\mathrm{Screen}}_w\left(pixel\right)}{{\mathrm{Screen}}_w\left(m\right)}\×M_{max}\left(m\right)---\left(4\right)$

(24-4)以原2D树木图像作为左眼视图，对各个像素点p进行相应视差d_p平移得到右视图，左眼视图和右眼视图作为一组立体树木的图像对。

3、红蓝立体图像的合成与制作

利用树木深度信息和立体背景场景的深度信息对比，实现基于遮挡关系的立体图像合成，使得树木与目标背景场景间产生层次关系和近远景的遮挡关系，在此基础上生成红蓝立体图像，用于3D立体场景的显示。

(31)深度融合

与二维图像融合的不同之处在于，由于场景中的不同物体所处的深度位置不一，因而需要考虑景物的遮挡关系：即较近的物体遮挡较远的景物。

基于遮挡关系进行深度融合计算，得到深度融合后的深度图P(x,y)：

$P(x,y)=\left\{\begin{array}{c}Fg(x,y),D_{fg}(x,y)\&GreaterEqual;D_{bg}(x,y)\\ Bg(x,y),D_{fg}(x,y)<D_{bg}(x,y)\end{array}\right.---\left(5\right)$

其中，x,y表示图像中任意一点的横纵坐标，D_fg(x,y)是树木图像的中任意像素点对应的深度值，D_bg(x,y)是背景立体图像的深度图中任意像素点所对应的任意深度值。Fg(x,y)是树木图像中的任意像素点，Bg(x,y)是背景立体图像中的任意位置像素值。

(32)根据深度融合的情况对树木立体图像对和背景立体图像对进行图像合成时，采用立体图像对的其中一幅视图的G通道和B通道的值，采用另一幅中的R通道的值，将这三个通道的值进行叠加，得到红蓝立体图像效果。

基于深度模板的立体树木图像构建方法是在虚拟应用场景特征的基础上，通过模板库构建和模板匹配的方式，为2D树木图像构建恰当的立体信息，将单幅2D树木图像转化成3D树木立体图像并实现树木与应用场景的合成。该方法是基于特定对象的3D立体图像构建的一种具体化方案，在保证较好立体视觉效果的基础上大大减少3D立体素材获取和制作的成本，增加立体树木图像构建的灵活程度，从而提高立体树木在森林、城市规划和园林绿化等应用领域的制作效率。

本发明的优点：

(1)本方法分利用树木的结构特点，结合深度梯度假设思想，基于树木深度模板进行2D树木对象的深度构建，与现有的深度信息构建方法相比，不仅适用于外形典型的树木对象，且对外形不规则的非典型树木对象也能进行个性化的深度信息构建，使得深度信息更加丰富。

(2)本方法对树木深度进行自适应调整时，可以根据树木在立体背景图像中位置的变化情况对树木深度信息进行调整与优化，提高了深度构建和立体图像构建的灵活性，并通过深度信息的计算和对比处理来体现树木对象与场景中其他对象的位置关系，提高了场景的真实感。

附图说明

图1是本发明的方法流程图。

图2是本发明的深度梯度假设图。

图3是典型树木的深度模型。

具体实施方式

基于深度模板的3D树木图像构建方法的主要步骤如图1所示。

1、基于模板的树木深度信息构建

2D图像的深度信息构建的层次性和合理性将直接影响到立体图像的视差，从而影响立体图像的观看效果。

为了在2D树木图像的基础上构建恰当的立体信息，在遵照树木基本结构和像素离散特性的基础上首先对2D彩色图像中的目标树木对象进行树木结构分类，并在树木结构分离的基础上根据亮度、轮廓信息对树冠部分实施再分割。根据目标树木与树木形态模板的匹配结果，利用对应类型的深度模板为树木的各个结构区块赋予适当的深度模拟信息，从而完成深度信息的初始化，即获得载有各个像素点对应深度值的树木深度图，以此作为树木的初始立体信息。不同种类的树木往往具有不同形态的外形结构，因此不仅需要对树木结构进行分析和分类，并且考虑不同树木形态类型情况下的深度模板的构建和选取，从而使2D树木图像对应的深度变化情况更加符合树木个体的实际特征。具体步骤如下所示：

(11)对单幅2D彩色树木图像进行基于Lab颜色模型的树木结构提取，分离出树冠部分和树干部分：

(11-1)将目标彩色树木图像的颜色空间从RGB模型转化至Lab模型；

(11-2)对Lab模型下的目标图像的各像素作K-Means聚类；

(11-3)对聚类后的像素图像实行形态学方法的去噪，并确定树干所在的聚类和树冠所在的聚类；

(11-4)根据树木原始形态分离出树木对象的树干部分和树冠部分，完成树木基本结构的提取。

(12)根据目标树木图像的树冠形态，依次计算目标树木与球形、锥形、圆柱形和宽展开型这四种典型树木类型的相似度，将目标树木归于相似度最高的树木类型，从而获得目标树木的类型。若目标树木与四种典型树木类型均不匹配，则判定该树木为非典型树木；

(13)进行(12)的同时，对树冠部分进行基于多尺度图谱的树冠再分割，根据树冠边缘信息和局部像素特征将树冠划分成多个较为均匀的区块；

(14)根据树木类型信息和树木区域分割的信息对目标树木进行基于深度模板的树木深度图初始化：

(14-1)建立深度梯度假设图，用不同变化方向的渐变深度来模拟深度变化情况，本方法构建了如图2所示的八个深度梯度假设图：

(14-2)构建典型树木的深度模板。利用深度梯度假设图，分别根据四种典型类型树木水平或垂直方向的深度变化情况选择深度梯度图进行组合，从而获得四种树木类型的深度模板，如图3所示。

(14-3)通过步骤(14-2)通过相似度计算所得目标树木类型匹配的结果，若为典型树木，则启用典型树木对应的深度模板；若为非典型树木，则根据树木个体的形态特征选择恰当的深度假设图进行叠加、重组，从而为其构建个性化深度模板。

(14-4)深度模板的应用

根据树冠再分割情况，对于树冠图像中的任意区域R，计算与其对应的深度梯模板中的区域深度平均深度D(R)，将其作为目标树木图像的树冠区域的初始化深度。

$D\left(R\right)=\frac{1}{\left|R\right|}\underset{(x,y)\&Element;R^{\&prime;}}{\&Sigma;}D(x,y)---\left(1\right)$

其中，x，y指图像中某像素点的横坐标和纵坐标，R为树木对象结构分析和区域分割后的任一分割区域，R’是该对应深度模板中的相同区域，|R|指区域R中的像素个数，D(x,y)指区域R内的某一像素点的深度值。由此完成目标树木各个区块的深度值计算，生成初始深度图像。

(14-5)利用双边滤波器对目标树木的初始深度图进行平滑去噪处理。

2、基于单幅2D树木图像的立体图像构建

基于单幅2D树木图像的立体图像构建时，为了使树木个体的深度信息与应用场景一致，首先对虚拟立体场景进行深度估计，根据树木在场景中的目标融合位置对树木的初始立体信息实施深度自适应调整；然后在调整后的树木深度图基础上，将原2D树木图像作为左眼视图，依照3D立体图像对的一般制作方法在深度图的基础上进行视差计算、视差调整和视差平移而得到右眼视图。

基于单幅2D树木图像的立体图像构建主要流程如下所示：

(21)确定目标树木即将合成的背景立体图像，及其在背景图像中的目标位置R。

(22)本方法采用基于非参数的特征平滑模型的背景立体图像深度估计方法计算得到背景立体图像的深度图。

(23)基于背景深度信息进行树木深度信息的自适应调整。

(23-1)计算树木的融合点深度值。

树木需融合在背景图像位置的A处，(i,j)是该点的坐标，目标树木初始化时的主干深度值为D_o，当选定目标合成位置时，树木底端融合处的深度值Depth(i,j)应与背景图像对应位置深度值保持一致。为了避免背景图像深度图中的噪声影响，我们选取背景深度图中以A为中心的小面积邻域Nr内的平均深度值，S_Nr就是该区域的面积，并把该深度值作为主干所处的深度D_t：

$D_t=\frac{{\mathrm{\&Sigma;}}_{(i,j)\&Element;N_r}Depth(i,j)}{S_{N_r}}---\left(2\right)$

(23-2)树木深度值的自适应调整

目标树木主干底部深度变化值为D_o-D_t。随着主干深度信息的改变，树木各像素点的相对深度保持不变，树木的其他像素点深度信息也应随之改动。若背景图像对最大深度和最小深度分别为D_max和D_min，D₁(p)是树木图像中像素点p对应的树木初始化深度值，D₂(p)是像素点p自适应调整后的深度值，那么，(D_o-D_t)/(D_max-D_min)即是主干部分的深度值变化率，树木深度依照深度值变化率进行等比率的深度自适应调整，如下式所示：

$D_2\left(p\right)=D_1\left(p\right)\&times;(1+\frac{D_0-D_t}{D_{max}-D_{\min }})---\left(3\right)$

由此完成树木图像在背景制定位置的深度自适应调整，得到与背景深度信息相一致的深度图像。

(24)对于单幅2D树木图像及其经自适应调整后的树木深度图，按照以下步骤获得树木立体图像对：

(24-1)计算零视差面Z_c，计算方法为：其中Z_near和Z_far分别为最近限幅平面和最远限幅平面，在8位的深度图中，Z_near＝255；Z_far＝0。

(24-2)计算视差d_p，计算方法为：其中z_p是深度，e代表人两眼之间的距离，约为6.5cm，D是人眼观测距离，和分别是左右眼所观察到的目标对象点在立体成像模型上的位置。

(24-3)树木图像的最大视差为M_max(m)，m为长度单位米，立体图像显示器的水平像素分辨率为Screen_w(pixel)，Pixel表示像素的个数，显示器的水平宽度为Screen_w(m)，计算像素级别的最大视差M_max(pixel)：

$M_{max}\left(pixel\right)=\frac{{\mathrm{Screen}}_w\left(pixel\right)}{{\mathrm{Screen}}_w\left(m\right)}\&times;M_{max}\left(m\right)---\left(4\right)$

(24-4)以原2D树木图像作为左眼视图，对各个像素点p进行相应视差d_p平移得到右视图，左眼视图和右眼视图作为一组立体树木的图像对。

3、红蓝立体图像的合成与制作

利用树木深度信息和立体背景场景的深度信息对比，实现基于遮挡关系的立体图像合成，使得树木与目标背景场景间产生层次关系和近远景的遮挡关系，在此基础上生成红蓝立体图像，用于3D立体场景的显示。

(31)深度融合

与二维图像融合的不同之处在于，由于场景中的不同物体所处的深度位置不一，因而需要考虑景物的遮挡关系：即较近的物体遮挡较远的景物。

基于遮挡关系进行深度融合计算，得到深度融合后的深度图P(x,y)：

$P(x,y)=\left\{\begin{array}{c}Fg(x,y),D_{fg}(x,y)\&GreaterEqual;D_{bg}(x,y)\\ Bg(x,y),D_{fg}(x,y)<D_{bg}(x,y)\end{array}\right.---\left(5\right)$

其中，x,y表示图像中任意一点的横纵坐标，D_fg(x,y)是树木图像的中任意像素点对应的深度值，D_bg(x,y)是背景立体图像的深度图中任意像素点所对应的任意深度值。Fg(x,y)是树木图像中的任意像素点，Bg(x,y)是背景立体图像中的任意位置像素值。

(32)根据深度融合的情况对树木立体图像对和背景立体图像对进行图像合成时，采用立体图像对的其中一幅视图的G通道和B通道的值，采用另一幅中的R通道的值，将这三个通道的值进行叠加，得到红蓝立体图像效果。

Claims (1)

1.基于深度模板的3D树木图像构建方法，主要步骤如下：

1、基于模板的树木深度信息构建；

2D图像的深度信息构建的层次性和合理性将直接影响到立体图像的视差，从而影响立体图像的观看效果；

为了在2D树木图像的基础上构建恰当的立体信息，在遵照树木基本结构和像素离散特性的基础上首先对2D彩色图像中的目标树木对象进行树木结构分类，并在树木结构分离的基础上根据亮度、轮廓信息对树冠部分实施再分割；根据目标树木与树木形态模板的匹配结果，利用对应类型的深度模板为树木的各个结构区块赋予适当的深度模拟信息，从而完成深度信息的初始化，即获得载有各个像素点对应深度值的树木深度图，以此作为树木的初始立体信息；不同种类的树木往往具有不同形态的外形结构，因此不仅需要对树木结构进行分析和分类，并且考虑不同树木形态类型情况下的深度模板的构建和选取，从而使2D树木图像对应的深度变化情况更加符合树木个体的实际特征；具体步骤如下所示：

(11)对单幅2D彩色树木图像进行基于Lab颜色模型的树木结构提取，分离出树冠部分和树干部分：

(11-1)将目标彩色树木图像的颜色空间从RGB模型转化至Lab模型；

(11-2)对Lab模型下的目标图像的各像素作K-Means聚类；

(11-3)对聚类后的像素图像实行形态学方法的去噪，并确定树干所在的聚类和树冠所在的聚类；

(11-4)根据树木原始形态分离出树木对象的树干部分和树冠部分，完成树木基本结构的提取；

(12)根据目标树木图像的树冠形态，依次计算目标树木与球形、锥形、圆柱形和宽展开型这四种典型树木类型的相似度，将目标树木归于相似度最高的树木类型，从而获得目标树木的类型；若目标树木与四种典型树木类型均不匹配，则判定该树木为非典型树木；

(13)进行(12)的同时，对树冠部分进行基于多尺度图谱的树冠再分割，根据树冠边缘信息和局部像素特征将树冠划分成多个较为均匀的区块；

(14)根据树木类型信息和树木区域分割的信息对目标树木进行基于深度模板的树木深度图初始化：

(14-1)建立深度梯度假设图，用不同变化方向的渐变深度来模拟深度变化情况，

(14-2)构建典型树木的深度模板；利用深度梯度假设图，分别根据四种典型类型树木水平或垂直方向的深度变化情况选择深度梯度图进行组合，从而获得四种树木类型的深度模板；

(14-3)通过步骤(14-2)通过相似度计算所得目标树木类型匹配的结果，若为典型树木，则启用典型树木对应的深度模板；若为非典型树木，则根据树木个体的形态特征选择恰当的深度假设图进行叠加、重组，从而为其构建个性化深度模板；

(14-4)深度模板的应用

根据树冠再分割情况，对于树冠图像中的任意区域R，计算与其对应的深度梯模板中的区域深度平均深度D(R)，将其作为目标树木图像的树冠区域的初始化深度；

$D\left(R\right)=\frac{1}{\left|R\right|}\underset{(x,y)\&Element;R^{\&prime;}}{\&Sigma;}D(x,y)---\left(1\right)$

其中，x，y指图像中某像素点的横坐标和纵坐标，R为树木对象结构分析和区域分割后的任一分割区域，R’是该对应深度模板中的相同区域，|R|指区域R中的像素个数，D(x,y)指区域R内的某一像素点的深度值；由此完成目标树木各个区块的深度值计算，生成初始深度图像；

(14-5)利用双边滤波器对目标树木的初始深度图进行平滑去噪处理；

2、基于单幅2D树木图像的立体图像构建；

基于单幅2D树木图像的立体图像构建时，为了使树木个体的深度信息与应用场景一致，首先对虚拟立体场景进行深度估计，根据树木在场景中的目标融合位置对树木的初始立体信息实施深度自适应调整；然后在调整后的树木深度图基础上，将原2D树木图像作为左眼视图，依照3D立体图像对的一般制作方法在深度图的基础上进行视差计算、视差调整和视差平移而得到右眼视图；

基于单幅2D树木图像的立体图像构建主要流程如下所示：

(21)确定目标树木即将合成的背景立体图像，及其在背景图像中的目标位置R；

(22)本方法采用基于非参数的特征平滑模型的背景立体图像深度估计方法计算得到背景立体图像的深度图；

(23)基于背景深度信息进行树木深度信息的自适应调整；

(23-1)计算树木的融合点深度值；

树木需融合在背景图像位置的A处，(i,j)是该点的坐标，目标树木初始化时的主干深度值为D_o，当选定目标合成位置时，树木底端融合处的深度值Depth(i,j)应与背景图像对应位置深度值保持一致；为了避免背景图像深度图中的噪声影响，选取背景深度图中以A为中心的小面积邻域Nr内的平均深度值，S_Nr就是该区域的面积，并把该深度值作为主干所处的深度D_t：

$D_t=\frac{{\mathrm{\&Sigma;}}_{(i,j)\&Element;N_r}Depth(i,j)}{S_{N_r}}---\left(2\right)$

(23-2)树木深度值的自适应调整

目标树木主干底部深度变化值为D_o-D_t；随着主干深度信息的改变，树木各像素点的相对深度保持不变，树木的其他像素点深度信息也应随之改动；若背景图像对最大深度和最小深度分别为D_max和D_min，D₁(p)是树木图像中像素点p对应的树木初始化深度值，D₂(p)是像素点p自适应调整后的深度值，那么，(D_o-D_t)/(D_max-D_min)即是主干部分的深度值变化率，树木深度依照深度值变化率进行等比率的深度自适应调整，如下式所示：

$D_2\left(p\right)=D_1\left(p\right)\&times;(1+\frac{D_0-D_t}{D_{max}-D_{min}})---\left(3\right)$

由此完成树木图像在背景制定位置的深度自适应调整，得到与背景深度信息相一致的深度图像；

(24)对于单幅2D树木图像及其经自适应调整后的树木深度图，按照以下步骤获得树木立体图像对：

(24-1)计算零视差面Z_c，计算方法为：其中Z_near和Z_far分别为最近限幅平面和最远限幅平面，在8位的深度图中，Z_near＝255；Z_far＝0；

(24-2)计算视差d_p，计算方法为：其中z_p是深度，e代表人两眼之间的距离，约为6.5cm，D是人眼观测距离，和分别是左右眼所观察到的目标对象点在立体成像模型上的位置；

(24-3)树木图像的最大视差为M_max(m)，m为长度单位米，立体图像显示器的水平像素分辨率为Screen_w(pixel)，Pixel表示像素的个数，显示器的水平宽度为Screen_w(m)，计算像素级别的最大视差M_max(pixel)：

$M_{max}\left(pixel\right)=\frac{{\mathrm{Screen}}_w\left(pixel\right)}{{\mathrm{Screen}}_w\left(m\right)}\&times;M_{max}\left(m\right)---\left(4\right)$

(24-4)以原2D树木图像作为左眼视图，对各个像素点p进行相应视差d_p平移得到右视图，左眼视图和右眼视图作为一组立体树木的图像对；

3、红蓝立体图像的合成与制作；

利用树木深度信息和立体背景场景的深度信息对比，实现基于遮挡关系的立体图像合成，使得树木与目标背景场景间产生层次关系和近远景的遮挡关系，在此基础上生成红蓝立体图像，用于3D立体场景的显示；

(31)深度融合

与二维图像融合的不同之处在于，由于场景中的不同物体所处的深度位置不一，因而需要考虑景物的遮挡关系：即较近的物体遮挡较远的景物；

基于遮挡关系进行深度融合计算，得到深度融合后的深度图P(x,y)：

$P(x,y)=\left\{\begin{array}{c}Fg(x,y),D_{fg}(x,y)\&GreaterEqual;D_{bg}(x,y)\\ Bg(x,y),D_{fg}(x,y)<D_{bg}(x,y)\end{array}\right.---\left(5\right)$

其中，x,y表示图像中任意一点的横纵坐标，D_fg(x,y)树木图像的中任意像素点对应的深度值，D_bg(x,y)是背景立体图像的深度图中任意像素点所对应的任意深度值；Fg(x,y)是树木图像中的任意像素点，Bg(x,y)是背景立体图像中的任意位置像素值；

(32)根据深度融合的情况对树木立体图像对和背景立体图像对进行图像合成时，采用立体图像对的其中一幅视图的G通道和B通道的值，采用另一幅中的R通道的值，将这三个通道的值进行叠加，得到红蓝立体图像效果。