CN104299263B - 一种基于单幅图像建模云场景的方法 - Google Patents

Abstract

一种基于单幅图像建模云场景的方法，该方法可以同时构建图像中卷云和积云的几何信息。利用散焦理论提供的深度信息，首先对图像中的积云和卷云进行分割，然后根据其分布特征采用相应的建模方法。卷云采用二维纹理表示；积云则首先基于深度信息构建三维几何，然后采样形成内部的密度分布。本发明引入散焦理论指导云场景的构建，能够有效的提高云场景建模效率，优化建模效果。

Description

一种基于单幅图像建模云场景的方法

技术领域

本发明属于计算机图形学领域，特别云建模领域。

背景技术

云作为一种常见的自然现象，由于其形状千变万化，形成、发展和消散的过程又极其复杂，且具有半透明特征,重建三维云场景一直是具有挑战性的工作。在图形学领域，关于云的形状建模，云的运动演变过程和云的光照效果都进行了深入的研究。

经典的形状建模方法大体分为两类，即基于过程的云建模和基于物理的云建模。前者侧重于利用噪声、纹理或者交互式的手段对云进行建模，通常需要经历繁琐的参数调整；后者则通过求解简化的NS方程，模拟云生成的物理过程，计算复杂度很高。这两种方法都能够建模逼真的云场景，但是需要用户进行复杂的参数设计，很难快速有效的构建期望的场景。

基于图像的云建模，在一定程度上克服了之前方法的弱点，且因其素材丰富、易于获取逐渐成为研究的热点。代表性的工作有Dobashi提出的方法和Yuan的方法,前者提出了保留轮廓的云场构建方法，没有考虑细节的恢复，后者则进一步通过一个简化的单散射模型逆向获取了积云的形状细节，但是计算复杂度较高。现有的工作取得了逼真的视觉效果，但是由于没有考虑云的相对位置和遮挡关系，因此不具备恢复云场景几何的能力。

事实上，由于单幅图像提供的信息非常有限，且云的光照过程决定了云的形状和它的颜色呈高度非线性的关系，传统的SFS(shape from shading)的方法不能直接用来获取云的外形。且由于云所分布的环境特殊，通常基于测量设备或者图像序列的方法也不能用来解决云的建模问题。基于散焦理论的深度恢复方法能够提供户外场景的深度估计，给云场构建提供了新的思路。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种基于深度图的云场景建模方法，能够从单幅照片中，构建云的相对位置及形状细节。并在此基础上，给出了其光学参数的设定方法，实验表明，本发明提出的方法能够在很短的时间内从照片中构建逼真的云场景，提高了建模效率。

本发明技术解决方案：一种基于单幅图像建模云场景的方法，实现步骤如下：

步骤(1)、基于散焦理论生成图像的深度图，结合颜色阈值对图像中的卷云和积云进行自动化的分割：借助通过图像散焦模糊程度估计图像深度的图像处理技术，形成云图像的场景深度信息。并以此作为图像中卷云和积云的分割依据。由于深度信息的形成过程经过了插值和扩散过程，并不能精确保持云的边界，所以需要结合颜色阈值的分割结果，进而实现积云和卷云的自动化分割；

步骤(2)、通过结合人工交互与现有图像处理的方法，补全图像中缺失的卷云区域，进行卷云建模：对于提取积云后，卷云原来被遮挡的部分则形成了信息缺失进行相应的补全。该过程对图像处理中常用的基于模板的图像补全技术进行了适应性调整。由用户指定需要增长的骨架结构，进而沿着该骨架结构进行相似区域匹配，最终形成卷云的补全结果，并和天空背景一起作为绘制过程天空盒的纹理；

步骤(3)、基于深度图反应的凹凸感构建积云的前表面，在假设前后对称的基础上采用拉普拉斯编辑的方法进行积云建模：根据步骤(1)中深度图对积云形状的反映，构建积云前表面的高度场模型。然后在假设前后对称的基础上构建积云的后表面，将高度场转换为网格模型表示，然后采用拉普拉斯网格变形的方法进行网格优化；

步骤(4)、体采样及绘制，根据云的形态特征确定其密度分布，并采用单散射光照模型进行云场绘制：对建模得到的积云网格模型进行体采样，并通过云体内每点的衰减系数值表征云的光的衰减作用。利用步骤(1)获得的卷云纹理建模结果作为天空盒的背景，并依据深度图中的深度信息确定积云的空间分布。最终实现与输入图像相似的建模结果。

进一步的，所述步骤(1)中对卷云和积云进行自动化分割的具体内容如下：

步骤(A1)、由于云的颜色多呈灰白色，颜色饱和度相对天空较低，基于云和天空的颜色饱和度差异，采用给定图像中云像素的最大饱和度作为阈值，将图像分割为天空区域和云区域。

步骤(A2)、将获得的云区域进一步划分为积云区域和卷云区域。基于卷云和积云自身海拔差异和边界差异在深度图中形成的深度差，设定积云的最大深度为深度阈值，并依据该阈值进行云区域的进一步分割，形成积云区域和卷云区域。

进一步的，所述步骤(2)中卷云建模的步骤具体如下：

步骤(B1)、针对提取积云后卷云信息的缺失部分，由用户根据已有卷云的分布形态勾勒卷云的走势，确定待补全部分的基本骨架。

步骤(B2)、沿着上一步骤得到的基本骨架，以每三个骨架像素为一个集合，在卷云区域中进行特征匹配，搜索相似区域，并用该相似区域替换骨架像素，直到所有的骨架像素都得以替换，实现完整补全。补全后的卷云图像将以二维纹理的形式出现在绘制的场景中。

进一步的，所述步骤(3)中积云建模的具体步骤如下：

步骤(C1)、场景中的每朵积云进行分别处理，提取积云在深度图中对应的深度信息并进行相应的放缩，形成积云的前表面的高度场。后表面在假设前后对称的基础上加以噪声扰动。然后通过对距离场的插值生成前后表面的网格模型。

步骤(C2)、完成前后表面网格模型的融合对接。采用基于拉普拉斯的网格变形技术消除积云侧面的尖锐部分和缝隙。在网格模型上选取个别约束点，设定其目标高度场。进行拉普拉斯编辑，目标高度场的设定则基于中间厚边缘薄的假设，同时约束点的选取概率也依据点到边界的距离来设定，边界处被选中的概率大，相应的，内部点被选中的概率小。迭代的进行该过程两到三次即可得到较为合理的结果。

进一步的，所述步骤(4)中体采样及绘制的具体步骤如下：

步骤(D1)、将步骤(3)得到的积云网格模型转换为体表示，并通过指定体元对光线的衰减能力来表征云的密度分布，即衰减系数。距离云的边界越远，衰减系数越大，对光的衰减越明显。

步骤(D2)、将步骤(2)得到了卷云建模结果作为绘制场景中天空盒的纹理，然后根据深度图确定积云的分布位置，进而根据成像原理调节积云的尺寸，使整个场景得以重新图像中的场景。

本发明与现有技术相比的优点在于：

本发明有效的利用了图像处理中的深度估计技术和缺失补全技术，并针对云场景图像的特征进行了适应性调整，实现基于单幅图像的云场景建模。相对于之前的建模方法，算法简单、易于实现，运行效率高，且由于素材丰富，对建模结果可选可控，非常适用于大型虚拟场景的构建。

附图说明

图1为本发明的对卷云和积云进行自动化分割的示意图；

图2为本发明的卷云建模的结果图，图2(a)为输入图像，图2(b)为补全后结果；

图3为本发明的积云建模的结果图，图3(a)为输入图像，图3(b)为优化后深度图，图3(c)为由深度图得到的前表面，图3(d)为未优化之前的侧面，图3(e)为形状优化后的正面效果，3(f)为形状优化后的侧面效果；

图4为本发明的绘制效果图，图4(a)到图4(e)为五组实验效果，每组(1)表示输入图像，(2)表示正面绘制效果，(3)表示侧面绘制效果。

具体实施方式

下面结合附图与实例对本发明作进一步详细描述：

本发明实施过程包括四个主要步骤：基于散焦理论生成图像的深度图，结合颜色阈值对图像中的卷云和积云进行自动化的分割；通过结合人工交互与现有图像处理的方法，补全图像中缺失的卷云区域，进行卷云建模；基于深度图反应的凹凸感构建积云的前表面，在假设前后对称的基础上采用拉普拉斯编辑的方法进行积云建模；体采样及绘制，根据云的形态特征确定其密度分布，并采用单散射光照模型进行云场绘制。

本发明具体实现如下：

步骤一：基于散焦理论生成图像的深度图，结合颜色阈值对图像中的卷云和积云进行自动化的分割：

区分图像中的云与天空有很多种方法。常用的方法有基于颜色阈值和超像素分割法。由于云通常呈现为白色或者灰色，颜色饱和度较小。选取云区域中饱和度最大的点为阈值点，即可将云从背景中提取出来。超像素分割的方法利用像素之间特征的相似程度将像素首先分为子区域，然后用户交互性的选取云的区域。基于颜色阈值相对于超像素的分割方法能够更加准确的识别云的不规则边界，但是受到大气效应的影响，阈值方法有时很难有效的区分云和天空。特别的，当云之间存在遮挡时，基于阈值的方法则无法提供有效的分割。

由于本发明中，卷云采用二维纹理表示，不需要与天空背景分开，因此只需要将积云区域从整个图像中提取出来，基于散焦模糊程度估计图像深度的方法给出了求解场景中景物相对相机距离的方法，而且积云和卷云由于分布的海拔位置差异，在深度图中对应的深度值通常存在较大的差异，通常存在显著的深度差异。本发明利用该深度差异在颜色阈值分割的基础上进行进一步分割处理。需要说明的时，基于深度的分割不能完全取代基于颜色阈值的分割，由于深度图的边界是利用边界提取算法生成的，可能丢失了一些细节，借助颜色阈值得到的边界可以更好的保留图像中积云的形状。

卷云多呈丝缕状，在深度估计过程中会被识别为模糊边界，在成像原理中被认为距离相机较远，加之其本身所处位置海拔较高，成像距离相对较远，通过实验发现，深度图中卷云很难与背景区别开来，常与积云存在着较大的深度差。有助于我们对积云和卷云的分割。由于深度估计的方法通过提取边界处的模糊程度来识别景物的成像距离，非边界像素点的深度通过扩散的方法插值得到，最终得到的深度图可能存在一些插值误差，通过图像编辑软件可以很简单的修复这个误差，云场景的分割流程如图1所示，首先对输入图像利用散焦估计方法获取深度图，并进行相应优化，然后结合颜色阈值分割的结果，识别卷云和积云的边界。

步骤二：通过结合人工交互与现有图像处理的方法，补全图像中缺失的卷云区域，进行卷云建模：

卷云一般非常稀薄而且很少有自阴影，可以用二维纹理的方法来表示。因此只需将卷云连同其所在的天空贴在天空盒中相机正对的位置。

由于从图像提取前景云之后，背景云被遮挡的部分存在信息缺失.在图像领域，针对大块区域的补全，基于模板是常用的方法，即首先对图像中显著的结构进行延伸，然后在原图像中为新增区域搜索相似的匹配。进而逐步完成区域补全。关于卷云的补全，可以在这个方法的基础上增加约束，使之更加适用于当前的需求。首先由用户勾勒需要延伸的卷云的走势，即上文提到的显著结构，然后根据这个走势进行结构延伸。之后，限定卷云区域作为搜索源，缩减了搜索范围，同时提高了补全的准备性。实验结果表明，这个方法可以满足我们对卷云补全的需求，卷云的建模结果如图2所示。

步骤三：基于深度图反应的凹凸感构建积云的前表面，在假设前后对称的基础上采用拉普拉斯编辑的方法进行积云建模：

积云通常具有显著的形状细节，而深度图往往可以反映云前表面的深度差异，即凹凸感,如图3(b)所示。通过对深度图的插值可以形成云前表面的网格模型，后表面则在假设前后对称的基础上加以扰动。但是由于云边界处的深度值往往不是统一的值，前后表面结合在一起则会产生缝隙，如图3(d)所示。

为了解决这个问题，我们采用基于拉普拉斯的网格变形的方法来优化云的形状。如图3(c)，对于网格上的每一个点，保持x和y方向的坐标不变，调整其z方向的坐标，使得在保留表面细节的前提下保证前后表面接合处的平滑过渡。如公式(1)所示，Δ表示拉普拉斯算子，E表示边集，v_j表示网格上当前需要编辑的点，d_j表示与v_j有邻接关系的点v_i之间的距离：

由于Δ是线性的，可以表示成一个n×n矩阵M，其中n表示网格上点的数量。所以这个过程可以表示为：

δ^(z)＝Mv^(z) (2)

v^(z)表示一个n维向量，组成元素为网格上每个点的z分量，给定拉普拉斯算子和空间约束，网格的绝对坐标可以通过求解方程的最小二乘解得到。于是，本发明假定边界处的z分量为零，并以此为约束控制网格的变形。相对于边界处的点，内部点的约束则基于云的一般假设给定(中间厚边缘薄)，通过计算网格中的点到边界的距离来确定其约束值。每次随机选取网格上的一些点，设定它们的z分量为约束值，通过求解公式(2)来优化网格的形状。

为了最大程度保留表面的细节，内部约束点的选取根据点到边界的距离设置相应的概率，距离边界越近概率越大，具体值可以根据用户偏好设定，在约束点数目一定的情况下，边界处选取的点越多，细节保留的越好，但是边界处几何突变就越明显，相反，内部选取点越多，边界过渡就越平滑，但是细节丢失会增加。

这个优化的过程可以根据需要迭代多次进行，随着次数的增加，网格模型越趋近与中间厚边缘薄的几何结构。通常只需一到两次即可满足网格优化的需求。

由于云的不定形边界，网格表示的云的外形很难满足绘制需要，因此需要对形状进行扰动。我们采用基于分形的扰动方法来增加表面的细节，建模结果如图3所示。

步骤四：体采样及绘制，根据云的形态特征确定其密度分布，并采用单散射光照模型进行云场绘制：

获取云的形状之后，云的建模还需要指定云体内的密度分布。首先通过体采样将网格表示转化为体表示，用1和0来区分云区域和非云区域。

由于云的密度分布通常表现为越接近边界就越稀薄，衰减系数表征云粒子对光的衰减作用，衰减系数越小，光越容易穿过，该处的云就越稀薄。本发明通过确定云体内的点的衰减系数σ来表征云的密度分布。

其中，dis表示内部点到网格的最短距离，这个距离被规范化到0和1之间，σ_base表示衰减系数的基准值，通常为一个较小的数值(0.1或者0.2)，k表示缩放系数。

最终，采用单散射光照模型进行云场绘制，绘制结果如图4所示。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种基于单幅图像建模云场景的方法，其特征在于该方法步骤如下：

步骤(1)、基于散焦理论生成图像的深度图，结合颜色阈值对图像中的卷云和积云进行自动化的分割；

步骤(2)、通过结合人工交互与基于模板的图像补全的方法，补全图像中缺失的卷云区域，进行卷云建模；

步骤(3)、基于深度图反应的凹凸感构建积云的前表面，在假设前后对称的基础上采用拉普拉斯编辑的方法进行积云建模；

步骤(4)、体采样及绘制，根据云的形态特征确定其密度分布，并采用单散射光照模型进行云场绘制,所述单散射光照模型中忽略云粒子间的交互作用，云粒子能量仅取决于点到云体边界的距离。

2.根据权利要求1所述一种基于单幅图像建模云场景的方法，其特征在于：所述步骤(1)中对卷云和积云进行自动化分割的具体内容如下：

步骤(A1)、基于云和天空的颜色饱和度差异，采用给定图像中云像素的最大饱和度作为阈值，将图像分割为天空区域和云区域；

步骤(A2)、将获得的云区域进一步划分为积云区域和卷云区域；基于卷云和积云自身海拔差异和边界差异在深度图中形成的深度差，以积云像素对应的最大深度值为深度阈值，并依据该阈值进行云区域的进一步分割，形成积云区域和卷云区域。

3.根据权利要求1所述一种基于单幅图像建模云场景的方法，其特征在于：所述步骤(2)卷云建模的步骤具体如下：

步骤(B1)、针对提取积云后卷云信息的缺失部分，由用户根据已有卷云的分布形态勾勒卷云的走势，确定待补全部分的基本骨架；

步骤(B2)、沿着上一步骤得到的基本骨架，以每三个骨架像素为一个集合，在卷云区域中进行特征匹配，搜索相似区域，并用该相似区域替换骨架像素，直到所有的骨架像素都得以替换，实现完整补全；补全后的卷云图像将以二维纹理的形式出现在绘制的场景中。

4.根据权利要求1所述一种基于单幅图像建模云场景的方法，其特征在于：所述步骤(4)中体采样及绘制的步骤如下：

步骤(D1)、将步骤(3)得到的积云网格模型转换为体表示，并通过指定体元对光线的衰减能力来表征云的密度分布，即衰减系数；距离云的边界越远，衰减系数越大，对光的衰减越明显；

由于云的密度分布通常表现为越接近边界就越稀薄，衰减系数表征云粒子对光的衰减作用，衰减系数越小，光越容易穿过，该处的云就越稀薄；确定云体内的点的衰减系数σ来表征云的密度分布；

$\mathrm{\σ}=k\sqrt{1-{(1-dis)}^2}+{\mathrm{\σ}}_{base}---\left(3\right)$

其中，dis表示内部点到网格的最短距离，这个距离被规范化到0和1之间，σ_base表示衰减系数的基准值，通常为0.1或者0.2，k表示缩放系数；

最终，采用单散射光照模型进行云场绘制；

步骤(D2)、将步骤(2)得到的卷云建模结果作为绘制场景中天空盒的纹理，然后根据深度图确定积云的分布位置，进而根据成像原理调节积云的尺寸，使整个场景得以重新图像中的场景。