CN107689079B - 一种卫星云图与自然图像结合的云景重建方法 - Google Patents

Abstract

本发明公开了一种卫星云图与自然图像结合的云景重建方法，首先，对自然图像作像素分离，提取出积云像素及外轮廓，并基于多此前向散射模型建模细节积云，生成积云数据集；其次，从卫星云图重建初始积云，并对初始积云模型的不同视角进行二维轮廓投影采样，作为该积云模型的特征描述符；再次，以有向Chamfer距离作为度量，检索积云数据集中的最佳匹配；然后，提取积云数据集中对应的积云模型表面细节特征，基于拉普拉斯网格形变，将该细节特征转移到初始积云表面；最后，在云的内部进行采样，生成粒子模型并进行绘制。本发明结合卫星云图与自然图像两种数据源的特征，能够重建出外形逼真，细节丰富的积云场景。

Description

一种卫星云图与自然图像结合的云景重建方法

技术领域

本发明属于计算机图形学领域，特别云建模领域，具体涉及一种卫星云图与自然图像结合的云景重建方法。

背景技术

云是自然场景的重要组成元素，与其他固定外形的对象不同，其形成、发展和消散的过程极其复杂，难以直接获取其三维模型。在计算机图形学领域，经典的云建模方法主要分为两类，基于过程和基于物理的方法。基于过程的方法主要利用噪声纹理、粒子系统和交互式手段对云进行建模，建模人员需要繁琐地调整参数来构造云的形状；基于物理的方法通过求解简化的Novier-Stokes方程，模拟云生成的物理过程，这种方法耗时大，多适用于中小尺度的场景构建。经典方法所构建的云与现实世界的云在视觉上比较接近，但其外在形状和内部属性都与现实的云存在较大的差异。

基于气象数据的云建模与经典的云建模方法不同，其得到的云景与输入数据在形状特征、属性构成以及场景规模等方面都具有一定相关性，相应的成果可以为天气分析、军事仿真和影视动漫等应用提供三维可视环境。观测数据和数值模拟数据是两类典型的气象数据，目前，建模云常见的气象数据主要有三类：自然图像、卫星云图和数值模拟数据。其中，自然图像和卫星云图都是二维的图像，属于观测数据，而数值模拟数据通常是规则体数据。自然图像和卫星云图资源丰富，容易获得，基于这些图像的建模过程可以视作从二维到三维的重建过程。相比之下，数值模拟数据则相对匮乏，基于这些数据的云建模是三维到三维的过程，通常做法是将其转换为云的规则体表示，或者转换为云的粒子表示。这些方法各有特点，基于自然图像建模方法能生成具有较多细节的积云模型，如Dobashi等人从单幅自然图像建模多种类型的云，Yuan等人通过对光照模型进行简化，对积云模型的三维形状进行逆向求解。但由于遮挡关系复杂，从单幅图像建模积云难以生成适合虚拟环境的大场景。基于卫星云图的方法能够生成大场景积云模型，如Yuan等人提出的基于温度递减率模型建模积云场景的方法。由于卫星云图尺度及分辨率的影响，其建模出的积云模型通常会缺失表面细节。

发明内容

本发明要解决的技术问题为：克服现有技术的不足，提供一种卫星云图与自然图像结合的云景重建方法，能够从自然图像和卫星云图中，构建形状正确，细节丰富的积云场景。在此基础上，利用粒子模型对积云进行采样及绘制。实验表明，本发明提出的方法能够充分融合自然图像和卫星云图，建模出视觉逼真的积云场景。

本发明解决上述的技术问题采用的技术方案为：一种卫星云图与自然图像结合的云景重建方法，实现步骤如下：

步骤(1)、积云数据集构建，利用积云像素和天空像素的不同色彩饱和度，采用阈值方法划分自然图像像素为积云像素和天空像素，利用边缘检测算子提取积云外轮廓，基于多次前向散射模型建模积云，生成积云数据集；

步骤(2)、初始积云构建，融合卫星云图可见光波段和长红外波段构建初始积云，并对初始积云模型的不同视角进行二维轮廓投影采样，作为该积云模型的特征描述符；

步骤(3)、积云像素匹配，计算积云数据集中积云外轮廓的距离转换图，分别求解初始积云模型各视角下二维轮廓投影与积云数据集中距离转换图间的有向Chamfer距离，对所得结果进行排序，返回有向Chamfer距离最小的一组匹配，作为最佳积云匹配；

步骤(4)、细节填充，对积云数据集中的积云模型作拉普拉斯平滑，并逐顶点求解平滑前后的微分坐标及微分坐标差，通过柱面投影获取初始积云模型与对应细节积云模型的顶点映射关系，并将微分坐标差作相应旋转后作用到初始积云模型，获得细节丰富的积云模型；

步骤(5)、粒子采样及绘制，利用步骤(4)得到的细节丰富的积云模型，构建积云内部距离场，并在积云内部进行粒子采样，对生成的粒子模型进行绘制。

进一步的，所述步骤(1)中积云数据集构建的具体内容如下：

步骤(A1)、自然图像中，积云像素一般为灰色或白色，饱和度较高，通过计算每个像素的饱和度，可用阈值方法将自然图像像素分成积云像素和天空像素；

步骤(A2)、对于积云像素，利用图像边缘检测算子，获取积云的外轮廓，并将每个外轮廓作为一朵积云；

步骤(A3)、对于分离出来的积云像素及其轮廓，采用多次前向散射模型，建模出细节积云模型，与相应积云外轮廓一起构成积云数据集。

进一步的，所述步骤(2)中初始积云构建的步骤具体如下：

步骤(B1)、对于卫星云图，融合可见光波段和长红外波段构建初始积云；

步骤(B2)、定义一组仰视视角，作为采样视角，对初始积云模型进行二维轮廓投影采样，该组二维外轮廓集作为该初始积云模型的特征描述符。

进一步的，所述步骤(3)中积云像素匹配的具体步骤如下：

步骤(C1)、对积云数据集中的积云外轮廓，求解各像素到外轮廓的欧式距离，作为该积云的距离转换图；

步骤(C2)、分别求解初始积云模型各视角下二维轮廓投影与积云数据集中距离转换图间的有向Chamfer距离，对所得结果进行排序，返回有向Chamfer距离最小的一组匹配，作为最佳积云匹配。

进一步的，所述步骤(4)中细节填充的具体步骤如下：

步骤(D1)、根据步骤(3)中得到的最佳匹配结果，提取积云数据集中对应的细节积云三维模型，进行拉普拉斯平滑，得到平滑后的没有表面细节的积云模型；

步骤(D2)、对细节积云模型逐点计算其原始微分坐标，以及经过拉普拉斯平滑后的微分坐标，并计算该点的微分坐标差；

步骤(D3)、根据步骤(3)中得到的最佳匹配结果的视点信息，将初始积云模型和细节积云网格均置于坐标原点，并按照视点信息进行相应平移、旋转、缩放等线性变换，分别对上述两个模型作柱面投影；

步骤(D4)、根据柱面投影结果，以最邻近方式寻找细节积云模型上的顶点与初始积云模型的对应关系，将细节积云模型各顶点微分坐标差，根据对应关系作相应旋转并作用于初始网格，获得具有表面细节填充后的积云模型。

进一步的，所述步骤(5)中粒子采样及绘制的具体步骤如下：

步骤(E1)、利用步骤(4)得到的具有丰富细节的积云模型，构建积云内部距离场；

步骤(E2)、在云的内部网格节点处产生云粒子，粒子的半径正比于网格间距，然后采用多次前向散射模型对积云的粒子模型进行绘制；

本发明与现有技术相比的优点在于：

本发明以卫星云图和自然图像共同为输入，充分结合不同数据源的优势建模丰富细节的积云场景。与之前的建模方法相比，本发明的方法充分利用了卫星云图多波段特点，以及自然图像高分辨率的特点，能构建大范围且细节丰富的积云场景。

附图说明

图1为一种卫星云图与自然图像结合的云景重建方法流程图。

具体实施方式

下面结合实例对本发明作进一步详细描述：

本发明结合自然图像和卫星云图进行积云场景建模。如图1所示，本发明实施过程包括五个主要步骤：积云数据集构建，采用阈值方法将自然图像像素区分为云和天空像素并提取外轮廓，并基于多次前向散射模型建模积云，生成积云数据集；初始积云构建，融合卫星云图多波段建模初始积云，并对初始积云模型的不同视角进行二维轮廓投影采样，作为该积云模型的特征描述符；积云像素匹配，以有向Chamfer距离作为度量，对积云数据集中的外轮廓进行检索，返回最佳匹配；细节填充，平滑对应积云数据集中的积云模型，求得拉普拉斯坐标差，并转移到初始积云模型表面；粒子采样及绘制，对生成的积云模型内部进行采样，生成粒子，并进行绘制。本发明具体实现如下：

步骤一：积云数据集构建，采用阈值方法将自然图像像素区分为云和天空像素并提取外轮廓，并基于多次前向散射模型建模积云，生成积云数据集；

自然图像中，积云像素一般偏向白色或者灰色，其色彩饱和度较低，故可通过计算每个像素的色彩饱和度来区分积云像素和天空像素。像素p的色彩饱和度C(p)计算公式如下：

C(p)＝(I_max(p)-I_min(p))/I_max(p) (1)

其中I_max(p)为像素p的R,G,B三个通道强度的最大值，I_min(p)为像素p的R,G,B三个通道强度的最小值。若C(p)小于某阈值ε_c，则标记该像素点为积云像素点，否则标记该像素点为天空像素点。阈值ε_c由用户交互式地根据每张自然图像的像素分布情况指定。

在区分积云像素和天空像素后，可将自然图像转换成为一张二值图像，其中灰度值为255的区域为积云像素区域，灰度值为0的区域为天空像素区域。进一步地，可根据图像边缘检测算子，提取出积云像素区域的外轮廓，每个外轮廓视为单朵积云，且每张自然图像中有效积云部分由用户根据该自然图像进行指定。

当积云像素及其外轮廓被提取出来后，为了得到积云表面的细节，本发明利用Yuan等人提出的基于多次前向散射模型积云建模方法，重建积云三维模型，该模型具有丰富的表面细节。对于每个被分离出来的积云像素，获得其相应的细节积云模型，与对应的外轮廓一起，组成积云数据集的一组数据。

步骤二：初始积云构建，融合卫星云图多波段建模初始积云，并对初始积云模型的不同视角进行二维轮廓投影采样，作为该积云模型的特征描述符；

由于卫星云图与自然图像在获取时，相机视点及尺度存在较大差异，很难直接寻找其中积云的对应关系，故本发明首先利用Yuan等人提出的基于卫星云图多波段融合的积云场景建模方法，从卫星云图中重建粗糙的初始积云模型。在得到每朵积云的初始积云模型后，通过以下方式对该积云模型进行二维投影采样：

首先将该三维模型中心置于坐标原点，并对其进行标准化处理，使其完全包含于半径为1的单位球内；其次，由于自然图像通常在地面，以仰视视角拍摄积云图像，且其方位角一般无分布规律，故本发明将相机置于半径为1的单位球的下半球上，相机指向坐标原点。最后，在相机仰角为0°和15°时分别进行采样，对于每个相机仰角，对其方位角进行均匀采样，采样间隔为10°。故对于每一个初始积云模型，可获得72张二维投影图像。

在得到初始积云模型的所有投影图像后，对每张图像进行二值化处理，根据图像边缘检测算子，提取出其中积云的外轮廓，作为该积云模型的特征描述符。

步骤三：积云像素匹配，以有向Chamfer距离作为度量，对积云数据集中的外轮廓进行检索，返回最佳匹配；

在步骤二得到了初始积云模型及其对应的外轮廓特征描述符后，由于其投影图像为仰视视角，接近自然图像的获取视角，故可将两者的图像进行匹配，寻找积云数据集中与该积云模型最相近的积云。本发明首先对积云数据集中的积云外轮廓，求解各像素到外轮廓的欧式距离，作为该积云的距离转换图，然后通过计算初始积云外轮廓与距离转换图之间的有向Chamfer距离，来计算其相似程度。有向Chamfer距离的计算如下：

其中，U代表初始积云外轮廓图像，V代表积云数据集中的外轮廓图像，u_i和v_j分别为U和V中的点，u_i-v_j为两点之间的欧式距离，φ(x)表示x点的切向量，λ为两点方向差异所占权重，在本发明中，λ取0.5。

对该初始积云模型的所有外轮廓图像，计算其与积云数据集中的所有外轮廓图像之间的有向Chamfer距离，则该初始积云模型的每个视点所采样的外轮廓图像均能在积云数据集中找到一张外轮廓图像，使他们之间的有向Chamfer距离最小。进一步地，取其中有向Chamfer距离最小的一组外轮廓图像匹配，则该初始积云模型在对应视点下，与积云数据集中对应的积云最匹配。

步骤四：细节填充，平滑对应积云数据集中的积云模型，求得拉普拉斯坐标差，并转移到初始积云模型表面；

在获取了初始积云模型，以及其对应的细节积云模型后，本发明通过以下方式将细节积云模型表面的细节特征，转移到初始积云模型表面：

首先，提取细节积云模型的表面细节特征。对细节积云模型进行平滑处理，得到剥离表面细节后的光滑模型，平滑过程如下所示：

其中，v_i为i点坐标，N_i为i点1领域点的集合，d为N_i的大小。遍历细节积云模型所有顶点，通过上述公式计算光滑后的坐标，为一次平滑过程。本发明对细节积云模型作80次平滑，以得到完全剥离表面细节的光滑模型。

在对细节积云模型进行平滑后，通过如下公式分别求解平滑前后模型顶点的微分坐标δ_i及δ_i′，并计算其差值ε_i＝δ_i′-δ_i。

其次，根据步骤三中得到的最佳匹配结果的视点信息，将初始积云模型和细节积云网格均置于坐标原点，并按照视点信息进行相应平移、旋转、缩放等线性变换，分别对上述两个模型作柱面投影，得到单位柱面坐标其中(x,y,z)为某点的欧式坐标，θ为该点的方位角，并对投影后的顶点进行重采样，将细节积云模型上单位柱面坐标最邻近的顶点v_i作为初始积云模型的对应顶点u_i。

最后，为使转移过去的细节更自然，需将微分坐标差值ε_i进行相应旋转：计算u_i以及v_i的法向量N_u及N_v，并计算出其旋转矩阵R_i，将微分坐标差值ε_i与旋转矩阵R_i相乘可得变换后的微分坐标差ε_i′，最后将初始积云模型顶点的微分坐标与微分坐标差ε_i′相加得到变换后的微分坐标δ，并如以下公式所示作拉普拉斯反变换，即可得到表面细节填充后的积云模型。

V＝L^-1δ (5)

其中，L为初始积云模型的拉普拉斯矩阵，δ为变换后的微分坐标，V为目标模型的顶点坐标矩阵。

步骤五：粒子采样及绘制，对生成的积云模型内部进行采样，生成粒子，并进行绘制；

对于步骤四所生成的表面细节增强的积云模型，首先获取积云模型的包围盒，进行离散化并生成规则网格。对于某个网格点，若其在积云内部，则在该网格点处生成一个云粒子，粒子的半径与网格间距成正比，并对粒子中心位置进行适当扰动，则可获得积云模型的粒子系统表示。最后，采用Harris等人的方法对积云场景进行绘制。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种卫星云图与自然图像结合的云景重建方法，其特征在于，该方法步骤如下：

步骤(1)、积云数据集构建，采用阈值方法将自然图像像素区分为云和天空像素并提取外轮廓，并基于多次前向散射模型建模积云，生成积云数据集；

步骤(2)、初始积云构建，融合卫星云图多波段建模初始积云，并对初始积云模型的不同视角进行二维轮廓投影采样，作为该初始积云模型的特征描述符；

步骤(3)、积云像素匹配，以有向Chamfer距离作为度量，对积云数据集中的外轮廓进行检索，返回最佳匹配；对该初始积云模型的所有外轮廓图像，计算其与积云数据集中的所有外轮廓图像之间的有向Chamfer距离，则该初始积云模型的每个视点所采样的外轮廓图像均能在积云数据集中找到一张外轮廓图像，使他们之间的有向Chamfer距离最小，取其中有向Chamfer距离最小的一组外轮廓图像匹配，则该初始积云模型在对应视点下，与积云数据集中对应的积云最匹配；

步骤(4)、细节填充，平滑对应积云数据集中的积云模型，求得拉普拉斯坐标差，并转移到初始积云模型表面；

所述步骤(4)中细节填充的步骤如下：

步骤(D1)、根据步骤(3)中得到的最佳匹配结果，提取积云数据集中对应的细节积云三维模型，进行拉普拉斯平滑，得到平滑后的细节积云三维模型；

步骤(D2)、分别求解平滑前后细节积云三维模型的微分坐标，并获取各顶点微分坐标差；

步骤(D3)、根据步骤(3)中得到的最佳匹配结果的视点信息，对齐初始积云模型及细节积云三维模型，分别对初始积云模型及细节积云三维模型作柱面投影；

步骤(D4)、根据柱面投影结果，获取初始积云模型及细节积云三维模型顶点之间的对应关系，将细节积云三维模型各顶点微分坐标差，根据对应关系作相应旋转并作用于初始积云模型，获得具有细节的积云模型；

步骤(5)、粒子采样及绘制，利用步骤(4)得到的细节丰富的积云模型，构建积云内部距离场，并在积云内部进行粒子采样，对生成的粒子模型进行绘制。

2.根据权利要求1所述一种卫星云图与自然图像结合的云景重建方法，其特征在于：所述步骤(1)中积云数据集构建的具体内容如下：

步骤(A1)、根据自然图像像素的三个通道计算像素饱和度，并根据饱和度采用阈值法将图像分离成积云像素和天空背景像素；

步骤(A2)、对于积云像素，利用图像边缘检测算子，获取积云的外轮廓，并将每个外轮廓作为一朵积云；

步骤(A3)、对于分离出来的积云像素及其轮廓，采用多次前向散射模型，建模出细节积云三维模型，与相应积云外轮廓一起构成积云数据集。

3.根据权利要求1所述一种卫星云图与自然图像结合的云景重建方法，其特征在于：所述步骤(2)初始积云构建的步骤具体如下：

步骤(B1)、对于卫星云图，融合其多个波段建模初始积云模型；

步骤(B2)、定义一组仰视视角，作为采样视角，对初始积云模型进行二维轮廓投影采样，该组二维外轮廓集作为该初始积云模型的特征描述符。

4.根据权利要求1所述一种卫星云图与自然图像结合的云景重建方法，其特征在于：所述步骤(3)中积云像素匹配的步骤如下：

步骤(C1)、对积云数据集中的积云外轮廓，求解各像素到外轮廓的欧式距离，作为该积云的距离转换图；

步骤(C2)、对于初始积云模型的二维轮廓集，分别求解其与积云数据集中距离转换图的有向Chamfer距离，按有向Chamfer距离大小进行排序，返回最小的一组匹配，作为最佳匹配。

5.根据权利要求1所述一种卫星云图与自然图像结合的云景重建方法，其特征在于：所述步骤(5)中粒子采样及绘制的步骤如下：

步骤(E1)、利用步骤(4)得到的具有细节的积云模型，构建积云内部距离场；

步骤(E2)、在云的内部进行采样，形成云的粒子模型，并采用多次前向散射模型对积云的粒子模型进行绘制。