CN111563917A - 一种基于隐式特征编码的云层运动预测方法及系统 - Google Patents
一种基于隐式特征编码的云层运动预测方法及系统 Download PDFInfo
- Publication number
- CN111563917A CN111563917A CN202010418825.0A CN202010418825A CN111563917A CN 111563917 A CN111563917 A CN 111563917A CN 202010418825 A CN202010418825 A CN 202010418825A CN 111563917 A CN111563917 A CN 111563917A
- Authority
- CN
- China
- Prior art keywords
- cloud layer
- cloud
- frame
- motion prediction
- layer image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 123
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 60
- 230000006870 function Effects 0.000 claims description 100
- 230000008447 perception Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30192—Weather; Meteorology
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于隐式特征编码的云层运动预测方法及系统。所述方法包括获取云层图像训练集；构建以当前帧的云层图像为输入，以未来帧的云层图像为输出的云层运动预测网络；根据所述云层图像训练集训练所述云层运动预测网络，得到训练好的云层运动预测网络；获取待预测区域的当前帧的云层图像；根据所述待预测区域的当前帧的云层图像和所述训练好的云层运动预测网络确定所述待预测区域的未来帧的云层图像。本发明所提供的一种基于隐式特征编码的云层运动预测方法及系统，提高云量预测的实时性和准确性，并真实的反应云层的分布。
Description
技术领域
本发明涉及计算机视觉与深度学习的领域，特别是涉及一种基于隐式特征编码的云层运动预测方法及系统。
背景技术
随着生成对抗网络技术的发展，运动预测成为计算机视觉近几年来的研究热点。云层运动预测的目标是在给定区域的历史云图时，预测该区域在未来时刻云层分布的图像。云层运动预测在许多领域都有着广阔的应用前景，如用于卫星激光通信，太阳能获取和利用等。
而现有的云层运动预测的研究焦点主要针对卫星云图等大面积长时间间隔的情况，预测整体变化趋势，无法提供实时精准的云量预测结果。而短时间间隔局部区域的云图预测技术主要利用支持向量机来做有无云层的分类，从而导致生成的预测结果无法真实反映云层的分布，同时由于云层运动存在其特殊的复杂性，方法难以做到在不同气象条件下的泛化，实际应用中导致错误的预测结果。
发明内容
本发明的目的是提供一种基于隐式特征编码的云层运动预测方法及系统，提高云量预测的实时性和准确性，并真实的反应云层的分布。
为实现上述目的，本发明提供了如下方案：
一种基于隐式特征编码的云层运动预测方法，包括：
获取云层图像训练集；所述云层图像训练集为连续帧的云层图像；
构建以当前帧的云层图像为输入，以未来帧的云层图像为输出的云层运动预测网络；所述云层运动预测网络包括第一编码网络、第二编码网络、门控循环单元、第一解码网络、第二解码网络、第一生成器、第二生成器、第一鉴别器和第二鉴别器；所述第一编码网络用于获取多帧所述云层图像的帧间非变化特征；所述第二编码网络用于获取每帧所述云层图像对应的帧间变化特征；第一解码网络用于根据所述帧间非变化特征与每帧所述云层图像对应的帧间变化特征重构对应帧的云层图像；所述门控循环单元用于根据每帧所述云层图像对应的帧间变化特征生成未来帧的云层图像的帧间变化特征编码；所述门控循环单元还用于根据循环次数确定未来帧的云层图像的特征序列长度；所述第二解码网络用于根据所述帧间非变化特征与未来帧的云层图像的帧间变化特征编码重构未来帧的云层图像；
根据所述云层图像训练集训练所述云层运动预测网络，得到训练好的云层运动预测网络；
获取待预测区域的当前帧的云层图像；
根据所述待预测区域的当前帧的云层图像和所述训练好的云层运动预测网络确定所述待预测区域的未来帧的云层图像；
调节所述训练好的云层运动预测网络中的门控循环单元，确定不同时间段的预测云图。
可选的，所述云层运动预测网络具体包括：
根据公式
确定云层图像和重构的云层图像的二范数重建损失函数；其中，LL2是二范数损失函数的标量值，
是重构的云层图像，x是输入的云层图像；
根据公式
确定每帧的云层图像间的第二鉴别器和第二生成器的对抗损失函数；其中，
为每帧的云层图像间的第二鉴别器和第二生成器的对抗损失函数的标量值，pr(x)是输入的云层图像的分布，pg(z)是重构的云层图像的分布，z为隐藏层编码，G(z)为前向传播过程中第二生成器，Di(x)为第二鉴别器；
根据公式
确定第一鉴别器和第一生成器的对抗损失函数；其中，
为第一鉴别器和第一生成器的对抗损失函数的标量值，E(x)为第一编码器网络，D(x)为第一解码器网络，G(z1)第一生成器；Dv(x)为第一鉴别器；
根据公式
确定输入的云层图像和重构的云层图像之间的多尺度特征感知损失函数；其中，Lfeature为多尺度特征感知损失函数之和的标量值，fi(x)表示特征提取网络；
根据公式
确定联合损失函数值；其中，λ1、λ2、λ3和λ4均为超参数。
可选的，所述根据所述云层图像训练集训练所述云层运动预测网络，得到训练好的云层运动预测网络，具体包括：
所述云层图像训练集和所述联合损失函数值更新所述云层运动预测网络，直到所述联合损失函数值不变。
可选的，所述根据所述待预测区域的当前帧的云层图像和所述训练好的云层运动预测网络确定所述待预测区域的未来帧的云层图像，之前还包括：
获取所述待预测区域的历史的云层图像；
根据所述待预测区域的历史的云层图像对所述训练好的云层运动预测网络进行二次训练。
一种基于隐式特征编码的云层运动预测系统，包括：
云层图像训练集获取模块，用于获取云层图像训练集；所述云层图像训练集为连续帧的云层图像；
云层运动预测网络构建模块，用于构建以当前帧的云层图像为输入，以未来帧的云层图像为输出的云层运动预测网络；所述云层运动预测网络包括第一编码网络、第二编码网络、门控循环单元、第一解码网络、第二解码网络、第一生成器、第二生成器、第一鉴别器和第二鉴别器；所述第一编码网络用于获取多帧所述云层图像的帧间非变化特征；所述第二编码网络用于获取每帧所述云层图像对应的帧间变化特征；第一解码网络用于根据所述帧间非变化特征与每帧所述云层图像对应的帧间变化特征重构对应帧的云层图像；所述门控循环单元用于根据每帧所述云层图像对应的帧间变化特征生成未来帧的云层图像的帧间变化特征编码；所述门控循环单元还用于根据循环次数确定未来帧的云层图像的特征序列长度；所述第二解码网络用于根据所述帧间非变化特征与未来帧的云层图像的帧间变化特征编码重构未来帧的云层图像；
训练好的云层运动预测网络确定模块，用于根据所述云层图像训练集训练所述云层运动预测网络，得到训练好的云层运动预测网络；
待预测区域的当前帧的云层图像获取模块，用于获取待预测区域的当前帧的云层图像；
待预测区域的未来帧的云层图像确定模块，用于根据所述待预测区域的当前帧的云层图像和所述训练好的云层运动预测网络确定所述待预测区域的未来帧的云层图像；
预测云图确定模块，用于调节所述训练好的云层运动预测网络中的门控循环单元，确定不同时间段的预测云图。
可选的，所述云层运动预测网络具体包括：
二范数重建损失函数确定单元，用于根据公式
确定云层图像和重构的云层图像的二范数重建损失函数；其中，LL2是二范数损失函数的标量值，
是重构的云层图像，x是输入的云层图像；
第二对抗损失函数确定单元，用于根据公式
确定每帧的云层图像间的第二鉴别器和第二生成器的对抗损失函数；其中，
为每帧的云层图像间的第二鉴别器和第二生成器的对抗损失函数的标量值，pr(x)是输入的云层图像的分布，pg(z)是重构的云层图像的分布，z为隐藏层编码，G(z)为前向传播过程中第二生成器，Di(x)为第二鉴别器；
第一对抗损失函数确定单元，用于根据公式
确定第一鉴别器和第一生成器的对抗损失函数；其中，
为第一鉴别器和第一生成器的对抗损失函数的标量值，E(x)为第一编码器网络，D(x)为第一解码器网络，G(z1)第一生成器；Dv(x)为第一鉴别器；
多尺度特征感知损失函数确定单元，用于根据公式
确定输入的云层图像和重构的云层图像之间的多尺度特征感知损失函数；其中，Lfeature为多尺度特征感知损失函数之和的标量值，fi(x)表示特征提取网络；
联合损失函数值确定单元，用于根据公式
确定联合损失函数值；其中，λ1、λ2、λ3和λ4均为超参数。
可选的，所述训练好的云层运动预测网络确定模块具体包括：
训练单元，用于所述云层图像训练集和所述联合损失函数值更新所述云层运动预测网络，直到所述联合损失函数值不变。
可选的，还包括：
待预测区域的历史的云层图像获取模块，用于获取所述待预测区域的历史的云层图像；
二次训练模块，用于根据所述待预测区域的历史的云层图像对所述训练好的云层运动预测网络进行二次训练。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明所提供的一种基于隐式特征编码的云层运动预测方法及系统，通过
构建以当前帧的云层图像为输入，以未来帧的云层图像为输出的云层运动预测网络；所述云层运动预测网络包括第一编码网络、第二编码网络、门控循环单元、第一解码网络、第二解码网络、第一生成器、第二生成器、第一鉴别器和第二鉴别器；通过控制门控循环单元来生成未来不同时间长度的云层分布的云层图像，根据所述待预测区域的当前帧的云层图像和所述训练好的云层运动预测网络确定所述待预测区域的未来帧的云层图像。从而可在任意气象条件下生成云层分布准确的图像，提高云量预测的实时性和准确性，并真实的反应云层的分布。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的一种基于隐式特征编码的云层运动预测方法流程示意图；
图2为本发明所提供的云层运动预测网络结构示意图；
图3为本发明所提供的一种基于隐式特征编码的云层运动预测系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于隐式特征编码的云层运动预测方法及系统，提高云量预测的实时性和准确性，并真实的反应云层的分布。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明所提供的一种基于隐式特征编码的云层运动预测方法流程示意图，如图1所示，本发明所提供的一种基于隐式特征编码的云层运动预测方法，包括：
S101，获取云层图像训练集；所述云层图像训练集为连续帧的云层图像。云层图像训练集为不同时刻的运动状态丰富的云层图像，若为视频则对视频进行抽帧，对所有得到的云层图像按照不同时间间隔采样作为训练数据集，并且通过中红外相机进行采集，所述云层图像训练集是经过灰度处理之后的。
S102，构建以当前帧的云层图像为输入，以未来帧的云层图像为输出的云层运动预测网络；所述云层运动预测网络包括第一编码网络、第二编码网络、门控循环单元、第一解码网络、第二解码网络、第一生成器、第二生成器、第一鉴别器和第二鉴别器；所述第一编码网络用于获取多帧所述云层图像的帧间非变化特征；所述第二编码网络用于获取每帧所述云层图像对应的帧间变化特征；第一解码网络用于根据所述帧间非变化特征与每帧所述云层图像对应的帧间变化特征重构对应帧的云层图像；所述门控循环单元用于根据每帧所述云层图像对应的帧间变化特征生成未来帧的云层图像的帧间变化特征编码；所述门控循环单元还用于根据循环次数确定未来帧的云层图像的特征序列长度；所述第二解码网络用于根据所述帧间非变化特征与未来帧的云层图像的帧间变化特征编码重构未来帧的云层图像；云层运动预测网络如图2所示。
具体的，多帧所述云层图像的帧间非变化特征包括云层整体的基本结构以及气象条件所决定的云层运动速度和方向。每帧所述云层图像对应的帧间变化特征包括云层结构在图像中的相对位置。
在一个具体的实施例中，选取所述云层图像训练集中的4帧的云层图像，相应的所述云层运动预测网络的具体的前向传播过程为：
将四帧的云层图像在图像通道间连接，通过第一编码器网络获取帧间非变化特征zc；zc是输入的四张云层图像所共有的特征，包含云层整体的基本结构以及气象条件所决定的云层运动速度、方向等信息。
将输入的云层图像经过第二编码器网络，图像通道间相互独立，生成每一帧各自的帧间变化特征zmi；zmi包含云层结构在图像中的相对位置等信息，其中，i指代输入的云层图像编号。
将特征编码zc和zmi分别在通道上连接，通过第一解码器恢复出与zmi对应的输入的连续四张原始云层图像。
将从第二编码器中获得的特征编码zmi按照输入云层图像顺序依次送入门控循环单元，每一轮得到的输出都与下一特征得到的输出即为新一帧云层图像的帧间变化特征编码zmnew。
将新生成的特征编码zmnew与帧间非变化特征zc在通道间连接。通过第二解码器网络、第二生成器生成对应的下一帧的云层图像。
将生成的下一帧的云层图像与第一解码器恢复得到的连续四帧的云层图像在通道间连接，得到包含全部生成云层图像的视频段，至此完成一次网络前向传播过程。
为使第一编码器网络和第二编码器网络解除zc和zmi耦合，从而更好的从帧间非变化与帧间变化这两个维度进行编码，在训练网络时，可选择每次输入两段不同的云层运动视频，在连接帧间变化特征zmi和帧间非变化特征zc时进行视频间的交换，即将第一段云层运动视频的zc和第二段云层运动视频的zmi进行连接，同时将第一段云层运动视频的zmi和第二段云层运动视频的zc连接，再分别将连接好的特征图输入到第一解码器网络中，用第一鉴别器Dv(x)鉴别生成的视频序列与原始数据分布是否一致。
所述云层运动预测网络具体包括：
根据公式
确定云层图像和重构的云层图像的二范数重建损失函数；其中，LL2是二范数损失函数的标量值，
是重构的云层图像，x是输入的云层图像。
根据公式
确定每帧的云层图像间的第二鉴别器和第二生成器的对抗损失函数；其中，
为每帧的云层图像间的第二鉴别器和第二生成器的对抗损失函数的标量值，pr(x)是输入的云层图像的分布，pg(z)是重构的云层图像的分布，z为隐藏层编码，G(z)为前向传播过程中第二生成器，Di(x)为第二鉴别器。
根据公式
确定第一鉴别器和第一生成器的对抗损失函数；其中，
为第一鉴别器和第一生成器的对抗损失函数的标量值，E(x)为第一编码器网络，D(x)为第一解码器网络，G(z1)第一生成器；Dv(x)为第一鉴别器。
根据公式
确定输入的云层图像和重构的云层图像之间的多尺度特征感知损失函数；其中，Lfeature为多尺度特征感知损失函数之和的标量值，fi(x)表示特征提取网络。
根据公式
确定联合损失函数值；其中，λ1、λ2、λ3和λ4均为超参数。
S103，根据所述云层图像训练集训练所述云层运动预测网络，得到训练好的云层运动预测网络。
所述云层图像训练集和所述联合损失函数值更新所述云层运动预测网络，直到所述联合损失函数值不变。
S104，获取待预测区域的当前帧的云层图像。
由于云层分布和气象条件的多样性，难以收集足够丰富的训练数据集以使得网络在不同区域拍摄的云层图像上泛化良好，所以利用网络针对特定信息的学习记忆能力来解决新的区域气象条件下云层图像难以泛化的问题。
获取所述待预测区域的历史的云层图像。所述待预测区域的历史的云层图像包括不同光照，不同气象条件下的云层图像。
将特定区域的气象条件注册到所述训练好的云层运动预测网络中，解决不同区域不同气象条件下云层分布差异导致生成图像与输入图像云层类型不一致的问题，根据所述待预测区域的历史的云层图像对所述训练好的云层运动预测网络进行二次训练。从而，实现了适应多样性气象条件且输出准确的云层图像的预测。
S105，根据所述待预测区域的当前帧的云层图像和所述训练好的云层运动预测网络确定所述待预测区域的未来帧的云层图像。
在具体的实施例中，获取前四帧云层图像，利用训练好的云层运动预测网络生成新一帧的云层图像，丢弃原来的第一帧，将新一帧的云层图像作为输入图像进行下一次的前向传播。不断地循环此步骤，就可以获得连续的预测图像。S106，调节所述训练好的云层运动预测网络中的门控循环单元，确定不同时间段的预测云图。控制门控循环单元的循环次数，可以在训练过程中增加预测得到的未来时刻图像对应的特征序列长度，将特征序列分别通过第二解码器网络恢复出图像序列，即可以一次性获取多帧预测图像。
本发明中提供的一种基于隐式特征编码的云层运动预测方法为云层运动预测提出了一种全新且全面的解决方案，运用隐式特征编码代替了过去云层运动预测中使用的显式特征构造，统筹考虑了区域，气象条件等因素，并采用了特定区域气象条件注册的方法解决了在新的区域应用中生成图像不准的问题，为云层运动预测提供了一种更全面更准确的可行方法。
图3为本发明所提供的一种基于隐式特征编码的云层运动预测系统结构示意图，如图3所示，本发明所提供的一种基于隐式特征编码的云层运动预测系统，包括：云层图像训练集获取模块301、云层运动预测网络构建模块302、训练好的云层运动预测网络确定模块303、待预测区域的当前帧的云层图像获取模块304、待预测区域的未来帧的云层图像确定模块305和预测云图确定模块306。
云层图像训练集获取模块301用于获取云层图像训练集；所述云层图像训练集为连续帧的云层图像。
云层运动预测网络构建模块302用于构建以当前帧的云层图像为输入，以未来帧的云层图像为输出的云层运动预测网络；所述云层运动预测网络包括第一编码网络、第二编码网络、门控循环单元、第一解码网络、第二解码网络、第一生成器、第二生成器、第一鉴别器和第二鉴别器；所述第一编码网络用于获取多帧所述云层图像的帧间非变化特征；所述第二编码网络用于获取每帧所述云层图像对应的帧间变化特征；第一解码网络用于根据所述帧间非变化特征与每帧所述云层图像对应的帧间变化特征重构对应帧的云层图像；所述门控循环单元用于根据每帧所述云层图像对应的帧间变化特征生成未来帧的云层图像的帧间变化特征编码；所述门控循环单元还用于根据循环次数确定未来帧的云层图像的特征序列长度；所述第二解码网络用于根据所述帧间非变化特征与未来帧的云层图像的帧间变化特征编码重构未来帧的云层图像。
训练好的云层运动预测网络确定模块303用于根据所述云层图像训练集训练所述云层运动预测网络，得到训练好的云层运动预测网络。
待预测区域的当前帧的云层图像获取模块304用于获取待预测区域的当前帧的云层图像。
待预测区域的未来帧的云层图像确定模块305用于根据所述待预测区域的当前帧的云层图像和所述训练好的云层运动预测网络确定所述待预测区域的未来帧的云层图像。
预测云图确定模块306用于调节所述训练好的云层运动预测网络中的门控循环单元，确定不同时间段的预测云图。
所述云层运动预测网络具体包括：二范数重建损失函数确定单元、第二对抗损失函数确定单元、一对抗损失函数确定单元、多尺度特征感知损失函数确定单元和联合损失函数值确定单元。
二范数重建损失函数确定单元用于根据公式
确定云层图像和重构的云层图像的二范数重建损失函数；其中，LL2是二范数损失函数的标量值，
是重构的云层图像，x是输入的云层图像。
第二对抗损失函数确定单元用于根据公式
确定每帧的云层图像间的第二鉴别器和第二生成器的对抗损失函数；其中，
为每帧的云层图像间的第二鉴别器和第二生成器的对抗损失函数的标量值，pr(x)是输入的云层图像的分布，pg(z)是重构的云层图像的分布，z为隐藏层编码，G(z)为前向传播过程中第二生成器，Di(x)为第二鉴别器。
第一对抗损失函数确定单元用于根据公式
确定第一鉴别器和第一生成器的对抗损失函数；其中，
为第一鉴别器和第一生成器的对抗损失函数的标量值，E(x)为第一编码器网络，D(x)为第一解码器网络，G(z1)第一生成器；Dv(x)为第一鉴别器。
多尺度特征感知损失函数确定单元用于根据公式
确定输入的云层图像和重构的云层图像之间的多尺度特征感知损失函数；其中，Lfeature为多尺度特征感知损失函数之和的标量值，fi(x)表示特征提取网络；
联合损失函数值确定单元用于根据公式
确定联合损失函数值；其中，λ1、λ2、λ3和λ4均为超参数。
所述训练好的云层运动预测网络确定模块303具体包括：训练单元。
训练单元用于所述云层图像训练集和所述联合损失函数值更新所述云层运动预测网络，直到所述联合损失函数值不变。
本发明所提供的一种基于隐式特征编码的云层运动预测系统，还包括：待预测区域的历史的云层图像获取模块和二次训练模块。
待预测区域的历史的云层图像获取模块用于获取所述待预测区域的历史的云层图像。
二次训练模块用于根据所述待预测区域的历史的云层图像对所述训练好的云层运动预测网络进行二次训练。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种基于隐式特征编码的云层运动预测方法，其特征在于，包括：
获取云层图像训练集；所述云层图像训练集为连续帧的云层图像；
构建以当前帧的云层图像为输入，以未来帧的云层图像为输出的云层运动预测网络；所述云层运动预测网络包括第一编码网络、第二编码网络、门控循环单元、第一解码网络、第二解码网络、第一生成器、第二生成器、第一鉴别器和第二鉴别器；所述第一编码网络用于获取多帧所述云层图像的帧间非变化特征；所述第二编码网络用于获取每帧所述云层图像对应的帧间变化特征；第一解码网络用于根据所述帧间非变化特征与每帧所述云层图像对应的帧间变化特征重构对应帧的云层图像；所述门控循环单元用于根据每帧所述云层图像对应的帧间变化特征生成未来帧的云层图像的帧间变化特征编码；所述门控循环单元还用于根据循环次数确定未来帧的云层图像的特征序列长度；所述第二解码网络用于根据所述帧间非变化特征与未来帧的云层图像的帧间变化特征编码重构未来帧的云层图像；
根据所述云层图像训练集训练所述云层运动预测网络，得到训练好的云层运动预测网络；
获取待预测区域的当前帧的云层图像；
根据所述待预测区域的当前帧的云层图像和所述训练好的云层运动预测网络确定所述待预测区域的未来帧的云层图像；
调节所述训练好的云层运动预测网络中的门控循环单元，确定不同时间段的预测云图。
2.根据权利要求1所述的一种基于隐式特征编码的云层运动预测方法，其特征在于，所述云层运动预测网络具体包括：
根据公式
确定云层图像和重构的云层图像的二范数重建损失函数；其中，LL2是二范数损失函数的标量值，
是重构的云层图像，x是输入的云层图像；
根据公式
确定每帧的云层图像间的第二鉴别器和第二生成器的对抗损失函数；其中，
为每帧的云层图像间的第二鉴别器和第二生成器的对抗损失函数的标量值，pr(x)是输入的云层图像的分布，pg(z)是重构的云层图像的分布，z为隐藏层编码，G(z)为前向传播过程中第二生成器，Di(x)为第二鉴别器；
根据公式
确定第一鉴别器和第一生成器的对抗损失函数；其中，
为第一鉴别器和第一生成器的对抗损失函数的标量值，E(x)为第一编码器网络，D(x)为第一解码器网络，G(z1)第一生成器；Dv(x)为第一鉴别器；
根据公式
确定输入的云层图像和重构的云层图像之间的多尺度特征感知损失函数；其中，Lfeature为多尺度特征感知损失函数之和的标量值，fi(x)表示特征提取网络；
根据公式
确定联合损失函数值；其中，λ1、λ2、λ3和λ4均为超参数。
3.根据权利要求2所述的一种基于隐式特征编码的云层运动预测方法，其特征在于，所述根据所述云层图像训练集训练所述云层运动预测网络，得到训练好的云层运动预测网络，具体包括：
所述云层图像训练集和所述联合损失函数值更新所述云层运动预测网络，直到所述联合损失函数值不变。
4.根据权利要求1所述的一种基于隐式特征编码的云层运动预测方法，其特征在于，所述根据所述待预测区域的当前帧的云层图像和所述训练好的云层运动预测网络确定所述待预测区域的未来帧的云层图像，之前还包括：
获取所述待预测区域的历史的云层图像；
根据所述待预测区域的历史的云层图像对所述训练好的云层运动预测网络进行二次训练。
5.一种基于隐式特征编码的云层运动预测系统，其特征在于，包括：
云层图像训练集获取模块，用于获取云层图像训练集；所述云层图像训练集为连续帧的云层图像；
云层运动预测网络构建模块，用于构建以当前帧的云层图像为输入，以未来帧的云层图像为输出的云层运动预测网络；所述云层运动预测网络包括第一编码网络、第二编码网络、门控循环单元、第一解码网络、第二解码网络、第一生成器、第二生成器、第一鉴别器和第二鉴别器；所述第一编码网络用于获取多帧所述云层图像的帧间非变化特征；所述第二编码网络用于获取每帧所述云层图像对应的帧间变化特征；第一解码网络用于根据所述帧间非变化特征与每帧所述云层图像对应的帧间变化特征重构对应帧的云层图像；所述门控循环单元用于根据每帧所述云层图像对应的帧间变化特征生成未来帧的云层图像的帧间变化特征编码；所述门控循环单元还用于根据循环次数确定未来帧的云层图像的特征序列长度；所述第二解码网络用于根据所述帧间非变化特征与未来帧的云层图像的帧间变化特征编码重构未来帧的云层图像；
训练好的云层运动预测网络确定模块，用于根据所述云层图像训练集训练所述云层运动预测网络，得到训练好的云层运动预测网络；
待预测区域的当前帧的云层图像获取模块，用于获取待预测区域的当前帧的云层图像；
待预测区域的未来帧的云层图像确定模块，用于根据所述待预测区域的当前帧的云层图像和所述训练好的云层运动预测网络确定所述待预测区域的未来帧的云层图像；
预测云图确定模块，用于调节所述训练好的云层运动预测网络中的门控循环单元，确定不同时间段的预测云图。
6.根据权利要求5所述的一种基于隐式特征编码的云层运动预测系统，其特征在于，所述云层运动预测网络具体包括：
二范数重建损失函数确定单元，用于根据公式
确定云层图像和重构的云层图像的二范数重建损失函数；其中，LL2是二范数损失函数的标量值，
是重构的云层图像，x是输入的云层图像；
第二对抗损失函数确定单元，用于根据公式
确定每帧的云层图像间的第二鉴别器和第二生成器的对抗损失函数；其中，
为每帧的云层图像间的第二鉴别器和第二生成器的对抗损失函数的标量值，pr(x)是输入的云层图像的分布，pg(z)是重构的云层图像的分布，z为隐藏层编码，G(z)为前向传播过程中第二生成器，Di(x)为第二鉴别器；
第一对抗损失函数确定单元，用于根据公式
确定第一鉴别器和第一生成器的对抗损失函数；其中，
为第一鉴别器和第一生成器的对抗损失函数的标量值，E(x)为第一编码器网络，D(x)为第一解码器网络，G(z1)第一生成器；Dv(x)为第一鉴别器；
多尺度特征感知损失函数确定单元，用于根据公式
确定输入的云层图像和重构的云层图像之间的多尺度特征感知损失函数；其中，Lfeature为多尺度特征感知损失函数之和的标量值，fi(x)表示特征提取网络；
联合损失函数值确定单元，用于根据公式
确定联合损失函数值；其中，λ1、λ2、λ3和λ4均为超参数。
7.根据权利要求6所述的一种基于隐式特征编码的云层运动预测系统，其特征在于，所述训练好的云层运动预测网络确定模块具体包括：
训练单元，用于所述云层图像训练集和所述联合损失函数值更新所述云层运动预测网络，直到所述联合损失函数值不变。
8.根据权利要求5所述的一种基于隐式特征编码的云层运动预测系统，其特征在于，还包括：
待预测区域的历史的云层图像获取模块，用于获取所述待预测区域的历史的云层图像；
二次训练模块，用于根据所述待预测区域的历史的云层图像对所述训练好的云层运动预测网络进行二次训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010418825.0A CN111563917A (zh) | 2020-05-18 | 2020-05-18 | 一种基于隐式特征编码的云层运动预测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010418825.0A CN111563917A (zh) | 2020-05-18 | 2020-05-18 | 一种基于隐式特征编码的云层运动预测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111563917A true CN111563917A (zh) | 2020-08-21 |
Family
ID=72071004
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010418825.0A Pending CN111563917A (zh) | 2020-05-18 | 2020-05-18 | 一种基于隐式特征编码的云层运动预测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111563917A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108364097A (zh) * | 2018-02-07 | 2018-08-03 | 国家海洋局北海预报中心 | 基于生成对抗网络的台风云系预测方法 |
| CN110441061A (zh) * | 2019-08-13 | 2019-11-12 | 哈尔滨理工大学 | 基于c-drgan和ad的行星轮轴承寿命预测方法 |
| US20200082271A1 (en) * | 2017-11-30 | 2020-03-12 | Tencent Technology (Shenzhen) Company Limited | Summary generation method, summary generation model training method, and computer device |
| CN111047088A (zh) * | 2019-12-09 | 2020-04-21 | 上海眼控科技股份有限公司 | 预测图像获取方法、装置、计算机设备和存储介质 |
-
2020
- 2020-05-18 CN CN202010418825.0A patent/CN111563917A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200082271A1 (en) * | 2017-11-30 | 2020-03-12 | Tencent Technology (Shenzhen) Company Limited | Summary generation method, summary generation model training method, and computer device |
| CN108364097A (zh) * | 2018-02-07 | 2018-08-03 | 国家海洋局北海预报中心 | 基于生成对抗网络的台风云系预测方法 |
| CN110441061A (zh) * | 2019-08-13 | 2019-11-12 | 哈尔滨理工大学 | 基于c-drgan和ad的行星轮轴承寿命预测方法 |
| CN111047088A (zh) * | 2019-12-09 | 2020-04-21 | 上海眼控科技股份有限公司 | 预测图像获取方法、装置、计算机设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| "《基于深度卷积长短时神经网络的视频帧预测》" * |
| 袁帅等: "《应用残差生成对抗网络的路况视频帧预测模型》" * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kuznietsov et al. | Semi-supervised deep learning for monocular depth map prediction | |
| WO2020037965A1 (zh) | 一种用于视频预测的多运动流深度卷积网络模型方法 | |
| Fan et al. | Deep hierarchical representation of point cloud videos via spatio-temporal decomposition | |
| Aliakbarian et al. | Flag: Flow-based 3d avatar generation from sparse observations | |
| CN111062395B (zh) | 一种实时的视频语义分割方法 | |
| CN113077505B (zh) | 一种基于对比学习的单目深度估计网络的优化方法 | |
| CN113689382B (zh) | 基于医学影像和病理图像的肿瘤术后生存期预测方法及系统 | |
| CN115883764B (zh) | 一种基于数据协同的水下高速视频插帧方法及其系统 | |
| Zhang et al. | Unsupervised multi-view constrained convolutional network for accurate depth estimation | |
| CN116524121A (zh) | 一种单目视频三维人体重建方法、系统、设备及介质 | |
| CN117612072B (zh) | 一种基于动态时空图的视频理解方法 | |
| Spencer et al. | Kick back & relax: Learning to reconstruct the world by watching slowtv | |
| CN114743105A (zh) | 一种基于跨模态知识蒸馏的深度特权视觉里程计方法 | |
| CN111563917A (zh) | 一种基于隐式特征编码的云层运动预测方法及系统 | |
| CN116258756B (zh) | 一种自监督单目深度估计方法及系统 | |
| CN116740211A (zh) | 一种面向边缘设备的近红外图像彩色化方法 | |
| CN111583345A (zh) | 一种相机参数的获取方法、装置、设备及存储介质 | |
| CN113920317B (zh) | 基于可见光图像和低分辨率深度图像的语义分割方法 | |
| Zhang et al. | Temporal-aware sfm-learner: unsupervised learning monocular depth and motion from stereo video clips | |
| CN114463844A (zh) | 一种基于自注意力双流网络的跌倒检测方法 | |
| CN114596488A (zh) | 基于密集特征融合网络的轻量级遥感目标检测方法 | |
| CN111402302B (zh) | 光流生成装置和方法 | |
| Dang et al. | An application performance optimization model of mobile augmented reality based on hd restoration | |
| CN117176967B (zh) | 基于上下文优化与时间递归的视频显著性预测方法 | |
| Wu et al. | ST 2 PE: Spatial and Temporal Transformer for Pose Estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20231229 |