CN115984688A - 一种面向连续帧的双流云图预测方法、存储介质及设备 - Google Patents

Abstract

本发明涉及云图预测领域，特别是涉及一种面向连续帧的双流云图预测方法、存储介质及设备。包括对多个3D特征图进行三维特征融合处理，生成初始三维融合特征F1。对多个2D特征图进行二维特征融合处理，生成初始二维融合特征F2。将F1及F2进行域间特征融合处理，生成目标融合预测特征。并进行解码处理，生成云图的预测图像。本发明可以将目标3D云图及目标2D云图中的低层级中的特征与高层级中的特征进行融合，以得到具有更加丰富信息的F1及F2。然后再通过域间特征融合由此，可以将2D支路与3D支路中获得的信息进行进一步的挖掘与融合，以保证目标融合预测特征具有更加丰富的特征信息，以提高对云预测的精度。

Description

一种面向连续帧的双流云图预测方法、存储介质及设备

技术领域

本发明涉及云图预测领域，特别是涉及一种面向连续帧的双流云图预测方法、存储介质及设备。

背景技术

预测云的形成和发展是现代天气预报系统的核心要素。由于云团在地球气候系统中的内在作用，错误的云预报可能导致天气预报的总体准确性存在重大的不确定性。

现有的基于深度学习的方法，因为卷积核感受野的限制，需要通过连续多次的降采样处理来扩大感受野并获取高层语义信息。但同样由于降采样倍数过多，会导致一些较为细致的弱小信息被丢失，对需要高分辨率信息的云预测任务来说不友好，会导致最终的预测精度降低。

同时云图的预测属于对时序图像预测，现有的预测方法中，对图像帧内(静态)和不同时序图像帧间(动态)的信息的挖掘使用不够充分，由此导致对云预测的精度较低。

发明内容

针对上述技术问题，本发明采用的技术方案为：

根据本发明的一个方面，提供了一种面向连续帧的双流云图预测方法，方法包括如下步骤：

获取目标3D云图。目标3D云图为目标云团变化的多帧连续图像。

获取目标2D云图。目标2D云图为目标3D云图中的最后一帧图像。

使用三维卷积对目标3D云图进行三维特征提取处理，生成多个3D特征图A1，A2，…，Ai，…，Az。三维特征提取处理包括z个串行连接的特征提取层。每一特征提取层生成一个对应的3D特征图。其中，Ai为第i个特征提取层对应生成的3D特征图。i＝1,2,3，…，z。

其中，三维特征提取处理中的第一个特征提取层用于采用(1,1,5)、(1,5,1)和(3,1,1)尺寸的一维卷积核依次对目标3D云图进行多次重复卷积操作。其中，一维卷积核中的数值依次表示卷积核的时序深度、卷积核长度及卷积核宽度。A1的数据维度与目标3D云图的相同。从A2到Az的特征图尺寸依次缩小2倍。

使用二维卷积对目标2D云图进行二维特征提取处理，生成多个2D特征图B1，B2，…，Bn，…，By。二维特征提取处理包括y个串行连接的特征提取层。每一特征提取层生成一个对应的2D特征图。其中，Bn为第n个特征提取层对应生成的2D特征图。n＝1,2,3，…，y。

其中，B1的数据维度与目标2D云图的数据维度相同。从B2到By的特征图尺寸依次缩小2倍。

对多个3D特征图进行三维特征融合处理，生成初始三维融合特征F1。三维特征融合处理用于将多个特征提取层的3D特征图进行融合。

对多个2D特征图进行二维特征融合处理，生成初始二维融合特征F2。二维特征融合处理用于将多个特征提取层的2D特征图进行融合。初始三维融合特征与初始二维融合特征具有相同的数据维度。

将F1及F2进行域间特征融合处理，生成目标融合预测特征。

对目标融合预测特征进行解码处理，生成云图的预测图像。

根据本发明的第二个方面，提供了一种非瞬时性计算机可读存储介质，非瞬时性计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的一种面向连续帧的双流云图预测方法。

根据本发明的第三个方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的一种面向连续帧的双流云图预测方法。

本发明至少具有以下有益效果：

本发明中，对目标3D云图及目标2D云图进行特征提取。然后，再对提取到的多个3D特征图进行三维特征融合处理。以将具有不同层级得到的3D特征图进行融合，由此，使得该3D支路可以充分捕获连续帧之间的时序依赖信息。同理，对提取到的多个2D特征图进行二维特征融合处理。以将具有不同层级得到的2D特征图进行融合，由此，使得该2D支路可以充分学习帧内的静态云特征信息。由上述3D支路帧与2D支路分别进行的域内特征融合，可以实现云图帧内和帧间的多层级多阶段自适应特征融合。然后再通过将F1及F2进行域间特征融合处理，来生成目标融合预测特征。

通过上述融合处理，可以将目标3D云图及目标2D云图中对应的低层级中存在的弱小目标的细节信息的特征，与高层级中存在的高级语义信息特征进行融合，以得到具有更加丰富信息的F1及F2。然后再通过域间特征融合由此，可以将2D支路与3D支路中获得的信息进行进一步的挖掘与融合，以保证得到的目标融合预测特征具有更加丰富的特征信息，进而可以满足云预测任务对高分辨率特征信息的要求，以提高对云预测的精度。

同时，在对目标3D云图及目标2D云图进行特征提取时，均在第一个特征提取阶段不进行降采样，由此减少了降采样的次数，可以进一步避免弱小信息丢失，进而提高了获得的特征信息的分辨率。

另外，由于目标3D云图在进行特征提取时，现有的三维卷积方法使用的卷积核在进行计算时，计算量较大，对计算资源要求较高，本发明在三维特征提取处理中的第一个特征提取层用于采用(1,1,5)、(1,5,1)和(3,1,1)尺寸的一维卷积核依次对目标3D云图进行多次重复卷积操作。通过将卷积核的形式调整为一维卷积核，可以大大降低在进行特征提取时的计算量，进而降低了对计算资源的要求。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的......流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的一个方面，如图1所示，提供了一种面向连续帧的双流云图预测方法，该方法包括如下步骤：

S100：获取目标3D云图。目标3D云图为目标云团变化的多帧连续图像。

S200：获取目标2D云图。目标2D云图为目标3D云图中的最后一帧图像。

目标3D云图可以为某一云团的变化视频中的连续多帧图像。例如可以取在时间维度上连续的3帧图像作为目标3D云图。同时获取目标3D云图中的最后一帧图像作为目标2D云图。

本发明中，通过2D支路中获得的特征，可以更好的感受表示当前帧内的空间特征。然后通过3D支路获得的特征，可以更好的感受表示多个图像帧在帧间时序上的特征。而本发明的目的为预测未来几帧的图像。所以，对于这个2D支路来说，越靠近未来时刻的那一帧图像中的空间特征越重要。

S300：使用三维卷积对目标3D云图进行三维特征提取处理，生成多个3D特征图A1，A2，…，Ai，…，Az。三维特征提取处理包括z个串行连接的特征提取层。每一特征提取层生成一个对应的3D特征图。其中，Ai为第i个特征提取层对应生成的3D特征图。i＝1,2,3，…，z。

其中，三维特征提取处理中的第一个特征提取层用于采用(1,1,5)、(1,5,1)和(3,1,1)尺寸的一维卷积核依次对目标3D云图进行多次重复卷积操作。其中，一维卷积核中的数值依次表示卷积核的时序深度、卷积核长度及卷积核宽度。A1的数据维度与目标3D云图的相同。从A2到Az的特征图尺寸依次缩小2倍。

本步骤中特征提取层中的三维卷积核的设置为现有技术，可以使用现有的三维特征提取的方式来进行提取，在此不再赘述。本发明中z和y的取值可以为3、4、5和6中的任意一个值。若特征提取层的层数太多，则会由于卷积层的层数增加会使得降采样的倍数增加太多，进而会导致细节信息容易丢失。同时，若特征提取层的层数太少，则会导致特征中缺少高级语义特征，最终导致特征表示能力下降。优选的，z＝y＝4。

本步骤中，由于目标3D云图在进行特征提取时，现有的三维卷积方法使用的卷积核在进行计算时，计算量较大，对计算资源要求较高，本发明在三维特征提取处理中的第一个特征提取层用于采用(1,1,5)、(1,5,1)和(3,1,1)尺寸的一维卷积核依次对目标3D云图进行多次重复卷积操作。通过将卷积核的形式调整为一维卷积核，可以大大降低在进行特征提取时的计算量，进而降低了对计算资源的要求。

S400：使用二维卷积对目标2D云图进行二维特征提取处理，生成多个2D特征图B1，B2，…，Bn，…，By。二维特征提取处理包括y个串行连接的特征提取层。每一特征提取层生成一个对应的2D特征图。其中，Bn为第n个特征提取层对应生成的2D特征图。n＝1,2,3，…，y。

其中，B1的数据维度与目标2D云图的数据维度相同。从B2到By的特征图尺寸依次缩小2倍。特征图尺寸为特征图的长度及特征图的宽度。对应的，特征图尺寸依次缩小2倍也即特征图的长度及特征图的宽度均缩小2倍。如，B2的数据维度为128*128*64，则B3的数据维度为64*64*128。其中，B3的特征图的长度为64，特征图的宽度为64，特征图的通道数为128。

本步骤中特征提取层中的二维卷积核的设置为现有技术，可以使用现有的二维特征提取的方式来进行提取，在此不再赘述。如使用3*3的二维卷积核进行特征提取。

步骤S300及S400中，在对目标3D云图及目标2D云图进行特征提取时，均在第一个特征提取阶段不进行降采样，由此减少了降采样的次数，可以进一步避免弱小信息丢失，进而提高了获得的特征信息的分辨率。

S500：对多个3D特征图进行三维特征融合处理，生成初始三维融合特征F1。三维特征融合处理用于将多个特征提取层的3D特征图进行融合。

S600：对多个2D特征图进行二维特征融合处理，生成初始二维融合特征F2。二维特征融合处理用于将多个特征提取层的2D特征图进行融合。初始三维融合特征与初始二维融合特征具有相同的数据维度。

S700：将F1及F2进行域间特征融合处理，生成目标融合预测特征。

本步骤中的域间特征融合处理与层间特征融合处理所使用的方式相同。其不同之处，仅为由于域间特征融合处理的输入F1及F2与层间特征融合处理的输入的不同，进行适应性的调整。

S800：对目标融合预测特征进行解码处理，生成云图的预测图像。

本发明中，对目标3D云图及目标2D云图进行特征提取。然后，再对提取到的多个3D特征图进行三维特征融合处理。以将具有不同层级得到的3D特征图进行融合，由此，使得该3D支路可以充分捕获连续帧之间的时序依赖信息。同理，对提取到的多个2D特征图进行二维特征融合处理。以将具有不同层级得到的2D特征图进行融合，由此，使得该2D支路可以充分学习帧内的静态云特征信息。由上述3D支路帧与2D支路分别进行的域内特征融合，可以实现云图帧内和帧间的多层级多阶段自适应特征融合。然后再通过将F1及F2进行域间特征融合处理，来生成目标融合预测特征。

通过上述融合处理，可以将目标3D云图及目标2D云图中对应的低层级中存在的弱小目标的细节信息的特征，与高层级中存在的高级语义信息特征进行融合，以得到具有更加丰富信息的F1及F2。然后再通过域间特征融合由此，可以将2D支路与3D支路中获得的信息进行进一步的挖掘与融合，以保证得到的目标融合预测特征具有更加丰富的特征信息，进而可以满足云预测任务对高分辨率特征信息的要求，以提高对云预测的精度。

作为本发明一种可能的实施例，S500：对多个3D特征图进行三维特征融合处理，生成初始三维融合特征F1，包括：

S501：对A1及A2进行层间特征融合处理，生成第一子融合特征C1。

S502：对A3及A4进行层间特征融合处理，生成第二子融合特征C2。

S503：对C1及C2进行层间特征融合处理，生成F1。层间特征融合处理用于将相邻层的两个特征进行融合。

作为本发明一种可能的实施例，S600：对多个2D特征图进行二维特征融合处理，生成初始二维融合特征F2，包括：

S601：对B1及B2进行层间特征融合处理，生成第三子融合特征C3。

S602：对B3及B4进行层间特征融合处理，生成第四子融合特征C4。

S603：对C3及C4进行层间特征融合处理，生成F2。层间特征融合处理用于将相邻层的两个特征进行融合。

本发明中，在进行2D支路与3D支路中的层间特征融合处理时，需要对相邻层之间的特征进行融合。由于在融合过程中，需要通过计算两个特征中的各个节点向量之间的相似度来完成后续的特征融合。所以，若选择进行层间特征融合处理的两个特征之间层数相差较远，则特征之间的差距较大，所以通过相似度来进行融合的方法便不再适用，精度也会较低。

作为本发明一种可能的实施例，S501：对A1及A2进行层间特征融合处理，生成第一子融合特征C1，包括：

S511：对A1及A2分别进行数据维度调整处理，分别生成A1对应的第一带融合特征图A1^，及A2对应的第二带融合特征图A2^，。A1^，及A2^，的数据维度相同。数据维度包括特征的长度、特征的宽度特征的通道数。

具体的，可以对A1进行降采样来将A1的特征空间尺寸(特征的长度及特征的宽度)调整为与A2的特征空间尺寸相同。对通过设置卷积核的数量来对A2进行通道数的调整。以将A2的通道数调整至与A1的通道数相同。

S521：对进行A1^，进行节点特征提取，生成对应的多个第一节点向量D1，D2，…，Dm，…，Dx。其中，Dm为A1^，中的第m个第一节点特征对应的第一节点向量，x为A1^，中的第一节点特征的总数。

S531：对进行A2^，进行节点特征提取，生成对应的多个第二节点向量E1，E2，…，Em，…，Ex。其中，Em为A2^，中的第m个第二节点特征对应的第二节点向量。

以A1^，的数据维度为10*10*256为例，则A1^，中共具有10*10＝100个第一节点特征，且每一个第一节点特征对应的特征维度为256。具体的，在此基础上对第一节点特征转化为对应的第一节点向量。对应的，A1^，可以提取出100个对应的第一节点向量。

S541：获取每一第一节点向量与每一第二节点向量的相似度。

对应的，每一个第一节点向量都会对应100个相似度。

进一步的，将每一第一节点向量与每一第二节点向量的乘积，作为对应的第一节点向量与第二节点向量的相似度。另外，还可以使用欧式距离或余弦距离来计算两个向量之间的相似度。

S551：根据相似度，获取每一第一节点特征对应的多个邻接节点特征。邻接节点特征为与对应的第一节点向量的相似度大于相似度阈值的每一第二节点向量对应的第二节点特征。优选的，每一第一节点特征对应的32个邻接节点特征。

具体的，将相似度排序在前32位的第二节点特征作为对应的第一节点特征的邻接节点特征。

由此，第一节点特征对应的多个邻接节点特征，最终所有的第一节点特征和对应的邻接节点特征可以形成图形式的数据结构。

本步骤中，通过相似度对图中的节点进行筛选，以去除噪声数据，保留有效数据，由此也可以降低图的稀疏程度，进而使得图计算更高效。

S561：使用图注意力机制对每一第一节点特征及对应的多个邻接节点特征进行自注意力编码，生成每一第一节点特征对应的第一重构节点特征。

本步骤中可以使用GAT(GraphAttentionNetwork，图神经网络)中的图注意力机制来对每一第一节点特征进行基于注意力的特征重构。

S571：将A1^，中所有第一节点特征对应的第一重构节点特征，作为第一子融合特征C1。

本实施例中，考虑到云预测任务中预测对象(云团)具有的非刚体特性，所以云团对应的图像数据为非欧式数据。而对于该种非欧式数据而言，使用图神经网络可以更加贴合精确的进行特征的编码重构。对应的，图神经网络对数据的高阶统计特性有更好的学习能力，进而可以保证最终重构的第一重构节点特征更加准确。本实施例中的基于稀疏图的特征融合方法，能有效利用整个云团图像的全局信息，并作用于不同层级，以实现自适应高效特征信息的筛选与融合。

本实施例中基于图的自适应特征融合推理方法，可以接受两个不同层级或不同支路的特征图输入，先通过上/下采样操作可以改变特征图尺寸，通过卷积操作可以改变特征图通道数，将两个输入的特征图的尺寸和通道数对齐。然后分别对两支路的特征图进行节点特征的抽取，然后度量节点之间的相似性，寻找每个中心节点的邻居节点(邻接节点特征)，只保留节点相似性前k(k＝32)大的邻居，以此对图的稀疏性加以约束。随后通过图自注意力机制进行图信息的融合推理，将邻居节点的特征信息传递到中心节点。最后，将图的节点重排成输出特征图要求的维度。

作为本发明一种可能的实施例，在S541：获取每一第一节点向量与每一第二节点向量的相似度之后，方法还包括：

S581：对每一相似度进行归一化处理，生成每一相似度对应的相似值，每一相似值均属于[0,1]。

本实施例中使用现有的归一化处理，如Sigmoid函数可以将相似值归一化至[0,1]中，便于后续的排序与筛选。

本发明的实施例还提供了一种非瞬时性计算机可读存储介质，该存储介质可设置于电子设备之中以保存用于实现方法实施例中一种方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述实施例提供的方法。

本发明的实施例还提供了一种电子设备，包括处理器和前述的非瞬时性计算机可读存储介质。

本发明的实施例还提供一种计算机程序产品，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使该电子设备执行本说明书上述描述的根据本发明各种示例性实施方式的方法中的步骤。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明开的范围由所附权利要求来限定。

Claims (10)

1.一种面向连续帧的双流云图预测方法，其特征在于，所述方法包括如下步骤：

获取目标3D云图；所述目标3D云图为目标云团变化的多帧连续图像；

获取目标2D云图；所述目标2D云图为所述目标3D云图中的最后一帧图像；

使用三维卷积对所述目标3D云图进行三维特征提取处理，生成多个3D特征图A1，A2，…，Ai，…，Az；所述三维特征提取处理包括z个串行连接的特征提取层；每一特征提取层生成一个对应的3D特征图；其中，Ai为第i个特征提取层对应生成的3D特征图；i＝1,2,3，…，z；

其中，三维特征提取处理中的第一个特征提取层用于采用(1,1,5)、(1,5,1)和(3,1,1)尺寸的一维卷积核依次对所述目标3D云图进行多次重复卷积操作；其中，所述一维卷积核中的数值依次表示卷积核的时序深度、卷积核长度及卷积核宽度；A1的数据维度与所述目标3D云图的相同；从A2到Az的特征图尺寸依次缩小2倍；

使用二维卷积对所述目标2D云图进行二维特征提取处理，生成多个2D特征图B1，B2，…，Bn，…，By；所述二维特征提取处理包括y个串行连接的特征提取层；每一特征提取层生成一个对应的2D特征图；其中，Bn为第n个特征提取层对应生成的2D特征图；n＝1,2,3，…，y；

其中，B1的数据维度与所述目标2D云图的数据维度相同；从B2到By的特征图尺寸依次缩小2倍；

对多个3D特征图进行三维特征融合处理，生成初始三维融合特征F1；所述三维特征融合处理用于将多个所述特征提取层的3D特征图进行融合；

对多个2D特征图进行二维特征融合处理，生成初始二维融合特征F2；所述二维特征融合处理用于将多个所述特征提取层的2D特征图进行融合；所述初始三维融合特征与所述初始二维融合特征具有相同的数据维度；

将F1及F2进行域间特征融合处理，生成目标融合预测特征；

对所述目标融合预测特征进行解码处理，生成云图的预测图像。

2.根据权利要求1所述的方法，其特征在于，z＝y＝4。

3.根据权利要求2所述的方法，其特征在于，对多个3D特征图进行三维特征融合处理，生成初始三维融合特征F1，包括：

对A1及A2进行层间特征融合处理，生成第一子融合特征C1；

对A3及A4进行层间特征融合处理，生成第二子融合特征C2；

对C1及C2进行层间特征融合处理，生成F1；所述层间特征融合处理用于将相邻层的两个特征进行融合。

4.根据权利要求2所述的方法，其特征在于，对多个2D特征图进行二维特征融合处理，生成初始二维融合特征F2，包括：

对B1及B2进行层间特征融合处理，生成第三子融合特征C3；

对B3及B4进行层间特征融合处理，生成第四子融合特征C4；

对C3及C4进行层间特征融合处理，生成F2；所述层间特征融合处理用于将相邻层的两个特征进行融合。

5.根据权利要求3所述的方法，其特征在于，所述对A1及A2进行层间特征融合处理，生成第一子融合特征C1，包括：

对A1及A2分别进行数据维度调整处理，分别生成A1对应的第一带融合特征图A1^，及A2对应的第二带融合特征图A2^，；A1^，及A2^，的数据维度相同；所述数据维度包括特征的长度、特征的宽度特征的通道数；

对进行A1^，进行节点特征提取，生成对应的多个第一节点向量D1，D2，…，Dm，…，Dx；其中，Dm为A1^，中的第m个第一节点特征对应的第一节点向量，x为A1^，中的第一节点特征的总数；

对进行A2^，进行节点特征提取，生成对应的多个第二节点向量E1，E2，…，Em，…，Ex；其中，Em为A2^，中的第m个第二节点特征对应的第二节点向量；

获取每一所述第一节点向量与每一所述第二节点向量的相似度；

根据所述相似度，获取每一所述第一节点特征对应的多个邻接节点特征；所述邻接节点特征为与对应的第一节点向量的相似度大于相似度阈值的每一第二节点向量对应的第二节点特征；

使用图注意力机制对每一所述第一节点特征及对应的多个邻接节点特征进行自注意力编码，生成每一所述第一节点特征对应的第一重构节点特征；

将A1^，中所有所述第一节点特征对应的第一重构节点特征，作为第一子融合特征C1。

6.根据权利要求5所述的方法，其特征在于，每一所述第一节点特征对应的32个邻接节点特征。

7.根据权利要求5所述的方法，其特征在于，获取每一所述第一节点向量与每一所述第二节点向量的相似度，包括：

将每一所述第一节点向量与每一所述第二节点向量的乘积，作为对应的所述第一节点向量与所述第二节点向量的相似度。

8.根据权利要求7所述的方法，其特征在于，在获取每一所述第一节点向量与每一所述第二节点向量的相似度之后，所述方法还包括：

对每一相似度进行归一化处理，生成每一相似度对应的相似值，每一所述相似值均属于[0,1]。

9.一种非瞬时性计算机可读存储介质，所述非瞬时性计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的一种面向连续帧的双流云图预测方法。

10.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的一种面向连续帧的双流云图预测方法。

Images