CN112785629A - 一种基于无监督深度光流网络的极光运动表征方法 - Google Patents

Abstract

本发明公开了一种无监督深度光流网络的极光运动表征方法，其实现步骤为：1.以预处理后的相邻两幅全天空极光图像作为输入，利用光流网络计算双向光流；2.利用全天空极光图像和双向光流计算双向翘曲图像；3.利用双向光流推理出双向形变图；4.利用全天空极光图像、翘曲图像和双向形变图构造损失函数，以此来优化训练光流网络；5.训练完成后，利用该光流网络提取极光观测视频的像素级极光光流场作为极光运动表征。本发明解决了极光数据不满足光流的亮度一致性假设且缺乏训练数据的问题，具有精度高、鲁棒性强的优点，可用于从复杂的极光观测视频中进行极光事件识别与检测。

Description

一种基于无监督深度光流网络的极光运动表征方法

技术领域

本发明属于视频分析技术领域，更进一步涉及极光运动的表征方法，可用于从复杂的极光观测视频中进行极光事件识别与检测。

背景技术

极光是一种发生在地球南北极高空缤纷绚丽的地球物理现象，它是太阳风携带的高能带电粒子随着磁力线运动到地球南北极上空，与高层大气中的粒子相互碰撞而激发的发光现象，是研究太阳风暴的最佳窗口。目前，极光的观测手段有很多，如光学成像观测、雷达观测和磁力计观测等。其中以全天空成像仪为代表的光学观测时空分辨率高，其获取的极光观测视频记录着极光的二维形态结构随时间的演化规律。

早期关于极光运动的研究“J.Kimball,T.J.Hallinan.Observations of blackauroral patches and of their relationship to other types of aurora.Journal ofGeophysical Research,1998,pp.14671-14682.”通过视觉追踪极光某一特定结构或特征来估计极光的运动速度，这样的人工研究方式使得对极光运动的分析往往被局限于案例分析，只有少数的极光事件得到研究。后来，Blixt等人在文献“Blixt E M,Semeter J,Ivchenko N.Optical flow analysis of the aurora borealis.IEEE Geoscience&Remote Sensing Letters,2006,pp.159-163.”中将变分光流法用于估计极光的二维速度场并分析了光流法用于极光数据的可行性。但是，该方法存在以下问题：第一，他们的光流场计算基于经典的亮度不变假设，即观测对象在运动过程中亮度保持不变，且运动物体被假设为刚性的，存在稳定突出的轮廓特征，然而绝大多数极光图像中不存在这样稳定的观测对象，极光的形状、亮度、体积等在演变过程中都会发生改变，所以极光数据是不满足亮度不变假设的。第二，在该文献的光流求解过程中，目标方程的解是用微分形式表示的视标速度。由于微分的性质，基于速度方法的一个隐含假设是图像序列中的运动尺度较小，然而在极光的演变过程中，两帧间的运动可能包含不同大小的运动尺度。近年来，深度神经网络的成功推动了光流计算方法的发展。2015年文献“Fischer P,Dosovitskiy A,Ilg E,etal.FlowNet:Learning Optical Flow with Convolutional Networks.IEEEInternational Conference on Computer Vision,2015,pp.2758-2766.”首次提出了端到端有监督学习的Flownet光流卷积网络，该网络以两幅连续图像作为输入，采用先编码再解码的网络结构输出像素级光流场。随后的Flownet 2.0将几个基本Flownet模块进行堆叠，并一起进行迭代训练，显著提高了光流估计的准确性。但是，有监督深度光流模型训练需要大量的标记数据，实现成本非常高。

综上所述，现有方法用于极光运动估计会存在以下问题：

(1)全天空成像仪每年会获取数以百万计的极光图像，面对多年累积的极光观测数据，人工估计极光运动方法越来越力不从心；

(2)极光不具有刚体性质，在其演变过程中，形状、亮度和体积都会发生变化，因此极光数据不满足变分光流法的亮度不变假设；

(3)基于速度方法的变分光流法使用微分的形式求解目标方程，要求观测对象运动尺度较为固定。然而在极光的演变过程中，两帧间的运动可能包含不同的运动尺度，该种求解方式无法获得准确的极光光流场；

(4)人工标记像素级的极光光流场极为困难，难以提供有监督深度光流模型所需的大量训练数据。

发明内容

本发明的目的在于针对上述极光运动估计方法的不足，提出一种基于无监督深度光流网络的极光运动表征方法，以在无监督的方式下完成极光光流估计，提高极光运动表征正确性。

实现本发明上述目的的技术方案是：首先以预处理后的两幅连续全天空极光图像作为输入，利用光流网络输出双向光流；其次，利用全天空极光图像和双向光流计算出双向翘曲图像；然后结合形变检测和Census变换构造损失函数，计算全天空极光图像与翘曲图像的差异，以此来优化光流网络参数；最后使用优化后的光流网络提取像素级极光光流场。其具体步骤包括如下：

步骤1：提取极光观测视频中的每一帧原始极光图像，对每一帧原始极光图像进行预处理，将预处理后的极光图像按时间排序，得到连续的全天空极光图像序列；

步骤2：以相邻两幅连续的全天空极光图像I₁和I₂作为输入，通过光流网络输出得到前向光流w_f和后向光流w_b；

步骤3：利用前向-后向一致性约束，通过前向光流w_f和后向光流w_b对极光形变结构进行推理，获取前向形变图O_f和后向形变图O_b；

步骤4：结合空间变换模块，利用全天空极光图像I₂和前向光流w_f计算出前向翘曲图像

利用全天空极光图像I₁和后向光流w_b计算出后向翘曲图像

步骤5：计算全天空极光图像和翘曲图像间的差异，并结合前向形变图O_f和后向形变图O_b构造损失函数；

步骤6：根据反向传播训练法原理，通过最小化损失函数，得到优化后的光流网络参数，更新并保存网络参数；

步骤7：向优化后的光流网络中输入任意两幅连续的全天空极光图像，输出即为对应的像素级极光光流场。

进一步地，步骤1中的预处理包括：(1)减去暗电流；(2)去除边缘噪声；(3)灰度拉伸；(4)图像旋转；(5)图像裁剪，预处理后的图像大小为440×440，得到连续的全天空极光图像序列。

进一步地，步骤2的光流网络包含特征金字塔提取网络和光流估计网络，网络前馈过程步骤如下：

2.1)输入两帧连续的全天空极光图像I₁和I₂，利用相同的特征金字塔提取网络分别提取两幅图像的特征图。特征金字塔提取网络的第1级特征图为输入图像，通道数为3；后面各级的通道数依次为16、32、64、96、128、192，每级由一个2倍下采样层和一个卷积层组成，下采样层和卷积层均使用尺寸为3×3、步长为2的卷积核来实现，并在卷积层后通过leaky Relu函数输出各级特征图。利用所有级的特征图构成7级特征金字塔；

2.2)首先处理特征金字塔的第l＝7级，将第l+1级的上采样光流设置为0，执行步骤2.3)-2.5)；其次当l<7时，将第l+1级的光流通过双线性插值法进行上采样，得到第l+1级的上采样光流，并从l＝6开始，逐级重复执行步骤2.3)-2.5)，直至第l＝1级；最后将特征金字塔第l＝1级的光流图输出作为前向光流w_f；

2.3)利用第l+1级的上采样光流，使用双线性插值法将第二幅图像的特征图向第一幅图像的特征图进行翘曲，得到翘曲特征图

2.4)利用第一帧图像第l级的特征图F₁ ^l和翘曲特征图

构建第l级特征图匹配代价cv^l，公式如下：

其中，N表示F₁ ^l的列向量长度，T是转置运算符；

2.5)将第l级匹配代价cv^l、第一帧图像的第l级特征图F₁ ^l和第l+1级的上采样光流在通道维度拼接，将得到的通道数为115的特征图输入到光流估计网络中。光流估计网络的每个卷积层使用尺寸为3×3、步长为1的卷积核，输出通道分别为128、128、96、64、32、2，除最后一个卷积层外，每个卷积层后添加leaky Relu函数。将最后一个卷积层的输出作为第l级光流图；

2.6)交换全天空极光图像输入顺序为I₂和I₁，重复执行2.1)-2.5)，输出第1级光流图作为后向光流w_b。

进一步地，步骤3利用前向-后向一致性假设，若前后两帧全天空极光图像未发生形变，它们的前向光流和后向光流互为相反数。具体的，当全天空极光图像中某一像素的前向光流和后向光流不符合下述前向一致性约束时，则判断该像素发生前向形变，并将该像素处的形变像素值标记为1，反之则标记为0：

其中，α₁＝0.01，α₂＝0.5，

Ω是全天空极光图像像素的集合。遍历全天空极光图像中的所有像素点，得到的所有形变像素构成了前向形变图O_f。

后向形变图O_b的生成过程与前向形变图O_f类似，只需将上述前向一致性约束中的w_f替换为w_b、

替换为

w_b替换为w_f即可。

进一步地，空间变换模块包含两个部分：网格生成器和图像采样器；网格生成器由以下方式逐点转换生成采样网格：

其中，(x₂,y₂)是全天空极光图像中的采样像素坐标，(x₁,y₁)是翘曲图像中的像素坐标，(u,v)为预测的光流，W_(u,v)表示二维仿射变换矩阵，W_(u,v)和(u,v)由光流网络预测生成；图像采样器利用双线性插值法对翘曲图像进行像素填充，公式如下：

其中，

为翘曲图像，H和W分别为图像的高和宽，(i,j)表示(x₂,y₂)周围的坐标值，I₂(i,j)表示全天空极光图像I₂中(i,j)处的像素值。

进一步地，步骤5中构造损失函数的操作如下：首先利用Census变换对全天空极光图像I₁和I₂以及步骤4得到的翘曲图像

和

补偿亮度变化；然后计算Census变换后的I₁和

间的汉明距离以及变换后的I₂和

间的汉明距离，以此来表示翘曲图像与全天空极光图像的差异；最后，利用前向形变图O_f屏蔽I₁和

中的形变像素，利用后向形变图O_b屏蔽I₂和

中的形变像素，并为前向形变图和后向形变图添加约束项λ(O_f+O_b)，最终构造的损失函数表示如下：

其中，ρ(x)＝(x²+ε²)^γ是具有鲁棒性的Charbonnier惩罚函数，ε＝0.001，γ＝0.45，λ＝12.4，T(·)表示利用Census变换计算两幅图像间的差异。

与现有技术相比，本发明具有以下优点：

(1)本发明解决了极光数据不符合亮度不变假设的问题，利用Census变换补偿极光图像的加性和乘性亮度变化以及伽马变化，减少了亮度变化引起的错误匹配，避免了极光突变过程中的亮度变化问题，提升了光流估计的鲁棒性；

(2)本发明考虑了极光的非刚体性质，利用前向-后向一致性约束检测极光形变像素，以创建掩膜的方式屏蔽极光形变区域，避免了极光运动过程中形状和体积变化带来的问题，有效提升了光流估计的准确性；

(3)本发明设计了7层特征金字塔提取网络逐级提取特征，通过上采样的方式结合来自高层的语义特征，使得网络可以联合学习深层特征与浅层特征，从而使不同运动尺度的极光光流场都能得到准确的估计；

(4)本发明设计了一种无监督光流训练方法，仅使用全天空极光图像序列训练光流网络，避免了昂贵的真实光流数据的获取，有效提升了本发明的可实现性。

附图说明

图1是本发明公开的一种基于无监督深度光流网络的极光运动表征方法的整体结构图；

图2是本发明的光流可视化示例；

图3是本发明的损失函数消融实验视觉比较，其中列(a)是预处理后的全天空极光图像，列(b)为采用亮度不变假设且不考虑形变训练的光流图，列(c)为采用亮度不变假设且考虑形变训练的光流图，列(d)为使用Census变换且不考虑形变训练的光流图，列(e)为使用Census变换且考虑形变训练的光流图。

具体实施方式

下面结合附图对本发明的实现步骤和技术效果做进一步的详细描述：

一种基于无监督深度光流网络的极光运动表征方法，包括以下步骤：

步骤1：提取极光观测视频中的每一帧原始极光图像，对每一帧原始极光图像进行预处理，将预处理后的极光图像按时间排序，得到连续的全天空极光图像序列；

步骤2：使用连续的全天空极光图像序列对光流网络进行训练。

2.1)输入两帧连续的全天空极光图像I₁和I₂，利用相同的特征金字塔提取网络分别提取两幅图像的特征图。特征金字塔提取网络的第1级特征图为输入图像，通道数为3；后面各级的通道数依次为16、32、64、96、128、192，每级由一个2倍下采样层和一个卷积层组成，下采样层和卷积层均使用尺寸为3×3、步长为2的卷积核来实现，并在卷积层后通过leaky Relu函数输出各级特征图。利用所有级的特征图构成7级特征金字塔；

2.2)首先处理特征金字塔的第l＝7级，将第l+1级的上采样光流设置为0，执行步骤2.3)-2.5)；其次当l<7时，将第l+1级的光流通过双线性插值法进行上采样，得到第l+1级的上采样光流，并从l＝6开始，逐级重复执行步骤2.3)-2.5)，直至第l＝1级；最后将特征金字塔第l＝1级的光流图输出作为前向光流w_f；

2.3)利用第l+1级的上采样光流，使用双线性插值法将第二幅图像的特征图向第一幅图像的特征图进行翘曲，得到翘曲特征图

2.4)利用第一帧图像第l级的特征图F₁ ^l和翘曲特征图

构建第l级特征图匹配代价cv^l，公式如下：

其中，N表示F₁ ^l的列向量长度，T是转置运算符；

2.5)将第l级匹配代价cv^l、第一帧图像的第l级特征图F₁ ^l和第l+1级的上采样光流在通道维度拼接，将得到的通道数为115的特征图输入到光流估计网络中。光流估计网络的每个卷积层使用尺寸为3×3、步长为1的卷积核，输出通道分别为128、128、96、64、32、2，除最后一个卷积层外，每个卷积层后添加leaky Relu函数。将最后一个卷积层的输出作为第l级光流图；

2.6)交换全天空极光图像输入顺序为I₂和I₁，重复执行2.1)-2.5)，输出第1级光流图作为后向光流w_b。

步骤3：利用文献“Sundaram,N.；Brox,T.；and Keutzer,K.Dense pointtrajectories by GPU-accelerated large displacement optical flow.EuropeanConference on Computer Vision,2010,pp.438–451.”提出的前向-后向一致性假设，若前后两帧全天空极光图像未发生形变，它们的前向光流和后向光流互为相反数。前向形变图O_f和后向形变图O_b的生成过程如下：

3.1)当全天空极光图像中某一像素的前向光流和后向光流不符合下述前向一致性约束时，则判断该像素发生前向形变，并将该像素处的形变像素值标记为1，反之则标记为0：

其中，α₁＝0.01，α₂＝0.5，

Ω是全天空极光图像像素的集合。遍历全天空极光图像中的所有像素点，得到的所有形变像素构成了前向形变图O_f。

3.2)当全天空极光图像中某一像素的后向光流和前向光流不符合下述后向一致性约束时，则判断该像素发生后向形变，并将该像素处的形变像素值标记为1，反之则标记为0：

其中，α₁＝0.01，α₂＝0.5，

遍历全天空极光图像中的所有像素点，得到的所有形变像素构成了后向形变图O_b。

步骤4：结合“M.Jaderberg,K.Simonyan,A.Zisserman,andK.Kavukcuoglu.Spatial transformer networks.Proceedings of the 28thInternational Conference on Neural Information Processing Systems,2015,pp.2017–2025”提出的空间变换模块，利用全天空极光图像I₂和前向光流w_f计算出前向翘曲图像

利用全天空极光图像I₁和后向光流w_b计算出后向翘曲图像

空间变换模块包含网格生成器和图像采样器。经典的空间变换网络还包含定位网络，由于本发明提取的极光光流场已经为全天空极光图像和翘曲图像之间的映射提供了仿射变换参数，所以不需要定位网络，网格生成器由以下方式逐点转换生成采样网格，以前向翘曲为例：

其中，(x₂,y₂)是全天空极光图像中的采样像素坐标，(x₁,y₁)是翘曲图像中的像素坐标，(u,v)为预测的光流，W_(u,v)表示二维仿射变换矩阵，W_(u,v)和(u,v)由光流网络预测生成。图像采样器利用双线性插值法对翘曲图像进行像素填充，公式如下：

其中，

为翘曲图像，H和W分别为图像的高和宽，(i,j)表示(x₂,y₂)周围的坐标值，I₂(i,j)表示全天空极光图像I₂中(i,j)处的像素值。

步骤5：利用Census变换计算全天空图像和翘曲图像间的差异。Census变换可以补偿加性和乘性的亮度变化以及伽马变化，能够减少亮度差异引起的错误匹配，对光流估计具有鲁棒性。其实质是将图像像素的灰度值编码成二进制码流，以此来获取邻域像素灰度值相对于中心像素灰度值的大小关系。构建损失函数的具体步骤如下：

5.1)利用Census变换补偿全天空极光图像和步骤4中翘曲图像的极光亮度变化；

5.2)计算变换后的I₁和

间的汉明距离以及变换后的I₂和

间的汉明距离，以此来表示翘曲图像与全天空极光图像的差异；

5.3)利用前向形变图O_f屏蔽I₁和

中的形变像素，利用后向形变图O_b屏蔽I₂和

中的形变像素，并为前向形变图和后向形变图添加约束项λ(O_f+O_b)，避免网络将过多的像素判定为形变，最终构造的损失函数表示如下：

其中，ρ(x)＝(x²+ε²)^γ是具有鲁棒性的Charbonnier惩罚函数，ε＝0.001，γ＝0.45，λ＝12.4，T(·)表示利用Census变换计算两幅图像间的差异。

步骤6：根据反向传播训练法原理，通过最小化损失函数L，自动更新光流网络参数，更新完毕后保存网络参数；

步骤7：向训练好的光流网络中输入任意两帧连续的全天空极光图像，输出为对应的像素级极光光流场。图2是本发明提取极光光流场的一个示例，左列是两帧连续全天空极光图像的第一帧，中间列是本发明提取的极光光流场，右列是方框中光流场的稀疏采样。

图3是对损失函数的形变检测和Census变换模块进行了消融实验的视觉对比图，当不考虑形变时，将损失函数L中的O_f和O_b设置为0，当不使用Census变换而采用原始亮度不变假设时，

其中列(a)是全天空极光图像，列(b)为采用亮度不变假设且不考虑形变训练的光流图，列(c)为采用亮度不变假设且考虑形变训练的光流图，列(d)为使用Census变换且不考虑形变训练的光流图，列(e)为使用Census变换且考虑形变训练的光流图。对比(b)和(d)，可以看到Census变换明显地改善了光流估计效果，这是因为极光图像数据不符合亮度不变假设，而Census变换补偿了亮度变化，因而对极光光流估计具有鲁棒性。对比(d)和(e)，可以看出形变处理可以提高模型的光流估计性能。而(b)和(c)几乎没有差别，是因为形变检测是基于双向光流的，当模型预测的光流不够准确时，形变检测无法推导出正确的形变区域，也就难以提升光流估计效果。

本发明的效果可以通过极向运动极光(Poleward Moving Auroras,PMAs)事件识别仿真实验进一步描述。

实验1：基于光流的PMAs事件识别。

实验条件：本发明利用北极黄河站2003年11月至2004年12月采集的极光观测视频构建数据集进行实验。其中，训练数据集来自2003年11月至2004年1月共20天的极光观测，我们从中挑选了349个PMAs事件，PMAs事件的持续时间由2min到18min不等；从剩余的极光观测中随机挑选了431个非PMAs事件，其亮度、形状和持续时间变化较大，最长持续时间可达24min.测试数据集来自2004年的11/23、11/24、11/30和12/26共四天的日侧(03:00-15:00UT/06:00-18:00MLT)连续观测，其中，11/23、11/24和12/26三天的数据中有云层和月光干扰，11/30天气较为晴朗。

实验内容：

首先，对上述训练和测试数据集中的全天空极光图像序列，分别使用最新的无监督深度光流方法BackToBasic、UnFlow、DDFlow、EpiFlow-sub和本发明方法提取极光光流场；

其次，利用训练数据集对应的极光光流场对PMAs识别模型ResNet-18进行训练；

最后，比较本发明和其他四种光流方法在测试数据集上的PMAs识别准确率，结果见表1。

表1PMAs事件识别准确率(％)比较

从表1可以看出，本发明方法能够适应不同天气条件下的PMAs识别任务，在五种方法中取得了最优的结果，证明了本发明极光运动表征方法的有效性。而UnFlow方法虽然在天气晴朗的11/30准确率较高，但它在其它较恶劣天气条件下的准确率急剧下降，鲁棒性较差；这是由于该方法添加了全局平滑约束用于约束各像素邻域内的局部运动，使得模型仅提取到极光大尺度的全局运动而忽略了小尺度的局部运动。

Claims (6)

1.一种基于无监督深度光流网络的极光运动表征方法，其特征在于，包括以下步骤：

步骤1：提取极光观测视频中的每一帧原始极光图像，对每一帧原始极光图像进行预处理，将预处理后的极光图像按时间排序，得到连续的全天空极光图像序列；

步骤2：以相邻两幅连续的全天空极光图像I₁和I₂作为输入，通过光流网络输出得到前向光流w_f和后向光流w_b；

步骤3：利用前向-后向一致性约束，通过前向光流w_f和后向光流w_b对极光形变结构进行推理，获取前向形变图O_f和后向形变图O_b；

步骤4：结合空间变换模块，利用全天空极光图像I₂和前向光流w_f计算出前向翘曲图像

利用全天空极光图像I₁和后向光流w_b计算出后向翘曲图像I₁ ^w；

步骤5：计算全天空极光图像和翘曲图像间的差异，并结合前向形变图O_f和后向形变图O_b构造损失函数；

步骤6：根据反向传播训练法原理，通过最小化损失函数，得到优化后的光流网络参数，更新并保存网络参数；

步骤7：向优化后的光流网络中输入任意两幅连续的全天空极光图像，输出即为对应的像素级极光光流场。

2.根据权利要求1所述的一种基于无监督深度光流网络的极光运动表征方法，其特征在于，步骤1中的预处理包括：(1)减去暗电流；(2)去除边缘噪声；(3)灰度拉伸；(4)图像旋转；(5)图像裁剪，预处理后的图像大小为440×440，得到连续的全天空极光图像序列。

3.根据权利要求1所述的一种基于无监督深度光流网络的极光运动表征方法，其特征在于，步骤2的光流网络包含特征金字塔提取网络和光流估计网络，网络前馈过程步骤如下：

2.1)输入两帧连续的全天空极光图像I₁和I₂，利用相同的特征金字塔提取网络分别提取两幅图像的特征图；特征金字塔提取网络的第1级特征图为输入图像，通道数为3；后面各级的通道数依次为16、32、64、96、128、192，每级由一个2倍下采样层和一个卷积层组成，下采样层和卷积层均使用尺寸为3×3、步长为2的卷积核来实现，并在卷积层后通过leakyRelu函数输出各级特征图；利用所有级的特征图构成7级特征金字塔；

2.2)首先处理特征金字塔的第l＝7级，将第l+1级的上采样光流设置为0，执行步骤2.3)-2.5)；其次当l<7时，将第l+1级的光流通过双线性插值法进行上采样，得到第l+1级的上采样光流，并从l＝6开始，逐级重复执行步骤2.3)-2.5)，直至第l＝1级；最后将特征金字塔第l＝1级的光流图输出作为前向光流w_f；

2.3)利用第l+1级的上采样光流，使用双线性插值法将第二幅图像的特征图向第一幅图像的特征图进行翘曲，得到翘曲特征图

2.4)利用第一帧图像第l级的特征图F₁ ^l和翘曲特征图

构建第l级特征图匹配代价cv^l，公式如下：

其中，N表示F₁ ^l的列向量长度，T是转置运算符；

2.5)将第l级匹配代价cv^l、第一帧图像的第l级特征图F₁ ^l和第l+1级的上采样光流在通道维度拼接，将得到的通道数为115的特征图输入到光流估计网络中；光流估计网络的每个卷积层使用尺寸为3×3、步长为1的卷积核，输出通道分别为128、128、96、64、32、2，除最后一个卷积层外，每个卷积层后添加leaky Relu函数；将最后一个卷积层的输出作为第l级光流图；

2.6)交换全天空极光图像输入顺序为I₂和I₁，重复执行2.1)-2.5)，输出第1级光流图作为后向光流w_b。

4.根据权利要求1所述的一种基于无监督深度光流网络的极光运动表征方法，其特征在于，步骤3利用前向-后向一致性假设，若前后两帧全天空极光图像未发生形变，它们的前向光流和后向光流互为相反数；具体的，当全天空极光图像中某一像素的前向光流和后向光流不符合下述前向一致性约束时，则判断该像素发生前向形变，并将该像素处的形变像素值标记为1，反之则标记为0：

其中，α₁＝0.01，α₂＝0.5，

p∈Ω，Ω是全天空极光图像像素的集合，遍历全天空极光图像中的所有像素点，得到的所有形变像素构成了前向形变图O_f；

后向形变图O_b的生成过程与前向形变图O_f类似，只需将上述前向一致性约束中的w_f替换为w_b、

替换为

w_b替换为w_f即可。

5.根据权利要求1所述的一种基于无监督深度光流网络的极光运动表征方法，其特征在于，空间变换模块包含两个部分：网格生成器和图像采样器；网格生成器由以下方式逐点转换生成采样网格：

其中，(x₂,y₂)是全天空极光图像中的采样像素坐标，(x₁,y₁)是翘曲图像中的像素坐标，(u,v)为预测的光流，W_(u,v)表示二维仿射变换矩阵，W_(u,v)和(u,v)由光流网络预测生成；

图像采样器利用双线性插值法对翘曲图像进行像素填充，公式如下：

其中，

为翘曲图像，H和W分别为图像的高和宽，(i,j)表示(x₂,y₂)周围的坐标值，I₂(i,j)表示全天空极光图像I₂中(i,j)处的像素值。

6.根据权利要求1所述的一种基于无监督深度光流网络的极光运动表征方法，其特征在于，步骤5中构造损失函数的操作如下：首先利用Census变换对全天空极光图像I₁和I₂以及步骤4得到的翘曲图像I₁ ^w和

补偿亮度变化；然后计算Census变换后的I₁和

间的汉明距离以及变换后的I₂和I₁ ^w间的汉明距离，以此来表示翘曲图像与全天空极光图像的差异；最后，利用前向形变图O_f屏蔽I₁和

中的形变像素，利用后向形变图O_b屏蔽I₂和I₁ ^w中的形变像素，并为前向形变图和后向形变图添加约束项λ(O_f+O_b)，最终构造的损失函数表示如下：

其中，ρ(x)＝(x²+ε²)^γ是具有鲁棒性的Charbonnier惩罚函数，ε＝0.001，γ＝0.45，λ＝12.4，T(·)表示利用Census变换计算两幅图像间的差异。

Images