CN117196948A - 一种基于事件数据驱动的视频超分辨率方法 - Google Patents

Abstract

本发明公开了一种基于事件数据驱动的视频超分辨率方法，其步骤包括：1、准备训练视频数据和对应的事件序列，并对事件序列进行分割；2、构建视频超分辨率神经网络模型；3、对构建的视频超分辨率神经网络模型进行离线训练；4、利用训练好的模型进行预测，以实现视频超分辨率的目标。本发明通过利用事件数据驱动的方式，能提升视频超分辨率的修复效果，从而能生成清晰的视频帧。

Description

一种基于事件数据驱动的视频超分辨率方法

技术领域

本发明属于计算机视觉领域，具体的说是一种基于事件数据驱动的视频超分辨率方法。

背景技术

近年来，视频超分辨率技术得到了迅速发展，并在多个领域中有着广泛的应用，包括遥感、视频监控、视频压缩等领域。与单个图像超分辨率技术相比，视频超分辨率技术是一项更加具有挑战性的任务。除了需要提升图像质量之外，视频超分辨率技术还需要保证视频的时序一致性。

时序对齐是视频超分辨率技术中的一个关键步骤，它指的是根据时间对应关系对多个视频帧进行对齐。一种常用的时序对齐方法是利用光流来对相邻帧进行对齐。然而，光流法存在一定的局限性。例如，在光照变化或者快速运动的情况下，光流的准确性会受到影响，进而导致模糊或遮挡问题。除此之外，一些研究尝试使用可变形卷积进行隐式对齐，但这种方法在计算复杂性和可学习偏移的随机初始化方面存在问题。

从方法分类的角度来看，视频超分辨率技术主要可分为隐式对齐方法和显式对齐方法两类。隐式对齐方法通常依靠深度神经网络的强大建模能力来直接生成当前帧，而无需过多关注相邻帧之间的对齐问题。显式对齐方法则通常依赖于运动估计和补偿技术，通过对相邻帧进行对齐和提取补充信息来重建当前帧。然而，这些方法在面对具有复杂纹理的困难情况时仍然存在挑战，尤其由于低分辨率序列中容易丢失高频信息，导致修复出的高分辨率序列缺少高频信息。

虽然视频超分辨率技术已取得了显著进展，但在时序对齐、处理复杂场景和高频信息恢复等方面仍存在一系列未解决的问题和挑战。这些问题和挑战为进一步的研究提供了方向。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种基于事件数据驱动的视频超分辨率方法，旨在通过引入事件数据，有效地捕获物体高速运动、运动模糊环境下的细微变化，从而能实现更精准地进行帧间对齐，并在复杂光照条件下保持稳健性。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于事件数据驱动的视频超分辨率方法的特点在于，是按如下步骤进行：

步骤1、获取训练视频数据和对应的事件序列，并对事件序列进行分割：

步骤1.1.1、获取高分辨率视频图像集，记为Y＝{y₁,y₂,...,y_i,…,y_N}，其中，y_i表示第i个高分辨率图像，i＝1,2,...,N，N为高分辨率图像的总数；

对高分辨率数据集Y进行降质处理，得到低分辨率视频图像集，记为X＝{x₁,x₂,…,x_i,...,x_N}，其中，x_i表示第i个低分辨率图像；

步骤1.1.2、获取高分辨率视频图像集Y的事件序列，记为E_Y＝{E₁,...,E_i,...,E_N}，其中，E_i表示第i个高分辨率图像y_i所对应的事件序列；

对事件序列E_Y降质生成低分辨率图像集X的事件序列，记为E_X＝{e₁,...,e_i,...,e_N},e_i表示第i个低分辨率图像x_i所对应的事件序列；

步骤2构建视频超分辨率神经网络，包括：前向传播模块、反向传播模块、跨模态融合模块、帧重建模块；

步骤2.1、所述前向传播模块对x_i-1、x_i和e_i-1进行处理，得到第i个前向传播特征图

步骤2.2、所述反向传播模块对x_i+1、x_i和e_i进行处理，得到第i个反向传播特征图

步骤2.3、所述跨模态融合模块对e_i-1、x_i和e_i进行处理，得到跨模态融合特征F_i；

步骤2.4、所述帧重建模块U由多个反卷积层和上采样层依次串联组成，并对第i+1个前向传播特征图第i-1个反向传播特征图/>和跨模态融合特征F_i进行处理后，得到第i个超分辨率图像/>从而得到超分辨率视频集/>

步骤3、利用式(7)构建损失函数L：

式(7)中，ε是一个非负常数；

步骤4、利用梯度下降法对视频超分辨率神经网络进行训练，并计算所述损失函数L以更新网络参数，当训练迭代次数达到设定的次数或损失函数L收敛时，训练停止，从而得到最优视频超分辨率模型；用于对低分辨率视频图像进行处理，以获得对应的清晰的高分辨率视频图像。

本发明所述的基于事件数据驱动的视频超分辨率方法的特点也在于，所述前向传播模块包括：一个帧光流估计网络S、一个事件光流估计网络U、m个残差连接层和一个特征融合层；

步骤2.1.1、所述帧光流估计网络S由m₁层下采样卷积层和m₁层上采样卷积层交替连接组成；

将所述第i-1个低分辨率图像x_i-1和第i个低分辨率图像x_i输入所述帧光流估计网络S中进行光流估计，得到关于x_i的第i个前向帧光流f_i ^s,f；

利用式(1)对第i个前向帧光流f_i ^s,f和第i-1个前向传播特征图进行warp变换，从而得到第i个来自前向帧光流对齐的特征/>

式(1)中，warp表示图像扭曲变换；当i＝1时，令

步骤2.1.2、所述事件光流估计网络U为定制轻量的m₂层“编码-解码”结构的神经网络；

将所述第i-1个事件序列e_i-1输入所述事件光流估计网络U中进行光流估计，得到关于x_i的第i个前向事件光流f_i ^e,f；

利用式(2)对第i个前向事件光流f_i ^e,f和第i-1个前向传播特征图进行warp变换，从而得到第i个来自前向事件光流对齐的特征/>

步骤2.1.3、第i个前向帧光流对齐的特征和第i个前向事件光流对齐的特征分别经过非共享的m个残差连接层进行特征提取，相应得到帧对齐特征图和事件对齐特征图，再沿着特征通道拼接后，得到第i个前向拼接特征图F_i ^f；

步骤2.1.4、所述特征融合层将第i个前向拼接特征图F_i ^f与第i个低分辨率图像x_i进行拼接后再进行残差处理，得到第i个前向传播特征图

所述反向传播模块包括：与前向传播模块共享参数的帧光流估计网络S和事件光流估计网络U、m个残差连接层、一个特征融合层；

步骤2.2.1、将所述第i+1个低分辨率图像x_i+1和第i个低分辨率图像x_i输入所述帧光流估计网络S中进行光流估计，得到关于x_i的第i个反向帧光流f_i ^s,b；

利用式(3)对第i个反向帧光流f_i ^s,b和第i-1个反向传播特征图进行warp变换，从而得到第i个来自反向帧光流对齐的特征/>

式(3)中，当i＝1时，令

步骤2.2.2、将所述第i个事件序列e_i输入所述事件光流估计网络U中进行光流估计，得到第i个反向事件光流f_i ^e,b；

利用式(4)对第i个反向事件光流f_i ^e,b和第i-1个反向传播特征图进行warp变换，从而得到第i个来自事件光流对齐的特征/>

步骤2.2.3、第i个反向帧光流对齐的特征和第i个事件光流对齐的特征/>分别经过非共享的m个残差连接层进行特征提取，相应得到帧对齐特征图和事件对齐特征图，再沿着特征通道拼接后，得到第i个反向拼接特征图F_i ^b；

步骤2.2.4、所述特征融合层将第i个反向拼接特征图F_i ^b与第i个低分辨率图像x_i进行拼接后再进行残差处理，得到第i个反向传播特征图

所述反所述跨模态融合模块包括：特征金字塔提取器FE、通道注意力分支、空间注意力分支；

步骤2.3.1、所述特征金字塔提取器FE由S层卷积层组成；

所述第i-1个事件序列e_i-1、第i个低分辨率图像x_i和第i个事件序列e_i分别输入所述特征金字塔提取器FE中进行特征提取，相应得到每一层的金字塔特征，其中，第i-1个事件序列e_i-1的第s层特征记为第i个低分辨率图像x_i的第s层特征记为IF_i ^s、第i个事件序列e_i的第s层特征记为EF_i ^s；

步骤2.3.2、所述通道注意力分支将第i个低分辨率图像x_i的第s层特征IF_i ^s记为查询向量将第i-1个事件序列e_i-1的第s层特征/>分别通过不同的两个卷积层投射为键值对向量/>和/>从而利用式(5)计算第i个低分辨率图像x_i的第s层特征的跨模态通道注意力/>

式(5)中，c表示键值对向量和/>的通道维度，softmax表示激活函数；

步骤2.3.3、所述空间注意力分支将第i个低分辨率图像x_i的第s层特征IF_i ^s记为查询向量将第i个事件序列e_i的第s层特征EF_i ^s分别通过不同的两个卷积层投射为键值对向量/>和V_i ^s,从而利用式(6)计算第i个低分辨率图像x_i的第s层特征的跨模态空间注意力

式(6)中，n表示键值对向量和V_i ^s的空间维度；

步骤2.3.4、所述跨模态通道注意力和跨模态空间注意力/>沿通道拼接，并通过卷积核为1×1的卷积处理后，再与第i个低分辨率图像x_i的第s层特征IF_i ^s相加，得到第i个图像的第s层跨模态融合特征F_i ^s，再经过m层解码层得到跨模态融合特征F_i。

本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述视频超分辨率方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述视频超分辨率方法的步骤。

与现有技术相比，本发明的有益效果在于：

1、本发明设计了一个基于事件数据的视频超分辨率网络，将事件数据融合入视频超分辨率任务中。与当前主流的视频超分辨率方法相比，本方法不仅提高了生成帧的分辨率质量，而且在处理复杂场景(如高速运动、运动模糊、强烈的光照变化)时展现出更高的鲁棒性。

2、本发明创新性地从事件数据中提取非线性光流，用以对齐邻近帧的特征。这与传统基于帧的光流对齐方法相结合，特别适用于大运动场景，从而在视频超分辨率应用中实现更加精准的帧间对齐。

3、本发明构建了一种跨模态的信息融合设计，该设计结合了图像帧与事件数据，并采用了时空注意力机制以有效挖掘二者之间的关联信息。本发明能够更有效地利用事件数据的光照鲁棒性，从而在视频超分辨率中实现更稳健的帧修复。

4、本发明采用监督训练方式进行训练，将事件信息深度嵌入了视频超分辨率网络中，提高了输出帧的质量。

附图说明

图1为本发明方法流程示意图；

图2为本发明前向传播模块、反向传播模块、跨模态融合模块、帧重建模块的结构图；

图3为本发明跨模态融合的结构图。

具体实施方式

本实施例中，一种基于事件数据驱动的视频超分辨率方法，是一种事件驱动的视频对齐方案，是利用事件数据估计非线性光流，并构建一个跨模态的信息融合模块，用于生成高质量的高分辨率视频帧。主要特点在于将事件和帧图像两种模态的数据在双向循环神经网络中融合并传播，如图1所示，具体步骤如下：

步骤1、准备训练视频数据和对应的事件序列，并对事件序列进行分割：

步骤1.1.1、获取高分辨率视频图像集，记为Y＝{y₁,y₂,...,y_i,...,y_N}，其中，y_i表示第i个高分辨率图像，i＝1,2,...,N，N为高分辨率图像的总数；本实例中，神经网络训练时的图像总数为N＝15；对高分辨率数据集Y进行降质处理，得到低分辨率视频图像集，本实例中，采用双线性插值算法对Y降质，X＝{x₁,x₂,…,x_i,…,x_N}，其中，x_i表示第i个低分辨率图像。

步骤1.1.2、获取高分辨率视频图像集Y的事件序列，记为E_Y＝{E₁,...,E_i,...,E_N}，其中，E_i表示第i个高分辨率图像y_i所对应的事件序列；本实例中，利用事件相机仿真器ESIM直接将输入的视频图像集Y仿真出其事件数据；接着对事件序列E_Y降质生成低分辨率图像集X的事件序列，记为E_X＝{e₁,...,e_i,...,e_N},e_i表示第i个低分辨率图像x_i所对应的事件序列。

步骤2构建视频超分辨率神经网络，如图1所示，包括：前向传播模块、反向传播模块、跨模态融合模块、帧重建模块；

步骤2.1、如图2中的a部分所示，前向传播模块包括：一个帧光流估计网络、一个事件光流估计网络、m个残差连接层，本实例中，m＝15；和一个特征融合层；

步骤2.1.1、帧光流估计网络由m₁层下采样卷积层和m₁层上采样卷积层交替连接组成，本实例中，m₁＝5；通过将第i-1个低分辨率图像x_i-1和第i个低分辨率图像x_i输入帧光流估计网络S中进行光流估计，得到关于x_i的第i个前向帧光流f_i ^s,f；

式(1)为利用估计的前向帧光流f_i ^s,f对第i-1个前向传播特征图进行warp变换，从而得到第i个来自前向帧光流对齐的特征/>其中warp表示图像扭曲变换：

式(1)中，当i＝1时，令

步骤2.1.2、事件光流估计网络为定制轻量的m₂层“编码-解码”结构的神经网络；本实例中，m₂＝5；通过将第i-1个事件序列e_i-1输入事件光流估计网络U中进行光流估计，得到关于x_i的第i个前向事件光流f_i ^e,f。

式(2)为利用估计的前向事件光流f_i ^e,f对第i-1个前向传播特征图进行warp变换，从而得到第i个来自前向事件光流对齐的特征/>

步骤2.1.3、来自第i个前向帧光流对齐的特征和第i个前向事件光流对齐的特征/>分别经过非共享的m个残差连接层进行特征提取，相应得到帧对齐特征图和事件对齐特征图，再沿着特征通道拼接后，得到第i个前向拼接特征图F_i ^f。

步骤2.1.4、特征融合层将第i个前向拼接特征图F_i ^f与第i个低分辨率图像x_i进行拼接后再进行残差处理，得到第i个前向传播特征图

步骤2.2、如图2中的b部分所示，反向传播模块包括：与前向传播模块共享参数的帧光流估计网络和事件光流估计网络、m个残差连接层、一个特征融合层；

步骤2.2.1、通过将第i+1个低分辨率图像x_i+1和第i个低分辨率图像x_i输入帧光流估计网络S中进行光流估计，得到关于x_i的第i个反向帧光流f_i ^s,b；

式(3)为利用估计的反向帧光流f_i ^s,b对第i-1个反向传播特征图进行warp变换，从而得到第i个来自反向帧光流对齐的特征/>

式(3)中，当i＝1时，令

步骤2.2.2、通过将第i个事件序列e_i输入事件光流估计网络中进行光流估计，得到第i个反向事件光流f_i ^e,b。

式(4)为利用估计的反向事件光流f_i ^e,b对第i-1个反向传播特征图进行warp变换，从而得到第i个来自事件光流对齐的特征/>

步骤2.2.3、来自第i个反向帧光流对齐的特征和第i个事件光流对齐的特征分别经过非共享的m个残差连接层进行特征提取，相应得到帧对齐特征图和事件对齐特征图，再沿着特征通道拼接后，得到第i个反向拼接特征图F_i ^b。

步骤2.2.4、特征融合层将第i个反向拼接特征图F_i ^b与第i个低分辨率图像x_i进行拼接后再进行残差处理，得到第i个反向传播特征图

步骤2.3、如图2中的c部分所示，跨模态融合模块包括：特征金字塔提取器FE、通道注意力分支、空间注意力分支；

步骤2.3.1、特征金字塔提取器FE由S层卷积层组成，越往高层特征图尺寸越来越小；

将第i-1个事件序列e_i-1、第i个低分辨率图像x_i和第i个事件序列e_i分别输入特征金字塔提取器FE中进行特征提取，相应得到每一层的金字塔特征。如图3所示，本实例中，提取特征金字塔层数为5层，其中，事件序列e_i-1的第s层特征记为低分辨率图像x_i的第s层特征记为IF_i ^s、事件序列e_i的第s层特征记为EF_i ^s。

步骤2.3.2、通道注意力分支将第i个低分辨率图像x_i的第s层特征IF_i ^s记为查询向量将第i-1个事件序列e_i-1的第s层特征/>分别通过不同的两个卷积层投射为键值对向量/>和/>从而利用式(5)计算第i个低分辨率图像x_i的第s层特征的跨模态通道注意力/>

其中，c表示键值对向量和/>的通道维度，softmax表示激活函数。

步骤2.3.3、空间注意力分支将第i个低分辨率图像x_i的第s层特征IF_i ^s记为查询向量将第i个事件序列e_i的第s层特征EF_i ^s分别通过不同的两个卷积层投射为键值对向量和V_i ^s,从而利用式(6)计算第i个低分辨率图像x_i的第s层特征的跨模态空间注意力/>

其中，n表示键值对向量和V_i ^s的空间维度。

步骤2.3.4、跨模态通道注意力和跨模态空间注意力/>沿通道拼接，并通过卷积核为1×1的卷积处理后，再与第i个低分辨率图像x_i的第s层特征IF_i ^s相加，得到第i个图像的第s层跨模态融合特征F_i ^s，再经过m层解码层得到跨模态融合特征F_i；

步骤2.4、如图2中的d部分所示，帧重建模块由多个反卷积层和上采样层依次串联组成，并对第i+1个前向传播特征图第i-1个反向传播特征图/>和跨模态融合特征F_i进行处理后，得到第i个高分辨率图像/>记该超分辨率后的视频集为

步骤3、利用式(7)构建损失函数L：

式(7)中，ε是一个非负常数；

步骤4、利用梯度下降法对视频超分辨率神经网络进行训练，并计算所述损失函数L以更新网络参数，当训练迭代次数达到设定的次数或损失函数L收敛时，训练停止，从而得到最优视频超分辨率模型；用于对低分辨率视频图像进行处理，以获得对应的清晰的高分辨率视频图像。

本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行上述方法的程序，该处理器被配置为用于执行该存储器中存储的程序。

本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。

Claims (6)

1.一种基于事件数据驱动的视频超分辨率方法，其特征在于，是按如下步骤进行：

步骤1、获取训练视频数据和对应的事件序列，并对事件序列进行分割：

步骤1.1.1、获取高分辨率视频图像集，记为Y＝{y₁,y₂,…,y_i,…,y_N}，其中，y_i表示第i个高分辨率图像，i＝1,2,…,N，N为高分辨率图像的总数；

对高分辨率数据集Y进行降质处理，得到低分辨率视频图像集，记为X＝{x₁,x₂,…,x_i,...,x_N}，其中，x_i表示第i个低分辨率图像；

步骤1.1.2、获取高分辨率视频图像集Y的事件序列，记为E_Y＝{E₁,...,E_i,...,E_N}，其中，E_i表示第i个高分辨率图像y_i所对应的事件序列；

对事件序列E_Y降质生成低分辨率图像集X的事件序列，记为E_X＝{e₁,...,e_i,...,e_N},e_i表示第i个低分辨率图像x_i所对应的事件序列；

步骤2构建视频超分辨率神经网络，包括：前向传播模块、反向传播模块、跨模态融合模块、帧重建模块；

步骤2.1、所述前向传播模块对x_i-1、x_i和e_i-1进行处理，得到第i个前向传播特征图

步骤2.2、所述反向传播模块对x_i+1、x_i和e_i进行处理，得到第i个反向传播特征图

步骤2.3、所述跨模态融合模块对e_i-1、x_i和e_i进行处理，得到跨模态融合特征F_i；

步骤2.4、所述帧重建模块U由多个反卷积层和上采样层依次串联组成，并对第i+1个前向传播特征图第i-1个反向传播特征图/>和跨模态融合特征F_i进行处理后，得到第i个超分辨率图像/>从而得到超分辨率视频集/>

步骤3、利用式(7)构建损失函数L：

式(7)中，ε是一个非负常数；

步骤4、利用梯度下降法对视频超分辨率神经网络进行训练，并计算所述损失函数L以更新网络参数，当训练迭代次数达到设定的次数或损失函数L收敛时，训练停止，从而得到最优视频超分辨率模型；用于对低分辨率视频图像进行处理，以获得对应的清晰的高分辨率视频图像。

2.根据权利要求1所述的基于事件数据驱动的视频超分辨率方法，其特征在于，所述前向传播模块包括：一个帧光流估计网络S、一个事件光流估计网络U、m个残差连接层和一个特征融合层；

步骤2.1.1、所述帧光流估计网络S由m₁层下采样卷积层和m₁层上采样卷积层交替连接组成；

将所述第i-1个低分辨率图像x_i-1和第i个低分辨率图像x_i输入所述帧光流估计网络S中进行光流估计，得到关于x_i的第i个前向帧光流f_i ^s,f；

利用式(1)对第i个前向帧光流f_i ^s,f和第i-1个前向传播特征图进行warp变换，从而得到第i个来自前向帧光流对齐的特征/>

式(1)中，warp表示图像扭曲变换；当i＝1时，令

步骤2.1.2、所述事件光流估计网络U为定制轻量的m₂层“编码-解码”结构的神经网络；

将所述第i-1个事件序列e_i-1输入所述事件光流估计网络U中进行光流估计，得到关于x_i的第i个前向事件光流f_i ^e,f；

利用式(2)对第i个前向事件光流f_i ^e,f和第i-1个前向传播特征图进行warp变换，从而得到第i个来自前向事件光流对齐的特征/>

步骤2.1.3、第i个前向帧光流对齐的特征和第i个前向事件光流对齐的特征/>分别经过非共享的m个残差连接层进行特征提取，相应得到帧对齐特征图和事件对齐特征图，再沿着特征通道拼接后，得到第i个前向拼接特征图F_i ^f；

步骤2.1.4、所述特征融合层将第i个前向拼接特征图F_i ^f与第i个低分辨率图像x_i进行拼接后再进行残差处理，得到第i个前向传播特征图

3.根据权利要求2所述的基于事件数据驱动的视频超分辨率方法，其特征在于，所述反向传播模块包括：与前向传播模块共享参数的帧光流估计网络S和事件光流估计网络U、m个残差连接层、一个特征融合层；

步骤2.2.1、将所述第i+1个低分辨率图像x_i+1和第i个低分辨率图像x_i输入所述帧光流估计网络S中进行光流估计，得到关于x_i的第i个反向帧光流f_i ^s,b；

利用式(3)对第i个反向帧光流f_i ^s,b和第i-1个反向传播特征图进行warp变换，从而得到第i个来自反向帧光流对齐的特征/>

式(3)中，当i＝1时，令

步骤2.2.2、将所述第i个事件序列e_i输入所述事件光流估计网络U中进行光流估计，得到第i个反向事件光流f_i ^e,b；

利用式(4)对第i个反向事件光流f_i ^e,b和第i-1个反向传播特征图进行warp变换，从而得到第i个来自事件光流对齐的特征/>

步骤2.2.3、第i个反向帧光流对齐的特征和第i个事件光流对齐的特征/>分别经过非共享的m个残差连接层进行特征提取，相应得到帧对齐特征图和事件对齐特征图，再沿着特征通道拼接后，得到第i个反向拼接特征图F_i ^b；

步骤2.2.4、所述特征融合层将第i个反向拼接特征图F_i ^b与第i个低分辨率图像x_i进行拼接后再进行残差处理，得到第i个反向传播特征图

4.根据权利要求3所述的基于事件数据驱动的视频超分辨率方法，其特征在于，所述反所述跨模态融合模块包括：特征金字塔提取器FE、通道注意力分支、空间注意力分支；

步骤2.3.1、所述特征金字塔提取器FE由S层卷积层组成；

所述第i-1个事件序列e_i-1、第i个低分辨率图像x_i和第i个事件序列e_i分别输入所述特征金字塔提取器FE中进行特征提取，相应得到每一层的金字塔特征，其中，第i-1个事件序列e_i-1的第s层特征记为第i个低分辨率图像x_i的第s层特征记为IF_i ^s、第i个事件序列e_i的第s层特征记为EF_i ^s；

步骤2.3.2、所述通道注意力分支将第i个低分辨率图像x_i的第s层特征IF_i ^s记为查询向量将第i-1个事件序列e_i-1的第s层特征/>分别通过不同的两个卷积层投射为键值对向量/>和/>从而利用式(5)计算第i个低分辨率图像x_i的第s层特征的跨模态通道注意力/>

式(5)中，c表示键值对向量和/>的通道维度，softmax表示激活函数；

步骤2.3.3、所述空间注意力分支将第i个低分辨率图像x_i的第s层特征IF_i ^s记为查询向量将第i个事件序列e_i的第s层特征EF_i ^s分别通过不同的两个卷积层投射为键值对向量和V_i ^s,从而利用式(6)计算第i个低分辨率图像x_i的第s层特征的跨模态空间注意力/>

式(6)中，n表示键值对向量和V_i ^s的空间维度；

步骤2.3.4、所述跨模态通道注意力和跨模态空间注意力/>沿通道拼接，并通过卷积核为1×1的卷积处理后，再与第i个低分辨率图像x_i的第s层特征IF_i ^s相加，得到第i个图像的第s层跨模态融合特征F_i ^s，再经过m层解码层得到跨模态融合特征F_i。

5.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1-4中任一所述视频超分辨率方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

6.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1-4中任一所述视频超分辨率方法的步骤。