CN115941872B - 一种水下高速移动目标的视频插帧方法及其系统 - Google Patents

Abstract

本发明涉及模式识别技术领域，具体涉及一种水下高速移动目标的视频插帧方法即其系统。步骤1：通过传统相机获取RGB数据；步骤2：基于步骤1的RGB图像，抽离出RGB图像的背景轮廓图；步骤3：利用步骤2的背景轮廓图和步骤1得到的RGB数据经过轮廓图辅助多尺度光流估计网络进行光流估计；步骤4：利用RGB数据和步骤3估计的光流经过光流优化网络对光流结果进行优化；步骤5：利用网型融合网络，融合帧光流估计网络与光流优化网络输出的光流结果，对光流结果进行扭曲得到的中间帧，最终输出中间帧。本发明用以解决现有技术中无法非常准确地还原出非线性运动两帧间的中间帧的问题。

Description

一种水下高速移动目标的视频插帧方法及其系统

技术领域

本发明涉及模式识别技术领域，具体涉及一种水下高速移动目标的视频插帧方法及其系统。

背景技术

水下拍摄设备由于其造价高、拍摄环境要求高的特点，在近年来已经得到了极大的关注，如何有效降低成本、提高效率在计算机视觉领域中已经成为了热门话题，水下视频插帧的目的是为了可以在给定的水下低帧率的视频中，通过前后帧信息合理地还原出中间帧的图像，尽可能地接近真实的运动轨迹，从而提高视频的帧率。水下视频插帧具有极高的应用价值，水下高帧率视频的录制成本极高，而低帧率视频很容易利用各种设备获取。比如水下动物快速移动，水底设备的快速转动，这些快速运动目前的常规设备很难获得完整的视觉图像，主要是因为视频的帧率不够高，导致从视觉角度来看动作不够连贯、不够清晰。视频插帧方法可以有效地通过提高视频的帧率解决这个问题。

但是现有的视频插帧方法在面临非线性运动的情况时，运动估计并不准确，细节并不完整。现有技术主要是基于运动估计的方法和核的方法，核的方法主要是使用可变形卷积估计帧间运动，但是基于核的方法的效率往往受限于可变形卷积核的大小。可变形卷积核的大小严重影响算法所占用的计算资源，一旦变化范围超过可变形卷积核的大小，基于核的方法的效率会明显下降。基于运动估计的技术是采用估计两个RGB帧之间的光流，采用正向映射或者反向映射的方式获取中间帧，基于运动估计的方法受限于运动估计的准确度。基于图像的光流法受限于水下的非线性运动，无法非常准确地还原出非线性运动两帧间的中间帧。

轮廓图是对图像的一种简单表示，它通过线条来明确表示图像的语义信息。轮廓图可以明确表达物体运动的两个边界，通过结合轮廓图和RGB图像信息，利用卷积神经网络进行深度学习，可以帮助约束物体的中间运动状态，即接近真实的中间帧。

发明内容

本发明提供一种水下高速移动目标的视频插帧方法及其系统，用以解决现有技术中无法非常准确地还原出非线性运动两帧间的中间帧的问题。

本发明通过以下技术方案实现：

一种水下高速移动目标的视频插帧方法，所述视频插帧方法具体包括以下步骤：

步骤1：通过传统相机获取RGB数据；

步骤2：基于步骤1的RGB图像，抽离出RGB图像的背景轮廓图；

步骤3：利用步骤2的背景轮廓图和步骤1得到的RGB数据经过轮廓图辅助多尺度光流估计网络进行光流估计；

步骤4：利用RGB数据和步骤3估计的光流经过光流优化网络对光流结果进行优化；

步骤5：利用网型融合网络，融合帧光流估计网络与光流优化网络输出的光流结果，对光流结果进行扭曲得到的中间帧，最终输出中间帧。

一种水下高速移动目标的视频插帧方法，所述步骤3轮廓图辅助多尺度光流估计网络具体为，采用三层多尺度残差连接卷积神经网络模型，融合多尺度特征信息，并使用轮廓图辅助稳定边界估计，输出特征向量经光流映射得到帧合成结果。

一种水下高速移动目标的视频插帧方法，所述步骤3的光流估计具体为，将两个3通道的RGB图像帧和步骤2的两个1通道的轮廓图拼接在一起得到初始的输入数据F，F通过第一个光流估计模块得到两个2通道的光流F₁，F₁与经过双线性缩放的F拼接在一起通过第二个光流估计模块，所得特征与F₁相加得到F₂，F₂与经过双线性缩放的F拼接在一起通过第三个光流估计模块，所得特征与F₂相加得到F₃；所输入特征F共需要经历进行3个光流估计模块，最终得到两个2通道的光流，分别代表中间帧到左右两个边界帧运动向量；

使用L1损失函数作为损失函数，并使用真实的中间帧数据作为真实值做有监督学习，所述光流估计模块包含10层卷积网络和一层转置卷积网络和Relu激活函数。

一种水下高速移动目标的视频插帧方法，所述光流估计模块包含两层卷积神经网络和Relu激活函数。

一种水下高速移动目标的视频插帧方法，所述光流优化网络基于光流结果和RGB图像采用非线性运动估计优化网络，对运动关系做合理优化，输出特征向量经光流映射得到帧合成结果。

一种水下高速移动目标的视频插帧方法，所述对光流结果进行优化具体为，将两个3通道的RGB图像帧和四个2通道的光流经过12组卷积，对两个模态的信息进行融合和学习，输出2通道的光流作为预测值，使用L1损失和感知损失函数作为损失函数，并使用真实的中间帧数据作为真实值做有监督学习。

一种水下高速移动目标的视频插帧方法，所述网型融合网络具体为，使用网型残差连接卷积神经网络模型，经过解码编码结构融合所有结果，输出唯一的三通道RGB图像。

一种水下高速移动目标的视频插帧方法，所述具体为，将一个3通道的RGB合成帧与两个3通道的RGB基于光流估计的结果，两个3通道的RGB基于优化光流估计的结果，在通道维度上进行拼接形成输入特征W；

输入特征W经过三组包含编码解码结构对信息进行融合和学习，并在融合和学习之间衔接上下采样模块，最终输出3通道的RGB图像作为预测值，使用L1损失和感知损失函数作为损失函数，并使用真实的中间帧数据作为真实值做有监督学习。

一种水下高速移动目标的视频插帧系统，所述视频插帧系统包括轮廓提取模块、光流估计模块、光流优化模块和融合模块；

所述轮廓提取模块用于直接提取RGB数据的信息，得到用于辅助光流估计的轮廓图；

所述光流估计模块，用于根据提取的轮廓图和RGB数据，使用轮廓图辅助多尺度光流估计网络，估计中间帧到两个边界帧的光流，光流映射后得到视频中间帧；

所述光流优化模块，用于RGB数据和轮廓图辅助多尺度光流估计网络得到的光流，使用非线性运动估计优化网络再次估计中间帧到两个边界帧的光流，光流映射后得到视频中间帧；

所述融合模块，采用网型融合网络融合上述光流估计模块，光流优化模块的结果以得到最准确的视频中间帧。

本发明的有益效果是：

在不引入额外的数据源的情况下，利用RGB数据生成的轮廓图，快速高质量的生成视频的中间帧，优化了对非线性运动的估计效果，进而提升了针对水下高速移动目标的插帧的效果。

本发明实现了利用RGB数据生成视频的中间帧，提高了视频的帧率，优化了针对水下高速移动目标的插帧的效果。

附图说明

图1是本发明的方法流程图。

图2是本发明的结构框图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种水下高速移动目标的视频插帧方法，所述视频插帧方法具体包括以下步骤：

步骤1：通过传统相机获取RGB数据；

搭建好RGB相机的录制系统，保持RGB相机的稳定性；

步骤2：基于步骤1的RGB图像，抽离出RGB图像的背景轮廓图；

在录制RGB视频的同时，分离对应的图像，并将图像转化为轮廓图；

步骤3：利用步骤2的背景轮廓图和步骤1得到的RGB数据经过轮廓图辅助多尺度光流估计网络进行光流估计；

步骤4：利用RGB数据和步骤3估计的光流经过光流优化网络对光流结果进行优化，对光流结果进行扭曲得到的中间帧，最终输出中间帧。

步骤5：利用网型融合网络，融合帧光流估计网络与光流优化网络输出的光流结果，对光流结果进行扭曲得到的中间帧，最终输出中间帧。

一种水下高速移动目标的视频插帧方法，所述步骤3轮廓图辅助多尺度光流估计网络具体为，采用三层多尺度残差连接卷积神经网络模型，融合多尺度特征信息，并使用轮廓图辅助稳定边界估计，输出特征向量经光流映射得到帧合成结果。

一种水下高速移动目标的视频插帧方法，所述步骤3的光流估计具体为，将两个3通道的RGB图像帧和步骤2的两个1通道的轮廓图拼接在一起得到初始的输入数据F，F通过第一个光流估计模块得到两个2通道的光流F₁，F₁与经过双线性缩放的F拼接在一起通过第二个光流估计模块，所得特征与F₁相加得到F₂，F₂与经过双线性缩放的F拼接在一起通过第三个光流估计模块，所得特征与F₂相加得到F₃；所输入特征F共需要经历进行3个光流估计模块，最终得到两个2通道的光流，分别代表中间帧到左右两个边界帧运动向量；

由两个边界帧和两个运动向量经过反向映射可以得到两个3通道的RGB基于帧估计的结果；使用L1损失函数作为损失函数，并使用真实的中间帧数据作为真实值（GroundTruth）做有监督学习；

一种水下高速移动目标的视频插帧方法，所述光流估计模块包含10层卷积网络和一层转置卷积网络和Relu激活函数。

一种水下高速移动目标的视频插帧方法，所述光流优化网络基于光流结果和RGB图像采用非线性运动估计优化网络，对运动关系做合理优化，输出特征向量经光流映射得到帧合成结果。

非线性运动估计优化网络即为带有残差连接的U型卷积神经网络。

一种水下高速移动目标的视频插帧方法，所述对光流结果进行优化具体为，将两个3通道的RGB图像帧和四个2通道的光流经过12组卷积，对两个模态的信息进行融合和学习，输出2通道的光流作为预测值，使用L1损失和感知损失函数作为损失函数，并使用真实的中间帧数据作为真实值（Ground Truth）做有监督学习。

所述12组卷积包含4次下采样和4次上采样的编码解码结构。

一种水下高速移动目标的视频插帧方法，所述网型融合网络具体为，使用网型残差连接卷积神经网络模型，经过解码编码结构融合所有结果，输出唯一的三通道RGB图像。

一种水下高速移动目标的视频插帧方法，所述具体为，将一个3通道的RGB合成帧与两个3通道的RGB基于光流估计的结果，两个3通道的RGB基于优化光流估计的结果，在通道维度上进行拼接形成输入特征W；

输入特征W经过三组包含编码解码结构对信息进行融合和学习，并在融合和学习之间衔接上下采样模块，最终输出3通道的RGB图像作为预测值，使用L1损失和感知损失函数作为损失函数，并使用真实的中间帧数据作为真实值（Ground Truth）做有监督学习。

一种水下高速移动目标的视频插帧系统，所述视频插帧系统包括轮廓提取模块、光流估计模块、光流优化模块和融合模块；

所述轮廓提取模块用于直接提取RGB数据的信息，得到用于辅助光流估计的轮廓图；

所述光流估计模块，用于根据提取的轮廓图和RGB数据，使用轮廓图辅助多尺度光流估计网络，估计中间帧到两个边界帧的光流，光流映射后得到视频中间帧；

所述光流优化模块，用于RGB数据和轮廓图辅助多尺度光流估计网络得到的光流，使用非线性运动估计优化网络再次估计中间帧到两个边界帧的光流，光流映射后得到视频中间帧；

所述融合模块，采用网型融合网络融合上述光流估计模块，光流优化模块的结果以得到最准确的视频中间帧。

一种水下高速移动目标的视频插帧系统，所述轮廓图辅助多尺度光流估计网络具体为，采用三层多尺度残差连接卷积神经网络模型，融合多尺度特征信息，并使用轮廓图辅助稳定边界估计，输出特征向量经光流映射得到帧合成结果；

所述非线性运动估计优化网络具体为，基于光流结果和RGB图像采用非线性运动估计优化网络，对运动关系做合理优化，输出特征向量经光流映射得到帧合成结果；

所述网型融合网络具体为，使用网型残差连接卷积神经网络模型，经过解码编码结构融合所有结果，输出唯一的三通道RGB图像。

Claims (6)

1.一种水下高速移动目标的视频插帧方法，其特征在于，所述视频插帧方法具体包括以下步骤：

步骤1：通过传统相机获取RGB数据；

步骤2：基于步骤1的RGB图像，抽离出RGB图像的背景轮廓图；

步骤3：利用步骤2的背景轮廓图和步骤1得到的RGB数据经过轮廓图辅助多尺度光流估计网络进行光流估计；

步骤4：利用RGB数据和步骤3估计的光流经过光流优化网络对光流结果进行优化；

步骤5：利用网型融合网络，融合帧光流估计网络与光流优化网络输出的光流结果，对光流结果进行扭曲得到的中间帧，最终输出中间帧；

所述步骤3轮廓图辅助多尺度光流估计网络具体为，采用三层多尺度残差连接卷积神经网络模型，融合多尺度特征信息，并使用轮廓图辅助稳定边界估计，输出特征向量经光流映射得到帧合成结果；

所述步骤3的光流估计具体为，将两个3通道的RGB图像帧和步骤2的两个1通道的轮廓图拼接在一起得到初始的输入数据F，F通过第一个光流估计模块得到两个2通道的光流F₁，F₁与经过双线性缩放的F拼接在一起通过第二个光流估计模块，所得特征与F₁相加得到F₂，F₂与经过双线性缩放的F拼接在一起通过第三个光流估计模块，所得特征与F₂相加得到F₃；所输入特征F共需要经历进行3个光流估计模块，最终得到两个2通道的光流，分别代表中间帧到左右两个边界帧运动向量；

使用L1损失函数作为损失函数，并使用真实的中间帧数据作为真实值做有监督学习，所述光流估计模块包含10层卷积网络和一层转置卷积网络和Relu激活函数；

所述网型融合网络具体为，使用网型残差连接卷积神经网络模型，经过解码编码结构融合所有结果，输出唯一的三通道RGB图像；

将一个3通道的RGB合成帧与两个3通道的RGB基于光流估计的结果，两个3通道的RGB基于优化光流估计的结果，在通道维度上进行拼接形成输入特征W；

输入特征W经过三组包含编码解码结构对信息进行融合和学习，并在融合和学习之间衔接上下采样模块，最终输出3通道的RGB图像作为预测值，使用L1损失和感知损失函数作为损失函数，并使用真实的中间帧数据作为真实值做有监督学习。

2.根据权利要求1所述一种水下高速移动目标的视频插帧方法，其特征在于，所述光流估计模块包含两层卷积神经网络和Relu激活函数。

3.根据权利要求1所述一种水下高速移动目标的视频插帧方法，其特征在于，所述光流优化网络基于光流结果和RGB图像采用非线性运动估计优化网络，对运动关系做合理优化，输出特征向量经光流映射得到帧合成结果。

4.根据权利要求3所述一种水下高速移动目标的视频插帧方法，其特征在于，所述对光流结果进行优化具体为，将两个3通道的RGB图像帧和四个2通道的光流经过12组卷积，对两个模态的信息进行融合和学习，输出2通道的光流作为预测值，使用L1损失和感知损失函数作为损失函数，并使用真实的中间帧数据作为真实值做有监督学习。

5.一种水下高速移动目标的视频插帧系统，其特征在于，所述视频插帧系统包括轮廓提取模块、光流估计模块、光流优化模块和融合模块；

所述轮廓提取模块用于直接提取RGB数据的信息，得到用于辅助光流估计的轮廓图；

所述光流估计模块，用于根据提取的轮廓图和RGB数据，使用轮廓图辅助多尺度光流估计网络，估计中间帧到两个边界帧的光流，光流映射后得到视频中间帧；

所述光流优化模块，用于RGB数据和轮廓图辅助多尺度光流估计网络得到的光流，使用非线性运动估计优化网络再次估计中间帧到两个边界帧的光流，光流映射后得到视频中间帧；

所述融合模块，采用网型融合网络融合上述光流估计模块，光流优化模块的结果以得到最准确的视频中间帧；

所述轮廓图辅助多尺度光流估计网络具体为，采用三层多尺度残差连接卷积神经网络模型，融合多尺度特征信息，并使用轮廓图辅助稳定边界估计，输出特征向量经光流映射得到帧合成结果；

所述光流估计具体为，将两个3通道的RGB图像帧和步骤2的两个1通道的轮廓图拼接在一起得到初始的输入数据F，F通过第一个光流估计模块得到两个2通道的光流F₁，F₁与经过双线性缩放的F拼接在一起通过第二个光流估计模块，所得特征与F₁相加得到F₂，F₂与经过双线性缩放的F拼接在一起通过第三个光流估计模块，所得特征与F₂相加得到F₃；所输入特征F共需要经历进行3个光流估计模块，最终得到两个2通道的光流，分别代表中间帧到左右两个边界帧运动向量；

使用L1损失函数作为损失函数，并使用真实的中间帧数据作为真实值做有监督学习，所述光流估计模块包含10层卷积网络和一层转置卷积网络和Relu激活函数；

所述网型融合网络具体为，使用网型残差连接卷积神经网络模型，经过解码编码结构融合所有结果，输出唯一的三通道RGB图像；

将一个3通道的RGB合成帧与两个3通道的RGB基于光流估计的结果，两个3通道的RGB基于优化光流估计的结果，在通道维度上进行拼接形成输入特征W；

输入特征W经过三组包含编码解码结构对信息进行融合和学习，并在融合和学习之间衔接上下采样模块，最终输出3通道的RGB图像作为预测值，使用L1损失和感知损失函数作为损失函数，并使用真实的中间帧数据作为真实值做有监督学习。

6.根据权利要求5所述一种水下高速移动目标的视频插帧系统，其特征在于，所述轮廓图辅助多尺度光流估计网络具体为，采用三层多尺度残差连接卷积神经网络模型，融合多尺度特征信息，并使用轮廓图辅助稳定边界估计，输出特征向量经光流映射得到帧合成结果；

所述非线性运动估计优化网络具体为，基于光流结果和RGB图像采用非线性运动估计优化网络，对运动关系做合理优化，输出特征向量经光流映射得到帧合成结果；

所述网型融合网络具体为，使用网型残差连接卷积神经网络模型，经过解码编码结构融合所有结果，输出唯一的三通道RGB图像。

Images