CN117041689A - 一种基于贴近真实的仿真事件流的全景视频插帧方法 - Google Patents

Abstract

本发明公开了一种基于贴近真实的仿真事件流的全景视频插帧方法，该方法属于虚拟现实(VR)领域。本发明实现的方法包括以下两个步骤：第一步，生成贴近真实的仿真事件流，具体包括以下步骤：将全景相机拍摄的原始视频放入著名的模拟事件流方法事件相机模拟器中，以生成模拟的全景事件流；同时，使用真实事件相机拍摄在同一视角下的事件流，采用无监督领域自适应技术进行学习，将真实事件流的先验知识输入到模拟的全景事件流中，以进一步生成较为真实的事件流。第二步，生成更加真实的高帧率场景下的全景视频，具体包括以下步骤：将上述生成的全景视频与仿真全景事件流加载，然后使用一些较为传统的基于事件流的视频插帧算法进行处理，以生成更加真实的全景视频。本发明方法能够有效地提高全景视频的帧率，从而显著提升视频的真实感。同时，本发明的方法基于贴近真实的仿真事件流，能够更好地模拟真实场景，具有广泛的应用前景。

Description

一种基于贴近真实的仿真事件流的全景视频插帧方法

技术领域

本发明涉及虚拟现实(VR)领域，因特指全景视频为虚拟现实视频与传统视频的中间过渡。模拟全景事件流经过无监督域自适应技术完成更加贴近真实的全景仿真事件流，然后在全景下利用先进的基于事件流的视频插帧算法完成插帧，具体为一种基于仿真事件流的全景视频插帧方法。

背景技术

在vr领域以及元宇宙的日渐兴起下，三自由度的全景视频作为一种热门的，具有全方位视野的视频格式逐渐受到大众欢迎，首先它可以让人们可以身临其境地感受到全景场景的真实性与沉浸感，另外它还不仅可以在旅游、景点展示等领域被广泛使用，还可以应用于游戏、虚拟现实、体育竞技、广告等多个领域。然而，拍摄全景视频需要大体量的存储空间和大量的数据处理，而且常常会因为各种原因例如本身设备硬件水平而导致卡顿和低帧率等问题，最后的结果往往会导致在全景视频的观感与体验上不如传统的视频。因此，为了提高全景视频的观感和用户体验，需要采取一些技术手段，例如全景视频升帧技术。

全景视频升帧技术旨在通过插入额外的帧来提高全景视频的帧率，从而增强视频的流畅性和稳定性，进一步改善用户体验。然而，要实现全景视频的升帧却有以下几个难点：

(1)大规模数据的处理：全景视频需要一般就是由多个相机捕捉的图像拼接而成(当然现在已经与专门拍摄全景视频的全景相机了，例如insta360 one x2)，其数据量非常的庞大，因此需要采用更加高效的算法来进行处理。

(2)视角变化上的处理：相较于传统视频，全景视频不同帧之间的图像存在较大的变化，这就使得传统的的视频插帧算法无法直接应用。

(3)高质量的插帧结果：全景视频的插帧结果需要满足高质量、高保真的要求，使得生成的高帧率视频更加真实和流畅。

(4)硬件限制的考虑：全景视频的升帧需要占用大量的计算资源，需要我们考虑实际硬件设备的限制，就比如内存和处理器的性能。

随着深度学习与深度神经网络的发展，新兴视频插帧算法和模型层出不穷，大致可分为以下几类：有基于光流、基于卷积核、基于相位以及基于事件的视频插帧算法，模型的日益更替取而代之的是性能的飞跃以及大复杂场景下的成功。而在大位移场景、非刚体运动等复杂场景下，随着事件相机的兴起，得益于起高时间分辨率以及低功耗在这样的场景下取得了很大的成功，但在全景3d场景下，还没有一种专门用来进行全景视频插帧的模型以及算法。当然由于事件相机都是近些年发布的产物，全景事件相机由于计算复杂度高、数据存储需求大、硬件要求高以及商业应用市场有限等挑战发布遥遥无期，全景事件流的产生也是一大难点需要未来进一步的探索。

发明内容

本发明基于对三自由度下的全景视频，提供一种基于仿真事件流的全景视频升帧方法，用户将在观看全景视频中使沉浸感更加强烈，观感更加真实。

本发明提供的技术方案如下：

一种基于仿真事件流的全景视频升帧方法，包括如下步骤：

1)寻找场景，选好地点后，在场景中确定实验内容，例如往容器中注水、扎破装满水的气球等富有挑战的场景内容。接下来用准备好的全景相机进行拍摄，拍摄多组，选取效果最好的一组。与手机端连接后将挑好的片段进行导出(以全景的形式进行导出)。在同样的场景下，用准备好的事件相机Davis在同一场景内容下进行记录，最后以事件相机的特殊格式将其存储。然后将全景视频放入事件相机模拟器中输入命令行进行切分调参模拟，模拟后的结果也以事件相机特殊存储形式存储下来。

2)将用事件相机模拟器模拟好的全景事件流数据和真实拍摄的2d事件数据利用无监督域自适应技术将真实事件数据的知识先验映射到模拟的全景事件流中。

3)融合后的仿真全景事件流将其与拍摄好的全景视频作为基于事件流的视频插帧算法，(这里可选用基于综合的视频插帧方法)，最后得出一个全景视频的升帧插帧结果。

本发明考虑到模拟的事件流远不如真实的事件流自然稳定。同样经过本人调研，由模拟器生成的模拟事件流生成的为线性的且不存在真实的噪声等缺点，其结果往往导致一些视频插帧模型在模拟数据集上的表现良好而往往在真实事件流数据集上效果大打折扣，所以本发明想要结合二者的优点来生成更加贴近真实的仿真事件流，以便可用于后续插帧工作中。

本发明的技术效果是：

本发明提出的视频升帧方法是基于全景仿真事件流的利用基于事件的插帧方法，展示了如何通过高动态低功耗的事件流提高用户在全景视频中的观感与沉浸感。本发明首先通过模拟事件流与真实事件流进一步运用一些插值模型得出贴近真实事件流。之后运用基于事件的视频插帧算法将两者输入来得到使用户在体验时更加良好得到更好沉浸感、清晰无伪影与畸变的全景视频。

附图说明：

图1、图2是本发明所用到的设备DAVIS 346与全景相机Insta360 one x2示意图；

图3为本发明所用到的事件模拟器的流程图；其中将场景与设定参数输入，经过相应的渲染引擎的渲染，最后输出结果；

图4为本发明的具体实施关于全局仿真事件流流程图；

图5为本发明具体实施将要用到的插帧方法大致流程图。

图6为本发明具体实施关于全景视频生成的流程图；

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明公开了一种基于贴近真实的仿真事件流的全景视频插帧方法，该方法属于虚拟现实(VR)领域。通过本发明的方法可将升帧后的全景视频以非常高的帧率放入vr头盔进行播放，通过升帧后的全景视频可以显著增加用户在VR环境中的沉浸感与代入感。

如图1与图2所示，本文所采取的事件相机为Davis 346事件相机由瑞士苏黎世联邦理工学院(ETH Zurich)研发。它是研究人员在之前的事件相机DAVIS 240的基础上进行的改进和升级。工作原理是通过每个像素的光敏元件与一个快速响应的电路相连，当像素的光强发生变化时，光敏元件就会产生一个事件，向电路发送一个脉冲信号，这样就可以记录下每个像素的光强变化，从而形成一个“事件流”(Event Stream)。图2则是Insta360 ONEX2是一款全景相机，是Insta360 ONE X的升级版。它可以捕捉360度全景视频和照片。

图3为用事件相机模拟器模拟事件流的过程。图4为全局仿真事件流的流程图，下面简述一下流程：将用到的模拟事件流和用真实事件流拍摄的真实事件流经过视频无监督域适应技术将真实事件流的一些先验知识应用迁移到全景模拟的事件流上来达到生成更加具有真实事件流非线性、有噪声等优点的更加贴近真实的全景仿真事件流。

图5为将要用到的视频插帧方法，它是由四个模块组成的，分别是综合插值模块，翘曲插值模块，翘曲细化模块，以及平均注意力模块。我们简单介绍一下流程，首先零和一代指的左右的时刻而z代表的则是它们之间的任意时刻，i₀和i₁分作代表的左右的rgb关键帧，e则代表所对应时刻的事件序列。首先将所左右边界关键帧以及所对应的事件序列输入光流扭曲模块得出对应时刻的光流f_0，z和f_z，1然后再拿光流去扭曲z时间戳的两个关键帧得出新的两个估计帧，而综合模块也是输入边界关键帧以及对应的事件序列也计算出一个合成估计帧。而细化模块则是先估计合成的估计帧与两个扭曲获得的估计帧之间的残余光流，然后经过第二次扭曲得到两个新的细化估计帧。最后在注意力平均模块将细化估计帧，光流和合成估计帧进行插值得出最后的结果I_z。这种方法结合了基于光流扭曲和合成的插值技术的优势，允许我们生成具有颜色和高纹理细节的新帧，同时还能处理非线性运动、光线变化和运动模糊等情况。

最后流程如图6所示将相应的全景视频切分成每一帧和全景仿真事件流放入视频插帧方法中，最后生成的多张帧经过帧的合成和将其投影到球面上就得到了一个完整的全景高帧率视频。另外erp投影转换公式为：

φ＝(u-0.5)*(2*π)

θ＝(0.5-v)*π

其中φ为经度，θ纬度。(u，v)是2D平面的坐标，由采样位置计算得到：

u＝(m+0.5)/W，0≤m＜W

v＝(n+0.5)/H，0≤n＜H

(m，n)为采样位置，W，H为原始图像的宽和高。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (5)

1.一种基于贴近真实的仿真事件流的全景视频插帧方法，其特征在于，包括如下步骤：

1)将用全景相机和事件相机记录多组在同一场景下实验的内容，将真实事件相机所拍摄的内容一事件特殊存储形式储存，同时将全景相机拍摄的内容经过事件相机模拟器模拟以事件存储形式储存；

2)将收集模拟的全景事件流数据作为目标域数据，收集真实的2D事件流数据作为源域数据。经过视频无监督域自适应中的特征提取、领域自适应训练、优化损失函数、特征对齐和重构、迁移学习以及模型的评估和调优等步骤将源域数据先验的知识迁移到目标域，来优化目标域的模拟数据以便提高后续在插值上的性能；

3)根据步骤2)得到的模型将全景的由模拟器模拟生成的模拟事件流与真实的事件流作为输入，将会生成更加贴近真实事件流并且具有真实事件特征的全景仿真事件流；

4)根据步骤3)得到的全景仿真事件流，将全景视频的帧与帧之间进行切分，然后将相应的仿真事件流做好对齐与匹配后将二者输入到基于综合的视频插帧方法网络中；

5)将步骤4)得到的全景高帧率视频帧进行合成，合成为一个完整的全景高帧率视频，最终经过相应的投影与映射到球面并放到vr头盔中进行全景视频的播放。

2.如权利要求1所述的全景视频插帧方法，其特征在于，步骤1)中所拍摄的内容是两个相机按照人工严格的校准对齐同角度同时间进行拍摄的。

3.如权利要求1所述的全景视频插帧方法，其特征在于，步骤2)中再用到视频无监督域自适应技术之前，需要严格的对数据进行如格式转换、数据清洗与去除噪声等数据处理，同时所选用的特征提取网络、损失函数以及模型包括其相应的调参则视具体情况而定。

4.如权利要求1所述的全景视频插帧方法，其特征在于，步骤4)中视频插帧网络的输入为图像frame与事件流events，所依赖的是结合了基于光流扭曲和合成的插值技术的优势。能进行非线性运动的处理。

5.如权利要求1所述的全景视频插帧方法，其特征在于，步骤2)中所依赖的方法为本人的前一个专利无监督域适应技术的全景仿真事件流的生成方法。