CN112804444A

CN112804444A - 一种视频处理方法、装置、计算设备及存储介质

Info

Publication number: CN112804444A
Application number: CN202011601388.2A
Authority: CN
Inventors: 门泽华; 陈聪
Original assignee: Insta360 Innovation Technology Co Ltd
Current assignee: Insta360 Innovation Technology Co Ltd
Priority date: 2020-12-30
Filing date: 2020-12-30
Publication date: 2021-05-14
Anticipated expiration: 2040-12-30
Also published as: CN112804444B

Abstract

本发明适用视频处理技术领域，提供了一种视频处理方法、装置、计算设备及存储介质，该方法包括：获取包含多帧视频帧的待处理视频，根据预设的运动模型计算每一视频帧的原始运动状态，根据预设平滑算法对原始运动状态进行平滑处理，以得到每一视频帧的理想运动平滑的状态，获取每一视频帧从对应的原始运动状态转换到对应的理想运动平滑的状态时不超出边界的最大允许FOV值，根据每一视频帧的最大允许FOV值计算每一视频帧的目标FOV值，将每一视频帧从对应的原始运动状态转换到对应目标FOV值的视角场限制下的目标视频帧，从而使防抖处理后的视频与理想运动平滑后的视频尽可能接近，同时最大化增大处理后视频图像的视角场，提高了视频的防抖效果。

Description

一种视频处理方法、装置、计算设备及存储介质

技术领域

本发明属于视频处理技术领域，尤其涉及一种视频处理方法、装置、计算设备及存储介质。

背景技术

在视频电子防抖过程中，现有技术方案一般是首先建立相机的运动模型，根据相机陀螺仪(或视觉特征)及所建立的运动模型估计视频中相机不同时刻的原始运动状态，然后根据平滑算法得到的不同时刻理想运动平滑的运动状态，将视频每一帧图像由原始运动状态对应的图像转换到理想运动平滑的状态对应的图像，但是对于有视场角(FOV)限制的相机，则需要根据原始运动状态、理想运动平滑的状态和相机的FOV，得到使转换后图像画面可以在原视频图像中成功索引的有边界限制的运动状态，之后将图像从原始运动状态转换到相机在有边界限制的运动状态处观测位置的图像，达到电子防抖目的。

在有边界约束的电子防抖中，输出视频采用固定的FOV存在固有缺陷：

a.若输出视频采用较大固定FOV，在运动程度比较剧烈时，由于输出防抖视频图像的边界和原始图像边界距离比较接近，此时各个时刻的有边界限制的运动状态与理想运动平滑的运动状态偏差过大，导致防抖效果较差；

b.若输出视频采用较小固定FOV，在运动程度比较平缓时，防抖的平滑余量过大(即输出视频可以采取更大的FOV，即可使有边界限制的运动状态与理想运动平滑的运动状态更接近或完全相同)，造成了FOV的浪费。因此现实中往往选取折中大小的FOV，但是运动特别剧烈时，则会出现上述a问题，使防抖效果达不到最佳，运动特别平缓时，则会出现上述b问题，使此刻的FOV利用率未达到最大。

发明内容

本发明的目的在于提供一种视频处理方法、装置、计算设备及存储介质，旨在解决由于现有技术无法提供一种有效的视频防抖处理方法，导致防抖处理效果不佳的问题。

一方面，本发明提供了一种视频处理方法，所述方法包括下述步骤：

获取待处理视频，所述待处理视频包含多帧视频帧；

根据预设的运动模型计算每一视频帧的原始运动状态，根据预设平滑算法对所述原始运动状态进行平滑处理，以得到所述每一视频帧的理想运动平滑的状态；

获取所述每一视频帧从对应的原始运动状态转换到对应的理想运动平滑的状态时不超出边界的最大允许FOV值；

根据所述每一视频帧的最大允许FOV值计算所述每一视频帧的目标FOV值；

将所述每一视频帧从对应的原始运动状态转换到对应目标FOV值的视角场限制下的目标视频帧。

另一方面，本发明提供了一种视频处理装置，包括：

视频获取单元，用于获取待处理视频，所述待处理视频包含多帧视频帧；

状态平滑单元，用于根据预设的运动模型计算每一视频帧的原始运动状态，根据预设平滑算法对所述原始运动状态进行平滑处理，以得到所述每一视频帧的理想运动平滑的状态；

允许值获取单元，用于获取所述每一视频帧从对应的原始运动状态转换到对应的理想运动平滑的状态时不超出边界的最大允许FOV值；

目标值计算单元，用于根据所述每一视频帧的最大允许FOV值计算所述每一视频帧的目标FOV值；以及

视频转换单元，用于将所述每一视频帧从对应的原始运动状态转换到对应目标FOV值的视角场限制下的目标视频帧。

另一方面，本发明还提供了一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述方法的步骤。

另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。

本发明在根据预设的运动模型计算待处理视频中每一视频帧的原始运动状态，根据预设平滑算法对原始运动状态进行平滑处理，以得到每一视频帧的理想运动平滑的状态，获取每一视频帧从对应的原始运动状态转换到对应的理想运动平滑的状态时不超出边界的最大允许FOV值，根据每一视频帧的最大允许FOV值计算每一视频帧的目标FOV值，将每一视频帧从对应的原始运动状态转换到对应目标FOV值的视角场限制下的目标视频帧，从而使防抖处理后的视频与理想运动平滑后的视频尽可能接近甚至完全相同，同时尽可能增大防抖处理后视频图像的视场角，改善了防抖效果和FOV利用率。

附图说明

图1是本发明实施例一提供的视频处理方法的实现流程图；

图2是本发明实施例二提供的视频处理装置的结构示意图；

图3是本发明实施例三提供的计算设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述：

实施例一：

图1示出了本发明实施例一提供的视频处理方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在步骤S101中，获取待处理视频，待处理视频包含多帧视频帧；

本发明实施例适用于视频的防抖处理，具体地，可适用于在计算设备(例如，服务器、个人计算机)上对视频进行防抖处理，待处理视频由拍摄设备拍摄得到，拍摄设备可以为任意可获得数字图像的设备，包括但不限于单反相机、无反相机、带有拍照与摄像功能的手机、运动相机、全景相机等，此外，待处理视频还可以是通过任意视频处理方法处理后得到的视频，待处理视频包含多帧视频帧。

在步骤S102中，根据预设的运动模型计算每一视频帧的原始运动状态，根据预设平滑算法对原始运动状态进行平滑处理，以得到每一视频帧的理想运动平滑的状态；

在本发明实施例中，预设的运动模型可以为姿态角估计模型，原始运动状态和理想运动平滑的状态则可通过姿态数据进行表示，例如，姿态四元数，理想运动平滑的状态为通过对原始运动状态进行平滑处理后得到的理想运动平滑的状态，例如，可采用均值滤波、高斯滤波等低通滤波器对原始运动状态数据进行滤波，得到理想运动平滑的理想运动平滑的状态数据。

在步骤S103中，获取每一视频帧从对应的原始运动状态转换到对应的理想运动平滑的状态时不超出边界的最大允许FOV值；

在本发明实施例中，对于待处理视频中的视频帧，可根据其对应的原始运动状态和转换后的理想运动平滑的状态来判断该视频帧以预设的FOV值从原始运动状态到理想运动平滑的状态转换时是否出界，进而根据判断结果调整该视频帧从对应的原始运动状态转换到对应的理想运动平滑的状态时的FOV值，以在转换时最大化利用原始视频帧的FOV，同时保证视频帧从原始运动状态转换到理想运动平滑的状态时不超出边界，从而在最大化平滑化原始运动状态、提高视频防抖效果的同时，提高转换得到的视频帧的FOV。在判断视频帧以预设的FOV值从原始运动状态到理想运动平滑的状态转换时是否出界时，具体地，可将视频帧在理想运动平滑的状态下的图像边界的像素坐标值，与原始运动状态的图像的像素坐标值进行比较，根据比较结果判断是否出界。

在一优选实施例中，在获取待处理视频每一视频帧从对应的原始运动状态转换到对应的理想运动平滑的状态时不超出边界的最大允许FOV值时，判断每一视频帧从对应的原始运动状态转换到对应的理想运动平滑的状态时是否超出边界，当超出边界时，减少当前视频帧的FOV值，直到得到该当前视频帧从对应的原始运动状态转换到对应的理想运动平滑的状态时不超出边界的最大允许FOV值，当不超出边界时，增加当前视频帧的FOV值，直到得到该当前视频帧从对应的原始运动状态转换到对应的理想运动平滑的状态时不超出边界的最大允许FOV值，从而在最大化平滑化原始运动状态、提高视频防抖处理效果的同时，提高转换得到的视频帧的FOV。作为示例地，可通过二分法搜索最大允许FOV值，具体地，设置视频帧FOV值的上限值max和下限值min，当前视频帧以预设FOV值从原始运动状态转换到理想运动平滑的状态时超出边界时，将上限值max的值设置为当前视频帧的FOV值(预设FOV值)，取mid＝(max+min)/2，若取mid为FOV值将当前视频帧从原始运动状态转换到理想运动平滑的状态时仍然超出边界，则令max＝mid，否则min＝mid，如此直至得到将当前视频帧从原始运动状态转换到理想运动平滑的状态时不超出边界的边界mid值，边界mid值即为当前视频帧的最大允许FOV值。当前视频帧以预设FOV值从原始运动状态转换到理想运动平滑的状态时未超出边界时，将下限值min的值设置为当前视频帧的FOV值(预设FOV值)，取mid＝(max+min)/2，若取mid为FOV值将当前视频帧从原始运动状态转换到理想运动平滑的状态时仍未超出边界，则令min＝mid，否则max＝mid，如此直至得到将当前视频帧从原始运动状态转换到理想运动平滑的状态时超出边界的边界mid值，边界mid值即为当前视频帧的最大允许FOV值。

在步骤S104中，根据每一视频帧的最大允许FOV值计算每一视频帧的目标FOV值；

在本发明实施例中，每个视频帧的目标FOV值为视频帧从对应的原始运动状态转换到对应的理想运动平滑的状态时的期望FOV值，每个视频帧的目标FOV值小于视频帧转换时对应的最大允许FOV值。

在一实施方式中，在根据每个视频帧的最大允许FOV值计算每个视频帧的目标FOV值时，采用滑动窗口方式计算每个视频帧的目标FOV值，从而在获取每个视频帧的对应目标FOV值时，最大程度地保持相邻视频帧的平滑度。优选地，在采用滑动窗口方式计算每个视频帧的目标FOV值时，根据预设数量个视频帧的最大允许FOV值构建最大允许FOV值直方图，根据当前视频帧的FOV值和最大允许FOV值直方图中的最大允许FOV值的分布，确定下一视频帧的FOV值的增大量或缩小量，得到当前视频帧的下一视频帧的目标FOV值，根据待处理视频的视频帧的时间推进，滑动更新最大允许FOV值直方图，动态修改每一视频帧的最大允许FOV值，以得到每个视频帧的目标FOV值，从而在获取每个视频帧的目标FOV值时，最大程度地保持相邻视频帧的平滑度。在采用滑动窗口方式计算每个视频帧的目标FOV值时，作为示例地，若滑动窗口的大小为K，如果当前加载的K帧视频帧是第0至K-1帧，则通过第0帧的FOV值和第0帧到第K-1帧的最大允许FOV值计算出第1帧的FOV值，之后窗口向后滑动一帧，此时，第1帧变为当前帧，根据第1帧的FOV值和从第1帧到第K帧的最大允许FOV值计算第2帧的FOV，如此直至得到每个视频帧的目标FOV值。

具体地，在根据预设数量个视频帧的最大允许FOV值构建最大允许FOV值直方图，根据当前视频帧的FOV值和最大允许FOV值直方图中的最大允许FOV值的分布，确定下一视频帧的FOV值的增大量或缩小量时，若当前视频帧为待处理视频的第一帧，判断当前视频帧的预设FOV值是否小于当前视频帧的最大允许FOV值与预设的角度余量之差，是则将预设FOV值设置为当前视频帧的目标FOV值，否则将当前视频帧的最大允许FOV值与预设的角度余量之差设置为当前视频帧的目标FOV值，从而更为精确地确定待处理视频初始帧的FOV值，进而提高后视频帧的目标FOV值的准确度。

在另一实施方式中，在根据每一视频帧的最大允许FOV值计算每一视频帧的目标FOV值时，在边界条件fov_i＜MFov_i下，利用全局代价方程

获取每一视频帧的目标FOV值，其中，fov_i表示待处理视频的第i帧视频帧的FOV值，MFov_i表示第i帧视频帧的最大允许FOV值。

在步骤S105中，将每一视频帧从对应的原始运动状态转换到对应目标FOV值的视角场限制下的目标视频帧。

在本发明实施例中，在得到每个视频帧的目标FOV值之后，将每个视频帧从对应的原始运动状态转换到对应目标FOV值的视角场限制下的目标视频帧，以实现待处理视频的防抖处理，从而使防抖处理后的视频与理想运动平滑后的视频尽可能接近甚至完全相同，同时最大化增大处理后视频图像的视角场，提高了视频的防抖处理效果。

在将每个视频帧从对应的原始运动状态转换到对应目标FOV值的视角场限制下的目标视频帧之前，使用滤波器对通过步骤S104得到的所有目标FOV值进行平滑处理，得到平滑处理后的目标FOV值，从而实现待处理待视频中所有视频帧对应的目标FOV值的全局平滑化处理，提高了待处理视频的防抖处理效果。优选地，利用时域或频域低通滤波器对通过步骤S104得到的所有目标FOV值进行平滑处理，得到平滑处理后的目标FOV值，从而实现待处理待视频中所有视频帧对应的目标FOV值的全局平滑化处理，提高了待处理视频的防抖处理效果。

本发明实施例在根据预设的运动模型计算待处理视频中每一视频帧的原始运动状态，根据预设平滑算法对原始运动状态进行平滑处理，以得到每一视频帧的理想运动平滑的状态，获取每一视频帧从对应的原始运动状态转换到对应的理想运动平滑的状态时不超出边界的最大允许FOV值，根据每一视频帧的最大允许FOV值计算每一视频帧的目标FOV值，将每一视频帧从对应的原始运动状态转换到对应目标FOV值的视角场限制下的目标视频帧，从而使防抖处理后的视频与理想运动平滑后的视频尽可能接近甚至完全相同，同时最大化增大处理后视频图像的视角场，提高了视频的防抖效果。

实施例二：

图2示出了本发明实施例二提供的视频处理装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：

视频获取单元21，用于获取待处理视频，待处理视频包含多帧视频帧；

状态平滑单元22，用于根据预设的运动模型计算每一视频帧的原始运动状态，根据预设平滑算法对原始运动状态进行平滑处理，以得到每一视频帧的理想运动平滑的状态；

允许值获取单元23，用于获取每一视频帧从对应的原始运动状态转换到对应的理想运动平滑的状态时不超出边界的最大允许FOV值；

目标值计算单元24，用于根据每一视频帧的最大允许FOV值计算每一视频帧的目标FOV值；以及

视频转换单元25，用于将每一视频帧从对应的原始运动状态转换到对应目标FOV值的视角场限制下的目标视频帧。

进一步地，视频处理装置还包括：

值平滑单元，用于利用时域或频域低通滤波器对每一视频帧的目标FOV值进行平滑处理，得到平滑处理后的目标FOV值。

在本发明实施例中，视频处理装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明，各单元的具体实施方式可参考实施例一的描述，在此再赘述。

实施例三：

图3示出了本发明实施例三提供的计算设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。

本发明实施例的计算设备3包括处理器30、存储器31以及存储在存储器31中并可在处理器30上运行的计算机程序32。该处理器30执行计算机程序32时实现上述方法实施例中的步骤，例如图1所示的步骤S101至S105。或者，处理器30执行计算机程序32时实现上述装置实施例中各单元的功能，例如图2所示单元21至25的功能。

本发明实施例的计算设备可以为服务器或个人计算机等具体计算能力的设备。该计算设备3中处理器30执行计算机程序32时实现上述方法时实现的步骤可参考前述方法实施例的描述，在此不再赘述。

实施例四：

在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例中的步骤，例如，图1所示的步骤S101至S105。或者，该计算机程序被处理器执行时实现上述装置实施例中各单元的功能，例如图2所示单元21至25的功能。

本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种视频处理方法，其特征在于，所述方法包括下述步骤：

获取待处理视频，所述待处理视频包含多帧视频帧；

2.如权利要求1所述的方法，其特征在于，计算所述每一视频帧的目标FOV值的步骤之后，将每一视频帧从对应的原始运动状态转换到对应目标FOV值的视角场限制下的目标视频帧的步骤之前，还包括：

利用时域或频域低通滤波器对每一视频帧的目标FOV值进行平滑处理，得到平滑处理后的目标FOV值。

3.如权利要求1所述的方法，其特征在于，获取所述每一视频帧从对应的原始运动状态转换到对应的理想运动平滑的状态时不超出边界的最大允许FOV值的步骤，包括：

判断所述每一视频帧从对应的原始运动状态转换到对应的理想运动平滑的状态时是否超出边界；

当超出边界时，减少当前视频帧的FOV值，直到得到该当前视频帧从对应的原始运动状态转换到对应的理想运动平滑的状态时不超出边界的最大允许FOV值；

当不超出边界时，增加当前视频帧的FOV值，直到得到该当前视频帧从对应的原始运动状态转换到对应的理想运动平滑的状态时不超出边界的最大允许FOV值。

4.如权利要求1所述的方法，其特征在于，根据每一视频帧的最大允许FOV值计算所述每一视频帧的目标FOV值的步骤，包括：

根据预设数量个视频帧的最大允许FOV值构建最大允许FOV值直方图，根据当前视频帧的FOV值和所述最大允许FOV值直方图中的最大允许FOV值的分布，确定下一视频帧的FOV值的增大量或缩小量，得到所述当前视频帧的下一视频帧的目标FOV值；

根据所述待处理视频的时间推进，滑动更新所述最大允许FOV值直方图，动态修改每一视频帧的FOV值，以得到每一视频帧的目标FOV值。

5.如权利要求4所述的方法，其特征在于，根据预设数量个视频帧的最大允许FOV值构建最大允许FOV值直方图，根据当前视频帧的FOV值和所述最大允许FOV值直方图中的最大允许FOV值的分布，确定下一视频帧的FOV值的增大量或缩小量，得到所述当前视频帧的下一视频帧的目标FOV值的步骤，包括：

若当前视频帧为所述待处理视频的第一帧，判断当前视频帧的预设FOV值是否小于所述当前视频帧的最大允许FOV值与预设的角度余量之差，是则将所述预设FOV值设置为所述当前视频帧的目标FOV值，否则将所述当前视频帧的最大允许FOV值与预设的角度余量之差设置为所述当前视频帧的目标FOV值。

6.如权利要求1所述的方法，其特征在于，根据每一视频帧的最大允许FOV值计算所述每一视频帧的目标FOV值的步骤，包括：

在边界条件fov_i＜MFov_i下，利用全局代价方程

获取所述每一视频帧的目标FOV值，fovi表示所述待处理视频第i帧视频帧对应的FOV值，MFovi表示第i帧视频帧的最大允许FOV值。

7.一种视频处理装置，其特征在于，包括：

8.如权利要求7所述的视频处理装置，其特征在于，还包括：

9.一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。