CN113259605A - 基于预测前景蒙版预测的视频抠图方法、系统和存储介质 - Google Patents

Abstract

本发明公开了一种基于预测前景蒙版预测的视频抠图方法、系统和存储介质。视频抠图方法包括获取视频帧，使用MODNet模型对视频帧进行处理，获得预测前景蒙版，根据视频帧和预测前景蒙版，获取前景图，使用PointRend模块对所述前景图进行前景分割，获得实例分割图，对实例分割图进行掩模处理，获得前景蒙版图等步骤。本发明通过使用MODNet模型和PointRend模块对视频帧进行处理，可以获得前景蒙版图，从而继续应用于视频抠图等过程，并不要求拍摄视频帧的过程中使用蓝/绿幕，而且也无需在对视频帧的处理过程中进行人工识别标记等处理，能够提高视频处理的自动化程度，降低处理成本。本发明广泛应用于多媒体技术领域。

Description

基于预测前景蒙版预测的视频抠图方法、系统和存储介质

技术领域

本发明涉及多媒体技术领域，尤其是一种基于预测前景蒙版预测的视频抠图方法、系统和存储介质。

背景技术

在视频特效制作、图像处理等领域，经常需要将图像中的人物等目标提取出来。为了进行目标的精准提取，通常有前期拍摄和后期处理两种手段。其中，前期拍摄手段是在拍摄时使用蓝/绿幕作为背景，这样在后期容易将目标和背景分离开来，实现目标的提取。后期处理手段可以不要求使用蓝/绿幕拍摄，而是使用光照处理法等算法进行目标提取，这个过程中根据要处理的图像生成前景、背景以及位于前景和背景之间的不确定区域(Trimap)，现有技术中需要人工标注出前景、背景和不确定区域，自动化程度较低，需要较高的人力成本。

发明内容

针对上述至少一个技术问题，本发明的目的在于提供一种基于预测前景蒙版预测的视频抠图方法、系统和存储介质。

一方面，本发明实施例包括一种基于预测前景蒙版预测的视频抠图方法，包括：

获取视频帧；

使用MODNet模型对所述视频帧进行处理，获得预测前景蒙版；

根据所述视频帧和所述预测前景蒙版，获取前景图；

使用PointRend模块对所述前景图进行前景分割，获得实例分割图；

对所述实例分割图进行掩模处理，获得前景蒙版图。

进一步地，所述使用MODNet模型对所述视频帧进行处理，获得预测前景蒙版，包括：

通过所述MODNet模型中的语义估计单元，从所述视频帧提取高级语义，输出前景掩模；

通过所述MODNet模型中的细节预测单元，对所述视频帧进行的边界区域进行细节预测；

通过所述MODNet模型中的融合单元，融合所述前景掩模和所述细节预测的结果，从而获得所述预测前景蒙版。

进一步地，所述根据所述视频帧和所述预测前景蒙版，获取前景图，包括：

将所述视频帧中的像素点值与映射到所述预测前景蒙版中的像素点值相乘；

以像素点值相乘的结果确定的像素点组成所述前景图。

进一步地，所述使用PointRend模块对所述前景图进行前景分割，获得实例分割图，包括：

使用PointRend模块执行多次迭代过程；

在每次所述迭代过程中，所述PointRend模块在所述前景图上选择多个最不确定点，对各所述最不确定点计算点级特征以及标签，从而在自适应选择的位置基于边界细节进行前景分割，对前景分割的结果进行上采样；

所述迭代过程的终止条件为前景分割的结果的上采样分辨率达到设定的水平。

进一步地，基于预测前景蒙版预测的视频抠图方法还包括：

对所述前景蒙版图进行平滑化处理。

进一步地，所述对所述前景蒙版图进行平滑化处理，包括：

当所述前景蒙版图存在多个区域块，相邻的所述区域块具有不同的分辨率，对除了面积最大的所述区域块之外的其他所述区域块进行零值处理。

进一步地，所述对所述前景蒙版图进行平滑化处理，包括：

当所述前景蒙版图与其前帧之差的绝对值、所述前景蒙版图与其后帧之差的绝对值、所述前帧与所述后帧之差的绝对值均大于设定阈值，将所述前景蒙版图中的像素点值调制为所述前帧相同位置的像素点值与所述后帧相同位置的像素点值的加权平均值。

进一步地，基于预测前景蒙版预测的视频抠图方法还包括：

将所述前景蒙版图按获得时序排序后，合成无背景视频。

另一方面，本发明实施例还包括一种基于预测前景蒙版预测的视频抠图系统，包括：

第一模块，用于获取视频帧；

第二模块，用于使用MODNet模型对所述视频帧进行处理，获得预测前景蒙版；

第三模块，用于根据所述视频帧和所述预测前景蒙版，获取前景图；

第四模块，用于使用PointRend模块对所述前景图进行前景分割，获得实例分割图；

第五模块，用于对所述实例分割图进行掩模处理，获得前景蒙版图。

另一方面，本发明实施例还包括一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行基于预测前景蒙版预测的视频抠图方法。

本发明的有益效果是：实施例中的基于预测前景蒙版预测的视频抠图方法，通过使用MODNet模型和PointRend模块对视频帧进行处理，可以获得前景蒙版图，并进行平滑化处理，从而继续应用于视频抠图等过程，并不要求拍摄视频帧的过程中使用蓝/绿幕，而且也无需在对视频帧的处理过程中进行人工识别标记等处理，能够提高视频处理的自动化程度，降低处理成本。

附图说明

图1为实施例中基于预测前景蒙版预测的视频抠图方法的流程图；

图2为实施例所使用的MODNet模型的原理图。

具体实施方式

本实施例中，参照图1，基于预测前景蒙版预测的视频抠图方法包括以下步骤：

S1.获取视频帧；

S2.使用MODNet模型对视频帧进行处理，获得预测前景蒙版；

S3.根据视频帧和预测前景蒙版，获取前景图；

S4.使用PointRend模块对前景图进行前景分割，获得实例分割图；

S5.对实例分割图进行掩模处理，获得前景蒙版图。

步骤S1中，通过对输入视频进行图片切割，获取多个视频帧。

步骤S2的原理如图2所示。本实施例中所使用的MODNet模型包括语义估计单元、细节预测单元、融合单元三部分。其中，语义估计单元采用MobileNetV2架构，采用监督学习，通过编码器去从视频帧提取高级语义，输出一个粗糙的前景掩模。细节预测单元具有12层卷积层，对前景与背景之间的边界区域，对人像边界进行细节预测。融合单元融合语义估计单元的输出结果和细节预测单元的输出结果这两个子目标的特征，输出与视频帧对应的预测前景蒙版。

步骤S3中，将视频帧中的像素点值与预测前景蒙版中的对应像素点值相乘，例如将视频帧中坐标为(x₁,y₁)的像素点值与预测前景蒙版中坐标为(x₁,y₁)的像素点值相乘，所得到的值设为前景图中坐标为(x₁,y₁)的像素点值。对所有的像素点值都进行上述处理，从而获得无背景的前景图。通过上述处理所获得的前景图，能够为后续分割过程提供更精细的分割结果。

步骤S4中，所使用的PointRend模块是基于像素点进行渲染的神经网络模块。PointRend模块基于迭代细分算法，在自适应选择的位置用于边界细节更准确的分割预测。其中在每次迭代中，PointRend选择N个最不确定的点，然后为这N个点计算点级特征，并预测相应的标签，重复该过程，直到分割结果上采样的所需分辨率为止。因此，执行步骤S4时，使用PointRend模块执行多次迭代过程。在每次迭代过程中，PointRend模块在前景图上选择N个最不确定点，对各最不确定点计算点级特征以及标签，从而在自适应选择的位置基于边界细节进行前景分割，对前景分割的结果进行上采样，每次迭代过程的最后，对上采样结果的分辨率进行分析，如果上采样结果的分辨率大于等于设定的分辨率水平，那么就在结束本次迭代过程之后不再执行后续的迭代过程，如果上采样结果的分辨率小于设定的分辨率水平，那么就在结束本次迭代过程之后执行后续的迭代过程，从而获得精细的实例分割图。

步骤S5中，在对实例分割图进行掩模处理后，可以获得前景蒙版图。通过执行步骤S5所获得的前景蒙版图可能存在区域块或者帧不连续的问题。其中，区域块问题是指前景蒙版图中由于存在多个分辨率不全部相同的区域，而且相邻的两个区域块的分辨率不相同，造成在合成视频之后，视频中与前景蒙版图对应的那个视频帧会出现小区域闪烁的现象，而且该小区域也不是人像等目标所在的区域，因此将严重影响视频的观感；帧不连续问题是指位于中间帧的前景蒙版图与其前帧前景蒙版图和后帧前景蒙版图的像素内容相差较大，造成合成视频后，有些视频帧不是那么平缓渐变，突变梯度较大，视频不平滑等现象。通过对前景蒙版图进行平滑化处理，可以解决或者减轻上述现象。

本实施例中，针对区域块问题，对前景蒙版图进行平滑化处理的过程包括：

获取前景蒙版图上存在的各区域块的面积大小，确定其中具有最大面积的区域块；

保留具有最大面积的区域块，对其他区域块进行零值处理，也就是仅保留具有最大面积的区域块，不保留其他区域块。

本实施例中，针对帧不连续问题，对前景蒙版图进行平滑化处理的过程包括：

获取当前帧前景蒙版图的各像素点值、当前帧前景蒙版图的前一帧前景蒙版图的各像素点值、当前帧前景蒙版图的后一帧前景蒙版图的各像素点值；

计算各当前帧前景蒙版图、前一帧前景蒙版图、后一帧前景蒙版图上的各像素点值的差值。如果当前帧前景蒙版图与前一帧前景蒙版图对应像素点值之差的绝对值、当前帧前景蒙版图与后一帧前景蒙版图对应像素点值之差的绝对值、前一帧前景蒙版图与后一帧前景蒙版图对应像素点值之差的绝对值均大于设定阈值，将前景蒙版图中的像素点值调制为前帧相同位置的像素点值与后帧相同位置的像素点值的加权平均值。例如，如果当前帧前景蒙版图中坐标为(x₁,y₁)的像素点值与前一帧前景蒙版图中坐标为(x₁,y₁)的像素点值之差的绝对值、当前帧前景蒙版图中坐标为(x₁,y₁)的像素点值与后一帧前景蒙版图中坐标为(x₁,y₁)的像素点值之差的绝对值、前一帧前景蒙版图中坐标为(x₁,y₁)的像素点值与后一帧前景蒙版图中坐标为(x₁,y₁)的像素点值之差的绝对值大于设定阈值k，那么将当前帧前景蒙版图中坐标为(x₁,y₁)的像素点值重置为前一帧前景蒙版图中坐标为(x₁,y₁)的像素点值与后一帧前景蒙版图中坐标为(x₁,y₁)的像素点值的加权平均值，计算加权平均值的过程中所使用的权重可以根据需要设置。

如果像素点值不满足上述条件，则不对像素点值进行改变。例如，如果当前帧前景蒙版图中坐标为(x₂,y₂)的像素点值不满足“与前一帧前景蒙版图中坐标为(x₂,y₂)的像素点值之差的绝对值、与后一帧前景蒙版图中坐标为(x₂,y₂)的像素点值之差的绝对值、前一帧前景蒙版图中坐标为(x₂,y₂)的像素点值与后一帧前景蒙版图中坐标为(x₂,y₂)的像素点值之差的绝对值大于设定阈值k”的条件，则维持当前帧前景蒙版图中坐标为(x₂,y₂)的像素点值不变。

每次执行步骤S1-S5，可以对一个视频帧进行处理获得相应的一个前景蒙版图。多次执行步骤S1-S5后，可以将多个视频帧处理成相应的多个前景蒙版图，将这些前景蒙版图按照对应视频帧的坐标轴时序排序后，可以合成无背景视频。无背景视频的内容实际上是视频帧所组成的原始图像中去除非目标的背景后所剩下的人物等目标，从而实现了视频抠图。

本实施例中，基于预测前景蒙版预测的视频抠图系统包括：

第一模块，用于获取视频帧；

第二模块，用于使用MODNet模型对视频帧进行处理，获得预测前景蒙版；

第三模块，用于根据视频帧和预测前景蒙版，获取前景图；

第四模块，用于使用PointRend模块对前景图进行前景分割，获得实例分割图；

第五模块，用于对实例分割图进行掩模处理，获得前景蒙版图。

其中，第一模块、第二模块、第三模块、第四模块、第五模块和第六模块可以是具有相应技术特征的计算机软件模块、硬件模块或者软件模块和硬件模块的结合，当运行基于预测前景蒙版预测的视频抠图系统时能够实现本实施例中基于预测前景蒙版预测的视频抠图方法的技术效果。

本实施例中，一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行本实施例中的基于预测前景蒙版预测的视频抠图方法，实现与本实施例中所述的相同的技术效果。

需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本实施例所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本实施例说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本实施例所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本实施例所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向目标终端的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本实施例描述的过程的操作，除非本实施例另外指示或以其他方式明显地与上下文矛盾。本实施例描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本实施例所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本实施例所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的目标终端，包括显示器上产生的物理和有形目标终端的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.一种基于预测前景蒙版预测的视频抠图方法，其特征在于，包括：

获取视频帧；

使用MODNet模型对所述视频帧进行处理，获得预测前景蒙版；

根据所述视频帧和所述预测前景蒙版，获取前景图；

使用PointRend模块对所述前景图进行前景分割，获得实例分割图；

对所述实例分割图进行掩模处理，获得前景蒙版图。

2.根据权利要求1所述的基于预测前景蒙版预测的视频抠图方法，其特征在于，所述使用MODNet模型对所述视频帧进行处理，获得预测前景蒙版，包括：

通过所述MODNet模型中的语义估计单元，从所述视频帧提取高级语义，输出前景掩模；

通过所述MODNet模型中的细节预测单元，对所述视频帧进行的边界区域进行细节预测；

通过所述MODNet模型中的融合单元，融合所述前景掩模和所述细节预测的结果，从而获得所述预测前景蒙版。

3.根据权利要求1所述的基于预测前景蒙版预测的视频抠图方法，其特征在于，所述根据所述视频帧和所述预测前景蒙版，获取前景图，包括：

将所述视频帧中的像素点值与映射到所述预测前景蒙版中的像素点值相乘；

以像素点值相乘的结果确定的像素点组成所述前景图。

4.根据权利要求1所述的基于预测前景蒙版预测的视频抠图方法，其特征在于，所述使用PointRend模块对所述前景图进行前景分割，获得实例分割图，包括：

使用PointRend模块执行多次迭代过程；

在每次所述迭代过程中，所述PointRend模块在所述前景图上选择多个最不确定点，对各所述最不确定点计算点级特征以及标签，从而在自适应选择的位置基于边界细节进行前景分割，对前景分割的结果进行上采样；

所述迭代过程的终止条件为前景分割的结果的上采样分辨率达到设定的水平。

5.根据权利要求1所述的基于预测前景蒙版预测的视频抠图方法，其特征在于，还包括：

对所述前景蒙版图进行平滑化处理。

6.根据权利要求5所述的基于预测前景蒙版预测的视频抠图方法，其特征在于，所述对所述前景蒙版图进行平滑化处理，包括：

当所述前景蒙版图存在多个区域块，相邻的所述区域块具有不同的分辨率，对除了面积最大的所述区域块之外的其他所述区域块进行零值处理。

7.根据权利要求5所述的基于预测前景蒙版预测的视频抠图方法，其特征在于，所述对所述前景蒙版图进行平滑化处理，包括：

当所述前景蒙版图与其前帧之差的绝对值、所述前景蒙版图与其后帧之差的绝对值、所述前帧与所述后帧之差的绝对值均大于设定阈值，将所述前景蒙版图中的像素点值调制为所述前帧相同位置的像素点值与所述后帧相同位置的像素点值的加权平均值。

8.根据权利要求1-7任一项所述的基于预测前景蒙版预测的视频抠图方法，其特征在于，还包括：

将所述前景蒙版图按获得时序排序后，合成无背景视频。

9.一种基于预测前景蒙版预测的视频抠图系统，其特征在于，包括：

第一模块，用于获取视频帧；

第二模块，用于使用MODNet模型对所述视频帧进行处理，获得预测前景蒙版；

第三模块，用于根据所述视频帧和所述预测前景蒙版，获取前景图；

第四模块，用于使用PointRend模块对所述前景图进行前景分割，获得实例分割图；

第五模块，用于对所述实例分割图进行掩模处理，获得前景蒙版图。

10.一种存储介质，其中存储有处理器可执行的指令，其特征在于，所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-8任一项所述方法。

Images