CN112163554A - 获取视频中的标记掩模的方法和装置 - Google Patents

Abstract

本公开提供了一种获取视频中的标记掩模的方法和装置，其特征在于，包括：从所述视频中存在标记的标记帧中划分出标记区域，其中，标记区域是视频帧中位于特定位置的包含标记的一部分区域；在所述视频的视频帧中确定用于提取标记掩模的视频帧；对用于提取标记掩模的视频帧的标记区域的标记的边缘进行叠加强化以得到包含强化的边缘信息的标记区域的图像；基于包含强化的边缘信息的标记区域的图像获取所述视频中的标记掩模。根据本公开的获取标记掩模的方法和装置能够提取精确的标记掩模，避免构建庞大的标记数据库进行模板匹配，并且可减少后续标记去除的计算量。

Description

获取视频中的标记掩模的方法和装置

技术领域

本公开涉及互联网技术领域，尤其涉及一种获取视频中的标记掩模的方法、装置、及计算机可读存储介质。

背景技术

随着近年来各大视频平台和自媒体行业的快速发展，很多人逐渐习惯于用视频来记录和分享日常生活，从而对视频的后期处理产生越来越多的需求，其中就包括去除视频中的各种标记，例如，由视频制作者或视频平台在视频中加入的水印或者台标。例如，用户把自己拍摄的视频上传到某个视频平台后却不慎将原始视频丢失，但是上传后的视频已经被加上了视频平台自身的水印或者台标，那么如果用户想要恢复原始视频就只能通过后期技术手段去除水印或者台标。

由于视频中被水印或台标覆盖的区域的图像内容已经丢失，相关技术的去除水印算法通常是利用水印周围的图像内容和纹理信息对水印覆盖区域进行填充补全。例如，比较常见的是通过模板匹配的方法，利用数据库中的已知的水印或台标图像对需要检测的视频中的视频帧的所有可能位置进行相似度计算，相似度得分最高的位置就被认为是水印或台标的中心点，并以此中心点为中心，标记出一个与已知水印或台标大小相同的矩形框，作为检测的结果。这样的输出结果只是一个包含了水印或台标的矩形框，并不能精确表示出水印或台标的轮廓形状。如果直接用来作为标记的掩模(Mask)进行去除操作，就会导致一部分原本不需要被填充的内容也被填充，造成清晰度的损失。因此，为了要实现精确的标记去除，前提是要有一个比较精确的标记掩模，这样才能尽可能多地保留原始视频内容。

发明内容

本公开提供一种获取视频中的标记掩模的方法、装置、存储介质及电子设备，以至少解决相关技术中的精确地提取标记掩模的问题，也可不解决任何上述问题。

根据本公开的第一方面，提供了一种获取视频中的标记掩模的方法，其特征在于，包括：从所述视频中存在标记的标记帧中划分出标记区域，其中，标记区域是视频帧中位于特定位置的包含标记的一部分区域；在所述视频的视频帧中确定用于提取标记掩模的视频帧；对用于提取标记掩模的视频帧的标记区域的标记的边缘进行叠加强化以得到包含强化的边缘信息的标记区域的图像；基于包含强化的边缘信息的标记区域的图像获取所述视频中的标记掩模。

根据本公开的第一方面，所述标记包括由视频提供者加入的水印或者视频提供平台的台标，所述标记区域通过人工划分或者自动检测而得到。

根据本公开的第一方面，所述在所述视频的视频帧中确定用于提取标记掩模的至少部分视频帧包括：确定所述视频中首次出现标记的起始帧和不再出现标记的终止帧，并将所述起始帧和所述终止帧之间的视频帧中的至少一部分帧作为用于提取标记掩模的视频帧。

根据本公开的第一方面，所述确定所述视频中首次出现标记的起始帧和不再出现标记的终止帧包括：从标记区域提取标记的初始掩模图像；根据初始掩模图像内的像素与所述视频中的每个帧的标记区域内的像素的亮度差异来确定所述初始帧和所述终止帧。

根据本公开的第一方面，所述从标记区域提取标记的初始掩模图像包括：将所述标记帧的标记区域的图像转化为灰度图并进行二值化处理以获取所述标记帧的标记区域的亮度掩模图像；在所述标记帧的相邻帧中获取位于标记区域内的图像，对相邻帧的相同位置的区域的图像与所述标记区域的图像的绝对差值执行二值化以确定差值掩模图像；对所述亮度掩模图像和所述差值掩模图像逐像素地执行与操作以得到标记的初始掩模图像；以所述初始掩模图像的像素的平均亮度作为参考亮度，从所述标记帧开始向前和向后逐帧地计算所述视频的每个视频帧的标记区域内的像素的平均亮度与参考亮度的差值，响应于确定在所述标记帧之前的第一视频帧的标记区域内的像素的平均亮度与参考亮度之差大于阈值，将所述第一视频帧之后的一帧确定为所述起始帧，响应于确定在所述标记帧之后的第二视频帧的标记区域内的像素的平均亮度与参考亮度之差大于阈值，将所述第二视频帧之前的一帧确定为所述终止帧。

根据本公开的第一方面，从多个相邻帧中选择与所述标记区域的图像的绝对差值和最小的帧来确定所述差值掩模图像。

根据本公开的第一方面，所述对用于提取标记掩模的视频帧的标记区域的标记的边缘进行叠加强化以得到包含强化的边缘信息的标记区域的图像包括：对用于提取标记掩模的视频帧的标记区域的图像执行拉普拉斯滤波以提取标记区域的边缘信息；将拉普拉斯滤波后的标记区域的图像执行叠加和归一化，以得到包含强化的边缘信息的标记区域的图像。

根据本公开的第一方面，所述基于包含强化的边缘信息的标记区域的图像来获取所述视频中的标记掩模包括：对包含强化的边缘信息的标记区域的图像执行边缘检测以获取边缘掩模图像；对边缘掩模图像执行形态学滤波；针对形态学滤波后的边缘掩模图像的内部空洞执行填充，以得到标记掩模。

根据本公开的第一方面，通过Canny边缘检测来执行所述边缘检测，通过漫水填充算法来填充边缘掩模图像的内部空洞。

根据本公开的第二方面，提供了一种获取视频中的标记掩模的装置，其特征在于，包括：标记区域划分模块，被配置为从所述视频中存在标记的视频帧中划分出标记区域，其中，标记区域是视频帧中位于特定位置的包含标记的一部分区域；视频帧确定模块，被配置为在所述视频的视频帧中确定用于提取标记掩模的视频帧；边缘增强模块，被配置为对用于提取标记掩模的视频帧的标记区域的标记的边缘进行叠加强化以得到包含强化的边缘信息的标记区域的图像；标记掩模获取模块，被配置为基于包含强化的边缘信息的标记区域的图像获取所述视频中的标记掩模。

根据本公开的第二方面，所述标记包括由视频提供者加入的水印或者视频提供平台的台标，所述标记区域通过人工划分或者自动检测而得到。

根据本公开的第二方面，所述视频帧确定模块被配置为确定所述视频中首次出现标记的起始帧和不再出现标记的终止帧，并将所述起始帧和所述终止帧之间的视频帧中的至少一部分帧作为用于提取标记掩模的视频帧。

根据本公开的第二方面，所述视频帧确定模块被配置为从标记区域提取标记的初始掩模图像，并根据初始掩模图像内的像素与所述视频中的每个帧的标记区域内的像素的亮度差异来确定所述初始帧和所述终止帧。

根据本公开的第二方面，所述初始掩模提取模块包括：亮度掩模获取模块，被配置为将所述标记区域的图像转化为灰度图并进行二值化处理以获取所述标记区域的亮度掩模图像；差值掩模获取模块，被配置为在所述标记帧的相邻帧中获取与所述标记区域相同位置的区域的图像，对相邻帧的相同位置的区域的图像与所述标记区域的图像的绝对差值执行二值化以确定差值掩模图像；初始掩模获取模块，被配置为对所述亮度掩模图像和所述差值掩模图像逐像素地执行与操作以得到标记的初始掩模图像；确定模块，被配置为以所述初始掩模图像的像素的平均亮度作为参考亮度，从所述标记帧开始向前和向后逐帧地计算所述视频的每个视频帧的标记区域内的像素的平均亮度与参考亮度的差值，响应于确定在所述标记帧之前的第一视频帧的标记区域内的像素的平均亮度与参考亮度之差大于阈值，将所述第一视频帧之后的一帧确定为所述起始帧，响应于确定在所述标记帧之后的第二视频帧的标记区域内的像素的平均亮度与参考亮度之差大于阈值，将所述第二视频帧之前的一帧确定为所述终止帧。

根据本公开的第二方面，差值掩模获取模块被配置为从多个相邻帧中选择与所述标记区域的图像的绝对差值和最小的帧来确定所述差值掩模图像。

根据本公开的第二方面，所述边缘增强模块包括：边缘滤波模块，被配置为用于提取标记掩模的视频帧的标记区域的图像执行拉普拉斯滤波以提取标记区域的边缘信息；叠加和归一化模块，被配置为将拉普拉斯滤波后的标记区域的图像执行叠加和归一化，以得到包含强化的边缘信息的标记区域的图像。

根据本公开的第二方面，所述标记掩模获取模块包括：边缘检测模块，被配置为对包含强化的边缘信息的标记区域的图像执行边缘检测以获取边缘掩模图像；形态学滤波模块，被配置为对边缘掩模图像执行形态学滤波；空洞填充模块，被配置为针对形态学滤波后的边缘掩模图像的内部空洞执行填充，以得到标记掩模。

根据本公开的第二方面，所述边缘检测模块通过Canny边缘检测来执行所述边缘检测，所述空洞填充模块通过漫水填充算法来填充边缘掩模图像的内部空洞。

根据本公开的第三方面，提供了一种去除视频中的标记的方法，包括：从所述视频中包含标记的视频帧中划分出包含标记的标记区域；确定所述视频中首次出现标记的起始帧和不再出现标记的终止帧；对所述起始帧和所述终止帧中的至少部分视频帧的标记区域的标记的边缘进行叠加强化以得到包含强化的边缘信息的标记区域的图像；基于包含强化的边缘信息的标记区域的图像获取所述视频中的标记的掩模区域；使用标记的掩模区域周围的图像内容和纹理信息对所述起始帧和所述终止帧之间的每个帧的掩模区域进行填充，或者使用新标记图像覆盖在所述起始帧和所述终止帧之间的每个帧的标记的掩模区域。

根据本公开的第四方面，提供了一种电子设备，包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如上所述的获取视频中的标记掩模的方法以及去除视频中的标记的方法。

根据本公开的第五方面，提供了一种存储介质，当所述存储介质中的指令由视频处理装置/电子设备/服务器的处理器执行时，使得视频处理装置/电子设备/服务器能够执行如上所述的获取视频中的标记掩模的方法以及去除视频中的标记的方法。

根据本公开的第六方面，提供了一种计算机程序产品，所述计算机程序产品中的指令被电子设备中的至少一个处理器运行以执行如如上所述的获取视频中的标记掩模的方法以及去除视频中的标记的方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

1.能够提取精确的标记掩模，避免构建庞大的标记数据库进行模板匹配，对标记出现的位置和形状、视频的种类均没有限制，有助于后续进行更好的台标去除；

2.能够检测出标记的起始帧和结束帧，因此不需要对起始帧到结束帧范围外的帧进行处理，有助于减少后续标记去除的计算量。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的获取视频中的标记掩模的方法的流程图。

图2是根据一示例性实施例示出的在视频帧中划分的标记区域的示意图。

图3是分别示出根据本公开示例性实施例的标记区域的灰度图、亮度掩模图像、差值掩模图像和初始掩模图像的示图。

图4是分别示出根据一示例性实施例的标记区域的叠加拉普拉斯图像、形态学滤波后的掩模图像、填充空洞后的掩模图像以及相关技术中使用方框获取的掩模图像的示图。

图5是根据一示例性实施例示出的获取视频中的标记掩模的装置的框图。

图6是根据另一示例性实施例示出的去除视频中的标记的方法的流程图。

图7是根据一示例性实施例示出的一种用于执行获取视频中的标记掩模的方法的电子设备的示意图。

图8是根据一示例性实施例示出的另一种用于执行相机参数配置方法的电子设备的示意图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括A和B之中的至少一个”即包括如下三种并列的情况：(1)包括A；(2)包括B；(3)包括A和B。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。

在进行以下说明之前，首先对本公开中使用的一些术语和原理进行说明。

图像掩膜：一个仅包含0和1的二维矩阵数组，可以用一个二值图像(0代表黑色，1代表白色)进行可视化表示。图像掩膜可以被用来标记出图像中的感兴趣区域，在本公开中指的可以是诸如视频水印或台标的标记。

视频中的标记的特性：通过分析目前的视频中的标记(例如，视频水印和台标)的特点，可观察到以下两个普遍现象：1)标记通常分为不透明和半透明两种，通常使用白色且亮度高于周边像素，有清晰的边缘；2)标记通常出现在一段连续视频帧的固定位置，并且整体轮廓基本保持不变。由此，可以得出这样一个合理的推断：对每一帧包含标记的图像提取其边缘信息并不断叠加再平均，由于标记是固定不变的，其边缘会随着叠加不断被加强，但是标记周围的背景图像在视频中是持续变化的，其边缘会随着叠加不断被均衡弱化，从而很容易地把标记边缘从视频背景中分离出来。另外，有些视频的片头和片尾是不包含标记的，也就是说标记只出现在视频中的某一段时间内。因此在对每一帧的标记边缘信息进行叠加平均之前，可先确定出现标记的起始帧和标记消失的终止帧，在后续的替换标记的处理中能够通过准确定位起始帧和终止帧来执行替换，也可防止把不包含标记的帧也纳入计算而导致标记边缘被运动场景弱化从而变得难以从背景中分离出来。

图1示出了根据本公开的示例性实施例的获取视频中的标记掩模的方法的流程图。

应理解，根据本公开的示例性实施例的方法可以在具有视频处理能力的任何设备中执行。例如，可以在具有视频处理能力的终端设备中执行该方法。这里，终端设备可以是手机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、上网本、个人数字助理(personal digital assistant，PDA)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备。在终端设备上可运行执行获取/去除视频中的标记掩模的应用，诸如本地视频播放应用、短视频应用、网络视频平台应用等。也可以在诸如服务器的专用的视频处理设备上执行该方法。例如，可由用户在终端设备将待处理的视频上传至服务器，由服务器针对上传的视频从视频中获取标记掩模，并将处理后的视频返回到终端设备。本公开的示例性实施例不对其进行限制。

下面，将参照图1来说明根据本公开的示例性实施例的获取标记掩模的方法。

首先，在步骤S110，从视频中存在标记的标记帧中划分出标记区域，其中，标记区域是标记帧中位于特定位置的包含标记的一部分区域。根据本公开的示例性实施例，标记可包括由视频提供者加入的水印或者视频提供平台的台标，并且可通过人工来划分标记区域或者通过自动检测来划分标记区域。可由用户在视频中的存在标记的任意一帧中划出标记区域。

例如，如图2所示，当用户使用视频播放应用播放一个视频并且该视频中出现诸如视频网站的台标“爱奇艺”的标记时，用户可暂停视频并在暂停的视频帧上用方框来划分出标记区域。另外，也可通过自动检测来划分标记区域。例如，可通过在视频帧的左上、右上、左下、右下角落区域进行检测来将这些角落区域之一划分为标记区域。可通过对相邻视频帧中的高亮部分或边缘部分进行检测来确定标记区域。应理解，本公开对划分标记区域的方式、标记区域的形状和尺寸不做限定，只要划分出的标记区域能够完全覆盖住视频中的标记即可。

接下来，在步骤S120，在视频的视频帧中确定用于提取标记掩模的视频帧。可由用户确定视频中存在标记的视频帧来用于后续的标记掩模提取的处理。例如，用户可在视频的视频帧中指定两个帧，从而可使用指定的两个帧之间的视频帧来进行标记掩模提取。可选地，根据本公开的实施例，可确定视频中首次出现标记的起始帧和不再出现标记的终止帧，并将所述起始帧和所述终止帧之间的视频帧中的至少一部分帧作为用于提取标记掩模的视频帧。通过确定起始帧和终止帧，可防止将不包含标记的帧纳入标记掩模的提取计算过程中，并且在后续的标记替换或填充过程中实现精准的逐帧处理。

如上所述，由于标记通常采用白色且亮度高于周边像素，所以包含标记的标记区域中的像素的亮度与不包含标记的标记区域的像素的亮度。因此，根据本公开的示例性实施例，在步骤S120可首先从标记区域提取标记的初始掩模图像，然后根据初始掩模图像内的像素与所述视频中的每个帧的标记区域内的像素的亮度差异来确定所述初始帧和所述终止帧，即确定上述的起始帧和终止帧。这里，初始掩模图像可以是大致覆盖标记的掩模图像，该掩模图像不必特别精细，只需要尽可能覆盖标记而不引入太多非标记部分的图像即可。接下来将结合图3来说明根据本公开的示例性实施例的根据标记的初始掩模图像来确定起始帧和终止帧的过程。图3是分别示出根据本公开示例性实施例的标记区域的灰度图、亮度掩模图像、差值掩模图像和初始掩模图像的示图。

在步骤S121，将标记帧的标记区域的图像转化为灰度图并进行二值化处理以获取所述标记帧的标记区域的亮度掩模图像。也就是说，在标记帧中划分出标记区域之后，可将标记区域图像转换为如图3(a)所示的灰度图。例如，可根据标记区域的像素点的RGB分量的平均值来转换得到灰度图。然后，对转换后的标记区域的灰度图执行二值化，从而得到如图3(b)所示的二值化图像，即，亮度掩模图像MaskBrightness。也就是说，当标记区域的灰度图的像素值大于阈值时，将该像素的像素值确定为1，否则确定为0，这样可以得到关于标记区域的高亮部分(即，标记通常所在的部分)。

在步骤S122，在标记帧的相邻帧中获取位于标记区域内的图像，对相邻帧的相同位置的区域的图像与所述标记区域的图像的绝对差值执行二值化以确定差值掩模图像。具体地，可在标记帧前后的相邻帧获取与标记区域相同位置的区域图像，并将该区域图像与标记区域相减并得到绝对差值，对绝对差值进行二值化以得到差值掩模图像。也就是说，当两个帧的绝对差值小于阈值时将绝对差值取1，否则取0，从而得到差值掩模图像MaskDifference，其目的为获得相邻帧间的恒定不变部分，即可能是标记的部分，如图3(c)所示。根据本公开的示例性实施例，可从多个相邻帧中选择与标记区域的图像的绝对差值和最小的帧来确定所述差值掩模图像。例如，可从标记帧的前后两帧中选出与标记区域的图像的绝对差值之和较小的帧，对该帧与标记帧的标记区域的图像的绝对差进行二值化。

接下来，在步骤S123，对亮度掩模图像MaskBrightness和差值掩模图像MaskDifference逐像素地执行与操作以得到标记的初始掩模图像MaskInitial，即，MaskInitial＝MaskBrightness&MaskDifference，如图3(d)所示。这里的初始掩模可以粗略地反映出标记的亮度和形状。

最后，在步骤S124，以初始掩模图像MaskInitial的像素的平均亮度作为参考亮度，从标记帧开始向前和向后逐帧地计算所述视频的每个视频帧的标记区域内的像素的平均亮度与参考亮度的差值，并根据差值来确定起始帧和终止帧。响应于确定在所述标记帧之前的某一视频帧的标记区域内的像素的平均亮度与参考亮度之差大于阈值，说明初始掩模图像内的像素内容变化过大，在该视频帧中标记不存在，因此将该视频帧之后的一帧确定为起始帧。例如，如果标记帧为视频帧中的第k帧，向前计算得到第(k-m)帧的标记区域的像素的平均亮度与参考亮度之差大于阈值，则可将第(k-m+1)帧确定为起始帧。同理，响应于确定在标记帧之后的某一视频帧(例如，第(k+n)帧)的标记区域内的像素的平均亮度与参考亮度之差大于阈值，可将该视频帧之前的一帧(即，第(k+n-1)帧)确定为终止帧，其中，k、m、n为正整数，m<k。

参照回到图1，在步骤S130，对用于提取标记掩模的视频帧的标记区域的标记的边缘进行叠加强化以得到包含强化的边缘信息的标记区域的图像。这里，可通过拉普拉斯滤波来提取视频帧的标记区域中的边缘信息并对各个视频帧的滤波后的标记区域的图像进行叠加。这样，固定不变的标记边缘由于持续叠加而得到突出强化(接近最大值)，其它背景中的运动物体边缘会被逐渐中和平均。应理解，提取边缘信息的方式不限于拉普拉斯滤波，可采取任何能够实现边缘提取效果的方法和算法。例如，可采用高斯拉普拉斯算子来执行滤波以进行边缘提取。

根据本公开的示例性实施例，步骤S130可包括：步骤S131，对用于提取标记掩模的视频帧的标记区域的图像执行拉普拉斯滤波以提取标记区域的边缘信息；以及步骤S132，将拉普拉斯滤波后的标记区域的图像执行叠加和归一化，以得到包含强化的边缘信息的标记区域的图像。以下，假设使用起始帧和终止帧之间的全部帧来执行步骤S130。应理解，也可仅使用其中部分帧来执行步骤S130，只要帧的数量能够保证叠加边缘信息的效果即可。假设起始帧为第i帧，终止帧为第j帧，起始帧到终止帧范围内的视频帧由I_k表示，其中i≤k≤j，i，j，k为正整数。将起始帧与终止帧范围内每一帧的标记区域图像利用拉普拉斯算子进行滤波并拉普拉斯滤波后的帧相加并归一化到[0,255]区间内，从而得到一个累加拉普拉斯图像S，如图4(a)所示。即，

其中Norm()表示归一化到[0,255]区间，L(I_k)表示对I_k进行拉普拉斯滤波。

参照回到图1，在步骤S140，基于包含强化的边缘信息的标记区域的图像(例如，在步骤S130获得的累加的拉普拉斯图像S)来获取视频中的标记掩模。也就是说，对在步骤S130获得的累加的拉普拉斯图像的边缘信息进行进一步的精细化处理来得到最终的标记的掩模图像。

根据本公开的示例性实施例，步骤S140可包括：

步骤S141，对包含强化的边缘信息的标记区域的图像执行边缘检测以获取边缘掩模图像。根据本公开的示例性实施例，可使用Canny边缘检测来获取边缘掩模图像。通过边缘检测得到的边缘掩模图像如图4(b)所示。

接下来，在步骤S142，对边缘掩模图像执行形态学滤波。根据本公开的示例性实施例，可通过对在步骤S141检测得到的边缘掩模图像执行膨胀和腐蚀操作，连接边缘掩模图像的大边缘并消除小边缘。经过形态学滤波后的边缘掩模图像如图4(c)所示。

最后，在步骤S143，针对形态学滤波后的边缘掩模图像的内部空洞执行填充，以得到标记掩模。根据本公开的示例性实施例，可采用漫水填充算法来消除内部空洞。

应理解，以上的Canny边缘检测算法、膨胀和腐蚀操作算法、漫水填充算法仅是示意性的，本领域的技术人员可采用其他能够实现同样效果的算法来执行边缘检测、连接大边缘并消除小边缘以及消除内部空洞。例如，可使用Sobel算子来检测边缘，并通过力度更强的形态学处理算法来代替漫水填充算法，本公开不对具体算法进行限制。

根据本公开的获取视频中的标记掩模的方法，与直接使用矩形框作为标记掩模(如图4(d)所示)相比，能够精确地提取出视频中的标记，并且避免了相关技术中需要构件庞大的数据库通过模板匹配来提取台标的过程。另外，能够检测出标记的起始帧和终止帧，有助于减少后续的标记去除或替换的计算量。

图5示出了根据本公开的示例性实施例的获取视频中的标记掩模的装置500。如以上所述，可在诸如PC、手机等的具有视频处理能力的终端设备或者服务器中实施装置500。

如图5所示，根据本公开的示例性实施例的装置500包括标记区域划分模块510、视频帧确定模块520、边缘增强模块530和标记掩模获取模块540。

标记区域划分模块510被配置为从所述视频中存在标记的视频帧中划分出标记区域，其中，标记区域是视频帧中位于特定位置的包含标记的一部分区域。根据本公开的示例性实施例，标记包括由视频提供者加入的水印或者视频提供平台的台标，所述标记区域通过人工划分或者自动检测而得到。

视频帧确定模块520被配置为在视频的视频帧中确定用于提取标记掩模的视频帧。根据本公开的示例性实施例，视频帧确定模块520被配置为确定视频中首次出现标记的起始帧和不再出现标记的终止帧，并将起始帧和终止帧之间的视频帧中的至少一部分帧作为用于提取标记掩模的视频帧。

边缘增强模块530被配置为对用于提取标记掩模的视频帧的标记区域的标记的边缘进行叠加强化以得到包含强化的边缘信息的标记区域的图像。

标记掩模获取模块540被配置为基于包含强化的边缘信息的标记区域的图像。

根据本公开的示例性实施例，视频帧确定模块520可包括：亮度掩模获取模块521，被配置为将标记区域的图像转化为灰度图并进行二值化处理以获取所述标记区域的亮度掩模图像；差值掩模获取模块522，被配置为在标记帧的相邻帧中获取与标记区域相同位置的区域的图像，对相邻帧的相同位置的区域的图像与所述标记区域的图像的绝对差值执行二值化以确定差值掩模图像；初始掩模获取模块523，被配置为对亮度掩模图像和差值掩模图像逐像素地执行与操作以得到标记的初始掩模图像；亮度比较模块524，被配置为以初始掩模图像的像素的平均亮度作为参考亮度，从所述标记帧开始向前和向后逐帧地计算视频的每个视频帧的标记区域内的像素的平均亮度与参考亮度的差值，响应于确定在标记帧之前的第一视频帧的标记区域内的像素的平均亮度与参考亮度之差大于阈值，将第一视频帧之后的一帧确定为起始帧，响应于确定在标记帧之后的第二视频帧的标记区域内的像素的平均亮度与参考亮度之差大于阈值，将第二视频帧之前的一帧确定为终止帧。

根据本公开的示例性实施例，差值掩模获取模块522被配置为从多个相邻帧中选择与所述标记区域的图像的绝对差值和最小的帧来确定所述差值掩模图像。

根据本公开的示例性实施例，边缘增强模块530包括：边缘滤波模块531，被配置为用于提取标记掩模的视频帧的标记区域的图像执行拉普拉斯滤波以提取标记区域的边缘信息；叠加归一化模块532，被配置为将拉普拉斯滤波后的标记区域的图像执行叠加和归一化，以得到包含强化的边缘信息的标记区域的图像。

根据本公开的示例性实施例，标记掩模获取模块540包括：边缘检测模块541，被配置为对包含强化的边缘信息的标记区域的图像执行边缘检测以获取边缘掩模图像；形态学滤波模块542，被配置为对边缘掩模图像执行形态学滤波；空洞填充模块543，被配置为针对形态学滤波后的边缘掩模图像的内部空洞执行填充，以得到标记掩模。

根据本公开的示例性实施例，边缘检测模块541通过Canny边缘检测来执行所述边缘检测，空洞填充模块543通过漫水填充算法来填充边缘掩模图像的内部空洞。

图6示出了根据本公开的另一示例性实施例的去除视频中的标记的方法的流程图。应理解，可在各种终端设备或服务器上执行如图6所述的方法。

如图6所示，首先，在步骤S610，从视频中包含标记的视频帧中划分出包含标记的标记区域。如上所述，可通过与用户的交互来由用户在视频中存在标记的任意一帧中划分出标记区域，标记区域大致地覆盖整个标记即可。

接下来，在步骤S620，确定视频中首次出现标记的起始帧和不再出现标记的终止帧。以上已经详细描述了在视频中确定标记的起始帧和终止帧的过程，在此不再重复说明。

然后，在步骤S630，对起始帧和终止帧中的至少部分视频帧的标记区域的标记的边缘进行叠加强化以得到包含强化的边缘信息的标记区域的图像。以上已经详细描述了对标记的边缘进行叠加强化的过程，在此不再重复说明。

接下来，在步骤S640，基于包含强化的边缘信息的标记区域的图像获取所述视频中的标记的掩模区域。如上所述，可通过边缘提取、形态学滤波和空洞填充来获得标记的掩模区域。

然后，在步骤S650，使用标记的掩模区域周围的图像内容和纹理信息对所述起始帧和所述终止帧之间的每个帧的掩模区域进行填充，或者使用新标记图像覆盖在所述起始帧和所述终止帧之间的每个帧的标记的掩模区域。

这里，如果需要填充标记的掩模区域，则可根据标记的掩模区域周围的像素来自动填充掩模区域。如果需要替换标记，则可由用户来选择将要用于替换标记的图像。例如，在针对视频的标记提取处理完成之后可询问用户选择想要用于替换标记的图像。

通过如上所述的方法，能够更准确地去除视频中的水印或台标而不会消除过多的视频帧中的内容，并且能够精确地定位视频中存在水印或台标的帧，减少了去除或替换操作的计算量。

图7是示出根据本公开的示例性实施例的一种用于从视频中提取视频的标记掩模的电子设备的结构框图。该电子设备700例如可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。电子设备700还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，电子设备700包括有：处理器701和存储器702。

处理器701可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器701可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(FieldProgrammable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器701可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器701还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器701所执行以实现本公开的如图3所示的方法实施例提供的视频编码方法。

在一些实施例中，电子设备700还可选包括有：外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口703相连。具体地，外围设备包括：射频电路704、触摸显示屏705、摄像头706、音频电路707、定位组件708和电源709中的至少一种。

外围设备接口703可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器701和存储器702。在一些实施例中，处理器701、存储器702和外围设备接口703被集成在同一芯片或电路板上；在一些其他实施例中，处理器701、存储器702和外围设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路704用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路704将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路704包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路704可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路704还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本公开对此不加以限定。

显示屏705用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏705是触摸显示屏时，显示屏705还具有采集在显示屏705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器701进行处理。此时，显示屏705还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏705可以为一个，设置在电子设备700的前面板；在另一些实施例中，显示屏705可以为至少两个，分别设置在终端700的不同表面或呈折叠设计；在再一些实施例中，显示屏705可以是柔性显示屏，设置在终端700的弯曲表面上或折叠面上。甚至，显示屏705还可以设置成非矩形的不规则图形，也即异形屏。显示屏705可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件706用于采集图像或视频。可选地，摄像头组件706包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件706还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器701进行处理，或者输入至射频电路704以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端700的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器701或射频电路704的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路707还可以包括耳机插孔。

定位组件708用于定位电子设备700的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件708可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。

电源709用于为电子设备700中的各个组件进行供电。电源709可以是交流电、直流电、一次性电池或可充电电池。当电源709包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，电子设备700还包括有一个或多个传感器710。该一个或多个传感器710包括但不限于：加速度传感器711、陀螺仪传感器712、压力传感器713、指纹传感器714、光学传感器715以及接近传感器716。

加速度传感器711可以检测以终端700建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器711可以用于检测重力加速度在三个坐标轴上的分量。处理器701可以根据加速度传感器711采集的重力加速度信号，控制触摸显示屏705以横向视图或纵向视图进行用户界面的显示。加速度传感器711还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器712可以检测终端700的机体方向及转动角度，陀螺仪传感器712可以与加速度传感器711协同采集用户对终端700的3D动作。处理器701根据陀螺仪传感器712采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器713可以设置在终端700的侧边框和/或触摸显示屏705的下层。当压力传感器713设置在终端700的侧边框时，可以检测用户对终端700的握持信号，由处理器701根据压力传感器713采集的握持信号进行左右手识别或快捷操作。当压力传感器713设置在触摸显示屏705的下层时，由处理器701根据用户对触摸显示屏705的压力操作，实现对UI上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器714用于采集用户的指纹，由处理器701根据指纹传感器714采集到的指纹识别用户的身份，或者，由指纹传感器714根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器701授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器714可以被设置电子设备700的正面、背面或侧面。当电子设备700上设置有物理按键或厂商Logo时，指纹传感器714可以与物理按键或厂商Logo集成在一起。

光学传感器715用于采集环境光强度。在一个实施例中，处理器701可以根据光学传感器715采集的环境光强度，控制触摸显示屏705的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏705的显示亮度；当环境光强度较低时，调低触摸显示屏705的显示亮度。在另一个实施例中，处理器701还可以根据光学传感器715采集的环境光强度，动态调整摄像头组件706的拍摄参数。

接近传感器716，也称距离传感器，通常设置在电子设备700的前面板。接近传感器716用于采集用户与电子设备700的正面之间的距离。在一个实施例中，当接近传感器716检测到用户与终端700的正面之间的距离逐渐变小时，由处理器701控制触摸显示屏705从亮屏状态切换为息屏状态；当接近传感器716检测到用户与电子设备700的正面之间的距离逐渐变大时，由处理器701控制触摸显示屏705从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图7中示出的结构并不构成对电子设备700的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

图8示出了用于获取视频中的标记掩模的另一种电子设备800的结构框图。例如，电子设备800可以被提供为一服务器。参照图8，电子设备800包括一个或多个处理处理器810以及存储器820。存储器820可以包括用于执行以上的从视频中获取视频的标记掩模的方法的一个或一个以上的程序。电子设备800还可以包括一个电源组件830被配置为执行电子设备800的电源管理，一个有线或无线网络接口840被配置为将电子设备800连接到网络，和一个输入输出(I/O)接口850。电子设备800可以操作基于存储在存储器820的操作系统，例如Windows ServerTM、Mac OS XTM、UnixTM、LinuxTM、FreeBSDTM或类似。

根据本公开的实施例，还可提供一种存储指令的计算机可读存储介质，其中，当指令被至少一个处理器运行时，促使至少一个处理器执行根据本公开的视频编码方法。这里的计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态硬盘(SSD)、卡式存储器(诸如，多媒体卡、安全数字(SD)卡或极速数字(XD)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。

根据本公开的实施例中，还可提供一种计算机程序产品，该计算机程序产品中的指令可由计算机设备的处理器执行以完成上述方法。

根据本公开的获取视频中的标记掩模的方法、装置以及电子设备、计算机可读存储介质可能够提取精确的标记掩模，避免构建庞大的标记数据库进行模板匹配，对标记出现的位置和形状、视频的种类均没有限制，有助于后续进行更好的台标去除，能够检测出标记的起始帧和结束帧，因此不需要对起始帧到结束帧范围外的帧进行处理，有助于减少后续标记去除的计算量。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种获取视频中的标记掩模的方法，其特征在于，包括：

从所述视频中存在标记的标记帧中划分出标记区域，其中，标记区域是视频帧中位于特定位置的包含标记的一部分区域；

在所述视频的视频帧中确定用于提取标记掩模的视频帧；

对用于提取标记掩模的视频帧的标记区域的标记的边缘进行叠加强化以得到包含强化的边缘信息的标记区域的图像；

基于包含强化的边缘信息的标记区域的图像获取所述视频中的标记掩模。

2.如权利要求1所述的方法，其特征在于，所述标记包括由视频提供者加入的水印或者视频提供平台的台标，所述标记区域通过人工划分或者自动检测而得到。

3.如权利要求1所述的方法，其特征在于，所述在所述视频的视频帧中确定用于提取标记掩模的至少部分视频帧包括：确定所述视频中首次出现标记的起始帧和不再出现标记的终止帧，并将所述起始帧和所述终止帧之间的视频帧中的至少一部分帧作为用于提取标记掩模的视频帧。

4.如权利要求3所述的方法，其特征在于，所述确定所述视频中首次出现标记的起始帧和不再出现标记的终止帧包括：

从标记区域提取标记的初始掩模图像；

根据初始掩模图像内的像素与所述视频中的每个帧的标记区域内的像素的亮度差异来确定所述初始帧和所述终止帧。

5.如权利要求4所述的方法，其特征在于，所述从标记区域提取标记的初始掩模图像包括：

将所述标记帧的标记区域的图像转化为灰度图并进行二值化处理以获取所述标记帧的标记区域的亮度掩模图像；

在所述标记帧的相邻帧中获取位于标记区域内的图像，对相邻帧的相同位置的区域的图像与所述标记区域的图像的绝对差值执行二值化以确定差值掩模图像；

对所述亮度掩模图像和所述差值掩模图像逐像素地执行与操作以得到标记的初始掩模图像；

以所述初始掩模图像的像素的平均亮度作为参考亮度，从所述标记帧开始向前和向后逐帧地计算所述视频的每个视频帧的标记区域内的像素的平均亮度与参考亮度的差值，响应于确定在所述标记帧之前的第一视频帧的标记区域内的像素的平均亮度与参考亮度之差大于阈值，将所述第一视频帧之后的一帧确定为所述起始帧，响应于确定在所述标记帧之后的第二视频帧的标记区域内的像素的平均亮度与参考亮度之差大于阈值，将所述第二视频帧之前的一帧确定为所述终止帧。

6.如权利要求5所述的方法，其特征在于，从多个相邻帧中选择与所述标记区域的图像的绝对差值和最小的帧来确定所述差值掩模图像。

7.如权利要求1所述的方法，其特征在于，所述对用于提取标记掩模的视频帧的标记区域的标记的边缘进行叠加强化以得到包含强化的边缘信息的标记区域的图像包括：

对用于提取标记掩模的视频帧的标记区域的图像执行拉普拉斯滤波以提取标记区域的边缘信息；

将拉普拉斯滤波后的标记区域的图像执行叠加和归一化，以得到包含强化的边缘信息的标记区域的图像。

8.如权利要求1所述的方法，其特征在于，所述基于包含强化的边缘信息的标记区域的图像来获取所述视频中的标记掩模包括：

对包含强化的边缘信息的标记区域的图像执行边缘检测以获取边缘掩模图像；

对边缘掩模图像执行形态学滤波；

针对形态学滤波后的边缘掩模图像的内部空洞执行填充，以得到标记掩模。

9.如权利要求8所述的方法，其特征在于，通过Canny边缘检测来执行所述边缘检测，通过漫水填充算法来填充边缘掩模图像的内部空洞。

10.一种获取视频中的标记掩模的装置，其特征在于，包括：

标记区域划分模块，被配置为从所述视频中存在标记的视频帧中划分出标记区域，其中，标记区域是视频帧中位于特定位置的包含标记的一部分区域；

视频帧确定模块，被配置为在所述视频的视频帧中确定用于提取标记掩模的视频帧；

边缘增强模块，被配置为对用于提取标记掩模的视频帧的标记区域的标记的边缘进行叠加强化以得到包含强化的边缘信息的标记区域的图像；

标记掩模获取模块，被配置为基于包含强化的边缘信息的标记区域的图像获取所述视频中的标记掩模。

Images