发明内容
有鉴于此,本公开实施例提供一种视频修复方法、装置及电子设备,至少部分解决现有技术中存在的问题。
第一方面,本公开实施例提供了一种视频修复方法,包括:
响应于特定的与视频修复相关的标注信息,获取针对视频文件起始帧设置的目标区域,所述视频文件包括多个视频帧,所述目标区域中包含一个或多个目标对象;
在所述视频文件的所有视频帧中,基于由视频帧的梯度值构建的物体边缘,利用包括平行分布的前景通道和轮廓通道的分割网络,对所述目标对象进行跟踪分割处理;
基于所述跟踪分割处理的结果,利用预先设置的修复网络对所述特征图中分割处理结果对应区域执行关注度特征提取,以便于基于所述特征提取的结果对所述视频文件中所有的视频帧执行视频修复操作;
获取执行修复操作之后形成的视频帧所包含的像素点,通过判断不同视频帧之间对应像素点之间的抖动情况,按照预设的平滑处理曲线,对修复后的视频帧进行平滑处理,形成修复视频。
根据本公开实施例的一种具体实现方式,所述获取针对视频文件起始帧设置的目标区域,包括:
获取用户对于起始帧的标注信息;
基于所述标注信息确定所述起始帧中的待修复区域;
根据所述待修复区域生成掩码,所述掩码用于在所述起始帧中确定所述目标区域。
根据本公开实施例的一种具体实现方式,所述对所述目标对象进行跟踪分割处理,包括:
计算所述起始帧目标区域内图像的梯度值;
将梯度值大于预设阈值的区域进行连接,形成物体边缘;
基于所述物体边缘,确定所述起始帧内目标区域内目标对象的像素信息;
利用所述像素信息,在所述视频文件中除起始帧之外的视频帧中对所述目标对象进行跟踪分割处理。
根据本公开实施例的一种具体实现方式,所述在所述视频文件中除起始帧之外的视频帧中对所述目标对象进行跟踪分割处理,包括:
设置对视频帧中的目标对象进行跟踪分割处理的分割网络,所述分割网络包括平行分布的前景通道和轮廓通道;
利用所述前景通道分割视频帧中的前景对象,获取前景对象的组成像素;
利用所述轮廓通道检测所述视频帧中所有对象的轮廓,形成轮廓像素;
通过超参数轮廓图计算与所述轮廓像素对齐的超像素,通过比较所述超像素与前景组成像素之间重叠率,确定所述目标对象最终的前景分割图像。
根据本公开实施例的一种具体实现方式,所述设置对视频帧中的目标对象进行跟踪分割处理的分割网络之前,所述方法还包括:
设置具有二进制掩码格式的前景分割离线训练集,所述离线训练集用于训练所述分割网络;
使用随机梯度下降与预设动量的方式对所述分割网络进行多次迭代训练,在迭代训练的过程中,逐渐降低所述分割网络的学习率。
根据本公开实施例的一种具体实现方式,所述设置对视频帧中的目标对象进行跟踪分割处理的分割网络之前,所述方法还包括:
在获得视频帧图像和起始帧中分割对象的情况下,进一步训练所述分割网络,并基于针对所述分割网络中的训练结果来调整所述分割网络中的不同权重值。
根据本公开实施例的一种具体实现方式,所述对所述视频文件中所有的视频帧执行视频修复操作,包括:
利用预先设置的修复网络中的卷积层,生成所述视频帧的特征图;
对所述特征图中分割处理结果对应区域执行关注度特征提取,形成所述目标区域待修复内容的特征矩阵;
基于所述特征矩阵,对所述视频帧进行图像修复。
根据本公开实施例的一种具体实现方式,所述基于所述特征矩阵,对所述视频帧进行图像修复,包括:
将所述特征图对应的图像矩阵中的元素与所述特征矩阵中的对应位置的元素进行乘法运算,获得关注度矩阵;
利用所述修复网络中的第一计算通道,对所述视频帧图像执行关注度特征计算,得到第一计算结果;
利用所述修复网络中的第二计算通道,对所述视频帧图像执行扩展卷积计算,得到第二计算结果;
基于所述第一计算结果和所述第二计算结果的和,对所述视频帧图像进行图像修复。
根据本公开实施例的一种具体实现方式,所述对修复后的视频帧进行平滑处理,形成修复视频,包括:
以连续的多个视频帧为集合,对于视频帧目标区域中的每个像素点的值执行拟合操作。
第二方面,本公开实施例提供了一种视频修复装置,包括:
获取模块,用于响应于特定的与视频修复相关的标注信息,获取针对视频文件起始帧设置的目标区域,所述视频文件包括多个视频帧,所述目标区域中包含一个或多个目标对象;
分割模块,用于在所述视频文件的所有视频帧中,基于由视频帧的梯度值构建的物体边缘,利用包括平行分布的前景通道和轮廓通道的分割网络,对所述目标对象进行跟踪分割处理;
修复模块,用于基于所述跟踪分割处理的结果,利用预先设置的修复网络对所述特征图中分割处理结果对应区域执行关注度特征提取,以便于基于所述特征提取的结果对所述视频文件中所有的视频帧执行视频修复操作;
平滑模块,用于获取执行修复操作之后形成的视频帧所包含的像素点,通过判断不同视频帧之间对应像素点之间的抖动情况,按照预设的平滑处理曲线,对修复后的多个视频帧进行平滑处理,形成修复视频。
第三方面,本公开实施例还提供了一种电子设备,该电子设备包括:
至少一个处理器;以及,
与该至少一个处理器通信连接的存储器;其中,
该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行前述任第一方面或第一方面的任一实现方式中的视频修复方法。
第四方面,本公开实施例还提供了一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储计算机指令,该计算机指令用于使该计算机执行前述第一方面或第一方面的任一实现方式中的视频修复方法。
第五方面,本公开实施例还提供了一种计算机程序产品,该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序,该计算机程序包括程序指令,当该程序指令被计算机执行时,使该计算机执行前述第一方面或第一方面的任一实现方式中的视频修复方法。
本公开实施例中的视频修复方案,包括响应于特定的与视频修复相关的标注信息,获取针对视频文件起始帧设置的目标区域,所述视频文件包括多个视频帧,所述目标区域中包含一个或多个目标对象;在所述视频文件的所有视频帧中,基于由视频帧的梯度值构建的物体边缘,利用包括平行分布的前景通道和轮廓通道的分割网络,对所述目标对象进行跟踪分割处理;基于所述跟踪分割处理的结果,利用预先设置的修复网络对所述特征图中分割处理结果对应区域执行关注度特征提取,以便于基于所述特征提取的结果对所述视频文件中所有的视频帧执行视频修复操作;获取执行修复操作之后形成的视频帧所包含的像素点,通过判断不同视频帧之间对应像素点之间的抖动情况,按照预设的平滑处理曲线,对修复后的视频帧进行平滑处理,形成修复视频。通过本公开的方案,能够在视频文件中仅选择一个起始帧,便能对所有的视频帧进行图像修复,提高了视频修复的效率。
具体实施方式
下面结合附图对本公开实施例进行详细描述。
以下通过特定的具体实例说明本公开的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本公开的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
需要说明的是,下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见,本文中所描述的方面可体现于广泛多种形式中,且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开,所属领域的技术人员应了解,本文中所描述的一个方面可与任何其它方面独立地实施,且可以各种方式组合这些方面中的两者或两者以上。举例来说,可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外,可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是,以下实施例中所提供的图示仅以示意方式说明本公开的基本构想,图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
另外,在以下描述中,提供具体细节是为了便于透彻理解实例。然而,所属领域的技术人员将理解,可在没有这些特定细节的情况下实践所述方面。
本公开实施例提供一种视频修复方法。本实施例提供的视频修复方法可以由一计算装置来执行,该计算装置可以实现为软件,或者实现为软件和硬件的组合,该计算装置可以集成设置在服务器、终端设备等中。
参见图1,本公开实施例提供的一种视频修复方法,包括如下步骤:
S101,响应于特定的与视频修复相关的标注信息,获取针对视频文件起始帧设置的目标区域,所述视频文件包括多个视频帧,所述目标区域中包含一个或多个目标对象。
视频文件是指由于视频帧图像中存在某种需要解决的问题而需要进行处理的文件,视频帧图像中存在的需要解决的问题可以是多方面的,例如,视频帧图像中存在马赛克区域导致图像不清晰,或者,视频帧图像中存在多余的组成对象需要全部进行清除,这些多余的对象可以是下雨过程中在图像或视频中形成的雨滴、视频或图片中存在的固定logo(例如,电视台标)、视频或图片拍摄过程中形成的不必要的路人影像等。基于此,对视频文件的修复既可以是将视频文件中存在的不清晰的内容变得清晰,也可以是将视频文件中存在的不必要的组成对象清除掉,并在清除掉不必要的元素的同时填充清除区域应该存在的图像。
目标区域是视频文件上需要进行修复的视频帧图像区域,目标区域可以是通过指定的方式产生,也可以是通过对视频文件进行自动检测而产生。通过获得目标区域,能够针对性的对视频文件进行修复处理。
目标对象是目标区域内存在的对象,目标对象可以是人物照片的部分或全部、动物、汽车等。目标对象可以通过对象检测的方式检测出来,以便于确定是否主要在视频文件中使该目标对象消失,从而完成对视频文件的修复。
由于视频文件中存在较多的视频帧,作为视频修复的一种方式,如果想让视频文件中存在的某一个目标对象(例如,视频中出现的某个人物)全部消失,由于目标对象通常分别在视频帧的不同位置,需要在所有的视频帧图像对目标对象进行标注,这会极大的提高视频修复的工作量。为此,在本公开的方案中,用户只需要在所有的视频帧中选择一个起始帧,并在起始帧上选择目标区域,便能够自动的查找其他视频帧中存在的与目标区域的目标对象相同的对象,并自动的将视频中出现的目标对象消除,从而自动完成对视频文件的修复。起始帧可以是视频文件的第一帧,也可以是视频文件的其他视频帧中的任意一帧。
S102,在所述视频文件的所有视频帧中,基于由视频帧的梯度值构建的物体边缘,利用包括平行分布的前景通道和轮廓通道的分割网络,对所述目标对象进行跟踪分割处理。
为了能够基于起始帧目标区域中的目标对象,完成对整个视频文件的修复操作,需要在视频文件中遍历存在的目标对象。本公开的方案设置了基于全卷积网络架构的分割网络,该分割网络能够连续地执行前景分割的任务,对于所有视频帧的处理都是独立完成,保证了目标对象跟踪分割处理的连贯性和稳定性。
为了提高分割网络的准确度,需要对分割网络进行离线训练。分割网络在预先设置的训练集上,学习如何从背景中分割对象的一般概念和它们的通常形状,通过多次训练迭代,能够获得设定的预测精度。在分割网络学习的过程中,可以将学习率逐渐降低。在离线训练之后,风格网络能够从视频帧背景中分割出前景对象。在给定视频帧图像和起始帧目标区域分割的情况下,可以对视频文件中的特定实体(目标对象)进行分割,从而寻找出与视频文件中目标对象相关的所有对象。为了进一步提高分割网络的准确度,可以进一步训练分割网络,在训练的过程中形成新的网络权重值,使用新权重测试整个训练集中的序列。
在对视频帧进行分割处理的过程中,可以使用快速双边求解器将背景预测捕捉图像边缘。在颜色位置空间中执行高斯平滑,保留图像的边缘。除此之外,参见图2,在分割网络中构建平行分布的前景通道和轮廓通道,利用所述前景通道分割视频帧中的前景对象,获取前景对象的组成像素。利用轮廓通道检测所述视频帧中所有对象的轮廓,形成轮廓像素,通过超参数轮廓图计算与所述轮廓像素对齐的超像素,通过比较所述超像素与前景组成像素之间重叠率,确定所述目标对象最终的前景分割图像。前景通道和轮廓通道可以使用不同的损失函数进行了训练。前景通道和轮廓通道的计算结果通过超参数轮廓图计算与计算轮廓对齐的超像素,设置较低的阈值。然后得到前景掩码,可以通过多数投票(例如,与前景掩模重叠超过50%)选择超像素以形成最终的前景分割。
S103,基于所述跟踪分割处理的结果,利用预先设置的修复网络对所述特征图中分割处理结果对应区域执行关注度特征提取,以便于基于所述特征提取的结果对所述视频文件中所有的视频帧执行视频修复操作。
分割网络作为第一级网络,能够在视频文件中分割出目标对象。接下来设置与分割网络连接的第二级网络(修复网络),通过修复网络能够基于分割网络检测得到的结果对视频帧执行修复操作。
修复网络中设有卷积层,通过卷积层能够生成视频帧图像的特征图。视频帧图像的特征图包含了视频帧图像的全部信息,为了进一步的提高目标区域的预测准确度,在视频帧图像的特征图中选择目标区域的对应区域执行关注度特征提取,形成所述目标区域待修复内容的特征矩阵,通过该特征矩阵,对视频帧图像像进行图像预测。具体的,可以将所述特征图对应的图像矩阵中的元素与所述特征矩阵中的对应位置的元素进行乘法运算,获得关注度矩阵,将该关注度矩阵作为修复网络中的一个图像聚焦层,对图像进行处理,能够提高目标区域图像的预测准确度。
为了进一步的提高修复网络的预测准确性,可以在修复网络中设置2个计算通道,第一计算通道和第二计算通道。第一计算通道,利用关注度矩阵对所述视频帧图像像执行关注度特征计算,得到第一计算结果。第二计算通道对所述视频帧图像像执行扩展卷积计算,得到第二计算结果,最后将第一计算结果和第二计算结果的和作为最终的计算结果,对所述视频帧图像像进行图像预测。形成修复后的视频帧图像。
S104,获取执行修复操作之后形成的视频帧所包含的像素点,通过判断不同视频帧之间对应像素点之间的抖动情况,按照预设的平滑处理曲线,对修复后的视频帧进行平滑处理,形成修复视频。
由于修复后的视频帧图像可能时域上产生突变,影响观看体验,所以需要对修复后的视频帧图像进行平滑处理。具体为:对于视频帧目标区域中的每个像素点的值执行拟合操作。例如,对于目标区域的每个像素点的值,根据预先设置平滑处理曲线,根据不同视频帧之间对应像素点之间的抖动情况,每n帧进行一次拟合,使得目标区域在时域上更加平滑。
通过步骤S101-S104中的方案,能够使用户在仅选择一帧的情况下,对全部的视频文件进行修复,提高了视频修复的效率。在视频帧修复的过程中,通过提取视频帧目标区域中的关注度值,使得修复后的图像更接近真实图像。通过对修复后的图像执行平滑处理,提高了修复后视频的平滑度。
可以采用多种方式来获得起始帧上的目标区域,根据本公开实施例的一种具体实现方式,获取针对视频文件起始帧设置的目标区域,可以先获取用户对于起始帧的标注信息;基于所述标注信息确定所述起始帧中的待修复区域;根据所述待修复区域生成掩码,所述掩码用于在所述起始帧中确定所述目标区域。用户可以通过人工标注的方式对起始帧的目标区域进行标注,标注信息可以是特定色彩的线条,或者是特定形状的线条等。可以基于标注信息的特征对标注信息进行识别。获取到标注信息之后,便可以基于标注信息所指示的区域来确定待修复区域(目标区域)。通过设置掩模图像,能够对起始帧中的待修复目标区域中的像素点的像素值实现掩码操作的图像,从而确定目标区域的像素点的像素值。
参见图3,根据本公开实施例的一种具体实现方式,所述在所述视频文件的所有视频帧中,对所述目标对象进行跟踪分割处理,包括:
S301,计算所述起始帧目标区域内图像的梯度值。
S302,将梯度值大于预设阈值的区域进行连接,形成物体边缘。
通过设置预设阈值,可以将图像中的梯度值与预设阈值进行比较,将梯度值大于该预设阈值的区域进行连接,从而形成物体边缘,该物体边缘展示了目标区域内目标对象的基本轮廓。
S303,基于所述物体边缘,确定所述起始帧内目标区域内目标对象的像素信息。
确定了物体边缘之后,可以提取物体边缘内目标对象的像素值,组成像素值集合,通过该像素值集合来确定目标对象的像素信息。
S304,利用所述像素信息,在所述视频文件中除起始帧之外的视频帧中对所述目标对象进行跟踪分割处理。
参见图4,根据本公开实施例的一种具体实现方式,所述在所述视频文件中除起始帧之外的视频帧中对所述目标对象进行跟踪分割处理,包括:
S401,设置对视频帧中的目标对象进行跟踪分割处理的分割网络,所述分割网络包括平行分布的前景通道和轮廓通道。
S402,利用所述前景通道分割视频帧中的前景对象,获取前景对象的组成像素。
S403,利用所述轮廓通道检测所述视频帧中所有对象的轮廓,形成轮廓像素。
S404,通过超参数轮廓图计算与所述轮廓像素对齐的超像素,通过比较所述超像素与前景组成像素之间重叠率,确定所述目标对象最终的前景分割图像。
通过设置前景通道和轮廓通道,进一步条了分割图像的分割精度。
根据本公开实施例的一种具体实现方式,所述设置对视频帧中的目标对象进行跟踪分割处理的分割网络之前,所述方法还包括:设置具有二进制掩码格式的前景分割离线训练集,所述离线训练集用于训练所述分割网络;使用随机梯度下降与预设动量的方式对所述分割网络进行多次迭代训练,在迭代训练的过程中,逐渐降低所述分割网络的学习率。
根据本公开实施例的一种具体实现方式,所述设置对视频帧中的目标对象进行跟踪分割处理的分割网络之前,所述方法还包括:在获得视频帧图像和起始帧中分割对象的情况下,进一步训练所述分割网络,并基于针对所述分割网络中的训练结果来调整所述分割网络中的不同权重值。
根据本公开实施例的一种具体实现方式,所述基于所述跟踪分割处理的结果,对所述视频文件中所有的视频帧执行视频修复操作,包括:利用预先设置的修复网络中的卷积层,生成所述视频帧的特征图;对所述特征图中分割处理结果对应区域执行关注度特征提取,形成所述目标区域待修复内容的特征矩阵;基于所述特征矩阵,对所述视频帧进行图像修复。
根据本公开实施例的一种具体实现方式,所述基于所述特征矩阵,对所述视频帧进行图像修复,包括:将所述特征图对应的图像矩阵中的元素与所述特征矩阵中的对应位置的元素进行乘法运算,获得关注度矩阵;利用所述修复网络中的第一计算通道,对所述视频帧图像执行关注度特征计算,得到第一计算结果;利用所述修复网络中的第二计算通道,对所述视频帧图像执行扩展卷积计算,得到第二计算结果;基于所述第一计算结果和所述第二计算结果的和,对所述视频帧图像进行图像修复。
根据本公开实施例的一种具体实现方式,所述对修复后的视频帧进行平滑处理,形成修复视频,包括:以连续的多个视频帧为集合,对于视频帧目标区域中的每个像素点的值执行拟合操作。
与上面的方法实施例相对应,参见图5,本公开还提供了一种视频修复装置50,包括:
获取模块501,用于响应于特定的与视频修复相关的标注信息,获取针对视频文件起始帧设置的目标区域,所述视频文件包括多个视频帧,所述目标区域中包含一个或多个目标对象。
视频文件是指由于视频帧图像中存在某种需要解决的问题而需要进行处理的文件,视频帧图像中存在的需要解决的问题可以是多方面的,例如,视频帧图像中存在马赛克区域导致图像不清晰,或者,视频帧图像中存在多余的组成对象需要全部进行清除,这些多余的对象可以是下雨过程中在图像或视频中形成的雨滴、视频或图片中存在的固定logo(例如,电视台标)、视频或图片拍摄过程中形成的不必要的路人影像等。基于此,对视频文件的修复既可以是将视频文件中存在的不清晰的内容变得清晰,也可以是将视频文件中存在的不必要的组成对象清除掉,并在清除掉不必要的元素的同时填充清除区域应该存在的图像。
目标区域是视频文件上需要进行修复的视频帧图像区域,目标区域可以是通过指定的方式产生,也可以是通过对视频文件进行自动检测而产生。通过获得目标区域,能够针对性的对视频文件进行修复处理。
目标对象是目标区域内存在的对象,目标对象可以是人物照片的部分或全部、动物、汽车等。目标对象可以通过对象检测的方式检测出来,以便于确定是否主要在视频文件中使该目标对象消失,从而完成对视频文件的修复。
由于视频文件中存在较多的视频帧,作为视频修复的一种方式,如果想让视频文件中存在的某一个目标对象(例如,视频中出现的某个人物)全部消失,由于目标对象通常分别在视频帧的不同位置,需要在所有的视频帧图像对目标对象进行标注,这会极大的提高视频修复的工作量。为此,在本公开的方案中,用户只需要在所有的视频帧中选择一个起始帧,并在起始帧上选择目标区域,便能够自动的查找其他视频帧中存在的与目标区域的目标对象相同的对象,并自动的将视频中出现的目标对象消除,从而自动完成对视频文件的修复。起始帧可以是视频文件的第一帧,也可以是视频文件的其他视频帧中的任意一帧。
分割模块502,用于在所述视频文件的所有视频帧中,基于由视频帧的梯度值构建的物体边缘,利用包括平行分布的前景通道和轮廓通道的分割网络,对所述目标对象进行跟踪分割处理。
为了能够基于起始帧目标区域中的目标对象,完成对整个视频文件的修复操作,需要在视频文件中遍历存在的目标对象。本公开的方案设置了基于全卷积网络架构的分割网络,该分割网络能够连续地执行前景分割的任务,对于所有视频帧的处理都是独立完成,保证了目标对象跟踪分割处理的连贯性和稳定性。
为了提高分割网络的准确度,需要对分割网络进行离线训练。分割网络在预先设置的训练集上,学习如何从背景中分割对象的一般概念和它们的通常形状,通过多次训练迭代,能够获得设定的预测精度。在分割网络学习的过程中,可以将学习率逐渐降低。在离线训练之后,风格网络能够从视频帧背景中分割出前景对象。在给定视频帧图像和起始帧目标区域分割的情况下,可以对视频文件中的特定实体(目标对象)进行分割,从而寻找出与视频文件中目标对象相关的所有对象。为了进一步提高分割网络的准确度,可以进一步训练分割网络,在训练的过程中形成新的网络权重值,使用新权重测试整个训练集中的序列。
在对视频帧进行分割处理的过程中,可以使用快速双边求解器将背景预测捕捉图像边缘。在颜色位置空间中执行高斯平滑,保留图像的边缘。除此之外,参见图2,在分割网络中构建平行分布的前景通道和轮廓通道,利用所述前景通道分割视频帧中的前景对象,获取前景对象的组成像素。利用轮廓通道检测所述视频帧中所有对象的轮廓,形成轮廓像素,通过超参数轮廓图计算与所述轮廓像素对齐的超像素,通过比较所述超像素与前景组成像素之间重叠率,确定所述目标对象最终的前景分割图像。前景通道和轮廓通道可以使用不同的损失函数进行了训练。前景通道和轮廓通道的计算结果通过超参数轮廓图计算与计算轮廓对齐的超像素,设置较低的阈值。然后得到前景掩码,可以通过多数投票(例如,与前景掩模重叠超过50%)选择超像素以形成最终的前景分割。
修复模块503,用于基于所述跟踪分割处理的结果,利用预先设置的修复网络对所述特征图中分割处理结果对应区域执行关注度特征提取,以便于基于所述特征提取的结果对所述视频文件中所有的视频帧执行视频修复操作。
分割网络作为第一级网络,能够在视频文件中分割出目标对象。接下来设置与分割网络连接的第二级网络(修复网络),通过修复网络能够基于分割网络检测得到的结果对视频帧执行修复操作。
修复网络中设有卷积层,通过卷积层能够生成视频帧图像的特征图。视频帧图像的特征图包含了视频帧图像的全部信息,为了进一步的提高目标区域的预测准确度,在视频帧图像的特征图中选择目标区域的对应区域执行关注度特征提取,形成所述目标区域待修复内容的特征矩阵,通过该特征矩阵,对视频帧图像像进行图像预测。具体的,可以将所述特征图对应的图像矩阵中的元素与所述特征矩阵中的对应位置的元素进行乘法运算,获得关注度矩阵,将该关注度矩阵作为修复网络中的一个图像聚焦层,对图像进行处理,能够提高目标区域图像的预测准确度。
为了进一步的提高修复网络的预测准确性,可以在修复网络中设置2个计算通道,第一计算通道和第二计算通道。第一计算通道,利用关注度矩阵对所述视频帧图像像执行关注度特征计算,得到第一计算结果。第二计算通道对所述视频帧图像像执行扩展卷积计算,得到第二计算结果,最后将第一计算结果和第二计算结果的和作为最终的计算结果,对所述视频帧图像像进行图像预测。形成修复后的视频帧图像。
平滑模块504,用于获取执行修复操作之后形成的视频帧所包含的像素点,通过判断不同视频帧之间对应像素点之前的抖动情况,按照预设的平滑处理曲线,对修复后的多个视频帧进行平滑处理,形成修复视频。
由于修复后的视频帧图像可能时域上产生突变,影响观看体验,所以需要对修复后的视频帧图像进行平滑处理。具体为:对于视频帧目标区域中的每个像素点的值执行拟合操作。例如,对于目标区域的每个像素点的值,根据预先设置平滑处理曲线,根据不同视频帧之间对应像素点之间的抖动情况,每n帧进行一次拟合,使得目标区域在时域上更加平滑。
图5所示装置可以对应的执行上述方法实施例中的内容,本实施例未详细描述的部分,参照上述方法实施例中记载的内容,在此不再赘述。
参见图6,本公开实施例还提供了一种电子设备60,该电子设备包括:
至少一个处理器;以及,
与该至少一个处理器通信连接的存储器;其中,
该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行前述方法实施例中视频修复方法。
本公开实施例还提供了一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储计算机指令,该计算机指令用于使该计算机执行前述方法实施例中。
本公开实施例还提供了一种计算机程序产品,该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序,该计算机程序包括程序指令,当该程序指令被计算机执行时,使该计算机执行前述方法实施例中的视频修复方法。
下面参考图6,其示出了适于用来实现本公开实施例的电子设备60的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示,电子设备60可以包括处理装置(例如中央处理器、图形处理器等)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有电子设备60操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常,以下装置可以连接至I/O接口605:包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置606;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607;包括例如磁带、硬盘等的存储装置608;以及通信装置609。通信装置609可以允许电子设备60与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种装置的电子设备60,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置609从网络上被下载和安装,或者从存储装置608被安装,或者从ROM 602被安装。在该计算机程序被处理装置601执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取至少两个网际协议地址;向节点评价设备发送包括所述至少两个网际协议地址的节点评价请求,其中,所述节点评价设备从所述至少两个网际协议地址中,选取网际协议地址并返回;接收所述节点评价设备返回的网际协议地址;其中,所获取的网际协议地址指示内容分发网络中的边缘节点。
或者,上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:接收包括至少两个网际协议地址的节点评价请求;从所述至少两个网际协议地址中,选取网际协议地址;返回选取出的网际协议地址;其中,接收到的网际协议地址指示内容分发网络中的边缘节点。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。
应当理解,本公开的各部分可以用硬件、软件、固件或它们的组合来实现。
以上所述,仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以权利要求的保护范围为准。