CN110443764A - 视频修复方法、装置及服务器 - Google Patents
视频修复方法、装置及服务器 Download PDFInfo
- Publication number
- CN110443764A CN110443764A CN201910706996.0A CN201910706996A CN110443764A CN 110443764 A CN110443764 A CN 110443764A CN 201910706996 A CN201910706996 A CN 201910706996A CN 110443764 A CN110443764 A CN 110443764A
- Authority
- CN
- China
- Prior art keywords
- video
- repaired
- frame image
- exposure mask
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 210000005036 nerve Anatomy 0.000 claims abstract description 21
- 238000003062 neural network model Methods 0.000 claims description 37
- 230000011218 segmentation Effects 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 10
- 230000008439 repair process Effects 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 5
- 208000003164 Diplopia Diseases 0.000 description 3
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005067 remediation Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种视频修复方法、装置及服务器。该方法包括：确定待修复视频中每帧图像的掩膜；其中，该待修复视频中包括待去除对象；根据该每帧图像的掩膜对该待修复视频中对应的每帧图像中的该待修复区域进行遮盖，获得第一视频；将该第一视频和待修复视频中每帧图像的掩膜输入第一神经网络模型，获得第二视频；该第二视频中每帧图像中的该待修复区域以该待修复区域以外的其他区域的背景信息填充；将该第二视频中每帧图像中的待修复区域与该待修复视频中对应的每帧图像中的除该待修复区域以外的其他区域进行合成，得到修复后的视频。该方法提高了视频修复的效率。
Description
技术领域
本发明涉及图像处理技术，尤其涉及一种视频修复方法、装置及服务器。
背景技术
随着各种视频软件应用的普及，对视频的各种处理需求也随之产生，在一些应用场景中，用户需要去除视频图像中的特定的对象，再将该去除对象对应的区域进行填充修复以整个视频图像更自然。
现有技术中，可以借助一些视频处理软件人工对需要处理的视频进行逐帧的修复，但这种方式修复效率低下。
发明内容
本发明提供一种视频修复方法、装置及服务器，以提高视频修复的效率。
本发明提供一种视频修复方法，包括：
确定待修复视频中每帧图像的掩膜；其中，该待修复视频中包括待去除对象，该待修复视频中每帧图像的掩膜用于遮盖该待修复视频中每帧图像的待去除对象对应的待修复区域；
根据该每帧图像的掩膜对该待修复视频中对应的每帧图像中的该待修复区域进行遮盖，获得第一视频；
将该第一视频和待修复视频中每帧图像的掩膜输入第一神经网络模型，获得第二视频；该第二视频中每帧图像中的该待修复区域以该待修复区域以外的其他区域的背景信息填充；
将该第二视频中每帧图像中的待修复区域与该待修复视频中对应的每帧图像中的除该待修复区域以外的其他区域进行合成，得到修复后的视频。
可选的，该确定待修复视频中每帧图像的掩膜之前，该方法还包括：
步骤A：获取样本视频，构造该样本视频的任意掩膜；
步骤B：采用该任意掩膜对该样本视频中的对应区域进行遮盖后作为训练数据，输入初始神经网络模型；其中，该初始神经网络模型中采用金字塔损失函数对最后M层进行监督，M为大于或等于2的整数；最后一层监督信号为该样本视频，最后一层以外的其他层的监督信号为预先提取的该样本视频的特征；
步骤C：根据该金字塔损失函数的值更新该初始神经网络模型；
步骤D：将更新后的该初始神经网络模型作为新的初始神经网络模型，并重复执行步骤A-步骤C，直至获得该第一神经网络模型；该第一神经网络模型为该金字塔损失函数的值小于预设阈值的更新后的该初始神经网络模型。
可选的，该第一神经网络模型为3D可变形卷积神经网络模型。
可选的，该确定待修复视频中每帧图像的掩膜，包括：
对该待修复视频的第一帧图像进行图像语义分割，获得该待修复视频的第一帧图像的掩膜；
对该待修复视频的第一帧图像中的待去除对象进行跟踪，获得该待修复视频的第一帧图像之后的每帧图像的掩膜。
可选的，该对该待修复视频的第一帧图像进行图像语义分割，获得该待修复视频的第一帧图像的掩膜，包括：
将用户以闭合曲线在待修复视频的第一帧图像中选定的区域确定为目标区域，该目标区域中包括待去除对象；
对该目标区域进行图像语义分割，获得该目标区域的掩膜；
将该目标区域的掩膜扩展为该待修复视频的第一帧图像的掩膜。
可选的，对该待修复视频的第一帧图像中的待去除对象进行跟踪，获得该待修复视频的第一帧图像之后的每帧图像的掩膜，包括：
将该待修复视频的第n帧图像、该待修复视频的第n帧图像的掩膜以及该待修复视频的第n+1帧图像，输入第二神经网络模型，获得该待修复视频的第n+1帧图像的掩膜，该n取遍大于等于1且不大于N-1的正整数，该N为该待修复视频的总图像帧数。
可选的，该第二神经网络模型为基于全卷积网络的视频分割模型。
本发明提供一种视频修复装置，包括：
确定模块，用于确定待修复视频中每帧图像的掩膜；其中，该待修复视频中包括待去除对象，该待修复视频中每帧图像的掩膜用于遮盖该待修复视频中每帧图像的待去除对象对应的待修复区域；
预处理模块，用于根据该每帧图像的掩膜对该待修复视频中对应的每帧图像中的该待修复区域进行遮盖，获得第一视频；
修复模块，用于将该第一视频和待修复视频中每帧图像的掩膜输入第一神经网络模型，获得第二视频；该第二视频中每帧图像中的该待修复区域以该待修复区域以外的其他区域的背景信息填充；
合成模块，用于将该第二视频中每帧图像中的待修复区域与该待修复视频中对应的每帧图像中的除该待修复区域以外的其他区域进行合成，得到修复后的视频。
可选的，该装置还包括训练模块，该训练模块具体用于执行以下步骤：
步骤A：获取样本视频，构造该样本视频的任意掩膜；
步骤B：采用该任意掩膜对该样本视频中的对应区域进行遮盖后作为训练数据，输入初始神经网络模型；其中，该初始神经网络模型中采用金字塔损失函数对最后M层进行监督，M为大于或等于2的整数；最后一层监督信号为该样本视频，最后一层以外的其他层的监督信号为预先提取的该样本视频的特征；
步骤C：根据该金字塔损失函数的值更新该初始神经网络模型；
步骤D：将更新后的该初始神经网络模型作为新的初始神经网络模型，并重复执行步骤A-步骤C，直至获得该第一神经网络模型；该第一神经网络模型为该金字塔损失函数的值小于预设阈值的更新后的该初始神经网络模型。
可选的，该第一神经网络模型为3D可变形卷积神经网络模型。
可选的，该确定模块具体用于：
对该待修复视频的第一帧图像进行图像语义分割，获得该待修复视频的第一帧图像的掩膜；
对该待修复视频的第一帧图像中的待去除对象进行跟踪，获得该待修复视频的第一帧图像之后的每帧图像的掩膜。
进一步地，该确定模块具体用于：
将用户以闭合曲线在待修复视频的第一帧图像中选定的区域确定为目标区域，该目标区域中包括待去除对象；
对该目标区域进行图像语义分割，获得该目标区域的掩膜；
将该目标区域的掩膜扩展为该待修复视频的第一帧图像的掩膜。
进一步地，该确定模块具体用于：
将该待修复视频的第n帧图像、该待修复视频的第n帧图像的掩膜以及该待修复视频的第n+1帧图像，输入第二神经网络模型，获得该待修复视频的第n+1帧图像的掩膜，该n取遍大于等于1且不大于N-1的正整数，该N为该待修复视频的总图像帧数。
可选的，该第二神经网络模型为基于全卷积网络的视频分割模型。
本发明提供一种服务器，包括存储器和处理器；该存储器和该处理器连接；
该存储器，用于存储计算机程序；
该处理器，用于在计算机程序被执行时，实现如上述任一项中的视频修复方法。
本发明提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如上述任一项中的视频修复方法。
本发明一种视频修复方法、装置及服务器，通过确定待修复视频中每帧图像的掩膜；其中，该待修复视频中包括待去除对象，该待修复视频中每帧图像的掩膜用于遮盖该待修复视频中每帧图像的待去除对象对应的待修复区域；根据该每帧图像的掩膜对该待修复视频中对应的每帧图像中的该待修复区域进行遮盖，获得第一视频；将该第一视频和待修复视频中每帧图像的掩膜输入第一神经网络模型，获得第二视频；该第二视频中每帧图像中的该待修复区域以该待修复区域以外的其他区域的背景信息填充；将该第二视频中每帧图像中的待修复区域与该待修复视频中对应的每帧图像中的除该待修复区域以外的其他区域进行合成，得到修复后的视频。该方法提高了视频修复的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种视频修复方法的流程示意图一；
图2为本发明提供的一种视频修复方法的流程示意图二；
图3为本发明提供的一种视频修复方法的流程示意图三；
图4为本发明提供的一种视频修复装置的结构示意图；
图5为本发明提供的一种服务器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
随着各种视频软件应用的普及，各种视频处理需求也随之产生，在一些应用场景中，用户需要去除视频图像中的特定的对象，再将该去除对象对应的区域进行填充修复以整个视频图像更自然。为了实现上述效果，本发明提供一种视频修复方法，可以高效完成视频修复。
图1为本发明提供的一种视频修复方法的流程示意图一。该视频修复方法的执行主体为视频修复装置，该装置可以通过软件和/或硬件的方式实现，例如该装置可以为服务器。如图1所示，本实施例的方法可以包括：
S101、确定待修复视频中每帧图像的掩膜。
其中，该待修复视频中包括待去除对象，该待修复视频中每帧图像的掩膜用于遮盖该待修复视频中每帧图像的待去除对象对应的待修复区域。
待修复视频是指视频中包括了待去除对象的视频，待去除对象可以是视频中包括的任意对象，示例的，用户使用手机拍摄自己的视频，但视频中同时拍摄到了一位路人，用户需要将该视频中的路人去除，则该路人即为待去除对象。图像掩膜是一个二维矩阵数组，用于遮盖图像中特定的区域，本示例中待修复区域即待去除对象对应的区域，待修复视频中每帧图像的掩膜均用于遮盖该待修复区域。示例的，待修复视频中每帧图像的掩膜中，待修复区域对应的像素为0，其他区域为1。
S102、根据该每帧图像的掩膜对该待修复视频中对应的每帧图像中的该待修复区域进行遮盖，获得第一视频。
利用每帧图像的掩膜与相应的每帧图像进行像素运算，从而使得掩膜将待修复区域遮盖为预设颜色，该预设颜色可以根据需要进行设置。示例的，待修复视频中每帧图像的掩膜中，待修复区域对应的像素为0，其他区域为1，将每帧图像的掩膜中的每个像素与每帧图像中对应像素进行与运算，则获得的第一视频中每帧图像中待修复区域中的像素为0，其他区域保持待修复视频中的原值，即第一视频中的每帧图像中的待修复区域被置为白色。
S103、将该第一视频和待修复视频中每帧图像的掩膜输入第一神经网络模型，获得第二视频。
其中，该第二视频中每帧图像中的该待修复区域以该待修复区域以外的其他区域的背景信息填充。
本实施例中的第一神经网络模型，用于将输入的第一视频中待修复区域进行填充修复，具体是采用该待修复区域以外的其他区域的背景信息对该待修复区域进行填充。第一神经网络模型的输入为第一视频和待修复视频中每帧图像的掩膜，其中每帧图像的掩膜用于指示第一视频中的待修复区域，以将第一视频中被置为白色的待修复区域与第一视频中其他区域中所包括的白色区域进行区分。
S104、将该第二视频中每帧图像中的待修复区域与该待修复视频中对应的每帧图像中的除该待修复区域以外的其他区域进行合成，得到修复后的视频。
为了保证修复后的视频与原始视频即待修复视频的一致性，本实施例中将第二视频中每帧图像中的待修复区域提取出来，该部分作为待修复视频中被修复的部分，而待修复区域以外的其他区域仍然采用待修复视频中每帧图像的其他区域，将上述两部分进行合成，从而获得修复后的视频。
本实施例提供的视频修复方法，包括确定待修复视频中每帧图像的掩膜；其中，待修复视频中包括待去除对象，待修复视频中每帧图像的掩膜用于遮盖该待修复视频中每帧图像的待去除对象对应的待修复区域；根据该每帧图像的掩膜将待修复视频中对应的每帧图像中的待修复区域置为白色，获得第一视频；将该第一视频和待修复视频中每帧图像的掩膜输入第一神经网络模型，获得第二视频；该第二视频中每帧图像中的待修复区域以待修复区域以外的其他区域的背景信息填充；将该第二视频中每帧图像中的待修复区域与待修复视频中对应的每帧图像中的除待修复区域以外的其他区域进行合成，得到修复后的视频。该方法通过掩膜确定出待修复视频中每帧图像的待修复区域，通过第一神经网络模型对待修复区域进行修复，并将修复后的待修复区域与待修复视频中原有的其他区域合成，在提高了视频修复的效率的同时，尽可能多的保留了原始视频，提高了修复后的视频与待修复视频的一致性。
上述实施例中所采用的第一神经网络模型可以为3D可变形卷积神经网络模型，也可以为其他类型的神经网络模型，本发明对第一神经网络模型不作具体限定。
在实际应用中，在使用上述第一神经网络模型之前，有必要先对模型进行训练，从而使模型能够达到更好的修复效果。具体可以采用一个初始神经网络模型，对其进行训练来获得第一神经网络模型。以下结合具体实施例对模型训练做示例说明。图2为本发明提供的一种视频修复方法的流程示意图二。如图2所示，在图1中S101的确定待修复视频中每帧图像的掩膜之前，该方法还包括：
S201、获取样本视频，构造该样本视频的任意掩膜。
本实施例中可以采用背景比较纯净的视频作为样本视频，同时构造该样本视频的任意掩膜，即该掩膜遮盖的可以为该样本视频中任意待去除对象对应的区域。
S202、采用该任意掩膜对该样本视频中的对应区域进行遮盖后作为训练数据，输入初始神经网络模型。
其中，该初始神经网络模型中采用金字塔损失函数对最后M层进行监督，M为大于或等于2的整数；最后一层监督信号为该样本视频，最后一层以外的其他层的监督信号为预先提取的该样本视频的特征。
与图1所示实施例中类似，利用样本图像的该任意掩膜对样本视频中的对应区域进行遮盖，例如将其置为白色，经过上述处理的样本视频即可作为初始神经网络模型的训练数据，将该训练数据和对应的掩膜输入初始神经网络模型，即可获得对该被置为白色的区域进行修复后的视频。
该初始神经网络模型中采用了金字塔损失函数，图像生成是由低分辨率逐渐向高分辨率生成，即，对该初始神经网络模型的最后M层均设置损失函数以对最后M层进行监督，其中，最后一层以外的其他层的监督信号为预先提取的该样本视频的特征，在实际中，可以预先训练一个视频分类器用于进行样本视频的特征提取。
S203、根据该金字塔损失函数的值更新该初始神经网络模型。
金字塔损失函数的值可以表示经过初始神经网络模型修复后的视频与样本视频之间的差异性，根据金字塔损失函数的值对该初始神经网络模型进行更新，从而使得更新后的该初始神经网络模型的修复效果更准确。
S204、将更新后的该初始神经网络模型作为新的初始神经网络模型，并重复执行S201-S203，直至获得第一神经网络模型。
其中，第一神经网络模型为该金字塔损失函数的值小于预设阈值的更新后的该初始神经网络模型。
将更新后的该初始神经网络模型作为新的初始神经网络模型，对初始神经网络模型进行多次训练，直至其金字塔损失函数的值小于预设阈值，则确定训练完成，其中，预设阈值根据实际情况进行设定。训练完成后的更新后的初始神经网络模型即为上述实施例中的第一神经网络模型。
本实施例提供的视频修复方法，采用金字塔损失函数对神经网络模型进行监督学习，使得神经网络模型的输出与样本视频的信息接近，从而使得视频修复更为准确。
在上述实施例的基础上，本发明还可提供一种视频修复方法。图3为本发明提供的一种视频修复方法的流程示意图三。如图3所示，图1中S101的确定待修复视频中每帧图像的掩膜，可以包括：
S301、对待修复视频的第一帧图像进行图像语义分割，获得待修复视频的第一帧图像的掩膜。
在确定待修复视频中每帧图像的掩膜时，首先确定第一帧图像的掩膜。在一种可能的实现方式中，可以采用如下的方式进行确定：
将用户以闭合曲线在待修复视频的第一帧图像中选定的区域确定为目标区域，该目标区域中包括待去除对象；对该目标区域进行图像语义分割，获得该目标区域的掩膜；将该目标区域的掩膜扩展为待修复视频的第一帧图像的掩膜。
具体的，用户可以在待修复视频的第一帧中以闭合曲线圈出待去除对象所在的目标区域，如用户可以用一个矩形框将待去除对象所在的位置选定为目标区域，对该目标区域进行图像语义分割时，可以采用现有技术中已有的图像语义分割方法，例如可以采用DeepLabv3对目标区域进行图像语义分割，即可获得该目标区域的掩膜，具体的，该目标区域中，待去除对象对应的待修复区域的像素为0，其他区域为1。对该目标区域的掩膜进行进一步扩展调整，将第一帧图像中除该目标区域以外的其他区域的像素补充为1，即获得了第一帧图像的掩膜。
S302、对待修复视频的第一帧图像中的待去除对象进行跟踪，获得待修复视频的第一帧图像之后的每帧图像的掩膜。
在确定上述第一帧图像的掩膜之后，即可进一步根据第一帧图像的掩膜对第一帧图像之后的视频图像中的待去除对象进行跟踪，可选的，可以预设设计一个基于全卷积网络(Fully Convolutional Networks，简称FCN)的适用于视频分割的第二神经网络模型，进而采用以下方法获得第一帧图像之后的每帧图像的掩膜：
将待修复视频的第n帧图像、待修复视频的第n帧图像的掩膜以及待修复视频的第n+1帧图像，输入第二神经网络模型，获得待修复视频的第n+1帧图像的掩膜，该n取遍大于等于1且不大于N-1的正整数，该N为待修复视频的总图像帧数。
本实施例提供的视频修复方法，首先通过图像语义分割获得待修复视频的第一帧图像的掩膜，进而采用第二神经网络模型获得第一帧图像之后的每帧图像的掩膜，提高了视频修复的效率。
图4为本发明提供的一种视频修复装置的结构示意图。如图4所示，该视频修复装置40包括：
确定模块401，用于确定待修复视频中每帧图像的掩膜；其中，待修复视频中包括待去除对象，待修复视频中每帧图像的掩膜用于遮盖待修复视频中每帧图像的待去除对象对应的待修复区域；
预处理模块402，用于根据该每帧图像的掩膜对待修复视频中对应的每帧图像中的该待修复区域进行遮盖，获得第一视频；
修复模块403，用于将该第一视频和待修复视频中每帧图像的掩膜输入第一神经网络模型，获得第二视频；该第二视频中每帧图像中的待修复区域以该待修复区域以外的其他区域的背景信息填充；
合成模块404，用于将该第二视频中每帧图像中的待修复区域与该待修复视频中对应的每帧图像中的除待修复区域以外的其他区域进行合成，得到修复后的视频。
本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
可选的，该装置还包括训练模块405，该训练模块405具体用于执行以下步骤：
步骤A：获取样本视频，构造该样本视频的任意掩膜；
步骤B：采用该任意掩膜对该样本视频中的对应区域进行遮盖作为训练数据，输入初始神经网络模型；其中，该初始神经网络模型中采用金字塔损失函数对最后M层进行监督，M为大于或等于2的整数；最后一层监督信号为该样本视频，最后一层以外的其他层的监督信号为预先提取的该样本视频的特征；
步骤C：根据该金字塔损失函数的值更新该初始神经网络模型；
步骤D：将更新后的该初始神经网络模型作为新的初始神经网络模型，并重复执行步骤A-步骤C，直至获得该第一神经网络模型；该第一神经网络模型为该金字塔损失函数的值小于预设阈值的更新后的该初始神经网络模型。
可选的，该第一神经网络模型为3D可变形卷积神经网络模型。
本实施例的装置，可以用于执行图2所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
可选的，确定模块401具体用于：
对待修复视频的第一帧图像进行图像语义分割，获得待修复视频的第一帧图像的掩膜；
对待修复视频的第一帧图像中的待去除对象进行跟踪，获得待修复视频的第一帧图像之后的每帧图像的掩膜。
进一步地，确定模块401具体用于：
将用户以闭合曲线在待修复视频的第一帧图像中选定的区域确定为目标区域，该目标区域中包括待去除对象；
对该目标区域进行图像语义分割，获得该目标区域的掩膜；
将该目标区域的掩膜扩展为待修复视频的第一帧图像的掩膜。
进一步地，确定模块401具体用于：
将待修复视频的第n帧图像、待修复视频的第n帧图像的掩膜以及待修复视频的第n+1帧图像，输入第二神经网络模型，获得待修复视频的第n+1帧图像的掩膜，该n取遍大于等于1且不大于N-1的正整数，该N为待修复视频的总图像帧数。
可选的，该第二神经网络模型为基于全卷积网络的视频分割模型。
本实施例的装置，可以用于执行图3所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图5为本发明提供的一种服务器的结构示意图。如图5所示，服务器50包括存储器501和处理器502；存储器501和处理器502连接。
存储器501，用于存储计算机程序；
处理器502，用于在计算机程序被执行时，实现如上述任一实施例中的视频修复方法。
本发明提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如上述任一实施例中的视频修复方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种视频修复方法，其特征在于，包括：
确定待修复视频中每帧图像的掩膜；其中，所述待修复视频中包括待去除对象，所述待修复视频中每帧图像的掩膜用于遮盖所述待修复视频中每帧图像的待去除对象对应的待修复区域；
根据所述每帧图像的掩膜对所述待修复视频中对应的每帧图像中的所述待修复区域进行遮盖，获得第一视频；
将所述第一视频和待修复视频中每帧图像的掩膜输入第一神经网络模型，获得第二视频；所述第二视频中每帧图像中的所述待修复区域以所述待修复区域以外的其他区域的背景信息填充；
将所述第二视频中每帧图像中的待修复区域与所述待修复视频中对应的每帧图像中的除所述待修复区域以外的其他区域进行合成，得到修复后的视频。
2.根据权利要求1所述的方法，其特征在于，所述确定待修复视频中每帧图像的掩膜之前，所述方法还包括：
步骤A：获取样本视频，构造所述样本视频的任意掩膜；
步骤B：采用所述任意掩膜对所述样本视频中的对应区域进行遮盖后作为训练数据，输入初始神经网络模型；其中，所述初始神经网络模型中采用金字塔损失函数对最后M层进行监督，M为大于或等于2的整数；最后一层监督信号为所述样本视频，最后一层以外的其他层的监督信号为预先提取的所述样本视频的特征；
步骤C：根据所述金字塔损失函数的值更新所述初始神经网络模型；
步骤D：将更新后的所述初始神经网络模型作为新的初始神经网络模型，并重复执行步骤A-步骤C，直至获得所述第一神经网络模型；所述第一神经网络模型为所述金字塔损失函数的值小于预设阈值的更新后的所述初始神经网络模型。
3.根据权利要求1或2所述的方法，其特征在于，所述第一神经网络模型为3D可变形卷积神经网络模型。
4.根据权利要求1所述的方法，其特征在于，所述确定待修复视频中每帧图像的掩膜，包括：
对所述待修复视频的第一帧图像进行图像语义分割，获得所述待修复视频的第一帧图像的掩膜；
对所述待修复视频的第一帧图像中的待去除对象进行跟踪，获得所述待修复视频的第一帧图像之后的每帧图像的掩膜。
5.根据权利要求4所述的方法，其特征在于，所述对所述待修复视频的第一帧图像进行图像语义分割，获得所述待修复视频的第一帧图像的掩膜，包括：
将用户以闭合曲线在待修复视频的第一帧图像中选定的区域确定为目标区域，所述目标区域中包括待去除对象；
对所述目标区域进行图像语义分割，获得所述目标区域的掩膜；
将所述目标区域的掩膜扩展为所述待修复视频的第一帧图像的掩膜。
6.根据权利要求4所述的方法，其特征在于，对所述待修复视频的第一帧图像中的待去除对象进行跟踪，获得所述待修复视频的第一帧图像之后的每帧图像的掩膜，包括：
将所述待修复视频的第n帧图像、所述待修复视频的第n帧图像的掩膜以及所述待修复视频的第n+1帧图像，输入第二神经网络模型，获得所述待修复视频的第n+1帧图像的掩膜，所述n取遍大于等于1且不大于N-1的正整数，所述N为所述待修复视频的总图像帧数。
7.根据权利要求6所述的方法，其特征在于，所述第二神经网络模型为基于全卷积网络的视频分割模型。
8.一种视频修复装置，其特征在于，包括：
确定模块，用于确定待修复视频中每帧图像的掩膜；其中，所述待修复视频中包括待去除对象，所述待修复视频中每帧图像的掩膜用于遮盖所述待修复视频中每帧图像的待去除对象对应的待修复区域；
预处理模块，用于根据所述每帧图像的掩膜对所述待修复视频中对应的每帧图像中的所述待修复区域进行遮盖，获得第一视频；
修复模块，用于将所述第一视频和待修复视频中每帧图像的掩膜输入第一神经网络模型，获得第二视频；所述第二视频中每帧图像中的所述待修复区域以所述待修复区域以外的其他区域的背景信息填充；
合成模块，用于将所述第二视频中每帧图像中的待修复区域与所述待修复视频中对应的每帧图像中的除所述待修复区域以外的其他区域进行合成，得到修复后的视频。
9.一种服务器，其特征在于，包括存储器和处理器；所述存储器和所述处理器连接；
所述存储器，用于存储计算机程序；
所述处理器，用于在计算机程序被执行时，实现如上述权利要求1-7中任一项所述的视频修复方法。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如上述权利要求1-7中任一项所述的视频修复方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910706996.0A CN110443764A (zh) | 2019-08-01 | 2019-08-01 | 视频修复方法、装置及服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910706996.0A CN110443764A (zh) | 2019-08-01 | 2019-08-01 | 视频修复方法、装置及服务器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110443764A true CN110443764A (zh) | 2019-11-12 |
Family
ID=68432745
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910706996.0A Pending CN110443764A (zh) | 2019-08-01 | 2019-08-01 | 视频修复方法、装置及服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110443764A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110728270A (zh) * | 2019-12-17 | 2020-01-24 | 北京影谱科技股份有限公司 | 视频人物的去除方法、装置及设备及计算机可读存储介质 |
| CN111787187A (zh) * | 2020-07-29 | 2020-10-16 | 上海大学 | 利用深度卷积神经网络进行视频修复的方法、系统、终端 |
| WO2021244455A1 (zh) * | 2020-05-30 | 2021-12-09 | 华为技术有限公司 | 一种图像内容的去除方法及相关装置 |
| WO2022077978A1 (zh) * | 2020-10-15 | 2022-04-21 | 北京达佳互联信息技术有限公司 | 视频处理方法和视频处理装置 |
| WO2023221636A1 (zh) * | 2022-05-19 | 2023-11-23 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、设备、存储介质和程序产品 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103260081A (zh) * | 2012-02-21 | 2013-08-21 | 中国移动通信集团公司 | 一种视频图像缩放处理方法及装置 |
| CN103679749A (zh) * | 2013-11-22 | 2014-03-26 | 北京奇虎科技有限公司 | 一种基于运动目标跟踪的图像处理方法及装置 |
| CN104021525A (zh) * | 2014-05-30 | 2014-09-03 | 西安交通大学 | 一种道路场景视频图像序列的背景修复方法 |
| CN108428214A (zh) * | 2017-02-13 | 2018-08-21 | 阿里巴巴集团控股有限公司 | 一种图像处理方法及装置 |
| CN109191402A (zh) * | 2018-09-03 | 2019-01-11 | 武汉大学 | 基于对抗生成神经网络的图像修复方法和系统 |
| CN109345480A (zh) * | 2018-09-28 | 2019-02-15 | 广州云从人工智能技术有限公司 | 一种基于图像修复模型的人脸自动去痘方法 |
| CN109377448A (zh) * | 2018-05-20 | 2019-02-22 | 北京工业大学 | 一种基于生成对抗网络的人脸图像修复方法 |
| CN109472757A (zh) * | 2018-11-15 | 2019-03-15 | 央视国际网络无锡有限公司 | 一种基于生成对抗神经网络的图像去台标方法 |
| CN109584178A (zh) * | 2018-11-29 | 2019-04-05 | 腾讯科技（深圳）有限公司 | 图像修复方法、装置和存储介质 |
| CN110033475A (zh) * | 2019-03-29 | 2019-07-19 | 北京航空航天大学 | 一种高分辨率纹理生成的航拍图运动物体检测与消除方法 |
| CN110288549A (zh) * | 2019-06-28 | 2019-09-27 | 北京字节跳动网络技术有限公司 | 视频修复方法、装置及电子设备 |
-
2019
- 2019-08-01 CN CN201910706996.0A patent/CN110443764A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103260081A (zh) * | 2012-02-21 | 2013-08-21 | 中国移动通信集团公司 | 一种视频图像缩放处理方法及装置 |
| CN103679749A (zh) * | 2013-11-22 | 2014-03-26 | 北京奇虎科技有限公司 | 一种基于运动目标跟踪的图像处理方法及装置 |
| CN104021525A (zh) * | 2014-05-30 | 2014-09-03 | 西安交通大学 | 一种道路场景视频图像序列的背景修复方法 |
| CN108428214A (zh) * | 2017-02-13 | 2018-08-21 | 阿里巴巴集团控股有限公司 | 一种图像处理方法及装置 |
| CN109377448A (zh) * | 2018-05-20 | 2019-02-22 | 北京工业大学 | 一种基于生成对抗网络的人脸图像修复方法 |
| CN109191402A (zh) * | 2018-09-03 | 2019-01-11 | 武汉大学 | 基于对抗生成神经网络的图像修复方法和系统 |
| CN109345480A (zh) * | 2018-09-28 | 2019-02-15 | 广州云从人工智能技术有限公司 | 一种基于图像修复模型的人脸自动去痘方法 |
| CN109472757A (zh) * | 2018-11-15 | 2019-03-15 | 央视国际网络无锡有限公司 | 一种基于生成对抗神经网络的图像去台标方法 |
| CN109584178A (zh) * | 2018-11-29 | 2019-04-05 | 腾讯科技（深圳）有限公司 | 图像修复方法、装置和存储介质 |
| CN110033475A (zh) * | 2019-03-29 | 2019-07-19 | 北京航空航天大学 | 一种高分辨率纹理生成的航拍图运动物体检测与消除方法 |
| CN110288549A (zh) * | 2019-06-28 | 2019-09-27 | 北京字节跳动网络技术有限公司 | 视频修复方法、装置及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| ZENG, Y.，ET.AL: "Learning pyramid-context encoder network for high-quality image inpainting", 《ARXIV:1904.07475V3 [CS.CV]》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110728270A (zh) * | 2019-12-17 | 2020-01-24 | 北京影谱科技股份有限公司 | 视频人物的去除方法、装置及设备及计算机可读存储介质 |
| WO2021244455A1 (zh) * | 2020-05-30 | 2021-12-09 | 华为技术有限公司 | 一种图像内容的去除方法及相关装置 |
| US11949978B2 (en) | 2020-05-30 | 2024-04-02 | Huawei Technologies Co., Ltd. | Image content removal method and related apparatus |
| CN111787187A (zh) * | 2020-07-29 | 2020-10-16 | 上海大学 | 利用深度卷积神经网络进行视频修复的方法、系统、终端 |
| CN111787187B (zh) * | 2020-07-29 | 2021-07-02 | 上海大学 | 利用深度卷积神经网络进行视频修复的方法、系统、终端 |
| WO2022077978A1 (zh) * | 2020-10-15 | 2022-04-21 | 北京达佳互联信息技术有限公司 | 视频处理方法和视频处理装置 |
| US11538141B2 (en) | 2020-10-15 | 2022-12-27 | Beijing Dajia Internet Information Technology Co., Ltd. | Method and apparatus for processing video |
| WO2023221636A1 (zh) * | 2022-05-19 | 2023-11-23 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、设备、存储介质和程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110443764A (zh) | 视频修复方法、装置及服务器 | |
| CN111292264B (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| Yang et al. | Deep edge guided recurrent residual learning for image super-resolution | |
| CN110008817B (zh) | 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN111127346A (zh) | 基于部分到整体注意力机制的多层次图像修复方法 | |
| CN110428366A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN112771578B (zh) | 使用细分缩放和深度上缩放的图像生成 | |
| CN112330574A (zh) | 人像修复方法、装置、电子设备及计算机存储介质 | |
| CN111669514A (zh) | 高动态范围成像方法和装置 | |
| CN110675339A (zh) | 基于边缘修复和内容修复的图像修复方法及系统 | |
| CN110276731A (zh) | 内镜图像颜色还原方法及装置 | |
| CN109255758A (zh) | 基于全1*1卷积神经网络的图像增强方法 | |
| CN110363770A (zh) | 一种边缘引导式红外语义分割模型的训练方法及装置 | |
| KR20200132682A (ko) | 이미지 최적화 방법, 장치, 디바이스 및 저장 매체 | |
| CN111179196B (zh) | 一种基于分而治之的多分辨率深度网络图像去高光方法 | |
| CN110197183A (zh) | 一种图像盲去噪的方法、装置和计算机设备 | |
| CN107833193A (zh) | 一种基于refinement‑network深度学习模型的单透镜全局图像复原方法 | |
| CN113592726A (zh) | 高动态范围成像方法、装置、电子设备和存储介质 | |
| Wu et al. | LiTMNet: A deep CNN for efficient HDR image reconstruction from a single LDR image | |
| Panetta et al. | Deep perceptual image enhancement network for exposure restoration | |
| Liu et al. | Facial image inpainting using multi-level generative network | |
| CN107766803A (zh) | 基于场景分割的视频人物装扮方法、装置及计算设备 | |
| Chen et al. | Improving dynamic hdr imaging with fusion transformer | |
| CN117197627A (zh) | 一种基于高阶退化模型的多模态图像融合方法 | |
| CN116433518A (zh) | 一种基于改进Cycle-Dehaze神经网络的火灾图像烟雾去除方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191112 |
|
| RJ01 | Rejection of invention patent application after publication |