CN115018734B - 视频修复方法和视频修复模型的训练方法、装置 - Google Patents

视频修复方法和视频修复模型的训练方法、装置 Download PDF

Info

Publication number
CN115018734B
CN115018734B CN202210828892.9A CN202210828892A CN115018734B CN 115018734 B CN115018734 B CN 115018734B CN 202210828892 A CN202210828892 A CN 202210828892A CN 115018734 B CN115018734 B CN 115018734B
Authority
CN
China
Prior art keywords
video frame
features
network
video
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210828892.9A
Other languages
English (en)
Other versions
CN115018734A (zh
Inventor
郑贺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210828892.9A priority Critical patent/CN115018734B/zh
Publication of CN115018734A publication Critical patent/CN115018734A/zh
Application granted granted Critical
Publication of CN115018734B publication Critical patent/CN115018734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开提供了一种视频修复方法和视频修复模型的训练方法、装置，涉及人工智能领域，具体涉及深度学习、图像处理和计算机视觉等技术领域，可应用于视频处理和AIGC等场景。视频修复方法的具体实现方案为：提取待修复视频中视频帧序列的特征，得到图像特征；提取针对视频帧序列的蒙版图序列的特征，得到蒙版特征；蒙版图序列指示视频帧序列中视频帧的待修复区域；拼接图像特征和蒙版特征，获得针对视频帧序列的编码特征；以及对编码特征进行解码，得到针对视频帧序列中目标视频帧的修复图像。

Description

视频修复方法和视频修复模型的训练方法、装置
技术领域
本公开涉及人工智能领域，具体涉及深度学习、图像处理和计算机视觉等技术领域，可应用于视频处理和AIGC等场景。
背景技术
随着计算机技术和网络技术的发展，深度学习技术在众多领域得到了广泛应用。例如，可以采用深度学习技术来对视频进行修复，以去除视频中的前景或其他目标物。
发明内容
本公开旨在提供一种提高修复效果的视频修复方法和视频修复模型的训练方法、装置、电子设备和存储介质。
根据本公开的一个方面，提供了一种视频修复方法，包括：提取待修复视频中视频帧序列的特征，得到图像特征；提取针对视频帧序列的蒙版图序列的特征，得到蒙版特征；蒙版图序列指示视频帧序列中视频帧的待修复区域；拼接图像特征和蒙版特征，获得针对视频帧序列的编码特征；以及对编码特征进行解码，得到针对视频帧序列中目标视频帧的修复图像。
根据本公开的另一个方面，提供了一种视频修复模型的训练方法，其中，视频修复模型包括第一特征提取网络、第二特征提取网络、融合网络和解码网络，训练方法包括：采用第一特征提取网络提取样本数据中视频帧序列的特征，得到图像特征；样本数据还包括针对视频帧序列中目标视频帧的真值修复图像；采用第二特征提取网络提取样本数据中针对视频帧序列的蒙版图序列的特征，得到蒙版特征；蒙版图序列指示视频帧序列中视频帧的待修复区域；采用融合网络拼接图像特征和蒙版特征，获得针对视频帧序列的编码特征；采用解码网络对编码特征进行解码，得到针对目标视频帧的预测修复图像；以及根据预测修复图像与真值修复图像之间的差异，对视频修复模型进行训练。
根据本公开的另一个方面，提供了一种视频修复装置，包括：第一特征提取模块，用于提取待修复视频中视频帧序列的特征，得到图像特征；第二特征提取模块，用于提取针对视频帧序列的蒙版图序列的特征，得到蒙版特征；蒙版图序列指示视频帧序列中视频帧的待修复区域；特征融合模块，用于拼接图像特征和蒙版特征，获得针对视频帧序列的编码特征；以及解码模块，用于对编码特征进行解码，得到针对视频帧序列中目标视频帧的修复图像。
根据本公开的另一个方面，提供了一种视频修复模型的训练装置，其中，视频修复模型包括第一特征提取网络、第二特征提取网络、融合网络和解码网络；训练装置包括：第一特征提取模块，用于采用第一特征提取网络提取样本数据中视频帧序列的特征，得到图像特征；样本数据还包括针对视频帧序列中目标视频帧的真值修复图像；第二特征提取模块，用于采用第二特征提取网络提取样本数据中针对视频帧序列的蒙版图序列的特征，得到蒙版特征；蒙版图序列指示视频帧序列中视频帧的待修复区域；特征融合模块，用于采用融合网络拼接图像特征和蒙版特征，获得针对视频帧序列的编码特征；解码模块，用于采用解码网络对编码特征进行解码，得到针对目标视频帧的预测修复图像；以及模型训练模块，用于根据预测修复图像与真值修复图像之间的差异，对视频修复模型进行训练。
根据本公开的另一个方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的视频修复方法或视频修复模型的训练方法。
根据本公开的另一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的视频修复方法或视频修复模型的训练方法。
根据本公开的另一个方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令在被处理器执行时实现本公开提供的视频修复方法或视频修复模型的训练方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例的视频修复方法和视频修复模型的训练方法、装置的应用场景示意图；
图2是根据本公开实施例的视频修复方法的流程示意图；
图3是根据本公开实施例的视频修复方法的原理示意图；
图4是根据本公开实施例的采用傅里叶卷积网络得到编码特征的原理示意图；
图5是根据本公开实施例的视频修复模型的训练方法的流程示意图；
图6是根据本公开实施例的视频修复模型的训练方法的原理示意图；
图7是根据本公开实施例的视频修复装置的结构框图；
图8是根据本公开实施例的视频修复模型的训练装置的结构框图；以及
图9是用来实施本公开实施例的视频修复方法或视频修复模型的训练方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
视频修复技术可以对视频中的缺失或损坏区域进行修复补全。例如可以将视频中的水印、二维码或前景人物等所在区域作为缺失区域，通过采用视频修复技术进行修复补全，达到去除水印、二维码或前景人物等的效果。基于此，可以将视频修复技术应用于利用AI技术生成内容（AI-Generated Content，AIGC）的场景中。
本公开例如可以采用基于Transformer架构实现的视频修复方法，来从视频的不同视频帧中提取缺失区域的信息，并根据提取的信息来对缺失区域进行补全。该方法由于采用了多尺度的注意力机制，通常需要消耗过大的计算资源，对落地场景中的硬件要求较高，不利于实际业务落地。
本公开例如还可以采用类似于像素到像素（pix2pix）的编码解码卷积模型来实现对缺失区域的补全。该编码解码卷积模型具体利用卷积块（convolutional block）先对输入的视频进行下采样编码，随后再上采样解码，从而得到对缺失区域补全后的视频。该方法在编码过程中由于采用了卷积，因此仅能关注到视频中的局部区域，生成的补全后视频会存在较多的马赛克。
上述两种方式中，通常都是以蒙版图为参考，将蒙版图与视频中的待修复视频帧进行像素叠加后再进行图像处理。因此，补全效果受参考信息（蒙版图）精度的影响大，若蒙版图精度较低，则补全结果中往往会存在有效信息丢失的情况。为了提高补全效果，需要采用精准的蒙版图作为参考。实际场景中，精准蒙版图的获取成本较高，往往需要借助人工标定或者高精度的语义分割模型来生成。这在一定程度上会限制上述两种方式的应用。
基于此，本公开旨在提供一种提高修复效果和提高鲁棒性的视频修复方法和视频修复模型的训练方法、装置、电子设备和存储介质。
以下将结合图1对本公开提供的方法和装置的应用场景进行描述。
图1是根据本公开实施例的视频修复方法和视频修复模型的训练方法、装置的应用场景示意图。
如图1所示，该实施例的应用场景100可以包括电子设备110，该电子设备110可以为具有处理功能的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和服务器等等。
该电子设备110例如可以对输入的视频120中的视频帧进行逐帧地修复，以去除视频帧中的水印、二维码或前景人物等，或者对视频帧中的缺失区域进行修复补全，得到修复后的视频130。
在一实施例中，电子设备110例如可以采用视频修复模型140来对视频帧进行修复。例如，电子设备110可以先对输入的视频120中的视频帧进行逐帧地检测，检测得到视频帧中需要修复的区域，并根据该需要修复的区域生成针对视频帧的蒙版图，多个视频帧的蒙版图可以构成蒙版图序列。随后，电子设备110可以采用视频修复模型来对多个视频帧构成的视频帧序列和蒙版图序列分别进行特征提取，并对提取的两个特征进行融合，根据融合后特征来实现对视频帧的修复。
根据本公开的实施例，如图1所示，该应用场景100还可以包括服务器150。电子设备110可以通过网络与服务器150通信连接。服务器150例如可以是为电子设备110中安装的客户端应用的运行提供支持的后台管理服务器。例如，服务器150可以响应于电子设备110发送的获取请求，将训练得到的满足要求的视频修复模型140发送给电子设备110，以供电子设备110对视频进行修复。
在一实施例中，电子设备110还可以将输入的视频120经由网络发送给服务器150，由服务器采用视频修复模型140对视频进行修复，从而得到修复后的视频130。
需要说明的是，本公开提供的视频修复方法可以由电子设备110执行，也可以由服务器150执行。相应地，本公开提供的视频修复装置可以设置在电子设备110中，也可以设置在服务器150中。本公开提供的视频修复模型的训练方法可以由服务器150执行，也可以由与服务器150通信连接的其他服务器执行。相应地，本公开提供的视频修复模型的训练装置可以设置在服务器150中，也可以设置在与服务器150通信连接的其他服务器中。
应该理解，图1中的电子设备110和服务器150的数目和类型仅仅是示意性的。根据实现需要，可以具有任意数目和类型的电子设备110和服务器150。
以下将结合图2~图4对本公开提供的视频修复方法进行详细描述。
图2是根据本公开实施例的视频修复方法的流程示意图。
如图2所示，该实施例的视频修复方法200可以包括操作S210~操作S240。
在操作S210，提取待修复视频中视频帧序列的特征，得到图像特征。
根据本公开的实施例，视频帧序列可以为从待修复视频中抽取的根据播放时刻递增的多个视频帧所构成的序列。该实施例可以采用三维卷积神经网络来提取视频帧序列的特征，或者，该实施例可以采用循环神经网络来提取视频帧序列的特征。
设定视频帧序列中的视频帧个数为T，每个视频帧的尺寸为H×W×3，则该实施例可以采用三维卷积神经网络或者循环神经网络对尺寸为H×W×3×T的视频帧序列进行处理，得到尺寸为H’×W’×C1的图像特征。
可以理解的是，在采用循环神经网络时，可以采用全连接层对循环神经网络输出的特征图序列进行融合处理，从而得到图像特征。
在操作S220，提取针对视频帧序列的蒙版图序列的特征，得到蒙版特征。
根据本公开的实施例，蒙版图序列可以包括与视频帧序列中的至少两个视频帧一一对应的蒙版图。蒙版图序列指示视频帧序列中视频帧的待修复区域。具体地，每个蒙版图指示与其对应的视频帧的待修复区域。
本公开可以采用目标检测模型对视频帧序列中的每个视频帧进行处理，得到每个视频帧中待修复像素所在的区域，该区域可以为矩形区域、三角区域或任意的多边形区域。随后，根据每个视频帧中待修复像素所在的区域，生成针对该每个视频帧的蒙版图。该蒙版图中，与待修复像素所在区域相对应像素的像素值为（255,255,255），而其他像素的像素值为（0,0,0）。如此，得到的蒙版图可以指示对应的视频帧中待修复像素所在的区域，但无法指示待修复像素的具体位置。
或者，本公开可以采用语义分割模型对视频帧序列中的每个视频帧进行处理，得到每个视频帧中的各个像素为待修复像素的概率。并将概率大于预定阈值的像素作为待修复像素。随后，根据待修复像素在每个视频帧中的位置来生成针对该每个视频帧的蒙版图。如此，得到的蒙版图可以指示对应的视频帧中待修复像素在视频帧中的位置。
可以理解的是，提取蒙版图序列的特征的方法可以与提取视频帧序列的特征的方法类似，在此不再赘述。
在操作S230，拼接图像特征和蒙版特征，获得针对视频帧序列的编码特征。
根据本公开的实施例，可以在通道维度拼接图像特征和蒙版特征，将拼接得到的特征作为编码特征。例如，图像特征的尺寸为H’×W’×C1，蒙版特征的尺寸为H’×W’×C2，则拼接得到的特征的尺寸为H’×W’×（C1+C2）。
根据本公开的实施例，在得到拼接得到的特征后，例如可以采用卷积层对该拼接得到的特征进行卷积处理，以充分融合图像特征和蒙版特征。将卷积层卷积处理后的特征作为针对视频帧序列的编码特征。
在操作S240，对编码特征进行解码，得到针对视频帧序列中目标视频帧的修复图像。
根据本公开的实施例，可以采用解码器对编码特征来进行解码。其中，解码器例如可以采用U-Net结构中的解码器或者计算机视觉中任意网络结构中的解码器，例如，该解码器可以为基于卷积网络构建的解码器，本公开对此不做限定。
根据本公开的实施例，目标视频帧例如可以为视频帧序列中除排在首位的视频帧或排在末尾的视频帧之外的任意一个视频帧。即视频帧序列中除了包括目标视频帧外，还可以包括以下至少之一：目标视频帧的在前视频帧和目标视频帧的在后视频帧。例如，若视频帧序列中包括三个视频帧，目标视频帧则可以为三个视频帧中排在中间位置的视频帧，或者排在首位或末尾的视频帧。若视频帧序列中包括四个视频帧，目标视频帧则可以为排在第二位或者排在第三位的视频帧。该目标视频帧可以根据训练任务来设定，本公开对此不做限定。
相较于将蒙版图与视频中的待修复视频帧进行像素叠加后再进行图像处理的技术方案，本公开实施例通过先分别对视频帧序列和蒙版图序列提取特征，随后对图像特征和蒙版特征融合来进行解码，使得该视频修复方法在修复过程中可以根据蒙版图序列学习到待修复像素的位置，而非直接将蒙版图指示的待修复区域中的像素作为待修复像素。如此，使得得到的修复图像中能够保留待修复区域中无需修复的像素，提高得到的修复图像的真实效果。再者，由于本公开实施例的方法可以学习到待修复像素的位置，因此可以降低对蒙版图精度的要求，使得本公开实施例的方法可以应用于更多场景，具有高鲁棒性。
根据本公开的实施例，以下将对上文描述的操作S230的实现做进一步地限定和扩展。
图3是根据本公开实施例的视频修复方法的原理示意图。
根据本公开的实施例，在获得编码特征时，例如可以采用傅里叶卷积网络来对拼接图像特征和蒙版特征所得到的拼接后特征进行处理，如此，可以学习到待修复视频的全局信息，使得得到的编码特征具有更大的感受野。如此，利于提高生成的修复图像的完整性和精度，利于提高修复效果。
如图3所示，在实施例300中，在提取视频帧序列301的特征得到图像特征和提取蒙版图序列302的特征得到蒙版特征后，可以先拼接该图像特征和蒙版特征，具体可以对图像特征和蒙版特征执行concat操作，得到拼接后特征。随后，将拼接后特征输入傅里叶卷积网络330，以采用傅里叶卷积网络330对拼接后特征进行傅里叶变换处理，得到编码特征，即傅里叶卷积网络330输出的特征。将该编码特征输入解码器340进行解码处理，可以得到修复图像303。
如图3所示，该实施例300可以采用第一时序卷积网络310来对视频帧序列进行处理，以提取视频帧序列的特征，得到图像特征。类似地，该实施例4可以采用第二时序卷积网络320来对蒙版图序列进行处理，以提取蒙版图序列的特征，得到蒙版特征。可以理解的是，第一时序卷积网络310与第二时序卷积网络320的网络结构可以相同，但网络参数的取值不同。
在一实施例中，第二时序卷积网络320的网络结构相较于第一时序卷积网络310的网络结构可以较为简单，这是由于蒙版图通常为二值化图像，采用较简单的网络即可提取到精准的特征。
其中，时序卷积网络（Temporal convolutional network，TCN）是用于序列建模任务的卷积神经网络的变体，结合了RNN和CNN架构。TCN以CNN模型为基础，通过因果卷积（Causal Convolution）来适于对序列进行处理，借助膨胀卷积（Dilated Convolution）和残差模块（Residual block）来对上下文信息进行记忆。由于TCN的单层结构中的卷积核是共享的，因此相较于采用RNN提取特征的技术方案，可以降低计算时的内存使用量，减小资源消耗。
根据本公开的实施例，在提取视频帧序列的特征之前，该实施例可以先获取待修复视频中的视频帧序列。例如，可以针对待修复的任一视频帧，从待修复视频中抽取播放时刻早于该任一视频帧的预定数量个视频帧，作为该任一视频帧的在前视频帧，并从待修复视频中抽取播放时刻晚于该目标视频帧的预定数量个视频帧，作为该任一视频帧的在后视频帧。随后，将该在前视频帧、任一视频帧和在后视频帧按照播放时刻自早至晚排列，从而得到视频帧序列。该实施例中，可以根据抽取的视频帧序列来对视频帧序列中的中间帧进行修复，以使得视频帧的修复可以同时考虑视频帧在时间上的上下文信息，利于提高得到的修复图像的准确性。其中，预定数量的取值例如可以为1、2等任意的自然数，本公开对此不做限定。
根据本公开的实施例，在任一视频帧为播放时刻在前的预定数量个视频帧中的任一视频帧时，考虑到在前视频帧的个数小于预定数量，则该实施例还可以将该任一视频帧的在后视频帧作为在前视频帧。例如，若任一视频帧为播放时刻最早的视频帧，则可以对该任一视频帧的预定数量个在后视频帧进行复制，并将复制得到的预定数量个视频帧按播放时刻与任一视频帧相距自远至近的方式排列在任一视频帧的在前位置，得到预定数量个在前视频帧。而对于播放时刻次早的视频帧，若预定数量大于1，则该实施例可以将播放时刻最早的视频帧作为一个在前视频帧，并通过复制播放时刻次早的视频帧的在后视频帧，来得到其他的在前视频帧。在得到在前视频帧和在后视频帧后，可以将在前视频帧排在任一视频帧之前，将在后视频帧排在任一视频帧之后，且距离任一视频帧越远的视频帧的播放时刻，与该任一视频帧的播放时刻的差值可以越大。即，对于视频帧序列中靠近任一视频帧的第一视频帧和远离任一视频帧的第二视频帧，第一视频帧与任一视频帧之间的播放时刻差值小于等于第二视频帧与任一视频帧之间的播放时刻差值。
类似地，在任一视频帧为播放时刻在后的预定数量个视频帧中的任一视频帧时，考虑到在后视频帧的个数小于预定数量，则该实施例还可以将该任一视频帧的在前视频帧作为在后视频帧。例如，若任一视频帧为播放时刻最晚的视频帧，则可以对该任一视频帧的预定数量个在前视频帧进行复制，并将复制得到的预定数量个视频帧按播放时刻与任一视频帧相距自近至远的方式排列在任一视频帧的在后位置，得到预定数量个在后视频帧。而对于播放时刻次晚的视频帧，若预定数量大于1，则该实施例可以将播放时刻最晚的视频帧作为一个在后视频帧，并通过复制播放时刻次晚的视频帧的在前视频帧，来得到其他的在后视频帧。
可以理解的是，对于任一视频帧为播放时刻在前的预定数量个视频帧或者播放时刻在后的预定数量个视频帧的情况，该实施例还可以复制任一视频帧，采用复制得到的视频帧来填补缺失的在前视频帧或在后视频帧，本公开对此不做限定。
图4是根据本公开实施例的采用傅里叶卷积网络得到编码特征的原理示意图。
根据本公开的实施例，傅里叶卷积网络可以包括卷积子网络和傅里叶变换相关的网络。其中，卷积子网络可以用于对拼接后特征进行融合。如此，在傅里叶变换时，可以充分考虑蒙版特征和图像特征之间的关联关系，可以提高得到的编码特征的表达能力和精度。
例如，傅里叶卷积网络至少包括第一卷积子网络、傅里叶变换子网络、第二卷积子网络和傅里叶逆变换子网络。该实施例可以采用第一卷积子网络对拼接后特征进行融合处理，得到第一融合特征。随后，采用傅里叶变换子网络对第一融合特征进行傅里叶变换处理，得到频域特征。随后采用第二卷积子网络对频域特征进行融合处理，得到第二融合特征。最后，采用傅里叶逆变换子网络对频域特征进行傅里叶逆变换处理，得到时域特征。该实施例可以将该时域特征作为编码特征。其中，傅里叶变换子网络可以对融合特征进行快速傅里叶变换，并仅对变换得到的实数部分进行处理。其中，第二卷积子网络用于对频域的特征进行过滤和融合处理，例如可以对频域特征进行乘法运算等，本公开对此不做限定。
在一实施例中，在采用傅里叶逆变换子网络对第二融合特征进行处理得到逆变换后的时域特征后，还可以将该时域特征与傅里叶变换之前的第一融合特征进行融合，将融合得到的特征作为编码特征。如此，可以基于残差网络的思想来突出经由傅里叶变换得到的全局特征与时序卷积网络得到的局部特征的差异，可以降低深度网络的训练难度，提高网络性能。可以理解的是，在基于残差网络的思想得到编码特征时，可以采用该傅里叶卷积网络替换时序卷积网络中的残差模块，且第一时序卷积网络和第二时序卷积网络共用同一残差模块。如此，相较于采用普通残差模块的时序卷积网络，采用傅里叶卷积网络作为残差模块的时序卷积网络，可以更好地学习到全局特征。
如图4所示，该实施例400中，可以将拼接后特征输入第一卷积子网络431，依次经由第一卷积子网络431、傅里叶变换子网络432、第二卷积子网络433和傅里叶逆变换子网络434处理后得到时域特征。该实施例可以对时域特征和第一卷积子网络431输出的第一融合特征做加法运算，加法运算所得到的特征再经由1×1的卷积网络（Conv 1×1） 435的运算后，可以得到编码特征。可以理解的是，加法运算和1×1的卷积网络435用于对时域特征和第一融合特征进行融合。
其中，第一卷积子网络431和第二卷积子网络433可以采用卷积层+归一化层+非线性激活层（Conv+BN+ReLU）结构的卷积块。其中，卷积层用于对特征进行融合，归一化层用于将融合后的特征重新拉回标准正态分布，非线性激活层用于对拉回标准正态分布的特征进行选择。
为了便于修复视频的方法的实施，本公开还提供了一种视频修复模型及该视频修复模型的训练方法。其中，视频修复模型包括第一特征提取网络、第二特征提取网络、融合网络和解码网络。其中，第一特征提取网络用于提取图像特征，第二特征提取网络用于提取蒙版特征，融合网络用于得到编码特征，解码网络用于对编码特征进行解码。以下将结合图5~图6对本公开提供的视频修复模型的训练方法进行详细描述。
图5是根据本公开实施例的视频修复模型的训练方法的流程示意图。
如图5所示，该实施例的视频修复模型的训练方法500可以包括操作S510~操作S550。
在操作S510，采用第一特征提取网络提取样本数据中视频帧序列的特征，得到图像特征。
根据本公开的实施例，样本数据中可以包括视频帧序列、针对视频帧序列的蒙版图序列及针对视频帧序列中的目标视频帧的真实修复图像。视频帧序列和蒙版图序列的获取方式与上文类似，真实修复图像例如可以为借由图像处理软件修复得到的图像，也可以为根据需求拍摄的图像，本公开对此不做限定。该第一特征提取网络可以为循环神经网络或卷积神经网络等。例如该第一特征提取网络可以为上文描述的第一时序卷积网络，该操作S510的实现原理与上文描述的操作S210的实现原理类似，在此不再赘述。
在操作S520，采用第二特征提取网络提取样本数据中针对视频帧序列的蒙版图序列的特征，得到蒙版特征。其中，蒙版图序列指示视频帧序列中视频帧的待修复区域。第二特征提取网络与第一特征提取网络类似，例如该第二特征提取网络可以为上文描述的第二时序卷积网络，该操作S520与上文描述的操作S220的实现原理类似，在此不再赘述。
在操作S530，采用融合网络拼接所述图像特征和蒙版特征，获得针对视频帧序列的编码特征。其中，融合网络例如可以对图像特征和蒙版特征进行concat操作，随后经由卷积层处理，从而得到编码特征。可以理解的是，该融合网络可以为上文描述的傅里叶卷积网络，该操作S530与上文描述的操作S230的实现原理类似，在此不再赘述。
在操作S540，采用解码网络对编码特征进行解码，得到针对目标视频帧的预测修复图像。
其中，视频帧序列还包括以下至少之一：目标视频帧的在前视频帧、目标视频帧的在后视频帧。可以理解的是，解码网络可以为上文描述的解码器，操作S540与上文描述的操作S240的实现原理类似，在此不再赘述。
在操作S550，根据预测修复图像与真值修复图像之间的差异，对视频修复模型进行训练。
根据本公开的实施例，可以计算预测修复图像中的每个像素的像素值与真值修复图像中相应像素的像素值之间的差值，根据该差值来计算视频修复模型的损失。采用梯度下降算法最小化损失，并采用反向传播算法来调整视频修复模型中的网络参数，实现对视频修复模型的训练。其中，例如可以采用L1损失函数或者L2损失函数等来计算视频修复模型的损失，本公开对此不做限定。
根据本公开的实施例，以下将对上文描述的视频修复模型的训练方法的实现做进一步地限定和扩展。
图6是根据本公开实施例的视频修复模型的训练方法的原理示意图。
如图6所示，在实施例600中，训练视频修复模型时，除了考虑预测修复图像与真值修复图像之间的差异外，例如还可以考虑预测修复图像中相邻像素的差异。以最小化相邻像素之间的差异为目标，训练视频修复模型。如此，可以使得视频修复模型得到的修复图像中修复区域与原有区域之间的边界更平滑，可以提高修复效果。
例如，在该实施例600中，第一特征提取网络采用第一时序卷积网络610，以提取视频帧序列601的特征，得到图像特征。第二特征提取网络采用第二时序卷积网络620，以提取蒙版图序列602的特征，得到蒙版特征。融合网络可以采用傅里叶卷积网络630，以使得得到的编码网络能够表征全局信息，利于提高解码器640解码得到的预测修复图像603的精度。
在该实施例600中，在得到预测修复图像603后，可以根据该预测修复图像603与真值修复图像604之间的差异，计算L1损失605。同时，该实施例还可以根据预测修复图像603中相邻像素的差异，确定视频修复模型的全变分损失606。随后，根据该L1损失605和全变分损失606，对视频修复模型进行训练。
例如，可以将L1损失605与全变分损失606的加权和作为视频修复模型的总损失，来对视频修复模型进行训练。其中，全变分损失606具体为TV loss，全称为TotalVariation Loss，该损失的作用主要是降噪，保持图像的光滑性。例如，该全变分损失606可以采用以下公式计算。
其中，Loss TV 为全变分损失的取值，x i，j 表示预测修复图像603中第i行第j列像素的像素值。x i，j+1 表示预测修复图像603中第i行第（j+1）列像素的像素值。x i+1，j 表示预测修复图像603中第（i+1）行第j列像素的像素值。β为超参数，可以根据实际需求来设定。
在一实施例中，还可以考虑视频修复模型生成预测修复图像的损失。例如，该实施例可以将视频修复模型作为GAN网络中的生成器，通过将预测修复图像603和真值修复图像604分别输入判别器660中，由判别器660输出预测修复图像603为真实图像的概率及真值修复图像604为真实图像的概率。随后根据该判别器输出的概率、真值修复图像604和预测修复图像603来计算GAN损失607。该实施例可以将GAN损失607与上述的全变分损失606、L1损失的加权和作为视频修复模型的总损失，并依据该总损失对视频修复模型进行训练。该实施例通过考虑GAN损失，可以使得视频修复模型生成的修复图像更为逼真。
在一实施例中，在训练视频修复模型时，还可以考虑感知损失，以使得视频修复模型生成的修复图像在高层信息（内容和全局结构等信息）上与真值更为接近，提高生成的修复图像的精度。例如，该实施例可以分别将预测修复图像603和真值修复图像604输入特征提取网络（例如VGG 16）650中，以提取预测修复图像603的特征图和提取真值修复图像604的特征图。随后，该实施例可以根据两个特征图的差异，来确定感知损失608。该实施例可以将感知损失608与上述的全变分损失606、L1损失的加权和作为视频修复模型的总损失，并依据该总损失对视频修复模型进行训练。
在一实施例中，还可以同时考虑感知损失608和GAN损失607。例如，可以将感知损失608、GAN损失607、全变分损失606和L1损失的加权和作为视频修复模型的总损失，并依据该总损失对视频修复模型进行训练。
可以理解的是，上述计算加权和时所采用的权重可以根据实际需求进行设定，本公开对此不做限定。
基于本公开提供的视频修复方法，本公开还提供了一种视频修复装置，以下将结合图7对该装置进行详细描述。
图7是根据本公开实施例的视频修复装置的结构框图。
如图7所示，该实施例的视频修复装置700可以包括第一特征提取模块710、第二特征提取模块720、特征融合模块730和解码模块740。
第一特征提取模块710用于提取待修复视频中视频帧序列的特征，得到图像特征。在一实施例中，第一特征提取模块710可以用于执行上文描述的操作S210，在此不再赘述。
第二特征提取模块720用于提取针对视频帧序列的蒙版图序列的特征，得到蒙版特征。其中，蒙版图序列指示视频帧序列中视频帧的待修复区域。在一实施例中，第二特征提取模块720可以用于执行上文描述的操作S220，在此不再赘述。
特征融合模块730用于拼接图像特征和蒙版特征，获得针对视频帧序列的编码特征。在一实施例中，特征融合模块730可以用于执行上文描述的操作S230，在此不再赘述。
解码模块740用于对编码特征进行解码，得到针对视频帧序列中目标视频帧的修复图像。在一实施例中，解码模块740可以用于执行上文描述的操作S240，在此不再赘述。
根据本公开的实施例，上述特征融合模块730可以包括拼接子模块和处理子模块。拼接子模块用于拼接图像特征和蒙版特征，得到拼接后特征。处理子模块用于采用傅里叶卷积网络对拼接后特征进行处理，得到编码特征。
根据本公开的实施例，傅里叶卷积网络包括第一卷积子网络、傅里叶变换子网络、第二卷积子网络和傅里叶逆变换子网络。上述处理子模块包括可以包括第一卷积处理单元、第一变换单元、第二卷积处理单元和第二变换单元。第一卷积处理单元用于采用第一卷积子网络对拼接后特征进行融合处理，得到第一融合特征。第一变换单元用于采用傅里叶变换子网络对第一融合特征进行傅里叶变换处理，得到频域特征。第二卷积处理单元用于采用第二卷积子网络对频域特征进行融合处理，得到第二融合特征。第二变换单元用于采用傅里叶逆变换子网络对第二融合特征进行傅里叶逆变换处理，得到编码特征。
根据本公开的实施例，第二变换单元可以包括变换子单元和融合子单元。变换子单元用于采用傅里叶逆变换子网络对第二融合特征进行逆傅里叶变换处理，得到时域特征。融合子单元用于融合时域特征和第一融合特征，得到编码特征。
根据本公开的实施例，上述第一特征提取模块710用于采用第一时序卷积网络对视频帧序列进行处理，得到图像特征。上述第二特征提取模块720用于采用第二时序卷积网络对蒙版图序列进行处理，得到蒙版特征。
根据本公开的实施例，上述视频修复装置700还可以包括帧抽取模块和帧排列模块。帧抽取模块用于从待修复视频中抽取预定数量个任一目标视频帧的在前视频帧和预定数量个目标视频帧的在后视频帧。帧排列模块用于将在前视频帧排在目标视频帧之前并将在后视频帧排在目标视频帧之后，得到视频帧序列。其中，目标视频帧为视频帧序列中的中间视频帧；第一视频帧与目标视频帧之间的播放时刻差值小于或等于第二视频帧与目标视频帧之间的播放时刻差值，第一视频帧为视频帧序列中靠近目标视频帧的视频帧，第二视频帧为视频帧序列中远离目标视频帧的视频帧。
根据本公开的实施例，帧抽取模块可以包括在前帧抽取子模块和在后帧抽取子模块。在前帧抽取子模块用于响应于确定目标视频帧属于待修复视频中播放时刻在前的预定数量个视频帧，根据在后视频帧获取在前视频帧。在后帧抽取子模块用于响应于确定目标视频帧属于待修复视频中播放时刻在后的预定数量个视频帧，根据在前视频帧获取在后视频帧。
根据本公开的实施例，蒙版图序列中的至少两个蒙版图与视频帧序列中的至少两个视频帧一一对应；蒙版图指示对应的视频帧中待修复像素所在的区域。
基于本公开提供的视频修复模型的训练方法，本公开还提供了一种视频修复模型的训练装置，以下将结合图8对该装置进行详细描述。
图8是根据本公开实施例的视频修复模型的训练装置的结构框图。
如图8所示，该实施例的视频修复模型的训练装置800可以包括第一特征提取模块810、第二特征提取模块820、特征融合模块830、解码模块840和模型训练模块850。其中，视频修复模型包括第一特征提取网络、第二特征提取网络、融合网络和解码网络。
第一特征提取模块810用于采用第一特征提取网络提取样本数据中视频帧序列的特征，得到图像特征；样本数据还包括针对视频帧序列中目标视频帧的真值修复图像。在一实施例中，第一特征提取模块810可以用于执行上文描述的操作S510，在此不再赘述。
第二特征提取模块820用于采用第二特征提取网络提取样本数据中针对视频帧序列的蒙版图序列的特征，得到蒙版特征；蒙版图序列指示视频帧序列中视频帧的待修复区域。在一实施例中，第二特征提取模块820可以用于执行上文描述的操作S520，在此不再赘述。
特征融合模块830用于采用融合网络拼接图像特征和蒙版特征，获得针对视频帧序列的编码特征。在一实施例中，特征融合模块830可以用于执行上文描述的操作S530，在此不再赘述。
解码模块840用于采用解码网络对编码特征进行解码，得到针对目标视频帧的预测修复图像。在一实施例中，解码模块840可以用于执行上文描述的操作S540，在此不再赘述。
模型训练模块850用于根据预测修复图像与真值修复图像之间的差异，对视频修复模型进行训练。在一实施例中，模型训练模块850可以用于执行上文描述的操作S550，在此不再赘述。
根据本公开的实施例，上述视频修复模型的训练装置800还可以包括损失确定模块，用于根据预测修复图像中相邻像素的差异，确定视频修复模型的全变分损失。其中，模型训练模块还用于根据全变分损失，对视频修复模型进行训练。
根据本公开的实施例，第一特征提取网络和第二特征提取网络包括时序卷积网络，融合网络包括傅里叶卷积网络。
需要说明的是，本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图9示出了可以用来实施本公开实施例的视频修复方法或视频修复模型的训练方法的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器（ROM）902中的计算机程序或者从存储单元908加载到随机访问存储器（RAM）903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出（I/O）接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如视频修复方法或视频修复模型的训练方法。例如，在一些实施例中，视频修复方法或视频修复模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的视频修复方法或视频修复模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行视频修复方法或视频修复模型的训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、复杂可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。其中，服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务（"Virtual Private Server"，或简称 "VPS"）中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (22)

1.一种视频修复方法，包括：
提取待修复视频中视频帧序列的特征，得到图像特征；
提取针对所述视频帧序列的蒙版图序列的特征，得到蒙版特征；所述蒙版图序列指示所述视频帧序列中视频帧的待修复区域；
在通道维度拼接所述图像特征和所述蒙版特征，获得针对所述视频帧序列的编码特征；以及
对所述编码特征进行解码，得到针对所述视频帧序列中目标视频帧的修复图像；
其中，所述在通道维度拼接所述图像特征和所述蒙版特征，获得针对所述视频帧序列的编码特征包括：
在通道维度拼接所述图像特征和所述蒙版特征，得到拼接后特征；以及
采用傅里叶卷积网络对所述拼接后特征进行处理，得到所述编码特征；
其中，所述采用傅里叶卷积网络对所述拼接后特征进行处理，得到所述编码特征包括：将所述拼接后特征输入所述傅里叶卷积网络，以基于所述拼接后特征进行傅里叶变换处理，得到所述编码特征。
2.根据权利要求1所述的方法，其中，所述傅里叶卷积网络包括第一卷积子网络、傅里叶变换子网络、第二卷积子网络和傅里叶逆变换子网络；
所述将所述拼接后特征输入所述傅里叶卷积网络，以基于所述拼接后特征进行傅里叶变换处理，得到所述编码特征：
采用所述第一卷积子网络对所述拼接后特征进行融合处理，得到第一融合特征；
采用所述傅里叶变换子网络对所述第一融合特征进行傅里叶变换处理，得到频域特征；
采用所述第二卷积子网络对所述频域特征进行融合处理，得到第二融合特征；以及
采用所述傅里叶逆变换子网络对所述第二融合特征进行傅里叶逆变换处理，得到所述编码特征。
3.根据权利要求2所述的方法，其中，所述采用所述傅里叶逆变换子网络对所述第二融合特征进行傅里叶逆变换处理，得到所述编码特征，包括：
采用所述傅里叶逆变换子网络对所述第二融合特征进行傅里叶逆变换处理，得到时域特征；以及
融合所述时域特征和所述第一融合特征，得到所述编码特征。
4.根据权利要求1所述的方法，其中：
所述提取待修复视频中视频帧序列的特征，得到图像特征，包括：
采用第一时序卷积网络对所述视频帧序列进行处理，得到所述图像特征；以及
所述提取针对所述视频帧序列的蒙版图序列的特征，得到蒙版特征，包括：
采用第二时序卷积网络对所述蒙版图序列进行处理，得到所述蒙版特征。
5.根据权利要求1所述的方法，还包括：
从所述待修复视频中抽取预定数量个任一目标视频帧的在前视频帧和所述预定数量个所述目标视频帧的在后视频帧；以及
将所述在前视频帧排在所述目标视频帧之前并将所述在后视频帧排在所述目标视频帧之后，得到所述视频帧序列，
其中，所述目标视频帧为所述视频帧序列中的中间视频帧；第一视频帧与所述目标视频帧之间的播放时刻差值小于或等于第二视频帧与所述目标视频帧之间的播放时刻差值，所述第一视频帧为所述视频帧序列中靠近所述目标视频帧的视频帧，所述第二视频帧为所述视频帧序列中远离所述目标视频帧的视频帧。
6.根据权利要求5所述的方法，其中，所述从所述待修复视频中抽取预定数量个任一目标视频帧的在前视频帧和所述预定数量个所述目标视频帧的在后视频帧，包括：
响应于确定所述目标视频帧属于所述待修复视频中播放时刻在前的预定数量个视频帧，根据所述在后视频帧获取所述在前视频帧；或者，
响应于确定所述目标视频帧属于所述待修复视频中播放时刻在后的预定数量个视频帧，根据所述在前视频帧获取所述在后视频帧。
7.根据权利要求1所述的方法，其中，所述蒙版图序列中的至少两个蒙版图与所述视频帧序列中的至少两个视频帧一一对应；所述蒙版图指示对应的视频帧中待修复像素所在的区域。
8.一种视频修复模型的训练方法，其中，所述视频修复模型包括第一特征提取网络、第二特征提取网络、融合网络和解码网络；
所述方法包括：
采用所述第一特征提取网络提取样本数据中视频帧序列的特征，得到图像特征；所述样本数据还包括针对所述视频帧序列中目标视频帧的真值修复图像；
采用第二特征提取网络提取所述样本数据中针对所述视频帧序列的蒙版图序列的特征，得到蒙版特征；所述蒙版图序列指示所述视频帧序列中视频帧的待修复区域；
采用所述融合网络在通道维度拼接所述图像特征和所述蒙版特征，获得针对所述视频帧序列的编码特征；
采用所述解码网络对所述编码特征进行解码，得到针对所述目标视频帧的预测修复图像；以及
根据所述预测修复图像与所述真值修复图像之间的差异，对所述视频修复模型进行训练：
其中，所述融合网络包括傅里叶卷积网络；采用所述融合网络在通道维度拼接所述图像特征和所述蒙版特征，获得针对所述视频帧序列的编码特征包括：
在通道维度拼接所述图像特征和所述蒙版特征，得到拼接后特征；以及
采用所述傅里叶卷积网络对所述拼接后特征进行处理，得到所述编码特征；
其中，所述采用傅里叶卷积网络对所述拼接后特征进行处理，得到所述编码特征包括：将所述拼接后特征输入所述傅里叶卷积网络，以基于所述拼接后特征进行傅里叶变换处理，得到所述编码特征。
9.根据权利要求8所述的方法，还包括：
根据所述预测修复图像中相邻像素的差异，确定所述视频修复模型的全变分损失；以及
根据所述全变分损失，对所述视频修复模型进行训练。
10.根据权利要求8或9所述的方法，其中：
所述第一特征提取网络和所述第二特征提取网络包括时序卷积网络；所述融合网络包括傅里叶卷积网络。
11.一种视频修复装置，包括：
第一特征提取模块，用于提取待修复视频中视频帧序列的特征，得到图像特征；
第二特征提取模块，用于提取针对所述视频帧序列的蒙版图序列的特征，得到蒙版特征；所述蒙版图序列指示所述视频帧序列中视频帧的待修复区域；
特征融合模块，用于在通道维度拼接所述图像特征和所述蒙版特征，获得针对所述视频帧序列的编码特征；以及
解码模块，用于对所述编码特征进行解码，得到针对所述视频帧序列中目标视频帧的修复图像；
其中，所述特征融合模块包括：
拼接子模块，用于在通道维度拼接所述图像特征和所述蒙版特征，得到拼接后特征；以及
处理子模块，用于采用傅里叶卷积网络对所述拼接后特征进行处理，得到所述编码特征；
其中，所述处理子模块具体用于：将所述拼接后特征输入所述傅里叶卷积网络，以基于所述拼接后特征进行傅里叶变换处理，得到所述编码特征。
12.根据权利要求11所述的装置，其中，所述傅里叶卷积网络包括第一卷积子网络、傅里叶变换子网络、第二卷积子网络和傅里叶逆变换子网络；所述处理子模块包括：
第一卷积处理单元，用于采用所述第一卷积子网络对所述拼接后特征进行融合处理，得到第一融合特征；
第一变换单元，用于采用所述傅里叶变换子网络对所述第一融合特征进行傅里叶变换处理，得到频域特征；
第二卷积处理单元，用于采用所述第二卷积子网络对所述频域特征进行融合处理，得到第二融合特征；以及
第二变换单元，用于采用所述傅里叶逆变换子网络对所述第二融合特征进行傅里叶逆变换处理，得到所述编码特征。
13.根据权利要求12所述的装置，其中，所述第二变换单元包括：
变换子单元，用于采用所述傅里叶逆变换子网络对所述第二融合特征进行傅里叶逆变换处理，得到时域特征；以及
融合子单元，用于融合所述时域特征和所述第一融合特征，得到所述编码特征。
14.根据权利要求11所述的装置，其中：
所述第一特征提取模块用于：采用第一时序卷积网络对所述视频帧序列进行处理，得到所述图像特征；以及
所述第二特征提取模块用于：采用第二时序卷积网络对所述蒙版图序列进行处理，得到所述蒙版特征。
15.根据权利要求11所述的装置，还包括：
帧抽取模块，用于从所述待修复视频中抽取预定数量个任一目标视频帧的在前视频帧和所述预定数量个所述目标视频帧的在后视频帧；以及
帧排列模块，用于将所述在前视频帧排在所述目标视频帧之前并将所述在后视频帧排在所述目标视频帧之后，得到所述视频帧序列，
其中，所述目标视频帧为所述视频帧序列中的中间视频帧；第一视频帧与所述目标视频帧之间的播放时刻差值小于或等于第二视频帧与所述目标视频帧之间的播放时刻差值，所述第一视频帧为所述视频帧序列中靠近所述目标视频帧的视频帧，所述第二视频帧为所述视频帧序列中远离所述目标视频帧的视频帧。
16.根据权利要求15所述的装置，其中，所述帧抽取模块包括：
在前帧抽取子模块，用于响应于确定所述目标视频帧属于所述待修复视频中播放时刻在前的预定数量个视频帧，根据所述在后视频帧获取所述在前视频帧；
在后帧抽取子模块，用于响应于确定所述目标视频帧属于所述待修复视频中播放时刻在后的预定数量个视频帧，根据所述在前视频帧获取所述在后视频帧。
17.根据权利要求11所述的装置，其中，所述蒙版图序列中的至少两个蒙版图与所述视频帧序列中的至少两个视频帧一一对应；所述蒙版图指示对应的视频帧中待修复像素所在的区域。
18.一种视频修复模型的训练装置，其中，所述视频修复模型包括第一特征提取网络、第二特征提取网络、融合网络和解码网络；所述装置包括：
第一特征提取模块，用于采用所述第一特征提取网络提取样本数据中视频帧序列的特征，得到图像特征；所述样本数据还包括针对所述视频帧序列中目标视频帧的真值修复图像；
第二特征提取模块，用于采用第二特征提取网络提取所述样本数据中针对所述视频帧序列的蒙版图序列的特征，得到蒙版特征；所述蒙版图序列指示所述视频帧序列中视频帧的待修复区域；
特征融合模块，用于采用所述融合网络在通道维度拼接所述图像特征和所述蒙版特征，获得针对所述视频帧序列的编码特征；
解码模块，用于采用所述解码网络对所述编码特征进行解码，得到针对所述目标视频帧的预测修复图像；以及
模型训练模块，用于根据所述预测修复图像与所述真值修复图像之间的差异，对所述视频修复模型进行训练；
其中，所述融合网络包括傅里叶卷积网络；所述特征融合模块用于：
在通道维度拼接所述图像特征和所述蒙版特征，得到拼接后特征；以及
采用所述傅里叶卷积网络对所述拼接后特征进行处理，得到所述编码特征；
其中，所述采用傅里叶卷积网络对所述拼接后特征进行处理，得到所述编码特征包括：将所述拼接后特征输入所述傅里叶卷积网络，以基于所述拼接后特征进行傅里叶变换处理，得到所述编码特征。
19.根据权利要求18所述的装置，还包括：
损失确定模块，用于根据所述预测修复图像中相邻像素的差异，确定所述视频修复模型的全变分损失，
其中，所述模型训练模块还用于根据所述全变分损失，对所述视频修复模型进行训练。
20.根据权利要求18或19所述的装置，其中：
所述第一特征提取网络和所述第二特征提取网络包括时序卷积网络；
所述融合网络包括傅里叶卷积网络。
21.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～10中任一项所述的方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1～10中任一项所述的方法。
CN202210828892.9A 2022-07-15 2022-07-15 视频修复方法和视频修复模型的训练方法、装置 Active CN115018734B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210828892.9A CN115018734B (zh) 2022-07-15 2022-07-15 视频修复方法和视频修复模型的训练方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210828892.9A CN115018734B (zh) 2022-07-15 2022-07-15 视频修复方法和视频修复模型的训练方法、装置

Publications (2)

Publication Number Publication Date
CN115018734A CN115018734A (zh) 2022-09-06
CN115018734B true CN115018734B (zh) 2023-10-13

Family

ID=83081025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210828892.9A Active CN115018734B (zh) 2022-07-15 2022-07-15 视频修复方法和视频修复模型的训练方法、装置

Country Status (1)

Country Link
CN (1) CN115018734B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024087163A1 (zh) * 2022-10-28 2024-05-02 京东方科技集团股份有限公司 坏点检测模型训练方法、坏点检测方法以及坏点修复方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2944937A1 (fr) * 2009-04-24 2010-10-29 Canon Kk Procede et dispositif de restauration d'une sequence video
CN108509830A (zh) * 2017-02-28 2018-09-07 华为技术有限公司 一种视频数据处理方法及设备
CN109726751A (zh) * 2018-12-21 2019-05-07 北京工业大学 基于深度卷积神经网络识别脑电成像图的方法
CN111353597A (zh) * 2018-12-24 2020-06-30 杭州海康威视数字技术股份有限公司 一种目标检测神经网络训练方法和装置
CN113034648A (zh) * 2021-04-30 2021-06-25 北京字节跳动网络技术有限公司 图像处理方法、装置、设备和存储介质
CN113689372A (zh) * 2021-08-26 2021-11-23 北京字节跳动网络技术有限公司 图像处理方法、设备、存储介质及程序产品
CN113923378A (zh) * 2021-09-29 2022-01-11 北京字跳网络技术有限公司 视频处理方法、装置、设备及存储介质
CN113990330A (zh) * 2021-10-26 2022-01-28 随锐科技集团股份有限公司 一种基于深度网络嵌入和识别音频水印的方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2944937A1 (fr) * 2009-04-24 2010-10-29 Canon Kk Procede et dispositif de restauration d'une sequence video
CN108509830A (zh) * 2017-02-28 2018-09-07 华为技术有限公司 一种视频数据处理方法及设备
CN109726751A (zh) * 2018-12-21 2019-05-07 北京工业大学 基于深度卷积神经网络识别脑电成像图的方法
CN111353597A (zh) * 2018-12-24 2020-06-30 杭州海康威视数字技术股份有限公司 一种目标检测神经网络训练方法和装置
CN113034648A (zh) * 2021-04-30 2021-06-25 北京字节跳动网络技术有限公司 图像处理方法、装置、设备和存储介质
CN113689372A (zh) * 2021-08-26 2021-11-23 北京字节跳动网络技术有限公司 图像处理方法、设备、存储介质及程序产品
CN113923378A (zh) * 2021-09-29 2022-01-11 北京字跳网络技术有限公司 视频处理方法、装置、设备及存储介质
CN113990330A (zh) * 2021-10-26 2022-01-28 随锐科技集团股份有限公司 一种基于深度网络嵌入和识别音频水印的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"PR:完美去水印的方法";影视学堂;《哔哩哔哩视频》;20220227;全长视频 *

Also Published As

Publication number Publication date
CN115018734A (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
KR20220122566A (ko) 텍스트 인식 모델의 트레이닝 방법, 텍스트 인식 방법 및 장치
CN112884758B (zh) 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
CN113901909B (zh) 基于视频的目标检测方法、装置、电子设备和存储介质
CN114820871B (zh) 字体生成方法、模型的训练方法、装置、设备和介质
CN114187624B (zh) 图像生成方法、装置、电子设备及存储介质
EP4123605A2 (en) Method of transferring image, and method and apparatus of training image transfer model
EP4120181A2 (en) Method and apparatus of fusing image, and method of training image fusion model
CN115565177B (zh) 文字识别模型训练、文字识别方法、装置、设备及介质
CN116403083A (zh) 图像的处理方法、装置、电子设备及存储介质
CN115018734B (zh) 视频修复方法和视频修复模型的训练方法、装置
US20230245429A1 (en) Method and apparatus for training lane line detection model, electronic device and storage medium
CN114549904B (zh) 视觉处理及模型训练方法、设备、存储介质及程序产品
CN113177483B (zh) 视频目标分割方法、装置、设备以及存储介质
CN118015144A (zh) 图像生成方法和图像生成模型的训练方法、装置
CN116524575A (zh) 一种基于多注意力机制的人脸识别方法
CN114863450B (zh) 图像处理方法、装置、电子设备及存储介质
CN114998814B (zh) 目标视频生成方法、装置、计算机设备和存储介质
CN112995433B (zh) 一种时序视频生成方法、装置、计算设备及存储介质
CN112052863B (zh) 一种图像检测方法及装置、计算机存储介质、电子设备
Qiu et al. Learning mean progressive scattering using binomial truncated loss for image dehazing
CN116629315B (zh) 感知模型的训练方法、装置、设备和介质
CN118172286B (zh) 车牌图像去模糊方法、模型训练方法、装置、设备及介质
CN116611477B (zh) 数据剪枝方法和序列模型的训练方法、装置、设备和介质
US20240177466A1 (en) Method performed by electronic apparatus, electronic apparatus and storage medium
CN117576231A (zh) 彩色图像生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant