CN110856048A - 视频修复方法、装置、设备及存储介质 - Google Patents

视频修复方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110856048A
CN110856048A CN201911150075.7A CN201911150075A CN110856048A CN 110856048 A CN110856048 A CN 110856048A CN 201911150075 A CN201911150075 A CN 201911150075A CN 110856048 A CN110856048 A CN 110856048A
Authority
CN
China
Prior art keywords
image
video
frame
block
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911150075.7A
Other languages
English (en)
Other versions
CN110856048B (zh
Inventor
张水发
李岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Reach Best Technology Co Ltd
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Reach Best Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Reach Best Technology Co Ltd filed Critical Reach Best Technology Co Ltd
Priority to CN201911150075.7A priority Critical patent/CN110856048B/zh
Publication of CN110856048A publication Critical patent/CN110856048A/zh
Application granted granted Critical
Publication of CN110856048B publication Critical patent/CN110856048B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Processing (AREA)

Abstract

本公开关于一种视频修复方法、装置、设备及存储介质，属于多媒体技术领域，本实施例提供了一种能够修复视频的方法，通过对视频的视频摘要进行分辨率放大处理，来得到高分辨率的目标视频摘要，从目标视频摘要中，分别找到与视频的各帧图像相似的高分辨率图像，通过每帧高分辨率图像，来修复视频中对应的图像，那么通过修复视频的每帧图像，能够让整个视频得以修复。通过这种方法，充分利用高分辨率图像包含的信息，补充出视频原始的图像中受损的细节，从而将模糊的视频转换为清晰的视频，有效地提高了视频的质量。

Description

视频修复方法、装置、设备及存储介质
技术领域
本公开涉及多媒体技术领域，尤其涉及一种视频修复方法、装置、设备及存储介质。
背景技术
随着多媒体技术的发展，越来越多的用户通过拍摄视频、上传视频和观看视频来分享自己的生活，使得视频得到了广泛的传播。
然而，视频的质量会在诸多场景下受损，例如，由于视频的拍摄设备的拍摄能力有限，或者由于视频在网络传输中丢失了信息，经常造成视频中的细节损失，使得视频的分辨率低下，造成视频的播放效果比较模糊。有鉴于此，如何提供一种修复视频的方案，从而将模糊的视频转换为清晰的视频，已成为目前亟需解决的问题。
发明内容
本公开提供一种视频修复方法、装置、设备及存储介质，以至少解决相关技术中视频质量较差、播放效果模糊的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种视频修复方法，包括：
获取待修复的视频的视频摘要；
对所述视频摘要进行分辨率放大处理，得到目标视频摘要；
对于所述视频的每帧图像，从所述目标视频摘要中，获取所述图像对应的目标图像，所述目标图像为所述目标视频摘要中与所述图像最相似的一帧图像；
使用所述目标图像，对所述图像进行图像修复。
可选地，所述使用所述目标图像，对所述图像进行图像修复，包括：
从所述图像中，获取至少一个图像块；
对于所述至少一个图像块中的每个图像块，从所述目标图像中，获取所述图像块对应的第一匹配块，所述第一匹配块为所述目标图像中与所述图像块最相似的块；
根据所述第一匹配块，对所述图像块进行图像修复。
可选地，所述根据所述第一匹配块，对所述图像块进行图像修复，包括：
根据所述图像块中每个像素点的像素值，获取每个像素点对应的梯度值；
根据所述每个像素点对应的梯度值，从所述图像块中获取目标位置，所述目标位置的像素点对应的梯度值在所述目标位置对应的图像区域内最大；
根据所述第一匹配块中所述目标位置的像素点的像素值，对所述图像块中所述目标位置的像素点的像素值进行调整，得到调整后的图像块；
对所述调整后的图像块中所述目标位置之外的其他位置的像素点的像素值进行调整，得到修复后的图像块。
可选地，所述从所述目标图像中，获取所述图像块对应的第一匹配块，包括：
从所述图像中，获取所述图像块对应的第二匹配块，所述第二匹配块为所述图像中与所述图像块最相似的块；
确定所述第二匹配块在所述图像中的位置；
以所述位置为初始位置，在所述目标图像中搜索所述第一匹配块。
可选地，所述从所述图像中，获取所述图像块对应的第二匹配块，包括：
从所述图像中，确定所述图像块的邻近块，所述邻近块的位置和所述图像块的位置满足预设条件；
以所述邻近块最相似的图像块的位置为初始位置，在所述图像中搜索所述第二匹配块。
可选地，所述从所述目标视频摘要中，获取所述图像对应的目标图像，包括:
根据所述图像中每个像素点的像素值和所述目标视频摘要的每帧图像中每个像素点的像素值，获取所述图像与所述目标视频摘要的每帧图像的差异；
根据所述图像与所述目标视频摘要的每帧图像的差异，获取所述目标视频摘要中与所述图像差异最小的一帧图像，得到所述目标图像。
可选地，所述获取待修复的视频的视频摘要，包括：
将所述视频的每帧图像输入图像识别模型；
通过所述图像识别模型对所述视频的每帧图像进行处理，输出所述视频的每帧图像对应的类别；
根据每帧图像对应的类别，获取至少一个代表帧，每个代表帧用于代表对应类别的每帧图像；
对所述至少一个代表帧进行拼接，得到所述视频的视频摘要。
可选地，所述通过所述图像识别模型对所述视频的每帧图像进行处理，输出所述视频的每帧图像对应的类别，包括：
对所述视频的相邻两帧图像进行差值运算，得到差值图像；
对所述相邻两帧图像以及所述差值图像进行图像融合，得到融合图像；
对所述融合图像进行特征提取，得到所述融合图像的特征；
根据所述融合图像的特征，识别所述相邻两帧图像对应的类别。
可选地，所述将所述视频的每帧图像输入图像识别模型之前，所述方法还包括：
根据所述视频的每帧图像的像素点的像素值，获取所述视频中相邻帧之间的差异；
根据所述相邻帧之间的差异，从所述视频中，删除与相邻帧的差异小于阈值的图像。
根据本公开实施例的第二方面，提供一种视频修复装置，包括：
获取单元，被配置为执行获取待修复的视频的视频摘要；
处理单元，被配置为执行对所述视频摘要进行分辨率放大处理，得到目标视频摘要；
所述获取单元，还被配置为执行对于所述视频的每帧图像，从所述目标视频摘要中，获取所述图像对应的目标图像，所述目标图像为所述目标视频摘要中与所述图像最相似的一帧图像；
图像修复单元，被配置为执行使用所述目标图像，对所述图像进行图像修复。
可选地，所述图像修复单元，被配置为执行从所述图像中，获取至少一个图像块；对于所述至少一个图像块中的每个图像块，从所述目标图像中，获取所述图像块对应的第一匹配块，所述第一匹配块为所述目标图像中与所述图像块最相似的块；根据所述第一匹配块，对所述图像块进行图像修复。
可选地，所述图像修复单元，被配置为执行根据所述图像块中每个像素点的像素值，获取每个像素点对应的梯度值；根据所述每个像素点对应的梯度值，从所述图像块中获取目标位置，所述目标位置的像素点对应的梯度值在所述目标位置对应的图像区域内最大；根据所述第一匹配块中所述目标位置的像素点的像素值，对所述图像块中所述目标位置的像素点的像素值进行调整，得到调整后的图像块；
对所述调整后的图像块中所述目标位置之外的其他位置的像素点的像素值进行调整，得到修复后的图像块。
可选地，所述获取单元，还被配置为执行从所述图像中，获取所述图像块对应的第二匹配块，所述第二匹配块为所述图像中与所述图像块最相似的块；确定所述第二匹配块在所述图像中的位置；以所述位置为初始位置，在所述目标图像中搜索所述第一匹配块。
可选地，所述获取单元，还被配置为执行从所述图像中，确定所述图像块的邻近块，所述邻近块的位置和所述图像块的位置满足预设条件；以所述邻近块最相似的图像块的位置为初始位置，在所述图像中搜索所述第二匹配块。
可选地，所述获取单元，还被配置为执行根据所述图像中每个像素点的像素值和所述目标视频摘要的每帧图像中每个像素点的像素值，获取所述图像与所述目标视频摘要的每帧图像的差异；根据所述图像与所述目标视频摘要的每帧图像的差异，获取所述目标视频摘要中与所述图像差异最小的一帧图像，得到所述目标图像。
可选地，所述获取单元，被配置为执行将所述视频的每帧图像输入图像识别模型；通过所述图像识别模型对所述视频的每帧图像进行处理，输出所述视频的每帧图像对应的类别；根据每帧图像对应的类别，获取至少一个代表帧，每个代表帧用于代表对应类别的每帧图像；对所述至少一个代表帧进行拼接，得到所述视频的视频摘要。
可选地，所述图像识别模型用于对所述视频的相邻两帧图像进行差值运算，得到差值图像；对所述相邻两帧图像以及所述差值图像进行图像融合，得到融合图像；对所述融合图像进行特征提取，得到所述融合图像的特征；根据所述融合图像的特征，识别所述相邻两帧图像对应的类别。
可选地，所述获取单元，还被配置为执行根据所述视频的每帧图像的像素点的像素值，获取所述视频中相邻帧之间的差异；
所述装置还包括：删除单元，被配置为执行根据所述相邻帧之间的差异，从所述视频中，删除与相邻帧的差异小于阈值的图像。
根据本公开实施例的第三方面，提供一种电子设备，包括：
一个或多个处理器；
用于存储所述处理器可执行指令的一个或多个存储器；
其中，所述一个或多个处理器被配置为执行所述指令，以实现上述视频修复方法。
根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行上述视频修复方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，包括一条或多条指令，所述一条或多条指令由电子设备的处理器执行时，使得所述电子设备能够执行上述视频修复方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
本实施例提供了一种能够修复视频的方法，通过对视频的视频摘要进行分辨率放大处理，来得到高分辨率的目标视频摘要，从目标视频摘要中，分别找到与视频的各帧图像相似的高分辨率图像，通过每帧高分辨率图像，来修复视频中对应的图像，那么通过修复视频的每帧图像，能够让整个视频得以修复。通过这种方法，充分利用高分辨率图像包含的信息，补充出视频原始的图像中受损的细节，从而将模糊的视频转换为清晰的视频，有效地提高了视频的质量。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种视频修复系统的结构框图；
图2是根据一示例性实施例示出的一种视频修复方法的流程图；
图3是根据一示例性实施例示出的一种视频修复方法的流程图；
图4是根据一示例性实施例示出的一种图像识别模型的架构图；
图5是根据一示例性实施例示出的一种视频修复装置的框图；
图6是根据一示例性实施例示出的一种电子设备的框图；
图7是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开所涉及的用户信息可以为经用户授权或者经过各方充分授权的信息。
以下，对本公开实施例的一个技术术语进行示例性说明。
视频摘要：也称视频浓缩，视频摘要是对完整视频的概括，视频摘要的时长通常小于完整视频的时长，视频摘要的数据量通常小于完整视频的数据量。在一个示例性应用场景中，对于公开课的视频而言，由于公开课的视频通常数个小时，观看完整课程会花费很长时间，则可以提取含有关键信息的所有帧作为视频摘要，提供给用户，用户通过观看视频摘要，既可以节省耗费的时间，又可以了解到公开课的主要内容。在另一个示例性应用场景中，可以将一个2小时的电影提取出其关键部分，组合成一个2分钟的视频摘要，这样视频摘要可以实现电影预告片的功能，通过观看视频摘要即可迅速了解电影内容。此外，对于计算机而言，通过利用视频摘要来代替完整的视频进行计算，由于视频摘要相比完整视频来说数据量极大减少，能够节省缓存视频所需的存储空间，并减少计算时延，从而提高计算效率。
以下，对本公开实施例的硬件环境进行示例性说明。
图1是根据一示例性实施例示出的一种视频修复系统的结构框图。该视频修复系统包括：终端101和视频修复平台110。终端101通过无线网络或有线网络与视频修复平台110相连。
终端101可以是智能手机、游戏主机、台式计算机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器或MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器和膝上型便携计算机中的至少一种。终端101安装和运行有支持视频修复的应用程序。该应用程序可以是直播应用、多媒体应用、短视频应用等。示例性的，终端101是用户使用的终端，终端101中运行的应用程序内登录有用户账号。
视频修复平台110包括一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。视频修复平台110用于为支持修复视频功能的应用程序提供后台服务。可选地，在修复视频的过程中，视频修复平台110和终端101可以协同工作。例如，视频修复平台110承担主要工作，终端101承担次要工作；或者，视频修复平台110承担次要工作，终端101承担主要工作；或者，视频修复平台110或终端101分别可以单独承担修复工作。
作为示例，终端101可以将待修复的模糊视频发送至视频修复平台110，视频修复平台110可以通过执行下述方法实施例，提取模糊视频的视频摘要，进行分辨率放大处理处理后，使用高质量的超分辨率的帧，来修复原本模糊的视频帧，得到高质量的视频，返回给终端101。
可选地，视频修复平台110包括：接入服务器、视频修复服务器1101和数据库1102。接入服务器用于为终端101提供接入服务。视频修复服务器1101用于提供视频修复有关的后台服务，例如训练图像识别模型、进行分辨率放大处理等等。视频修复服务器1101可以是一台或多台。当视频修复服务器1101是多台时，存在至少两台视频修复服务器1101用于提供不同的服务，和/或，存在至少两台视频修复服务器1101用于提供相同的服务，比如以负载均衡方式提供同一种服务，本公开实施例对此不加以限定。视频修复服务器1101中可以设置有视频修复模型。数据库1102可以用于存储视频、视频摘要、目标视频摘要或者下述方法实施例涉及的其他数据等，当需要时，数据库1102可以将存储的数据提供给终端101以及视频修复服务器1101。
终端101可以泛指多个终端中的一个，本实施例仅以终端101来举例说明。
本领域技术人员可以知晓，终端101的数量可以更多或更少。比如终端101可以仅为一个，或者终端101为几十个或几百个，或者更多数量，此时上述视频修复系统还包括其他终端。本公开实施例对终端的数量和设备类型不加以限定。
图2是根据一示例性实施例示出的一种视频修复方法的流程图，如图2所示，该方法用于电子设备中，包括以下步骤。
在步骤S21中，获取视频的视频摘要。
在步骤S22中，对视频摘要进行分辨率放大处理，得到目标视频摘要。
在步骤S23中，对于视频的每帧图像，从目标视频摘要中，获取图像对应的目标图像，目标图像为目标视频摘要中与图像最相似的一帧图像。
在步骤S24中，使用目标图像，对图像进行图像修复。
本实施例提供了一种能够修复视频的方法，通过对视频的视频摘要进行分辨率放大处理，来得到高分辨率的目标视频摘要，从目标视频摘要中，分别找到与视频的各帧图像相似的高分辨率图像，通过每帧高分辨率图像，来修复视频中对应的图像，那么通过修复视频的每帧图像，能够让整个视频得以修复。通过这种方法，充分利用高分辨率图像包含的信息，补充出视频原始的图像中受损的细节，从而将模糊的视频转换为清晰的视频，有效地提高了视频的质量。
可选地，使用目标图像，对图像进行图像修复，包括：
从图像中，获取至少一个图像块；
对于至少一个图像块中的每个图像块，从目标图像中，获取图像块对应的第一匹配块，第一匹配块为目标图像中与图像块最相似的块；
根据第一匹配块，对图像块进行图像修复。
可选地，根据第一匹配块，对图像块进行图像修复，包括：
根据图像块中每个像素点的像素值，获取每个像素点对应的梯度值；
根据每个像素点对应的梯度值，从图像块中获取目标位置，目标位置的像素点对应的梯度值在目标位置对应的图像区域内最大；
根据第一匹配块中目标位置的像素点的像素值，对图像块中目标位置的像素点的像素值进行调整，得到调整后的图像块；
对调整后的图像块中目标位置之外的其他位置的像素点的像素值进行调整，得到修复后的图像块。
可选地，从目标图像中，获取图像块对应的第一匹配块，包括：
从图像中，获取图像块对应的第二匹配块，第二匹配块为图像中与图像块最相似的块；
确定第二匹配块在图像中的位置；
以位置为初始位置，在目标图像中搜索第一匹配块。
可选地，从图像中，获取图像块对应的第二匹配块，包括：
从图像中，确定图像块的邻近块，邻近块的位置和图像块的位置满足预设条件；
以邻近块最相似的图像块的位置为初始位置，在图像中搜索第二匹配块。
可选地，从目标视频摘要中，获取图像对应的目标图像，包括:
根据图像中每个像素点的像素值和目标视频摘要的每帧图像中每个像素点的像素值，获取图像与目标视频摘要的每帧图像的差异；
根据图像与目标视频摘要的每帧图像的差异，获取目标视频摘要中与图像差异最小的一帧图像，得到目标图像。
可选地，获取视频的视频摘要，包括：
将视频的每帧图像输入图像识别模型；
通过图像识别模型对视频的每帧图像进行处理，输出视频的每帧图像对应的类别；
根据每帧图像对应的类别，获取至少一个代表帧，代表帧用于代表对应类别的每帧图像；
对至少一个代表帧进行拼接，得到视频的视频摘要。
可选地，通过图像识别模型对视频的每帧图像进行处理，输出视频的每帧图像对应的类别，包括：
对视频的相邻两帧图像进行差值运算，得到差值图像；
对相邻两帧图像以及差值图像进行图像融合，得到融合图像；
对融合图像进行特征提取，得到融合图像的特征；
根据融合图像的特征，识别相邻两帧图像对应的类别。
可选地，将视频的每帧图像输入图像识别模型之前，方法还包括：
根据视频的每帧图像的像素点的像素值，获取视频中相邻帧之间的差异；
根据相邻帧之间的差异，从视频中，删除与相邻帧的差异小于阈值的图像。
图3是根据一示例性实施例示出的一种视频修复方法的流程图，如图3所示，包括以下步骤。
在步骤S31中，电子设备获取待修复的视频。
视频可以为电影、电视剧等影视作品、美食类视频、美妆类视频、搞笑视频等。视频可以由用户通过终端发送至电子设备，也可以由电子设备从数据库中读取，也可以在电子设备上预先存储。
在步骤S32中，电子设备从视频中，删除与相邻帧的差异小于阈值的图像。
视频的相邻帧通常具有较大的相似性，有鉴于此，电子设备可以通过去除帧间差异较小的图像，来减少视频中帧的数量，那么由于帧的数量更少，从而减小后续运算的数据量。在一些实施例中，帧间差异较小的图像的去除过程可以包括以下步骤一至步骤二：
步骤一、电子设备根据视频的每帧图像的像素点的像素值，获取视频中相邻帧之间的差异。
在一些实施例中，对于视频中任两帧相邻的图像，可以采用以下公式，获取这两帧图像之间的差异。其中，相邻的图像可以是视频播放时间点相邻的图像。
Figure BDA0002283289870000091
其中，Δ表示两帧图像之间的差异，w表示图像的高度，h表示图像的宽度，Pxy表示两帧图像中的一帧图像在位置(x，y)的像素值，Qxy为两帧图像中的另一帧图像在位置(x，y)上的像素值，Pxy，和Qxy的取值范围可以在0至255之间。
另外，还可以采用帧间差分法获取相邻帧之间的差异，或者采用其他方式获取相邻帧之间的差异，本公开实施例对此不做限定。
步骤二、电子设备根据相邻帧之间的差异，从视频中，删除与相邻帧的差异小于阈值的图像。
电子设备可以对相邻帧之间的差异与阈值进行比较，当相邻帧之间的差异小于阈值时，删除相邻帧中的一帧图像。当相邻帧之间的差异不小于阈值时，则保留相邻帧中每帧图像。
通过上述步骤一至步骤二，在图像修复之前，预先去除掉帧间相差较小的帧，从而减少需要修复的帧的数量，那么由于帧的数量减少，可以减小图像修复的运算量，节省图像修复的时间。
在步骤S33中，电子设备获取视频的视频摘要。
在一些实施例中，视频摘要的获取过程可以包括以下步骤一至步骤二：
步骤一、电子设备将视频的每帧图像输入图像识别模型。
图像识别模型用于识别图像的类型，例如，图像识别模型可以是卷积神经网络、循环神经网络等。图像识别模型可以包括多个层，每个层可以包括若干个神经元，每个神经元可以对输入的数据进行线性映射以及非线性映射。
在一种可能实现方式中，参见图4，图像识别模型按照从输入到输出的顺序来说，分别包括差分层、融合层、特征提取层和输出层，差分层对输入的两帧图像进行差值运算，得到差值图像，融合层对两帧图像和差值图像进行融合处理，得到融合图像，特征提取层对融合图像提取图像特征，输出层输出图像特征对应的分类结果。
在一些实施例中，该图像识别模型的训练过程可以包括：电子设备接收输入的样本视频，将样本视频中多帧图像中相邻的两帧图像进行组合，得到多个组合。电子设备可以获取多个组合中每个组合对应的标签，以多个组合作为图像识别模型的输入，以该多个组合的标签作为图像识别模型的输出，对图像识别模型进行训练。图像识别模型通过训练可以学习出判定两帧图像是否属于相同类别的能力。
其中，标签用于表示对应组合中的两帧图像是否属于相同类别。例如，标签可以包括第一标识和第二标识，第一标识用于表示两帧图像属于相同类别，即这两帧图像为相似图像。第二标识用于表示两帧图像属于不同类别，即这两帧图像为不相似的图像。例如，该第一标识可以为1，该第二标识为0。在一种可能实现方式中，由技术人员对每个组合中的两帧图像是否属于相同类别进行判断，并根据判断结果设置每个组合对应的标签。
其中，关于组合的方式，可以从样本视频中第一帧图像开始进行遍历，将当前图像与下一帧图像进行组合，得到一个组合，之后继续遍历下一帧图像，重复上述组合步骤，直至对多帧图像遍历完成时，得到多个组合。例如，如果样本视频去除了帧间相差较小的帧后，剩余第一帧、第三帧、第七帧和第十帧，则将第一帧和第三帧进行组合，将第三帧和第七帧进行组合，将第七帧和第十帧进行组合，得到3个组合。
在训练过程中，可以将一个组合输入图像识别模型，根据图像识别模型输出的类别与该组合对应的标签之间的误差，对图像识别模型的参数进行调整，以使调整后图像识别模型输出的类别与标签之间的误差减小，达到训练图像识别模型的目的。
步骤二、电子设备通过图像识别模型对视频的每帧图像进行处理，输出视频的每帧图像对应的类别。
在一些实施例中，图像对应的类别可以通过以下步骤2.1至步骤2.4来获取：
步骤2.1、电子设备对视频的相邻两帧图像进行差值运算，得到差值图像。
电子设备可以将相邻两帧图像输入至图像识别模型中的差分层，在差分层中，对两帧图像进行差值运算，得到差值图像。具体地，可以将两帧图像中在每个位置上的像素点的像素值进行差值运算，将每个位置上得到的差值作为差值图像中对应位置上像素点的像素值，从而得到差值图像。
步骤2.2、电子设备对相邻两帧图像以及差值图像进行图像融合，得到融合图像。
步骤2.3、电子设备对融合图像进行特征提取，得到融合图像的特征。
可以采用卷积神经网络、HOG(Histogram of Oriented Gradient,方向梯度直方图)、LBP(Local Binary Pattern，局部二值模式)或者其他算法对融合图像进行特征提取。
步骤2.4、电子设备根据融合图像的特征，识别相邻两帧图像对应的类别。
在输出层中，可以根据融合图像的特征，对相邻两帧图像进行分类，输出相邻两帧图像对应的类别，两帧图像属于同一个类别也可以属于不同类别。例如，对于视频的四帧图像，当确定第一帧和第二帧属于相同类别，第二帧和第三帧属于相同类别，第三帧和第四帧属于不同类别，则将该四帧图像分为两个类别，第一帧、第二帧和第三帧属于一个类别，第四帧属于一个类别。
通过步骤2.1至步骤2.4来确定图像对应的类别，对于相邻两帧图像而言，能够综合考虑两帧图像之间的差异以及两帧图像之间的共性，来判决两帧图像是否属于同一类别，对于通常内容相似的相邻帧而言，可以利用这种方式来准确判断相邻两帧图像对应的类别。
步骤三、电子设备根据每帧图像对应的类别，获取至少一个代表帧。
代表帧用于代表对应类别的每帧图像。电子设备可以从每个类别中选取一帧图像，作为代表帧。在一种可能实现方式中，可以从同一类别的多帧图像中，选取靠近聚类中心的图像，作为代表帧，该过程包括以下步骤：
一、对于每个类别，获取该类别中多帧图像的图像特征。
对该类别中的每帧图像进行特征提取，得到每帧图像的图像特征。其中，可以采用卷积神经网络、HOG、LBP或者其他算法，来进行特征提取。
二、对多帧图像的图像特征进行平均处理，得到平均图像特征。
在一种可能实现方式中，采用以下公式，得到该类别中的多帧图像的平均图像特征：
Figure BDA0002283289870000121
其中，μ为该类别中的多帧图像的平均图像特征，fi为该类别中第i帧图像的图像特征，N为该类别中的图像数量，N为正整数。
三、从多帧图像中，选取图像特征与平均图像特征之间的相似度最大的图像，作为代表帧。
其中，相似度越大，表示图像的图像特征与平均图像特征越相似，则选取图像特征与平均图像特征之间的相似度最大的图像，而平均图像特征可以视为同一类别的聚类中心，那么由于图像靠近聚类中心，从而能够将该图像作为该类别的代表帧。
在一种可能实现方式中，可以采用欧氏距离来表示相似度，欧式距离越小表示相似度越大，因此，可以选取图像特征与平均图像特征之间的欧式距离最小的图像，作为代表帧。
步骤四、电子设备对至少一个代表帧进行拼接，得到视频的视频摘要。
在一种可能实现方式中，可以按照至少一个代表帧在视频中的顺序，将至少一个代表帧进行拼接，得到视频摘要。在另一种可能实现方式中，还可以设置每个代表帧的播放时长、显示效果及对应的背景音频等，按照多个代表帧在视频中的顺序、每个代表帧的播放时长、显示效果及对应的背景音频等，将多个代表帧进行拼接，得到视频摘要。另外，还可以从多个代表帧中，选取一帧代表帧，作为该视频摘要的封面。也可以将视频和视频摘推荐给用户，供用户查看视频摘要。
通过上述方式来获取视频摘要，基于对需要修复的视频的图像进行分类，利用类别来提取代表帧进行拼接，即可得到视频摘要，相对于对每帧图像中对象的运动轨迹进行分析的视频摘要获取方式而言，计算量大大减少，因此缩短了电子设备的处理时间，提高了生成视频摘要的效率。并且，通过使用拼接代表帧的方式来获取视频摘要，由于代表帧能够代表同一类别中的多帧图像的内容，根据代表帧拼接出的视频摘要，能够准确概括视频的内容。
在步骤S34中，电子设备对视频摘要进行分辨率放大处理，得到目标视频摘要。
目标视频摘要是指对视频摘要进行了分辨率放大处理后得到的视频。目标视频摘要的分辨率大于视频摘要。在一些实施例中，电子设备可以通过PS(Adobe Photoshop，一种图像处理软件)，对视频摘要进行超分辨率处理，得到高分辨率高质量的目标视频摘要。具体地，电子设备可以提取视频摘要的每帧图像，对每帧图像进行超分辨率重构，对重构后的每帧图像进行拼接，得到目标视频摘要。
在步骤S35中，对于视频的每帧图像，电子设备从目标视频摘要中，获取图像对应的目标图像。
目标图像为目标视频摘要中与图像最相似的一帧图像。目标图像的获取过程可以包括以下步骤一至步骤二：
步骤一、电子设备根据图像中每个像素点的像素值和目标视频摘要的每帧图像中每个像素点的像素值，获取图像与目标视频摘要的每帧图像的差异。
对于视频中的每一帧，可以根据该帧与目标视频摘要的每帧的像素差异，找到目标视频摘要与其最相似的帧，作为目标图像。其中，两帧图像之间的相似度可以根据两帧图像中对应像素点的像素值之差确定。示例性地，可以通过以下公式，来获取视频的第i帧图像与目标视频摘要中第1帧图像至第(i-1)帧图像中任一帧图像的差异。
Figure BDA0002283289870000131
其中，n表示差异，argmin是指求取令结果取得最小值的自变量的取值，ω表示图像的高度，h表示图像的宽度，Pxy表示两帧图像中的一帧图像在位置(x，y)的像素值，Qxy为两帧图像中的另一帧图像在位置(x，y)上的像素值，Pxy和Qxy的取值范围可以在0至255之间。
通过这种方式来获取目标图像，能够利用原始图像中各个像素点与视频摘要帧中各个像素点的差异，来表示整幅原始图像与整幅视频摘要帧之间的差异，进而通过比较原始图像与每个视频摘要帧之间的差异大小，来找出最相似的视频摘要帧作为目标图像，从而提供了一种简单可行的获取方式，同时准确性较好。
步骤二、电子设备根据图像与目标视频摘要的每帧图像的差异，获取目标视频摘要中与图像差异最小的一帧图像，得到目标图像。
对于视频的第i帧而言，电子设备可以从目标视频摘要的第1帧图像至第(i-1)帧图像中，寻找第i帧对应的目标图像。具体地，可以对视频的第i帧与目标视频摘要的第1帧图像，采用上述步骤一来获取两帧图像之间的差异，对视频的第i帧与目标视频摘要的第2帧图像，采用上述步骤一来获取两帧图像之间的差异，以此类推，对视频的第i帧与目标视频摘要的第(i-1)帧图像，采用上述步骤一来获取两帧图像之间的差异，从而得到(i-1)个差异。可以从(i-1)个差异中选择最小的差异，确定目标视频摘要中该最小的差异对应的一帧图像，得到目标图像，该目标图像即为视频的第i帧对应的超分辨率后的帧。其中，i为大于1的正整数。
在步骤S36中，电子设备使用目标图像，对图像进行图像修复。
通过上述流程，得到了视频中的帧所对应的高质量帧，即通过超分辨率的手段得到的目标图像。由于目标图像包含了更多的信息，可以将目标图像作为图像修复的基础，使用高质量的目标图像对低质量的原始图像进行修复，从而提高原始图像的质量。
在一些实施例中，可以将图像划分为图像块，对每个图像块采用目标图像中与其匹配的图像块进行修复，通过分别修复每个图像块，来实现整幅图像的修复。具体地，修复各个图像块的流程可以包括以下步骤一至步骤三：
步骤一、电子设备从图像中，获取至少一个图像块。
图像块也称patch，图像块的大小可以根据实验、经验或需求设置，例如，图像块可以是2*2大小的块、3*3大小的块或者2*3大小的块。可以对图像进行划分，得到至少一个图像块。在一些实施例中，电子设备可以先对图像进行上采样，从上采样后的图像中，获取至少一个图像块。
步骤二、对于至少一个图像块中的每个图像块，电子设备从目标图像中，获取图像块对应的第一匹配块。
第一匹配块为该目标图像中与该图像块最相似的块。在一些实施例中，图像块的匹配流程可以包括两个阶段，第一阶段，先在原始帧上进行匹配，即，将图像本身(即视频的原始帧)的每个图像块作为搜索范围，搜索与图像块最匹配的块。第二阶段，在原始帧匹配的基础上，利用原始帧中最匹配的块的位置，在超分辨率图像上进一步匹配，即，将超分辨率图像(是指通过超分辨率得到的目标视频摘要的对应帧图像)中的每个每个图像块作为搜索范围，搜索与图像块最匹配的块。通过采用两个阶段来进行匹配，可以加快匹配的速度，能够更快地找到第一匹配块。
在一些实施例中，第一匹配块的获取过程可以包括以下步骤2.1至步骤2.3：
步骤2.1、电子设备从图像中，获取图像块对应的第二匹配块。
第二匹配块为视频的该帧图像中与待匹配的图像块最相似的块。图像块与第二匹配块是原始视频帧中的两个不同图像块。在一些实施例中，第二匹配块的获取过程可以包括以下步骤2.1.1至步骤2.1.2：
步骤2.1.1、电子设备从图像中，确定图像块的邻近块。
邻近块是指图像块所在的一帧图像中与该图像块位置邻近的块。邻近块的位置和第一图像块的位置满足预设条件。例如，邻近块的位置和第一图像块的位置之间的距离可以是预设偏移量。比如说，如果当前的图像块是图像中的图像块(x,y)，即图像中横坐标为x纵坐标为y的图像块，则邻近块可以是图像块(x-1,y)和图像块(x,y-1)。其中，图像块(x-1,y)是指当前的图像块向左偏移1个像素的块，图像块(x,y-1)是指当前块向上偏移1个像素的块。
步骤2.1.2、电子设备以邻近块最相似的图像块的位置为初始位置，在图像中搜索第二匹配块。
为当前图像块进行搜索的初始位置可以和邻近块的匹配位置对应。例如，如果图像块(x,y)的邻近块是图像块(x-1,y)，而图像块(x-1,y)最相似的图像块的位置是(x’-1,y’)，则图像块(x,y)的初始搜索位置为(x’,y’)。通过这种方式，可以利用已经搜索到匹配的图像块的信息，从而加快搜索。其中，当搜索到第二匹配块后，可以记录该图像的帧序号以及第二匹配块在该图像中的位置，以便当前图像块的下一个图像块进行搜索时使用该位置进行搜索。
其中，当确定初始位置后，可以搜索初始位置附近的每个图像块，对待匹配的图像块与搜索出的每个图像块逐个进行匹配，直至找到匹配度最高的图像块，作为第二匹配块。在搜索过程中，可以设置随机距离，将以初始位置为中心随机距离为半径的区域作为搜索区域，确定该搜索区域的每个图像块，作为搜索出的图像块。通过这种方式，由于搜索区域是随机扩散的，能够避免搜索陷入局部最优。此外，可以当匹配次数达到阈值后，增大随机扰动的范围，以保证能找到最匹配的第二匹配块。
通过在搜索过程中，记录上一位置匹配的帧的序号和对应位置，在下一位置开始搜索时，从上一位置的匹配帧和对应位置的相应偏移开始搜索，能够快速、准确的找到相应的匹配位置，避免陷入局部最优。
步骤2.2、电子设备确定第二匹配块在图像中的位置。
步骤2.3、电子设备以位置为初始位置，在目标图像中搜索第一匹配块。
通过上述步骤2.1至步骤2.3，将块匹配的过程划分为两个阶段，先在原始帧上进行匹配，再利用匹配出的位置在超分辨率的视频摘要帧上进行匹配，那么在视频摘要帧上进行匹配时，能够免去遍历视频摘要帧上所有块的繁琐流程，在之前已经匹配出的位置的基础上进一步调整优化即可，因此能够加快在视频摘要帧上搜索块的速度，提高在视频摘要帧上搜索块的效率。
步骤三、电子设备根据第一匹配块，对图像块进行图像修复。
在一些实施例中，图像修复的过程可以包括以下步骤3.1至步骤3.4：
步骤3.1、电子设备根据图像块中每个像素点的像素值，获取每个像素点对应的梯度值。
梯度值可以为梯度的幅值，梯度值用于表示像素点的像素值的变化，梯度值大的像素点通常是边缘或角点。
步骤3.2、电子设备根据每个像素点对应的梯度值，从图像块中获取目标位置。
目标位置的像素点对应的梯度值在目标位置对应的图像区域内最大，目标位置通常时图像块中的边缘，能够体现图像块中物体的轮廓。目标位置可以是图像块中梯度最大的线，可以将目标位置作为锚，优先修复目标位置的像素点。
那么，由于优先修复了边缘位置，能够避免模糊，从而提高修复后的图像的清晰度，保证修复后的图像的图像质量。
步骤3.3、电子设备根据第一匹配块中目标位置的像素点的像素值，对图像块中目标位置的像素点的像素值进行调整，得到调整后的图像块。
在一些实施例中，调整像素值的方式可以是：利用像素之间的对应关系进行插值处理。其中，插值(Interpolation)是一种在计算像素的过程中用来增加有效像素(实际像素)的方式。此外，还可以调整像素点的亮度。
步骤3.4、电子设备对调整后的图像块中目标位置之外的其他位置的像素点的像素值进行调整，得到修复后的图像块。
目标位置之外的每个块的可以进行相应的调整，调整的方式可以包括利用像素之间的对应关系进行插值处理、调整亮度等。通过对每个块分别进行修复，直至所有图像块修复完成，将已修复的每个图像块作为修复后的整帧图像。
此外，可以根据图像的整体亮度差异，来调整修复后的整帧图像的亮度。例如，可以计算修复后的整帧图像的平均亮度，计算视频对应的原始图像中的平均亮度，根据两个平均亮度之间的比值，按照比例调整亮度。其中，图像的平均亮度可以是图像中每个图像块的亮度的平均值。
上述方法流程可以包含自动生成以及人工参与的步骤，因此可以作为一个半监督学习的方案，其中，该半监督学习是监督学习和无监督学习之间的一种类型。
通过上述步骤一至步骤三，利用超分辨率图像中的每个块来逐个修复原始图像中的每个块，那么原始图像中的每个块的分辨率均能够通过图像修复的过程得以提高，从而保证整个原始图像的分辨率得以提高，实现整个原始图像的修复。
在步骤S37中，电子设备输出已修复的视频。
电子设备通过对视频的每帧图像执行上述方法流程，可以提高每帧图像的图像质量，得到每帧已修复的图像，可以对每帧已修复的图像进行拼接，得到已修复的视频，通过输出已修复的视频，来将已修复的视频提供给用户。
本实施例提供了一种能够修复视频的方法，通过对视频的视频摘要进行分辨率放大处理，来得到高分辨率的目标视频摘要，从目标视频摘要中，分别找到与视频的各帧图像相似的高分辨率图像，通过每帧高分辨率图像，来修复视频中对应的图像，那么通过修复视频的每帧图像，能够让整个视频得以修复。通过这种方法，充分利用高分辨率图像包含的信息，补充出视频原始的图像中受损的细节，从而将模糊的视频转换为清晰的视频，有效地提高了视频的质量。
以下，对本公开实施例的应用场景进行示例性介绍。
可以通过本实施例提供的方法，将模糊的视频修复为清晰的视频。具体地，用户可以将模糊的视频输入至终端，终端可以将该模糊的视频发送至上述方法实施例中的电子设备，电子设备通过执行本实施例提供的方法，能够将模糊的视频清晰化，得到高质量的视频，返回给用户。
图5是根据一示例性实施例示出的一种视频修复装置的框图。参照图5，该装置包括获取单元501，处理单元502和图像修复单元503。
获取单元501，被配置为执行获取待修复的视频的视频摘要；
处理单元502，被配置为执行对视频摘要进行分辨率放大处理，得到目标视频摘要；
获取单元501，还被配置为执行对于视频的每帧图像，从目标视频摘要中，获取图像对应的目标图像，目标图像为目标视频摘要中与图像最相似的一帧图像；
图像修复单元503，被配置为执行使用目标图像，对图像进行图像修复。
可选地，图像修复单元503，被配置为执行从图像中，获取至少一个图像块；对于至少一个图像块中的每个图像块，从目标图像中，获取图像块对应的第一匹配块，第一匹配块为目标图像中与图像块最相似的块；根据第一匹配块，对图像块进行图像修复。
可选地，图像修复单元503，被配置为执行根据图像块中每个像素点的像素值，获取每个像素点对应的梯度值；根据每个像素点对应的梯度值，从图像块中获取目标位置，目标位置的像素点对应的梯度值在目标位置对应的图像区域内最大；根据第一匹配块中目标位置的像素点的像素值，对图像块中目标位置的像素点的像素值进行调整，得到调整后的图像块；对调整后的图像块中目标位置之外的其他位置的像素点的像素值进行调整，得到修复后的图像块。
可选地，获取单元501，还被配置为执行从图像中，获取图像块对应的第二匹配块，第二匹配块为图像中与图像块最相似的块；确定第二匹配块在图像中的位置；以位置为初始位置，在目标图像中搜索第一匹配块。
可选地，获取单元501，还被配置为执行从图像中，确定图像块的邻近块，邻近块的位置和图像块的位置满足预设条件；以邻近块最相似的图像块的位置为初始位置，在图像中搜索第二匹配块。
可选地，获取单元501，还被配置为执行根据图像中每个像素点的像素值和目标视频摘要的每帧图像中每个像素点的像素值，获取图像与目标视频摘要的每帧图像的差异；根据图像与目标视频摘要的每帧图像的差异，获取目标视频摘要中与图像差异最小的一帧图像，得到目标图像。
可选地，获取单元501，被配置为执行将视频的每帧图像输入图像识别模型；通过图像识别模型对视频的每帧图像进行处理，输出视频的每帧图像对应的类别；根据每帧图像对应的类别，获取至少一个代表帧，代表帧用于代表对应类别的每帧图像；对至少一个代表帧进行拼接，得到视频的视频摘要。
可选地，图像识别模型用于对视频的相邻两帧图像进行差值运算，得到差值图像；对相邻两帧图像以及差值图像进行图像融合，得到融合图像；对融合图像进行特征提取，得到融合图像的特征；根据融合图像的特征，识别相邻两帧图像对应的类别。
可选地，获取单元501，还被配置为执行根据视频的每帧图像的像素点的像素值，获取视频中相邻帧之间的差异；
装置还包括：删除单元，被配置为执行根据相邻帧之间的差异，从视频中，删除与相邻帧的差异小于阈值的图像。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图6示出了本公开一个示例性实施例提供的电子设备的结构框图。该电子设备600可以是：智能手机、平板电脑、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group AudioLayer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。电子设备600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，电子设备600包括有：一个或多个处理器601和一个或多个存储器602。
处理器601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器601可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器601还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器601所执行以实现本公开中方法实施例提供的视频修复方法。
在一些实施例中，电子设备600还可选包括：外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地，外围设备包括：射频电路604、触摸显示屏605、摄像头组件606、音频电路607、定位组件608和电源609中的至少一种。
外围设备接口603可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中，处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上；在一些其他实施例中，处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路604用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路604包括：天线系统、RF收发器、一个放大器或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路604还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本公开对此不加以限定。
显示屏605用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时，显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时，显示屏605还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏605可以为一个，设置电子设备600的前面板；在另一些实施例中，显示屏605可以为至少两个，分别设置在电子设备600的不同表面或呈折叠设计；在再一些实施例中，显示屏605可以是柔性显示屏，设置在电子设备600的弯曲表面上或折叠面上。甚至，显示屏605还可以设置成非矩形的不规则图形，也即异形屏。显示屏605可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件606用于采集图像或视频。可选地，摄像头组件606包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器601进行处理，或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在电子设备600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路607还可以包括耳机插孔。
定位组件608用于定位电子设备600的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件608可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源609用于为电子设备600中的各个组件供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，电子设备600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于：加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。
加速度传感器611可以检测以电子设备600建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号，控制触摸显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可用于游戏或者用户的运动数据的采集。
陀螺仪传感器612可以检测电子设备600的机体方向及转动角度，陀螺仪传感器612可以与加速度传感器611协同采集用户对电子设备600的3D动作。处理器601根据陀螺仪传感器612采集的数据，可以实现如下功能：动作感应(比如，根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器613可以设置在电子设备600的侧边框和/或触摸显示屏605的下层。当压力传感器613设置在电子设备600的侧边框时，可以检测用户对电子设备600的握持信号，由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在触摸显示屏605的下层时，由处理器601根据用户对触摸显示屏605的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器614用于采集用户的指纹，由处理器601根据指纹传感器614采集到的指纹识别用户的身份，或者，由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器601授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置电子设备600的正面、背面或侧面。当电子设备600上设置有物理按键或厂商Logo时，指纹传感器614可以与物理按键或厂商Logo集成在一起。
光学传感器615用于采集环境光强度。在一个实施例中，处理器601可以根据光学传感器615采集的环境光强度，控制触摸显示屏605的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏605的显示亮度；当环境光强度较低时，调低触摸显示屏605的显示亮度。在另一个实施例中，处理器601还可以根据光学传感器615采集的环境光强度，动态调整摄像头组件606的拍摄参数。
接近传感器616，也称距离传感器，通常设置在电子设备600的前面板。接近传感器616用于采集用户与电子设备600的正面之间的距离。在一个实施例中，当接近传感器616检测到用户与电子设备600的正面之间的距离逐渐变小时，由处理器601控制触摸显示屏605从亮屏状态切换为息屏状态；当接近传感器616检测到用户与电子设备600的正面之间的距离逐渐变大时，由处理器601控制触摸显示屏605从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图6中示出的结构并不构成对电子设备600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图7是本公开实施例提供的另一种电子设备的结构示意图，该电子设备700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)701和一个或一个以上的存储器702，其中，存储器702中存储有至少一条指令，至少一条指令由处理器701加载并执行以实现上述各个方法实施例提供的视频修复方法。当然，该电子设备还可以具有有线或无线网络接口以及输入输出接口等部件，以便进行输入输出，该电子设备还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器804，上述指令可由电子设备的的处理器执行以完成上述视频修复方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，该非临时性计算机可读存储介质可以是只读存储器(Read-Only Memory，简称：ROM)、随机存取存储器(Random Access Memory，简称：RAM)、只读光盘(Compact Disc Read-Only Memory，简称：CD-ROM)、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种视频修复方法，其特征在于，包括：
获取待修复的视频的视频摘要；
对所述视频摘要进行分辨率放大处理，得到目标视频摘要；
对于所述视频的每帧图像，从所述目标视频摘要中，获取所述图像对应的目标图像，所述目标图像为所述目标视频摘要中与所述图像最相似的一帧图像；
使用所述目标图像，对所述图像进行图像修复。
2.根据权利要求1所述的方法，其特征在于，所述使用所述目标图像，对所述图像进行图像修复，包括：
从所述图像中，获取至少一个图像块；
对于所述至少一个图像块中的每个图像块，从所述目标图像中，获取所述图像块对应的第一匹配块，所述第一匹配块为所述目标图像中与所述图像块最相似的块；
根据所述第一匹配块，对所述图像块进行图像修复。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一匹配块，对所述图像块进行图像修复，包括：
根据所述图像块中每个像素点的像素值，获取每个像素点对应的梯度值；
根据所述每个像素点对应的梯度值，从所述图像块中获取目标位置，所述目标位置的像素点对应的梯度值在所述目标位置对应的图像区域内最大；
根据所述第一匹配块中所述目标位置的像素点的像素值，对所述图像块中所述目标位置的像素点的像素值进行调整，得到调整后的图像块；
对所述调整后的图像块中所述目标位置之外的其他位置的像素点的像素值进行调整，得到修复后的图像块。
4.根据权利要求2所述的方法，其特征在于，所述从所述目标图像中，获取所述图像块对应的第一匹配块，包括：
从所述图像中，获取所述图像块对应的第二匹配块，所述第二匹配块为所述图像中与所述图像块最相似的块；
确定所述第二匹配块在所述图像中的位置；
以所述位置为初始位置，在所述目标图像中搜索所述第一匹配块。
5.根据权利要求4所述的方法，其特征在于，所述从所述图像中，获取所述图像块对应的第二匹配块，包括：
从所述图像中，确定所述图像块的邻近块，所述邻近块的位置和所述图像块的位置满足预设条件；
以所述邻近块最相似的图像块的位置为初始位置，在所述图像中搜索所述第二匹配块。
6.根据权利要求1所述的方法，其特征在于，所述从所述目标视频摘要中，获取所述图像对应的目标图像，包括:
根据所述图像中每个像素点的像素值和所述目标视频摘要的每帧图像中每个像素点的像素值，获取所述图像与所述目标视频摘要的每帧图像的差异；
根据所述图像与所述目标视频摘要的每帧图像的差异，获取所述目标视频摘要中与所述图像差异最小的一帧图像，得到所述目标图像。
7.根据权利要求1所述的方法，其特征在于，所述获取待修复的视频的视频摘要，包括：
将所述视频的每帧图像输入图像识别模型；
通过所述图像识别模型对所述视频的每帧图像进行处理，输出所述视频的每帧图像对应的类别；
根据每帧图像对应的类别，获取至少一个代表帧，每个代表帧用于代表对应类别的每帧图像；
对所述至少一个代表帧进行拼接，得到所述视频的视频摘要。
8.一种视频修复装置，其特征在于，包括：
获取单元，被配置为执行获取待修复的视频的视频摘要；
处理单元，被配置为执行对所述视频摘要进行分辨率放大处理，得到目标视频摘要；
所述获取单元，还被配置为执行对于所述视频的每帧图像，从所述目标视频摘要中，获取所述图像对应的目标图像，所述目标图像为所述目标视频摘要中与所述图像最相似的一帧图像；
图像修复单元，被配置为执行使用所述目标图像，对所述图像进行图像修复。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
用于存储所述一个或多个处理器可执行指令的一个或多个存储器；
其中，所述一个或多个处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的视频修复方法。
10.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至7中任一项所述的视频修复方法。
CN201911150075.7A 2019-11-21 2019-11-21 视频修复方法、装置、设备及存储介质 Active CN110856048B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911150075.7A CN110856048B (zh) 2019-11-21 2019-11-21 视频修复方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911150075.7A CN110856048B (zh) 2019-11-21 2019-11-21 视频修复方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110856048A true CN110856048A (zh) 2020-02-28
CN110856048B CN110856048B (zh) 2021-10-08

Family

ID=69603466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911150075.7A Active CN110856048B (zh) 2019-11-21 2019-11-21 视频修复方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110856048B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462166A (zh) * 2020-03-31 2020-07-28 武汉卓目科技有限公司 一种基于直方图均衡化光流法的视频稳像方法和系统
CN111953939A (zh) * 2020-07-31 2020-11-17 中标慧安信息技术股份有限公司 提高监控视频存证正确率的方法及系统
WO2021208580A1 (zh) * 2020-04-17 2021-10-21 Oppo广东移动通信有限公司 视频修复方法、装置、电子设备和计算机可读存储介质
CN116453028A (zh) * 2023-06-13 2023-07-18 荣耀终端有限公司 视频处理方法、存储介质及电子设备
CN116996708A (zh) * 2023-08-10 2023-11-03 广州阿凡提电子科技有限公司 基于机器学习的短视频数据标签推荐方法、系统及云平台

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110267544A1 (en) * 2010-04-28 2011-11-03 Microsoft Corporation Near-lossless video summarization
US20120128071A1 (en) * 2010-11-24 2012-05-24 Stmicroelectronics S.R.L. Apparatus and method for performing error concealment of inter-coded video frames
CN103065153A (zh) * 2012-12-17 2013-04-24 西南科技大学 一种基于色彩量化和聚类的视频关键帧提取方法
CN105684449A (zh) * 2013-11-08 2016-06-15 汤姆逊许可公司 从原始图像的低质量版本和摘要构建原始图像的估计的方法和装置
CN106101726A (zh) * 2016-07-22 2016-11-09 福建师范大学 一种时空域相结合的自适应错误隐藏修复方法及系统
CN106296586A (zh) * 2016-08-18 2017-01-04 电子科技大学 基于凸组合方式的多帧低分辨率图像超分辨率重建方法
CN107040759A (zh) * 2017-04-12 2017-08-11 合肥才来科技有限公司 应用于银行的智能监控系统
US20180077421A1 (en) * 2016-09-09 2018-03-15 Microsoft Technology Licensing, Llc Loss Detection for Encoded Video Transmission
CN110147797A (zh) * 2019-04-12 2019-08-20 中国科学院软件研究所 一种基于生成式对抗网络的草图补全与识别方法和装置
CN110418139A (zh) * 2019-08-01 2019-11-05 广东工业大学 一种基于esrgan的视频超分辨修复技术

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110267544A1 (en) * 2010-04-28 2011-11-03 Microsoft Corporation Near-lossless video summarization
US20120128071A1 (en) * 2010-11-24 2012-05-24 Stmicroelectronics S.R.L. Apparatus and method for performing error concealment of inter-coded video frames
CN103065153A (zh) * 2012-12-17 2013-04-24 西南科技大学 一种基于色彩量化和聚类的视频关键帧提取方法
CN105684449A (zh) * 2013-11-08 2016-06-15 汤姆逊许可公司 从原始图像的低质量版本和摘要构建原始图像的估计的方法和装置
CN106101726A (zh) * 2016-07-22 2016-11-09 福建师范大学 一种时空域相结合的自适应错误隐藏修复方法及系统
CN106296586A (zh) * 2016-08-18 2017-01-04 电子科技大学 基于凸组合方式的多帧低分辨率图像超分辨率重建方法
US20180077421A1 (en) * 2016-09-09 2018-03-15 Microsoft Technology Licensing, Llc Loss Detection for Encoded Video Transmission
CN107040759A (zh) * 2017-04-12 2017-08-11 合肥才来科技有限公司 应用于银行的智能监控系统
CN110147797A (zh) * 2019-04-12 2019-08-20 中国科学院软件研究所 一种基于生成式对抗网络的草图补全与识别方法和装置
CN110418139A (zh) * 2019-08-01 2019-11-05 广东工业大学 一种基于esrgan的视频超分辨修复技术

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
钟睿: ""基于深度图修复与JND建模的立体视频编码研究"", 《中国博士学位论文全文数据库》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462166A (zh) * 2020-03-31 2020-07-28 武汉卓目科技有限公司 一种基于直方图均衡化光流法的视频稳像方法和系统
WO2021208580A1 (zh) * 2020-04-17 2021-10-21 Oppo广东移动通信有限公司 视频修复方法、装置、电子设备和计算机可读存储介质
CN111953939A (zh) * 2020-07-31 2020-11-17 中标慧安信息技术股份有限公司 提高监控视频存证正确率的方法及系统
CN111953939B (zh) * 2020-07-31 2021-06-22 中标慧安信息技术股份有限公司 提高监控视频存证正确率的方法及系统
CN116453028A (zh) * 2023-06-13 2023-07-18 荣耀终端有限公司 视频处理方法、存储介质及电子设备
CN116453028B (zh) * 2023-06-13 2024-04-26 荣耀终端有限公司 视频处理方法、存储介质及电子设备
CN116996708A (zh) * 2023-08-10 2023-11-03 广州阿凡提电子科技有限公司 基于机器学习的短视频数据标签推荐方法、系统及云平台
CN116996708B (zh) * 2023-08-10 2024-02-09 广州阿凡提电子科技有限公司 基于机器学习的短视频数据标签推荐方法、系统及云平台

Also Published As

Publication number Publication date
CN110856048B (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
CN110136136B (zh) 场景分割方法、装置、计算机设备及存储介质
CN108629747B (zh) 图像增强方法、装置、电子设备及存储介质
CN110856048B (zh) 视频修复方法、装置、设备及存储介质
CN109086709B (zh) 特征提取模型训练方法、装置及存储介质
CN111091132B (zh) 基于人工智能的图像识别方法、装置、计算机设备及介质
CN110650379B (zh) 视频摘要生成方法、装置、电子设备及存储介质
CN111325699B (zh) 图像修复方法和图像修复模型的训练方法
CN110490179B (zh) 车牌识别方法、装置及存储介质
CN109360222B (zh) 图像分割方法、装置及存储介质
CN110503160B (zh) 图像识别方法、装置、电子设备及存储介质
CN110290426B (zh) 展示资源的方法、装置、设备及存储介质
CN111127509A (zh) 目标跟踪方法、装置和计算机可读存储介质
CN112749613A (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN111178343A (zh) 基于人工智能的多媒体资源检测方法、装置、设备及介质
CN110991457A (zh) 二维码处理方法、装置、电子设备及存储介质
CN111325220B (zh) 图像生成方法、装置、设备及存储介质
CN113918767A (zh) 视频片段定位方法、装置、设备及存储介质
CN110572710B (zh) 视频生成方法、装置、设备及存储介质
CN109961802B (zh) 音质比较方法、装置、电子设备及存储介质
CN112508959B (zh) 视频目标分割方法、装置、电子设备及存储介质
CN113570510A (zh) 图像处理方法、装置、设备及存储介质
CN113569822B (zh) 图像分割方法、装置、计算机设备及存储介质
CN111611414A (zh) 车辆检索方法、装置及存储介质
CN114118408A (zh) 图像处理模型的训练方法、图像处理方法、装置及设备
CN113032560A (zh) 语句分类模型训练方法、语句处理方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant