CN110798709A - 视频处理方法和装置、存储介质及电子装置 - Google Patents

视频处理方法和装置、存储介质及电子装置 Download PDF

Info

Publication number
CN110798709A
CN110798709A CN201911061948.7A CN201911061948A CN110798709A CN 110798709 A CN110798709 A CN 110798709A CN 201911061948 A CN201911061948 A CN 201911061948A CN 110798709 A CN110798709 A CN 110798709A
Authority
CN
China
Prior art keywords
video
video frame
definition
frame
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911061948.7A
Other languages
English (en)
Other versions
CN110798709B (zh
Inventor
徐叙远
龚国平
吴韬
杨喻茸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911061948.7A priority Critical patent/CN110798709B/zh
Publication of CN110798709A publication Critical patent/CN110798709A/zh
Application granted granted Critical
Publication of CN110798709B publication Critical patent/CN110798709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开了一种视频处理方法和装置、存储介质及电子装置。其中,该方法包括:获取待处理的第一视频,其中,第一视频中包括第一清晰度的第一视频帧;基于与第一视频帧匹配的第一视频关系链,从视频库中查找与第一视频帧匹配的第二视频帧,其中,第二视频帧与第一视频帧的内容的相似度大于第一阈值,第二视频帧的清晰度为第二清晰度,第二清晰度大于第一清晰度,第一视频关系链中的每个视频中存在至少一个与第一视频帧相似度大于第二阈值的视频帧;使用第二视频帧替换第一视频中的第一视频帧。本发明解决了相关技术中提升视频的清晰度效率低的技术问题。

Description

视频处理方法和装置、存储介质及电子装置
技术领域
本发明涉及计算机领域,具体而言,涉及一种视频处理方法和装置、存储介质及电子装置。
背景技术
现有技术中,在提升视频的清晰度的过程中,通常采用两种方法。第一种方法为,视频的去噪或增强。第二种方法为视频超分辨率。
然而,若是采用第一种方法,通常只能解决视频中部分的噪声,和对图片的边缘进行增强,而第二种方法,对画质较好的视频会有较好的效果,但是对画质不好的视频的效果很差。也就是说,相关技术中提出的方法存在无法将画质较差的视频处理为画质较好的视频的方法
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种视频处理方法和装置、存储介质及电子装置,以至少解决相关技术中提升视频的清晰度效率低的技术问题。
根据本发明实施例的一个方面,提供了一种视频处理方法,包括:获取待处理的第一视频,其中,上述第一视频中包括第一清晰度的第一视频帧;基于与上述第一视频帧匹配的第一视频关系链,从视频库中查找与上述第一视频帧匹配的第二视频帧,其中,上述第二视频帧与上述第一视频帧的内容的相似度大于第一阈值,上述第二视频帧的清晰度为第二清晰度,上述第二清晰度大于上述第一清晰度,上述第一视频关系链中的每个视频中存在至少一个与上述第一视频帧相似度大于第二阈值的视频帧;使用上述第二视频帧替换上述第一视频中的上述第一视频帧。
根据本发明实施例的另一方面,还提供了一种视频处理装置,包括:获取单元,用于获取待处理的第一视频,其中,上述第一视频中包括第一清晰度的第一视频帧;查找单元,用于基于与上述第一视频帧匹配的第一视频关系链,从视频库中查找与上述第一视频帧匹配的第二视频帧,其中,上述第二视频帧与上述第一视频帧的内容的相似度大于第一阈值,上述第二视频帧的清晰度为第二清晰度,上述第二清晰度大于上述第一清晰度,上述第一视频关系链中的每个视频中存在至少一个与上述第一视频帧相似度大于第二阈值的视频帧;替换单元,用于使用上述第二视频帧替换上述第一视频中的上述第一视频帧。
作为一种可选的示例,上述装置还包括:存储模块,用于在使用上述第二视频帧替换上述第一视频中的上述第一视频帧之后,将上述第一视频存储到区块链中。
根据本发明实施例的又一方面,还提供了一种计算机可读的存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述视频处理方法。
根据本发明实施例的又一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述的视频处理方法。
在本发明实施例中,采用获取待处理的第一视频,其中,上述第一视频中包括第一清晰度的第一视频帧;基于与上述第一视频帧匹配的第一视频关系链,从视频库中查找与上述第一视频帧匹配的第二视频帧,其中,上述第二视频帧与上述第一视频帧的内容的相似度大于第一阈值,上述第二视频帧的清晰度为第二清晰度,上述第二清晰度大于上述第一清晰度,上述第一视频关系链中的每个视频中存在至少一个与上述第一视频帧相似度大于第二阈值的视频帧;使用上述第二视频帧替换上述第一视频中的上述第一视频帧的方法,由于在上述方法中,在获取到第一视频之后,可以获取第一视频中的第一视频帧匹配的第二视频帧,并判断第一视频帧与第二视频帧的清晰度。由于第一视频帧与第二视频帧的内容是相同的,因此,使用清晰度高的第二视频帧替换清晰度低的第一视频帧后,第一视频的视频清晰度得到大幅提升,从而实现了提高提升视频清晰度的效率的问题,进而解决了相关技术中提升视频的清晰度效率低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的视频处理方法的应用环境的示意图;
图2是根据本发明实施例的一种可选的视频处理方法的流程示意图;
图3是根据本发明实施例的一种可选的视频处理方法的示意图;
图4是根据本发明实施例的另一种可选的视频处理方法的示意图;
图5是根据本发明实施例的又一种可选的视频处理方法的示意图;
图6是根据本发明实施例的又一种可选的视频处理方法的示意图;
图7是根据本发明实施例的又一种可选的视频处理方法的示意图;
图8是根据本发明实施例的又一种可选的视频处理方法的示意图;
图9是根据本发明实施例的一种可选的视频处理装置的结构示意图;
图10是根据本发明实施例的一种可选的电子装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面,提供了一种视频处理方法,可选地,作为一种可选的实施方式,上述视频处理方法可以但不限于应用于如图1所示的环境中。
图1中用户102与用户设备104之间可以进行人机交互。用户设备104中包含有存储器106,用于存储交互数据、处理器108,用于处理交互数据。用户设备104可以通过网络110与服务器112之间进行数据交互。服务器112中包含有数据库114,用于存储交互数据、处理引擎116,用于处理交互数据。用户可以通过用户设备104上传第一视频到服务器112,服务器112查找与第一视频中第一视频帧对应的第二视频帧,并使用第二视频帧替换第一视频帧。从而提高第一视频的清晰度。
可选地,上述用户设备104可以但不限于为手机、平板电脑、笔记本电脑、PC机等终端,上述网络110可以包括但不限于无线网络或有线网络。其中,该无线网络包括:WIFI及其他实现无线通信的网络。上述有线网络可以包括但不限于:广域网、城域网、局域网。上述服务器114可以包括但不限于任何可以进行计算的硬件设备。
可选地,作为一种可选的实施方式,如图2所示,上述视频处理方法包括:
S202,获取待处理的第一视频,其中,第一视频中包括第一清晰度的第一视频帧;
S204,基于与第一视频帧匹配的第一视频关系链,从视频库中查找与第一视频帧匹配的第二视频帧,其中,第二视频帧与第一视频帧的内容的相似度大于第一阈值,第二视频帧的清晰度为第二清晰度,第二清晰度大于第一清晰度,第一视频关系链中的每个视频中存在至少一个与第一视频帧相似度大于第二阈值的视频帧;
S206,使用第二视频帧替换第一视频中的第一视频帧。
可选地,上述视频处理方法可以但不限于应用于对视频清晰度提升的领域。视频内容本实施例并不做具体限定。例如,对于娱乐视频,娱乐视频的清晰度较低。本方案在获取到娱乐视频后,会从视频库中查找与娱乐视频的内容相同但清晰度高的视频,可能查找到一段视频,或者一帧视频帧,然后将查找到的内容替换娱乐视频中的对应内容,从而让提高娱乐视频中一部分内容的清晰度。通过本实施例,提高了提升视频清晰度的效率。
可选地,本方案中的待处理的第一视频可以为临时录制的视频,或者为经过编辑的视频。视频内容可以为任意类型,本实施例并不做具体限定。第一视频中包括有多个视频帧,多个视频帧中的所有视频帧清晰度相同,或者多个视频帧中的部分视频帧之间清晰度不同。
可选地,本方案中的视频关系链可以为一个视频帧与一个或的多个视频之间的对应关系。一个视频帧可以与一个或多个视频之间建立关系链,关系链中记录有多个视频中每一个视频的目标视频帧的位置,目标视频帧是与第一视频帧内容相同或相似的视频帧。通过该视频关系链,可以直接在获取到一个视频帧之后,直接查找到与该视频帧内容相同或相似的目标视频帧所在的视频与目标视频帧在该视频中的位置。该关系链为视频帧的视频关系链。
可选地,本方案可以对视频库中的视频之间建立关系链。对于一个视频中的一个视频帧,该视频帧可能会在其他视频中包含内容相同的视频帧,但是由于视频的清晰度不同,则视频帧在不同视频中的清晰度也不同。此时,对于包含同一视频帧的多个视频间建立关系链。并根据该关系链,找到清晰度更高的视频帧,使用该视频帧替换清晰度低的视频帧,从而提高第一视频中的第一视频帧的清晰度。
可选地,本方案中在建立视频库中的视频关系链的时候,可以对于视频库中的所有视频,比对每两个视频之间的每两个视频帧的相似度。例如,对于第一个视频,将第一个视频中的每一个视频帧与第二个视频中的每一个视频帧进行比对,比对两个视频帧内容是否相同。若是第一个视频与第二个视频之间包含了内容相同的视频帧,则将第一视频帧与第二视频帧进行关联,构成视频关系链。本方案中的视频关系链可以有多个,每一个视频可以与多个视频关系链对应,每一个视频所对应的不同的视频关系链保存了该视频不同的视频帧与其他视频的关系。
例如,第一视频的第一个视频帧与第二视频的第二视频帧内容相同,可以为第一视频帧与第二视频构建第一视频关系链。而第一视频的第二个视频帧与第三视频的第六个视频帧内容相同,因此,在第一视频的第二个视频帧与第三视频之间构建第二视频关系链。
可选地,本方案中在比对视频帧的内容是否相同时,可以使用预先训练的模型提取视频帧的特征。可选地,本方案中可以将待比对的视频帧例如第一视频中的第一视频帧与第二视频中的第二视频帧输入到特征提取模型中,由特征提取模型输出第一视频帧与第二视频帧的特征。上述特征提取模型可以预先训练。例如,使用第一样本图片对特征提取模型进行训练。第一样本图片可以为带有标签的图片。或者,本方案中可以通过特征提取模型与识别模型来识别第一样本图片,由特征提取模型提取样本,有识别模型进行识别,从而对两个模型进行训练。在训练结束后,将训练好的特征提取模型进行单独使用,提取第一视频中第一视频帧与第二视频中第二视频帧的特征,并通过计算特征的距离的方法计算第一视频帧与第二视频帧的内容相似度。
可选地,在比对第一视频帧与第二视频帧的相似度时,若是相似度大于了第一阈值,则认为第一视频帧与第二视频帧的内容是相同的。由于第一视频帧与第二视频帧中可能会包含水印,造成内容相同但是不完全相同。因此,采用上述第一阈值进行控制提高了比对的精度。
可选地,经过上述比对之后,可以在获取到第一视频的第一视频帧之后,从视频库中比对出与第一视频帧内容相同的一个或多个视频帧(若是视频库中不包含与第一视频帧内容相同的视频帧,则不对第一视频帧的内容进行替换),若是存在多个视频帧,则该多个视频帧可能存在与不同的视频之中。此时,需要比对一个或多个视频帧与第一视频帧的清晰度。
在比对清晰度的过程中,需要获取每一个待比对的视频帧的清晰度。本方案中可以预先训练一个质量评估模型,质量评估模型可以预先使用样本图片进行训练,样本图片标注有清晰度的高低。在训练质量评估模型后,将待比对的每一个视频帧输入到质量评估模型中,由质量评估模型输出该视频帧的质量分数。质量分数的高低用于表示清晰度的高低。
在比对出多个视频帧的清晰度高低后,例如,第一视频的第一视频帧对应的多个视频帧的清晰度之后,将其中清晰度最大的视频帧确定为第二视频帧,并使用第二视频帧替换第一视频中的第一视频帧,从而提高第一视频中第一视频帧的清晰度。
可选地,本方案中第一视频中的每一个视频帧均可以进行从视频库查找第二视频帧并使用第二视频帧进行替换的操作。
或者,本方案中可以从第一视频中每隔多个视频帧提取出一个目标视频帧,使用该目标视频帧代表相邻的多个视频帧。这样在查找到与该视频帧匹配的第二视频帧后,使用第二视频帧相邻的多个视频帧包括第二视频帧替换目标视频帧和与目标视频帧相邻的多个视频帧,从而减少比对的任务量。
可选地,本方案中在对第一视频中的第一视频帧进行替换之后,得到清晰度较高的第一视频之后,可以将第一视频存储到区块链上。
以下结合一个具体示例对上述视频处理方法进行说明。例如,对于一个视频库,本方案中可以为视频库中的视频的视频帧与其他视频之间建立视频关系链。如图3所示,选择视频库中的一个视频作为第一视频(选择图3中的原视频),将第一视频的第3帧确定为第一视频帧,通过视频关系链从视频库中选择与第一视频帧内容相同的第二视频帧,如视频1、视频2与视频3中均包含第二视频帧。对视频1、视频2与视频3进行质量检测与排序,得到质量最高的视频中的第二视频帧。例如,视频1中的第二视频帧的质量最高。此时,将视频1中的第二视频帧替换第一视频(图3中原视频)中的第一视频帧的内容,得到质量高的第一视频。
可选地,第一视频中的不同视频帧的清晰度可能不同。例如,如图4所示,图4为第一视频不同的时间段的不同视频帧清晰度不同的示意图。图4仅为示例,并不是对第一视频进行限定。图4中的m与n表示不同的清晰度。可以从第一视频中确定出需要进行清晰度提升的第一视频帧。第一视频帧的清晰度可能较低。此时,将视频库中除第一视频之外的其他视频的每一个视频帧与第一视频帧进行比对。在比对的过程中,可以将第一视频帧输入到特征识别模型中,由特征识别模型输出第一视频帧的第二特征,和待比对的其他视频的每一个视频帧的第一特征。上述特征识别模型可以为传统的分类网络(如GoogleNet,VGG,Resnet)。在预训练的分类网络里(例如:具有对1000个物体分类的VGG网络,利用公开的数据集imageNet训练所得)进行迁移学习。通过收集一批图片的相似数据集,并将分类的网络GoogleNet(这里以GoogleNet为例子,其实都适用),最后的损失层改为triplet Loss,可以衡量两个图片的相似度。然后进行迁移学习,得到一个具有能区分图片相似能力的网络。基于GoogleNet提取的特征,每个图片只有一个特征。在特征索引上,利用了faiss的索引系统,对这GooglNet提取的特征向量进行距离计算。从而能确认视频相惟的时间点的关系。通过这个,可以将腾讯视频库存的所有视频的关系链构建起来。
在比对第一特征与第二特征之后,可以比对出哪些视频与第一视频的第一视频帧内容相同。例如,如图5所示,比对出第二视频中的第二视频帧与第一视频中的第一视频帧的内容相同。此时,需要比对第一视频帧与第二视频帧的清晰度的高低。可以使用质量评估模型来确定视频帧的清晰度高低。质量评估模型可以为一个GoogleNet的网络,在预训练的分类网络里(例如:具有对1000个物体分类的VGG网络,利用公开的数据集imageNet训练所得)进行迁移学习。然后人工去标注主观感受的图片清晰度的数据。组成一个清晰度的训练数据,去训练一个具有能给图像打清晰度的网络。
需要说明的是,第二视频帧是可以有多个,多个第二视频帧可以位于一个或者多个第二视频中。第二视频帧有多个的情况下,可以获取清晰度最高的第二视频帧。若是清晰度最高的第二视频帧的第二清晰度比第一视频帧的第一清晰度高,则使用清晰度最高的第二视频帧替换第一视频中的第一视频帧。如图6所示,使用第二视频的第二视频帧替换第一视频的第一视频帧。可以采用覆盖的方法。需要说明的是,在上述确定第一视频帧的过程中,可以每秒取三帧视频帧作为第一视频帧,例如,如图7所示,将1秒视频按照固定间距取得3帧视频帧,并从视频库中确定上述三帧视频帧匹配的第二视频帧。例如,对于图7中的视频帧1,从第二视频中确定出第二视频帧之后,可以如图8所示,将第二视频帧所在的一段视频帧替换第一视频帧所在的一段视频帧。也就是说,本方案中可以提取出可以代表一段视频帧的一个视频帧,并进行比对,查找第二视频帧,在替换时,对该视频帧代表的一段视频帧进行替换。该一段视频帧的清晰度可以为一段视频帧中每一个视频帧的清晰度的平均值。可选地,本方案中若是第一视频不是视频库中的视频,则同样采用上述方法,从视频库中查找第二视频帧,并替换第一视频帧。
本方案中替换后的第一视频可以被存储到区块链中。上述视频库中的所有视频均可以被存储到区块链中。
区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中,用户管理模块负责所有区块链参与者的身份信息管理,包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等,并且在授权的情况下,监管和审计某些真实身份的交易情况,提供风险控制的规则配置(风控审计);基础服务模块部署在所有区块链节点设备上,用来验证业务请求的有效性,并对有效请求完成共识后记录到存储上,对于一个新的业务请求,基础服务先对接口适配解析和鉴权处理(接口适配),然后通过共识算法将业务信息加密(共识管理),在加密之后完整一致的传输至共享账本上(网络通信),并进行记录存储;智能合约模块负责合约的注册发行以及合约触发和合约执行,开发人员可以通过某种编程语言定义合约逻辑,发布到区块链上(合约注册),根据合约条款的逻辑,调用密钥或者其它的事件触发执行,完成合约逻辑,同时还提供对合约升级注销的功能;运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出,例如:告警、监控网络情况、监控节点设备健康状态等。
平台产品服务层提供典型应用的基本能力和实现框架,开发人员可以基于这些基本能力,叠加业务的特性,完成业务逻辑的区块链实现。应用服务层提供基于区块链方案的应用服务给业务参与方进行使用。
通过本实施例,通过上述方法,从而实现了在获取到第一视频后,可以从视频库中查找比第一视频中的第一视频帧清晰度更高的第二视频帧,并使用第二视频帧替换第一视频帧,实现了提高提升视频清晰度的效率。
作为一种可选的实施方案,基于与第一视频帧匹配的第一视频关系链,从视频库中查找与第一视频帧匹配的第二视频帧包括:
S1,获取第一视频关系链中清晰度最高的目标视频帧;
S2,在目标视频帧的清晰度大于第一清晰度的情况下,将目标视频帧确定为第二视频帧。
可选地,本方案中可能会查找到与第一视频帧内容相同的多个视频帧。在此情况下,可以将多个视频帧中清晰度比第一视频帧的清晰度高的视频帧作为第二视频帧,若是多个视频帧清晰度都比第一视频帧清晰度高,则将清晰度最高的视频帧作为第二视频帧。若是多个视频帧的清晰度都低于第一视频帧,则不会确定第二视频帧。
在确定出第二视频帧之后,使用第二视频帧替换第一视频帧。
通过本实施例,通过上述方法,从而在查找第二视频帧时,可以查找到清晰度高的第二视频帧,实现了提高确定第二视频帧准确度的效果。
作为一种可选的实施方案,在获取第一视频关系链中清晰度最高的目标视频帧之前,方法还包括:
S1,将第一视频帧与第二视频帧输入到质量评估模型中,接收质量评估模型输出的第一视频帧的第一清晰度,与第二视频帧的第二清晰度,其中,质量评估模型为使用样本图片进行训练的用于输出样本图片的清晰度的模型,清晰度越高,样本图片的图片质量越高。
通过本实施例,通过上述质量评估模型获取视频帧对应的清晰度,从而实现了准确评估每一个视频帧的清晰度的效果。
作为一种可选的实施方案,在获取待处理的第一视频之后,还包括:
S1,依次将视频库中的每个视频的每一个视频帧确定为当前视频帧;
S2,比对当前视频帧和第一视频帧;
S3,在当前视频帧与第一视频的相似度大于第二阈值的情况下,在当前视频帧所在当前视频与第一视频帧之间构建第一视频关系链。
通过本实施例,通过上述方法,从而可以在视频库中的不同视频之间建立关系链,一个视频可能与其他多个视频之间建立有不同的关系链。在获取到第一视频的第一视频帧之后,可以根据第一视频帧对应的第一关系链查找其他视频中的第二视频帧,从而提高了查找第二视频帧的效率。
作为一种可选的实施方案,比对当前视频帧和第一视频帧包括:
S1,将当前视频帧与第一视频帧输入到特征提取模型中,获取特征提取模型输出的当前视频帧的第一特征与第一视频帧的第二特征,其中,特征提取模型为使用样本视频帧预先训练的用于提取样本视频帧的特征的模型;
S2,比对第一特征与第二特征的相似度。
通过本实施例,通过上述特征提取模型来获取每一个视频帧的相关特征,从而提高了获取视频帧的特征的准确度。
作为一种可选的实施方案,使用第二视频帧替换第一视频中的第一视频帧包括:
S1,使用与第二视频帧相邻的前M帧视频帧到后N帧视频帧替换与第一视频帧相邻的前M帧视频帧到后N帧视频帧,其中,M与N为自然数。
例如,上述替换过程可以为使用第二视频帧前5帧到后8帧替换第一视频帧的前5帧到后8帧。上述方案的目的在于,将第一视频中的一段视频帧,例如,第3秒的10到20帧中选择出一个可以带便该段视频的第一视频帧,然后找到清晰度比第一视频帧的清晰度高的第二视频帧,使用第二视频帧所在的10帧视频帧替换第一视频帧所在的10帧视频帧。该方法可以通过比对较少的视频帧即可完成较多的视频帧的替换,提高了替换的效率。
作为一种可选的实施方案,在使用第二视频帧替换第一视频中的第一视频帧之后,方法还包括:
S1,将第一视频存储到区块链中。
通过将第一视频存储到区块链中,从而保证了第一视频不可修改,提高了第一视频的安全性。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面,还提供了一种用于实施上述视频处理方法的视频处理装置。如图9所示,该装置包括:
(1)获取单元902,用于获取待处理的第一视频,其中,第一视频中包括第一清晰度的第一视频帧;
(2)查找单元904,用于基于与第一视频帧匹配的第一视频关系链,从视频库中查找与第一视频帧匹配的第二视频帧,其中,第二视频帧与第一视频帧的内容的相似度大于第一阈值,第二视频帧的清晰度为第二清晰度,第二清晰度大于第一清晰度,第一视频关系链中的每个视频中存在至少一个与第一视频帧相似度大于第二阈值的视频帧;
(3)替换单元906,用于使用第二视频帧替换第一视频中的第一视频帧。
可选地,上述视频处理装置可以但不限于应用于对视频清晰度提升的领域。视频内容本实施例并不做具体限定。例如,对于娱乐视频,娱乐视频的清晰度较低。本方案在获取到娱乐视频后,会从视频库中查找与娱乐视频的内容相同但清晰度高的视频,可能查找到一段视频,或者一帧视频帧,然后将查找到的内容替换娱乐视频中的对应内容,从而让提高娱乐视频中一部分内容的清晰度。通过本实施例,提高了提升视频清晰度的效率。
可选地,本方案中的待处理的第一视频可以为临时录制的视频,或者为经过编辑的视频。视频内容可以为任意类型,本实施例并不做具体限定。第一视频中包括有多个视频帧,多个视频帧中的所有视频帧清晰度相同,或者多个视频帧中的部分视频帧之间清晰度不同。
可选地,本方案可以对视频库中的视频之间建立关系链。对于一个视频中的一个视频帧,该视频帧可能会在其他视频中包含内容相同的视频帧,但是由于视频的清晰度不同,则视频帧在不同视频中的清晰度也不同。此时,对于包含同一视频帧的多个视频间建立关系链。并根据该关系链,找到清晰度更高的视频帧,使用该视频帧替换清晰度低的视频帧,从而提高第一视频中的第一视频帧的清晰度。
可选地,本方案中在建立视频库中的视频关系链的时候,可以对于视频库中的所有视频,比对每两个视频之间的每两个视频帧的相似度。例如,对于第一个视频,将第一个视频中的每一个视频帧与第二个视频中的每一个视频帧进行比对,比对两个视频帧内容是否相同。若是第一个视频与第二个视频之间包含了内容相同的视频帧,则将第一视频帧与第二视频帧进行关联,构成视频关系链。本方案中的视频关系链可以有多个,每一个视频可以与多个视频关系链对应,每一个视频所对应的不同的视频关系链保存了该视频不同的视频帧与其他视频的关系。
例如,第一视频的第一个视频帧与第二视频的第二视频帧内容相同,可以为第一视频帧与第二视频构建第一视频关系链。而第一视频的第二个视频帧与第三视频的第六个视频帧内容相同,因此,在第一视频的第二个视频帧与第三视频之间构建第二视频关系链。
可选地,本方案中在比对视频帧的内容是否相同时,可以使用预先训练的模型提取视频帧的特征。可选地,本方案中可以将待比对的视频帧例如第一视频中的第一视频帧与第二视频中的第二视频帧输入到特征提取模型中,由特征提取模型输出第一视频帧与第二视频帧的特征。上述特征提取模型可以预先训练。例如,使用第一样本图片对特征提取模型进行训练。第一样本图片可以为带有标签的图片。或者,本方案中可以通过特征提取模型与识别模型来识别第一样本图片,由特征提取模型提取样本,有识别模型进行识别,从而对两个模型进行训练。在训练结束后,将训练好的特征提取模型进行单独使用,提取第一视频中第一视频帧与第二视频中第二视频帧的特征,并通过计算特征的距离的方法计算第一视频帧与第二视频帧的内容相似度。
可选地,在比对第一视频帧与第二视频帧的相似度时,若是相似度大于了第一阈值,则认为第一视频帧与第二视频帧的内容是相同的。由于第一视频帧与第二视频帧中可能会包含水印,造成内容相同但是不完全相同。因此,采用上述第一阈值进行控制提高了比对的精度。
可选地,经过上述比对之后,可以在获取到第一视频的第一视频帧之后,从视频库中比对出与第一视频帧内容相同的一个或多个视频帧(若是视频库中不包含与第一视频帧内容相同的视频帧,则不对第一视频帧的内容进行替换),若是存在多个视频帧,则该多个视频帧可能存在与不同的视频之中。此时,需要比对一个或多个视频帧与第一视频帧的清晰度。
在比对清晰度的过程中,需要获取每一个待比对的视频帧的清晰度。本方案中可以预先训练一个质量评估模型,质量评估模型可以预先使用样本图片进行训练,样本图片标注有清晰度的高低。在训练质量评估模型后,将待比对的每一个视频帧输入到质量评估模型中,由质量评估模型输出该视频帧的质量分数。质量分数的高低用于表示清晰度的高低。
在比对出多个视频帧的清晰度高低后,例如,第一视频的第一视频帧对应的多个视频帧的清晰度之后,将其中清晰度最大的视频帧确定为第二视频帧,并使用第二视频帧替换第一视频中的第一视频帧,从而提高第一视频中第一视频帧的清晰度。
可选地,本方案中第一视频中的每一个视频帧均可以进行从视频库查找第二视频帧并使用第二视频帧进行替换的操作。
或者,本方案中可以从第一视频中每隔多个视频帧提取出一个目标视频帧,使用该目标视频帧代表相邻的多个视频帧。这样在查找到与该视频帧匹配的第二视频帧后,使用第二视频帧相邻的多个视频帧包括第二视频帧替换目标视频帧和与目标视频帧相邻的多个视频帧,从而减少比对的任务量。
可选地,本方案中在对第一视频中的第一视频帧进行替换之后,得到清晰度较高的第一视频之后,可以将第一视频存储到区块链上。
以下结合一个具体示例对上述视频处理方法进行说明。例如,对于一个视频库,本方案中可以为视频库中的视频的视频帧与其他视频之间建立视频关系链。举例说明,选择视频库中的一个视频作为第一视频,第一视频中的不同视频帧的清晰度可能不同。例如,如图3所示,图3为第一视频不同的时间段的不同视频帧清晰度不同的示意图。图3仅为示例,并不是对第一视频进行限定。图3中的m与n表示不同的清晰度。可以从第一视频中确定出需要进行清晰度提升的第一视频帧。第一视频帧的清晰度可能较低。此时,将视频库中除第一视频之外的其他视频的每一个视频帧与第一视频帧进行比对。在比对的过程中,可以将第一视频帧输入到特征识别模型中,由特征识别模型输出第一视频帧的第二特征,和待比对的其他视频的每一个视频帧的第一特征。上述特征识别模型可以为传统的分类网络(如GoogleNet,VGG,Resnet)。在预训练的分类网络里(例如:具有对1000个物体分类的VGG网络,利用公开的数据集imageNet训练所得)进行迁移学习。通过收集一批图片的相似数据集,并将分类的网络GoogleNet(这里以GoogleNet为例子,其实都适用),最后的损失层改为triplet Loss,可以衡量两个图片的相似度。然后进行迁移学习,得到一个具有能区分图片相似能力的网络。基于GoogleNet提取的特征,每个图片只有一个特征。在特征索引上,利用了faiss的索引系统,对这GooglNet提取的特征向量进行距离计算。从而能确认视频相惟的时间点的关系。通过这个,可以将腾讯视频库存的所有视频的关系链构建起来。
在比对第一特征与第二特征之后,可以比对出哪些视频与第一视频的第一视频帧内容相同。例如,如图4所示,比对出第二视频中的第二视频帧与第一视频中的第一视频帧的内容相同。此时,需要比对第一视频帧与第二视频帧的清晰度的高低。可以使用质量评估模型来确定视频帧的清晰度高低。质量评估模型可以为一个GoogleNet的网络,在预训练的分类网络里(例如:具有对1000个物体分类的VGG网络,利用公开的数据集imageNet训练所得)进行迁移学习。然后人工去标注主观感受的图片清晰度的数据。组成一个清晰度的训练数据,去训练一个具有能给图像打清晰度的网络。
需要说明的是,第二视频帧是可以有多个,多个第二视频帧可以位于一个或者多个第二视频中。第二视频帧有多个的情况下,可以获取清晰度最高的第二视频帧。若是清晰度最高的第二视频帧的第二清晰度比第一视频帧的第一清晰度高,则使用清晰度最高的第二视频帧替换第一视频中的第一视频帧。如图5所示,使用第二视频的第二视频帧替换第一视频的第一视频帧。可以采用覆盖的方法。需要说明的是,在上述确定第一视频帧的过程中,可以每秒取三帧视频帧作为第一视频帧,例如,如图6所示,将1秒视频按照固定间距取得3帧视频帧,并从视频库中确定上述三帧视频帧匹配的第二视频帧。例如,对于图6中的视频帧1,从第二视频中确定出第二视频帧之后,可以如图7所示,将第二视频帧所在的一段视频帧替换第一视频帧所在的一段视频帧。也就是说,本方案中可以提取出可以代表一段视频帧的一个视频帧,并进行比对,查找第二视频帧,在替换时,对该视频帧代表的一段视频帧进行替换。该一段视频帧的清晰度可以为一段视频帧中每一个视频帧的清晰度的平均值。可选地,本方案中若是第一视频不是视频库中的视频,则同样采用上述方法,从视频库中查找第二视频帧,并替换第一视频帧。
本方案中替换后的第一视频可以被存储到区块链中。上述视频库中的所有视频均可以被存储到区块链中。
作为一种可选的实施方案,上述查找单元904包括:
(1)获取模块,用于获取第一视频关系链中清晰度最高的目标视频帧;
(2)确定模块,用于在目标视频帧的清晰度大于第一清晰度的情况下,将目标视频帧确定为第二视频帧。
可选地,本方案中可能会查找到与第一视频帧内容相同的多个视频帧。在此情况下,可以将多个视频帧中清晰度比第一视频帧的清晰度高的视频帧作为第二视频帧,若是多个视频帧清晰度都比第一视频帧清晰度高,则将清晰度最高的视频帧作为第二视频帧。若是多个视频帧的清晰度都低于第一视频帧,则不会确定第二视频帧。
在确定出第二视频帧之后,使用第二视频帧替换第一视频帧。
通过本实施例,通过上述方法,从而在查找第二视频帧时,可以查找到清晰度高的第二视频帧,实现了提高确定第二视频帧准确度的效果。
作为一种可选的实施方案,上述查找单元还包括:
(1)第一输入模块,用于在获取第一视频关系链中清晰度最高的目标视频帧之前,将第一视频帧与第二视频帧输入到质量评估模型中,接收质量评估模型输出的第一视频帧的第一清晰度,与第二视频帧的第二清晰度,其中,质量评估模型为使用样本图片进行训练的用于输出样本图片的清晰度的模型,清晰度越高,样本图片的图片质量越高。
通过本实施例,通过上述质量评估模型获取视频帧对应的清晰度,从而实现了准确评估每一个视频帧的清晰度的效果。
作为一种可选的实施方案,上述装置还包括:
(1)确定单元,用于在获取待处理的第一视频之后,依次将视频库中的每个视频的每一个视频帧确定为当前视频帧;
(2)比对单元,用于比对当前视频帧和第一视频帧;
(3)构建单元,用于在当前视频帧与第一视频的相似度大于第二阈值的情况下,在当前视频帧所在当前视频与第一视频帧之间构建第一视频关系链。
通过本实施例,通过上述方法,从而可以在视频库中的不同视频之间建立关系链,一个视频可能与其他多个视频之间建立有不同的关系链。在获取到第一视频的第一视频帧之后,可以根据第一视频帧对应的第一关系链查找其他视频中的第二视频帧,从而提高了查找第二视频帧的效率。
作为一种可选的实施方案,上述比对单元包括:
(1)第二输入模块,用于将当前视频帧与第一视频帧输入到特征提取模型中,获取特征提取模型输出的当前视频帧的第一特征与第一视频帧的第二特征,其中,特征提取模型为使用样本视频帧预先训练的用于提取样本视频帧的特征的模型;
(2)比对模块,用于比对第一特征与第二特征的相似度。
通过本实施例,通过上述特征提取模型来获取每一个视频帧的相关特征,从而提高了获取视频帧的特征的准确度。
作为一种可选的实施方案,上述替换单元包括:
(1)替换模块,用于使用与第二视频帧相邻的前M帧视频帧到后N帧视频帧替换与第一视频帧相邻的前M帧视频帧到后N帧视频帧,其中,M与N为自然数。
例如,上述替换过程可以为使用第二视频帧前5帧到后8帧替换第一视频帧的前5帧到后8帧。上述方案的目的在于,将第一视频中的一段视频帧,例如,第3秒的10到20帧中选择出一个可以带便该段视频的第一视频帧,然后找到清晰度比第一视频帧的清晰度高的第二视频帧,使用第二视频帧所在的10帧视频帧替换第一视频帧所在的10帧视频帧。该方法可以通过比对较少的视频帧即可完成较多的视频帧的替换,提高了替换的效率。
作为一种可选的实施方案,上述装置还包括:
(1)存储模块,用于在使用第二视频帧替换第一视频中的第一视频帧之后,将第一视频存储到区块链中。
通过将第一视频存储到区块链中,从而保证了第一视频不可修改,提高了第一视频的安全性。
根据本发明实施例的又一个方面,还提供了一种用于实施上述视频处理方法的电子装置,如图10所示,该电子装置包括存储器1002和处理器1004,该存储器1002中存储有计算机程序,该处理器1004被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取待处理的第一视频,其中,第一视频中包括第一清晰度的第一视频帧;
S2,基于与第一视频帧匹配的第一视频关系链,从视频库中查找与第一视频帧匹配的第二视频帧,其中,第二视频帧与第一视频帧的内容的相似度大于第一阈值,第二视频帧的清晰度为第二清晰度,第二清晰度大于第一清晰度,第一视频关系链中的每个视频中存在至少一个与第一视频帧相似度大于第二阈值的视频帧;
S3,使用第二视频帧替换第一视频中的第一视频帧。
可选地,本领域普通技术人员可以理解,图10所示的结构仅为示意,电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图10其并不对上述电子装置的结构造成限定。例如,电子装置还可包括比图10中所示更多或者更少的组件(如网络接口等),或者具有与图10所示不同的配置。
其中,存储器1002可用于存储软件程序以及模块,如本发明实施例中的视频处理方法和装置对应的程序指令/模块,处理器1004通过运行存储在存储器1002内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的视频处理方法。存储器1002可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1002可进一步包括相对于处理器1004远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器1002具体可以但不限于用于存储第一视频与第二视频等信息。作为一种示例,如图10所示,上述存储器1002中可以但不限于包括上述视频处理装置中的获取单元902、查找单元904与替换单元906。此外,还可以包括但不限于上述视频处理装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1006包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1006为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子装置还包括:显示器1008,用于显示替换第一视频帧后的第一视频;和连接总线1010,用于连接上述电子装置中的各个模块部件。
根据本发明的实施例的又一方面,还提供了一种计算机可读的存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取待处理的第一视频,其中,第一视频中包括第一清晰度的第一视频帧;
S2,基于与第一视频帧匹配的第一视频关系链,从视频库中查找与第一视频帧匹配的第二视频帧,其中,第二视频帧与第一视频帧的内容的相似度大于第一阈值,第二视频帧的清晰度为第二清晰度,第二清晰度大于第一清晰度,第一视频关系链中的每个视频中存在至少一个与第一视频帧相似度大于第二阈值的视频帧;
S3,使用第二视频帧替换第一视频中的第一视频帧。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种视频处理方法,其特征在于,包括:
获取待处理的第一视频,其中,所述第一视频中包括第一清晰度的第一视频帧;
基于与所述第一视频帧匹配的第一视频关系链,从视频库中查找与所述第一视频帧匹配的第二视频帧,其中,所述第二视频帧与所述第一视频帧的内容的相似度大于第一阈值,所述第二视频帧的清晰度为第二清晰度,所述第二清晰度大于所述第一清晰度,所述第一视频关系链中的每个视频中存在至少一个与所述第一视频帧相似度大于第二阈值的视频帧;
使用所述第二视频帧替换所述第一视频中的所述第一视频帧。
2.根据权利要求1所述的方法,其特征在于,所述基于与所述第一视频帧匹配的第一视频关系链,从视频库中查找与所述第一视频帧匹配的第二视频帧包括:
获取所述第一视频关系链中清晰度最高的目标视频帧;
在所述目标视频帧的清晰度大于所述第一清晰度的情况下,将所述目标视频帧确定为所述第二视频帧。
3.根据权利要求2所述的方法,其特征在于,在获取所述第一视频关系链中清晰度最高的目标视频帧之前,所述方法还包括:
将所述第一视频帧与所述第二视频帧输入到质量评估模型中,接收所述质量评估模型输出的所述第一视频帧的所述第一清晰度,与所述第二视频帧的所述第二清晰度,其中,所述质量评估模型为使用样本图片进行训练的用于输出所述样本图片的清晰度的模型,所述清晰度越高,所述样本图片的图片质量越高。
4.根据权利要求1所述的方法,其特征在于,在所述获取待处理的第一视频之后,还包括:
依次将所述视频库中的每个视频的每一个视频帧确定为当前视频帧;
比对所述当前视频帧和所述第一视频帧;
在所述当前视频帧与所述第一视频的相似度大于所述第二阈值的情况下,在所述当前视频帧所在当前视频与所述第一视频帧之间构建所述第一视频关系链。
5.根据权利要求4所述的方法,其特征在于,所述比对所述当前视频帧和所述第一视频帧包括:
将所述当前视频帧与所述第一视频帧输入到特征提取模型中,获取所述特征提取模型输出的所述当前视频帧的第一特征与所述第一视频帧的第二特征,其中,所述特征提取模型为使用样本视频帧预先训练的用于提取所述样本视频帧的特征的模型;
比对所述第一特征与所述第二特征的相似度。
6.根据权利要求1所述的方法,其特征在于,所述使用所述第二视频帧替换所述第一视频中的所述第一视频帧包括:
使用与所述第二视频帧相邻的前M帧视频帧到后N帧视频帧替换与所述第一视频帧相邻的前M帧视频帧到后N帧视频帧,其中,所述M与所述N为自然数。
7.根据权利要求1至6任意一项所述的方法,其特征在于,在使用所述第二视频帧替换所述第一视频中的所述第一视频帧之后,所述方法还包括:
将所述第一视频存储到区块链中。
8.一种视频处理装置,其特征在于,包括:
获取单元,用于获取待处理的第一视频,其中,所述第一视频中包括第一清晰度的第一视频帧;
查找单元,用于基于与所述第一视频帧匹配的第一视频关系链,从视频库中查找与所述第一视频帧匹配的第二视频帧,其中,所述第二视频帧与所述第一视频帧的内容的相似度大于第一阈值,所述第二视频帧的清晰度为第二清晰度,所述第二清晰度大于所述第一清晰度,所述第一视频关系链中的每个视频中存在至少一个与所述第一视频帧相似度大于第二阈值的视频帧;
替换单元,用于使用所述第二视频帧替换所述第一视频中的所述第一视频帧。
9.根据权利要求8所述的装置,其特征在于,所述查找单元包括:
获取模块,用于获取所述第一视频关系链中清晰度最高的目标视频帧;
确定模块,用于在所述目标视频帧的清晰度大于所述第一清晰度的情况下,将所述目标视频帧确定为所述第二视频帧。
10.根据权利要求9所述的装置,其特征在于,所述查找单元还包括:
第一输入模块,用于在获取所述第一视频关系链中清晰度最高的目标视频帧之前,将所述第一视频帧与所述第二视频帧输入到质量评估模型中,接收所述质量评估模型输出的所述第一视频帧的所述第一清晰度,与所述第二视频帧的所述第二清晰度,其中,所述质量评估模型为使用样本图片进行训练的用于输出所述样本图片的清晰度的模型,所述清晰度越高,所述样本图片的图片质量越高。
11.根据权利要求8所述的装置,其特征在于,所述装置还包括:
确定单元,用于在所述获取待处理的第一视频之后,依次将所述视频库中的每个视频的每一个视频帧确定为当前视频帧;
比对单元,用于比对所述当前视频帧和所述第一视频帧;
构建单元,用于在所述当前视频帧与所述第一视频的相似度大于所述第二阈值的情况下,在所述当前视频帧所在当前视频与所述第一视频帧之间构建所述第一视频关系链。
12.根据权利要求11所述的装置,其特征在于,所述比对单元包括:
第二输入模块,用于将所述当前视频帧与所述第一视频帧输入到特征提取模型中,获取所述特征提取模型输出的所述当前视频帧的第一特征与所述第一视频帧的第二特征,其中,所述特征提取模型为使用样本视频帧预先训练的用于提取所述样本视频帧的特征的模型;
比对模块,用于比对所述第一特征与所述第二特征的相似度。
13.根据权利要求8所述的装置,其特征在于,所述替换单元包括:
替换模块,用于使用与所述第二视频帧相邻的前M帧视频帧到后N帧视频帧替换与所述第一视频帧相邻的前M帧视频帧到后N帧视频帧,其中,所述M与所述N为自然数。
14.一种计算机可读的存储介质,所述存储介质存储有计算机程序,其特征在于,所述计算机程序运行时执行所述权利要求1至7任一项中所述的方法。
15.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。
CN201911061948.7A 2019-11-01 2019-11-01 视频处理方法和装置、存储介质及电子装置 Active CN110798709B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911061948.7A CN110798709B (zh) 2019-11-01 2019-11-01 视频处理方法和装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911061948.7A CN110798709B (zh) 2019-11-01 2019-11-01 视频处理方法和装置、存储介质及电子装置

Publications (2)

Publication Number Publication Date
CN110798709A true CN110798709A (zh) 2020-02-14
CN110798709B CN110798709B (zh) 2021-11-19

Family

ID=69440753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911061948.7A Active CN110798709B (zh) 2019-11-01 2019-11-01 视频处理方法和装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN110798709B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111698553A (zh) * 2020-05-29 2020-09-22 维沃移动通信有限公司 视频处理方法、装置、电子设备及可读存储介质
CN113099273A (zh) * 2021-04-07 2021-07-09 中南大学 一种基于机会策略的视频块替换方法、客户端、服务器、系统及可读存储介质
CN113852757A (zh) * 2021-09-03 2021-12-28 维沃移动通信(杭州)有限公司 视频处理方法、装置、设备和存储介质
CN116320405A (zh) * 2023-05-17 2023-06-23 西安畅榜电子科技有限公司 一种安防监控视频压缩存储方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528769A (zh) * 2015-12-11 2016-04-27 上海兴芯微电子科技有限公司 图像修补方法及系统
US20170024852A1 (en) * 2015-07-24 2017-01-26 Eth-Zurich Image Processing System for Downscaling Images Using Perceptual Downscaling Method
CN106534928A (zh) * 2016-10-28 2017-03-22 努比亚技术有限公司 视频处理装置及方法
CN107766563A (zh) * 2017-11-07 2018-03-06 广东欧珀移动通信有限公司 更新数据的方法、装置、存储介质及电子设备
CN109919017A (zh) * 2019-01-28 2019-06-21 平安科技(深圳)有限公司 人脸识别优化方法、装置、计算机设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170024852A1 (en) * 2015-07-24 2017-01-26 Eth-Zurich Image Processing System for Downscaling Images Using Perceptual Downscaling Method
CN105528769A (zh) * 2015-12-11 2016-04-27 上海兴芯微电子科技有限公司 图像修补方法及系统
CN106534928A (zh) * 2016-10-28 2017-03-22 努比亚技术有限公司 视频处理装置及方法
CN107766563A (zh) * 2017-11-07 2018-03-06 广东欧珀移动通信有限公司 更新数据的方法、装置、存储介质及电子设备
CN109919017A (zh) * 2019-01-28 2019-06-21 平安科技(深圳)有限公司 人脸识别优化方法、装置、计算机设备和存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111698553A (zh) * 2020-05-29 2020-09-22 维沃移动通信有限公司 视频处理方法、装置、电子设备及可读存储介质
CN113099273A (zh) * 2021-04-07 2021-07-09 中南大学 一种基于机会策略的视频块替换方法、客户端、服务器、系统及可读存储介质
CN113099273B (zh) * 2021-04-07 2021-12-14 中南大学 一种基于机会策略的视频块替换方法、客户端、服务器、系统及可读存储介质
CN113852757A (zh) * 2021-09-03 2021-12-28 维沃移动通信(杭州)有限公司 视频处理方法、装置、设备和存储介质
CN116320405A (zh) * 2023-05-17 2023-06-23 西安畅榜电子科技有限公司 一种安防监控视频压缩存储方法
CN116320405B (zh) * 2023-05-17 2023-10-27 西安畅榜电子科技有限公司 一种安防监控视频压缩存储方法

Also Published As

Publication number Publication date
CN110798709B (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
CN110798709B (zh) 视频处理方法和装置、存储介质及电子装置
CN107742100B (zh) 一种考生身份验证方法及终端设备
CN109710780A (zh) 一种归档方法及装置
CN104615760A (zh) 钓鱼网站识别方法和系统
CN110598019B (zh) 重复图像识别方法及装置
CN104836781A (zh) 区分访问用户身份的方法及装置
CN112333549A (zh) 视频处理方法及装置、电子设备、存储介质
CN110738219A (zh) 图像中线条提取方法和装置、存储介质及电子装置
CN108257033A (zh) 一种保单分析方法、装置、终端设备及存储介质
CN111949702B (zh) 异常交易数据的识别方法、装置及设备
CN109377347B (zh) 基于特征选择的网络信用预警方法、系统及电子设备
CN112001274A (zh) 人群密度确定方法、装置、存储介质和处理器
CN111815169A (zh) 业务审批参数配置方法及装置
CN114419363A (zh) 基于无标注样本数据的目标分类模型训练方法及装置
CN110675252A (zh) 风险评估方法、装置、电子设备及存储介质
CN112437034B (zh) 虚假终端检测方法和装置、存储介质及电子装置
CN110991231B (zh) 活体检测方法、装置、服务器和人脸识别设备
CN110162957B (zh) 智能设备的鉴权方法和装置、存储介质、电子装置
CN113762034A (zh) 视频分类方法和装置、存储介质及电子设备
CN111078942B (zh) 一种推荐视频的方法、装置及存储介质
CN111488887B (zh) 基于人工智能的图像处理方法、装置
CN113010785A (zh) 用户推荐方法及设备
CN115983873B (zh) 一种基于大数据的用户数据分析管理系统及方法
CN113672816B (zh) 帐号特征信息的生成方法、装置和存储介质及电子设备
WO2022089220A1 (zh) 图像数据处理方法、装置、设备、存储介质及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40017679

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant