CN110213630B - 一种视频处理方法、装置、电子设备及介质 - Google Patents

一种视频处理方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN110213630B
CN110213630B CN201910599682.5A CN201910599682A CN110213630B CN 110213630 B CN110213630 B CN 110213630B CN 201910599682 A CN201910599682 A CN 201910599682A CN 110213630 B CN110213630 B CN 110213630B
Authority
CN
China
Prior art keywords
video
target
frame
uploaded
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910599682.5A
Other languages
English (en)
Other versions
CN110213630A (zh
Inventor
冯巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201910599682.5A priority Critical patent/CN110213630B/zh
Publication of CN110213630A publication Critical patent/CN110213630A/zh
Application granted granted Critical
Publication of CN110213630B publication Critical patent/CN110213630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Abstract

本发明实施例提供了一种视频处理方法、装置、电子设备及介质，涉及通信技术领域，可以提高视频信息流的画质，减少用户流失。本申请的实施例包括：接收用户端发送的待上传视频，然后在片源数据库中查找包含待上传视频的目标视频。然后确定目标视频中与待上传视频对应的目标视频片段，再将待上传视频替换为目标视频片段。

Description

一种视频处理方法、装置、电子设备及介质
技术领域
本发明涉及通信技术领域，特别是涉及一种视频处理方法、装置、电子设备及介质。
背景技术
信息流是人们采用各种方式实现信息交流的媒介，其中包括视频信息流。随着网络技术的进步和移动流量资费的下降，视频信息流正处于快速增长状态。
用户在视频网站上传的短视频一般为从影视剧中截取的片段或者从其他网站中下载的盗版视频。这些短视频及视频封面图(一般为用户上传的短视频的第一帧图像)的画质一般较低，会使得其他用户点击观看该短视频的意愿较低，容易造成视频网站的用户流失。
发明内容
本发明实施例的目的在于提供一种视频处理方法、装置、电子设备及介质，以实现提高视频信息流的画质，减少用户流失。具体技术方案如下：
第一方面，本发明实施例提供了一种视频处理方法，所述方法包括：
接收用户端发送的待上传视频；
在片源数据库中查找包括所述待上传视频的目标视频；
确定所述目标视频中与所述待上传视频对应的目标视频片段；
将所述待上传视频替换为所述目标视频片段。
可选的，所述在片源数据库中查找包括所述待上传视频的目标视频，包括：
按照所述预设时间间隔，抽取所述待上传视频中的视频帧；
针对每一所抽取的待上传视频中的视频帧，将该视频帧输入预设的特征提取模型，得到该视频帧对应的特征数据，并在特征数据库中查找与该视频帧对应的特征数据匹配度最高的特征数据，以及确定所查找到匹配度最高的特征数据对应的视频标识，其中，所述特征数据库中存储有所述片源数据库中每一视频的视频标识分别与该视频中视频帧的特征数据、该视频中视频帧的时间戳的对应关系
从所确定的各视频标识中选取目标视频标识，并确定所述片源数据库中所述目标视频标识对应的视频为目标视频，所述目标视频标识为在本次查找过程中被确定的次数最多的视频标识。
可选的，在所述接收用户端发送的待上传视频之前，还包括：
对所述片源数据库中每一视频执行以下操作：
按照预设时间间隔，抽取视频中的视频帧；
将抽取的各视频帧输入所述特征提取模型；
获取所述特征提取模型输出的各视频帧对应的特征数据；
将各视频帧的特征数据、时间戳与视频标识对应存储在所述特征数据库中。
可选的，所述确定所述目标视频中与所述待上传视频对应的目标视频片段，包括：
根据所述待上传视频的各视频帧的特征数据与所述目标视频的各视频帧的特征数据的相似度，确定目标起始帧和目标结尾帧，所述目标起始帧为所述目标视频中与所述待上传视频的起始帧相似度最高的视频帧，所述目标结尾帧为所述目标视频中与所述待上传视频的结尾帧相似度最高的视频帧；
将所述目标起始帧和所述目标结尾帧之间的视频片段确定为所述目标视频片段。
可选的，所述将所述目标起始帧和所述目标结尾帧之间的视频片段确定为所述目标视频片段，包括：
针对所述目标起始帧与所述目标结尾帧之间的每一视频帧，确定该视频帧与在所述待上传视频中对应的视频帧的相似度；
对所述目标起始帧与所述目标结尾帧之间的视频片段中每一视频帧的相似度进行加和求平均，得到所述视频片段的置信度；
若所述视频片段的置信度大于预设阈值，则将所述目标起始帧和所述目标结尾帧之间的视频片段确定为所述目标视频片段。
可选的，所述方法还包括：
若所述视频片段的置信度小于或等于所述预设阈值，则利用预设图像增强算法对所述待上传视频进行图像增强。
第二方面，本发明实施例还一种视频处理装置，所述装置包括：
接收模块，用于接收用户端发送的待上传视频；
查找模块，用于在片源数据库中查找包括所述接收模块接收的所述待上传视频的目标视频的；
确定模块，用于确定所述查找模块查找的所述目标视频中与所述待上传视频对应的目标视频片段；
替换模块，用于将所述待上传视频替换为所述确定模块确定的所述目标视频片段。
可选的，所述查找模块，具体用于：
按照所述预设时间间隔，抽取所述待上传视频中的视频帧；
针对每一所抽取的待上传视频中的视频帧，将该视频帧输入预设的特征提取模型，得到该视频帧对应的特征数据，并在特征数据库中查找与该视频帧对应的特征数据匹配度最高的特征数据，以及确定所查找到匹配度最高的特征数据对应的视频标识，其中，所述特征数据库中存储有所述片源数据库中每一视频的视频标识分别与该视频中视频帧的特征数据、该视频中视频帧的时间戳的对应关系；
从所确定的各视频标识中选取目标视频标识，并确定所述片源数据库中所述目标视频标识对应的视频为目标视频，所述目标视频标识为在本次查找过程中被确定的次数最多的视频标识。
可选的，所述装置还包括：抽取模块、输入模块、获取模块和存储模块；
所述抽取模块，用于对所述片源数据库中每一视频，按照预设时间间隔，抽取该视频中的视频帧；
所述输入模块，用于将所述抽取模块抽取的各视频帧输入所述特征提取模型；
所述获取模块，用于获取所述特征提取模型输出的各视频帧对应的特征数据；
所述存储模块，用于将各视频帧的特征数据、时间戳与视频标识对应存储在所述特征数据库中。
可选的，所述确定模块，具体用于：
根据所述待上传视频的各视频帧的特征数据与所述目标视频的各视频帧的特征数据的相似度，确定目标起始帧和目标结尾帧，所述目标起始帧为所述目标视频中与所述待上传视频的起始帧相似度最高的视频帧，所述目标结尾帧为所述目标视频中与所述待上传视频的结尾帧相似度最高的视频帧；
将所述目标起始帧和所述目标结尾帧之间的视频片段确定为所述目标视频片段。
可选的，所述确定模块，具体用于：
针对所述目标起始帧与所述目标结尾帧之间的每一视频帧，确定该视频帧与在所述待上传视频中对应的视频帧的相似度；
对所述目标起始帧与所述目标结尾帧之间的视频片段中每一视频帧的相似度进行加和求平均，得到所述视频片段的置信度；
在所述视频片段的置信度大于预设阈值时，将所述目标起始帧和所述目标结尾帧之间的视频片段确定为所述目标视频片段。
可选的，所述装置还包括：增强模块；
所述增强模块，用于在所述视频片段的置信度小于或等于所述预设阈值时，利用预设图像增强算法对所述待上传视频进行图像增强。
第三方面，本发明实施例提供了一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一视频处理方法的步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一视频处理方法的步骤。
第五方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一视频处理方法。
本发明实施例提供的一种视频处理方法、装置、电子设备及介质，可以接收用户端发送的待上传视频，然后从片源数据库中查找包括待上传视频的目标视频，然后确定目标视频中与待上传视频对应的目标视频片段，再将待上传视频替换为目标视频片段。由于片源数据库中存储的视频画质较高，所以目标视频画质较高，目标视频中的目标视频片段画质也较高，所以用画质较高的目标视频片段替换用户上传的画质较低的待上传视频，能够实现提高视频信息流的画质，减少用户流失。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例提供的一种视频处理方法流程图；
图2为本发明实施例提供的一种建立特征数据库的方法流程示意图；
图3为本发明实施例提供的另一种视频处理方法流程图；
图4为本发明实施例提供的另一种视频处理方法流程图；
图5为本发明实施例提供的一种视频处理装置结构示意图；
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
本发明实施例提供了一种视频处理方法，应用于服务器。如图1所示，该方法包括如下步骤。
步骤101，接收用户端发送的待上传视频。
可以理解的，服务器收到用户端发送的待上传视频后，可以按照步骤102-步骤104中的步骤对待上传视频进行处理，处理后再上传至视频网站。
步骤102，在片源数据库中查找包括待上传视频的目标视频。
可以理解的，片源数据库中存储有视频网站中的各个视频和各个视频的视频ID。片源数据库中存储的视频质量较高，例如：片源数据库中存储的视频画质均为高清或超清。
在本发明实施例中，由于待上传视频一般为用户端从影视剧中截取的片段或者从其他网站中下载的盗版视频，所以待上传视频的画质一般较低。
可选的，在查找目标视频之前，还可以判断用户端发送的待上传视频是否需要替换。若用户端发送的待上传视频画质较高，例如待上传视频的画质大于或等于画质阈值，则不对该待上传视频进行替换；若用户端发送的待上传视频画质较低，例如待上传视频的画质小于画质阈值，则确定该待上传视频需要替换。
其中，可以根据视频的格式确定视频画质，也可以利用其它确定视频画质的方法，本申请实施例对此不做具体限定。
步骤103，确定目标视频中与待上传视频对应的目标视频片段。
在本发明实施例中，可以在目标视频中将与待上传视频最相似的视频片段确定为目标视频片段，包括：在目标视频中确定与待上传视频的起始帧相似度最高的目标起始帧，并确定与待上传视频的结尾帧相似度最高的目标结尾帧，将目标起始帧与目标结尾帧之间的视频片段确定为目标视频片段。
步骤104，将待上传视频替换为目标视频片段。
一种实施方式中，可以利用剪辑替换器将待上传视频替换为步骤103确定的目标视频片段。
本发明实施例提供的一种视频处理方法，可以接收用户端发送的待上传视频，然后从片源数据库中查找包括待上传视频的目标视频，然后确定目标视频中与待上传视频对应的目标视频片段，再将待上传视频替换为目标视频片段。由于片源数据库中存储的视频画质较高，所以目标视频画质较高，目标视频中的目标视频片段画质也较高，所以用画质较高的目标视频片段替换用户上传的画质较低的待上传视频，能够实现提高视频信息流的画质，减少用户流失。
可选的，在步骤101之前，还可以建立特征数据库，建立特征数据库的方法为：
如图2所示，对片源数据库中每一视频执行以下操作：按照预设时间间隔，用抽帧器抽取视频中的视频帧(例如：每秒抽取一帧视频帧)，然后将抽取的各视频帧输入预先设定的特征提取模型，并获取该特征提取模型输出的各视频帧对应的特征数据，再将各视频帧的特征数据、时间戳与视频标识对应存储在特征数据库中。
其中，片源数据库中存储有视频网站中的各个视频和各个视频的视频ID。特征数据库中存储有片源数据库中每一视频的视频标识分别与该视频中视频帧的特征数据、该视频中视频帧的时间戳的对应关系。
可选的，在一种实施方式中，可以将片源数据库中存储的视频数据和特征数据库中存储的特征数据存储在同一数据库中。
在本发明实施例中，特征提取模型输出的可以是视频帧包括的预设维度的特征数据。
示例性的，预设时间间隔可以为1秒，预设维度可以为512维或者1024维。本发明实施例中的特征提取模型可以为根据深度残差网络(Resnet50)或者深度神经网络(Inception)构建的特征提取模型，或者也可以为其他可以提取图像特征的模型。
在本发明实施例中，如表一所示，各视频帧的特征数据、时间戳与视频标识可以对应存储在特征数据库中。或者，如表二所示，将抽取的各视频帧的特征数据与时间戳对应，并将一个视频中抽取的各视频帧的时间戳和特征数据对应一个视频标识。
表一
视频标识 时间戳 特征数据
1 0001 特征数据1
1 0003 特征数据3
表二
Figure BDA0002118856640000081
可选的，如图3所示，上述步骤102中查找目标视频方法可以包括步骤301至步骤303。
步骤301，按照预设时间间隔，抽取待上传视频中的视频帧。
在本发明实施例中，为简化获取目标视频片段的方法，对待上传视频进行抽帧操作时采用的时间间隔，可以与采用建立特征数据库时，对片源数据库中视频进行抽帧操作时采用的时间间隔相同。当然对待上传视频进行抽帧操作时采用的时间间隔也可以与对片源数据库中视频进行抽帧操作时采用的时间间隔不同。
步骤302，针对每一所抽取的待上传视频中的视频帧，将该视频帧输入预设的特征提取模型，得到该视频帧对应的特征数据，并在特征数据库中查找与该视频帧对应的特征数据匹配度最高的特征数据，以及确定所查找到匹配度最高的特征数据对应的视频标识。
其中，特征数据库中存储有片源数据库中每一视频的视频标识分别与该视频中视频帧的特征数据、该视频中视频帧的时间戳的对应关系。
一种实施方式中，可以针对每一所抽取的待上传视频中的视频帧，通过计算该视频帧的特征数据(特征向量)与特征数据库中的特征数据(特征向量)的欧几里得距离，将欧几里得距离最小值对应的特征数据确定为与该视频帧匹配度最高的特征数据，并确定所查找到匹配度最高的特征数据对应的视频标识。
另一种实施方式中，可以针对每一所抽取的待上传视频中的视频帧，采用归一化互相关系数，计算待该视频帧的特征数据(特征向量)与特征数据库中的特征数据(特征向量)的匹配度，获得与该视频帧的特征数据匹配度最高的特征数据对应的视频标识。
示例性的，如表一所示，若查找到的特征数据为特征数据1，则确定特征数据1对应的视频标识为1。或者，如表二所示，若查找到的特征数据为特征数据1，则确定特征数据1对应的视频标识为1。
步骤303，从所确定的各视频标识中选取目标视频标识，并确定片源数据库中目标视频标识对应的视频为目标视频。
其中，目标视频标识为在本次查找过程中被确定的次数最多的视频标识。
示例性的，若确定的各视频标识分别为：1、2、5、1、1和1，则视频1在本次查找过程中被确定了4次，视频2在本次查找过程中被确定了1次，视频5在本次查找过程中被确定了1次。由于视频1在本次查找过程中被确定的次数最多，所以目标视频为视频1。
在确定目标视频后，由于目标视频一般是完整的视频(例如一整部电影)，而用户上传的视频一般为一个视频片段(例如电影中的一个片段)，所以，还需要从目标视频中选出与待上传视频相同的视频片段。具体地，如图4所示，上述步骤103中确定目标视频中与待上传视频对应的目标视频片段的方法可以包括步骤401至步骤405。
步骤401，根据待上传视频的各视频帧的特征数据与目标视频的各视频帧的特征数据的相似度，确定目标起始帧和目标结尾帧。
其中，目标起始帧为目标视频中与待上传视频的起始帧相似度最高的视频帧，目标结尾帧为目标视频中与待上传视频的结尾帧相似度最高的视频帧。
一种实施方式中，可以通过公式(1)和公式(2)确定目标起始帧的特征数据和目标结尾帧的特征数据：
Figure BDA0002118856640000091
Figure BDA0002118856640000101
其中，t为偏移量，K为待上传视频中抽取的视频帧数量，similarity(·，·)表示两个特征数据的归一化互相关系数，fi为待上传视频中抽取的第i帧视频帧的特征数据，gt+i为特征数据库中视频g中抽取的第t+i帧视频帧的特征数据，N为一个特征数据包括的维度数量，fi，j为待上传视频中抽取的第i帧视频帧的第j个维度的特征数据，gt+i，j为特征数据库中视频g中抽取的第t+i帧视频帧的第j个维度的特征数据。
例如：
Figure BDA0002118856640000102
K＝10，则目标起始帧的特征数据为
Figure BDA0002118856640000103
目标结尾帧的特征数据为
Figure BDA0002118856640000104
步骤402，针对目标起始帧与目标结尾帧之间的每一视频帧，确定该视频帧与在待上传视频中对应的视频帧的相似度。
可以理解的，可以利用上述公式(2)计算目标起始帧与目标结尾帧之间的每一视频帧与其在待上传视频中对应的视频帧的相似度。或者还可以使用其他相似度的计算方法，例如感知哈希算法。
步骤403，对目标起始帧与目标结尾帧之间的视频片段中每一视频帧的相似度进行加和求平均，得到目标起始帧和目标结尾帧之间的视频片段的置信度。
一种实施方式中，可以通过公式(3)计算目标起始帧和目标结尾帧之间的视频片段的置信度：
Figure BDA0002118856640000105
其中，confidence为目标起始帧和目标结尾帧之间的视频片段的置信度，K为待上传视频中抽取的视频帧数量，similarity(·，·)表示两个特征数据的归一化互相关系数，fi为待上传视频中抽取的第i帧视频帧的特征数据，
Figure BDA0002118856640000106
为特征数据库中视频g中抽取的第
Figure BDA0002118856640000107
帧视频帧的特征数据。
示例性的，预设阈值可以为0.2。
步骤404，若置信度大于预设阈值，则将目标起始帧和目标结尾帧之间的视频片段确定为目标视频片段。
一种实施方式中，若目标起始帧和目标结尾帧之间的视频片段与待上传视频的相似度大于预设阈值，则在特征数据库中查找目标起始帧的特征数据对应的时间戳；并在特征数据库中查找目标结尾帧的特征数据对应的时间戳。将片源数据库的目标视频中的目标起始帧的时间戳与目标结尾帧的时间戳之间的视频片段确定为目标视频片段。
例如，如表一所示，若目标起始帧的特征数据为特征数据1，则目标起始帧的特征数据对应的时间戳为0001。
在本发明实施例中，若目标起始帧和目标结尾帧之间的视频片段的置信度大于预设阈值，表示目标起始帧和目标结尾帧之间的视频片段与待上传视频相似度较高，可以利用目标起始帧和目标结尾帧之间的视频片段替换待上传视频。
步骤405，若置信度小于或等于预设阈值，则利用预设图像增强算法对待上传视频进行图像增强。
在本发明实施例中，若待上传视频和目标起始帧和目标结尾帧之间的视频片段的相似度小于等于预设阈值，表示目标起始帧和目标结尾帧之间的视频片段与待上传视频相似度较低，片源数据库中没有可以替换待上传视频的视频片段。此时，可以利用预设图像增强算法对待上传视频进行处理，获得图像增强后的视频。
示例性的，预设图像增强算法可以为：超分辨率、去噪和/或色彩增强等。
可见，本发明实施例由于利用片源数据库中与待上传视频最相似的视频片段替换待上传视频，且片源数据库中的视频画质较高，能够显著改善用户端发送的待上传视频的质量。另外，由于定义了置信度函数，能够判断查找到的视频片段是否能够替换待上传视频，提高了替换待上传视频的准确度，且当置信度低于预设阈值时，可以采用预设图像增强算法对待上传视频进行图像增强，能够适用于片源数据库中没有可以替换待上传视频的视频片段的情况。
对应于上述方法实施例，如图5所示，本发明实施例提供了一种视频处理装置，应用于服务器，该装置包括：接收模块501、查找模块502、确定模块503和替换模块504。
接收模块501，用于接收用户端发送的待上传视频；
查找模块502，用于在片源数据库中查找包括接收模块501接收的待上传视频的目标视频；
确定模块503，用于确定查找模块502查找的目标视频中与待上传视频对应的目标视频片段；
替换模块504，用于将待上传视频替换为确定模块503确定的目标视频片段。
可选的，查找模块502，可以具体用于：
按照预设时间间隔，抽取待上传视频中的视频帧；
针对每一所抽取的待上传视频中的视频帧，将该视频帧输入预设的特征提取模型，得到该视频帧对应的特征数据，并在特征数据库中查找与该视频帧对应的特征数据匹配度最高的特征数据，以及确定所查找到匹配度最高的特征数据对应的视频标识，其中，特征数据库中存储有片源数据库中每一视频的视频标识分别与该视频中视频帧的特征数据、该视频中视频帧的时间戳的对应关系；
从所确定的各视频标识中选取目标视频标识，并确定片源数据库中目标视频标识对应的视频为目标视频，目标视频标识为在本次查找过程中被确定的次数最多的视频标识。
可选的，该装置还可以包括：抽取模块、输入模块、获取模块和存储模块；
抽取模块，用于对片源数据库中每一视频，按照预设时间间隔，抽取该视频中的视频帧；
输入模块，用于将抽取模块抽取的各视频帧输入特征提取模型；
获取模块，用于获取特征提取模型输出的各视频帧对应的特征数据；
存储模块，用于将各视频帧的特征数据、时间戳与视频标识对应存储在特征数据库中。
可选的，确定模块503，可以具体用于：
根据待上传视频的各视频帧的特征数据与目标视频的各视频帧的特征数据的相似度，确定目标起始帧和目标结尾帧，目标起始帧为目标视频中与待上传视频的起始帧相似度最高的视频帧，目标结尾帧为目标视频中与待上传视频的结尾帧相似度最高的视频帧；
将目标起始帧和目标结尾帧之间的视频片段确定为目标视频片段。
可选的，确定模块503，具体用于：
针对目标起始帧与目标结尾帧之间的每一视频帧，确定该视频帧与在待上传视频中对应的视频帧的相似度；
对目标起始帧与目标结尾帧之间的视频片段中每一视频帧的相似度进行加和求平均，得到视频片段的置信度；
在视频片段的置信度大于预设阈值时，将目标起始帧和目标结尾帧之间的视频片段确定为目标视频片段。
可选的，该装置还可以包括：增强模块；
增强模块，用于在视频片段的置信度小于或等于预设阈值时，利用预设图像增强算法对待上传视频进行图像增强。
本发明实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现上述方法实施例中由服务器执行的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一视频处理方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一视频处理方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (12)

1.一种视频处理方法，其特征在于，所述方法包括：
接收用户端发送的待上传视频；
若所述待上传视频的画质小于画质阈值，在片源数据库中查找包括所述待上传视频的目标视频；
确定所述目标视频中与所述待上传视频对应的目标视频片段；
将所述待上传视频替换为所述目标视频片段；
所述确定所述目标视频中与所述待上传视频对应的目标视频片段，包括：
确定所述目标视频中与所述待上传视频的起始帧相似度最高的视频帧为目标起始帧；
确定所述目标视频中与所述待上传视频的结尾帧相似度最高的视频帧为目标结尾帧；
将所述目标起始帧与所述目标结尾帧之间的视频片段确定为所述目标视频片段。
2.根据权利要求1所述的方法，其特征在于，所述在片源数据库中查找包括所述待上传视频的目标视频，包括：
按照预设时间间隔，抽取所述待上传视频中的视频帧；
针对每一所抽取的待上传视频中的视频帧，将该视频帧输入预设的特征提取模型，得到该视频帧对应的特征数据，并在特征数据库中查找与该视频帧对应的特征数据匹配度最高的特征数据，以及确定所查找到匹配度最高的特征数据对应的视频标识，其中，所述特征数据库中存储有所述片源数据库中每一视频的视频标识分别与该视频中视频帧的特征数据、该视频中视频帧的时间戳的对应关系；
从所确定的各视频标识中选取目标视频标识，并确定所述片源数据库中所述目标视频标识对应的视频为目标视频，所述目标视频标识为在本次查找过程中被确定的次数最多的视频标识。
3.根据权利要求2所述的方法，其特征在于，在所述接收用户端发送的待上传视频之前，还包括：
对所述片源数据库中每一视频执行以下操作：
按照预设时间间隔，抽取视频中的视频帧；
将抽取的各视频帧输入所述特征提取模型；
获取所述特征提取模型输出的各视频帧对应的特征数据；
将各视频帧的特征数据、时间戳与视频标识对应存储在所述特征数据库中。
4.根据权利要求1所述的方法，其特征在于，所述将所述目标起始帧和所述目标结尾帧之间的视频片段确定为所述目标视频片段，包括：
针对所述目标起始帧与所述目标结尾帧之间的每一视频帧，确定该视频帧与在所述待上传视频中对应的视频帧的相似度；
对所述目标起始帧与所述目标结尾帧之间的视频片段中每一视频帧的相似度进行加和求平均，得到所述视频片段的置信度；
若所述视频片段的置信度大于预设阈值，则将所述目标起始帧和所述目标结尾帧之间的视频片段确定为所述目标视频片段。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
若所述视频片段的置信度小于或等于所述预设阈值，则利用预设图像增强算法对所述待上传视频进行图像增强。
6.一种视频处理装置，其特征在于，所述装置包括：
接收模块，用于接收用户端发送的待上传视频；
查找模块，用于若所述待上传视频的画质小于画质阈值，在片源数据库中查找包括所述接收模块接收的所述待上传视频的目标视频；
确定模块，用于确定所述查找模块查找的所述目标视频中与所述待上传视频对应的目标视频片段；
替换模块，用于将所述待上传视频替换为所述确定模块确定的所述目标视频片段；
所述确定模块，具体用于确定所述目标视频中与所述待上传视频的起始帧相似度最高的视频帧为目标起始帧；确定所述目标视频中与所述待上传视频的结尾帧相似度最高的视频帧为目标结尾帧；将所述目标起始帧与所述目标结尾帧之间的视频片段确定为所述目标视频片段。
7.根据权利要求6所述的装置，其特征在于，所述查找模块，具体用于：
按照预设时间间隔，抽取所述待上传视频中的视频帧；
针对每一所抽取的待上传视频中的视频帧，将该视频帧输入预设的特征提取模型，得到该视频帧对应的特征数据，并在特征数据库中查找与该视频帧对应的特征数据匹配度最高的特征数据，以及确定所查找到匹配度最高的特征数据对应的视频标识，其中，所述特征数据库中存储有所述片源数据库中每一视频的视频标识分别与该视频中视频帧的特征数据、该视频中视频帧的时间戳的对应关系；
从所确定的各视频标识中选取目标视频标识，并确定所述片源数据库中所述目标视频标识对应的视频为目标视频，所述目标视频标识为在本次查找过程中被确定的次数最多的视频标识。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：抽取模块、输入模块、获取模块和存储模块；
所述抽取模块，用于对所述片源数据库中每一视频，按照预设时间间隔，抽取该视频中的视频帧；
所述输入模块，用于将所述抽取模块抽取的各视频帧输入所述特征提取模型；
所述获取模块，用于获取所述特征提取模型输出的各视频帧对应的特征数据；
所述存储模块，用于将各视频帧的特征数据、时间戳与视频标识对应存储在所述特征数据库中。
9.根据权利要求6所述的装置，其特征在于，所述确定模块，具体用于：
针对所述目标起始帧与所述目标结尾帧之间的每一视频帧，确定该视频帧与在所述待上传视频中对应的视频帧的相似度；
对所述目标起始帧与所述目标结尾帧之间的视频片段中每一视频帧的相似度进行加和求平均，得到所述视频片段的置信度；
在所述视频片段的置信度大于预设阈值时，将所述目标起始帧和所述目标结尾帧之间的视频片段确定为所述目标视频片段。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：增强模块；
所述增强模块，用于在所述视频片段的置信度小于或等于所述预设阈值时，利用预设图像增强算法对所述待上传视频进行图像增强。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。
CN201910599682.5A 2019-07-04 2019-07-04 一种视频处理方法、装置、电子设备及介质 Active CN110213630B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910599682.5A CN110213630B (zh) 2019-07-04 2019-07-04 一种视频处理方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910599682.5A CN110213630B (zh) 2019-07-04 2019-07-04 一种视频处理方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN110213630A CN110213630A (zh) 2019-09-06
CN110213630B true CN110213630B (zh) 2021-10-26

Family

ID=67796193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910599682.5A Active CN110213630B (zh) 2019-07-04 2019-07-04 一种视频处理方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN110213630B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110809188B (zh) * 2019-12-03 2020-12-25 珠海格力电器股份有限公司 视频内容的识别方法、装置、存储介质及电子设备
CN114550070A (zh) * 2022-03-08 2022-05-27 腾讯科技（深圳）有限公司 视频片段的识别方法、装置、设备以及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4548233B2 (ja) * 2005-06-17 2010-09-22 ソニー株式会社 映像コンテンツ処理方法、映像コンテンツ処理プログラム、映像コンテンツ処理プログラムを記録した記録媒体及び映像コンテンツ処理装置
EP2833640A1 (en) * 2013-08-02 2015-02-04 British Telecommunications public limited company Video caching
US9955196B2 (en) * 2015-09-14 2018-04-24 Google Llc Selective degradation of videos containing third-party content
KR102430177B1 (ko) * 2016-01-04 2022-08-08 한국전자통신연구원 대규모 동영상 고속 관리 시스템 및 그 방법
CN109429098A (zh) * 2017-08-24 2019-03-05 中兴通讯股份有限公司 视频处理方法、装置以及终端

Also Published As

Publication number Publication date
CN110213630A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
US20210233319A1 (en) Context-aware tagging for augmented reality environments
US20200349385A1 (en) Multimedia resource matching method and apparatus, storage medium, and electronic apparatus
CN111522996B (zh) 视频片段的检索方法和装置
US20180165553A1 (en) Method, device and apparatus for recognizing picture
CN110909663B (zh) 一种人体关键点识别方法、装置及电子设备
US20240087096A1 (en) Systems and methods for media privacy
CN110213630B (zh) 一种视频处理方法、装置、电子设备及介质
CN109409321B (zh) 一种镜头运动方式的确定方法及装置
CN108197336B (zh) 一种视频查找的方法及装置
CN109447022B (zh) 一种镜头类型识别方法及装置
CN112584205B (zh) 用于呈现通知的方法、系统及可读介质
CN110674345A (zh) 一种视频搜索方法、装置及服务器
TW201928771A (zh) 對待評估樣本進行分類的方法及裝置
US20140188930A1 (en) System and method for creating a database of multimedia content elements assigned to users
CN110598684A (zh) 识别图片中电话号码的方法、系统、终端设备及存储介质
US10949773B2 (en) System and methods thereof for recommending tags for multimedia content elements based on context
CN113076961A (zh) 一种图像特征库更新方法、图像检测方法和装置
CN109740623B (zh) 一种演员筛选的方法及装置
CN108012164B (zh) 一种视频播放方法、装置及电子设备
CN111695381A (zh) 一种文本特征提取方法、装置、电子设备及可读存储介质
CN113553469B (zh) 数据处理方法、装置、电子设备及计算机存储介质
CN110996142B (zh) 视频召回方法及装置、电子设备及存储介质
CN110781345B (zh) 视频描述生成模型的获取方法、视频描述生成方法及装置
CN111708988A (zh) 侵权视频识别方法、装置、电子设备及存储介质
CN111091118A (zh) 图像的识别方法、装置及电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant