CN114268750A - 视频处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种视频处理方法、装置、设备及存储介质，该方法包括对源视频进行相似度归类；对归类后的源视频进行分帧处理，得到画面帧，并将所述画面帧按时间维度进行编码；选取每个时间点所对应的最优画面帧，将所有时间点所对应的最优画面帧合并，生成新视频，并删除源视频，实现了对相似内容的源视频的识别并归类，并对归类后的源视频进行优化处理，用优化后生成的新视频代替源视频，避免了视频平台的存储空间被大量重复且低质量的视频占用，节省了存储资源。

Description

视频处理方法、装置、设备及存储介质

技术领域

本申请涉及数据处理技术领域，尤其涉及一种视频处理方法、装置、设备及存储介质。

背景技术

在现实生活中，用户往往会拍摄一些视频(视频可以是视频彩铃)或剪辑合成一些视频上传至视频平台。然而不同的用户可能会上传内容相似的视频至视频平台，但是各个用户使用的工具不同，导致用户上传的视频即使内容相似，但是分辨率和画质也会存在极大的差距。现有的视频平台对用户上传的视频均进行存储，导致视频平台的存储云端存储了大量重复的视频，占用了存储空间，造成了资源的浪费。

上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。

发明内容

本申请的主要目的在于提供一种视频处理方法、装置、设备及存储介质，旨在解决现有技术中视频平台对用户上传的视频均进行存储，导致视频平台存储了大量重复的视频，占用了存储空间，浪费了资源的问题。

为实现上述目的，本申请提供一种视频处理方法，所述视频处理方法包括以下步骤：

对源视频进行相似度归类；

对归类后的源视频进行分帧处理，得到画面帧，并将所述画面帧按时间维度进行编码；

选取每个时间点所对应的最优画面帧，将所有时间点所对应的最优画面帧合并，生成新视频，并删除源视频。

可选地，所述选取每个时间点所对应的最优画面帧的步骤，包括：

若确定每个时间点所对应的画面帧存在预设的标志信息，则基于预设选取条件，选取每个时间点所对应的最优画面帧；

若确定每个时间点所对应的画面帧不存在预设的标志信息，则对每个时间点所对应的画面帧进行聚类，根据聚类结果选取每个时间点所对应的最优画面帧。

可选地，所述对每个时间点所对应的画面帧进行聚类，根据聚类结果选取每个时间点所对应的最优画面帧的步骤，包括：

对每个时间点所对应的每一画面帧的像素点进行色值提取处理，得到所述每个像素点的RGB色值；

对所述每个像素点的RGB色值进行均值聚类；

根据聚类结果确定所述每一画面帧的画面分类数据；

选取所述画面分类数据最少的画面帧，作为每个时间点所对应的最优画面帧。

可选地，所述基于预设选取条件，选取每个时间点所对应的最优画面帧的步骤，包括：

从每个时间点所对应的画面帧中，选取分辨率最高且标志信息满足预设条件的画面帧，作为每个时间点所对应的最优画面帧。

可选地，所述选取每个时间点所对应的最优画面帧的步骤，包括：

基于所述画面帧内容的相似度，对每个时间点所对应的各个画面帧进行分类，得到多个分类集合，并选取画面帧数量最多的分类集合；

从选取的分类集合中选取每个时间点所对应的最优画面帧。

可选地，所述根据预设的归类规则，对源视频进行相似度归类的步骤，包括：

记录源视频所对应的字段信息，所述字段信息包括地理位置、视频内容标签、视频内容文本信息和配音文本信息；

从所有源视频中随机选择若干源视频作为对比视频；

将所述源视频所对应的字段信息与所述对比视频所对应的字段信息依次进行比对；

若其中一个字段信息的比对结果不满足该字段信息的预设条件，则停止比对，输出不相似结果；

若每一字段信息的比对结果均满足该字段信息的预设条件，则输出相似结果；

将输出相似结果的源视频归为一类。

可选地，所述对归类后的源视频进行分帧处理，得到画面帧，并将所述画面帧按时间维度进行编码的步骤，包括：

对归类后的源视频进行分帧处理，得到画面帧；

若所述归类后的源视频的背景音乐相同，则以所述背景音乐播放时间作为时间维度，将所述画面帧按时间维度进行编码；

若所述归类后的源视频的配音文本信息相同，则以所述配音文本对应的配音播放时间作为时间维度，将所述画面帧按时间维度进行编码。

此外，为实现上述目的，本申请还提供一种视频处理装置，所述装置包括：

分类模块，用于对源视频进行相似度归类；

预处理模块，用于对归类后的源视频进行分帧处理，得到画面帧，并将所述画面帧按时间维度进行编码；

视频合成模块，用于选取每个时间点所对应的最优画面帧，将所有时间点所对应的最优画面帧合并，生成新视频，并删除源视频。

此外，为实现上述目的，本申请还提供一种视频处理设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频处理程序，所述视频处理程序配置为实现如上所述的视频处理方法的步骤。

此外，为实现上述目的，本申请还提供一种存储介质，所述存储介质上存储有视频处理程序，所述视频处理程序被处理器执行时实现如上所述的视频处理方法的步骤。

本申请公开了一种视频处理方法、装置、设备及存储介质，与现有技术中，视频平台对用户上传的视频均进行存储，导致视频平台存储了大量重复的视频，占用了存储空间，造成了资源的浪费相比，本申请通过对源视频进行相似度归类；对归类后的源视频进行分帧处理，得到画面帧，并将所述画面帧按时间维度进行编码；选取每个时间点所对应的最优画面帧，将所有时间点所对应的最优画面帧合并，生成新视频，并删除源视频，实现了对相似内容的源视频的识别并归类，并对归类后的源视频进行优化处理，用优化后生成的新视频代替源视频，避免了视频平台的存储空间被大量重复的视频占用，节省了存储资源。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例方案涉及的硬件运行环境的视频处理设备的结构示意图；

图2为本申请视频处理方法第一实施例的流程示意图；

图3为本申请步骤S202的场景应用图；

图4为本申请步骤S203的场景应用图；

图5为本申请视频处理方法的场景应用图；

图6为本申请视频处理装置第一实施例的功能模块示意图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本申请实施例方案涉及的硬件运行环境的视频处理设备结构示意图。

如图1所示，该视频处理设备可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对视频处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及视频处理程序。其中，操作系统是管理和控制视频处理设备硬件和软件资源的程序，支持视频处理程序以及其它软件或程序的运行。

在图1所示的视频处理设备中，网络接口1004主要用于与其他设备进行数据通信；用户接口1003主要用于与用户进行数据交互；所述视频处理设备通过处理器1001调用存储器1005中存储的视频处理程序，并执行本申请实施例提供的视频处理方法。

本申请实施例提供了一种视频处理方法，应用于视频平台，参照图2，图2为本申请一种视频处理方法第一实施例的流程示意图。

本实施例中，所述视频处理方法包括：

步骤S10、对源视频进行相似度归类。

在本实施例中，需要说明的是，源视频包括用户最新上传的视频以及原有的存储在视频平台中的视频。其中，无论是用户最新上传的视频还是原有的存储在视频平台中的视频，均可以为用户自行DIY的视频，也均可以为用户采用具有拍摄功能的设备拍摄的视频，具有拍摄功能的设备包括摄像机、手机等。

进一步地，对源视频进行相似度归类的具体步骤，包括：

步骤S101、记录源视频所对应的字段信息，所述字段信息包括地理位置、视频内容标签、视频内容文本信息和配音文本信息；

步骤S102、从所有源视频中随机选择若干源视频作为对比视频；

步骤S103、将所述源视频所对应的字段信息与所述对比视频所对应的字段信息依次进行比对；

步骤S104、若其中一个字段信息的比对结果不满足该字段信息的预设条件，则停止比对，输出不相似结果；

步骤S105、若每一字段信息的比对结果均满足该字段信息的预设条件，则输出相似结果；

步骤S106、将输出相似结果的源视频归为一类。

具体地，将所述源视频所对应的字段信息与所述对比视频所对应的字段信息依次进行比对，在本实施例中，是将源视频所对应的字段信息与比对视频所对应的字段信息进行相似度计算。

在本实施例中，需要说明的是，视频平台在接收用户上传的视频后，对用户上传的视频进行分析，得到该视频所对应的字段信息，并将视频与其所对应的字段信息一起存储。其中，字段信息包括用户手机号、上传时间、地理位置、视频内容标签、视频内容文本信息和配音文本信息。

具体地，在本实施例中，当用户上传的视频为用户自行DIY的视频，则所述地理位置为用户上传视频时所在的地理位置；当用户上传的视频为用户采用具有拍摄功能的设备拍摄的视频，则所述地理位置为用户拍摄视频时的地理位置。

具体地，在本实施例中，所述视频内容标签是用来表征视频内容的关键词或短语。视频内容标签可以通过以下两种方式获取得到，其中，方式一为：用户在将视频上传至视频平台之前，根据视频的内容自行从视频内容标签库中选取关键词或短语作为该视频的视频内容标签；方式二为：视频平台接收到用户上传的视频后，通过卷积网络分类模型提取该视频的关键帧，对关键帧进行内容识别，得到关键帧内容，并根据关键帧内容进行打标签，得该视频的视频内容标签。

具体地，在本实施例中，所述视频内容文本信息指的是视频中存在的文字信息。视频平台接收到用户上传的视频后，对该视频按照预设时间间隔进行分帧处理，对得到的每一个画面帧采用OCR文字识别技术识别其中的文本信息，由此得到视频内容文本信息，具体地OCR文字识别过程在此不再赘述。例如，视频内容文本信息可以是视频中广告牌上的文字信息、行人衣服上的文字信息或者建筑物上的文字信息。

具体地，在本实施例中，所述配音文本信息指的是视频中除背景音乐以外的音频所对应的文本信息，可以通过n-gram语言模型或隐马尔可夫模型对所述音频进行语音识别，得到配音文本信息。

在本实例中，需要说明的是，字段信息中的地理位置、视频内容标签、视频内容文本信息和配音文本信息与视频的内容实质相关。因此，选取地理位置、视频内容标签、视频内容文本信息以及配音文本信息作为步骤S10中需进行相似度计算的字段信息。

例如，步骤S103～步骤S105具体包括：

步骤a、对所述地理位置进行判断；

步骤b、若所述地理位置相同，则从剩余字段信息中随机选择其一进行相似度计算；

步骤c、若计算得到的相似度结果满足第一预设条件，则从剩余字段信息中选择其一进行相似度计算；

步骤d、若计算得到的相似度结果不满足第一预设条件，则输出不相似结果；

步骤e、重复步骤c～步骤d，直至所有字段信息的相似度结果均满足第一预设条件，输出相似结果，或所有字段信息其一的相似度结果不满足第一预设条件，输出不相似结果；

步骤f、若所述地理位置不相同，则从剩余字段信息中随机选择其一进行相似度计算；

步骤g、若计算得到的相似度结果满足第二预设条件，则从剩余字段信息中选择其一进行相似度计算；

步骤h、若计算得到的相似度结果不满足第二预设条件，则输出不相似结果；

步骤i、重复步骤g～步骤h，直至所有字段信息的相似度结果均满足第二预设条件，输出相似结果，或所有字段信息其一的相似度结果不满足第二预设条件，输出不相似结果。

其中，所述第一预设条件为所述视频内容标签的相似度小于第一阈值、所述视频内容文本信息的相似度小于第二阈值以及所述配音文本信息的相似度小于第三阈值；所述第二预设条件为所述视频内容标签的相似度小于第四阈值、所述视频内容文本信息的相似度小于第五阈值以及所述配音文本信息的相似度小于第六阈值。

需要说明的是，在本实施例中，第一阈值大于第二阈值且第二阈值大于第三阈值，第四阈值大于第五阈值且第五阈值大于或等于第六阈值，同时，第四阈值大于第一阈值，第五阈值大于第二阈值，以及第六阈值大于第三阈值。

在本实施例中，当视频地理位置相同时，说明这个视频拍摄的拍摄地点是相同的或者说上传地点是相同的(同一人上传)，可以认为视频的内容是一样，只是存在视频清晰度以及分辨率方面的差异；当视频地理位置不同时，说明这个视频拍摄的拍摄地点是不相同的或者说上传地点是不同的(非同一人上传)，可以认为视频的内容存在一定的差距，因此，视频地理位置相同时的相似度判断阈值小于地理位置不同时的相似度判断阈值。

在本实施例中，对所有的字段信息不是同时进行相似度的计算，而是先选择其一进行相似度计算，若满足第一预设条件或第二预设条件，则继续对剩余的字段信息进行相似度计算，若不满足第一预设条件或第二预设条件，则输出不相似结果，减少了源视频归类过程中的计算量。

以视频内容标签、视频内容文本信息以及配音文本信息的相似度计算顺序进行举例，所述对源视频所对应的字段信息进行相似度计算，得到相似度结果对所述地理位置进行判断的步骤为：

对所述地理位置进行判断；

若所述地理位置相同，则对所述视频内容标签进行相似度计算，得到所述视频内容标签的相似度；

若所述视频内容标签的相似度大于或等于第一阈值，则对所述视频内容文本信息进行相似度计算，得到所述视频内容文本信息的相似度；

若所述视频内容标签的相似度小于第一阈值，则输出不相似结果；

若所述视频内容文本信息的相似度大于或等于第二阈值时，则对所述配音文本信息进行相似度计算，得到所述配音文本信息的相似度；

若所述视频内容文本信息的相似度小于第二阈值，则输出不相似结果；

若所述配音文本信息的相似度大于或等于第三阈值，则输出相似结果；

若所述配音文本信息的相似度小于第三阈值，则输出不相似结果。

若所述地理位置不相同，则对所述视频内容标签进行相似度计算，得到所述视频内容标签的相似度；

若所述视频内容标签的相似度大于或等于第四阈值，则对所述视频内容文本信息进行相似度计算，得到所述视频内容文本信息的相似度；

若所述视频内容标签的相似度小于第四阈值，则输出不相似结果；

若所述视频内容文本信息的相似度大于或等于第五阈值时，则对所述配音文本信息进行相似度计算，得到所述配音文本信息的相似度；

若所述视频内容文本信息的相似度小于第五阈值，则输出不相似结果；

若所述配音文本信息的相似度大于或等于第六阈值，则输出相似结果；

若所述配音文本信息的相似度小于第六阈值，则输出相似结果。

需要说明的是，在本实施例中，第一阈值为0.9，第二阈值为0.85，第三阈值为0.8，第四阈值为0.95，第五阈值为0.9，第六阈值为0.9。

基于步骤a～步骤i，进一步地，根据所述相似度结果，对所述源视频进行归类的具体步骤，包括：

将输出相似结果的源视频归为一类。

步骤S20、对归类后的源视频进行分帧处理，得到画面帧，并将所述画面帧按时间维度进行编码。

进一步地，对归类后的源视频进行分帧处理，得到画面帧，并将所述画面帧按时间维度进行编码的具体步骤，包括：

步骤S201、对归类后的源视频进行分帧处理，得到画面帧；

步骤S202、若所述归类后的源视频的背景音乐相同，则以所述背景音乐播放时间作为时间维度，将所述画面帧按时间维度进行编码，如图3所示；

步骤S203、若所述归类后的源视频的配音文本信息相同，则以所述配音文本对应的配音播放时间作为时间维度，将所述画面帧按时间维度进行编码，如图4所示。

具体地，对归类后的源视频进行分帧处理，其分帧的间隔时间可以根据实际的需求进行设置，在本实施例中，优选为20帧每秒进行分割。

需要说明的是，在本实施例中，若归类后的源视频为风景介绍、生活趣事等视频，则将其归属于所述归类后的源视频的背景音乐相同的情况；若归类后的源视频为体育竞技或各种大型赛事的视频，则将其归属于所述归类后的源视频的配音文本信息相同的情况。

需要说明的是，在本实施例中，存在源视频A与源视频B之间的部分内容重合的情况，例如，用户在上传源视频A后，对源视频A进行了剪辑，删除了其中部分片段，由此得到源视频B，并上传至视频平台，此时，则需要将背景音乐的播放时间或配音文本对应的配音播放时间作为时间维度，对画面帧进行编码，最大程度上保证了画面帧不会出现错位的情况。

步骤S30、选取每个时间点所对应的最优画面帧，将所有时间点所对应的最优画面帧合并，生成新视频，并删除源视频。

进一步地，选取每个时间点所对应的最优画面帧，将所有时间点所对应的最优画面帧合并，生成新视频，并删除源视频的具体步骤，包括：

步骤S301、判断每个时间点所对应的画面帧是否存在预设的标志信息；

步骤S302、若确定每个时间点所对应的画面帧存在预设的标志信息，则基于预设选取条件，选取每个时间点所对应的最优画面帧；

步骤S303、若确定每个时间点所对应的画面帧不存在预设的标志信息，则对每个时间点所对应的画面帧进行聚类，根据聚类结果选取每个时间点所对应的最优画面帧；

步骤S304、将所有时间点所对应的最优画面帧合并，生成新视频，并删除源视频。

需要说明的是，在本实施例中，预设的标志信息可以为人物、建筑或树木。

进一步地，基于预设选取条件，选取每个时间点所对应的最优画面帧的具体步骤，包括：

从每个时间点所对应的画面帧中，选取分辨率最高且标志信息满足预设条件的画面帧，作为每个时间点所对应的最优画面帧。

需要说明的是，在本实施例中，标志信息满足的预设条件可以为数量最多、数量最少或数量为预设的具体数值。

例如，在本实施例中，选取人物作为标志信息，选取人物数量最多作为预设条件，则基于预设选取条件，选取每个时间点所对应的最优画面帧的步骤可以为：

首先对同一时间点所对应的画面帧按照分辨率从高到低进行排序，然后，对每一个画面帧的人物进行标记，并进行人物数量的统计。比如六张画面帧，其中4张画面帧出现的人物为3个，其余1张的画面帧出现的人物为2个，另外的一张为4个，那么保留画面人物数量最多的画面帧，将其他画面人物属于少数的画面帧淘汰。最后保留分辨力最高，且满足人物数量的画面帧。

进一步地，对每个时间点所对应的画面帧进行聚类，根据聚类结果选取每个时间点所对应的最优画面帧的具体步骤，包括：

步骤A、对每个时间点所对应的每一画面帧的像素点进行色值提取处理，得到所述每个像素点的RGB色值；

步骤B、对所述每个像素点的RGB色值进行均值聚类；

步骤C、根据聚类结果确定所述每一帧画面帧的画面分类数据；

步骤D、选取所述画面分类数据最少的画面帧，作为每个时间点所对应的最优画面帧。

具体地，在本实施例中，对所述每个像素点的RGB色值进行均值聚类的具体步骤，包括：

1)初始化K个聚类中心，K个聚类中心分别为U1，U2，……Uk；

2)将所有像素点的R值，按照最小距离的原则，将其分配到最近的聚类集合中，其中距离采用欧氏距离进行计算；

3)将每个聚类集合中所有的R值的均值作为新的聚类中心；

4)重复步骤1)～3)，直到聚类中心不再发生变化；

5)结束，得到R值所对应的k个聚类值。

对于每个像素点的G值和B值分别重复上述步骤1)～5)，得到G值所对应的j个聚类值以及B值所对应的m个聚类值。

具体地，在本实施例中，根据聚类结果确定所述每一帧画面帧的画面分类数据的具体步骤，包括：

将R值所对应的k个聚类值、G值所对应的j个聚类值以及B值所对应的m个聚类值相加，即可得到画面帧的画面分类数据。画面分类数据越少，则表示该画面帧越好。

需要说明的是，在本实施例中，步骤S10～步骤S30中只是对源视频的画面帧进行处理，对源视频的背景音乐或配音信息不作任何处理，仍旧保留原有的背景音乐和/或配音信息。也就是说，在步骤S304中，将所有时间点所对应的最优画面帧合并，生成新视频的过程中是保留着源视频的背景音乐或配音信息的。其中，对风景介绍、生活趣事等视频，保留背景音乐，对体育竞技或各种大型赛事的视频，保留配音信息。

与现有技术中，视频平台对用户上传的视频均进行存储，导致视频平台存储了大量重复的视频，占用了存储空间，造成了资源的浪费相比，在本实施例中，通过根据预设的归类规则，对源视频进行相似度归类；对归类后的源视频进行分帧处理，得到画面帧，并将所述画面帧按时间维度进行编码；选取每个时间点所对应的最优画面帧，将所有时间点所对应的最优画面帧合并，生成新视频，并删除源视频，实现了对用户上传的视频进行相似判断，并对用户上传的视频进行优化处理，最后用优化后生成的新视频代替源视频，避免了视频平台的存储空间被大量重复且低质量的视频占用，节省了存储资源。

本申请实施例在视频处理方法的第一实施例的基础上，还提供了第二实施例。

在本实施例中，所述选取每个时间点所对应的最优画面帧的步骤，包括：

基于所述画面帧内容的相似度，对每个时间点所对应的各个画面帧进行分类，得到多个分类集合，并选取画面帧数量最多的分类集合；

从选取的分类集合中选取每个时间点所对应的最优画面帧。

需要说明的是，在本实施例中，存在源视频A～E是不同用户对同一比赛同一时间段的录制，但是源视频A～E之间的拍摄角度存在着差距，例如，录制源视频A时，手机的手持角度是水平方向的，录制源视频B～D时，手机的手持角度与水平方向存在较小的角度差(小于5度)，录制源视频E时，手机的手持角度与水平方向存在较大的角度差(大于10度)，则每个时间点所对应的画面帧中，从源视频E中获取的画面帧与从源视频A～D中获取的画面帧存在较大的差距，但是存在从源视频E中获取的画面帧的分辨率高于从源视频A～D中获取的画面帧，且标志信息也是最多的情况，这会导致在这个时间点选取的最优画面帧为从源视频E中获取的画面帧，与多个用户最终想要的视频内容出现了较大的偏差。

因此，在本实施例中，步骤S30、选取每个时间点所对应的最优画面帧，将所有时间点所对应的最优画面帧合并，生成新视频，并删除源视频的具体步骤，包括：

步骤S301、基于所述画面帧内容的相似度，对每个时间点所对应的各个画面帧进行分类，得到多个分类集合，并选取画面帧数量最多的分类集合；

步骤S302、判断选取的分类集合中的画面帧是否存在预设的标志信息；

步骤S303、若确定选取的分类集合中的画面帧存在预设的标志信息，则基于预设选取条件，从选取的分类集合中选取每个时间点所对应的最优画面帧；

步骤S304、若确定选取的分类集合中的画面帧不存在预设的标志信息，则对选取的分类集合中的每一画面帧进行聚类，根据聚类结果从选取的分类集合中选取每个时间点所对应的最优画面帧；

步骤S305、将所有时间点所对应的最优画面帧合并，生成新视频，并删除源视频。

需要说明的是，在本实施例中，所述画面帧内容的相似度通过以下方式进行计算得到：

对各个画面帧中的文本信息进行识别，得到文本数组；对所述文本数组进行组合，得到长字符串；选择其中一张画面帧所对应的长字符串作为标准长字符串，将其余各个画面帧所对应的长字符串与所述标准长字符串进行比对，得到文字相似度；

计算各个画面帧的感知哈希值，并选择其中一张画面帧的感知哈希值作为标准哈希值；判断其余各个画面帧的感知哈希值与标转哈希值的汉明距离是否小于阈值，若小于，则图片相似度为1，若不小于，则图片相似度为0；

对所述文字相似度和图片相似度进行权重计算，得到各个画面帧的相似度值。

需要说明的是，在本实施例中，对每个时间点所对应的各个画面帧进行分类，得到多个分类集合的具体步骤可以为：基于预设的梯度范围阈值，结合各个画面帧的相似，对每个时间点所对应的各个画面帧进行分类，得到多个分类集合。在本实施例中，预设的梯度范围阈值可以根据实际需求进行设置，例如，预设的梯度范围阈值为第一预设阈值、第二预设阈值和第三预设阈值，且第一预设阈值大于第二预设阈值大于第三预设阈值，则将相似度值大于第一预设阈值的画面帧归为一类，将相似度值位于第二预设阈值和第三预设阈值之间的画面帧归为一类，将相似度值小于第三预设阈值的画面帧归为一类。

本申请实施例在视频处理方法的第一实施例的基础上，还提供了第三实施例。

需要说明的是，在本实施例中，由于步骤S10中对源视频的归类存在一定的误差，因此，需在归为一类的源视频中筛选出背景音乐相同或配音文本信息相同的源视频，即进一步筛选。

即在步骤S20之前，还包括：

对归类后的源视频进行筛选，筛选出背景音乐/配音文本信息相同的源视频。

其中，对归类后的源视频进行筛选，筛选出背景音乐相同的源视频的过程如下：

随机提取归类后的源视频中的其中一个视频的背景音乐，并查找该背景音乐的完整版；

将完整版的背景音乐与所述归类后的源视频的背景音乐进行匹配，对匹配度高于预设第一匹配阈值的源视频进行标记；

判断标记的源视频的数量占归类后的源视频的数量的比值是否超过预设的第一占比阈值，若超过，则将标记的源视频筛选出来；若未超过，则返回至随机提取归类后的源视频中的其中一个视频的背景音乐，并查找该背景音乐的完整版的步骤。

其中，对归类后的源视频进行筛选，筛选出配音文本信息相同的源视频的过程如下：

随机提取归类后的源视频中的其中一个视频，将该视频的配音信息转换为配音文本信息；

将所述配音文本信息与所述归类后的源视频的配音文本信息进行匹配，对匹配度高于预设第二匹配阈值的源视频进行标记；

判断标记的源视频的数量占归类后的源视频的数量的比值是否超过预设的第二占比阈值，若超过，则将标记的源视频筛选出来；若未超过，则返回至随机提取归类后的源视频中的其中一个视频，将该视频的配音信息转换为配音文本信息的步骤。

需要说明的是，在本实施例中，预设第一匹配阈值和预设第二匹配阈值没有关联，其具体数值根据实际应用需求进行设置，在此不作具体限制。同样的，预设的第一占比阈值和预设的第二占比阈值也没有关联，其具体数值根据实际应用需求进行设置，在此不作具体限制。

在步骤S20之前对归类后的源视频进行筛选，筛选出背景音乐/配音文本信息相同的源视频，则步骤S20可以为对筛选后的源视频进行分帧处理，得到画面帧，并将所述画面帧按时间维度进行编码。

因此，步骤S20、对筛选后的源视频进行分帧处理，得到画面帧，并将所述画面帧按时间维度进行编码的具体步骤，包括：

步骤S201、对筛选后的源视频进行分帧处理，得到画面帧；

步骤S202、若确定所述筛选后的源视频的背景音乐相同，以所述背景音乐播放时间作为时间维度，将所述画面帧按时间维度进行编码；

步骤S203、若确定所述筛选后的源视频的配音文本信息相同，以配音播放时间作为时间维度，将所述画面帧按时间维度进行编码。

需要说明的是，本实施例中的视频处理方法可以应用于视频彩铃平台中，对视频彩铃进行处理。

例如，A、B、C三位用户分别录制了一段40S的视频准备作为自己手机的视频彩铃，同时将录制的视频上传至视频彩铃平台。其中，A用户从比赛开始，前期直接用手机拍摄电视播放画面进行录制，画面抖动很严重，后期将手机固定好了一定的位置，画面质量很高，也就是说A用户拍摄的视频画面质量前后差距较大；B用户通过手机观看直播，进行录制操作，但直播清晰度不够高，因为观看直播过程中的直播视角选择较远，以及手机网速问题，导致录制的视频清晰度参差不齐；C用户通过手机观看直播，并进行屏幕录制操作，但直播画面清晰度高，且镜头切换流畅，整个视频的清晰度较高，但是场景的分配不太合理。

将A、B、C三位用户上传至视频彩铃平台后，与视频彩铃平台中原有存储的视频彩铃一起作为源视频彩铃。记录每一个源视频彩铃所对应的字段信息，该字段信息包括地理位置、视频彩铃内容标签、视频彩铃内容文本信息和配音文本信息；从所有源视频彩铃中随机选择若干源视频彩铃作为对比视频彩铃；将每一源视频彩铃所对应的字段信息与对比视频彩铃所对应的字段信息依次进行比对；若其中一个字段信息的比对结果不满足该字段信息的预设条件，则停止比对，输出不相似结果；反之，若每一字段信息的比对结果均满足该字段信息的预设条件，则输出相似结果；将输出相似结果的源视频彩铃归为一类。

例如，从所有源视频彩铃中随机选择了3个源视频彩铃作为对比视频彩铃，遍历除3个对比视频彩铃外的所有源视频彩铃，将每一源视频彩铃所对应的字段信息与第一对比视频彩铃的字段信息依次进行比对，具体的比对过程如下：

步骤a、对所述地理位置进行判断；

步骤b、若所述地理位置相同，则从剩余字段信息中随机选择其一进行相似度计算；

步骤c、若计算得到的相似度结果满足第一预设条件，则从剩余字段信息中选择其一进行相似度计算；

步骤d、若计算得到的相似度结果不满足第一预设条件，则输出不相似结果；

步骤e、重复步骤c～步骤d，直至所有字段信息的相似度结果均满足第一预设条件，输出相似结果，或所有字段信息其一的相似度结果不满足第一预设条件，输出不相似结果；

步骤f、若所述地理位置不相同，则从剩余字段信息中随机选择其一进行相似度计算；

步骤g、若计算得到的相似度结果满足第二预设条件，则从剩余字段信息中选择其一进行相似度计算；

步骤h、若计算得到的相似度结果不满足第二预设条件，则输出不相似结果；

步骤i、重复步骤g～步骤h，直至所有字段信息的相似度结果均满足第二预设条件，输出相似结果，或所有字段信息其一的相似度结果不满足第二预设条件，输出不相似结果。

若每一源视频彩铃所对应的字段信息与第一对比视频彩铃的字段信息进行比对后输出的结果是相似的，则无需将每一源视频彩铃所对应的字段信息与第二对比视频彩铃的字段信息依次进行对比；若每一源视频彩铃所对应的字段信息与第一对比视频彩铃的字段信息进行比对后输出的结果是不相似的，则将每一源视频彩铃所对应的字段信息与第二对比视频彩铃的字段信息依次进行对比，若输出的结果是相似的，则无需将每一源视频彩铃所对应的字段信息与第三对比视频彩铃的字段信息依次进行对比，若输出的结果是不相似的，则将每一源视频彩铃所对应的字段信息与第三对比视频彩铃的字段信息依次进行对比，输出最终结果。每一源视频彩铃与第二对比视频彩铃或第三对比视频彩铃的字段信息比对过程即为步骤a～步骤i，第一预设条件和第二预设条件在第一实施例中已说明，在此不再赘述。

完成源视频彩铃的相似度归类后，对归类后的源视频彩铃进行分帧处理，得到画面帧；若归类后的源视频彩铃的背景音乐相同，则以所述背景音乐播放时间作为时间维度，将分帧处理得到的画面帧按时间维度进行编码；若归类后的源视频彩铃的配音文本信息相同，则以所述配音文本对应的配音播放时间作为时间维度，将分帧处理得到的画面帧按时间维度进行编码。

例如，A、B、C三位用户上传的视频彩铃归为一类，则经分帧处理后的结果如图5所示，图5中(a)部分示意图表示了A、B、C三位用户每个时间点所对应的画面帧，其中横坐标表示时间，纵坐标表示画面帧的质量。

在对归类后的源视频彩铃进行分帧处理，得到画面帧，并将所述画面帧按时间维度进行编码后，基于所述画面帧内容的相似度，对每个时间点所对应的各个画面帧进行分类，得到多个分类集合，并选取画面帧数量最多的分类集合；并判断选取的分类集合中的画面帧是否存在预设的标志信息；若确定选取的分类集合中的画面帧存在预设的标志信息，则基于预设选取条件，从选取的分类集合中选取每个时间点所对应的最优画面帧；若确定选取的分类集合中的画面帧不存在预设的标志信息，则对选取的分类集合中的每一画面帧进行聚类，根据聚类结果从选取的分类集合中选取每个时间点所对应的最优画面帧；将所有时间点所对应的最优画面帧合并，生成新视频彩铃，并删除源视频彩铃。

例如，基于预设选取条件，从选取的分类集合中选取每个时间点所对应的最优画面帧可以为：首先对选取的分类集合中的画面帧按照分辨率从高到低进行排序，然后，对每一个画面帧的人物进行标记，并进行人物数量的统计。比如A、B、C三位用户上传的视频彩铃归为一类，则每一时间所对应三张画面帧，其中，A用户所对应的画面帧的人物数量多于B、C用户所对应的画面帧，且其分辨率也高于B、C用户所对应的画面帧的分辨率，因此，该时间点所对应的最优画面帧即为A用户在该时间点的画面帧。

例如，对每个时间点所对应的画面帧进行聚类，根据聚类结果选取每个时间点所对应的最优画面帧的具体步骤，包括：对每个时间点所对应的每一画面帧的像素点进行色值提取处理，得到所述每个像素点的RGB色值；对所述每个像素点的RGB色值进行均值聚类；根据聚类结果确定所述每一帧画面帧的画面分类数据；选取所述画面分类数据最少的画面帧，作为每个时间点所对应的最优画面帧。其中，对所述每个像素点的RGB色值进行均值聚类的具体步骤与在第一实施例中已说明，在此不再赘述。比如A、B、C三位用户上传的视频彩铃归为一类，则每一时间点所对应三张画面帧，对这三张画面帧中每个像素点的RGB色值进行均值聚类后，可以得到A用户的聚类结果为：R值所对应1个聚类值、G值所对应1个聚类值以及B值所对应1个聚类值；B用户的聚类结果为：R值所对应1个聚类值、G值所对应2个聚类值以及B值所对应1个聚类值；C用户的聚类结果为：R值所对应2个聚类值、G值所对应1个聚类值以及B值所对应2个聚类值；由于画面分类数据为R值所对应聚类值、G值所对应聚类值以及B值所对应聚类值之和，因此，该时间点所对应的最优画面帧即为A用户在该时间点的画面帧。

在得到每一时间点所对应的最优画面帧后，将每一时间点所对应的最优画面帧按照时间维度合成成新的视频彩铃，如图5中(b)部分示意图示意，并删除A、B、C三位用户上传的源视频彩铃，同时视频彩铃平台将该新视频存储至A、B、C三位用户所对应的视频彩铃存储库中，作为A、B、C三位用户的手机视频彩铃。

本申请实施例还提供了一种视频处理装置，应用于视频平台，参照图6，图6为本申请一种视频处理装置第一实施例的功能模块示意图。

一种视频处理装置，包括：

分类模块10，用于对源视频进行相似度归类；

预处理模块20，用于对归类后的源视频进行分帧处理，得到画面帧，并将所述画面帧按时间维度进行编码；

视频合成模块30，用于选取每个时间点所对应的最优画面帧，将所有时间点所对应的最优画面帧合并，生成新视频，并删除源视频。

可选地，所述视频合成模块包括：

第一判断单元，用于判断每个时间点所对应的画面帧是否存在预设的标志信息

若确定每个时间点所对应的画面帧存在预设的标志信息，所述第一选取单元，用于基于预设选取条件，选取每个时间点所对应的最优画面帧；

若确定每个时间点所对应的画面帧不存在预设的标志信息，所述第二选取单元，用于对每个时间点所对应的画面帧进行聚类，根据聚类结果选取每个时间点所对应的最优画面帧。

可选地，所述第二选取单元用于实现：

对每个时间点所对应的每一画面帧的像素点进行色值提取处理，得到所述每个像素点的RGB色值；

对所述每个像素点的RGB色值进行均值聚类；

根据聚类结果确定所述每一画面帧的画面分类数据；

选取所述画面分类数据最少的画面帧，作为每个时间点所对应的最优画面帧。

可选地，所述第一选取单元用于实现：

从每个时间点所对应的画面帧中，选取分辨率最高且标志信息满足预设条件的画面帧，作为每个时间点所对应的最优画面帧。

可选地，所述预处理模块包括：

分帧处理单元，用于对归类后的源视频进行分帧处理，得到画面帧；

编码单元，用于若所述归类后的源视频的背景音乐相同，则以所述背景音乐播放时间作为时间维度，将所述画面帧按时间维度进行编码；

若所述归类后的源视频的配音文本信息相同，则以所述配音文本对应的配音播放时间作为时间维度，将所述画面帧按时间维度进行编码。

可选地，所述分类模块用于实现：

记录源视频所对应的字段信息，所述字段信息包括地理位置、视频内容标签、视频内容文本信息和配音文本信息；

从所有源视频中随机选择若干源视频作为对比视频；

将所述源视频所对应的字段信息与所述对比视频所对应的字段信息依次进行比对；

若其中一个字段信息的比对结果不满足该字段信息的预设条件，则停止比对，输出不相似结果；

若每一字段信息的比对结果均满足该字段信息的预设条件，则输出相似结果；

将输出相似结果的源视频归为一类。

可选地，所述视频合成模块还包括：

第一分类单元，用于基于所述画面帧内容的相似度，对每个时间点所对应的各个画面帧进行分类，得到多个分类集合，并选取画面帧数量最多的分类集合；

所述第一判断单元用于实现：判断选取的分类集合中的画面帧是否存在预设的标志信息；

若确定选取的分类集合中的画面帧存在预设的标志信息，所述第一选取单元用于实现：基于预设选取条件，从选取的分类集合中选取每个时间点所对应的最优画面帧；

若确定选取的分类集合中的画面帧不存在预设的标志信息，所述第二选取单元用于实现：对选取的分类集合中的每一画面帧进行聚类，根据聚类结果从选取的分类集合中选取每个时间点所对应的最优画面帧。

本申请视频处理装置具体实施方式与上述视频处理方法各实施例基本相同，在此不再赘述。

本申请实施例还提出一种存储介质，所述存储介质上存储有视频处理程序，所述视频处理程序被处理器执行时实现如上所述的视频处理方法的步骤。

本申请存储介质具体实施方式与上述视频处理方法各实施例基本相同，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种视频处理方法，其特征在于，所述视频处理方法包括以下步骤：

对源视频进行相似度归类；

对归类后的源视频进行分帧处理，得到画面帧，并将所述画面帧按时间维度进行编码；

选取每个时间点所对应的最优画面帧，将所有时间点所对应的最优画面帧合并，生成新视频，并删除源视频。

2.如权利要求1所述的视频处理方法，其特征在于，所述选取每个时间点所对应的最优画面帧的步骤，包括：

若确定每个时间点所对应的画面帧存在预设的标志信息，则基于预设选取条件，选取每个时间点所对应的最优画面帧；

若确定每个时间点所对应的画面帧不存在预设的标志信息，则对每个时间点所对应的画面帧进行聚类，根据聚类结果选取每个时间点所对应的最优画面帧。

3.如权利要求2所述的视频处理方法，其特征在于，所述对每个时间点所对应的画面帧进行聚类，根据聚类结果选取每个时间点所对应的最优画面帧的步骤，包括：

对每个时间点所对应的每一画面帧的像素点进行色值提取处理，得到所述每个像素点的RGB色值；

对所述每个像素点的RGB色值进行均值聚类；

根据聚类结果确定所述每一画面帧的画面分类数据；

选取所述画面分类数据最少的画面帧，作为每个时间点所对应的最优画面帧。

4.如权利要求2所述的视频处理方法，其特征在于，所述基于预设选取条件，选取每个时间点所对应的最优画面帧的步骤，包括：

从每个时间点所对应的画面帧中，选取分辨率最高且标志信息满足预设条件的画面帧，作为每个时间点所对应的最优画面帧。

5.如权利要求1所述的视频处理方法，其特征在于，所述选取每个时间点所对应的最优画面帧的步骤，包括：

基于所述画面帧内容的相似度，对每个时间点所对应的各个画面帧进行分类，得到多个分类集合，并选取画面帧数量最多的分类集合；

从选取的分类集合中选取每个时间点所对应的最优画面帧。

6.如权利要求1所述的视频处理方法，其特征在于，所述对源视频进行相似度归类的步骤，包括：

记录源视频所对应的字段信息，所述字段信息包括地理位置、视频内容标签、视频内容文本信息和配音文本信息；

从所有源视频中随机选择若干源视频作为对比视频；

将所述源视频所对应的字段信息与所述对比视频所对应的字段信息依次进行比对；

若其中一个字段信息的比对结果不满足该字段信息的预设条件，则停止比对，输出不相似结果；

若每一字段信息的比对结果均满足该字段信息的预设条件，则输出相似结果；

将输出相似结果的源视频归为一类。

7.如权利要求1所述的视频处理方法，其特征在于，所述对归类后的源视频进行分帧处理，得到画面帧，并将所述画面帧按时间维度进行编码的步骤，包括：

对归类后的源视频进行分帧处理，得到画面帧；

若所述归类后的源视频的背景音乐相同，则以所述背景音乐播放时间作为时间维度，将所述画面帧按时间维度进行编码；

若所述归类后的源视频的配音文本信息相同，则以所述配音文本对应的配音播放时间作为时间维度，将所述画面帧按时间维度进行编码。

8.一种视频处理装置，其特征在于，所述装置包括：

分类模块，用于对源视频进行相似度归类；

预处理模块，用于对归类后的源视频进行分帧处理，得到画面帧，并将所述画面帧按时间维度进行编码；

视频合成模块，用于选取每个时间点所对应的最优画面帧，将所有时间点所对应的最优画面帧合并，生成新视频，并删除源视频。

9.一种视频处理设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频处理程序，所述视频处理程序配置为实现如权利要求1至7中任一项所述的视频处理方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有视频处理程序，所述视频处理程序被处理器执行时实现如权利要求1至7中任一项所述的视频处理方法的步骤。

Images