CN111274446A

CN111274446A - 视频处理方法及相关装置

Info

Publication number: CN111274446A
Application number: CN202010136223.6A
Authority: CN
Inventors: 尹康
Original assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Current assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date: 2020-03-02
Filing date: 2020-03-02
Publication date: 2020-06-12
Also published as: WO2021175040A1

Abstract

本申请提供了一种视频处理方法及相关装置，首先，提取视频数据集包括的N个视频的N个视频特征数据，N为正整数；接着，获取所述N个视频特征数据之间每两个视频特征数据的匹配度数据；然后，基于所述匹配度数据将所述N个视频划分为M个视频聚类簇，M为小于或等于N的正整数；最后，基于预设去重规则逐一对所述M个视频聚类簇进行去重处理，得到去重后的视频数据集，所述去重后的视频数据集包括M个视频。可以通过高效的特征提取算法对视频数据集中的重复视频进行准确聚类，再将聚类的重复视频进行去重，大大提升了视频去重的准确性。

Description

视频处理方法及相关装置

技术领域

本申请涉及数据去重技术领域，特别是一种视频处理方法及相关装置。

背景技术

随着技术的发展，深度学习理论已经成为图像分类、目标检测等基础图像处理领域的主流解决方案，在视频处理领域也获得了广泛关注。在构建视频处理相关的模型时，需要大量训练数据进行训练，且训练数据集的规模和质量直接影响了模型的构建速度和准确性。但是，视频数据在采集过程中会不可避免地引入大量重复数据，所以为了提升基于深度学习理论的视频处理模型的性能，有必要预先对数据集进行去重操作。

目前的常用视频去重算法是基于关键点匹配来进行去重，但利用关键点提取图像特征的过程太过繁琐，并且在特征匹配时使用的k-means等聚类算法需要人工预先设置类别数等参数，无法保证最终去重处理的准确性。

发明内容

基于上述问题，本申请提出了一种视频处理方法及相关装置，可以通过高效的特征提取算法对视频数据集中的重复视频进行准确聚类，再将聚类的重复视频进行去重，大大提升了视频去重的准确性。

本申请实施例第一方面提供了一种视频处理方法，包括：

提取视频数据集包括的N个视频的N个视频特征数据，N为正整数；

获取所述N个视频特征数据之间每两个视频特征数据的匹配度数据；

基于所述匹配度数据将所述N个视频划分为M个视频聚类簇，M为小于或等于N的正整数；

基于预设去重规则逐一对所述M个视频聚类簇进行去重处理，得到去重后的视频数据集，所述去重后的视频数据集包括M个视频。

本申请实施例第二方面提供了一种视频处理装置，所述装置包括处理单元和通信单元，其中，

所述处理单元，用于提取视频数据集包括的N个视频的N个视频特征数据，N为正整数；获取所述N个视频特征数据之间每两个视频特征数据的匹配度数据；基于所述匹配度数据将所述N个视频划分为M个视频聚类簇，M为小于或等于N的正整数；基于预设去重规则逐一对所述M个视频聚类簇进行去重处理，得到去重后的视频数据集，所述去重后的视频数据集包括M个视频。

本申请实施例第三方面提供了一种电子设备，包括应用处理器、通信接口和存储器，所述应用处理器、通信接口和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述应用处理器被配置用于调用所述程序指令，执行如本申请实施例第一方面所描述的全部或部分方法的步骤。

本申请实施例第四方面提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如本申请实施例第一方面所描述的全部或部分方法的步骤。

本申请实施例第五方面提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

通过实施上述申请实施例，可以得到以下有益效果：

上述视频处理方法及相关装置，首先，提取视频数据集包括的N个视频的N个视频特征数据，N为正整数；接着，获取所述N个视频特征数据之间每两个视频特征数据的匹配度数据；然后，基于所述匹配度数据将所述N个视频划分为M个视频聚类簇，M为小于或等于N的正整数；最后，基于预设去重规则逐一对所述M个视频聚类簇进行去重处理，得到去重后的视频数据集，所述去重后的视频数据集包括M个视频。可以通过高效的特征提取算法对视频数据集中的重复视频进行准确聚类，再将聚类的重复视频进行去重，大大提升了视频去重的准确性。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种视频处理方法的系统架构图；

图2为本申请实施例提供的一种视频处理方法的流程示意图；

图3为本申请实施例提供的一种电子设备的结构示意图；

图4为本申请实施例提供的一种视频处理装置的功能单元组成框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例所涉及到的电子设备可以是具备通信能力的电子设备，该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等等。

下面对本申请实施例进行详细介绍。

图1为本申请实施例提供的一种视频处理方法的系统构架图，包括视频获取模块110、匹配模块120、分类模块130以及去重处理模块140，上述视频获取模块110、上述匹配模块120、上述分类模块130和上述去重处理模块140之间相互连接，上述视频获取模块110可以获取待处理的视频组成的视频数据集，并将上述视频数据集发送至上述匹配模块120，上述匹配模块120可以将接收到的上述视频数据集中的待处理的视频进行匹配，并将匹配的结果发送至上述分类模块130，上述分类模块130可以根据匹配的结果对上述待处理的视频进行分类得到多个视频聚类簇，每个视频聚类簇为一个视频或多个重复的视频，最后上述去重处理模块140将每个视频聚类簇进行去重处理，得到去重后的视频数据集，完成视频去重的步骤。

需要说明的是，神经网络模型的训练数据可能会存在大量重复数据，将所有训练数据都用于训练模型效率不高且会导致神经模型的精度降低，所以对大量训练数据进行去重处理，自动选择出训练效果较好的训练数据十分重要，本申请实施例中的系统架构可以应用于筛选视频处理相关的神经网络模型的训练数据的场景。

通过上述系统架构，可以通过高效的特征提取算法对视频数据集中的重复视频进行准确聚类，再对聚类的重复视频进行去重处理，大大提升了视频去重的准确性。

下面结合图2对本申请实施例中的一种视频处理方法作详细说明，图2为本申请实施例提供的一种视频处理方法的流程示意图，具体包括以下步骤：

步骤201，提取视频数据集包括的N个视频的N个视频特征数据。

其中，上述视频数据集为N个待处理视频组成的集合，N为任意正整数，可以对每个视频进行处理提取到每个视频对应的视频特征数据，为便于理解，下面以任意一个视频的视频特征数据提取步骤进行说明。

首先对该视频进行逐帧读取，获取到该视频的每帧图像数据，之后通过感知哈希算法(Perceptual Hash Algorithm，PHA)提取每帧图像数据的特征向量，为便于理解，下面对任意一帧图像数据的特征向量提取步骤进行具体说明，上述单帧图像数据为彩色图像，包括红(Red)、绿(Green)、蓝(Blue)三个颜色通道，可以先将该RGB三通道的单帧图像转换为单通道的灰度图像，并通过双线性插值算法将转换后的灰度图像的大小归一化为32×32像素大小，以提升提取效率，接着进行离散余弦变换(Discrete Cosine Transform，DCT)，获取到32×32的系数矩阵，之后选取每个系数矩阵左上角位置8×8区域的64个系数进行普通量化得到二值图像，上述普通量化处理的规则如下公式：

最后将上述二值图像展平得到的64维向量作为该帧图像数据的特征向量，同理，对每帧图像数据进行处理得到每帧图像对应的特征向量。

如上所述，在得到一个视频的每帧图像对应的特征向量之后，可以基于上述特征向量得到该视频对应的视频特征数据。

可选的，上述视频特征数据可以为特征序列，上述一个特征序列可以理解为一个视频对应的每帧图像数据对应的全部特征向量的集合，可以通过对该视频的每帧图像的特征向量进行级联来得到上述特征序列，具体的，可以先初始化一个空列表，然后获取该视频数据的每帧图像数据对应的时间戳，然后根据时间戳的先后顺序将上述每帧图像数据对应的64维向量依次排列，并加入上述空列表，得到该视频对应的一个特征序列，重复上述步骤直到获取到上述N个视频对应的N个特征序列，上述不同的视频对应不同的特征序列，需要说明的是，在生成特征序列时，可以基于不同的应用场景对上述特征向量进行下采样，即每隔2帧、4帧等抽取一个特征向量级联来得到特征序列，视频的图像帧数不同其对应的特征序列的长度也可能不同。

可选的，上述视频特征数据可以为视频特征向量，上述视频特征向量为多维向量，由每帧图像的图像特征向量叠加组成，可以通过将上述每帧RGB三通道的图像转换为单通道的灰度图像，并通过双线性插值算法将转换后的灰度图像的大小归一化为32×32像素大小，以提升提取效率，接着进行离散余弦变换(Discrete Cosine Transform，DCT)，获取到32×32的系数矩阵，之后选取每个系数矩阵左上角位置8×8区域的64个系数进行特殊量化得到特殊二值图像，上述特殊量化处理的规则如下公式：

之后将上述特殊量化后的全部特殊二值图像展平得到的64维特殊向量进行叠加，最后对叠加后的64维特殊向量进行上述普通量化生成上述视频特征向量，上述视频特征向量可以反映对应的视频的内容信息。

通过提取视频数据集包括的N个视频的N个视频特征数据，可以以两种方式提取到两种视频特征数据，可以应付多种视频处理场景，大大提升了后续视频处理的灵活性。

步骤202，获取所述N个视频特征数据之间每两个视频特征数据的匹配度数据。

其中，上述匹配度数据表示N个视频特征数据中，每两个视频特征数据之间的相似性，上述匹配度数据可以等同于N个视频中每两个视频之间的相似性。

可选的，当上述视频特征数据为特征序列时，由于特征序列的长度可能不同，无法采用测量特征序列的欧氏距离等常规方法来计算每两个特征序列之间的相似性，可以通过匹配函数计算N个特征序列中每两个特征序列之间的最长公共子序列长度，举例来说，将视频数据集以V＝{v₁,v₂,…,v_N}表示，即上述视频数据集V中存在N个视频v，将N个特征序列中任意两个不同的特征序列以F_i和F_j表示，其中F_i＝{f_i1,f_i2,…,f_in}，F_j＝{f_j1,f_j2,…,f_jm}，即任意一个特征序列F_i由包括n帧图像数据对应的n个特征向量f组成，另一个特征序列F_j由m帧图像数据对应的m个特征向量f组成，上述m和n可以相同也可以不同，匹配函数match(F_i,F_j)可以确定任意两个特征序列之间的最长公共子序列F^*＝(f^* ₁,f^* ₂,…,f^* _k)，其中F^*∈F_i、F^*∈F_j且F^*为所有公共子序列中的最长的公共子序列，k为上述最长公共子序列的长度，依次计算每两个特征序列的最长公共子序列的长度直到将N个特征序列都计算完毕，结合组合公式

得到

个最长公共子序列的长度。

可选的，当上述视频特征数据为视频特征向量时，计算其曼哈顿距离(ManhattanDistance)，并将每两个视频特征向量之间的曼哈顿距离作为上述匹配度数据，具体的曼哈顿距离计算步骤可以采用现有的算法，在此不再赘述。

步骤203，基于所述匹配度数据将所述N个视频划分为M个视频聚类簇。

其中，M为小于或等于N的正整数，每个视频聚类簇中可以包括至少一个视频，即多个内容重复的视频会归类至同一视频聚类簇中，不存在内容重复的视频的单一视频可以自成一个视频聚类簇。

可选的，当匹配度数据为最长公共子序列的长度时，可以设置预设长度阈值，若任意两个视频的最长公共子序列大于预设长度阈值，则表示该最长公共子序列对应的两个视频为重复视频集，N个视频中每个视频都需要与另外的视频两两匹配得到对应的最长公共子序列的长度。

可以结合上述F_i、F_j的表示方式用伪代码进行说明，如下所示：

其中，上述输出的视频聚类簇集合C包括M个视频聚类簇，上述N维标志向量的作用是判断该视频是否已经加入了某一个视频聚类簇，若已经加入了某一个视频聚类簇，则可以不再次判断其与其他视频的最长公共子序列是否大于上述预设长度阈值

具体的，以第一个视频举例来说，可以判断第一个视频与第二个视频的最长公共子序列的长度是否大于上述预设长度阈值，若第一个视频与第二个视频的最长公共子序列的长度大于上述预设长度阈值，则说明第一个视频与第二个视频为重复视频集，需要将第一个视频与第二个视频划分为第一视频聚类簇，若第一个视频与第二个视频的最长公共子序列的长度小于或等于上述预设长度阈值，则第一个视频和第二个视频为不同的视频，不属于同一视频聚类簇；之后依次判断第一个视频与第三个视频、第四个视频直到第N个视频之间的最长公共子序列的长度是否大于预设长度阈值，若第一个视频与第三个视频的最长公共子序列的长度大于上述预设长度阈值，则说明第一个视频与第三个视频也为重复视频集，且第一个视频、第二个视频和第三个视频都为重复视频集，需要将第三个视频划分至上述第一视频聚类簇，若第一个视频与第三个视频的最长公共子序列的长度小于或等于上述预设长度阈值，则第一个视频与第三个视频不属于同一视频聚类簇；以此类推筛选出N个视频中与第一个视频为重复视频集的视频，并将其划分至上述第一视频聚类簇；上述第一视频聚类簇确定后，可以继续确定第二视频聚类簇，即判断第二个视频与第三个视频到第N个视频之间的最长公共子序列的长度是否大于上述预设长度阈值，如上所述筛选出N个视频中与第二个视频为重复视频集的视频，并将其划分至第二视频聚类簇，直到将上述N个视频划分为M个视频聚类簇。

可选的，当匹配度数据为视频特征向量之间的曼哈顿距离时，可以基于N个视频特征向量中每两个视频特征向量之间的曼哈顿距离，采用层次聚类算法(HierarchicalDensity-Based Spatial Clustering of Applications with Noise，HDBSCAN)来将N个视频划分为M个视频聚类簇，需要说明的是，跟采用匹配函数来划分视频聚类簇的方法相比，采用HDBSCAN来划分视频聚类簇可以提升聚类的速度，但采用匹配函数的方法准确度更高，可以基于不同的应用需求灵活切换划分视频聚类簇的方法。

可见，基于所述匹配度数据将所述N个视频划分为M个视频聚类簇，可以快速且准确地将重复视频分别划分至对应的视频聚类簇中，大大提升了视频去重处理的准确性。

步骤204，基于预设去重规则逐一对所述M个视频聚类簇进行去重处理，得到去重后的视频数据集。

其中，上述去重后的视频数据集包括M个视频，即每个视频聚类簇只保留一个视频，上述预设去重规则可以包括至少一个去重指标数据，上述去重指标数据可以包括视频时长指标、视频编辑次数指标、视频画质指标、视频格式指标、视频质量指标等视频相关数据中的任意一个或任意组合，基于应用场景的不同来选择不同的去重指标数据，上述视频时长指标可以为视频时长最长或视频时长最短等时长限定，上述视频编辑次数指标可以为视频编辑次数最少或视频编辑次数最多等编辑限定，上述视频画质指标可以为视频画质最清晰或视频画质最模糊等画质限定，上述视频格式指标可以为MP4格式或AVI格式等格式限定，上述视频质量指标可以为视频质量最高或视频质量最低等质量限定。

举例来说，若去重指标数据为视频时长指标且此时视频时长指标为视频时长最长的限定，则预设去重规则为保留每个视频聚类簇中视频时长最长的视频，删去其他视频，得到去重后的视频数据集。同理，当去重指标数据为视频编辑次数指标、视频画质指标、视频格式指标、视频质量指标等视频相关数据中的任意一个或任意组合时，同样基于对应的预设去重规则对每个视频聚类簇进行去重处理，得到对应的去重后的视频数据集，在此不再赘述。

其中，视频数据集可以与预设去重规则中的去重指标数据可以存在映射关系，去重指标数据可以人为更改，也可以根据视频数据集自动选择最符合该视频数据集的去重指标数据，在此不作具体限定。

可见，基于预设去重规则逐一对所述M个视频聚类簇进行去重处理，得到去重后的视频数据集，可以灵活适应不同的应用场景来对视频数据集进行最合适的去重处理，大大提升了视频去重的准确性和泛用性。

下面结合图3对本申请实施例中一种电子设备300进行说明，图3为本申请实施例提供的一种电子设备300的结构示意图，包括应用处理器301、通信接口302和存储器303，所述应用处理器301、通信接口302和存储器303通过总线304相互连接，总线304可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。总线304可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。其中，所述存储器303用于存储计算机程序，所述计算机程序包括程序指令，所述应用处理器301被配置用于调用所述程序指令，执行以下步骤的方法：

在一个可能的实施例中，所述视频特征数据包括特征序列；在所述提取视频数据集中的N个视频的N个视频特征数据方面，所述程序中的指令具体用于执行以下操作：

获取所述每个视频的每帧图像数据；

通过感知哈希算法提取所述每帧图像数据的特征向量；

将所述每帧图像数据的特征向量进行级联得到所述每个视频对应的特征序列，所述特征序列用于表示视频的内容特征。

在一个可能的实施例中，在所述获取所述N个视频特征数据之间每两个视频特征数据的匹配度数据方面，所述程序中的指令具体用于执行以下操作：

基于匹配函数获取N个特征序列中每两个特征序列之间的最长公共子序列；

将每个最长公共子序列的长度确定为所述N个视频特征数据之间每两个视频特征数据的匹配度数据。

在一个可能的实施例中，在所述基于所述匹配度数据将所述N个视频划分为M个视频聚类簇方面，所述程序中的指令具体用于执行以下操作：

将所述最长公共子序列的长度大于预设长度阈值的所述最长公共子序列对应的两个视频确定为一个重复视频集；

获取每个重复视频集之间的重合视频信息，所述重合视频信息用于表示每个重复视频集之间是否存在相同视频；

根据所述重合视频信息将全部重复视频集包括的所述N个视频划分为所述M个视频聚类簇。

在一个可能的实施例中，在所述基于预设去重规则逐一对所述M个视频聚类簇进行去重处理，得到去重后的视频数据集方面，所述程序中的指令具体用于执行以下操作：

获取所述视频数据集对应的预设去重规则，所述预设去重规则包括去重指标数据；

筛选出每个视频聚类簇中满足所述去重指标数据的视频进行保留；

将所述M个视频聚类簇中保留的M个视频作为所述去重后的视频数据集。

在一个可能的实施例中，在所述特征向量包括64维向量；所述通过感知哈希算法提取所述每帧图像数据的特征向量方面，所述程序中的指令具体用于执行以下操作：

将所述每帧图像数据转化为32×32像素的灰度图像数据；

通过离散余弦变换对所述灰度图像数据进行处理，得到32×32的系数矩阵；

选取每个系数矩阵左上位置8×8区域的64个系数进行量化，得到所述每帧图像数据的64维向量。

在一个可能的实施例中，在所述将所述每帧图像数据的特征向量进行级联得到所述每个视频对应的特征序列方面，所述程序中的指令具体用于执行以下操作：

获取所述每帧图像数据的时间戳；

根据所述时间戳的先后顺序将所述64维向量依次排列，生成所述每个视频对应的特征序列。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

图4是本申请实施例提供的一种视频处理装置400的功能单元组成框图。所述视频处理装置400应用于电子设备，包括处理单元401、通信单元402和存储单元403，其中，所述处理单元401，用于执行如上述方法实施例中的任一步骤，且在执行诸如发送等数据传输时，可选择的调用所述通信单元402来完成相应操作。下面进行详细说明。

所述处理单元401，用于提取视频数据集包括的N个视频的N个视频特征数据，N为正整数；

在一个可能的实施例中，所述视频特征数据包括特征序列；在所述提取视频数据集中的N个视频的N个视频特征数据方面，所述处理单元401具体用于：

获取所述每个视频的每帧图像数据；

通过感知哈希算法提取所述每帧图像数据的特征向量；

在一个可能的实施例中，在所述获取所述N个视频特征数据之间每两个视频特征数据的匹配度数据方面，所述处理单元401具体用于：

在一个可能的实施例中，在所述基于所述匹配度数据将所述N个视频划分为M个视频聚类簇方面，所述处理单元401具体用于：

在一个可能的实施例中，在所述基于预设去重规则逐一对所述M个视频聚类簇进行去重处理，得到去重后的视频数据集方面，所述处理单元401具体用于：

在一个可能的实施例中，在所述特征向量包括64维向量；所述通过感知哈希算法提取所述每帧图像数据的特征向量方面，所述处理单元401具体用于：

将所述每帧图像数据转化为32×32像素的灰度图像数据；

在一个可能的实施例中，在所述将所述每帧图像数据的特征向量进行级联得到所述每个视频对应的特征序列方面，所述处理单元401具体用于：

获取所述每帧图像数据的时间戳；

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。

本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种视频处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述视频特征数据包括特征序列；所述提取视频数据集中的N个视频的N个视频特征数据，包括：

获取所述每个视频的每帧图像数据；

通过感知哈希算法提取所述每帧图像数据的特征向量；

3.根据权利要求2所述的方法，其特征在于，所述获取所述N个视频特征数据之间每两个视频特征数据的匹配度数据，包括：

4.根据权利要求3所述的方法，其特征在于，所述基于所述匹配度数据将所述N个视频划分为M个视频聚类簇，包括：

5.根据权利要求1所述的方法，其特征在于，所述视频特征数据包括视频特征向量；所述提取视频数据集中的N个视频的N个视频特征数据，包括：

获取所述每个视频的每帧图像数据；

通过感知哈希算法提取所述每帧图像数据的图像特征向量；

将所述每帧图像数据的图像特征向量叠加，组成所述视频特征向量。

6.根据权利要求5所述的方法，其特征在于，所述获取所述N个视频特征数据之间每两个视频特征数据的匹配度数据，包括：

获取N个视频特征向量中每两个视频特征向量之间的的曼哈顿距离数据；

将每个曼哈顿距离数据确定为所述N个视频特征数据之间每两个视频特征数据的匹配度数据。

7.根据权利要求1～6任一项所述的方法，其特征在于，所述基于预设去重规则逐一对所述M个视频聚类簇进行去重处理，得到去重后的视频数据集，包括：

8.根据权利要求2所述的方法，其特征在于，所述特征向量包括64维向量；所述通过感知哈希算法提取所述每帧图像数据的特征向量，包括：

将所述每帧图像数据转化为32×32像素的灰度图像数据；

9.根据权利要求6所述的方法，其特征在于，所述将所述每帧图像数据的特征向量进行级联得到所述每个视频对应的特征序列，包括：

获取所述每帧图像数据的时间戳；

10.一种视频处理装置，其特征在于，所述装置包括处理单元和通信单元，其中，

11.一种电子设备，其特征在于，包括应用处理器、通信接口和存储器，所述应用处理器、通信接口和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述应用处理器被配置用于调用所述程序指令，执行如权利要求1～9任一项所述的方法。

12.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1～9任一项所述的方法。