CN107180056B - 视频中片段的匹配方法和装置 - Google Patents

Abstract

本发明公开了一种视频中片段的匹配方法和装置。其中，该方法包括：获取样本视频中的样本特征序列，其中，样本特征序列至少包括一个样本特征；将样本特征与母本视频的特征集合进行匹配，得到与样本特征匹配的候选特征集合；依据样本特征和与样本特征匹配的候选特征集合，生成样本视频与对应的母本视频的特征匹配关系集合；依据特征匹配关系集合，判断样本视频和母本视频中是否存在连续帧对应的特征匹配关系；在判断结果为是的情况下，从母本视频中获取对应样本视频的匹配片段。本发明解决了由于相关技术中缺少依据视频匹配技术缺少对视频中片段的定位技术，导致的视频匹配精度低的技术问题。

Description

视频中片段的匹配方法和装置

技术领域

本发明涉及计算机应用技术领域，具体而言，涉及一种视频中片段的匹配方法和装置。

背景技术

当今互联网存在着大量的不良的视频，包括违禁视频(色情、暴恐、涉政)和侵权视频，不但给互联网平台商、运营商带来巨大的违规风险，也给社会、国家造成巨大的负面影响。视频是一种非结构化程度很高的数据，通过视频内容进行搜索、比对十分困难，往往采用人工审核的方式，使得对违禁视频和侵权视频的管控成本大大增加，效率也十分低下。基于内容的视频搜索和比对技术大大提高了这项任务的效率。

基于内容的图像(视频)的检索(CBIR/CBVR)。该技术基于图像(视频)的内容(如纹理、颜色、边缘、形状、局部特征点、运动向量等从图像或视频自身中获得的特征)进行分析，而不是类似关键字、标签、链接等元数据进行分析。具体的相关技术如下：

技术1，通过模板匹配的方式进行视频特征匹配。通将模板视频的指纹序列在待查询视频的指纹序列上滑动，通过计算互相关系数找出相似度最大的匹配位置。这里的指纹即视频特征。

技术2，采用基于倒排索引的方式。对视频特征进行倒排索引，然后通过对每个特征进行最近邻查找并累计命中数目，特征命中最多的视频即为搜索和匹配结果。

技术3，采用基于关键帧的方式。截取视频的关键帧，通过图像搜索和匹配的方式来实现视频的搜索和匹配。

其中，技术1至技术3中，技术1，通过模板匹配的方式。当视频库是海量时，检索效率极其低下；而且模板匹配无法实现帧率不同视频之间的匹配。技术2，基于倒排索引方式。无法实现对视频片段的定位。技术3，基于关键帧的方式。图像特征量级重，检索效率低下，而且无法实现片段定位。

针对上述由于相关技术中缺少依据视频匹配技术缺少对视频中片段的定位技术，导致的视频匹配精度低的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种视频中片段的匹配方法和装置，以至少解决由于相关技术中缺少依据视频匹配技术缺少对视频中片段的定位技术，导致的视频匹配精度低的技术问题。

根据本发明实施例的一个方面，提供了一种视频中片段的匹配方法，包括：获取样本视频中的样本特征序列，其中，样本特征序列至少包括一个样本特征；将样本特征与母本视频的特征集合进行匹配，得到与样本特征匹配的候选特征集合；依据样本特征和与样本特征匹配的候选特征集合，生成样本视频与对应的母本视频的特征匹配关系集合；依据特征匹配关系集合，判断样本视频和母本视频中是否存在连续帧对应的特征匹配关系；在判断结果为是的情况下，从母本视频中获取对应样本视频的匹配片段。

根据本发明实施例的另一方面，还提供了一种视频中片段的匹配装置，包括：特征提取模块，用于获取样本视频中的样本特征序列，其中，样本特征序列至少包括一个样本特征；匹配模块，用于将样本特征与母本视频的特征集合进行匹配，得到与样本特征匹配的候选特征集合；匹配关系生成模块，用于依据样本特征和与样本特征匹配的候选特征集合，生成样本视频与对应的母本视频的特征匹配关系集合；判断模块，用于依据特征匹配关系集合，判断样本视频和母本视频中是否存在连续帧对应的特征匹配关系；校正模块，用于在判断结果为是的情况下，从母本视频中获取对应样本视频的匹配片段。

在本发明实施例中，通过获取样本视频中的样本特征序列，其中，样本特征序列至少包括一个样本特征；将样本特征与母本视频的特征集合进行匹配，得到与样本特征匹配的候选特征集合；依据样本特征和与样本特征匹配的候选特征集合，生成样本视频与对应的母本视频的特征匹配关系集合；依据特征匹配关系集合，判断样本视频和母本视频中是否存在连续帧对应的特征匹配关系；在判断结果为是的情况下，从母本视频中获取对应样本视频的匹配片段，达到了将样本视频定位至母本视频中对应片段的目的，从而实现了提升视频匹配精度的技术效果，进而解决了由于相关技术中缺少依据视频匹配技术缺少对视频中片段的定位技术，导致的视频匹配精度低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种视频中片段的匹配方法的计算机终端的硬件结构框图；

图2是根据本发明实施例一的视频中片段的匹配方法的流程图；

图3是根据本发明实施例一的视频中片段的匹配方法中特征匹配关系集合的示意图；

图4是根据本发明实施例一的视频中片段的匹配方法中特征匹配点的匹配图；

图5是笛卡尔坐标系中的直线的点的数量对应极坐标中该点处的累加高度的示意图；

图6是NMS示意图；

图7是匹配段过滤和精细帧校准流程图；

图8根据本发明实施例一的一种视频中片段的匹配方法的流程示意图；

图9是根据本发明实施例二的视频中片段的匹配装置的结构示意图；

图10是根据本发明实施例二的一种视频中片段的匹配装置中特征提取模块的结构示意图；

图11是根据本发明实施例二的一种视频中片段的匹配装置中匹配单元的结构示意图；

图12是根据本发明实施例二的一种视频中片段的匹配装置中设置单元的结构示意图；

图13是根据本发明实施例二的一种视频中片段的匹配装置中判断模块的结构示意图；

图14是根据本发明实施例二的一种视频中片段的匹配装置中校正模块的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例，还提供了一种视频中片段的匹配方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是本发明实施例的一种视频中片段的匹配方法的计算机终端的硬件结构框图。如图1所示，计算机终端10可以包括一个或多个(图中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的视频中片段的匹配方法对应的程序指令/模块，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的漏洞检测方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

在上述运行环境下，本申请提供了如图2所示的视频中片段的匹配方法。图2是根据本发明实施例一的视频中片段的匹配方法的流程图。

步骤S202，获取样本视频中的样本特征序列，其中，样本特征序列至少包括一个样本特征；

本申请上述步骤S202中，本申请实施例提供的视频中片段的匹配放方法将会对样本视频中的每帧画面进行特征提取，生成特征组，进而结合每帧画面提取的特征组生成样本特征序列。

具体的，本申请实施例提供的视频中片段的匹配放方法可以适用于对至少两个视频的匹配，以及将样本视频定位至预存母本视频中对应的片段。首先，对样本视频的每帧画面进行特征提取，每帧画面的特征采用高度压缩的全局特征，最终根据提取到的每帧画面的特征生成特征组，通过集合每帧画面的特征组生成样本特征序列。本申请实施例提供的特征可以包括：GIST特征、统计直方图特征或格均值特征中的任意一种，以实现本申请实施例提供的视频中片段的匹配放方法为准，具体不做限定。

步骤S204，将样本特征与母本视频的特征集合进行匹配，得到与样本特征匹配的候选特征集合；

基于步骤S202得到的样本特征序列，本申请上述步骤S204中，将样本特征与母本视频的特征集合进行匹配，依据样本特征与该特征集合的相似度，匹配对应的候选特征集合。

其中，本申请实施例中的母本视频(reference)可以用于与样本视频进行特征匹配，且该母本视频可以为预存在数据库中多个视频的集合。

步骤S206，依据样本特征和与样本特征匹配的候选特征集合，生成样本视频与对应的母本视频的特征匹配关系集合；

基于步骤S202得到的样本特征序列和步骤S204得到的候选特征集合，本申请上述步骤S206中，在得到样本特征序列和候选特征集合之后，通过设置样本时间戳和母本时间戳，将位于同一时间点样本特征序列和母本视频的特征集合匹配的特征点进行统计生成特征匹配关系集合。

具体的，图3是根据本发明实施例一的视频中片段的匹配方法中特征匹配关系集合的示意图，如图3所示，横坐标是样本视频的时间戳，纵坐标是母本视频的时间戳。特征匹配关系集合生成的方式是：当样本视频的在时间为tn的帧匹配上母本视频在时间tm的帧时，在图上画一个点，其中，n＝m。

步骤S208，依据特征匹配关系集合，判断样本视频和母本视频中是否存在连续帧对应的特征匹配关系；

基于步骤S206中的特征匹配关系集合，本申请上述步骤S208中，依据得到的特征匹配关系集合，获取样本视频和母本视频中是否存在连续帧对应的特征匹配关系，即，依据特征匹配关系集合判断样本视频和母本视频是否有连续若干真是顺序匹配的，若存在连续帧对应的特征匹配关系，则该母本视频存在样本视频对应的片段。

具体的，结合图3所示，黑色的点集为匹配情况，阴影点集为不匹配的情况。在步骤3生成的特征匹配关系集合的示意图中搜索可行形成连续顺序帧匹配的关系。

步骤S210，在判断结果为是的情况下，从母本视频中获取对应样本视频的匹配片段。

本申请上述步骤S210中，在判断结果为样本视频和母本视频中存在连续帧对应的特征匹配关系的情况下，通过助阵计算帧差进行过滤和校准，排除错误匹配的片段，将得到正确的匹配片段的开始帧和结束帧，即，本申请实施例在的样本视频对应母本视频中的匹配片段。

由上可知，本申请上述实施例一所提供的方案，通过特征提取模块，用于获取样本视频中的样本特征序列，其中，样本特征序列至少包括一个样本特征；匹配模块，用于将样本特征与母本视频的特征集合进行匹配，得到与样本特征匹配的候选特征集合；匹配关系生成模块，用于依据样本特征和与样本特征匹配的候选特征集合，生成样本视频与对应的母本视频的特征匹配关系集合；判断模块，用于依据特征匹配关系集合，判断样本视频和母本视频中是否存在连续帧对应的特征匹配关系；校正模块，用于在判断结果为是的情况下，从母本视频中获取对应样本视频的匹配片段，达到了将样本视频定位至母本视频中对应片段的目的，从而实现了提升视频匹配精度的技术效果，进而解决了由于相关技术中缺少依据视频匹配技术缺少对视频中片段的定位技术，导致的视频匹配精度低的技术问题。

可选的，步骤S202中获取样本视频中的样本特征序列包括：

Step1，提取样本视频中的每帧画面的特征；

本申请上述步骤S202中的Step1中，结合上述步骤S202，生成样本视频的样本特征序列的过程中，首先，需要提取样本视频中每帧画面的特征。其中，该特征除上述步骤S202提到的GIST特征、统计直方图特征或格均值特征中的任意一种特征，该特征具体还可以为一帧画面中的颜色、分辨率以及图像特征点这类帧画面的图像细节特征。

Step2，采集每帧画面的特征，生成特征组；

基于上述Step1提取的特征，本申请上述Step2中，在采集到每帧画面的特征后，依据该将每帧画面中的特征进行整理，得到对应每帧画面的特征组。

Step3，集合每帧画面的特征组生成样本特征序列。

基于上述Step2中的特征组，本申请上述Step3中，将样本视频中每帧画面对应的特征组进行集合，得到样本视频对应的样本特征序列。

结合上述Step1至Step3，每帧画面对应的特征所在的特征组视为样本特征序列中的一个元素，其中，该元素是一个三元组，t_i表示该帧对应的时间戳，f_i表示该帧对应的特征值，c_i表示该帧特征的置信度，下标i表示该帧的在视频中的序号,并记vf[i]＝(t_i,f_i,c_i)。N表示该视频一共有N帧。记样本特征序列为sample_vf。

可选的，步骤S204中将所述样本特征与母本视频的特征集合进行匹配，得到与所述样本特征匹配的候选特征集合包括：

Step1，通过将所述样本特征序列与预设的特征索引进行匹配，得到与所述样本特征匹配的所述候选特征集合，其中，所述特征索引，用于替代所述母本视频的特征集合与所述样本特征进行相似度匹配。

本申请上述Step1中，将该样本特征序列中的特征可以通过与预设的特征索引进行匹配，在匹配结果为是的情况下，依据该特征索引匹配得到该特征索引对应的母本视频的特征集合，进而得到与样本特征匹配的候选特征集合。

本申请实施例提供的视频中片段的匹配放方法通过预设的特征索引匹配样本特征序列对应的母本视频的特征集合，提升了在海量视频资源中的匹配效率，避免了现有技术中由于需要将样本特征序列逐一与每个预存的母本视频中的特征进行匹配，导致在匹配的过程中耗时过长的问题发生。

具体的，本申请实施例对母本视频的特征集合构建特征索引，进而样本特征序列通过查询该特征索引，获得与该样本特征序列最相似的母本视频的特征集合。其中，本申请实施例提供的索引技术至少包括：局部敏感哈希(Locality Sensitive Hashing，简称LSH)技术，K维数据空间技术(K D Tree，简称KDTree)或K类分层索引技术Hierarchical K-means中的任意一种，以实现本申请实施例提供的视频中片段的匹配放方法为准，具体不做限定。

这里以Hierarchical K-means技术为例进行说明，Hierarchical K-means通过分成K个分组，将N个样本分至该K个分组中，其中，每组的样本为相似度最高的样本集合，但组与组之间样本相似度最低，本申请实施例提供的视频中片段的匹配放方法中，特征索引可以为上述K个分组中每组的特征，样本特征序列通过与该特征索引进行匹配，得到该特征索引对应的母本视频的特征集合所在的分组，进而通过定位至该分组得到母本视频的特征集合。

可选的，步骤S206中依据所述样本特征和与所述样本特征匹配的候选特征集合，生成所述样本视频与对应的所述母本视频的特征匹配关系集合包括：

Step1，设置时域区间；

基于上述步骤S202中的Step1至Step2得到的样本特征序列sample_vf，本申请上述步骤S206的Step1中，设置时域区间，即，分别对样本视频和母本视频设置相同的时域，假设该时域区间为【0s，120s】，将得到样本视频0s至120s的时域，以及母本视频0s至120s的时域。

Step2，依据时域区间提取在每个时间点样本特征序列和候选特征集的特征点；

基于Step1中的时域区间，本申请上述Step2中，提取在该时域区间上每个时间点样本特征序列和候选特征集的特征点。即，可以得到位于各个时间点样本视频的特征点，以及母本视频的特征点，以时域区间为时间轴可以得到在相同时间点样本视频和母本视频特征点重合的点集，具体见Step3提到特征匹配关系集合。

Step3，采集所述每个时间点所述样本特征序列和所述候选特征集合匹配的特征点，生成所述特征匹配关系集合，其中，所述特征匹配关系集合，用于指示在同一时间点所述样本特征序列与所述母本视频的特征集合存在匹配的特征点。

基于Step2得到的特征点，本申请上述Step3中，通过采集每个时间点样本特征序列和候选特征集合匹配的特征点，依据采集到的特征点生成点集合，由该点集合作为特征匹配关系集合。

结合步骤S206中的Step1至Step3，对应样本特征序列sample_vf，母本视频的特征集合为reference_vf[l]，其中，该母本视频的特征集合表示第l个母本视频的特征集合。通过步骤S204中的特征索引reference_index，对样本视频的每个样本特征序列sample_vf[i]查询reference_index，获得与其最相似的R个母本视频的特征序列，表示为：match(sample_vf[i])＝[(reference_vf[l][j],score)k|0≤k≤R]，0≤i≤N,0≤j≤M，0≤l≤L，其中，N为样本视频的总帧数，M为母本视频的总帧数,L为母本个数。母本视频的特征序列的每个元素是个二元组，其中score是sample_vf第i帧特征和第l个reference_vf的第j帧特征的相似度。那么，sample_vf的查询结果形成匹配一个关系集合，该集合为：match(sample_vf)＝{sample_vf[i]:[(reference_vf[l][j],score)]},0≤i≤N,0≤j≤M,0≤l≤L，即，特征匹配关系集合。将该特征匹配关系集合match按l进行分组，为每个母本生成匹配关系：match(sample_vf,reference_vf[l])＝{sample_vf[i]:[(reference_vf[l][j],score)]}，0≤i≤N,0≤j≤M。根据该特征匹配关系集合画成散点图，图4是根据本发明实施例一的视频中片段的匹配方法中特征匹配点的匹配图，如图4所示，图4展示了一个120秒样本视频和一个120秒的母本视频的匹配图，其中横轴是样本视频的时间轴，纵轴是母本视频的时间轴，不同相似度score用不同点类型表示，如阴影表示score在80～84之间，白色表示score在93～96之间。

可选的，步骤S208中依据特征匹配关系集合，判断样本视频和母本视频中是否存在连续帧对应的特征匹配关系包括：

Step1，对特征匹配关系集合中的特征匹配关系依据相似度进行分组；

基于步骤S206中的Step1至Step3得到的特征匹配关系集合，本申请上述步骤S208中的Step1中，结合步骤S206中的图4，对该特征匹配关系集合按照相似度进行分组。具体如下，

对match(sample_vf,reference_vf[l])，即每个匹配点图按照score进行分组，

match(sample_vf,reference_vf[l]，score)＝{sample_vf[i]:[reference_vf[l][j]]}，0＝<i<＝N,0＝<j<＝M,score∈score_range[s]。

假设s＝5时，得到相似度分组如下：

score_range[0]＝(80,81,82,83,84),

score_range[1]＝(85,86,87,88,89),

score_range[2]＝(90,91,92),

score_range[3]＝(93,94,95,96),

score_range[4]＝(97,98,99,100)。

Step2，依据预设的极坐标解析分组后的特征匹配关系，得到每组特征匹配关系的统计值组；

本申请上述Step2中，在得到分组后的特征匹配关系后，通过筛选每个分组中的特征匹配关系中的元素个数，并对有效组别中的特征点集获取最小时间戳和最大时间戳，对应的获取母本视频的最小时间戳和最大时间戳，进而根据笛卡尔极坐标分析该特征匹配关系，得到每组特征匹配关系的统计值组。

具体的，图5是笛卡尔坐标系中的直线的点的数量对应极坐标中该点处的累加高度的示意图，如图5所示，本申请实施例中依据预设的极坐标解析分组后的特征匹配关系，得到每组特征匹配关系的统计值组具体如下：

1)统计组元素个数，当元素个数小于10，认为该组为无效组；否则继续；

2)获取组中sample_vf的最小和最大时间戳(记为sample_min_ts和sampleple_max_ts)，获取其reference_vf[l]最小和最大时间戳(记为reference_min_ts和reference_max_ts)。分别计算时间戳跨度：

样本时间跨度：sample_range＝sample_max_ts–sample_min_ts,

母本时间跨度：reference_range＝reference_max_ts–reference_min_ts。

3)规一化每个元素的样本时间戳和每个元素的母本时间戳：

sample_vf[i].t_norm＝sample_vf[i].t–sample_min_ts，

reference_vf[l][j].t_norm＝reference_vf[l][j].t–reference_min_ts。

对30＝<theta<＝60，按公式1)rho＝x*cos(theta)+y*sin(theta)计算得到：

rho＝sample_vf[i].t_norm*cos(theta)+reference_vf[l][j].t_norm*sin(theta)，

从而获得了极坐标中的曲线。接着将(sample_vf[i].t,reference_vf[l][j].t)作为元素添加到该曲线经过的坐标位置集合里，即，

polar_map[theta][rho]+＝{(sample_vf[i].t,reference_vf[l][j].t)}，

这里polar_map表示极坐标参数空间。

4)通过上述原理得知，组成笛卡尔坐标系中的同一直线的点会落在极坐标系中的同一坐标上，那么直线越长，对应的polar_map[theta][rho]包含的元素个数越多。接着

a)获得polar_map中的峰值(最大集合)，polar_map_peak_global；

b)获得每个角度的峰值，polar_map_peak[theta],30＝<theta<＝60；

c)对polar_map_peak[theta]用高斯核进行卷积，获得角度峰值响应polar_map_theta_resp。

Step3，将统计值组录入预设匹配模型，判断特征匹配关系集合中是否存在连续帧对应的特征匹配关系。

基于步骤Step2得到的统计值组，本申请上述Step3中，在得到统计值组后，将该统计值组录入预设匹配模型，由该匹配模型判断特征匹配关系集合中是否存在连续帧对应的特征匹配关系，其中，该匹配模型可以为逻辑回归算法计算模型，用于对统计值组对应的分组后的特征匹配关系集合匹配是否存在连续帧对应的特征匹配关系。

具体的，基于Step2获得的每组的三个统计值(polar_map_peak_global,polar_map_peak[theta],polar_map_theta_resp)，共15个变量后，用逻辑回归logisticregression算法进行训练分类。为了进行训练，本申请实施例可以通过收集并标注了M个视频，包括N个存在匹配片段的视频和S个不存在匹配片段的视频，其中，M＝N+S。从而训练获得了匹配判定模型。若判断为不存在匹配片段，则结束；否则继续。进一步的，对polar_map用非极大值抑制法(Non Maximum Suppression，简称NMS)筛选出所有候选峰值，即给定一个n，在以当前点为中心的(2n+1)×(2n+1)领域内寻找局部极大值。图6是NMS示意图，如图6中的竖线，是在一维信号下的NMS结果。最终，polar_map的峰值对应的集合{(sample_vf[i].t,reference_vf[l][j].t)}即为一个匹配段的控制点集，一个控制点即为一个帧匹配关系。本申请实施例通过极坐标系以使得特征点快速定位到对应片段，提升了片段匹配的效率。

可选的，步骤S210中从所述母本视频中获取对应所述样本视频的匹配片段包括：

Step1，依据预设的双向过滤方式过滤特征匹配关系，得到样本视频和母本视频的匹配时长和有效匹配率；

本申请上述步骤S210中的Step1中，本申请实施例中的预设的双向过滤方式至少包括：向前匹配和向后匹配，其中，向前匹配，用于过滤校正特征匹配关系中样本特征和母本视频的最大时间戳；向后匹配，用于过滤校正特征匹配关系中样本特征和母本视频的最小时间戳；同时，在矫正过程中获取有效匹配个数match和无效匹配个数gap得到有效匹配率，在得到最大时间戳和最小时间戳后，依据最大时间戳和最小时间戳的区间确定匹配时长。

具体的，结合图7，图7是匹配段过滤和精细帧校准流程图，依据预设的双向过滤方式过滤特征匹配关系，得到样本视频和母本视频的匹配时长和有效匹配率具体如下：

1)向前匹配。

a)在匹配时，考虑由第2节获得帧匹配关系可能存在偏移的现象，匹配时进行局部极大相似搜索，即将时间戳sample_vf[i].t对应的样本特征sample_vf[i].f和时间戳在

[reference_vf[l][j].t-search_w,reference_vf[l][j].t+search_w]

范围内的母本特征reference_vf[l][j-X].f～reference_vf[l][j+X].f进行相似度计算，这里：

reference_vf[l][j-X].t＝reference_vf[l][j].t–search_w，

reference_vf[l][j+X].t＝reference_vf[l][j].t+search_w，

从而获取和sample_vf[i].f相似度最大的reference_vf[l][j].f对应的时间戳reference_ts_best，并记录该最大值score_best，并对匹配总帧数total值进行累加。

b)若score_best小于某个阈值SCORE_TH，且sample_vf[i].c和reference_vf[l][j].c都大于某个阈值CONF_TH(表示样本视频帧和母本视频帧都有较高的可信度)，表示一次无效帧匹配，对gap值进行累加。gap值表示匹配段的间断长度。

c)否则score_best大于SCORE_TH，表示一次有效帧匹配，对match进行累加，并同时递增样本和母本时间戳继续按上述方法匹配

d)若gap小于某个阈值GAP_TH，则同时递增样本和母本时间戳继续按上述方法匹配。

e)否则，若gap大于GAP_TH，即间断过大，则停止向前匹配，从而获得了该控制点所在匹配段的终止时间戳。

2)向后匹配。算法和1)相同，只是每次匹配完同时递减样本和母本时间戳。最终，获得了该控制点所在匹配段的起始时间戳。

3)匹配结束后，获得了总匹配个数total、有效匹配个数match、无效匹配个数gap、匹配时长和有效匹配率等统计值。

Step2，依据匹配时长和有效匹配率校正特征匹配关系，得到样本视频对应母本视频中的匹配片段。

本申请上述Step2中，通过匹配时长和有效匹配率判定该匹配段是否有效，若无效则丢弃，反之，若有效，则保留该片段，从而得到样本视频对应母本视频中的匹配片段.

具体的，依据匹配时长和有效匹配率校正特征匹配关系，得到样本视频对应母本视频中的匹配片段具体如下：result＝[(reference_id,samep_start_ts,reference_start_ts,samep_end_ts,reference_end_ts)]，

其中reference_id对应母本的序号0<＝l<＝L，L为母本个数。

即，输出的结果为样本视频对应的多个母本视频中的视频片段，其中，该结果的结构可以解析为：母本视频名称，样本视频时长和母本视频时长；

依据上述输出结果则可以得到样本视频在各个母本视频中的匹配时长，通过筛选最后的结果保留匹配时长片段最长的母本视频，将该母本视频所在的结果作为最终输出结果。

结合步骤S202至步骤S210，图8根据本发明实施例一的一种视频中片段的匹配方法的流程示意图。如图8所示，本申请实施例提供的视频中片段的匹配方法具体如下：

步骤1，提取视频特征序列；

步骤2，帧特征匹配；

步骤3，帧匹配关系图生成；

步骤4，片段匹配关系搜索；

步骤5，片段帧精细校准。

由上可知，本申请实施例提供的视频中片段的匹配方法，通过获取样本视频的每个帧画面特征，生成特征组，进而得到样本特征序列；将该样本特征序列与预设的匹配索引进行匹配，得到对应的母本视频的特征序列集合；根据样本特征序列和母本视频的特征序列集合生成帧匹配关系图；依据该帧匹配关系图得到样本视频与母本视频中的匹配片段，最后通校正输出校正后的匹配片段，达到了将样本视频定位至母本视频中对应片段的目的，从而实现了提升视频匹配精度的技术效果，进而解决了由于相关技术中缺少依据视频匹配技术缺少对视频中片段的定位技术，导致的视频匹配精度低的技术问题。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的视频中片段的匹配方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

实施例2

根据本发明实施例，还提供了一种用于实施上述视频中片段的匹配方法的装置实施例，本申请上述实施例所提供的装置可以在计算机上运行。

图9是根据本发明实施例二的视频中片段的匹配装置的结构示意图。

如图9所示，该视频中片段的匹配装置包括：特征提取模块902、匹配模块904、匹配关系生成模块906、判断模块908和校正模块910。

其中，特征提取模块902，用于获取样本视频中的样本特征序列，其中，样本特征序列至少包括一个样本特征；匹配模块904，用于将样本特征与母本视频的特征集合进行匹配，得到与样本特征匹配的候选特征集合；匹配关系生成模块906，用于依据样本特征和与样本特征匹配的候选特征集合，生成样本视频与对应的母本视频的特征匹配关系集合；判断模块908，用于依据特征匹配关系集合，判断样本视频和母本视频中是否存在连续帧对应的特征匹配关系；校正模块910，用于在判断结果为是的情况下，从母本视频中获取对应样本视频的匹配片段。

由上可知，本申请上述实施例二所提供的方案，通过特征提取模块，用于获取样本视频中的样本特征序列，其中，样本特征序列至少包括一个样本特征；匹配模块，用于将样本特征与母本视频的特征集合进行匹配，得到与样本特征匹配的候选特征集合；匹配关系生成模块，用于依据样本特征和与样本特征匹配的候选特征集合，生成样本视频与对应的母本视频的特征匹配关系集合；判断模块，用于依据特征匹配关系集合，判断样本视频和母本视频中是否存在连续帧对应的特征匹配关系；校正模块，用于在判断结果为是的情况下，从母本视频中获取对应样本视频的匹配片段，达到了将样本视频定位至母本视频中对应片段的目的，从而实现了提升视频匹配精度的技术效果，进而解决了由于相关技术中缺少依据视频匹配技术缺少对视频中片段的定位技术，导致的视频匹配精度低的技术问题。

此处需要说明的是，上述特征提取模块902、匹配模块904、匹配关系生成模块906、判断模块908和校正模块910对应于实施例一中的步骤S202至步骤S210，五个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中，可以通过软件实现，也可以通过硬件实现。

可选的，图10是根据本发明实施例二的一种视频中片段的匹配装置中特征提取模块的结构示意图。如图10所示，特征提取模块902包括：第一提取单元9021、第一采集单元9022和集合单元9023。

其中，第一提取单元9021，用于提取样本视频中的每帧画面的特征；第一采集单元9022，用于采集每帧画面的特征，生成特征组；集合单元9023，用于集合每帧画面的特征组生成样本特征序列。

此处需要说明的是，上述特征第一提取单元9021、第一采集单元9022和集合单元9023对应于实施例一中的步骤S202的Step1至Step3，三个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中，可以通过软件实现，也可以通过硬件实现。

可选的，图11是根据本发明实施例二的一种视频中片段的匹配装置中匹配单元的结构示意图。如图11所示，匹配模块904包括：匹配单元9041。

其中，匹配单元9041，用于通过将所述样本特征序列与预设的特征索引进行匹配，得到与所述样本特征匹配的所述候选特征集合，其中，所述特征索引，用于替代所述母本视频的特征集合与所述样本特征进行相似度匹配。

此处需要说明的是，上述匹配单元9041对应于实施例一中的步骤S204的Step1，该模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中，可以通过软件实现，也可以通过硬件实现。

可选的，图12是根据本发明实施例二的一种视频中片段的匹配装置中设置单元的结构示意图。如图12所示，匹配关系生成模块906包括：设置单元9061、第二提取单元9062和第二采集单元9063。

其中，设置单元9061，用于设置时域区间；第二提取单元9062，用于依据所述时域区间提取在每个时间点所述样本特征序列和所述候选特征集合的特征点；第二采集单元9063，用于采集所述每个时间点所述样本特征序列和所述候选特征集合匹配的特征点，生成所述特征匹配关系集合，其中，所述特征匹配关系集合，用于指示在同一时间点所述样本特征序列与所述母本视频的特征集合存在匹配的特征点。

此处需要说明的是，上述特征设置单元9061、第二提取单元9062和第二采集单元9063对应于实施例一中的步骤S206的Step1至Step3，三个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中，可以通过软件实现，也可以通过硬件实现。

可选的，图13是根据本发明实施例二的一种视频中片段的匹配装置中判断模块的结构示意图。如图13所示，判断模块908包括：分组单元9081、解析单元9082和判断单元9083。

其中，分组单元9081，用于对特征匹配关系集合中的特征匹配关系依据相似度进行分组；解析单元9082，用于依据预设的极坐标解析分组后的特征匹配关系，得到每组特征匹配关系的统计值组；判断单元9083，用于将统计值组录入预设匹配模型，判断特征匹配关系集合中是否存在连续帧对应的特征匹配关系。

此处需要说明的是，上述特征分组单元9081、解析单元9082和判断单元9083对应于实施例一中的步骤S208的Step1至Step3，三个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中，可以通过软件实现，也可以通过硬件实现。

可选的，图14是根据本发明实施例二的一种视频中片段的匹配装置中校正模块的结构示意图。如图14所示，校正模块910包括：过滤单元9101和校正单元9102。

其中，过滤单元9101，用于依据预设的双向过滤方式过滤特征匹配关系，得到样本视频和母本视频的匹配时长和有效匹配率；校正单元9102，用于依据匹配时长和有效匹配率校正特征匹配关系，得到样本视频对应母本视频中的匹配片段。

此处需要说明的是，上述过滤单元9101和校正单元9102对应于实施例一中的步骤S210的Step1和Step2，两个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中，可以通过软件实现，也可以通过硬件实现。

由上可知，本申请实施例提供的视频中片段的匹配装置，通过获取样本视频的每个帧画面特征，生成特征组，进而得到样本特征序列；将该样本特征序列与预设的匹配索引进行匹配，得到对应的母本视频的特征序列集合；根据样本特征序列和母本视频的特征序列集合生成帧匹配关系图；依据该帧匹配关系图得到样本视频与母本视频中的匹配片段，最后通校正输出校正后的匹配片段，达到了将样本视频定位至母本视频中对应片段的目的，从而实现了提升视频匹配精度的技术效果，进而解决了由于相关技术中缺少依据视频匹配技术缺少对视频中片段的定位技术，导致的视频匹配精度低的技术问题。

实施例3

本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例一所提供的视频中片段的匹配方法所执行的程序代码。

可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：提取样本视频中的特征组，集合样本视频中的每帧画面的特征组生成样本特征序列；通过将样本特征序列与预设的特征索引进行匹配，得到样本特征序列对应的母本视频的特征集合，其中，特征索引，用于替代母本视频的特征序列与样本特征序列进行相似度匹配；依据样本特征序列和母本视频的特征集合，生成样本视频和母本视频的特征匹配关系集合，其中，特征匹配关系集合，用于指示在同一时间点样本特征序列与母本视频的特征集合存在匹配的特征点；依据特征匹配关系集合，判断样本视频和母本视频中是否存在连续帧对应的特征匹配关系；在判断结果为是的情况下，将特征匹配关系依据预设方式进行校正，得到样本视频对应母本视频中的匹配片段。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：提取样本视频中的每帧画面的特征；采集每帧画面的特征，生成特征组；集合每帧画面的特征组生成样本特征序列。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：设置时域区间；依据时域区间提取在每个时间点样本特征序列和母本视频的特征集合的特征点；采集每个时间点样本特征序列和母本视频的特征集合匹配的特征点，生成特征匹配关系集合。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：对特征匹配关系集合中的特征匹配关系依据相似度进行分组；依据预设的极坐标解析分组后的特征匹配关系，得到每组特征匹配关系的统计值组；将统计值组录入预设匹配模型，判断特征匹配关系集合中是否存在连续帧对应的特征匹配关系。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：依据预设的双向过滤方式过滤特征匹配关系，得到样本视频和母本视频的匹配时长和有效匹配率；依据匹配时长和有效匹配率校正特征匹配关系，得到样本视频对应母本视频中的匹配片段。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种视频中片段的匹配方法，其特征在于，包括：

获取样本视频中的样本特征序列，其中，所述样本特征序列至少包括一个样本特征；

将所述样本特征与母本视频的特征集合进行匹配，得到与所述样本特征匹配的候选特征集合；

依据所述样本特征和与所述样本特征匹配的候选特征集合，生成所述样本视频与对应的所述母本视频的特征匹配关系集合；

依据所述特征匹配关系集合，判断所述样本视频和所述母本视频中是否存在连续帧对应的特征匹配关系；

在判断结果为是的情况下，从所述母本视频中获取对应所述样本视频的匹配片段；

其中，所述依据所述样本特征和与所述样本特征匹配的候选特征集合，生成所述样本视频与对应的所述母本视频的特征匹配关系集合包括：设置时域区间；依据所述时域区间提取在每个时间点所述样本特征序列和所述候选特征集合的特征点；采集所述每个时间点所述样本特征序列和所述候选特征集合匹配的特征点，生成所述特征匹配关系集合，其中，所述特征匹配关系集合，用于指示在同一时间点所述样本特征序列与所述母本视频的特征集合存在匹配的特征点。

2.根据权利要求1所述的方法，其特征在于，所述获取样本视频中的样本特征序列包括：

提取所述样本视频中的每帧画面的特征；

采集所述每帧画面的所述特征，生成特征组；

集合所述每帧画面的所述特征组生成所述样本特征序列。

3.根据权利要求1所述的方法，其特征在于，所述将所述样本特征与母本视频的特征集合进行匹配，得到与所述样本特征匹配的候选特征集合包括：

通过将所述样本特征序列与预设的特征索引进行匹配，得到与所述样本特征匹配的所述候选特征集合，其中，所述特征索引，用于替代所述母本视频的特征集合与所述样本特征进行相似度匹配。

4.根据权利要求1所述的方法，其特征在于，所述依据所述特征匹配关系集合，判断所述样本视频和所述母本视频中是否存在连续帧对应的特征匹配关系包括：

对所述特征匹配关系集合中的特征匹配关系依据相似度进行分组；

依据预设的极坐标解析分组后的所述特征匹配关系，得到每组所述特征匹配关系的统计值组；

将所述统计值组录入预设匹配模型，判断所述特征匹配关系集合中是否存在所述连续帧对应的特征匹配关系。

5.根据权利要求1所述的方法，其特征在于，所述从所述母本视频中获取对应所述样本视频的匹配片段包括：

依据预设的双向过滤方式过滤所述特征匹配关系，得到所述样本视频和所述母本视频的匹配时长和有效匹配率；

依据所述匹配时长和所述有效匹配率校正所述特征匹配关系，得到所述样本视频对应所述母本视频中的所述匹配片段。

6.一种视频中片段的匹配装置，其特征在于，包括：

特征提取模块，用于获取样本视频中的样本特征序列，其中，所述样本特征序列至少包括一个样本特征；

匹配模块，用于将所述样本特征与母本视频的特征集合进行匹配，得到与所述样本特征匹配的候选特征集合；

匹配关系生成模块，用于依据所述样本特征和与所述样本特征匹配的候选特征集合，生成所述样本视频与对应的所述母本视频的特征匹配关系集合；

判断模块，用于依据所述特征匹配关系集合，判断所述样本视频和所述母本视频中是否存在连续帧对应的特征匹配关系；

校正模块，用于在判断结果为是的情况下，从所述母本视频中获取对应所述样本视频的匹配片段；

其中，所述匹配关系生成模块包括：设置单元，用于设置时域区间；第二提取单元，用于依据所述时域区间提取在每个时间点所述样本特征序列和所述候选特征集合的特征点；第二采集单元，用于采集所述每个时间点所述样本特征序列和所述候选特征集合匹配的特征点，生成所述特征匹配关系集合，其中，所述特征匹配关系集合，用于指示在同一时间点所述样本特征序列与所述母本视频的特征集合存在匹配的特征点。

7.根据权利要求6所述的装置，其特征在于，所述特征提取模块包括：

第一提取单元，用于提取所述样本视频中的每帧画面的特征；

第一采集单元，用于采集所述每帧画面的所述特征，生成特征组；

集合单元，用于集合所述每帧画面的所述特征组生成所述样本特征序列。

8.根据权利要求6所述的装置，其特征在于，所述匹配模块包括：

匹配单元，用于通过将所述样本特征序列与预设的特征索引进行匹配，得到与所述样本特征匹配的所述候选特征集合，其中，所述特征索引，用于替代所述母本视频的特征集合与所述样本特征进行相似度匹配。

9.根据权利要求6所述的装置，其特征在于，所述判断模块包括：

分组单元，用于对所述特征匹配关系集合中的特征匹配关系依据相似度进行分组；

解析单元，用于依据预设的极坐标解析分组后的所述特征匹配关系，得到每组所述特征匹配关系的统计值组；

判断单元，用于将所述统计值组录入预设匹配模型，判断所述特征匹配关系集合中是否存在所述连续帧对应的特征匹配关系。

10.根据权利要求6所述的装置，其特征在于，所述校正模块包括：

过滤单元，用于依据预设的双向过滤方式过滤所述特征匹配关系，得到所述样本视频和所述母本视频的匹配时长和有效匹配率；

校正单元，用于依据所述匹配时长和所述有效匹配率校正所述特征匹配关系，得到所述样本视频对应所述母本视频中的所述匹配片段。

Images