CN106028158A - 一种基于多视频源的进度识别方法 - Google Patents

Abstract

本发明公开了一种基于多视频源的进度识别方法包括：步骤1：建立视频资源库，对视频资源进行预处理，并建立特征码时间对数据库；步骤2：随机导出视频A及其对应的特征码时间对，将视频A的所有特征码与特征码时间对数据库中的所有特征码进行匹配，匹配出特征码相同个数最多的另一个视频B；步骤3：获得与视频A和视频B均出现过的P个特征码；步骤4：以视频B的时间维度为基准，建立直角坐标系，以B的时间维度为x轴，A的时间维度为y轴，进行拟合处理，拟合得到的截距参数为视频A与视频B的时间进度差异值，实现了对不同视频源进行排重时计算量小，能够对多版本的视频进行识别的技术效果。

Description

一种基于多视频源的进度识别方法

技术领域

本发明涉及视频信息处理领域，具体地，涉及一种基于多视频源的进度识别方法。

背景技术

同一部影视剧，除了有完整版、删减版、跳过片头片尾版等不同的版本，还有着格式上的差异，甚至同一个场景镜头中插播广告的时间点也各有不同。这些影视作品或节目通过各类媒介渠道进行播放，不同的视频源组成了巨容量的多媒体数据库。

由于流媒体本身具有传播速度快、传输实时性等特点，用户不必等到整个视频文件全部下载完毕再进行观看，仅需在流媒体上在线点播，经过几十秒的延时便可观看，同样，视频源中的推送插播广告也是通过流的传输形式在线直播。然而由于流量巨大，以多媒体格式播放的视频源在接入时就需要一个归一化标准。

在影视剧的一个场景镜头中，同一个时间点出现的弹幕内容相同时，对于来自不同视频源的视频，也需要有一个统一对应进度管理的标准。

大数据时代，知识与信息的表现形式日趋丰富，以多媒体的形式存在的海量数据资源来源复杂，因此在进行视频的进度识别匹配时，同样需要有归一化的标准。

尽管现有的技术已经能够对视频音频文件进行读取、播放等进度的控制，但还缺乏对不同的视频源进度情况进行统一定位的能力，现今视频处理的只能读取出单一视频源的进度情况，且多媒体视频数据库视频排重时计算量大。

综上所述，本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：

在现有技术中，现有的视频处理方式存在不能够对视频源进度情况进行统一定位，对不同视频源进行排重时计算量大，以及不能够对不同的视频版本进度进行识别的技术问题。

发明内容

本发明提供了一种基于多视频源的进度识别方法，解决了在现有技术中，现有的视频处理方式存在不能够对视频源进度情况进行统一定位，不能对不同视频源进行有效的排重，以及不能够对不同的视频版本进度进行识别的技术问题，实现了能够对视频源进度情况进行统一定位，对不同视频源进行排重时计算量小，能够对多版本的视频进行识别的技术效果。

为解决上述技术问题，本申请实施例提供了一种基于多视频源的进度识别方法，本发明旨在解决多媒体视频数据库视频排重时计算量大的问题，即我们在进行匹配的时候，在已经建立的特征库内利用一定的方法找出有可能有关系的视频源后(先进行粗匹配)，再进行精准的进度匹配。

步骤1，视频资源以流式传输的形式通过服务编码器，编码器采用一定的方法进行处理，具体为：提取视频每秒的图像，并形成视频帧并标记每帧与视频的关联，对每秒帧进行特征提取，以及生成每秒帧的时间戳文件，按时间的顺序组成时间序列文件，在每个时间戳文件中包含帧时间，帧索引位置和帧视频位置；

步骤2：将步骤1获得的所有信息作为输入因子，用哈希函数生成一定的HASH特征码，特征码中就包含了视频的身份信息如视频ID，地址，来源等。采用时间序列的基础结构，在一秒的时候生成的特征码可以表示为key[k₁₁,k₁₂,.....k_1n]，以此类推；对于任意视频源A与视频源B，A第1秒生成的特征码为key[k₁₁,k₁₂,.....k_1n]，第2秒生成的特征码为key[k₂₁,k₂₂.....k_2n]，……第t秒生成的特征码为key[k_t1,k_t2.....k_tn]，同理B在第1秒生成的特征码为key[l₁₁,l₁₂...l_1n]，第2秒生成的为key[l₂₁,l₂₂,...l_2n]，第t秒生成的特征码为key[l_t1,l_t2,...l_tn]；

步骤3：基于上述两个步骤建立一个大数据下的多媒体视频特征码数据库(内含有视频源，所有视频源的身份信息，每一秒对应一列特征码)；

步骤4：随机导出一部视频A，对应一系列特征码，和已建的特征码库中的特征码进行匹配(如果库中Q部视频源，找出与A的整个场景下的特征码相同个数最多的多部视频，即B₁，B₂，...，B_q，则它们与A是同一个视频ID下生成的，这些视频是同部视频的不同表现形式)；

步骤5：对于可能有关系两部视频A与B，基于库中特征码在时序上的分组合并(两部视频的特征码都在特征码库中，而一个视频的每秒可能产生多个特征码。在时序上分组合并是指，按照特征码在对应视频中出现的先后顺序分组排列起来)，A的每个时间戳对应一列特征码，B的每个时间戳也对应一列特征码。假设A、B两个视频在特征码库中匹配上的特征码为key1,key2,…,keyn(这里是指同时出现在A，B中的特征码)(这些key按照一定的规律排列的，可以按照出现次数的升序或者降序排列)对应的A的时间戳(以秒为单位)分别为a₁,a₂,...,a_n′，对应的B的时间戳分别b₁,b₂,...,b_n′(因为匹配上的特征码中，可能存在几个特征码属于同一个时间点，所以这里的时间戳个数设为n′个)；

步骤6：取连续前m秒(例如，m可取100)A，B生成的特征码进行比较，如果A，B生成的特征码在时序上符合一定的持续相同关系，就认为A，B是来自同一部视频，并且可以得到A,B在一定时间序列上的进度上一一相对应关系。比如，A第1秒生成的特征码和B第5秒生成的特征码相同，第2秒和第9秒的相同，以下依次对应相等，在前m秒内有σ(如果m取100，σ取60)个相同，则认为A和B是同一部视频源，且A与B在进度上的对应关系是A₁(秒)与B₅，A₂与B₉，往下依次如此；

步骤7：以视频B的时间维度b_i(i＝1,2...p)为基准，设k_i＝b_i-a_i，建立直角坐标系，以B的时间维度b_i(i＝1,2...p)为x轴，A的时间维度a_i(i＝1,2,...p)为y轴，进行方程y＝cx+K拟合处理，拟合得到的截距参数K为视频A与视频B的时间进度差异值。这里拟合的作用是为了去掉偏差较大的点坐标，然后得到的就是视频A与B的对应进度匹配。同理，用此方法也可以找出其它可能有关系的两视频间的进度匹配情况。

其中，如果视频A和视频B是重复的视频，那么所有的k_i(i＝1,2,...p)的值应该为同一个值K。当然在真实情况中可能会是在大部分的值在K的附件略有波动，有少量的值会偏离K。所以我们需要计算出ki的概率分布最大的值，作为K，也即是视频A与视频B之间的时间差异值。一方面，如果做简化计算，我们只需计算出所有的k_i＝b_i-a_i，然后找出其出现次数最多的值(众数)，就认为该值为K。另一方面，为更精准的计算K，我们需建立直角坐标系，以B的时间维度b_i(i＝1,2...p)为x轴，A的时间维度a_i(i＝1,2,...p)为y轴，进行方程y＝cx+K拟合处理，拟合得到的截距参数K就是结果为视频A与视频B的时间进度差异值。

对于已经建立好的多媒体视频数据库中，存在不同视频源每秒的key特征码，它们提取的是视频关键帧和时间位置地址的特征信息；其次，我们根据key的匹配数量先定位出可能有关系的两个视频，先进行粗配后再进行视频进度的精准匹配；最后，在做进度识别匹配的时候，以其中一个视频的时间维度为基准，用众数(或者线性拟合)计算某段时间差的最大个数，相比于传统做法的只能识别单个视频源的进度条的位置，这里可以对不同的视频源的进度归一化，识别出不同视频版本进度对应的具体时间，位置。另外，由于并不是对每个视频帧都进行比较，而且比较的是特征码，所以匹配的过程速度也比较快，最终得到的归一化的进度匹配结果也较为准确。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

由于采用了将基于多视频源的进度识别方法设计为包括：步骤1：建立视频资源库，对视频资源进行预处理，获得每个视频对应的特征码及特征码对应的信息，特征码对应的信息记为特征码时间对，并建立特征码时间对数据库；步骤2：随机导出视频A及其对应的特征码时间对，将视频A的所有特征码与特征码时间对数据库中的所有特征码进行匹配，匹配出特征码相同个数最多的另一个视频B；步骤3：获得与视频A和视频B均出现过的P个特征码，分别为：key₁,key₂,...,key_p；特征码在视频A中的时间戳为：a₁,a₂,...a_p，在视频B的时间戳为：b₁,b₂.....b_p；步骤4：以视频B的时间维度b_i(i＝1,2...p)为基准，设k_i＝b_i-a_i，建立直角坐标系，以B的时间维度b_i(i＝1,2...p)为x轴，A的时间维度a_i(i＝1,2,...p)为y轴，进行方程y＝cx+K拟合处理，拟合得到的截距参数K为视频A与视频B的时间进度差异值的技术方案，即本发明在已经建立的特征码库上先进行粗匹配，找出是同一个视频ID下的视频源，再进行进度的精准匹配；在进行进度识别时，基于特征码在时序上的合并分组，以其中一部视频时间维度为基准，对应另一部视频的每个时间戳，计算构造出的时间差在一段时间序列上的最多次数，找出是同一个视频ID下的两部视频，再进行进度的精准匹配；相比现今的只能读取出单一视频源的进度情况，本发明能够对多版本的视频进行识别匹配而且能够得到在同一个视频ID下两两视频的进度匹配情况，使得我们想在其中一部视频源播出的中间，插播一段广告，或者推送一件商品，能够很好的定位到该播出的多部视频源的进度，同时在同一个镜头场景上做到实时推送的效果。尤其是在大数据云推送下，对多视频源的进度精准定位，能使推送的产品针对性更强，从而用户的浏览率更高，所以，有效解决了在现有技术中，现有的视频处理方式存在不能够对视频源进度情况进行统一定位，不能对不同视频源进行有效的排重，以及不能够对不同的视频版本进度进行识别的技术问题，进而实现了能够对视频源进度情况进行统一定位，对不同视频源进行排重时计算量小，能够对多版本的视频进行识别的技术效果。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定；

图1是本申请实施例基于多视频源的进度识别方法的流程示意图；

图2是本申请实施例一种基于多视频源的进度识别方法的数据拟合示意图。

具体实施方式

本发明提供了一种基于多视频源的进度识别方法，解决了在现有技术中，现有的视频处理方式存在不能够对视频源进度情况进行统一定位，不能对不同视频源进行有效的排重，以及不能够对不同的视频版本进度进行识别的技术问题，实现了能够对视频源进度情况进行统一定位，对不同视频源进行排重时计算量小，能够对多版本的视频进行识别的技术效果。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

下面结合具体实施例及附图，对本发明作进一步地的详细说明，但本发明的实施方式不限于此。

实施例一：

请参考图1，本申请提供了一种基于多视频源的进度识别方法，所述方法包括：

步骤1：建立视频资源库，对视频资源进行预处理，获得每个视频对应的特征码及特征码对应的信息，特征码对应的信息记为特征码时间对，并建立特征码时间对数据库；

步骤2：随机导出视频A及其对应的特征码时间对，将视频A的所有特征码与特征码时间对数据库中的所有特征码进行匹配，匹配出特征码相同个数最多的另一个视频B；

步骤3：获得与视频A和视频B均出现过的P个特征码，分别为：key₁,key₂,...,key_p；特征码在视频A中的时间戳为：a₁,a₂,...a_p，在视频B的时间戳为：b₁,b₂.....b_p；

步骤4：以视频B的时间维度b_i(i＝1,2...p)为基准，设k_i＝b_i-a_i，建立直角坐标系，以B的时间维度b_i(i＝1,2...p)为x轴，A的时间维度a_i(i＝1,2,...p)为y轴，进行方程y＝cx+K拟合处理，拟合得到的截距参数K为视频A与视频B的时间进度差异值。

下面举例对本申请中的方案进行具体的介绍：

现有几部影视作品的正片,删减版，跳过片头版，对这几个版本的视频进行预处理，即先提取关键帧，然后提取关键帧的特征以及生成关键帧的时间戳文件，按时间的序列组成时间序列文件，整体的结果作为输入因子，然后HASH编码，每秒钟有一列key(特征码)，建成key数据库，拿出其中一部片子(假设是节目C)的正片与库中的key进行粗匹配。

首先，节目C在一段时间序列的特征码为key1，key2….keyn，在进行匹配的时候取这段时间序列的特征码同库中的特征码进行粗配，计算这段时序上与库中的某个视频的特征码相同的count数，count数最多的实际上就是和该视频是同一个视频ID下的视频，该节目的删减版，跳片头版；

然后，粗匹配之后，得到的是相关的多部视频，即一部视频的不同表现形式，再进行精准的进度识别匹配，这里假设先拿出该节目的删减版(B)和正片(A)进行进度匹配。对库中key的出现次数进行降序排列，A对应的时间戳分别为1，1，1，1，1，3，3，5，7，10，B依次对应的时间戳为5，5，6，6，6，6，8，8，10，10；然后，建立的直角坐标系里，以B的时间维度b_i(b_i＝1,2...b_n)为x轴，A的时间维度a_i(i＝1,2,...p)为y轴，做数据拟合，最终的拟合结果(去掉偏差较大的点)就是他们实际的进度对应关系，见附图2：例如，视频A的第1秒对应视频B的第6秒，A的第5秒对应B的第8秒，第7秒对应B的第10秒……依次类推，就得到了两部同ID视频的进度对应关系。

上述本申请实施例中的技术方案，至少具有如下的技术效果或优点：

由于采用了将基于多视频源的进度识别方法设计为包括：步骤1：建立视频资源库，对视频资源进行预处理，获得每个视频对应的特征码及特征码对应的信息，特征码对应的信息记为特征码时间对，并建立特征码时间对数据库；步骤2：随机导出视频A及其对应的特征码时间对，将视频A的所有特征码与特征码时间对数据库中的所有特征码进行匹配，匹配出特征码相同个数最多的另一个视频B；步骤3：获得与视频A和视频B均出现过的P个特征码，分别为：key₁,key₂,...,key_p；特征码在视频A中的时间戳为：a₁,a₂,...a_p，在视频B的时间戳为：b₁,b₂.....b_p；步骤4：以视频B的时间维度b_i(i＝1,2...p)为基准，设k_i＝b_i-a_i，建立直角坐标系，以B的时间维度b_i(i＝1,2...p)为x轴，A的时间维度a_i(i＝1,2,...p)为y轴，进行方程y＝cx+K拟合处理，拟合得到的截距参数K为视频A与视频B的时间进度差异值的技术方案，即本发明在已经建立的特征码库上先进行粗匹配，找出是同一个视频ID下的视频源，再进行进度的精准匹配；在进行进度识别时，基于特征码在时序上的合并分组，以其中一部视频时间维度为基准，对应另一部视频的每个时间戳，计算构造出的时间差在一段时间序列上的最多次数，找出是同一个视频ID下的两部视频，再进行进度的精准匹配；相比现今的只能读取出单一视频源的进度情况，本发明能够对多版本的视频进行识别匹配而且能够得到在同一个视频ID下两两视频的进度匹配情况，使得我们想在其中一部视频源播出的中间，插播一段广告，或者推送一件商品，能够很好的定位到该播出的多部视频源的进度，同时在同一个镜头场景上做到实时推送的效果。尤其是在大数据云推送下，对多视频源的进度精准定位，能使推送的产品针对性更强，从而用户的浏览率更高，所以，有效解决了在现有技术中，现有的视频处理方式存在不能够对视频源进度情况进行统一定位，不能对不同视频源进行有效的排重，以及不能够对不同的视频版本进度进行识别的技术问题，进而实现了能够对视频源进度情况进行统一定位，对不同视频源进行排重时计算量小，能够对多版本的视频进行识别的技术效果。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种基于多视频源的进度识别方法，其特征在于，所述方法包括：

步骤1：建立视频资源库，对视频资源进行预处理，获得每个视频对应的特征码及特征码对应的信息，特征码对应的信息记为特征码时间对，并建立特征码时间对数据库；

步骤2：随机导出视频A及其对应的特征码时间对，将视频A的所有特征码与特征码时间对数据库中的所有特征码进行匹配，匹配出特征码相同个数最多的另一个视频B；

步骤3：获得与视频A和视频B均出现过的P个特征码，分别为：key₁,key₂,...,key_p；特征码在视频A中的时间戳为：a₁,a₂,...a_p，在视频B的时间戳为：b₁,b₂.....b_p；

步骤4：以视频B的时间维度b_i(i＝1,2...p)为基准，设k_i＝b_i-a_i，建立直角坐标系，以B的时间维度b_i(i＝1,2...p)为x轴，A的时间维度a_i(i＝1,2,...p)为y轴，进行方程y＝cx+K拟合处理，拟合得到的截距参数K为视频A与视频B的时间进度差异值。

2.根据权利要求1所述的基于多视频源的进度识别方法，其特征在于，对视频资源进行预处理，获得每个视频对应的特征码及特征码对应的信息，具体包括：

视频资源以流式传输的形式通过服务编码器，服务编码器对视频资源进行关键帧提取，形成视频帧并标记每帧与视频的关联，对关键帧进行特征提取,以及生成关键帧的时间戳文件，将特征码与时间组合成特征码时间对。

3.根据权利要求2所述的基于多视频源的进度识别方法，其特征在于，所述视频资源中任意两个视频A和视频B，视频A和视频B生成的特征码个数相同。

4.根据权利要求2所述的基于多视频源的进度识别方法，其特征在于，所述时间戳文件包括帧时间、帧索引位置、帧视频位置、视频的身份信息，视频的身份信息包括：视频ID、地址、来源。

5.根据权利要求1所述的基于多视频源的进度识别方法，其特征在于，通过特征码从特征码时间对数据库中查找出与视频A存在关联关系的视频B。

6.根据权利要求1所述的基于多视频源的进度识别方法，其特征在于，所述将视频A对应的特征码与特征码数据库中的其它特征码进行匹配，具体为：计算出视频A的特征码与特征码数据库中欧氏距离最小的特征码。