CN104079924A - 一种视频错播的检测方法和装置 - Google Patents

Abstract

本发明实施例公开了一种视频错播的检测方法和装置，属于图像处理领域。方法包括：缓存相同长度的两路视频序列的特征片段，采用smith-waterman序列分析的方法，在所述特征片段中找到一致的特征序列；当特征序列的长度大于给定阈值时，返回视频对齐，并给出对齐位置和长度；根据对齐位置对两视频序列分别进行跟踪，将两路视频分别进行匹配比对，当匹配异常时，报警或同时进行自动切换。本申请不受待检测视频和原视频之间的轻微改动的影响，鲁棒性强；并采用smith-waterman进行序列分析，实时性强，运算开销小，准确率高。

Description

一种视频错播的检测方法和装置

技术领域

本发明涉及图像处理领域，尤其涉及一种视频错播的检测方法和装置。 

背景技术

目前，电视管理部门必须在电视播出系统中，确保电视播出安全、加强对电视节目的内容监管以及防止非法信号攻击。其中保证电视节目播出的内容和源节目流的一致性是内容监管的核心部分。采用的手段通过为对电视无线移动频道进行监测，把来自不同路的信号进行内容比对，当任何一个路由信号被插播的时，系统会及时报警或同时进行自动切换，对确保广播电视播出的安全具有重要意义。 

在错播分析中，主要要求是对正在播放的两部视频，用比较短的时间分析出两路视频是否为同一视频，如果是同一视频，视频中间内容是否发生改变，并能定位出改变等的位置，时长等等。目前对于进行错播分析时，对视频的轻微改动（如加台标，挂角广告，尺寸剪切），不容易判定是内容改变或是内容不变，鲁棒性较差；视频分析处理的过程时长往往也大于视频本身的时长，常常使分析失去实际意义，另外，视频分析的对象可能涉及上百或者上千路的视频，运算开销往往也较大。 

发明内容

本发明的实施例提供了一种视频错播的检测方法和装置，基于图像空域和时域特征相结合的方法，运用smith-waterman局部序列分析的方法，首先进行视频对齐，在视频对齐后，进行相应帧的视频帧匹配判断。并给出结果。 

为达到上述目的，采用如下技术方案： 

一种视频错播的检测方法，包括如下步骤： 

缓存相同长度的两路视频序列的特征片段，采用smith-waterman序列分析的方法，在所述特征片段中找到一致的特征序列；当特征序列的长度大于给定阈值时，返回视频对齐，并给出对齐位置和长度； 

根据对齐位置对两视频序列分别进行跟踪，将两路视频分别进行匹配比对，当匹配异常时，报警或同时进行自动切换。 

优选的，所述缓存相同长度的两路视频序列的特征片段时， 

Step1.获得当前视频内容帧，判断是否为空白帧，若非空白帧，则转step2； 

Step2.判断当前帧与前一帧是否发生内容变化，若发生变化则转step3； 

Step3.将当前帧加入缓冲视频序列，并将队列头与队列末的帧差时间与设定的缓冲时间阈值比较，大于阈值，去掉队列头，从而对得到所述特征片段。 

优选的，所述smith-waterman序列分析的方法寻找特征序列时，先计算两序列相互比对度量值的最大位置，用动态规划回朔的方法，按照路径逐步回朔，直到回朔到0为止。 

优选的，所述计算两序列相互比对度量值的最大位置时，计算两路视频得分矩阵 

s(i,j)＝max{0,s(i-1,j)+v(fa(i),ε),s(i,j-1)+v(ε,fb(j)),s(i-1,j-1)+v(fa(i,)fb(j))} 

其中，v(f,ε)为插入操作,v(ε,fb(j))为删除，这两个值为固定负值-0.5.v(fa,fb)＝d(fa,fb)，d(fa,fb)为图像特征为fa、fb的卡方距离，源视频的特征序列表示为{fa(i)}，待匹配视频的特征序列为{fb(i)}。 

优选的，所述图像特征为视频序列中各图像帧的灰度直方图特征，将原始图像划分为4*4块，提取除去4个角图像块的其余部分的图像区域对应的直方图特征。 

优选的，所述将两路视频分别进行匹配比对时，若两视频帧 的对齐位置对应的缓存特征一致且长度未改变，则两路视频对应的当前视频帧一致无变化，逐次进行下一帧的比对； 

若两视频帧的对齐位置对应的缓存特征一致但长度改变，则发生篡改变化，则此时记录发生改变的初始位置和改变的长度，并返回篡改的视频帧； 

若两视频帧的对齐位置对应的缓存特征不一致，则根据变化的位置分析是否发生添加的改变。 

一种视频错播的检测装置，包括如下模块： 

对齐模块：用于缓存相同长度的两路视频序列的特征片段，采用smith-waterman序列分析的方法，在所述特征片段中找到一致的特征序列；当特征序列的长度大于给定阈值时，返回视频对齐，并给出对齐位置和长度； 

跟踪模块：用于根据对齐位置对两视频序列分别进行跟踪，将两路视频分别进行匹配比对，当匹配异常时，报警或同时进行自动切换。 

优选的，所述对齐模块还包括： 

判断单元，用于获得当前视频内容帧，判断是否为空白帧，若非空白帧，则转前帧单元； 

前帧单元，用于判断当前帧与前一帧是否发生内容变化，若发生变化则转比较单元； 

比较单元，用于将当前帧加入缓冲视频序列，并将队列头与队列末的帧差时间与设定的缓冲时间阈值比较，大于阈值，去掉队列头，从而对得到所述特征片段。 

优选的，所述对齐模块中，smith-waterman序列分析的方法寻找特征序列时，先计算两序列相互比对度量值的最大位置，用动态规划回朔的方法，按照路径逐步回朔，直到回朔到0为止。 

优选的，所述计算两序列相互比对度量值的最大位置时，计算两路视频得分矩阵 

s(i,j)＝max{0,s(i-1,j)+v(fa(i),ε),s(i,j-1)+v(ε,fb(j)),s(i-1,j-1)+v(fa(i,)fb(j))} 

其中，v(f,ε)为插入操作,v(ε,fb(j))为删除，这两个值为固定负值-0.5.v(fa,fb)＝d(fa,fb)，d(fa,fb)为图像特征为fa、fb的卡方距离，源视频的特征序列表示为{fa(i)}，待匹配视频的特征序列为{fb(i)}。 

本发明一种视频错播的检测方法和装置，缓存相同长度的两路视频序列的特征片段，采用smith-waterman序列分析的方法，在所述特征片段中找到一致的特征序列；当特征序列的长度大于给定阈值时，返回视频对齐，并给出对齐位置和长度；根据对齐位置对两视频序列分别进行跟踪，将两路视频分别进行匹配比对，当匹配异常时，报警或同时进行自动切换，不受待检测视频和原视频之间的轻微改动的影响，鲁棒性强；并采用smith-waterman进行序列分析，实时性强，运算开销小，准确率高。 

附图说明

图1为本发明实施例一提供的一种视频错播的检测方法的流程图； 

图2为本发明实施例一提供的一种视频错播的检测方法中视频帧对齐的示意图； 

图3a为本发明实施例一提供的一种视频错播的检测方法中视频帧匹配时一致情形的示意图； 

图3b为本发明实施例一提供的一种视频错播的检测方法中视频帧匹配时篡改情形的示意图； 

图3c为本发明实施例一提供的一种视频错播的检测方法中视频帧匹配时添加情形的示意图； 

图4为本发明实施例二提供的一种视频错播的检测装置的模块结构图。 

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附 图对本发明作进一步的详细描述。 

在视频序列的错播分析中，视频对齐是判断两路视频是否不同的关键部分。只有对两路视频做到逐帧对齐后，才能保证视频内容比较结果的正确性。本方法分为视频信号对齐和视频信号内容比较两部分。 

本申请公开了一种视频错播的检测方法，如图1所示，包括如下步骤： 

步骤101：缓存相同长度的两路视频序列的特征片段，采用smith-waterman序列分析的方法，在所述特征片段中找到一致的特征序列；当特征序列的长度大于给定阈值时，返回视频对齐，并给出对齐位置和长度； 

本实施例中，选用特征为图像灰度直方图特征对视频序列进行特征分析，由于灰度直方图特征对于图像噪声，缩放等变换等鲁棒性好。在提取直方图特征时，考虑到对原始视频的一些轻微变换，如添加台标，添加广角广告等。提取整个视频序列中视频帧的图像直方图，或者将原始图像划分为4*4块，提取除去4个角的图像直方图。 

本实施例中，采用局部序列匹配方法，缓存相同长度的A，B两路视频序列特征片段，采用smith-waterman序列分析的方法，找到在两路视频片段中一致的部分，而一致部分的起始位置即为对齐位置，如图2所示，在视频对齐时，两箭头所指位置为视频对齐位置，所展示的是A,B两路视频的子序列匹配的情况，阴影部分表示不匹配，空白部分代表匹配。当视频对齐模块中匹配的视频长度大于给定的阈值时，返回视频对齐，并给出对齐位置和长度，否则，返回视频不对齐。 

Smith-waterman算法是1981年smith和waterman提出的用来寻找并比较具有局部相似性区域的动态规划算法。这是一种两序列局部 比对算法，将两条位置的寻列进行排列，通过匹配，删除和插入操作，得到两序列相互之间的一种比对度量。在查找最佳相似子序列时，先计算出两序列相互比对度量值的最大位置，用动态规划回朔的方法，按照元素路径一步一步回朔，直到回朔到0为止，with-waterman算法分两步，第一步计算得分矩阵(比对度量矩阵)，第二步回朔查找最佳相似片段，从视频对齐一段时间后，回溯到两路视频序列开始对齐的地方，得分矩阵的横纵坐标记录有视频帧号，读取该帧号即能获得视频片段，从而使视频序列的各视频帧的序号从最大值回到起始帧。 

1.计算两路视频得分矩阵s(i,j)。A为源视频序列，其特征序列表示为{fa(i)}，B路为待匹配视频，其特征序列为{fb(i)}。 

s(i,j)＝max{0,s(i-1,j)+v(fa(i),ε),s(i,j-1)+v(ε,fb(j)),s(i-1,j-1)+v(fa(i,)fb(j))} 

其中，v(f,ε)为插入操作,v(ε,fb(j))为删除，这两个值为固定负值-0.5，插入则为B路视频序列中多了一个其他的视频帧，删除则为B路视频序列缺失了一个视频帧；v(fa,fb)＝d(fa,fb)，本实施例中，采用的距离描述算子为卡方距离d，d(fa,fb)为图像特征为fa、fb的卡方距离公式如下： 

$d(f1,f2)=\mathrm{thresh}-\underset{i}{\mathrm{\Σ}}\frac{f1\left(i\right)-f2\left(i\right)}{f1\left(i\right)+f2\left(i\right)}$

thresh为选用的阈值，为0.1.,f1,f2为图像的特征。 

2.回朔过程 

即上面求得分矩阵的逆过程。先找到得分矩阵中最大值所在的位置，按照在计算得分矩阵时的逆过程回朔，本实施例中的得分矩阵为一个二维数组矩阵，其横坐标和纵坐标分别记录有A、B两路视频序 列对应的帧数，通过这个视频帧数，可以获得视频相似的起始时间和结束时间；直到回朔的得分矩阵值等于0为止，使回溯到两路视频序列开始对齐的地方。 

两路视频信号的实时对齐。需要算法必须能够缓存足够的数据进行延时对比。缓存帧是用于和另一路视频当前帧进行内容比较的帧。 

缓存帧数据获的步骤如下： 

Step1.获得当前视频序列的视频帧，判断是否为空白帧，若非空白帧，则转step2； 

Step2.判断当前帧与前一帧是否发生内容变化，若发生变化则转step3； 

Step3.将当前帧加入缓冲视频序列，并将队列头与队列末的帧差时间与设定的缓冲时间阈值比较，大于阈值，去掉队列头。 

在本实施例中，缓冲帧数为保存5分钟的缓存帧，以每隔一秒取一帧计算，保留300*300的得分矩阵和两个包含300个特征的向量，系统开销小。 

步骤102：根据对齐位置对两视频序列分别进行跟踪，将两路视频分别进行匹配比对，当匹配异常时，报警或同时进行自动切换。 

假定A路视频为源视频，B路视频为待匹配视频，A，B两路视频已经对齐，并且知道对齐位置，在匹配时出现的情况可能出现一致、篡改，添加三种情况，分别如图3a、图3b和图3c所示： 

将两路视频分别进行匹配比对时，若两视频帧的对齐位置对应的缓存特征一致且长度未改变，则两路视频对应的当前视频帧一致 无变化，逐次进行下一帧的比对； 

若两视频帧的对齐位置对应的缓存特征一致但长度改变，则发生篡改变化，则此时记录发生改变的初始位置和改变的长度，并返回篡改的视频帧； 

若两视频帧的对齐位置对应的缓存特征不一致，则根据变化的位置分析是否发生添加的改变。 

如图3a所示，A2B2为两路视频对齐位置，在对齐后，B路视频没有发生任何变化和A路一致。如图3b所示，A2、B2为两路视频对齐位置，在对齐后，B3块为A3块发生篡改变化，而A4和A3为一致块。如图3c所示，A2、B2为对齐块，A3和B3为一致视频，而C为B路视频添加块，发生添加改变。 

针对在视频匹配中可能会存在上述三种情况，在查找视频序列中篡改和添加的位置时，采用如下步骤，假定已经A，B两路视频对齐位置为P_A，P_B，以下总是假设P_A＜P_B，如果P_A＞P_B，则交换A，B两路视频序列。两路视频实时播放。上步骤中，视频对齐阶段缓存帧长度为buffer，则视频A保存缓存特征视频B保存缓存特征 视频匹配帧号id＝1...，记录删除元素符号delerenum_A＝0；delerenum_B＝0；发生改变的长度符号change_i＝0。 

a.读入当前两路视频帧特征fra_A,fmrea_B，vector_A.pushback(frame_A)，vector_B.pushback(frame_B)此时视频帧号id。 

b.计算当前视频帧相对于A对齐位置com_A＝id+buffer-P_A-delerenum_A，相对于B对齐位置com_B＝id+buffer-P_B-delerenum_B， 

a.1比对vect_A[com_A]与vector_B[com_B],若比对一致且change_l＝＝0,则说明发生当前视频帧一致无变化，则delerenum_A++,delerenum_B++;vector_A，vector_B两路缓存特征分别popback()首元素..若比对一致,且change_l≠0则说明发生了篡改变化，转a.3.若两帧不一致则转a.2 

a.2如果change_l＝＝0，记录发生变化的位置change_p＝id，比较当前vector_B[com_B]与vector_A[change_p+buffer-P_A-delerenum]的一致性，chang_le++，如果两者一致，说明发生了添加改变，此时记录发生改变的初始位置change_p和长度change_l,并change_l＝0，P_A＝P_A+change_l，delerenum_B++,vector_B向量popback()首元素，报警或同时进行自动切换。如两者不一致转a.1操作，继续进行比对。 

a.3此时即发生了篡改变化，此时记录发生改变的初始位置change_p和长度change_l，delerenum_A+＝change_l，vector_A.共popback()change_l个元素，报警或同时进行自动切换。 

本发明还公开了一种视频错播的检测装置，如图4所示，包括如下模块： 

对齐模块401：用于缓存相同长度的两路视频序列的特征片段，采用smith-waterman序列分析的方法，在所述特征片段中找到一致的特征序列；当特征序列的长度大于给定阈值时，返回视频对齐，并给出对齐位置和长度； 

跟踪模块402：用于根据对齐位置对两视频序列分别进行跟踪，将两路视频分别进行匹配比对，当匹配异常时，报警或同时进行自动切换。 

优选的，所述对齐模块还包括： 

判断单元，用于获得当前视频内容帧，判断是否为空白帧，若非空白帧，则转前帧单元； 

前帧单元，用于判断当前帧与前一帧是否发生内容变化，若发生变化则转比较单元； 

比较单元，用于将当前帧加入缓冲视频序列，并将队列头与队列末的帧差时间与设定的缓冲时间阈值比较，大于阈值，去掉队列头，从而对得到所述特征片段。 

优选的，所述对齐模块中，smith-waterman序列分析的方法寻找特征序列时，先计算两序列相互比对度量值的最大位置，用动态规划回朔的方法，按照路径逐步回朔，直到回朔到0为止。 

优选的，所述计算两序列相互比对度量值的最大位置时，计算两路视频得分矩阵 

s(i,j)＝max{0,s(i-1,j)+v(fa(i),ε),s(i,j-1)+v(ε,fb(j)),s(i-1,j-1)+v(fa(i,)fb(j))} 

其中，v(f,ε)为插入操作,v(ε,fb(j))为删除，这两个值为固定负值-0.5.v(fa,fb)＝d(fa,fb)，d(fa,fb)为图像特征为fa、fb的卡方距离，源视频的特征序列表示为{fa(i)}，待匹配视频的特征序列为{fb(i)}。 

所述图像特征为视频序列中各图像帧的灰度直方图特征，将原始图像划分为4*4块，提取除去4个角图像块的其余部分的图像区域对应的直方图特征。 

所述跟踪模块还包括分析单元，将两路视频分别进行匹配比对时，若两视频帧的对齐位置对应的缓存特征一致且长度未改变，则两路视频对应的当前视频帧一致无变化，逐次进行下一帧的比对； 

若两视频帧的对齐位置对应的缓存特征一致但长度改变，则发生篡改变化，则此时记录发生改变的初始位置和改变的长度，并返回篡改的视频帧； 

若两视频帧的对齐位置对应的缓存特征不一致，则根据变化的位置分析是否发生添加的改变。 

本发明一种视频错播的检测方法和装置，缓存相同长度的两路视频序列的特征片段，采用smith-waterman序列分析的方法，在所述特征片段中找到一致的特征序列；当特征序列的长度大于给定阈值时，返回视频对齐，并给出对齐位置和长度；根据对齐位置对两视频序列分别进行跟踪，将两路视频分别进行匹配比对，当匹配异常时，报警或同时进行自动切换，不受待检测视频和原视频之间的轻微改动的影响，鲁棒性强；并采用smith-waterman进行序列分析，实时性强，运算开销小，准确率高。 

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。 

Claims (10)

1.一种视频错播的检测方法，其特征在于，包括如下步骤：

缓存相同长度的两路视频序列的特征片段，采用smith-waterman序列分析的方法，在所述特征片段中找到一致的特征序列；当特征序列的长度大于给定阈值时，返回视频对齐，并给出对齐位置和长度；

根据对齐位置对两视频序列分别进行跟踪，将两路视频分别进行匹配比对，当匹配异常时，报警或同时进行自动切换。

2.根据权利要求1所述的方法，其特征在于：所述缓存相同长度的两路视频序列的特征片段时，

Step1.获得当前视频内容帧，判断是否为空白帧，若非空白帧，则转step2；

Step2.判断当前帧与前一帧是否发生内容变化，若发生变化则转step3；

Step3.将当前帧加入缓冲视频序列，并将队列头与队列末的帧差时间与设定的缓冲时间阈值比较，大于阈值，去掉队列头，从而对得到所述特征片段。

3.根据权利要求1所述的方法，其特征在于：所述smith-waterman序列分析的方法寻找特征序列时，先计算两序列相互比对度量值的最大位置，用动态规划回朔的方法，按照路径逐步回朔，直到回朔到0为止。

4.根据权利要求3所述的方法，其特征在于：所述计算两序列相互比对度量值的最大位置时，计算两路视频得分矩阵：

s(i,j)＝max{0,s(i-1,j)+v(fa(i),ε),s(i,j-1)+v(ε,fb(j)),s(i-1,j-1)+v(fa(i,)fb(j))}

其中，v(f,ε)为插入操作,v(ε,fb(j))为删除，这两个值为固定负值-0.5.v(fa,fb)＝d(fa,fb)，d(fa,fb)为图像特征为fa、fb的卡方距离，源视频的特征序列表示为{fa(i)}，待匹配视频的特征序列为{fb(i)}。

5.根据权利要求4所述的方法，其特征在于：所述图像特征为视频序列中各图像帧的灰度直方图特征，将原始图像划分为4*4块，提取除去4个角图像块的其余部分的图像区域对应的直方图特征。

6.根据权利要求3所述的方法，其特征在于：所述将两路视频分别进行匹配比对时，若两视频帧的对齐位置对应的缓存特征一致且长度未改变，则两路视频对应的当前视频帧一致无变化，逐次进行下一帧的比对；

若两视频帧的对齐位置对应的缓存特征一致但长度改变，则发生篡改变化，则此时记录发生改变的初始位置和改变的长度，并返回篡改的视频帧；

若两视频帧的对齐位置对应的缓存特征不一致，则根据变化的位置分析是否发生添加的改变。

7.一种视频错播的检测装置，其特征在于，包括如下模块：

对齐模块：用于缓存相同长度的两路视频序列的特征片段，采用smith-waterman序列分析的方法，在所述特征片段中找到一致的特征序列；当特征序列的长度大于给定阈值时，返回视频对齐，并给出对齐位置和长度；

跟踪模块：用于根据对齐位置对两视频序列分别进行跟踪，将两路视频分别进行匹配比对，当匹配异常时，报警或同时进行自动切换。

8.根据权利要求7所述的装置，其特征在于：所述对齐模块还包括：

判断单元，用于获得当前视频内容帧，判断是否为空白帧，若非空白帧，则转前帧单元；

前帧单元，用于判断当前帧与前一帧是否发生内容变化，若发生变化则转比较单元；

比较单元，用于将当前帧加入缓冲视频序列，并将队列头与队列末的帧差时间与设定的缓冲时间阈值比较，大于阈值，去掉队列头，从而对得到所述特征片段。

9.根据权利要求7所述的装置，其特征在于：所述对齐模块中，smith-waterman序列分析的方法寻找特征序列时，先计算两序列相互比对度量值的最大位置，用动态规划回朔的方法，按照路径逐步回朔，直到回朔到0为止。

10.根据权利要求9所述的装置，其特征在于：所述计算两序列相互比对度量值的最大位置时，计算两路视频得分矩阵：

s(i,j)＝max{0,s(i-1,j)+v(fa(i),ε),s(i,j-1)+v(ε,fb(j)),s(i-1,j-1)+v(fa(i,)fb(j))}

其中，v(f,ε)为插入操作,v(ε,fb(j))为删除，这两个值为固定负值-0.5.v(fa,fb)＝d(fa,fb)，d(fa,fb)为图像特征为fa、fb的卡方距离，源视频的特征序列表示为{fa(i)}，待匹配视频的特征序列为{fb(i)}。