CN102014296B - 一种基于自适应边缘匹配及局部流处理算法的视频一致性监测方法 - Google Patents

Abstract

本发明涉及一种基于自适应边缘匹配及局部流处理算法的视频一致性监测技术，是一种数字图像识别及匹配技术。所述技术包括如下步骤：初始化及预处理的步骤；计算相似度阈值的步骤；初次匹配的步骤；边缘检测的步骤；二次精确匹配的步骤；局部流处理的步骤；偏移量递归复用的步骤。本发明采用几何变换自适应的得到相似度阈值，并以此为阈值完成初次匹配，而后采用边缘检测及多阈值边缘匹配的方法实现了二次精确匹配，在此基础上采用局部流处理算法和偏移量递归复用技术高效、快速的解决了后续视频帧的一致性匹配问题。

Description

一种基于自适应边缘匹配及局部流处理算法的视频一致性监测方法

技术领域

本发明涉及一种基于自适应边缘匹配及局部流处理算法的视频一致性监测方法，是一种数字图像处理的技术，是一种数字图像识别及匹配的技术。 

背景技术

在电视台播出系统中，为了提高系统的可靠性和稳健性，关键性设备常常做主备方案：即为关键设备提供一个备用设备。主设备和备用设备都为控制系统所控制。例如，一旦主播设备发生意外，控制系统会自动切换到备播设备并将备播信号切出，保持了播出信号的连续性和稳定性。   

该系统可高效处理人为因素、意外断电等其它不可预知的情况发生导致的播出事故。但在实际播出过程中，也可能存在播出通道原因导致的播出信号出现乱序、丢帧、黑场、绿场、静帧、甚至两路信号完全不一致等错误，对于此类的播出事故，需要人为手动的进行主备播切换，以保证系统的可靠性和稳定性。人为手动的主备播切换虽然可以解决这些问题，但是需要工作人员长时间持续监视，效率低下，容易产生工作疲劳。

另外，在传输信道中信号也可能被某些非法信号所篡改，从而导致最终用户接收到了非法信号。例如，非法邪教组织可能通过破坏电视信号传输网络或发射非法卫星信号等形式播出非法言论。对于这类事故，现在没有高效的技术手段进行检测，也只能靠人力监测或排查来完成，效率低、实时响应性差且容易产生工作疲劳。

实际上，上述两种情况都可通过一种视频一致性监测技术来高效、精确、实时的解决。对于第一种情况，在切换台之前，可先将主备路信号送入一个视频一致性监测模块，以完成对两路信号视频内容的分析、匹配，如果两路信号内容一致则不进行切换，如果两路信号内容不一致则自动进行主备路切换并报警。对于第二种情况，可采用机顶盒来接收播出信号，并将其和源信号一并送入一个视频一致性监测模块，如果两路信号内容仅存在时延，说明信号播出正常，如果两路信号内容不一致性，说明传输信道存在问题，应马上报警并处理。因此，在实际应用中，开发设计一种高效、精确、自适应、实时的视频一致性监测技术就成为了解决上述问题的一个核心问题。 

发明内容

针对现有技术的缺陷，本发明的目的是提出一种基于自适应边缘匹配及局部流处理算法的视频一致性监测方法。本发明采用几何变换计算信噪比的方法解决了自适应阈值的估算问题。同时采用边缘检测、多阈值边缘匹配的方法解决了对源视频和目标视频的精确匹配，在此基础上采用局部流处理算法和偏移量递归复用相结合的方法高效、快速的解决了后续视频帧的一致性匹配。

本发明的目的是这样实现的：一种基于自适应边缘匹配及局部流处理算法的视频一致性监测方法，首先对参考帧序列和检测帧序列的缓冲环初始化，其中，所述参考帧序列是源信号帧序列，所述检测帧序列是播出帧序列；所述技术包括如下步骤：

确定关键帧：对接收的参考帧序列和检测帧序列进行时间戳对齐、确定检测步长，在确定的步长中将检测帧序列的第一帧确定为关键帧；

确定初步匹配的相似度阈值；所述相似度阈值等于信噪比值阈值；

进行初次匹配：在参考帧序列中初步筛选出和关键帧相匹配的初次匹配帧，并计算其和关键帧的信噪比值、获取两个帧的偏移量，如果该值大于相似度阈值则进入下一步，否则将偏移量设置为无效并设置视频不一致标志，而后开始等待对下一个关键帧的确定；

获得连续、单像素的图像边缘，并将其作为图像的特征边缘；

对获得的特征边缘进行多阈值匹配，如果匹配则进入下一步，否则将偏移量设置为无效并设置视频不一致标志，而后开始等待对下一个关键帧的检测；  

对关键帧的后续帧进行快速检测，如果后续帧全部匹配，设置视频一致性标志得到最终的一致性监测结果，开始等待下一个关键帧的检测；如果后续帧不匹配，则将偏移量设置为无效并设置视频不一致标志，而后开始等待对下一个关键帧的检测。

所述监测技术进一步包括有偏移量递归复用的步骤：对下一个关键帧的检测，如果上次检测偏移量有效，则由偏移量直接得到初次匹配帧并进入获取图像边缘的步骤，否则进入确定相似度阈值的步骤。

所述获得连续、单像素的图像边缘是用小波模极大值算法对初次匹配帧和关键帧进行边缘检测获得。

所述对关键帧的后续帧进行快速检测是判断关键帧的后续帧序列是否与初次匹配帧的后续帧序列一致。

所述相似度阈值是由几何变换自适应计算确定。

本发明产生的有益效果是：检测高效、准确、实时；其监测范围包括：轻微马赛克、严重马赛克、3秒其它画面、亮度过高、绿底、静帧、延时30帧、延时20帧、延时10帧、错乱帧序、丢帧、加帧、彩条、黑场、错播、停播、台标、时钟等。即使在图像质量比较差的环境下，也可获得较为理想的监测效果。本发明首先利用几何变换计算得到自适应阈值，并通过该阈值进行初次筛选，而后利用小波模极大值边缘检测算法及多阈值边缘匹配算法进行二次精确匹配，最后采用局部流处理算法对关键帧的后续帧进行快速一致性检测，以判断其后续帧是否与匹配帧的后续帧一致，从而得到最终的一致性监测结果。在上述流程的基础上，本发明采用了偏移量递归复用算法，既提升了检测效率又可获得非常稳定的监测偏移量输出。测试表明， 使用基于本发明设计开发的视频一致性监测模块，在磁带信号、同一信号源经由不同链路、同一信号源经由不同解码器等不同的测试场景下都能实时的获得比较理想的监测效果，说明了本发明有效性和实用性。利用该技术不仅可以降低劳动强度、节省劳动成本，还可以大大提升工作效率，高效实时的完成对不同场景下多路信号的一致性监测，极大的提升了系统的可靠性和稳健性。

附图说明

下面结合附图和实施例对本发明做进一步解释。

图1是本发明实施例一所述方法的过程框图；

图2 是本发明实施例一所述小波变换突变检测示意图；

图3是本发明实施例一所述小波变换模极大值边缘检测提取的特征边缘示意图。

具体实施方式

实施例一：

本实施例中为了实现对两路信号的实时监控，特别设计了分段匹配的架构来满足要求。具体可以这样描述：监测模块中有两个缓冲环——参考缓冲环和待检测缓冲环，分别用来存储主播信号的连续帧和备播信号的连续帧，等到满足条件时才开始对缓冲环中检测步长段内的视频帧序列进行段内一致性检测，否则继续存储视频帧而不进行检测，直到满足条件。待检测缓冲段内的首帧称为关键帧记为                                                

，首先对是关键帧进行检测及匹配，而后对段内的后续帧进行快速检测，从而最终实现段内两路信号的一致性监测。 下面对本实施例中涉及到的相关技术点介绍如下：

小波模极大值边缘检测，即小波变换的模极大值多尺度边缘检测。一般地，平滑函数

的能量集中在低频段，所以平滑函数可看成低通滤波器的系统响应函数。从而，与的卷积

衰减了的高频信息，而不改变低频部分，从而平滑了

。

取     

                  （1）

定义    

               （2）

则      

   ，

                        （3）

小波变换和

分别与函数

被

平滑后的一阶和二阶导数成正比。而函数

的一阶导数的极值点对应于二阶导数的零点，同时也是函数

本身的拐点，且一阶导数的绝对值的极大值对应于函数的突变，而极小值则与缓变点相对应。对于固定尺度

，

的局部极大值点对应于的突变点，

的零交叉点对应于

的拐点，如图2所示为小波变换突变检测示意图。因此，如果选择小波函数为平滑函数的一阶导数，则由小波变换

的绝对值的极大值点（模极大值点）可以检测到信号的突变点。小波变换的模极大值点对应于图像的突变点。边缘点是图像的一类突变点，因而，可以通过检测小波变换的模极大值点来确定图像的边缘。由于小波变换位于各个尺度上，每个尺度上的小波变换都提供了一定的边缘信息，故称之为即多尺度边缘。下面简要介绍一种多尺度边缘检测算法：

    (1) 求出每一个尺度上可能的边缘

.

(2) 对

进行链接处理，得到尺度

 上的边缘

，并令

.

(3) 针对尺度

的每一个边缘点

，把

在以点

为中心的3×3区域里所有可能的边缘点均标成尺度上的候选边缘点。

(4) 对尺度上的所有候选边缘点进行链接处理，得到尺度

上的边缘

，并令.

(5) 重复步骤(3)与(4)，直到

.边缘

就是综合得到的图像边缘。

图3是本实施例中采用小波变换模极大值边缘检测提取的边缘示意图，其中黑色的像素点表示为边缘特征点，白色为平坦区域不作为边缘特征点。

本实施例所述技术的过程如图1所示，其步骤如下：

初始化及预处理的步骤：用于完成参考帧序列（相当于源信号帧序列）和检测帧序列（相当于播出帧序列）的缓冲初始化，并自动进行时间戳对齐，关键检测帧（以下称为关键帧）位置、检测步长的计算；

计算相似度阈值的步骤：用于由几何变换自适应计算相似度阈值，并将该阈值作为初次匹配的相似度阈值，这里的相似度阈值实际上是峰值信噪比阈值；

初次匹配的步骤：用于在参考帧序列中初步筛选出和关键帧相匹配的匹配帧，并计算其和关键帧的信噪比，获取两个帧的偏移量，如果该值大于相似度阈值则进入下一步，否则将偏移量设置为无效并设置视频不一致标志，而后开始等待对下一个关键帧的检测，进入偏移量递归复用的步骤；

边缘检测的步骤：用于由小波模极大值算法对初步匹配帧和关键帧进行边缘检测，获得连续、单像素的图像边缘，并将其作为图像的特征边缘（特征点），以进行更高效、更准确的边缘一致性判别；

二次精确匹配的步骤：用于由多阈值边缘匹配算法，对提取的特征边缘进行多阈值匹配，以精确判别关键帧和匹配帧是否真正匹配，如果匹配则进入下一步，否则将偏移量设置为无效并设置视频不一致标志，而后开始等待对下一个关键帧的检测，并进入偏移量递归复用的步骤；

局部流处理的步骤：用于完成对关键帧的后续帧进行快速检测，其作用是矫正并判断关键帧的后续帧序列是否与匹配帧的后续帧序列一致，如果后续帧全部匹配，则计算偏移量并设置视频一致性标志得到最终的一致性监测结果，并开始等待下一个关键帧的检测，进入偏移量递归复用的步骤，否则将偏移量设置为无效并设置视频不一致标志，而后并开始等待对下一个关键帧的检测，并进入偏移量递归复用的步骤；

偏移量递归复用的步骤：用于对下一个关键帧的检测，如果上次检测偏移量有效，则由偏移量直接得到匹配帧并进入边缘检测的步骤，否则进入计算相似度阈值的步骤；

实施例二：

本实施例是实施例一的改进，是实施例一关于计算相似度阈值的步骤的细化。本实施例所述的计算方法是采用几何变换的方法。图像的几何变换，即图像的旋转和缩放，也是一种对图像进行重采样的过程， 在这个过程中不可避免的要造成图像质量的损失，而峰值信噪比(PSNR)可以作为这种损失的一个度量，信噪比越大说明损失越少，信噪比越小说明损失越大。自适应阈值是采用这样的策略计算得到的：先对关键帧

进行缩小，接着进行等倍数的放大得到了一个二次降质的图像

，然后计算

和

的信噪比，将此信噪比作为

的相似度阈值。由于对不同的关键帧都进行了这样的操作，可到不同的相似度阈值，从而也就实现了阈值的自适应计算，大大提升了检测的鲁棒性，无需设定固定的阈值，也提高了模块的应用性。

实施例三：

本实施例是实施例一的改进，是实施例一关于初次匹配的步骤和二次精确匹配的步骤的细化。 实际上，通过初次匹配和二次精确匹配也就是使用相似度阈值和边缘匹配相结合的双层匹配的方法来完成匹配。通过初次匹配的筛选，可高效快速的得到一个候选匹配关键帧，而后仅对这个候选匹配帧进行运算量非常复杂的边缘检测及匹配处理，在保持匹配精度的基础上，大大提升了匹配效率。

实施例四：

本实施例是实施例一所述的二次精确匹配的步骤中所采用的匹配算法是多阈值特征边缘匹配的方法。

实际上，边缘匹配过程中涉及到参考帧特征点数

、关键帧特征点数、两者相匹配特征点数

三个相关性参数。只有当这些相关数满足特定的关系式时，才能判定两者相匹配。这些关系式包括：

                          

                                         

                                          

其中：

表示的两者特征点数的比值，其取值范围为[0,1]。

称为最小特征比阈值，表示两者特征点数的比值至少要大于该值，否则两者不匹配 ,其取值范围一般为[0.5,  0.9]；

称为最大特征比阈值，表示两者特征点数的比值不能大于该值，其取值一般设定为1；

表示两者相匹配特征点数与参考帧特征点数的比值，其取值范围为[0,1]

称为参考帧最小特征比阈值，表示匹配特征点数与参考帧特征点数的比值至少要大于该值，否则两者不匹配，其取值范围一般为[0.4, 0.9];

称为参考帧最大特征比阈值，表示匹配特征点数与参考帧特征点数的比值不能大于该值，其取值一般设定为1;

表示两者相匹配特征点数与检测帧特征点数的比值，其取值范围为[0,1]

称为检测帧最小特征比阈值，表示匹配特征点数与检测帧特征点数的比值至少要大于该值，否则两者不匹配，其取值范围一般为[0.4, 0.9];

称为检测帧最大特征比阈值，表示匹配特征点数与检测帧特征点数的比值不能大于该值，其取值一般设定为1;

这里的是通过大量的测试得到的经验性阈值。采用这样的多阈值边缘匹配算法，可处理绝大多数的边缘类型，即提高了图像边缘匹配的准确性，又可获得较高的效率。 

Claims (6)

1.一种基于自适应边缘匹配及局部流处理算法的视频一致性监测方法，首先对参考帧序列和检测帧序列的缓冲环初始化，所述参考帧序列是源信号帧序列，所述检测帧序列是播出帧序列；其特征在于，所述监测方法包括如下步骤：

确定关键帧：待检测缓冲段内的首帧称为关键帧；

确定初步匹配的相似度阈值；所述相似度阈值等于信噪比值阈值；

进行初次匹配：在参考帧序列中初步筛选出和关键帧相匹配的初次匹配帧，并计算其和关键帧的信噪比值、获取两个帧的偏移量，如果该值大于相似度阈值则进入下一步，否则将偏移量设置为无效并设置视频不一致标志，而后开始等待对下一个关键帧的确定；

获得连续、单像素的图像边缘，并将其作为图像的特征边缘；

对获得的特征边缘进行多阈值匹配，如果匹配则进入下一步，否则将偏移量设置为无效并设置视频不一致标志，而后开始等待对下一个关键帧的检测；  

对关键帧的后续帧进行快速检测，如果后续帧全部匹配，设置视频一致性标志得到最终的一致性监测结果，开始等待下一个关键帧的检测；如果后续帧不匹配，则将偏移量设置为无效并设置视频不一致标志，而后开始等待对下一个关键帧的检测；

所述信噪比值阈值是先对关键帧进行缩小，接着进行等倍数的放大得到了一个二次降质的图像，然后计算关键帧和二次降质的图像的信噪比，将此信噪比作为关键帧的相似度阈值。

2.权利要求1所述的基于自适应边缘匹配及局部流算法的视频一致性监测方法，其特征在于，所述监测方法进一步包括有偏移量递归复用的步骤：对下一个关键帧的检测，如果上次检测偏移量有效，则由偏移量直接得到初次匹配帧并进入获取图像边缘的步骤，否则进入确定相似度阈值的步骤。

3.权利要求1所述的基于自适应边缘匹配及局部流算法的视频一致性监测方法，其特征在于，所述获得连续、单像素的图像边缘是用小波模极大值算法对初次匹配帧和关键帧进行边缘检测获得。

4.权利要求1所述的基于自适应边缘匹配及局部流算法的视频一致性监测方法，其特征在于，所述对关键帧的后续帧进行快速检测是判断关键帧的后续帧序列是否与初次匹配帧的后续帧序列一致。

5.权利要求1所述的基于自适应边缘匹配及局部流算法的视频一致性监测方法，其特征在于，所述相似度阈值是由几何变换自适应计算确定。

6.权利要求1所述的基于自适应边缘匹配及局部流算法的视频一致性监测方法，其特征在于，所述对获得的特征边缘进行多阈值匹配的关系式包括：

                          

                                          

                                           

其中：

为参考帧特征边缘数、

为关键帧特征边缘数、

为两者相匹配特征边缘数；

表示的两者特征边缘数的比值，其取值范围为[0,1]；

称为最小特征比阈值，表示两者特征边缘数的比值至少要大于该值，否则两者不匹配 ,其取值范围为[0.5,  0.9]；

称为最大特征比阈值，表示两者特征边缘数的比值不能大于该值，其取值设定为1；

表示两者相匹配特征边缘数与参考帧特征边缘数的比值，其取值范围为[0,1]

称为参考帧最小特征比阈值，表示匹配特征边缘数与参考帧特征边缘数的比值至少要大于该值，否则两者不匹配，其取值范围为[0.4, 0.9];

称为参考帧最大特征比阈值，表示匹配特征边缘数与参考帧特征边缘数的比值不能大于该值，其取值设定为1;

表示两者相匹配特征边缘数与检测帧特征边缘数的比值，其取值范围为[0,1]

称为检测帧最小特征比阈值，表示匹配特征边缘数与检测帧特征边缘数的比值至少要大于该值，否则两者不匹配，其取值范围为[0.4, 0.9];

称为检测帧最大特征比阈值，表示匹配特征边缘数与检测帧特征边缘数的比值不能大于该值，其取值设定为1。

Images