CN104301712B - 一种基于视频分析的监控摄像头抖动检测方法 - Google Patents

Abstract

本发明公开了一种基于视频分析的监控摄像头抖动检测方法，通过标记全局特征点进行匹配，本发明能将视频图像中部分物体发生移动与视频抖动区分开来，从而提高抖动检测的准确率。

Description

一种基于视频分析的监控摄像头抖动检测方法

技术领域

本发明涉及视频监控领域，具体是一种通过视频分析来检测监控摄像头是否抖动的方法。

背景技术

目前，各种规模的视频监控系统已广泛应用于各行各业，除了治安、金融、银行、交通、军队和口岸等领域外，还包括社区、写字楼、酒店、公共场所、工厂、商场、小区、甚至家庭等场合。随着监控摄像机数量的不断增加，监控的时间不断延长，给视频监控系统特别是摄像头的维护工作带来了新的挑战，若摄像头不能得到及时维护，其监控作用将得不到正常发挥，从而影响其安全保障作用。

针对传统摄像头异常人工排查法存在的高成本、实时性差等不足，利用客观视频质量评价方法实现监控摄像头的异常检测成了近些年的研究与应用热点之一，它通过评价由摄像头获得的视频质量好坏来进一步判断摄像头本身的异常，包括三类评价模型：全参考模型、有限参考模型和无参考模型。全参考视频质量评价法把原始参考视频与失真视频在每一个对应帧中的每一个对应像素之间进行比较。有限参考模型只需要原始图像的部分信息，是全参考模型的简化。无参考模型图像质量评价方法完全脱离了对参考图像的依赖，其应用前景更加广阔。

因安装松动、外部强烈震动等原因导致抖动是监控摄像头常见的异常之一，当前有许多客观视频质量评价方法用于检测该类异常，其中与本发明较为接近的技术方案包括：欧阳伟的硕士论文（华中师范大学，2012）中提出了一种基于图像灰度投影算法的运动估计方法，这种方法针对全局图像进行运动估计，易将视频不抖动而部分物体运动的情况视为抖动；发明专利（申请号：201110359307.7，名称：视频质量诊断方法）提到的视频数据的画面抖动度指标的检测方式，是利用对m帧图像进行m-1次全局运动估计，对m-1次的全局运动估计的大小和方向进行统计，从而得到画面抖动度的结果，但是该方法并未给出全局运动估计的技术方案，也未给出抖动失真与正常画面或其他失真类型的判断方式；发明专利（申请号：201310026744.6，名称：一种基于多特征融合的抖动检测算法）通过参考信号的视频帧和待测信号的视频帧比较结果作为图像质量好坏，即是否出现抖动的评价标准，该算法依赖于参考信号（即未失真信号），因而不能用于无参考模型下的抖动检测；发明专利（申请号：201110336063.0，名称：一种摄像头移动检测方法及装置）是在发出摄像头移动指令的情况下判断摄像头是否正常移动，无法在任意时刻判断摄像头是否发生抖动；发明专利（申请号：201110402489.1，名称：视频质量智能检测系统）中通过标记纹理区域，利用光流法获得运动方向，再利用统计的方式进行抖动判断，该方法与本发明通过标记全局特征点进行匹配的方式不同，且本发明利用聚类方法对物体移动与摄像头抖动进行了区分，从而防止了误测发生。

综上所述，当前基于视频分析的摄像头抖动检测技术方案中，存在无法排除被拍摄物体移动的干扰等不足，由此在无参考模型下对任意时刻的摄像头抖动难以准确判断。

发明内容

为克服现有技术上的不足，本发明提供了一种基于视频分析的监控摄像头抖动检测方法，包括如下步骤：

步骤1：抽取视频中连续的n帧图像，记为；

步骤2：对任意连续的两帧图像（i=1,2,…,n-1），作如下处理：

步骤2.1：获取图像中的某种特征集合，其中表示第i帧图像中的第j项特征，m_i为图像中的特征数量；

步骤2.2：针对图像中的每项特征，从图像的特征集合F_i+1中搜索与特征相匹配的特征以获得特征匹配对集合，其中t_i表示F_i与F_i+1中匹配的特征数量，；计算两个特征之间的位移矢量，进而得到所有能匹配的特征对的位移矢量的集合；

步骤2.3：对位移矢量集合进行聚类分析可得到v个子类H_u（u=1,2,…,v），它满足：(1);(2)对任意i和j满足；求任一子类中所有位移矢量的平均值，表示第i个位移矢量集合S_i中第u个子类H_u中的第j个位移矢量，为第i个位移矢量集合S_i中第u个子类H_u中位移矢量的数量，位移矢量的模即矢量的大小；

步骤2.4：将前后两幅图像P_i和P_i+1是否存在抖动标记为Q_i，若存在抖动，则Q_i=1，否则Q_i=0，设抖动幅度阈值δ₀＝，R为图像分辨率，则根据如下规则可判断Q_i取值：

1)当并且时，则认为前后两幅图像之间不存在抖动，即Q_i=0；

2)当并且时，则认为前后两幅图像之间存在抖动，即Q_i=1；

3)当并且有且仅有某一时，则认为前后两幅图像中有部分物体发生了位移，前后两幅图像之间不存在抖动，即Q_i=0；

4)当并且对于任意都有时，则认为前后两幅图像之间存在抖动，即Q_i=1；

步骤3：计算全部n帧图像中所有前后两帧的抖动发生的比例，若>，则认为视频存在抖动，也即对应的监控摄像头存在抖动，其中抖动比例阈值。

优选的，步骤2.1中，将亚像素级Plessey角点作为图像特征。

优选的，步骤2.1中，将SIFT特征点作为图像特征。

本发明的有益效果为：本发明能将视频图像中部分物体发生移动与视频抖动区分开来，从而提高抖动检测的准确率。

附图说明

图1为被检视频中抽取的连续测试帧图像；

图2（a）为实施例一的某一帧的图像；

图2（b）是图2（a）的下一帧图像；

图2（c）中用灰点标示了图2（a）中特征点的位置；

图2（d）中用矩形框标示了图2（b）中特征点的位置；

图2（e）在对应位置同时标记出了图2（c）的灰点与图2（d）的矩形框；

图2（f）将图2（e）中相匹配的两个特征点通过黑线进行连接；

图3（a）为实施例二的某一帧的图像；

图3（b）是图3（a）的下一帧图像；

图3（c）中用灰点标示了图3（a）中特征点的位置；

图3（d）中用矩形框标示了图3（b）中特征点的位置；

图3（e）在对应位置同时标记出了图3（c）的灰点与图3（d）的矩形框；

图3（f）将图3（e）中相匹配的两个特征点通过黑线进行连接；

图4（a）为实施例三的某一帧的图像；

图4（b）是图4（a）的下一帧图像；

图4（c）中用灰点标示了图4（a）中特征点的位置；

图4（d）中用矩形框标示了图4（b）中特征点的位置；

图4（e）在对应位置同时标记出了图4（c）的灰点与图4（d）的矩形框；

图4（f）将图4（e）中相匹配的两个特征点通过黑线进行连接。

图5（a）是图2中前后帧的特征点位移矢量的分布图；

图5（b）是图3中前后帧的特征点位移矢量的分布图；

图5（c）是图4中前后帧的特征点位移矢量的分布图。

具体实施方式

下面结合附图和实施例来详细阐述本发明的图像视频抖动检测方法的具体实施方式。

本发明的基于视频分析的监控摄像头抖动检测方法，包括如下步骤：

步骤1：抽取视频中连续的n帧图像，记为。在本实施例中n=72，抽取的72帧图像如图1所示；

步骤2：对任意连续的两帧图像（i=1,2,…,n-1），在本实施例中n=72，作如下处理：

步骤2.1：获取图像中的某种特征集合，其中f_ij表示第i帧图像中的第j项特征，m为图像中的特征数量，在本实施例中，采用亚像素级Plessey角点作为图像的特征点。

步骤2.2：针对图像中的每项特征，从图像的特征集合F_i+1中搜索与特征相匹配的特征以获得特征匹配对集合，其中t_i表示F_i与F_i+1中匹配的特征数量，；计算两个特征之间的位移矢量，进而得到所有能匹配的特征对的位移矢量的集合。如图2所示，图2（a）为某一帧的图像，图2（b）是图2（a）的下一帧图像；图2（c）中用灰点标示了图2（a）中特征点的位置，图2（d）中用矩形框标示了图2（b）中特征点的位置；为了方便观察，图2（e）在对应位置同时标记出了图2（c）的灰点与图2（d）的矩形框，图2（f）将图2（e）中相匹配的两个特征点通过黑线进行连接。图3与图4给出了另外两个例子，与图2一样对特征点进行了标示。

步骤2.3：对位移矢量集合进行聚类分析可得到v个子类H_u（u=1,2,…,v），它满足：(1);(2)对任意i和j满足；求任一子类中所有位移矢量的平均值，表示第i个位移矢量集合S_i中第u个子类H_u中的第j个位移矢量，为第i个位移矢量集合S_i中第u个子类H_u中位移矢量的数量，位移矢量的模即矢量的大小。

步骤2.4：将前后两幅图像P_i和P_i+1是否存在抖动标记为Q_i，若存在抖动，则Q_i=1，否则Q_i=0，设抖动幅度阈值δ₀＝，R为图像分辨率，则根据如下规则可判断Q_i取值：

1)当并且时，则认为前后两幅图像之间不存在抖动，即Q_i=0；

2)当并且时，则认为前后两幅图像之间存在抖动，即Q_i=1；

3)当并且有且仅有某一时，则认为前后两幅图像中有部分物体发生了位移，前后两幅图像之间不存在抖动，即Q_i=0；

4)当并且对于任意都有时，则认为前后两幅图像之间存在抖动，即Q_i=1。

本实施例中抖动幅度δ₀取1。图5给出了三例前后帧特征点位移矢量的分布情况，坐标原点到菱形标记点的连线即为位移矢量（为便于观察略去连线），同一圆圈内的菱形标记点表示其对应的位移矢量属于同一子类，由于视频发生抖动时，整幅图像的抖动都比较一致，导致位移矢量比较一致，即坐标系中很多位移矢量会重合。其中，图5（a）是图2的前后帧特征点位移矢量的分布图，对它们进行聚类后，子类数量，且其位移矢量平均值，，故认为图像不存在抖动。图5（b）是图3的前后帧特征点位移矢量的分布图，对它们进行聚类后，子类数量，其中左下角的点聚集为一类，其位移矢量平均值，；右上角的点聚集为一类，其位移矢量平均值，，故前后两幅图像存在抖动。图5（c）是图4的前后帧特征点位移矢量的分布图，对它们进行聚类后，子类数量，且其位移矢量平均值，，故前后两幅图像存在抖动。

步骤3：计算全部n帧图像中所有前后两帧的抖动发生的比例，若>，则认为视频存在抖动，其中抖动比例阈值。本实施例中抖动比例阈值取60%，共检测出54次抖动，计算可得抖动比例，由于>，故认为当前视频存在抖动。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种基于视频分析的监控摄像头抖动检测方法，包括如下步骤：

步骤1：抽取视频中连续的n帧图像，记为；

步骤2：对任意连续的两帧图像（i=1,2,…,n-1），作如下处理：

步骤2.1：获取图像中的亚像素级Plessey角点或SIFT特征点集合，其中表示第i帧图像中的第j项特征，m_i为图像中的特征数量；

步骤2.2：针对图像中的每项特征，从图像的特征集合F_i+1中搜索与特征相匹配的特征以获得特征匹配对集合，其中t_i表示F_i与F_i+1中匹配的特征数量，；计算两个特征之间的位移矢量，进而得到所有能匹配的特征对的位移矢量的集合；

步骤2.3：对位移矢量集合进行聚类分析可得到v个子类H_u（u=1,2,…,v），它满足：(1);(2)对任意i和j满足；求任一子类中所有位移矢量的平均值，表示第i个位移矢量集合S_i中第u个子类H_u中的第j个位移矢量，为第i个位移矢量集合S_i中第u个子类H_u中位移矢量的数量，位移矢量的模即矢量的大小；

步骤2.4：将前后两幅图像P_i和P_i+1是否存在抖动标记为Q_i，若存在抖动，则Q_i=1，否则Q_i=0，设抖动幅度阈值δ₀＝，R为图像分辨率，则根据如下规则可判断Q_i取值：

1)当并且时，则认为前后两幅图像之间不存在抖动，即Q_i=0；

2)当并且时，则认为前后两幅图像之间存在抖动，即Q_i=1；

3)当并且有且仅有某一时，则认为前后两幅图像中有部分物体发生了位移，前后两幅图像之间不存在抖动，即Q_i=0；

4)当并且对于任意都有时，则认为前后两幅图像之间存在抖动，即Q_i=1；

步骤3：计算全部n帧图像中所有前后两帧的抖动发生的比例，若>，则认为视频存在抖动，也即对应的监控摄像头存在抖动，其中抖动比例阈值。