CN110191320B - 基于像素时序运动分析的视频抖动与冻结检测方法及装置 - Google Patents

Abstract

本发明涉及一种基于像素时序运动分析的视频抖动与冻结检测方法，步骤如下：S1、获取视频帧序列图像；S2、裁剪视频帧序列图像；S3、以待处理的视频帧序列V_s为数据基础，进行画面非单一模式抖动检测；S4、获得运动放大视频帧序列V_e；S5、获取稠密光流场V_s ^of和稠密光流场V_e ^of；S6、将稠密光流场V_s ^of和稠密光流场V_e ^of信息转变为图像信息，获得光流帧序列V_s ^cof和光流帧序列V_e ^cof；S7、分别进行画面冻结、画面单一模式抖动检测；本发明还公开了一种基于像素时序运动分析的视频抖动与冻结检测装置。本发明能够对画面冻结检测准确率可达100％，且两种抖动检测方法并行处理提升准确率，检测速度快且在统一算法框架同时实现画面抖动与冻结检测。

Description

基于像素时序运动分析的视频抖动与冻结检测方法及装置

技术领域

本发明涉及视频处理领域，更具体涉及监控视频的智能分析领域。

背景技术

随着“天网”监控装置建设的逐步推进，数千万的摄像头遍布大街小巷，为城市治安管理提供了坚强的后盾。在解决监控有无的前提下，监控的质量对于安防日益重要。监控视频画面抖动视频采集设备由于受到外力的干扰，导致画面出现规律性的上下、左右、或上下左右的抖动，监控视频画面抖动的原因一般是安装不牢固或者人为破坏。监控视频画面冻结是指监控画面停留在某一时刻，出现监控视频画面冻结的原因一般是网络故障或者人为信号干扰。准确、快速的进行监控视频画面抖动与冻结检测对于城市安防具有重大意义。

现有监控视频画面抖动检测方法主要有四大类：灰度投影法，图像块匹配法，特征点匹配法，以及LK光流法。其中，灰度投影法的缺陷在于会将监控画面内多个物体的短时快速移动误认为视频画面抖动；图像块匹配法和特征点匹配法的缺点是对于纹理较为干净的监控场景无法进行有效检测，例如监控画面的背景为纯色的墙或地板，一方面很难进行特征点检测，另一方面画面内所有的区域都极为相似；LK光流法的缺点有两点，一是其计算速度较慢，不满足监控视频实时分析要求，二是其属于稀疏光流算法，严重依赖于特征点检测，在特征点无法进行有效定位的情况下效果较差。

现有视频画面冻结检测方法主要有两大类：区域直方图相似度对比，相邻采样帧逐像素差异对比。这两类方法有一个共同的缺点：当监控场景内长时间无任何物体发生移动即误报画面冻结。

除此之外，现有方法无法在一个算法框架中同时进行监控视频画面的抖动与冻结检测。

发明内容

本发明所述要解决的技术问题在于提供基于像素时序运动分析的视频抖动与冻结检测方法及装置，以解决上述背景技术中无法在一个算法框架中同时进行监控视频画面的抖动与冻结检测的问题。

本发明提供如下技术方案来解决上述问题：

一种基于像素时序运动分析的视频抖动与冻结检测方法，步骤如下：

S1、采集视频流，获取视频帧序列图像；

S2、裁剪视频帧序列图像，并将裁剪后的区域作为待处理的视频帧序列V_s；

S3、以待处理的视频帧序列V_s为数据基础，基于局部运动模式进行画面非单一模式抖动检测；

S4、对待处理的视频帧序列V_s进行运动放大处理，获得视频帧序列V_e；

S5、计算待处理的视频帧序列V_s和运动放大后的视频帧序列V_e的稠密光流场，得到稠密光流场V_s ^of和稠密光流场V_e ^of；

S6、将稠密光流场V_s ^of和稠密光流场V_e ^of信息转变为图像信息，获得光流帧序列V_s ^cof和光流帧序列V_e ^cof；

S7、从光流帧序列V_s ^cof和光流帧序列V_e ^cof中提取原始视频的时序特征序列，分别进行画面冻结、画面单一模式抖动检测，输出结果。

通过该方法，能够实现快速检测，且在统一算法框架同时实现画面抖动与冻结检测，同时实现了两种抖动检测方法并行处理，提升准确率。

作为本发明进一步的方案：步骤S1中，获取视频流采用RTSP方式，并根据监控摄像头IP地址获得实时视频流，采集的视频流存储至内存中，视频帧序列图像时长为连续若干秒；

RTSP为实时流协议，支持市面上主流厂家的所有摄像头，直接将若干秒内所有视频帧保存至内存中也能够加快算法处理速度。

作为本发明进一步的方案，所述步骤S2包括，视频帧裁剪后的区域为：视频帧上下、左右裁剪至使视频帧不包含时间戳、摄像头或监控地点信息；

监控视频与普通视频数据相比一般会在拐角处出现时间戳、摄像头或监控地点信息，尤其是时间戳信息是处于不断变化中的，进行此项操作的原因在于监控视频画面一般存在监控地点和监控时间等文字，影响算法对视频帧的分析。

作为本发明进一步的方案：所述步骤S3包括，利用基于局部运动模式的方法进行画面非单一模式抖动检测，方法如下：

首先将视频帧序列V_s中的每一帧按均匀分割的方式将每一帧等分为若干个矩形子区域；

接着对每一个子区域进行灰度投影并检测每一帧每一个子区域的关键特征点；

然后对频帧序列V_s中任意相邻两帧的每一个相对应子区域的关键特征点进行匹配，计算每一个子区域相对于前一帧对应子区域的位移；若干个子区域的位移幅值集合成一个总位移幅值向量集合d＝[d₁、d₂、d₃…d_i]，若存在任一子区域的d_i(_i∈[1,9])的模小于T，认为当前两帧画面未发生抖动；否则认为当前两帧画面存在抖动；

最后依据总位移幅值向量集合d＝[d₁、d₂、d₃…d_i]，将若干秒内的计算结果综合统计，事先设定的阈值t，则认为当前处理的视频帧序列V_s出现了画面抖动，否则未发生抖动；

该方法不仅能够消除由于监控画面出现快速移动的物体造成的误警，还可以有效减轻特征点误匹配造成的误检。

作为本发明进一步的方案：所述步骤S4包括，运动放大处理方法为：

1)在视频帧序列V_s中，将每一帧图像进行金字塔多分辨率空间滤波获得不同尺度的图像；

2)对于连续多帧不同尺度的图片序列组成的时序信号进行时域带通滤波；

3)基于泰勒级数对每一个频带的运动信号线性放大；

4)将不同尺度放大后的图像进行合成获得最终运动放大后的结果，即获得视频帧序列V_e。

作为本发明进一步的方案：所述步骤S6包括：

转变为图像信息的方法为：利用伪彩色变换方法，将稠密光流场V_s ^of和稠密光流场V_e ^of转变为光流帧序列V_s ^cof和光流帧序列V_e ^cof；进而复杂光流场矢量信息以视觉形式进行表达：光流帧序列V_s ^cof和光流帧序列V_e ^cof中每一个像素的颜色表示其对应视频像素的运动方向，亮度表示其运动剧烈程度；

伪彩色变换方法为将所有运动方向以45度进行间隔区分，分别用红、橙、黄、绿、蓝、靛、紫、白八个颜色进行表示八个运动方向，八个颜色用数字表示为1、2、3、4、5、6、7、8。

作为本发明进一步的方案：所述步骤S7包括，进行画面冻结、画面单一模式抖动检测的方法分别如下：

S71、画面冻结检测，计算每一帧的前景像素占总分辨率的比例p_i，得到字母时序特征序列[P₁、P₂、P₃…P_N]，其中N是处理的总帧数；随后设定用于和比例p_i作比较的阈值T₁，当P_i(i∈[1,N]＜T₁时认为第i帧发生了冻结；否则未发生冻结；

再依据字母时序特征序列[P₁、P₂、P₃…P_N]统计P_i(i∈[1,N]＞T₁的个数M₁，即有M₁帧未出现画面冻结现象；然后设定用于和M₁相比较的阈值T₂，当M₁＞T₂时，即至少有T₂帧未出现冻结现象，认为当前两秒监控画面序列无冻结，否则认为当前两秒画面出现视频冻结故障；

S72、画面单一模式抖动检测，统计光流帧序列V_s ^cof中每一光流帧占比颜色最多的像素占该光流帧总像素的比例并记录颜色类别，若在两秒内的颜色类别出现规律性变化，即属于单一模式抖动，则认为当前画面出现抖动；

若在两秒内的主体颜色类别未出现规律性变化，此时直接根据步骤S3判断画面有无抖动的情况来作为输出结果；

作为本发明进一步的方案：步骤S72中，统计每一光流帧占比颜色最多的像素占该光流帧总像素的比例，作为一个数字时序特征序列，其中所述数字时序特征序列中不同数字代表伪彩色变换得到的不同的主体颜色类别；

其中，所述数字时序特征序列类型为“1122331122…”。

作为本发明进一步的方案：步骤S72中，单一模式抖动为监控画面中的物体运动程度较小、主要由摄像头晃动引起的场景。

一种采用所述的基于像素时序运动分析的视频抖动与冻结检测方法的检测装置，包括：

采集模块，用于采集视频流，获取视频帧序列图像；

裁剪模块，用于裁剪视频帧序列图像，并将裁剪后的区域作为待处理的视频帧序列V_s；

非单一模式抖动检测模块，用于以待处理的视频帧序列V_s为数据基础，进行画面抖动检测；

运动放大处理模块，用于对待处理的视频帧序列进行运动放大处理，获得可反映视频像素微小变化的视频帧序列V_e；

计算模块，计算待处理的视频帧序列V_s和和运动放大后的视频帧序列V_e的稠密光流场，得到稠密光流场V_s ^of和稠密光流场V_e ^of；

转变模块，将稠密光流场V_s ^of和稠密光流场V_e ^of信息转变为图像信息，获得光流帧序列V_s ^cof和光流帧序列V_e ^cof；

检测模块，用于从光流帧序列V_s ^cof和光流帧序列V_e ^cof中提取原始视频的时序特征序列，分别进行画面冻结、画面单一模式抖动检测，输出结果。

与现有技术相比，本发明的有益效果是：

1、本发明对画面冻结检测准确率可达100％，能准确区分画面冻结与监控画面无运动物体或画面纹理干净平滑多种视觉极为相似的情况；

2、本发明实现两种抖动检测方法并行处理，从而有效提升准确率，其中用基于局部运动模式的方法进行画面抖动检测的方法消除了由于监控画面出现快速移动的物体造成的误警，有效减轻特征点误匹配造成的误检；也避免了出现灰度投影法、图像块匹配法以及LK光流法中出现的问题；同时并搭配单一模式抖动判断对画面抖动检测的方法，实现在保证召回率的前提下降低由于画面中存在快速移动的物体造成的误警；

3、检测速度快且在统一算法框架同时实现画面抖动与冻结检测。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。

图1为本发明实施1中基于像素时序运动分析的视频抖动与冻结检测方法的流程示意图。

图2为本发明实施1中基于像素时序运动分析的视频抖动与冻结检测方法的步骤S2中裁剪视频的示意图。

图3为本发明实施1中基于像素时序运动分析的视频抖动与冻结检测方法中基于局部运动模式的画面抖动检测方法示意图。

图4为本发明实施1中基于像素时序运动分析的视频抖动与冻结检测方法中提取稠密光流场及转变为图像信息的操作示意图。

图5为本发明实施1中基于像素时序运动分析的视频抖动与冻结检测方法的步骤S73中画面冻结检测示意图。

图6为本发明实施1中基于像素时序运动分析的视频抖动与冻结检测方法的步骤S72中监控画面单一模式抖动检测示意图。

图7为本发明实施1中基于像素时序运动分析的视频抖动与冻结检测方法的流程方框图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

图1为基于像素时序运动分析的视频抖动与冻结检测方法的流程示意图，图7为本发明实施1中基于像素时序运动分析的视频抖动与冻结检测方法的流程方框图，如图1及图7，本发明实施例中，一种基于像素时序运动分析的视频抖动与冻结检测方法，步骤如下：

S1、采集视频流并存储至内存中，获取连续若干秒的视频帧序列图像；

通过RTSP方式获取视频流，每次检测的对象为连续若干秒的视频帧序列Vs，本实施例中优选为两秒的视频帧序列Vs，同时为加快算法处理速度，直接将两秒内所有视频帧保存至内存中；

其中RTSP为实时流协议，支持市面上主流厂家的所有摄像头；

优选的，本实施例中，每次检测的对象为连续两秒的视频帧序列Vs；

S2、裁剪步骤S1中保存的视频帧序列图像，裁剪后的区域中不包含时间戳、摄像头或监控地点等信息，并将裁剪后的区域作为待处理视频帧序列V_s；图2为基于像素时序运动分析的视频抖动与冻结检测方法的步骤S2中裁剪视频的示意图，如图2；

本实施例中，裁剪后的区域为：视频帧上下各裁剪1/8，左右各裁剪1/10；

进行此项操作的原因在于监控视频画面一般存在监控地点和监控时间等文字，影响算法对视频帧的分析；

S3、以待处理视频帧序列V_s为数据基础，利用基于局部运动模式的方法进行画面非单一模式抖动检测；

如图3所示，首先将视频帧序列V_s中的每一帧按均匀分割的方式将每一帧等分为9个矩形子区域；然后对每一个子区域进行灰度投影并检测每一帧每一个子区域的关键特征点；

本发明采用稠密特征点检测算法，稠密特征点检测算法首先通过稠密无差别的均匀采集样本点，然后对每个采集样本点按照普通特征点描述子的计算方式获得每一个采集样本点的向量化表达(如dense-sift)，通过这种方法，旨在消除子区域纹理不明显可能造成的灰度变化不明显和关键特征点检测效果较差的问题；

将密特征点检测算法运用于本实施例中：对频帧序列V_s中任意相邻两帧的每一个相对应子区域的关键特征点进行匹配，计算每一个子区域相对于前一帧对应子区域的位移；

图3为基于像素时序运动分析的视频抖动与冻结检测方法中基于局部运动模式的画面抖动检测方法示意图，以如图3所示的第一个子区域计算为例，计算流程如下：

将帧2子区域1的所有特征点与帧1子区域1的所有特征点描述子进行匹配，通过匹配上的特征点计算平均位移作为子区域1在当前两帧发生的位移d₁；

通过以上述方式计算每一个子区域的位移，9个子区域的位移幅值集合成一个总位移幅值向量集合d＝[d₁、d₂、d₃…d₉]，若存在任一子区域的d_i(_i∈[1,9])的模小于T，(T为预先设定的衡量是否抖动的阈值)，即存在某一子区域的运动幅度小于一定程度，则认为当前两帧画面未发生抖动；否则认为当前两帧画面存在抖动，这种方式可以消除由于监控画面出现快速移动的物体造成的误警；

最后，依据总位移幅值向量集合d＝[d₁、d₂、d₃…d₉]，将两秒内的计算结果综合统计，若抖动的帧数大于事先设定的阈值t，本实施例中阈值t设定为10，即当前处理的两秒钟视频帧序列至少有10帧发生了抖动，则认为当前处理的两秒钟的视频帧序列V_s出现了画面抖动，从而实现初步检测，这种方式可以有效减轻特征点误匹配造成的误检；

S4、在步骤S2的基础上，对视频帧序列V_s进行基于相位的运动放大处理，运动放大处理采用欧拉放大技术，主要包含四个步骤：

1)在视频帧序列V_s中，将每一帧图像进行金字塔多分辨率空间滤波获得不同尺度的图像；

2)对于连续多帧不同尺度的图片序列组成的时序信号进行时域带通滤波；

3)基于泰勒级数对每一个频带的运动信号线性放大；

4)将不同尺度放大后的图像进行合成获得最终运动放大后的结果，即获得视频帧序列V_e；

对肉眼不可见微小运动进行放大；这一步骤是为了画面冻结检测做数据准备，为了更好的从视觉区分画面冻结与画面无运动物体两种情况；

S5、计算视频帧序列V_s和运动放大后的视频帧序列V_e的稠密光流场；

图4为基于像素时序运动分析的视频抖动与冻结检测方法中提取稠密光流场及转变为图像信息的操作示意图，如图4所示，计算视频帧序列V_s和运动放大后的视频帧序列V_e的稠密光流，计算方法如Farneback光流法、Horn-Shrunk光流法等；

本实施例采用基于反向搜索的视频稠密光流计算方法，能够兼顾计算速度与准确率，得到稠密光流场V_s ^of和稠密光流场V_e ^of；从而获得像素级的运动信息，像素级的运动信息包括每一像素的运动方向与运动程度；

其中基于反向搜索的视频稠密光流计算步骤如下：首先通过基于反向合成图像对齐算法反向搜索分别获得视频帧序列V_s和视频帧序列V_e前后两帧图像中局部矩形区域的像素一一对应关系；然后对相对应的图像局部矩形区域像素级运动轨迹向量进行多尺度的聚合获得稠密光流场；

S6、将视频帧序列V_s和运动放大后的视频帧序列V_e的稠密光流场信息转变为图像信息；

如图4所示，利用伪彩色变换方法(将所有运动方向以45度进行间隔区分，分别用红、橙、黄、绿、蓝、靛、紫、白八个颜色进行表示八个运动方向，八个颜色用数字表示为1、2、3、4、5、6、7、8)，将稠密光流场V_s ^of和稠密光流场V_e ^of转变为光流帧序列V_s ^cof和光流帧序列V_e ^cof，即将难以建模的复杂光流场矢量信息以视觉形式进行表达：光流帧序列V_s ^cof和光流帧序列V_e ^cof中每一个像素的颜色表示其对应视频像素的运动方向，亮度表示其运动剧烈程度；

S7、从光流帧序列V_s ^cof和光流帧序列V_e ^cof中提取原始视频的时序特征，并分别进行画面冻结、画面单一模式抖动检测；

S71、图5为基于像素时序运动分析的视频抖动与冻结检测方法的步骤S73中画面冻结检测示意图，如图5所示，首先将光流帧序列V_e ^cof进行二值化，(即图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果；)计算每一帧的前景像素占总分辨率的比例p_i，得到字母时序特征序列[P₁、P₂、P₃…P_N]，其中N是处理的总帧数；随后设定用于和比例p_i作比较的阈值T₁，当P_i(i∈[1,N]＜T₁时认为第i帧发生了冻结；否则未发生冻结；

同时，为消除由于画面无冻结但当前画面无运动物体或纹理较为干净的情况，本发明将所有帧的冻结情况进行综合考虑，即统计字母时序特征序列[P₁、P₂、P₃…P_N]中P_i(i∈[1,N]＞T₁的个数M₁，即有M₁帧未出现画面冻结现象；然后设定用于和M₁相比较的阈值T₂，当M₁＞T₂时，即至少有T₂帧未出现冻结现象，认为当前两秒监控画面序列无冻结，否则认为当前两秒画面出现视频冻结故障；

通过该步骤，能够实现对画面冻结检测准确率达到100％，能准确区分画面冻结与监控画面无运动物体或画面纹理干净平滑多种视觉极为相似的情况；

S72、图6为基于像素时序运动分析的视频抖动与冻结检测方法的步骤S72中监控画面单一模式抖动检测示意图，如图6所示，根据光流帧序列V_s ^cof的颜色信息提取时序特征判断其是否为单一模式抖动，即统计光流帧序列V_s ^cof中每一光流帧占比颜色最多的像素占该光流帧总像素的比例并记录颜色类别，得到如1122331122…的数字时序特征序列；

其中，单一模式抖动为监控画面中的物体运动程度较小的场景，其画面的抖动主要因为摄像机抖动，

其中，该数字时序特征序列中不同数字代表伪彩色变换得到的不同的主体颜色类别；

若在两秒内的主体颜色类别出现规律性变化，即属于单一模式抖动，则认为当前画面出现抖动；

其中，步骤S4-S7与步骤S3同时并行处理，相互配合同时并行处理提升准确率；在保证召回率的前提下降低由于画面中存在快速移动的物体造成的误警；

若在两秒内的主体颜色类别未出现规律性变化，即不属于单一模式抖动，此时直接根据步骤S3判断画面有无抖动的情况来作为输出结果，如图1。

实施例2

一种采用所述的基于像素时序运动分析的视频抖动与冻结检测方法的检测装置，包括：

采集模块，用于采集视频流，获取视频帧序列图像；

裁剪模块，用于裁剪视频帧序列图像，并将裁剪后的区域作为待处理的视频帧序列V_s；

非单一模式抖动检测模块，用于以待处理的视频帧序列V_s为数据基础，进行画面抖动检测；

运动放大处理模块，用于对待处理的视频帧序列进行运动放大处理，获得可反映视频像素微小变化的视频帧序列V_e；

计算模块，计算待处理的视频帧序列V_s和和运动放大后的视频帧序列V_e的稠密光流场，得到稠密光流场V_s ^of和稠密光流场V_e ^of；

转变模块，将稠密光流场V_s ^of和稠密光流场V_e ^of信息转变为图像信息，获得光流帧序列V_s ^cof和光流帧序列V_e ^cof；

检测模块，用于从光流帧序列V_s ^cof和光流帧序列V_e ^cof中提取原始视频的时序特征序列，分别进行画面冻结、画面单一模式抖动检测，输出结果。

本发明实现了一个可在一个算法框架中同时进行监控视频画面的抖动与冻结检测的方法，同时对画面冻结检测准确率可达100％，能准确区分画面冻结与监控画面无运动物体或画面纹理干净平滑多种视觉极为相似的情况；两种抖动检测方法并行处理提升准确率，在保证召回率的前提下降低由于画面中存在快速移动的物体造成的误警；检测速度快且在统一算法框架同时实现画面抖动与冻结检测。

在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于像素时序运动分析的视频抖动与冻结检测方法，其特征在于，步骤如下：

S1、采集视频流，获取视频帧序列图像；

S2、裁剪视频帧序列图像，并将裁剪后的区域作为待处理的视频帧序列V_s；

S3、以待处理的视频帧序列V_s为数据基础，进行画面非单一模式抖动检测；

S4、对待处理的视频帧序列V_s进行运动放大处理，获得视频帧序列V_e；

S5、计算待处理的视频帧序列V_s和运动放大后的视频帧序列V_e的稠密光流场，得到稠密光流场V_s ^of和稠密光流场V_e ^of；

S6、将稠密光流场V_s ^of和稠密光流场V_e ^of信息转变为图像信息，获得光流帧序列V_s ^cof和光流帧序列V_e ^cof；

S7、从光流帧序列V_s ^cof和光流帧序列V_e ^cof中提取原始视频的时序特征序列，分别进行画面冻结、画面单一模式抖动检测，输出结果；

所述步骤S7包括：进行画面冻结、画面单一模式抖动检测的方法分别如下：

S71、画面冻结检测，将光流帧序列V_e ^cof进行二值化，计算每一帧的前景像素占总分辨率的比例p_i，得到字母时序特征序列[P₁、P₂、P₃...P_N]，其中N是处理的总帧数；随后设定用于和比例p_i作比较的阈值T₁，当P_i(i∈[_1,N]＜T₁时认为第i帧发生了冻结；否则未发生冻结；

再依据字母时序特征序列[P₁、P₂、P₃...P_N]统计P_i(i∈[_1,N]＞T₁的个数M₁，即有M₁帧未出现画面冻结现象；然后设定用于和M₁相比较的阈值T₂，当M₁＞T₂时，即至少有T₂帧未出现冻结现象，认为当前监控画面序列无冻结，否则认为当前画面出现视频冻结故障；

S72、画面单一模式抖动检测时间段内，统计光流帧序列V_s ^cof中每一光流帧占比颜色最多的像素占该光流帧总像素的比例并记录颜色类别，若在该时间段内的颜色类别出现规律性变化，属于单一模式抖动，则认为当前画面出现抖动；

若在该时间段内的主体颜色类别未出现规律性变化，此时直接根据步骤S3判断画面有无抖动的情况来作为输出结果。

2.根据权利要求1所述的基于像素时序运动分析的视频抖动与冻结检测方法，其特征在于步骤S1中，获取视频流采用RTSP方式，并根据监控摄像头IP地址获得实时视频流，采集的视频流存储至内存中，视频帧序列图像为连续若干秒。

3.根据权利要求1所述的基于像素时序运动分析的视频抖动与冻结检测方法，其特征在于，所述步骤S2包括：

视频帧裁剪后的区域为：视频帧上下、左右裁剪至使视频帧中不包含时间戳、摄像头或监控地点信息。

4.根据权利要求2所述的基于像素时序运动分析的视频抖动与冻结检测方法，其特征在于，所述步骤S3进行画面非单一模式抖动检测，方法如下：

首先将视频帧序列V_s中的每一帧按均匀分割的方式将每一帧等分为若干个矩形子区域；

接着对每一个子区域进行灰度投影并检测每一帧每一个子区域的关键特征点；

然后对频帧序列V_s中任意相邻两帧的每一个相对应子区域的关键特征点进行匹配，计算每一个子区域相对于前一帧对应子区域的位移；若干个子区域的位移幅值集合成一个总位移幅值向量集合d＝[d₁、d₂、d₃...d_i]，若存在任一子区域的d_i(_i∈[1,9])的模小于T，T为预先设定的衡量是否抖动的阈值，认为当前两帧画面未发生抖动；否则认为当前两帧画面存在抖动；最后依据总位移幅值向量集合d＝[d₁、d₂、d₃...d_i]，统计计算结果，若抖动的帧数之和大于事先设定的阈值t，则认为当前处理的视频帧序列V_s出现了画面抖动，否则未发生抖动。

5.根据权利要求1所述的基于像素时序运动分析的视频抖动与冻结检测方法，其特征在于，所述步骤S4包括，运动放大处理方法为：

1)在视频帧序列V_s中，将每一帧图像进行金字塔多分辨率空间滤波获得不同尺度的图像；

2)对于连续多帧不同尺度的图片序列组成的时序信号进行时域带通滤波；

3)基于泰勒级数对每一个频带的运动信号线性放大；

4)将不同尺度放大后的图像进行合成获得最终运动放大后的结果，即获得视频帧序列V_e。

6.根据权利要求1所述的基于像素时序运动分析的视频抖动与冻结检测方法，其特征在于，所述步骤S6中，利用伪彩色变换方法，将稠密光流场V_s ^of和稠密光流场V_e ^of转变为光流帧序列V_s ^cof和光流帧序列V_e ^cof。

7.根据权利要求6所述的基于像素时序运动分析的视频抖动与冻结检测方法，其特征在于，步骤S72中，统计每一光流帧占比颜色最多的像素占该光流帧总像素的比例，作为数字时序特征序列，其中所述数字时序特征序列中不同数字代表伪彩色变换得到的不同的主体颜色类别。

8.根据权利要求7所述的基于像素时序运动分析的视频抖动与冻结检测方法，其特征在于，所述步骤S72中，单一模式抖动为：监控画面中的物体运动程度小、由摄像头晃动的场景。

9.一种采用权利要求1-8任一项所述的基于像素时序运动分析的视频抖动与冻结检测方法的检测装置，其特征在于，包括：

采集模块，用于采集视频流，获取视频帧序列图像；

裁剪模块，用于裁剪视频帧序列图像，并将裁剪后的区域作为待处理的视频帧序列V_s；

非单一模式抖动检测模块，用于以待处理的视频帧序列V_s为数据基础，进行画面抖动检测；

运动放大处理模块，用于对待处理的视频帧序列进行运动放大处理，获得可反映视频像素微小变化的视频帧序列V_e；

计算模块，计算待处理的视频帧序列V_s和和运动放大后的视频帧序列V_e的稠密光流场，得到稠密光流场V_s ^of和稠密光流场V_e ^of；

转变模块，将稠密光流场V_s ^of和稠密光流场V_e ^of信息转变为图像信息，获得光流帧序列V_s ^cof和光流帧序列V_e ^cof；

检测模块，用于从光流帧序列V_s ^cof和光流帧序列V_e ^cof中提取原始视频的时序特征序列，分别进行画面冻结、画面单一模式抖动检测，输出结果。

Images