CN102833465A - 基于运动检测的刑侦视频预处理方法 - Google Patents

Abstract

本发明公开了一种基于运动检测的刑侦视频预处理方法，包括：设置局部检测区域或者划定警戒线；结合设置的区域或者警戒线对视频内容进行活动目标检测，提取视频帧号；将提取的视频帧号分割、组织成视频片段。通过设置帧差阈值D和面积S的大小可达到零漏检和低误检。本预处理方法通过全局、任意指定区域、跨警戒线活动目标检测三种方法提取视频中具有活动目标的视频帧号，过滤掉静止画面，在减少需要观看的视频画面的同时而不遗漏重要画面，从而提高视频浏览的效率。

Description

基于运动检测的刑侦视频预处理方法

技术领域

本发明涉及多媒体中视频处理方法，具体地指一种基于运动检测的刑侦视频预处理方法，用于刑侦视频处理。

背景技术

为了提高社会治安综合防控能力，大量已建视频监控系统在公安刑侦业务中得到广泛的应用，从视频录像中发现和追踪嫌疑目标的视频侦查技术已成为继刑事技术、行动技术、网侦技术之后侦查破案的第四大技术支撑。视频侦查的实质是通过监控视频寻找侦查线索、发现嫌疑目标。

然而大量的视频监控系统也带来了海量的监控视频录像，在目前的视频侦查工作中，刑侦人员都是通过眼睛“盯着”播放器边观看边记录，即使是夜间或偏僻地段的监控录像中很少有活动目标出现时，也必须“完整”地浏览，而不能出现哪怕是“一秒”的遗漏；长时间浏览视频录像，非常容易造成刑侦人员的视觉疲劳从而影响视频浏览工作质量，甚至造成侦查人员的视力损伤，因此完全由侦查员人工方式浏览、查找嫌疑目标的工作方式费时、费力，效率低下。

刑侦人员利用监控录像来发现和分析犯罪行为时，往往比较关注监控录像中有活动目标的画面，特别地，刑侦人员更可能关注视频中某一局部区域（例如停车场）的活动目标，刑侦人员还有可能关注跨过某一警戒线（例如在小区入口处划定一条警戒线）的活动目标，区域范围的缩小往往会更有助于发现和分析犯罪行为。在此情况下，刑侦人员往往更关注感兴趣区域（如局部区域和警戒线）内是否有活动目标，但是录像中往往有大量的“静止”（包括不在感兴趣区域内的活动目标）画面。尽管常用的视频播放器都有快放功能，但是并不区分视频中的静止部分和活动部分，如果有一种视频预处理方法，在刑侦人员观看监控视频之前能够把视频中具有活动目标（或者仅在感兴趣区域内的活动目标）的视频帧号（以下简称运动帧号）自动提取出来，过滤掉视频中不具有活动目标（包括不在感兴趣区域内的活动目标）的视频帧号（以下简称非运动帧号），然后对这些提取出来的运动帧号所对应的视频数据帧进行分割、组织成视频片段，刑侦人员就可以只观看这些视频片段，而不用观看整个视频录像，必然能提高浏览大量视频的效率。但是，目前还未见到这样的视频预处理方法。

发明内容

本发明的目的就在于克服上述现有技术的不足而提供一种基于运动检测的刑侦视频预处理方法，该方法能够从视频中提取出用户感兴趣区域内的活动目标片段，过滤掉“静止”片段，在减少需要观看的视频画面的同时而不遗漏重要画面，从而提高视频浏览的效率。

实现本发明目的采用的技术方案是：一种基于运动检测的刑侦视频预处理方法，包括以下步骤：

获取视频画面，用鼠标在所述视频画面上沿着感兴趣区域绘制一条封闭曲线，或者在所述感兴趣区域划定一条直线，所述封闭曲线内的区域为局部检测区域，所述直线为警戒线。

将鼠标轨迹绘制在另一幅尺寸相等的黑白图像中，将黑白图像中的封闭区域设置为白色，得到区域掩模图；

导入视频文件，利用三帧帧差法检测关注的活动目标，如局部区域或者警戒线上存在活动目标则认为当前帧为运动帧，并记录所述当前帧的帧号，否则为非运动帧；

将提取的运动帧号分割、组织成视频片段。

在上述技术方案中，判断运动帧的具体步骤为:

（1）将第N帧和第N-1帧图像转换成灰度图像并作帧差，对帧差结果取绝对值；

（2）将步骤（1）得到的帧差结果图像中的每一个像素按如下公式进行二值化：

$M(x,y)=\left\{\begin{array}{ccc}255& \mathrm{if}& M\&GreaterEqual;D\\ 0& \mathrm{if}& M<D\end{array}\right.$

其中，M(x,y)表示帧差结果图像中位置(x,y)处的像素灰度值；D为帧差阈值；

（3）将第N帧图像和第N+1帧图像转换成灰度图像并作帧差，对帧差结果取绝对值；

（4）将步骤（3）得到的帧差结果采用步骤（2）中的公式进行二值化；

（5）将步骤（2）得到的二值图像和步骤（4）得到的二值图像进行逻辑与操作；

（6）对得到的图像进行膨胀操作：

（7）对得到的图像进行中值滤波操作；

（8）判断是在全局、局部还是警戒线上检测活动目标，是则进入下一步，否则转到步骤（10）；

（9）将步骤（7）得到二值图像和区域掩模图像进行逻辑与操作；

（10）获取二值图像中所有活动目标；

（11）判断所有活动目标中是否存在面积大于等于S的活动目标；

（12）若存在任一面积大于等于S的活动目标，则该活动目标为所需活动目标，并判断该帧为运动帧，记录该运动帧的帧号。

（13）若不存在面积大于等于S的活动目标，判断该帧为非运动帧，不记录该帧帧号。

进一步地，在上述技术方案中，

读取提取的运动帧号；

按照设定的分割方法对运动帧号进行分割，再将分割出来的运动帧号所对应的视频帧组织成视频片段。

进一步地，所述分割方法是指给定一个阈值K，用于将每一个运动帧号划分到不同的视频片段。

进一步地，所述阈值K是分割出来的视频片段之间的最小间隔，或者阈值K值为两倍原始视频的帧率大小。

本发明方法通过调整帧差阈值D和面积阈值S的大小来设置检测活动目标的大小，最小为一个像素，最大是整个检测区域，实际的大小可以由用户根据需求设置（例如对于夜间行人几乎和背景融合为一起情况，用户可通过降低D的值来对行人进行检测；对于存在灯光、树叶晃动等噪声干扰的情况，可通过增大S的值来去除这些噪声），在用户调整帧差阈值D和面积阈值S的大小时，将检测结果以动态可视化的形式反馈给用户，方便用户调整。通过合理设置帧差阈值D和面积阈值S大小，即可实现零漏检和低误检。

附图说明

图1为本发明基于运动检测的刑侦视频预处理方法的流程图；

图2为图1中局部检测区域或者警戒线的设置方法流程图；

图3为图1中运动帧号的提取方法流程图；

图4为图1中将视频数据帧分割、组织成视频片段的流程图。

具体实施方式

下面结合附图和具体实施例对本发明作详细的说明。

如图1所示，本发明提供的基于运动检测的刑侦视频预处理方法包括以下步骤：

步骤S101：导入原始视频文件后，获取视频画面，在画面上设置局部检测区域或者划定警戒线，如图2所示，设置局部检测区域或者警戒线具体包括以下步骤：

步骤S201：从原始视频中获取一帧视频画面。

步骤S202：用鼠标在该视帧频画面上沿着感兴趣区域绘制一条封闭曲线，封闭曲线可为任意不规则多边形曲线，记录鼠标的轨迹坐标。本实施例以停车场为感兴趣区域，则封闭曲线为刚好围绕停车场边缘的不规则封闭曲线；或者以小区门口为感兴趣区域，则在该小区门口划定一条直线为警戒线。

步骤S203：创建一幅和步骤S202中视频画面尺寸大小相等的黑白图像，并将所有像素值设置为0（即将图像变成全黑），将由步骤S202记录的鼠标轨迹重画到该全黑图像中：如果步骤S202中绘制的是封闭曲线，则将画笔颜色设置为白色，宽度设置为1个像素宽；若步骤S202中绘制的是警戒线，则将画笔颜色设置为白色，宽度设置为5个像素宽（理想的直线是1个像素宽，本实施例将直线扩展至5个像素宽，形成一个很小的封闭的长方形区域，便于判断该封闭的长方形区域内是否存在活动目标），由此绘制得到的图像为掩模标记图。

步骤S204：将步骤S203得到的掩模标记图中的封闭区域设置为白色（像素值为255），得到一个二值图。于是，步骤S202中设置的局部区域或者警戒线区域对应二值图中的白色部分（像素值全部为255），非局部区域或者警戒线区域对应二值图中的黑色部分（像素值全部为0），由此得到区域掩模图。

步骤S102：采用三帧帧间差分法来检测关注的活动目标（如行人、车辆等），对检出的关注活动目标，再判定其是否在局部区域内或者在警戒线上，如果有任一活动目标满足此条件，则判定该帧为运动帧，并记录该运动帧对应的运动帧号。

本发明使用三帧帧差法来检测关注的运动目标，并引入帧差阈值D来度量活动目标和周围环境背景的差别，引入面积阈值S来度量活动目标面积的大小。如图3所示，根据活动目标提取运动帧号包括以下步骤：

步骤S301：将第N帧和第N-1帧图像转换成灰度图像并作帧差，对帧差结果取绝对值；

步骤S302：对步骤S301得到的帧差结果图像中的每一个像素按如下公式进行二值化：

$M(x,y)=\left\{\begin{array}{ccc}255& \mathrm{if}& M\&GreaterEqual;D\\ 0& \mathrm{if}& M<D\end{array}\right.$

其中，M(x,y)表示帧差结果图像中位置(x,y)处的像素灰度值；D为帧差阈值，可跟据经验或实验统计数据设置，一个较好的实施例是设为15。

即将帧差结果图像中每一个像素的灰度值M与帧差阈值D比较，若M大于等于D，则将该像素值赋值255，否则赋值为0；

由于刑侦视频预处理对活动目标检测指标的要求极为严格，须满足漏检率为0，误检率极低(<10%)的要求。为达零漏检要求，针对夜间活动目标和背景几乎融合在一起的情况，本发明通过减小D的值来进行检测，针对白天活动目标和背景差异很大的情况，可适当增大D的值。在用户调整D的大小时，将检测结果以动态可视化（视频中的所有活动目标会被一个青色矩形框框住）的形式反馈给用户，方便用户调整。合理设置D的大小，即可达到零漏检。

步骤S303：将第N帧图像和第N+1帧图像转换成灰度图像并作帧差，对帧差结果取绝对值；

步骤S304：对步骤S303得到的帧差结果采用步骤S302中的方法进行二值化；

步骤S305：将步骤S302得到的二值图像和步骤S304得到的二值图像进行逻辑与操作；

步骤S306：对步骤S305中得到的图像进行膨胀操作，所用膨胀操作现有技术中所常规使用的技术手段；

步骤S307：对步骤S306中得到的图像进行中值滤波操作；

步骤S308：判断是否要进行区域掩模，即判断是在全局、局部还是警戒线上检测活动目标，是则转至步骤S309，否则转到步骤S310；

步骤S309：将步骤S307得到二值图像和步骤S204得到的掩模图像进行逻辑与操作；

步骤S310：获取二值图像中所有活动目标；

步骤S311：判断所有活动目标中是否存在面积大于等于S的活动目标；

所述S为面积阈值，为达低误检率要求，通过调整S的大小来去除光照变化、树叶晃动等噪声的影响，在用户调整S的大小时，我们会将检测结果以动态可视化（视频中的所有活动目标会被一个青色矩形框框住）的形式反馈给用户，方便用户调整，合理设置S的大小，即可降低误检率。面积阈值为根据待确定的所需活动目标而设定，如待确定的所需活动目标为行人，则此时面积阈值为人的面积大小范围中的最小值，人的面积大小范围可以由统计而得出。

步骤S312：若存在任一面积大于等于S的活动目标，则该活动目标为所需活动目标（如行人、车辆），并判断该帧为运动帧，记录该运动帧的帧号。

步骤S313：若不存在面积大于等于S的活动目标，判断该帧为非运动帧，不记录该帧帧号。

步骤S103：将所有提取的运动帧号按照设定的分割规则进行分割并组织成视频片段。如图4所示，将运动帧号分割、组织为视频片段包括以下步骤：

步骤S401：读取第1个运动帧号所对应的视频帧并将其作为第一个视频段的开始帧；

步骤S402：判断该视频帧是否为最后一个运动帧，是转至步骤S408将该帧作为视频段的结束帧，否则转至步骤S403继续读取下一运动帧；

步骤S403：读取下一运动帧；

步骤S404：判断该帧是否为最后一个运动帧，是转至步骤S408将该帧作为视频段的结束帧，否转至步骤S405；

步骤S405：判断该帧与前一运动帧之差是否大于分割间隔K，是转至步骤S406，否转至步骤S403继续读取下一运动帧；

所述分割间隔K是一个阈值，用于判断提取的相邻两运动帧（如第10帧和第20帧）是否被分割到同一视频片段，K即是分割出来的视频片段之间的最小间隔。为了防止分割出来的视频片段过短、过多，同时为了防止分割出来的视频片段之间的最小间隔过大，K可设置为两倍原始视频的帧率。

步骤S406：将前一运动帧作为上一视频段的结束帧，该运动帧作为下一视频段的开始帧；

步骤S407：判断该帧是否为最后一个运动帧，是转至步骤S408将该帧作为视频段的结束帧，否转至步骤S403继续读取下一运动帧；

步骤S408：将该运动帧作为视频段的结束帧。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的较佳实施例而已，并非用于限制本发明的保护范围，对于本发明所属的技术领域的普通技术人员来说，在不脱离本发明构思的前提下，可以做出各种可能的等同改变或替换，这些改变或替换都应属于本发明的保护范围。

Claims (5)

1.一种基于运动检测的刑侦视频预处理方法，其特征在于，包括以下步骤：

获取视频画面，用鼠标在所述视频画面上沿着感兴趣区域绘制一条封闭曲线，或者在所述感兴趣区域划定一条直线，所述封闭曲线内的区域为局部检测区域，所述直线为警戒线。

将鼠标轨迹绘制在另一幅尺寸相等的黑白图像中，将黑白图像中的封闭区域设置为白色，得到区域掩模图；

导入视频文件，利用三帧帧差法检测关注的活动目标，如局部区域或者警戒线上存在活动目标则认为当前帧为运动帧，并记录所述当前帧的帧号，否则为非运动帧；

将提取的运动帧号分割、组织成视频片段。

2.根据权利要求1所述基于运动检测的刑侦视频预处理方法，其特征在于，判断运动帧的具体步骤为:

（1）将第N帧和第N-1帧图像转换成灰度图像并作帧差，对帧差结果取绝对值；

（2）将步骤（1）得到的帧差结果图像中的每一个像素按如下公式进行二值化：

$M(x,y)=\left\{\begin{array}{ccc}255& \mathrm{if}& M\&GreaterEqual;D\\ 0& \mathrm{if}& M<D\end{array}\right.$

其中，M(x,y)表示帧差结果图像中位置(x,y)处的像素灰度值；D为帧差阈值；

（3）将第N帧图像和第N+1帧图像转换成灰度图像并作帧差，对帧差结果取绝对值；

（4）将步骤（3）得到的帧差结果采用步骤（2）中的公式进行二值化；

（5）将步骤（2）得到的二值图像和步骤（4）得到的二值图像进行逻辑与操作；

（6）对得到的图像进行膨胀操作：

（7）对得到的图像进行中值滤波操作；

（8）判断是在全局、局部还是警戒线上检测活动目标，是则进入下一步，否则转到步骤（10）；

（9）将步骤（7）得到二值图像和区域掩模图像进行逻辑与操作；

（10）获取二值图像中所有活动目标；

（11）判断所有活动目标中是否存在面积大于等于S的活动目标；

（12）若存在任一面积大于等于S的活动目标，则该活动目标为所需活动目标，并判断该帧为运动帧，记录该运动帧的帧号。

（13）若不存在面积大于等于S的活动目标，判断该帧为非运动帧，不记录该帧帧号。

3.根据权利要求1或2所述基于运动检测的刑侦视频预处理方法，其特征在于：

读取提取的运动帧号；

按照设定的分割方法对运动帧号进行分割，再将分割出来的运动帧号所对应的视频帧组织成视频片段。

4.根据权利要求3所述基于运动检测的刑侦视频预处理方法，其特征在于：所述分割方法是指给定一个阈值K，用于将每一个运动帧号划分到不同的视频片段。

5.根据权利要求4所述基于运动检测的刑侦视频预处理方法，其特征在于：所述阈值K是分割出来的视频片段之间的最小间隔，或者阈值K值为两倍原始视频的帧率大小。

Images