CN102831166B - 一种基于色彩特征检测的刑侦视频预处理方法 - Google Patents

Abstract

本发明公开了一种基于色彩特征检测的刑侦视频预处理方法，其包括以下步骤：标记特征颜色，统计特征颜色直方图，在视频中查找、匹配具有相似特征颜色的活动目标。本预处理方法能够查找、匹配具有某一色彩特征的活动目标，排除大量不具有相关特征的活动目标，便于聚焦、观察、分析嫌疑对象。本发明方法有助于刑侦人员关注海量视频录像中的重点目标，提高工作效率。

Description

一种基于色彩特征检测的刑侦视频预处理方法

技术领域

本发明涉及视频处理方法，具体为一种基于色彩特征检测的刑侦视频预处理方法，属于多媒体技术领域。

背景技术

中国正处于工业化、城镇化快速发展时期，各种传统和非传统的矛盾交织并存，国家安全形势更加复杂严峻。为了提高社会治安综合防控能力，大量已建视频监控系统在公安刑侦业务中得到广泛的应用，从视频录像中发现和追踪嫌疑目标的视频侦查技术已成为继刑事技术、行动技术、网侦技术之后侦查破案的第四大技术支撑。视频侦查的实质是通过监控视频寻找侦查线索、发现嫌疑目标。

然而大量的视频监控系统也带来了海量的监控视频录像，刑侦人员为了寻找具有某种特征的嫌疑目标（例如具有某种特定颜色的人或者车辆），往往需要在大量监控录像中去寻找大量的活动目标，然后再在这些活动目标中筛选出满足某种特征的活动目标。在目前的视频侦查工作中，刑侦人员为减少观看视频时间可以使用播放器提供的快速播放功能，为提高效率可以采取拖动进度条的方式快速定位到感兴趣的位置。这种方式适合观看少量的视频文件，但是当需要浏览大量视频时，采取这种浏览方式的缺陷是很明显的：人工浏览大量视频不仅费时费力，而且容易因为疲劳导致错过重要信息；采用快速播放方式，容易跳过包含重要内容的画面。完全由侦查员人工方式浏览、查找嫌疑目标的工作方式费时、费力，效率低下。

如果有一种视频预处理方法，能根据嫌疑目标特征，自动在监控录像中查找、匹配具有相同或相似特征的嫌疑目标（如查找具有某种色彩特征的人或车辆），提取出具有该特征的嫌疑目标的视频画面并重新组合成视频，过滤掉不具有相关特征的视频画面,必然能够提高视频检索效率，改善视频分析质量。但是，目前还未见到这样的视频处理方法。

发明内容

有鉴于此，本发明提供了一种基于色彩特征检测的刑侦视频预处理方法，通过比较活动目标的色彩统计特征，海量监控录像进行内容特征搜索，查找、匹配具有相同或相似色彩统计特征的活动目标。

为了解决上述技术问题，本发明采用了如下技术方案：

一种基于色彩特征检测的刑侦视频预处理方法，包括以下步骤：

标记特征颜色；

统计特征颜色的直方图；

在视频中查找、匹配具有与所述特征颜色相同或相似的活动目标。

进一步地，所述标记特征颜色包括以下步骤：

在视频中获取含有特征颜色的视频帧图像；

标记该特征颜色。

在上述技术方案中，所述标记该特征颜色包括以下步骤：

用鼠标在所述视频帧图像中的特征颜色区域绘制一个矩形框，并记录所述矩形框的坐标；

将所述矩形框内的帧图像保存为彩色图像。

在上述技术方案中，所述统计特征颜色的直方图包括以下步骤：

将含有特征颜色的视频帧图像由RGB色彩空间转换成HSV色彩空间；

统计标记区域内HSV色彩空间中H分量的直方图。

进一步地，所述统计标记区域内HSV色彩空间中H分量的直方图包括以下步骤：

从HSV色彩空间中将H分量分离出来建立一个新单通道灰度图像，其灰度值为HSV色彩空间中的色度值，得到H分量图像；

创建一幅尺寸大小相等的单通道灰度图像，即掩模图，按如下规则对像素进行赋值

所述D(x,y)表示新创建的单通道灰度图像中位置为(x,y)处的像素的灰度值，h(x,y)、s(x,y)、v(x,y)分别表示HSV色彩空间中位置为(x,y)处的像素在H、S、V分量中的值，h_min、h_max、s_min、s_max、v_min、v_max为给定阈值；

将H分量图像和所述掩模图像进行逻辑与操作；

将逻辑与操作后的H分量灰度图像中的180个灰度级均匀分成N组，分别统计灰度级落入各个小组的像素个数；

将H分量的直方图的高度按如下公式进行线性变换：

${\mathrm{bin}}_{\mathrm{new}}\left(i\right)\left\{\begin{array}{cc}{\mathrm{bin}}_{\mathrm{old}}\left(i\right)*255/{\mathrm{bin}}_{\max }& \mathrm{if}{\mathrm{bin}}_{\max }\≠0;\\ 0& \mathrm{if}{\mathrm{bin}}_{\max }=0;\end{array}\right.$

所述i(0<i<N）为第i个小组，bin_old(i）为直方图中的第i个小组的高度，bin_max为直方图的最大高度，bin_new(i)为新直方图中第i个小组的直方图高度。

进一步地，所述N取90。

在上述技术方案中，所述在视频中查找、匹配具有与所述特征颜色相同或相似的活动目标包括以下步骤：

将活动目标存在区域的像素的灰度级全部设置为255，其它区域像素的灰度级全部设置为0，得到活动目标二值图像；

将H分量图像、掩模图和活动目标二值图像进行逻辑与操作；

将逻辑与操作所得的图像按如下公式进行二值化：

$D(x,y)=\left\{\begin{array}{ccc}255& \mathrm{if}& D(x,y)\&GreaterEqual;T\\ 0& \mathrm{if}& D(x,y)<T\end{array}\right.$

其中，其中，D(x,y)表示灰度图像中位置(x,y)处的像素灰度值，T为对像素灰度值进行二值化操作时的判定阈值，取值范围为0-255；

将逻辑与操作后的二值图像进行现在技术中的膨胀、中值滤波操作；

获取所有像素值不为0的区域，判断是否存在面积大于阈值S的非0区域，若存在面积大于S的区域，则认为寻找到了具有相同或相似特征颜色的活动目标。

进一步地，所述区域的面积是指活动目标二值图中某一块白色区域内像素值为非0的像素个数。

本发明的有益效果在于：基于色彩特征检测的刑侦视频预处理方法，通过标记特征颜色，统计特征颜色直方图，在视频中查找、匹配具有相似特征颜色的活动目标，排除大量不具有相关特征的活动目标，便于聚焦、观察、分析嫌疑对象。使刑侦员能关注海量视频录像中的重点目标，提高工作效率。

附图说明

图1为本发明基于色彩特征检测的刑侦视频预处理方法流程图；

图2为图1中标记特征颜色的方法流程图；

图3为图1中统计特征颜色直方图的流程图；

图4为图1中查找、匹配活动的流程图。

具体实施方式

下面结合附图和具体实施例对本发明进一步的详细说明。

如图1所示，基于色彩特征检测的刑侦视频预处理方法包括以下步骤：

步骤S101：导入原始视频文件后，获取视频画面，在画面中标记特征颜色。

步骤S102：统计特征颜色的直方图；

步骤S103：在视频中查找、匹配具有与所述特征颜色相同或相似的活动目标。

其中，如图2所示，上述步骤S101具体包括以下步骤：

步骤S201：导入视频，获取含有特征颜色的视频帧图像；

步骤S202：选择特征颜色：用鼠标在该视频帧图像中的特征颜色区域绘制一个矩形框，并记录矩形框的坐标(x,y,width,height)，（其中，x表示矩形框左上角点横坐标，y表示矩形框左上角点的纵坐标，width表示矩形框的宽度，height表示矩形框的高度）；

步骤S203：将获取的该视频帧图像保存为bmp格式的彩色图像。

其中，如图3所示，上述步骤S102具体包括以下步骤：

步骤S301：将步骤S202得到的矩形框区域作为步骤S201中视频帧图像的感兴趣区域（只对该区域内的图像进行处理）；

步骤S302：将感兴趣区域内的图像由RGB颜色空间转换为HSV颜色空间，采用如下公开的公式进行转换；

V＝max(R,G,B)

$S=\left\{\begin{array}{cc}(V-\min (R,G,B))*255/V& \mathrm{ifV}\&NotEqual;0;\\ 0& \mathrm{ifV}=0;\end{array}\right.$

$H=\left\{\begin{array}{cc}(G-B)*60/S& \mathrm{ifV}=R;\\ 180+(B-R)*60/S& \mathrm{if\; V}=G;\\ 240+(R-G)*60/S& \mathrm{ifV}=B;\end{array}\right.$

ifH＜0,then H＝H+360;

本实施例以8位图像为例，RGB色彩空间中三分量的取值范围分别为：R(0～255)，G（0～255），B（0～255)，使用如上公式转换后，HSV色彩空间中三分量的取值范围分别为：H(0～360)，S（0～255），V（0～255)，可将转换后的H值除以2，以便能用8位图像表示，即H分量取值范围为H（0～180）。

步骤S303：从HSV色彩空间中将H分量分离出来建立一个新单通道灰度图像，其灰度值就是HSV色彩空间中的色度（Hue）值；

步骤S304：创建一幅与步骤S301中感兴趣区域尺寸大小相等的单通道灰度图像（掩模图），按如下规则对像素进行赋值：

其中，D(x,y)表示新创建的单通道灰度图像中位置为(x,y)处的像素的灰度值，h(x,y)、s(x,y)、v(x,y)分别表示HSV色彩空间中位置为(x,y)处的像素在H、S、V分量中的值，h_min、h_max、s_min、s_max、v_min、v_max为给定阈值。h_min、h_max分别为色调分量下、上限值，s_min、s_max分别饱和度分量下、上限值，v_min、v_max分别为亮度下、上限值。可通过设置h_min、h_max、s_min、s_max、v_min、v_max的大小来限定色彩的色度、亮度、饱和度范围，解决偏色的问题。

通过调整h_min、h_max、s_min、s_max、v_min、v_max的大小来解决刑侦视频中活动目标的偏色问题。例如，视频中某一穿红色衣服的人，当人渐渐远离摄像机或者光照发生改变时，在视频中衣服呈现的颜色可能会发生轻微变化（如变淡），这时可降低s_min、s_max的值来对其进行检测。

步骤S305：将步骤S303得到的单通道H分量图和步骤S304得到的二值图像进行逻辑与操作；

步骤S306：由步骤S302可知，H分量灰度图像中每个像素的灰度值范围是0～180，将这180个灰度级均匀分成N组，即组间距180/N，分别统计灰度级落入各个小组（如(t₀～t₁)，(t₂～t₃)，(t₄～t₅)，...）的像素个数；N为给定的阈值，如取N=90，组间距为180/90=2，这种情况下，t₀=0，t₁=1，t₂=2，t₃=3，t₄=4，t₅=5。

步骤S307：将步骤S306中得到的直方图的高度按如下公式进行线性变换：

${\mathrm{bin}}_{\mathrm{new}}\left(i\right)\left\{\begin{array}{cc}{\mathrm{bin}}_{\mathrm{old}}\left(i\right)*255/{\mathrm{bin}}_{\max }& \mathrm{if}{\mathrm{bin}}_{\max }\&NotEqual;0;\\ 0& \mathrm{if}{\mathrm{bin}}_{\max }=0;\end{array}\right.$

其中，i(0<i<N）表示第i个小组，bin_old表示步骤S306得到的直方图中的第i个小组的高度（像素数），bin_max表示步骤S306得到的直方图的最大高度，bin_new(i)表示新直方图中第i个小组的直方图高度。

如图4所示，利用直方图在视频中查找、匹配具有与所述特征颜色相同或相似的活动目标，具体包括以下步骤：

步骤S401：读取视频图像；

步骤S402：按步骤S302中的公式将视频图像由RGB色彩空间转换至HSV色彩空间；

步骤S403：创建一幅与步骤S301中感兴趣区域尺寸大小相等的单通道灰度图像（掩模图），按步骤S304所示规则对掩模图进行赋值；

步骤S404：从HSV色彩空间中将H通道分离出来建立一个新单通道灰度图像，其灰度值就是HSV空间中的色度（Hue）值

步骤S405：新创建一幅与步骤S301中感兴趣区域尺寸大小精确相等的单通道灰度图像，对步骤S404中H分量图中的每一个像素，查询其在直方图中落在哪一个小组内，并将该小组的高度作为新创建图像中相同位置像素的灰度级；

步骤S406：对步骤S401中的视频图像，采用公开的活动目标检测算法（如帧差法、背景差法、光流法）检测活动目标；

步骤S407：将活动目标存在区域的像素的灰度级全部设置为255，其它区域像素的灰度级全部设置为0，得到活动目标的二值图，即前景掩模图；

步骤S408：将步骤S403、步骤S405、步骤S407得到的图像进行逻辑与运算；

步骤S409：将步骤S408得到的图像按如下公式进行二值化：

$D(x,y)=\left\{\begin{array}{ccc}255& \mathrm{if}& D(x,y)\&GreaterEqual;T\\ 0& \mathrm{if}& D(x,y)<T\end{array}\right.$

其中，D(x,y)表示图像中位置(x,y)处的像素灰度值，T为给定的一个阈值。

步骤S410：对二值化后的图像进行现有技术中的膨胀操作、中值滤波操作；

步骤S411：获取所有像素值不为0的区域（二值图中的白色区域）；

步骤S412：判断是否存在面积大于S的非0区域；

所述区域的面积是指某一块白色区域内像素值为非0的像素个数，S为一给定阈值，较佳地，可通过调整S的大小来去除噪声的影响。

步骤S413：若存在面积大于S的非0区域，则认为寻找到了具有相同或相似颜色的活动目标，将该帧视频图像作为新的视频中的一帧。

步骤S414：判断该帧是否是原始视频的最一帧，是则结束流程，否则转至步骤S401取出下一帧视频图像，重复步骤S402至步骤S413所述操作。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的较佳实施例而已，并非用于限制本发明的保护范围，对于本发明所属的技术领域的普通技术人员来说，在不脱离本发明构思的前提下，可以做出各种可能的等同改变或替换，这些改变或替换都应属于本发明的保护范围。

Claims (5)

1.一种基于色彩特征检测的刑侦视频预处理方法，其特征在于，包括以下步骤：

首先，标记特征颜色，包括在视频中获取含有特征颜色的视频帧图像、标记所述特征颜色；标记所述特征颜色具体步骤是：用鼠标在所述视频帧图像中的特征颜色区域绘制一个矩形框，并记录所述矩形框的坐标，将所述矩形框内的帧图像保存为彩色图像；

其次，统计特征颜色的直方图，包括将含有特征颜色的视频帧图像由RGB色彩空间转换成HSV色彩空间；统计标记区域内HSV色彩空间中H分量的直方图；所述统计标记区域内HSV色彩空间中H分量的直方图包括以下步骤：

从HSV色彩空间中将H分量分离出来建立一个新单通道灰度图像，其灰度值为HSV色彩空间中的色度值，得到H分量图像；

创建一幅尺寸大小相等的单通道灰度图像，即掩模图，按如下规则对像素进行赋值

其中，D(x,y)表示新创建的单通道灰度图像中位置为(x,y)处的像素的灰度值，h(x,y)、s(x,y)、v(x,y)分别表示HSV色彩空间中位置为(x,y)处的像素在H、S、V分量中的值，h_min、h_max分别为色调分量下、上限值，s_min、s_max分别饱和度分量下、上限值，v_min、v_max分别为亮度下、上限值；

将H分量图像和所述掩模图像进行逻辑与操作；

将逻辑与操作后的H分量灰度图像中的180个灰度级均匀分成N组，分别统计灰度级落入各个小组的像素个数；

将H分量的直方图的高度按如下公式进行线性变换：

${\mathrm{bin}}_{\mathrm{new}}\left(i\right)\left\{\begin{array}{ccc}{\mathrm{bin}}_{\mathrm{old}}\left(i\right)/255/{\mathrm{bin}}_{\max }& \mathrm{if}& {\mathrm{bin}}_{\max }\&NotEqual;0;\\ 0& \mathrm{if}& {\mathrm{bin}}_{\max }=0;\end{array}\right.$

所述i(0<i<N)为第i个小组，bin_old(i)为直方图中的第i个小组的高度，bin_max为直方图的最大高度，bin_new(i)为新直方图中第i个小组的直方图高度；

最后，在视频中查找、匹配具有与所述特征颜色相同或相似的活动目标。

2.根据权利要求1所述基于色彩特征检测的刑侦视频预处理方法，其特征在于，所述N取90。

3.根据权利要求1所述基于色彩特征检测的刑侦视频预处理方法，其特征在于，所述在视频中查找、匹配具有与所述特征颜色相同或相似的活动目标包括以下步骤：

利用运动检测算法检测活动目标；

判断活动目标的颜色是否和所述特征颜色相同或相似。

4.根据权利要求3所述基于色彩特征检测的刑侦视频预处理方法，其特征在于，所述判断活动目标的颜色是否和特征颜色相同或者相似包括以下步骤：

将活动目标存在区域的像素的灰度级全部设置为255，其它区域像素的灰度级全部设置为0，得到活动目标二值图像；

将H分量图像、掩模图和活动目标二值图像进行逻辑与操作；

将逻辑与操作所得的图像按如下公式进行二值化：

$D(x,y)=\left\{\begin{array}{ccc}255& \mathrm{if}& D(x,y)\&GreaterEqual;T\\ 0& \mathrm{if}& D(x,y)<T\end{array}\right.$

其中，D(x,y)表示灰度图像中位置(x,y)处的像素灰度值，T为对像素灰度值进行二值化操作时的判定阈值，取值范围为0-255；

将逻辑与操作后的二值图像进行现在技术中的膨胀、中值滤波操作；

获取所有像素值不为0的区域，判断是否存在面积大于阈值S的非0区域，若存在面积大于S的区域，则认为寻找到了具有相同或相似特征颜色的活动目标。

5.根据权利要求4所述刑侦视频预处理方法，其特征在于：所述区域的面积是指活动目标二值图中某一块白色区域内像素值为非0的像素个数。