CN104866616A - 监控视频目标搜索方法 - Google Patents

Abstract

一种监控视频目标搜索方法，包括步骤1，获取搜索目标图像，并提取所述搜索目标图像的特征以建立目标模型；步骤2，获取输入视频，并根据所述输入视频建立背景模型，以提取每一视频帧中的运动前景，并通过连通域检测得到候选目标区域，在所述候选内利用边缘轮廓估计法求出可能的物体目标框位置；步骤3，将候选目标区域的与搜索目标具有最大综合相似度的物体子框的特征相似度作为候选目标区域对应的相似度，若候选目标区域与搜索目标的综合相似度大于阈值，则将候选目标区域的相关信息存入数据库；步骤4，对数据库中的记录进行归类筛选，以减少在筛选结果中连续时间段内重复目标出现的次数；步骤5，查询数据库并根据预设条件对查询结果排序。

Description

监控视频目标搜索方法

技术领域

本发明涉及计算机视觉技术和图像处理领域，具体涉及一种监控视频目标搜索方法。

背景技术

随着科学技术的进步，摄像机的清晰度不断上升，成本不断降低，监控网络已遍布于社会的各个角落，如何快速高效地从监控网络产生的海量视频信息中获取关键信息成为亟待解决的问题。公安刑警在办理案件过程中通常需要在大量的监控视频中对某个特定目标进行搜索，例如对犯罪嫌疑人以及对肇事车辆的搜索，在传统的搜索过程中，对目标的搜索通过人眼完成，需要大量的人力资源，且其搜索的准确度会随着人的疲劳程度降低，因此建立一种能自动搜索视频中特定目标的系统显得十分重要。

在文献：Arnold W.M.Smeulders,Marcel Worring,Simone Santini.Content-Based Image Retrieval at the End of the Early Years,IEEE Transactions onPattern Analysis and Machine Intelligence,VOL.22,NO.12,2000.中，给出了经典的目标图像搜索系统框架，并对目标的局部、全局以及显著性等特征进行了讨论，但直接将文中的搜索框架应用于监控视频目标搜索中，会忽略视频中帧与帧之间的连续性等信息，导致搜索速度较慢。

在中国专利《一种在视频中搜索目标的方法》(公布号为CN 103020198A)中，公开了一种在视频中搜索目标的方法，该方法通过前景/背景分离技术可以将视频中的运动前景提取出，从而有效缩小了目标搜索范围，然而该方法通过前景分离得到的区域并不能直接作为目标进行特征提取，因为前景分离可能会得到重叠的目标，从而会造成搜索失败。而且在该方法的框架下，同一目标在连续时间段内特征比对成功都将视为搜索结果，当查看搜索结果时，会导致结果过多且较混乱等问题。

发明内容

本发明的目的是提供一种监控视频目标搜索方法，以解决现有技术中的图像搜索方法难以直接应用于视频中特定目标搜索的技术问题，以取得较快的搜索速度和准确度。

作为本发明的一个方面，提供了一种监控视频目标搜索方法，其特征在于，包括：步骤1，获取搜索目标图像，并提取所述搜索目标图像的特征以建立目标模型；步骤2，获取输入视频，并根据所述输入视频建立背景模型，以提取每一视频帧中的运动前景，并通过连通域检测得到候选目标区域，在所述候选目标区域内利用边缘轮廓估计法求出所有可能的物体目标框位置，其中物体目标框是指包含边缘闭合物体的矩形框；步骤3，将候选目标区域中的与搜索目标具有最大综合相似度的物体目标框物体子框的特征相似度作为候选目标区域对应的相似度，若候选目标区域与搜索目标的综合相似度大于阈值，则将候选目标区域的相关信息存入数据库；步骤4，对数据库中的记录进行归类筛选，以减少在筛选结果中连续时间段内重复目标出现的次数；步骤5，查询数据库并根据预设条件对查询结果排序。

在步骤1和3中，采用多特征对搜索目标和候选目标进行特征提取和相似度计算，能够提高目标搜索的鲁棒性，通过步骤2利用运动前景信息以及边缘轮廓估计法则能够准确快速地定位到视频中的物体目标框，步骤4和5在查询过程中采用多特征的组合条件排序和查询可避免按固定权重组合特征造成的搜索失败。

优选地，所述步骤1中，提取所述搜索目标图像的特征包括：HSV颜色直方图特征、边缘点个数与面积比例特征、感知哈希指纹特征。其中HSV颜色直方图特征能够描述目标的颜色分布情况，使我们从颜色上识别目标，而边缘点个数与面积比特征可以反映目标包含边缘信息的情况，使我们可以从目标的边缘信息量上描述目标，感知哈希指纹特征用于描述物体的纹理，且具有尺度不变性。

优选地，所述背景模型采用混合高斯模型。通过混合高斯模型可以快速提取出视频帧上的运动前景点。

优选地，在所述候选目标区域内利用边缘轮廓估计法求出所有可能的物体目标框位置包括：S1：计算目标图像的梯度图；S2：将梯度图进行多尺度缩放，得到不同尺度下的梯度图；S3：以尺度为8*8的矩形框遍历各个梯度图，分析各框内的梯度分布以确定物体目标框位置。

优选地，所述步骤S3包括：分别从所述梯度图的矩形框四条边各边上的每一个像素以垂直于该边的方向出发，计算遇到第一个大于128梯度值(即边缘点)的距离，若从各边上的每个像素出发找到边缘点的距离平均值小于5，则判定该矩形框通过缩放比例对应到原图的矩形框为物体目标框判定该矩形框对应的位置可能存在目标物体。

优选地，步骤3中，对物体目标框进行多特征提取，计算该物体目标框的各个特征与搜索目标的各个特征之间的相似度，将各个特征所述相似度进行线性叠加得到所述综合相似度；所述相关信息包括候选目标区域的帧号、位置、尺寸以及图像各个特征的相似度值。

优选地，步骤4包括：按帧号的顺序依次读出数据库中的各条记录，若连续两帧之间存在目标的位置差小于5，且长宽差值均小于5，则认为这两条记录属于同一类；在遍历数据库后，对每一类中的记录进行筛选，每一类记录条数不超过3条，对于超过3条记录的类只保留其第一条、中间一条以及最后一条。

优选地，所述相似度包括HSV颜色直方图特征的相似度、边缘点个数与目标面积比例特征相似度、感知哈希指纹特征的相似度，所述综合相似度由所述HSV颜色直方图特征的相似度、边缘点个数与目标面积比例特征相似度、和感知哈希指纹特征的相似度分别以0.5、0.2、0.3为权值线性叠加得到而成。

优选地，步骤5中，根据所述HSV颜色直方图特征的相似度、边缘点个数与目标面积比例特征相似度、感知哈希指纹特征的相似度对查询结果排序。

附图说明

图1是本发明监控视频目标搜索的算法流程框图。

图2是本发明前景检测得到的候选目标区域示意图。

图3是本发明候选目标区域的多尺度变换示意图。

图4是本发明物体边缘轮廓分析示意图。

图5是本发明实施例效果图。

具体实施方式

下面，结合图1至5，以一个具体的实施例，对本发明进行详细说明。

步骤1，对输入的搜索目标T进行特征提取，包括HSV颜色直方图特征、边缘点个数与面积比例特征以及感知哈希指纹特征。

HSV颜色直方图特征C是将HSV颜色空间划分为105个组，然后统计图像上的各个像素落入每个组的个数，并归一化得到C。其中，在色度H上划分为12等份，在饱和度S上划分为8等份，得到96个组，再单独为黑白灰划分9个组总共得到105个组。

为提高计算速度，一个实施例中通过查表映射法对直方图进行统计，即求出一个从RGB空间直接到直方图颜色值的映射表Map(R，G，B)，该表把像素的颜色值直接映射到直方图的某一个组上。

边缘点个数与面积比例特征β用于衡量目标上的边缘纹理与目标大小之间的关系，通过Canny算子计算目标图像的边缘，并统计其中边缘点的个数n，用n除以目标图像面积Area，即为边缘点个数与面积比特征。

感知哈希指纹特征H，是指将目标图像转换为灰度图后，归一化到8*8的尺寸，计算归一化后图像的像素平均值，从上到下从左到右将各个像素分别与平均值进行比较，大于平均值时取1，否则取0，通过这种方式得到的64位整数即为本实例中使用的感知哈希指纹特征H。这里，用H表示感知哈希指纹特征，以便于下述的公式中使用。

步骤2，对输入的视频图像进行背景建模，用以提取每一帧的运动区域。这里，采用混合高斯模型进行背景建模，具体算法可参照文献C.Stauffer and W.Crimson,"Adaptive background mixture models for real-time tracking,"InProceedings CVPR,pp.246-252,1999。

在得到运动前景图后，通过连通域检测找出候选目标区域R_i，该区域在连通域对应的矩形框基础上分别向上下左右拓展5个像素的距离，如图2所示。

步骤3，在候选目标区域R_i中通过边缘轮廓估计方法估计可能存在物体的物体子框W_ij。

由于前景检测得到的目标区域中可能存在多个目标，以及包含目标阴影等情况，因此直接使用目标区域R_i作特征提取误差较大，本申请所述方法通过估计可能包含物体子框的具体位置来避免直接使用运动前景目标带来的误差。

所述边缘轮廓估计法的具体步骤可以为：

S1.将原图转换为灰度图，然后用下式计算图像的梯度图：

gradient(x，y)＝2×(abs(f(x+1，y)-f(x-1，y))+abs(f(x，y+1)-f(x，y-1)))

其中，gradient(x，y)为像素(x，y)上的梯度值，f(x，y)为像素(x，y)上的灰度值。

S2.将梯度图进行多尺度缩放，得到不同尺度下的梯度图，如图3所示。

S3.以8*8的矩形框遍历各个梯度图，分析各框内的梯度分布。具体地，如图4所示，分别从矩形四条边上的每一个像素以垂直于该边的方向出发，计算遇到第一个大于128梯度值(即边缘点)的距离，若从各边上的每个像素出发找到边缘点的距离平均值小于5，则判定该矩形框对应的位置可能存在目标物体。

步骤4，首先，判断估计得到的物体目标框W_ij中前景点个数是否超过其面积的0.2，如果超过则对该物体目标进行特征提取，特征包括HSV颜色直方图特征、边缘点个数与面积比例特征以及感知哈希指纹特征。

其次，计算各物体目标框W_ij的HSV颜色直方图特征边缘点个数与面积比例特征、感知哈希指纹特征与搜索目标的HSV颜色直方图特征C_T、边缘点个数与面积比例特征β_T、感知哈希指纹特征H_T之间的相似度，并求出综合相似度S。

(1)采用下式计算HSV颜色直方图特征的相似度：

$S_c(C_1,C_2)=\frac{{\mathrm{\Σ}}_I(C_1\left(I\right)-\stackrel{\‾}{C_1})(C_2\left(I\right)-\stackrel{\‾}{C_2})}{\sqrt{{\mathrm{\Σ}}_I{(C_1\left(I\right)-\stackrel{\‾}{C_1})}^2{\mathrm{\Σ}}_I{(C_2\left(I\right)-\stackrel{\‾}{C_2})}^2}}$

其中，I为HSV颜色直方图中的组号，N为直方图中组的总数105,k为1和2。

(2)采用下式计算边缘点个数与目标面积比例特征相似度：

$S_{\mathrm{\β}}({\mathrm{\β}}_1,{\mathrm{\β}}_2)=1-\frac{\mathrm{abs}({\mathrm{\β}}_1-{\mathrm{\β}}_2)}{\max ({\mathrm{\β}}_1,{\mathrm{\β}}_2)}$

其中，abs(x)函数用于计算x的绝对值，max(x，y)函数用于求x，y之间的最大值。

(3)采用下式计算感知哈希指纹特征的相似度S_H：

$S_H(H_1,H_2)=1-\frac{\mathrm{ham}\min \mathrm{gDis}(H_1,H_2)}{64}$

其中，hammingDis(H₁，H₂)用于计算H₁，H₂之间的汉明距离，即H₁，H₂之间不相同的位数个数。

(4)采用下式对S_c、S_β、S_H线性叠加，从而得到综合相似度S：

S＝0.5×S_c+0.2*S_β+0.3*S_H

第三，对于候选目标区域R_i，用其中与搜索目标T具有最大综合相似度的物体子框W_ij的特征相似度作为候选目标区域R_i对应的相似度，若候选目标区域R_i与搜索目标T的综合相似度大于阈值0.3，则将候选目标区域R_i的相关信息存入数据库，包括帧号，候选目标区域R_i左上角位置(x，y),尺寸(width，height),候选目标区域R_i对应图像，以及S、S_c、S_β、S_H。

步骤5，首先，对数据库中的记录进行归类筛选，以减少在结果中连续时间段内重复目标出现的次数。

归类筛选方法的具体实现过程可以是：按帧号的顺序依次读出各条记录，若连续两帧之间存在记录目标的位置差小于5，且长宽差值均小于5，则认为这两条记录属于同一类。在遍历数据库后，对每一类中的记录进行筛选，每一类记录条数不超过3条，对于超过3条记录的类只保留其第一条，中间一条以及最后一条。

然后，对数据库进行条件查询操作以提取搜索结果，根据设定条件可以按照综合相似度排序，颜色相似度以及哈希相似度排序。

本实施例的测试在PC计算机上完成，计算机的参数为Intel(R)Core(TM)i5-4590CPU3.30GHz，内存4G。测试结果如图5所示，其中右侧图像检索标记的窗口内为输入的目标图像，左侧框为输入视频的显示窗口，中间所有结果窗口下的图像阵列为搜索结果按综合相似度进行排序后的效果。

Claims (9)

1.一种监控视频目标搜索方法，其特征在于，包括：

步骤1，获取搜索目标图像，并提取所述搜索目标图像的特征以建立目标模型；

步骤2，获取输入视频，并根据所述输入视频建立背景模型，以提取每一视频帧中的运动前景，并通过连通域检测得到候选目标区域，在所述候选目标区域内利用边缘轮廓估计法求出所有物体目标框位置，其中物体目标框是指包含边缘闭合物体的矩形框；

步骤3，将候选目标区域中与搜索目标具有最大综合相似度的物体目标框的特征相似度作为候选目标区域对应的相似度，若候选目标区域与搜索目标的综合相似度大于阈值，则将候选目标区域的相关信息存入数据库；

步骤4，对数据库中的记录进行归类筛选，以减少在筛选结果中连续时间段内重复目标出现的次数；

步骤5，查询数据库并根据预设条件对查询结果排序。

2.根据权利要求1所述的监控视频目标搜索方法，其特征在于，所述步骤1中，提取所述搜索目标图像的特征包括：HSV颜色直方图特征、边缘点个数与面积比例特征、感知哈希指纹特征。

3.根据权利要求1所述的监控视频目标搜索方法，其特征在于，所述背景模型采用混合高斯模型。

4.根据权利要求1所述的监控视频目标搜索方法，其特征在于，在所述候选目标区域内利用边缘轮廓估计法求出所有物体目标框位置包括：

S1：计算目标图像的梯度图；

S2：将梯度图进行多尺度缩放，得到不同尺度下的梯度图；

S3：以尺度为8*8的矩形框遍历各个梯度图，分析各框内的梯度分布以确定物体目标框位置。

5.根据权利要求1所述的监控视频目标搜索方法，其特征在于，所述步骤S3包括：分别从所述梯度图的矩形框四条边上的每一个像素以垂直于该边的方向出发，计算遇到第一个大于128梯度值(即边缘点)的距离，若从各边上的每个像素出发找到边缘点的距离平均值小于5，则判定该矩形框通过缩放比例对应到原图的矩形框为物体目标框。

6.根据权利要求1所述的监控视频目标搜索方法，其特征在于，步骤3中，对物体目标框进行多特征提取，计算该物体目标框的各个特征与搜索目标的各个特征之间的相似度，将各个特征相似度进行线性叠加得到所述综合相似度；所述相关信息包括候选目标区域的帧号、位置、尺寸以及图像各个特征的相似度值。

7.根据权利要求1所述的监控视频目标搜索方法，其特征在于，步骤4包括：

按帧号的顺序依次读出数据库中的各条记录，若连续两帧之间存在目标的位置差小于5，且长宽差值均小于5，则认为这两条记录属于同一类；

在遍历数据库后，对每一类中的记录进行筛选，每一类记录条数不超过3条，对于超过3条记录的类只保留其第一条、中间一条以及最后一条。

8.根据权利要求6所述的监控视频目标搜索方法，其特征在于，所述相似度包括HSV颜色直方图特征的相似度、边缘点个数与目标面积比例特征相似度、感知哈希指纹特征的相似度，所述综合相似度由所述HSV颜色直方图特征的相似度、边缘点个数与目标面积比例特征相似度、和感知哈希指纹特征的相似度分别以0.5、0.2、0.3为权值线性叠加得到。

9.根据权利要求8所述的监控视频目标搜索方法，其特征在于，步骤5中，根据所述HSV颜色直方图特征的相似度、边缘点个数与目标面积比例特征相似度、感知哈希指纹特征的相似度对查询结果排序。