CN104680143A - 一种用于视频侦查的快速图像检索方法 - Google Patents

Abstract

本发明适用于视频侦查领域，提供了一种用于视频侦查的快速图像检索方法，包括：获得背景模型；获得运动目标；获得候选目标匹配对，完成运动目标的跟踪处理；根据目标图像中各个像素的概率确定图片的信息量，将图片信息量最大值对应的目标图像作为目标最优图像输出；计算目标最优图像的特征，特征包括HSV直方图、颜色自相关图、颜色矩、小波矩和梯度方向直方图，根据压缩感知理论对特征矢量进行降维；根据图像的各个特征矢量计算各个样本图片与目标最优图像的相似度，根据相似性对各个样本图片进行目标排序，得到检索结果。通过提供一种新的运动目标最优图片选取策略，进一步减少因为跟踪问题及选择无效图片而造成的信息丢失。

Description

一种用于视频侦查的快速图像检索方法

技术领域

本发明属于视频侦查领域，尤其涉及一种用于视频侦查的快速图像检索方法。

背景技术

随着科技的快速发展，智能视频监控技术在公安刑侦业务中广泛应用，通过视频录像记录行人及车辆行为，从视频中发现和追踪嫌疑目标已成为刑侦技术的重要手段。在实际办案过程中，当工作人员锁定了嫌疑人或嫌疑车辆后，需要从案发地及附近区域追踪到嫌疑人的行动路线，然而从海量的监控视频中人为查找嫌疑人是一项非常困难的工作，不仅耗时较长而且容易遗漏目标。本发明技术为办案人员提供了技术支持，能够快速找出疑似嫌疑人的目标在视频中的出现时间及出现地点，尽快有效的帮助刑侦人员破案。

发明内容

本发明实施例的目的在于提供一种用于视频侦查的快速图像检索方法，以解决现有技术的问题。

本发明实施例是这样实现的，一种用于视频侦查的快速图像检索方法，所述方法包括以下步骤：

步骤1，对监控视频分别进行背景建模获得背景模型；

步骤2，根据常用的背景差分法及连通域标记法进行运动目标的检测，获得运动目标；

步骤3，根据所述运动目标的位置特征，采用特征匹配方法将前一帧运动目标与当前帧运动目标进行关联，获得候选目标匹配对，完成所述运动目标的跟踪处理；

步骤4，根据目标图像中各个像素的概率确定图片的信息量，将图片信息量最大值对应的目标图像作为目标最优图像输出；

步骤5，计算所述目标最优图像的特征，所述特征包括HSV直方图、颜色自相关图、颜色矩、小波矩和梯度方向直方图，根据压缩感知理论对特征矢量进行降维；

步骤6，根据图像的各个所述特征矢量计算各个样本图片与所述目标最优图像的相似度，根据相似性对各个所述样本图片进行目标排序，得到检索结果。

本发明提供的一种用于视频侦查的快速图像检索方法的第一优选实施例中：所述步骤3中获得候选目标匹配对后，完成运动目标的跟踪处理的过程还包括：

步骤301，根据当前帧与前一帧运动目标的匹配结果对运动目标进行跟踪处理：

如果当前帧运动目标没有被前一帧的运动目标匹配上，则认为当前帧运动目标是新的目标；

如果当前帧运动目标仅被前一帧的一个运动目标匹配上，则完成这个运动目标的跟踪；

如果当前帧运动目标被前一帧的多个运动目标匹配上，选择距离最小的作为这个目标的跟踪结果；

步骤302，对匹配结果进行后处理：

针对当前帧任意一个目标A_i，目标A_i的上一帧目标记为A_i-1，两者之间的距离记为D_A，当前帧另外任意一个目标B_i，目标B_i的上一帧目标记为B_i-1，B_i和A_i的并集记为AB_i，A_i-1与AB_i之间的距离记为D_AB(i)，如果D_AB(i)小于D_A，则认为目标A_i-1有分裂的情况存在，从当前帧开始A_i被当作一个新的目标；

B_i-1和A_i-1的并集记为AB_i-1，A_i与AB_i-1之间的距离记为D_AB(i-1)，如果D_AB(i-1)小于D_A，则认为目标A_i-1有合并的情况存在，从当前帧开始A_i被当作一个新的目标。

本发明提供的一种用于视频侦查的快速图像检索方法的第二优选实施例中：所述步骤4根据目标图片中各个像素的概率计算图片的信息量的过程包括：

步骤401，计算所述目标图片的信息熵H，计算公式为其中p_i为图像中像素值为i的概率；

步骤402，利用jpeg压缩编码方法对所述目标图片进行压缩处理，压缩后的图片大小记为B；

步骤403，计算目标图片信息量S，计算公式如公式(1)：

$S=w*\frac{H}{H_{\max }}+(1-w)*B/(\mathrm{width}*\mathrm{height})---\left(1\right)$

其中w为权重，0.01<w<0.8，H_max为信息熵最大值，width和height分别为原始图像长宽。

本发明提供的一种用于视频侦查的快速图像检索方法的第三优选实施例中：所述步骤5中图像的特征分别表示为：

HSV直方图hsvHist(h₁，h₂，…，h_i，…，h_H)；

颜色自相关图colorAutoCor(c₁，c₂，…，c_i，…，c_C)；

颜色矩colorMoment(m₁，m₂，…，m_i，…，m_M)；

小波矩wavlet(w₁，w₂，…，w_i，…，w_W)；

梯度方向直方图hog(hog₁，hog₂，…，hog_i，…，hog_HO)；

其中h_i、c_i、m_i、w_i、hog_i分别为上述几个特征的特征分量，H、C、M、W、HO分别为上述特征的特征分量个数，将这些特征组成一个特征矢量如公式(2)：

featureVector＝(hsvHist，colorAutoCor，colorMoment，wavlet，hog)   (2)

维数记为n，根据压缩感知理论对特征矢量featureVector进行降维，降维后的特征记为fV，fV＝Random*featureVector，其中Random是维数为m*n的随机测量矩阵，所述随机测量矩阵的元素计算公式如公式(3)：

本发明提供的一种用于视频侦查的快速图像检索方法的第四优选实施例中：所述步骤6中计算所述样本图片与所述目标最优图片的相似度cosθ计算公式如公式(4)：

$\cos \mathrm{\&theta;}=\frac{{\mathrm{\&Sigma;}}_{j=1}^m{X}_j{Y}_j}{\sqrt{{\mathrm{\&Sigma;}}_{j=1}^m{X}_j^2}\&times;\sqrt{{\mathrm{\&Sigma;}}_{j=1}^m{Y}_j^2}}---\left(4\right)$

其中，X_j和Y_j分别表示两幅图片特征矢量的第j个分量，m表示特征矢量的维数。

本发明实施例提供的一种用于视频侦查的快速图像检索方法的有益效果包括：

1、任何一个目标在视频中从出现到消失都会产生极大数量的图片，本发明提供一种新的运动目标最优图片选取策略，从而进一步减少因为跟踪问题及选择无效图片而造成的信息丢失。

2、对常用的跟踪方法进行了改进，较好的解决了运动目标跟踪过程中因为目标分裂及合并导致的目标跟踪丢失、错误等问题,能够有效的防止目标遗漏。

3、通过采用压缩感知的方法，对图片的高维特征矢量进行降维，获得高效的特征组合，提高特征计算效率及准确率，帮助刑侦人员快速发现可疑目标，缩短查询时间。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种用于视频侦查的快速图像检索方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

如图1所示为本发明提供的一种用于视频侦查的快速图像检索方法的流程图，所述方法包括以下步骤：

步骤1，背景建模

根据提供的监控视频，对监控视频分别进行背景建模获得背景模型。

步骤2，运动目标检测

根据常用的背景差分法及连通域标记法进行运动目标的检测，获得运动目标。

步骤3，运动目标跟踪

根据运动目标的位置特征，采用特征匹配方法将前一帧运动目标与当前帧运动目标进行关联，获得候选目标匹配对，完成运动目标的跟踪处理。

步骤4，目标最优图片选择

根据目标图像中各个像素的概率确定图片的信息量，将图片信息量最大值对应的目标图像作为目标最优图像输出。

步骤5，图片特征计算

计算目标最优图像的特征，特征包括HSV直方图、颜色自相关图、颜色矩、小波矩和梯度方向直方图，根据压缩感知理论对特征矢量进行降维。

步骤6，特征匹配

根据图片的各个特征矢量计算各个样本图片与目标最优图像的相似度，根据相似性对各个样本图片进行目标排序，得到检索结果。

本发明实施例，提供一种新的运动目标最优图片选取策略，根据图片中各个像素的概率确定图片的信息量，可以减少因为跟踪问题及选择无效图片而造成的信息丢失。通过采用压缩感知的方法，对图片的高维特征矢量进行降维，获得高效的特征组合，提高特征计算效率及准确率，帮助刑侦人员快速发现可疑目标，缩短查询时间。

进一步的，步骤3中获得候选目标匹配对后，完成运动目标的跟踪处理的过程还包括：

步骤301，根据当前帧与前一帧运动目标的匹配结果对运动目标进行跟踪处理：

如果当前帧运动目标没有被前一帧的运动目标匹配上，则认为当前帧运动目标是新的目标；

如果当前帧运动目标仅仅被前一帧的一个运动目标匹配上，则完成这个目标的跟踪；

如果当前帧运动目标被前一帧的多个运动目标匹配上，选择距离最小的作为这个目标的跟踪结果。

步骤302，对匹配结果进行后处理：

针对当前帧任意一个目标A_i，上一帧的此目标记为A_i-1，两者之间的距离记为D_A，当前帧另外任意一个目标B_i，上一帧的此目标记为B_i-1，B_i和A_i的并集记为AB_i，A_i-1与AB_i之间的距离记为D_AB(i)，如果D_AB(i)小于D_A，则认为目标A_i-1有分裂的情况存在，从当前帧开始A_i被当作一个新的目标；

B_i-1和A_i-1的并集记为AB_i-1，A_i与AB_i-1之间的距离记为D_AB(i-1)，如果D_AB(i-1)小于D_A，则认为目标A_i-1有合并的情况存在，从当前帧开始A_i被当作一个新的目标。

步骤302中对匹配结果进行后处理的过程可以减少跟踪过程中目标合并与分裂造成的跟踪错误及遗漏目标的情况，对匹配结果进行以下后处理。

步骤4根据目标图片图像中各个像素的概率计算图片的信息量的过程包括：

步骤401，计算目标图片信息熵H，计算公式为其中p_i为图像中像素值为i的概率。

图片所含信息量越多，信息熵越大。

步骤402，利用jpeg压缩编码方法对目标图片进行压缩处理，压缩后的图片大小记为B。

图片所含信息越多，压缩后越大。

步骤403，计算目标图片信息量S，计算公式如公式(1)：

$S=w*\frac{H}{H_{\max }}+(1-w)*B/(\mathrm{width}*\mathrm{height})---\left(1\right)$

其中w为权重，0.01<w<0.8，H_max为信息熵最大值，width和height分别为原始图像长宽。

步骤4中，根据上述步骤401-403得到各个目标图片的信息量S后，将图片信息量S最大值对应的目标图像作为目标的最优图片输出。

步骤5中图像的特征：

HSV直方图hsvHist(h₁，h₂，…，h_i，…，h_H)；

颜色自相关图colorAutoCor(c₁，c₂，…，c_i，…，c_C)；

颜色矩colorMoment(m₁，m₂，…，m_i，…，m_M)；

小波矩wavlet(w₁，w₂，…，w_i，…，w_W)；

梯度方向直方图hog(hog₁，hog₂，…，hog_i，…，hog_HO)。

其中h_i、c_i、m_i、w_i、hog_i分别为上述几个特征的特征分量，H、C、M、W、HO分别为上述特征的特征分量个数，将这些特征组成一个特征矢量如公式(2)：

featureVector＝(hsvHist，colorAutoCor，colorMoment，wavlet，hog)   (2)

维数记为n，根据压缩感知理论对特征矢量featureVector进行降维，降维后的特征记为fV，fV＝Random*featureVector，其中Random是维数为m*n(m远小于n)的随机测量矩阵，随机测量矩阵的元素计算公式如公式(3)：

步骤6，计算样本图片与目标最优图片的相似度计算公式如公式(4)：

$\cos \mathrm{\&theta;}=\frac{{\mathrm{\&Sigma;}}_{j=1}^m{X}_j{Y}_j}{\sqrt{{\mathrm{\&Sigma;}}_{j=1}^m{X}_j^2}\&times;\sqrt{{\mathrm{\&Sigma;}}_{j=1}^m{Y}_j^2}}---\left(4\right)$

其中，X_j和Y_j分别表示两幅图片特征矢量的第j个分量，m表示特征矢量的维数，cosθ表示两个矢量的相关度，值越大表示相似度越高。

实施例一

本发明提供的实施例一为本发明提供的一种用于视频侦查的的快速图像检索方法的具体应用实施例，例如某电动车被盗，受害人给了一张电动车的图像，请求公安人员查找电动车去向。为了查到嫌疑目标车辆，工作人员需要将附近的各路口在某个时间段内的视频调出来，这些视频都只是可能包含目标，如果办案人员紧靠眼睛去看是很难在短时间之内找到目标，或者就算有目标也可能因为长时间的疲劳而遗漏，办案效率低下，准确度也难以保障。这时使用基于视频侦查的快速图像检索技术可以快速筛选出目标图片便于检索出可疑目标，具体实施方式如下：

1、办案人员从事发地各个路口的监控系统中拷贝出一段时间内的监控视频，将这些视频文件输入到图像检索系统中，分别进行背景建模得到背景模型；

2、根据常用的背景差分法及连通域标记法进行运动目标的检测，从而获得运动目标；

3、根据运动的特征进行跟踪得到目标的运动轨迹，在跟踪过程中考虑目标突变的情况，防止跟踪丢失造成的目标遗漏；

4、从目标运动轨迹图片中，选择最优图片代表该目标进行特征计算；

5、整合视频中的所有目标，进行特征计算，将特征组成一个一个的特征矢量并降维；

6、计算受害人提供的目标图片的相应特征矢量，与运动目标图片的特征矢量做相似性匹配计算；

7、根据相似系数进行降序排序，结合肉眼优先查看排序靠前的可疑目标，最后找到目标出现的视频及相关线索。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种用于视频侦查的快速图像检索方法，其特征在于，所述方法包括：

步骤1，对监控视频分别进行背景建模获得背景模型；

步骤2，根据常用的背景差分法及连通域标记法进行运动目标的检测，获得运动目标；

步骤3，根据所述运动目标的位置特征，采用特征匹配方法将前一帧运动目标与当前帧运动目标进行关联，获得候选目标匹配对，完成所述运动目标的跟踪处理；

步骤4，根据目标图像中各个像素的概率确定图片的信息量，将图片信息量最大值对应的目标图像作为目标最优图像输出；

步骤5，计算所述目标最优图像的特征，所述特征包括HSV直方图、颜色自相关图、颜色矩、小波矩和梯度方向直方图，根据压缩感知理论对特征矢量进行降维；

步骤6，根据图像的各个所述特征矢量计算各个样本图片与所述目标最优图像的相似度，根据相似性对各个所述样本图片进行目标排序，得到检索结果。

2.如权利要求1所述的方法，其特征在于，所述步骤3中获得候选目标匹配对后，完成运动目标的跟踪处理的过程还包括：

步骤301，根据当前帧与前一帧运动目标的匹配结果对运动目标进行跟踪处理：

如果当前帧运动目标没有被前一帧的运动目标匹配上，则认为当前帧运动目标是新的目标；

如果当前帧运动目标仅被前一帧的一个运动目标匹配上，则完成这个运动目标的跟踪；

如果当前帧运动目标被前一帧的多个运动目标匹配上，选择距离最小的作为这个目标的跟踪结果；

步骤302，对匹配结果进行后处理：

针对当前帧任意一个目标A_i，目标A_i的上一帧目标记为A_i-1，两者之间的距离记为D_A，当前帧另外任意一个目标B_i，目标B_i的上一帧目标记为B_i-1，B_i和A_i的并集记为AB_i，A_i-1与AB_i之间的距离记为D_AB(i)，如果D_AB(i)小于D_A，则认为目标A_i-1有分裂的情况存在，从当前帧开始A_i被当作一个新的目标；

B_i-1和A_i-1的并集记为AB_i-1，A_i与AB_i-1之间的距离记为D_AB(i-1)，如果D_AB(i-1)小于D_A，则认为目标A_i-1有合并的情况存在，从当前帧开始A_i被当作一个新的目标。

3.如权利要求1所述的方法，其特征在于，所述步骤4根据目标图片中各个像素的概率计算图片的信息量的过程包括：

步骤401，计算所述目标图片的信息熵H，计算公式为其中p_i为图像中像素值为i的概率；

步骤402，利用jpeg压缩编码方法对所述目标图片进行压缩处理，压缩后的图片大小记为B；

步骤403，计算目标图片信息量S，计算公式如公式(1)：

$S=w*\frac{H}{H_{\max }}+(1-w*)B/(\mathrm{width}*\mathrm{height})---\left(1\right)$

其中w为权重，0.01<w<0.8，H_max为信息熵最大值，width和height分别为原始图像长宽。

4.如权利要求1所述的方法，其特征在于，所述步骤5中图像的特征分别表示为：

HSV直方图hsvHist(h₁，h₂，…，h_i，…，h_H)；

颜色自相关图colorAutoCor(c₁，c₂，…，c_i，…，c_C)；

颜色矩colorMoment(m₁，m₂，…，m_i，…，m_M)；

小波矩wavlet(w₁，w₂，…，w_i，…，w_W)；

梯度方向直方图hog(hog₁，hog₂，…，hog_i，…，hog_HO)；

其中h_i、c_i、m_i、w_i、hog_i分别为上述几个特征的特征分量，H、C、M、W、HO分别为上述特征的特征分量个数，将这些特征组成一个特征矢量如公式(2)：

featureVector＝(hsvHist，colorAutoCor，colorMoment，wavlet，hog)(2)

维数记为n，根据压缩感知理论对特征矢量featureVector进行降维，降维后的特征记为fV，fV＝Random*featureVector，其中Random是维数为m*n的随机测量矩阵，所述随机测量矩阵的元素计算公式如公式(3)：

5.如权利要求1所述的方法，其特征在于，所述步骤6中计算所述样本图片与所述目标最优图片的相似度cosθ计算公式如公式(4)：

$\cos \mathrm{\&theta;}=\frac{{\mathrm{\&Sigma;}}_{j=1}^m{X}_j{Y}_j}{\sqrt{{\mathrm{\&Sigma;}}_{j=1}^m{X}_j^2}\&times;\sqrt{{\mathrm{\&Sigma;}}_{j=1}^m{Y}_j^2}}---\left(4\right)$

其中，X_j和Y_j分别表示两幅图片特征矢量的第j个分量，m表示特征矢量的维数。