CN101715111B - 视频监控中滞留物主自动搜寻方法 - Google Patents

Abstract

视频监控中滞留物主自动搜寻方法属于视频监控中的图像处理的技术领域。其处理步骤为：a检测出监控场景中可疑物体(滞留物)，记录下物体的位置信息以便以后对物体继续实施监控。b用关联算法找到关键帧画面，再根据滞留物主离滞留物距离最近原则找到关键人。c提取关键人身上的颜色特征信息。d对可疑物体实施监控，观察其是否滞留超出规定时间，以及是否有人取物。在滞留物滞留超出一定时间后，进行报警；若没有超出规定时间，则检测是否有人取物，若有，则对取物人进行颜色信息特征匹配，若一致，则不报警；否则，报警。

Description

视频监控中滞留物主自动搜寻方法

技术领域

本发明是一种视频监控中的自动搜寻滞留物主技术，属于视频监控中的图像处理的技术领域。

背景技术

智能视频监控(IVS：Intelligent Video Surveillance)利用计算机视觉技术对视频信号进行处理、分析和理解，并对监控系统进行控制，从而达到智能化水平。智能监控系统在民用和军事领域中有着极大的应用前景。智能视频监控中涉及到许多核心技术，如：背景分析、对象提取、对象描述、对象跟踪、对象识别和对象行为分析等。

搜寻滞留物主正是智能视频监控中的安全类应用的一个应用方向，主要任务是：当监视到一个物体(如箱子、包裹等)在敏感区域停留时间过长，或超过了预定义的时间长度就发出滞留物报警，并自动找出滞留物的物主(滞留物主)。典型应用场景包括机场、火车站、地铁站、广场、影剧院等。

具有滞留物自动搜寻功能从视频监控系统的工作流程大致如图1所示。对采集视频的开始若干帧初始化背景图像，用背景差法得到二值图像，利用二值图像检测相应的目标区域并更新背景图像。二值图像可能会含有一些噪声以及目标空洞或者不连续的情况，用形态学进行处理并提取目标区域。最后用检测分类算法对目标进行检测与分类，当发现异常物体就立即报警，并开始自动搜寻异常物体的主人，发现异常物主也进行报警。

从图1也可以看出本算法在视频监控总体流程中所处的具体位置。

发明内容

技术问题：本发明的目的是提供一种视频监控中滞留物主自动搜寻方法，当发现滞留物体的时候，该物体可能是危险物品，必须检测出该物体的具体位置，除了要检测该物体的具体位置外，还能够知道物体的主人。因为如果该物体是危险物体时并且知道了物体的主人，工作人员可以立即采取相应的处理措施，在以后的调查取证中将有很大的帮助。所以一旦智能监控系统发现滞留物体，本发明文设计了一种关联算法，通过该算法可以将物体与人关联起来，从而找到可疑滞留物体的主人。

技术方案：本发明视频监控中滞留物主自动搜寻方法包括以下步骤：

第一步：检测出监控场景中滞留物，记录下物体的位置信息以便以后对物体继续实施监控，

第二步：利用关联算法找到关键帧画面，再根据滞留物主离滞留物距离最近原则找到关键人，

第三步：提取关键人身上的颜色特征信息，

第四步：对可疑物体实施监控，观察其是否滞留超出规定时间，以及是否有人取物。在滞留物滞留超出一定时间后，进行报警；若没有超出规定时间，则检测是否有人取物，若有，则对取物人进行颜色信息特征匹配，若一致，则不报警；否则，报警。

所述第一步的检测出监控场景中的滞留物，首先在图像中找到长时间不动的物体的区域，在当前的二值化图像中截取那段区域得到P(x，y)，然后在背景图像中截取出那段区域，利用类间方差法二值化后得到图像BM(x，y)，分类的算法主要就是通过对BM(x，y)和P(x，y)中白色区域的形状进行比较得到分类的结果，具体公式如下所示：

$P_a=\frac{\underset{i,j}{\mathrm{\Σ}}|\mathrm{BM}(x,y)-P(x,y)|}{\mathrm{Width}\×\mathrm{Height}}$

其中Width和Height分别为图像的宽度和高度。当P_a满足P_a＜Th时，判别物体为搬移，否则为滞留。

所述第二步的利用关联算法找关键帧画面的方法为：

通过摄像机对监控区域进行监控视频的实时采集，并且每隔10帧存储一帧图像，一共存储60帧，并实时进行更新，以便进行关联算法，一旦发现滞留物体，就利用所保存的以前的监控视频帧进行反向搜索；首先返回到前10帧，在此位置区域进行匹配，如果此位置仍然有滞留物体，就以此帧为基础继续返回10帧，直到在该位置没有发现之前检测到的滞留物体，此时该位置已经没有滞留物体的存在，但有可能返回的帧数太多，因为每次都是以10帧为基础进行返回，所以当第一次找到该位置不存在滞留物体的时候就再向后进行搜索，此时的搜索步长为1帧而不是10帧；如果检测到该位置还是没有发现滞留物体，就继续以1帧为步长向后搜索，直到找到该位置出现了之前检测到的滞留物体，此时就可以断定这个时刻为关联时刻，也就是说，在该时刻滞留物体的主人将包放在了此位置上，只要在该位置的周围就可以搜索到它的主人。

而在其中是否有滞留物，本文使用了归一化积相关灰度匹配算法进行匹配得到一个相关系数R，它表示两个图像的相似程度，当得到的R＞0.5的时候，继续返回到之前10帧。直到匹配得到的相关系数R＜0.5，说明此刻滞留物体没有出现。再以此帧向后搜索，同样在相同位置进行匹配，直到相关系数R＞0.8，说明该位置出现滞留物体。这样我们就找到了人刚刚滞留物体的那一帧画面。

所述第三步提取关键人身上的颜色特征信息的方法为：

在建立颜色直方图匹配前我们对HSV空间进行了颜色量化处理将HSV三个分量按照人的颜色感知进行不等间隔的量化，把色调H空间分成8份，饱和度S和亮度V空间分别分成3份；分别用h、s和v表示三个空间的取值，将所有v＜0.15的颜色均归入黑色，令h＝0，s＝0，v＝0；将所有s＜0.1且v＞0.8的颜色均归入白色，令h＝0，s＝0，v＝1，

其他彩色区域按下式进行量化：

$H=\left\{\begin{array}{cc}\begin{array}{ccc}0& \mathrm{if}& h\∈\left[\mathrm{316,359}\right]\∪\left[\mathrm{0,20}\right]\\ 1& \mathrm{if}& h\∈\left[\mathrm{21,40}\right]\\ 2& \mathrm{if}& h\∈\left[\mathrm{41,75}\right]\\ 3& \mathrm{if}& h\∈\left[\mathrm{76,155}\right]\\ 4& \mathrm{if}& h\∈\left[\mathrm{156,190}\right]\\ 5& \mathrm{if}& h\∈\left[\mathrm{191,270}\right]\\ 6& \mathrm{if}& h\∈\left[\mathrm{271,295}\right]\\ 7& \mathrm{if}& h\∈\left[\mathrm{296,315}\right]\end{array}\begin{array}{c}S=\left\{\begin{array}{ccc}0& \mathrm{if}& s\∈\left[\mathrm{0,0.2}\right]\\ 1& \mathrm{if}& s\∈\left[\mathrm{0.2,0.7}\right]\\ 2& \mathrm{if}& s\∈\left[\mathrm{0.7,1}\right]\end{array}\right.\\ V=\left\{\begin{array}{ccc}0& \mathrm{if}& s\∈\left[\mathrm{0,0.2}\right]\\ 1& \mathrm{if}& s\∈[0.2,0.7]\\ 2& \mathrm{if}& s\∈\left[\mathrm{0.7,1}\right]\end{array}\right.\end{array}& \end{array}\right.$

在此基础上构造一个一维特征矢量G，按照以上的量化级，把3个颜色分量合成为一维特征矢量：

G＝HQ_SQ_V+SQ_V+V

其中，Q_S和Q_V分别是分量s和v的量化级数，Q_S＝3，Q_V＝3，这样，H、S、V三个分量在一维矢量上分布开来，根据公式，G的取值范围为[0，1，……，71]。

有益效果：本发明的有益效果是，设计了一种异常物体检测的方法。当发现视频监控中有可疑物体时，通过这种检测方法能够自动识别出是物体的搬移和滞留。

本发明的另一个有益效果是，如果发现了滞留物体，通过关联检测算法能够找到人刚刚滞留物的那一帧画面。此时，人离包的距离最近，这样就能够找到滞留物主的一些重要特征。

附图说明

图1滞留物主搜寻算法总体框图，

图2监控视频序列分析图，

图3反向搜寻方法流程图，

图4多次投影的具体步骤图，

图5颜色特征提取算法流程图，

图6自动搜寻滞留物主的流程图，

具体实施方式

当监控区域中有可疑物体滞留或者有物体被人从监控区域搬移出去的时候，使用背景减除法得到的二值化图像就可以检测到监控区域内的某块区域长时间为白色区域(即二值图像中该像素值为1)，就用模板S(x，y)来记录这些白色区域不变的时间，达到一定的时间没有变化，则说明该区域有可疑物体滞留或者有物体被搬移。这时候我们应该找出一个合理并且行之有效的算法来判断到底是物体的滞留还是搬移。

当模板S(x，y)中检测到一些区域的值大于阈值T₀的时候，就可以知道这些区域有变化随后长时间没有变化，可能有物体滞留或者被搬移或偷窃。模板S(x，y)的作用主要就是为了找出可疑物在视频图像中的具体位置。这时候就要作出判别，到底是遗留了物体还是偷窃了物体，作出报警提示。可以根据模板S(x，y)找出元素大于T₀的位置信息，就是找到二值图像中物体不变化的次数大于T₀则S(x，y)中相应的位置为1，小于T₀的位置为0。这样在S(x，y)中就得到一个白色区域，可以得到该白色区域的宽度和高度。因为S(x，y)中的白色区域是可疑物体区域，在背景图像中找到相同位置的灰度信息是在后面的做异常物体分类的前提。同样的方法，利用S(x，y)中可疑物体的位置信息在当前帧的二值图像M(x，y)中截取相应位置得到P(x，y)。

利用类间方差法对截取的灰度图像B(x，y)进行求阈值，然后进行二值化得到二值图像BM(x，y)。通过公式(1)求得两类类间方差σ_B ²(D)，其中对应最大的类间方差的那个灰度值D即所要求的阈值T。

σ_B ²(D)＝W_a(μ_a-μ)²+W_b(μ_b-μ)²                        (1)

最佳阈值T满足下式：

${{\mathrm{\σ}}_B}^2\left(T\right)=\underset{0\≤D\≤L}{\max }{{\mathrm{\σ}}_B}^2\left(D\right)---\left(2\right)$

其中，图像灰度范围为[0，L]，σ_B ²(D)为类间方差，W_a为A类概率，μ_a为A类平均灰度，W_b为B类概率，μ_b为B类平均灰度，μ为图像总体平均灰度。即阈值T将图像分成A、B两部分，使得两类总方差σ_B ²(D)取最大值的D，此时的前景与背景的差别最大，即为最佳分割阈值。

分类的算法主要就是通过对BM(x，y)和P(x，y)中白色区域的形状进行比较得到分类的结果。

$P_a=\frac{\underset{i,j}{\mathrm{\Σ}}|\mathrm{BM}(x,y)-P(x,y)|}{\mathrm{Width}\×\mathrm{Height}}---\left(3\right)$

如果之前背景中该位置没有物体，则背景中相应区域的二值图像BM(x，y)和可疑物体的形状不会具有很大的相似性，随后有人遗留了物体在监控区域里，得到相应位置的二值图像P(x，y)的形状应该和物体的形状很相似，所以二者的形状不会具有太大的相似性。这里所说的形状的相似性可以通过公式(3)计算，其中Width和Height分别为图像的宽度和高度。如果二值图像BM(x，y)和P(x，y)中的白色区域具有很相近的形状，则在公式(3)的分子部分相减后的值会比较小，计算得到的P_a会比较小，P_a越小则P(x，y)和BM(x，y)中白色区域的形状越相近。如背景中的物体被取走，该区域灰度发生变化，则P(x，y)中的白色块会具有物体的形状。而原先背景中该区域的也具有物体的形状，利用类间方差二值化得到的二值图像BM(x，y)肯定具有物体的形状，BM(x，y)与P(x，y)形状具有很大的相似性。可以知道当物体滞留在监控区域的时候计算得到的P_a较大，当物体被搬移的时候计算得到的P_a较小。由此可得以下判决准则：

当P_a满足P_a＜Th时，判别物体为搬移，否则为滞留。其中Th为事先设置的阈值。

所以根据BM(x，y)和P(x，y)的差值，可以判断是遗留还是被偷窃，在视频中框住该物体。

如何自动发现被监控现场的滞留物，寻找滞留物和放置该物的主人，建立这两者之间的“联系”，这就是智能视频分析中的关联算法。

图2是判定滞留物过程的示意图，图中上下两条线是时间和视频图像帧的坐标轴，可以看到有人将可疑物体滞留在监控区域中达到一定时间，时间长度达到判定为滞留物体的时刻，在帧的坐标轴中相应的位置开始反向搜索，最终搜索到的滞留物体的主人肯定是在粗虚线部分的那些视频帧中。由该图可以看出本文所设计的关联算法需要利用报警时刻之前保留的视频帧，从而找到滞留物体的主人。

通过摄像机对监控区域进行监控视频的实时采集，并且每隔10帧存储一帧图像，一共存储60帧，并实时进行更新，以便进行关联算法。存储的这些监控视频帧的目的就是为了能够找到可疑滞留物体的主人，做一个人与物关联的算法。本专利所设计的关联分析算法流程图如图3所示(滞留物为一个背包)。

一旦我们发现滞留物体，就利用所保存的以前的监控视频帧进行反向搜索。首先我们返回到前10帧，在此位置区域进行匹配，如果此位置仍然有滞留物体，我们就以此帧为基础继续返回10帧，直到在该位置没有发现之前检测到的滞留物体。此时该位置已经没有滞留物体的存在了。但有可能返回的帧数太多，因为我们每次都是以10帧为基础进行返回，所以当第一次找到该位置不存在滞留物体的时候就再向后进行搜索，此时的搜索步长为1帧而不是10帧。如果检测到该位置还是没有发现滞留物体，就继续以1帧为步长向后搜索，直到找到该位置出现了之前检测到的滞留物体，此时就可以断定这个时刻为关联时刻，也就是说，在该时刻滞留物体的主人将包放在了此位置上，我们只要在该位置的周围就可以搜索到它的主人。

在这个关联算法中，判别视频帧相应位置是否出现滞留物体是根据匹配算法来完成判别的，因为之前我们已经检测出可疑物体，所以可以保存该区域的一些特征作为模板，根据这个模板可以对之前的那些视频帧该位置的像素进行匹配，从而判别是否出现滞留物体。

另外，在此时刻，找到滞留物的主人后，还必须立刻提取该人的颜色特征，因为以后要是有其他人来拿该滞留物体，我们可以利用该颜色特征与来拿滞留物体的人的颜色特征进行匹配，判别取滞留物体的人是不是它的主人，如果不是的话有可能是偷窃行为，我们将进行报警，工作人员并采取相应的措施。

我们利用反向搜索算法寻找物滞留物体主人的时候，是通过先前存储的监控视频图像寻找滞留物体第一次出现在滞留区域的时刻，把在滞留物体最近的人作为滞留物的主人。在寻找滞留区域第一次出现滞留物的时候，我们就用了匹配，匹配的模板就是发现的滞留物体的灰度图像。

根据已知模式的图像在一幅陌生图像中寻找对应该模式的子图像被称为图像匹配。由于传感器噪声、成像过程中视角改变、目标移动和变形、光照或者环境的改变使同一场景在不同条件下投影所得到的二维图像会有很大的差异。为解决图像畸变带来的匹配困难，人们提出了很多图像匹配算法，但基本原则是不变的，即算法必须有效、稳定和快速。

匹配算法分为基于像素灰度相关的匹配、基于图像特征的匹配以及基于其它理论的图像匹配。我们在检测监控区域异常情况的时候使用的是基于图像灰度相关的匹配方法。

基于灰度相关的匹配就是逐像素地把一个以一定大小的实时图像窗口的灰度矩阵与参考图像的所有可能的窗口灰度矩阵按某种相似性度量方法进行搜索比较的匹配方法。这类算法的性能主要取决于相似性度量、搜索策略及匹配窗口大小的选择上，大窗口对于遮挡或图像不光滑的情况会出现误匹配的问题，小窗口不能覆盖足够的强度变化。

设参考图像X_ij的大小为m×n，输入图像Y_ij的大小为M×N，其中M＞m，N＞n。Y_ij表示输入图像以Y(a，b)_ij为中心，参考图大小相等，对应i，j位置的像素灰度。

图像间相似性度量有多种方法，如序贯相似，归一化积相关度、不变矩匹配等方法。其中归一化积相关具有不受比例因子误差影响、抗白噪声干扰能力强等优点，其度量定义如式(4)，比较参考图像与输入图像在各个位置的相关系数，值最大的点就是最佳匹配位置。

$R(a,b)=\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{X}_{\mathrm{ij}}Y{(a,b)}_{\mathrm{ij}}}{\sqrt{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{X}_{\mathrm{ij}}^2}\sqrt{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}Y{(a,b)}_{\mathrm{ij}}^2}}---\left(4\right)$

我们用归一化积相关灰度匹配算法进行匹配得到一个相关系数R，它表示两个图像的相似程度，当得到的R＞0.5的时候，继续返回到之前10帧。直到匹配得到的相关系数R＜0.5，说明此刻滞留物体没有出现。再以此帧向后搜索，同样在相同位置进行匹配，直到相关系数R＞0.8，说明该位置出现滞留物体。这样我们就找到了人刚刚滞留物体的那一帧画面。这时候我们就可以认为滞留物主离滞留物的距离最近。

根据滞留物主离滞留物的距离最近这一原则，只要我们找到各个前景物体的坐标，然后分别计算与滞留物的距离，距离最小者即为滞留物主。我们利用多次投影的方法来获得前景物体的各个坐标。

图4是具体的方法步骤。一个物体通过3次投影，可获得该物体的起始和终点坐标。由坐标值根据距离最近原则找到滞留物主后，下面再来对物主的颜色特征进行提取。

在关键帧找到滞留物主后，可以通过提取目标人物颜色特征，以便后续报警工作的进行。颜色被公认为是图像中最有价值的低层特征，对于复杂背景图像，颜色特征具有相对良好的鲁棒性，并且不受图像尺寸和方向的影响。同时，在许多情况下，颜色是描述一幅图像最简便和最有效的特征。

HSV颜色空间是一种符合人类视觉感知特征的颜色模型，特别适合于人类肉眼对颜色的识别，因此被广泛应用于计算机视觉领域。它把彩色信号表示为三种属性：色调H(Hue)、饱和度S(Saturation)和亮度V(Value)。HSV颜色空间符合人眼对颜色的感知，这种模型构成的是一个均匀的颜色空间，采用3个独立的线性的标尺，即人可以独立感知各颜色分量的变化，感觉上的距离与HSV颜色空间坐标上点的欧几里德距离成正比。所以本系统采用HSV颜色空间作为彩色图像的色彩空间。

RGB颜色模型并不能很精确地表示像素点的颜色信息，特别是在系统需要计算像素点不同时刻的颜色相似度时，RGB颜色模型的表现就差强人意了。而且当所得的图像是高灰度对比的时候(如接近黑白色)，RGB空间显然不能携带足够的颜色信息。但是，现在大多数的视频采集设备都是基于RGB颜色模型的，所以需要这二者之间进行转换。RGB到HSV的转换是一个简单且快速的非线性变换，转换公式为：

其中 $H_1=\arccos \frac{(R-G)+(R-B)}{2\sqrt{{(R-B)}^2+(R-B)(G-B)}}---\left(5\right)$

$S=\frac{\mathrm{Max}(R,G,B)-\mathrm{Min}(T,G,B)}{\mathrm{Max}(R,G,B)}---\left(6\right)$

$V=\frac{\mathrm{Max}(R,G,B)}{255}---\left(7\right)$

这里H∈[0，360]，S∈[0，1]，V∈[0，1]。

颜色量化的目的主要是对图像的特征向量进行降维，以提高系统的运行速度。人眼对H值较敏感，对S、V值的感知较弱，下面就将HSV三个分量按照人的颜色感知进行不等间隔的量化，把色调H空间分成8份，饱和度S和亮度V空间分别分成3份。分别用h、s和v表示HSV三个分量的取值，将所有v＜0.15的颜色均归入黑色，令h＝0，s＝0，v＝0；将所有s＜0.1且v＞0.8的颜色均归入白色，令h＝0，s＝0，v＝1。

其他彩色区域按下式进行量化：

$H=\left\{\begin{array}{cc}\begin{array}{ccc}0& \mathrm{if}& h\∈\left[\mathrm{316,359}\right]\∪\left[\mathrm{0,20}\right]\\ 1& \mathrm{if}& h\∈\left[\mathrm{21,40}\right]\\ 2& \mathrm{if}& h\∈\left[\mathrm{41,75}\right]\\ 3& \mathrm{if}& h\∈\left[\mathrm{76,155}\right]\\ 4& \mathrm{if}& h\∈\left[\mathrm{156,190}\right]\\ 5& \mathrm{if}& h\∈\left[\mathrm{191,270}\right]\\ 6& \mathrm{if}& h\∈\left[\mathrm{271,295}\right]\\ 7& \mathrm{if}& h\∈\left[\mathrm{296,315}\right]\end{array}\begin{array}{c}S=\left\{\begin{array}{ccc}0& \mathrm{if}& s\∈\left[\mathrm{0,0.2}\right]\\ 1& \mathrm{if}& s\∈\left[\mathrm{0.2,0.7}\right]\\ 2& \mathrm{if}& s\∈\left[\mathrm{0.7,1}\right]\end{array}\right.\\ V=\left\{\begin{array}{ccc}0& \mathrm{if}& s\∈\left[\mathrm{0,0.2}\right]\\ 1& \mathrm{if}& s\∈[0.2,0.7]\\ 2& \mathrm{if}& s\∈\left[\mathrm{0.7,1}\right]\end{array}\right.\end{array}& \end{array}\right.---\left(8\right)$

在此基础上构造一个一维特征矢量G，按照以上的量化级，把3个颜色分量合成为一维特征矢量：

G＝HQ_SQ_V+SQ_V+V    (9)

其中，Q_S和Q_V分别是分量s和v的量化级数，Q_S＝3，Q_V＝3。这样，H、S、V三个分量在一维矢量上分布开来。根据公式，G的取值范围为[0，1，……，71]。

颜色特征反映彩色图像的整体特性，一幅图像可以用它的颜色特性近似描述。根据颜色与空间属性的关系，颜色特征的表示有颜色直方图、颜色矩、颜色集以及颜色聚合向量等。

颜色直方图是刻画图像颜色信息的一种有效方法，表现图像内容的一种直观方式是统计图像的颜色的出现次数，进而得到颜色直方图。它反映的是图像中颜色的组成部分，即出现了哪些颜色以及各种颜色出现的频率。

颜色直方图表现的是图像的一种全局特征，每一幅图像具有唯一的颜色直方图。并且，颜色直方图对图像的旋转、平移以及缩放具有天生不变性。但是，颜色直方图仅仅考虑图像像素的颜色，丢失了颜色的位置特征，因此，不同的图像可能具有相同的颜色分布，从而具有相同的颜色直方图。所以，在利用传统的颜色直方图进行检索时容易产生误解。

当检测到监控区域内出现滞留物体以后，在接下来的规定的时间内如果有人来拿走这个滞留物体的话，需要利用取物人的颜色信息特征来判断以下两种情况：

1)拿走滞留物体的人就是原来将该物体放在监控区域内的人，即它的主人。

2)拿走滞留物体的人不是它的主人，而是其他的人。

我们通过对拿走滞留物的人和放下滞留物的人的两个直方图进行相似性度量，以判断这两者是否为同一人。然后，对于这两种情况采取不同的措施，对于情况1)，如果该滞留物的主人回来取走该物体，不报警。如果其他的人来取走不属于他的物体即该滞留物体，则发出异常滞留物主的报警。

当有人取走滞留物体时，我们必须要确认这个人是否是包的主人，如果不是的话则报警，通过提取人身上的颜色信息，进行相似度计算，最终判定拿包的人是否是滞留物体的主人。本专利选择提取颜色直方图作为颜色特征，因为颜色直方图计算复杂度低，并且对图像的旋转、平移以及缩放具有不变性。通过判断最终拿包的人和当初丢包的人的颜色直方图的相似程度来判别这两者是否为同一人。

直方图相似性度量有多种方法，如直方图相交方法、欧氏距离法、中心矩法、归一化相关系数等。这里采用了复杂度较低的欧氏距离法来度量颜色直方图的相似性。

两直方图H_Q和H_T间的距离可使用一般的欧氏距离函数D(Q，T)来衡量：

$D(Q,T)=\sqrt{{(H_Q-H_T)}^T(H_Q-H_T)}=\sqrt{\underset{k=0}{\overset{L-1}{\mathrm{\Σ}}}{[h_Q\left(k\right)-h_T\left(k\right)]}^2}---\left(10\right)$

其中h_Q和h_T分别表示两直方图中的元素，L表示直方图中包含的元素数。

当我们利用反向搜索算法找到关键帧的时候，可以立即截取主人的上半身的衣服颜色来作为颜色信息，因为HSV空间更符合人眼对颜色的感知，我们将颜色空间由RGB转换到HSV空间，并且量化成72级。在HSV颜色空间提取目标颜色直方图作为特征，把该直方图保存起来。

当监控区域内有其他人来移动滞留物体的时候，也立即提取该人上半身的颜色特征，计算出直方图。将该直方图与保存起来的直方图进行相似性度量，由相似性度量的结果来判断两个人的相似度。具体过程如图5所示。

自动搜寻物主基本流程如图6所示，具体步骤如下：

第一步：检测出监控场景中可疑物体(滞留物)，记录下物体的位置信息以便以后对物体继续实施监控。

第二步：利用关联算法找到关键帧画面，再根据滞留物主离滞留物距离最近原则找到关键人。

第三步：提取关键人身上的颜色特征信息。

第四步：对可疑物体实施监控，观察其是否滞留超出规定时间，以及是否有人取物。在滞留物滞留超出一定时间后，进行报警；若没有超出规定时间，则检测是否有人取物，若有，则对取物人进行颜色信息特征匹配，若一致，则不报警；否则，报警。

Claims (4)

1.一种视频监控中滞留物主自动搜寻方法，其特征在于该方法包括以下步骤：

第一步：检测出监控场景中滞留物，记录下物体的位置信息以便以后对物体继续实施监控，

第二步：利用关联算法找到关键帧画面，再根据滞留物主离滞留物距离最近原则找到关键人，

第三步：提取关键人身上的颜色特征信息，

第四步：对可疑物体实施监控，观察其是否滞留超出规定时间，以及是否有人取物；在滞留物滞留超出一定时间后，进行报警；若没有超出规定时间，则检测是否有人取物，若有，则对取物人和所述关键人进行颜色信息特征匹配，若一致，则不报警；否则，报警。

2.根据权利要求1所述的视频监控中滞留物主自动搜寻方法，其特征在于所述第一步的检测出监控场景中的滞留物，首先在图像中找到长时间不动的物体的区域，在当前的二值化图像中截取那段区域得到P(x，y)，然后在背景图像中截取出那段区域，利用类间方差法二值化后得到图像BM(x，y)，分类的算法就是通过对BM(x，y)和P(x，y)中白色区域的形状进行比较得到分类的结果，具体公式如下所示：

其中Width和Height分别为图像的宽度和高度，当P_a满足P_a＜Th时，判别物体为搬移，否则为滞留，其中Th为事先设置的阈值。

3.根据权利要求1所述的视频监控中滞留物主自动搜寻方法，其特征在于所述第二步的利用关联算法找关键帧画面的方法为：

通过摄像机对监控区域进行监控视频的实时采集，并且每隔10帧存储一帧图像，一共存储60帧，并实时进行更新，以便进行关联算法，一旦发现滞留物体，就利用所保存的以前的监控视频帧进行反向搜索；首先返回到前10帧，在此位置区域进行匹配，如果此位置仍然有滞留物体，就以此帧为基础继续返回10帧，直到在该位置没有发现之前检测到的滞留物体，此时该位置已经没有滞留物体的存在，但有可能返回的帧数太多，因为每次都是以10帧为基础进行返回，所以当第一次找到该 位置不存在滞留物体的时候就再向后进行搜索，此时的搜索步长为1帧而不是10帧；如果检测到该位置还是没有发现滞留物体，就继续以1帧为步长向后搜索，直到找到该位置出现了之前检测到的滞留物体，此时就可以断定这个时刻为关联时刻，也就是说，在该时刻滞留物体的主人将滞留物体放在了此位置上，只要在该位置的周围就可以搜索到它的主人；

在判断图像帧中是否有滞留物时，使用归一化积相关灰度匹配算法进行匹配得到一个相关系数R，它表示两个图像的相似程度，当得到的R＞0.5的时候，继续返回到之前10帧，直到匹配得到的相关系数R＜0.5，说明此刻滞留物体没有出现，再以此帧向后搜索，同样在相同位置进行匹配，直到相关系数R＞0.8，说明该位置出现滞留物体，这样就找到了人刚刚滞留物体的那一帧画面。

4.根据权利要求1所述的视频监控中滞留物主自动搜寻方法，其特征在于所述第三步提取关键人身上的颜色特征信息的方法为：

在建立颜色直方图匹配前对HSV空间进行颜色量化处理，将HSV三个分量按照人的颜色感知进行不等间隔的量化，把色调H空间分成8份，饱和度S和亮度V空间分别分成3份；分别用h、s和v表示三个空间的取值，将所有v＜0.15的颜色均归入黑色，令h＝0，s＝0，v＝0；将所有s＜0.1且v＞0.8的颜色均归入白色，令h＝0，s＝0，v＝1，

其他彩色区域按下式进行量化：

在此基础上构造一个一维特征矢量G，按照以上的量化级，把3个颜色分量合成为一维特征矢量：

G＝HQ_SQ_V+SQ_V+V

其中，Q_S和Q_V分别是分量s和v的量化级数，Q_S＝3，Q_V＝3，这样，H、S、V三个分量在一维矢量上分布开来，根据公式，G的取值范围为[0，1，……，71]。 

Images