CN103310454A - 滞留物检测中的静止物体类型判断与物主分析方法及系统 - Google Patents

Abstract

本发明涉及一种滞留物检测中的静止物体类型判断与物主分析方法及系统,系统输入：静止物体图像，输入前景物体图像，以及该帧图像的帧信息和前景物体在图像中的位置和大小信息，输出：静止物体是否是滞留物，如果是滞留物，返回携带者的信息。步骤包括：1)建立背景模型并检测出每帧图像前景物体，根据前景物体生成物体分类器；2)将静止的前景物体输入到物体分类器根据分类器返回的置信值的平均值判断得到静止前景物体类型为物品或者人体；3）对静止前景类型为物品的物体进行物主分析，得到物品的携带者信息，判断出物主。本发明有效地区分了场景中的静止的人与物品，当判断静止物体类型是物品的情况下，可以立即反馈物品携带者的信息。

Description

滞留物检测中的静止物体类型判断与物主分析方法及系统

技术领域

本发明属于计算机视觉领域和智能视频监控领域，具体涉及一种基于在线学习的滞留物体类型分析方法。

背景技术

随着社会经济的发展，社会安全问题成为了人们关注的焦点，传统的视频监控方式无法满足人们的需求，于是开始寻求智能的视频监控方式。滞留物检测是智能视频监控领域重要的研究内容之一，可以解决机场、车站、商场中的滞留物品事件。

目前的滞留物检测算法大多只检测静止的物体，将之作为滞留物，而不区分该静止物体是静止的人还是静止的物品。如果将人当做是滞留物检测出来，并产生报警，这是在实际生活中所不能理解的，会造成误警率的提高。本发明主要是解决如何区分静止的人和静止的物品，并分析静止物品的携带者信息。

目前滞留物检测方法中，静止物体类型判断方法，主要是事先训练人体检测器或者物品检测器，用于区分人与物。区分静止的人的方法可以分为两类：训练物品检测器、训练人体目标检测器。目前人体目标检测方法多是基于离线训练的，对于有遮挡的多人体检测，仍是视觉领域的研究难点。退而求其次，考虑物体检测器的训练，首先需要提取所有非人的物体的共性特征，如果受限于一定的物品范围内，还较好提取，但是应用范围确实有限，可扩展性也较差。

发明内容

本发明的目的在于提供了一种滞留物检测中的静止物体类型判断与物主分析方法。该方法建立在一个假设条件下，假设场景中的运动物体都是人。基于此假设，我们为场景中检测到的前景物体在线建立物体分类器，每当新的前景物体检测出来，将送入物体分类器进行分类器的分类与更新。而当静止物体检测出来的时候，将该静止物体送入已经建立的物体分类器进行分类，最后由这些分类器的综合结果来判定该静止物体是否是静止的人，如果是静止的人则放弃，否则，判定该静止物体是滞留物，并且利用这些分类器找到携带者的信息。对于前景检测和静止物体检测不属于本发明的范畴，本发明主要是解决如何区分静止的人和静止的物品，并分析静止物品的携带者信息。

为了实现上述目的，本发明的技术方案为：一种滞留物检测中的静止物体类型判断与物主分析方法,其步骤包括：

1)建立背景模型并检测出每帧图像前景物体，根据所述前景物体生成物体分类器；

2)将静止的前景物体输入到所述物体分类器，根据分类器返回的置信值的平均值判断得到静止前景物体类型为物品或者人体；

3）对所述静止前景类型为物品的物体进行物主分析，得到物品的携带者所对应的分类器序号从而得到物主的图片信息。

更进一步，所述物体分类器提取的特征是类Haar特征（提取方法可参见P.Viola andM.Jones.“Robust real-time face detection".International Journal of ComputerVision,Vol.57,No.2,pp.137-154,2004.）和HOG特征，采用在线的Adaboost方法为每个前景物体建立分类器。

更进一步，物体分类器的估计与更新方法如下：

首先，算法的初始化，物体分类器

(N表示当前分类器的个数，初始化为0，每增加一个新的分类器，N加1，每删除一个分类器，N减1)；

然后，当第一个前景物体p₁被检测出来的时候，建立一个新的物体分类器O₁；

当又来一个前景物体p_i的时候，该前景图像将被送入已经建立好的物体分类器中

对每个分类器进行估计。

更进一步，所述分类器中若所述前景图像为正样本，且分类器得到的置信值介于0和0.5之间，则该样本将用于该分类器的更新，若为负样本，则不用于更新该分类器，若所有分类器将该前景图像判为负样本，则为此前景图像建立新的物体分类器。

更进一步，若分类器长期无正样本更新，则将进入等待状态，等待状态持续一定时间后，则删除该分类器。

更进一步，每个新的前景物体都要遍历所有的分类器，静止前景物体和所有分类器的整体相似程度：

$\mathrm{\μ}=\frac{{\mathrm{\Σ}}_{n=1}^N{\mathrm{conf}}_n\left(x\right)}{N}$

其中，conf_n(x)表示第n个分类器对当前静止前景物体的返回的置信值，N为当前共有分类器的个数。

更进一步，根据所述分类器返回的置信值的算术平均值判断得到静止前景物体类型为物品或者人体的方法如下：

更进一步，所述当检测到滞留物品后，通过如下的公式计算物品的携带者对应的物体分类器序号，

num=argmax_n≠lconf_n(x)

γ=max_nconf_n(x)，

l=argmax_nconf_n(x)，

其中，conf_n(x)表示第n个分类器对当前静止前景物体的返回的置信值，γ表示返回值中的最大值，l表示最大值γ所对应的分类器序号，num表示返回值第二大的分类器对应的序号，也就是物品的携带者对应第num个分类器。

更进一步，每当新建一个分类器时，记录所述分类器的帧信息和矩形框信息，帧信息和矩形框信息表示物体分类器是根据第几帧图像中的哪个矩形框内图像开始新建的，那么根据第num个分类器的帧信息，我们可以知道物品的携带者在第几帧图像中出现过，而矩形框信息可以让我们具体定位到携带者是哪个人，从而获得滞留物品携带者即物主的图片。

一种滞留物检测中的静止物体类型判断与物主分析系统，包括：

用于建立背景模型并检测出每帧图像前景物体，根据所述前景物体生成物体分类器的装置，和将帧图像的帧信息和前景物体在图像中的位置和大小信息记录的装置；

用于将静止的前景物体输入到所述物体分类器根据分类器返回的置信值的平均值判断得到静止前景物体类型为物品或者人体的装置；

用于对所述静止前景类型为物品的物体进行滞留物检测，得到物品的携带者信息，判断出物主的装置。

有益效果：

本发明是一种滞留物检测中的静止物体类型判断与物主分析方法，有效的区分了场景中的静止的人与物品，当判断静止物体类型是物品的情况下，可以立即反馈物品携带者的信息。传统的静止物体类型判断方法，都是事先离线训练好人体目标的分类器或者物品的分类器，本发明的方法是基于在线学习的，无需离线训练，该物体分类器不但可以用于区分场景中的人与物品，而且还包含了滞留物携带者的信息。

附图说明：

图1是本发明滞留物检测中的静止物体类型判断与物主分析方法流程示意图；

图2是本发明滞留物检测中的静止物体类型判断与物主分析方法一实施例中学习物体分类器的框图；

图3是本发明滞留物检测中的静止物体类型判断与物主分析方法一实施例中物体分类器的状态转移图。

具体实施方式：

本发明是一种滞留物检测中的静止物体类型判断与物主分析方法。首先是要建立背景模型，检测出前景物体，然后对前景物体进行分类器的学习，当检测到静止物体时，将该静止物体送入分类器，进行判定，综合所有分类器的结果，判断该静止物体的类型，是静止的人，还是静止的物体，如果是静止的物体，那么这个静止的物体就是滞留物，进而判断滞留物携带者的信息。所以本发明的重点在于前景物体分类器的设计与静止物体类型判断与物主分析。

1、场景设定

观察机场、商场、车站等这些公共场所的运动物体，我们会发现，人来人往中，那些运动的物体基本上都是由于人引起，要么是人自己的运动造成我们图像中的运动前景物体，要么就是人驱动造成的运动事件，比如人拉着行李箱从场景中走过，人推着小推车从场景中走过。所以所有的运动物体都有人的参与，人是所有运动的驱动者。基于此的观察，本发明的场景设定为：所有的运动物体都是‘人’，这里的人可以是单独的人，也可以人携带物体的整体人，那么场景中所有的运动的物体全是基于该假设意义上的人了。

2、前景物体分类器

在设定的场景下，前景的物体都是人，人与人之间既存在共性，比如人体轮廓相似，又存在个性，例如每个人的高矮胖瘦不同，是否携带物品，所以我们要为这些人分别建立分类器。提取的特征是类Haar特征和HOG特征，这样使得图像特征可以重复利用，减少计算量。采用在线的Adaboost方法为每个前景物体建立分类器。

根据假设，从背景模型中检测出的前景物体都是人，我们对这些人进行分类。物体分类器的估计（evaluation）与更新（update）流程如图3所示。当激活状态未有正样本超过一定时间阈值时变为等待状态；等待状态等待超过一定时间阈值变为离开状态；当等待状态有正样本时，变为激活状态。其中的前景物体图像，是由背景模型检测出来的，每次前景检测可能检测出多个前景物体。我们规定一定时间内出现在场景中的人体目标数量是有限的，设置出现的最大人数为N。如图2所示是本发明中学习物体分类器的框图，首先，算法的初始化，物体分类器(N初始化为0)，然后，当第一个前景物体P₁被检测出来的时候，我们为之建立一个新的物体分类器O₁。当又来一个前景物体P_i的时候，该前景图像将被送入已经建立好的物体分类器中

每个分类器都要进行估计。如果该前景图像被判定为是正样本的话，而且分类器得到的置信值介于0和0.5之间的话，该样本将用于该分类器的更新，这样是为了避免产生过拟合现象；反之，如果被判断为负样本的话，则不用于更新该分类器。每个新的前景物体都要遍历所有的分类器。

算法1物体分类器的估计与更新

如图3所示是本发明物体分类器的状态转移图，只要是经过场景中的人，算法都会为其生成一个物体分类器，从程序开始至终将会产生大量的模型，考虑存储空间的有限，以及人物逗留时间的有限性，我们容许最大的物体分类器不能超过一定的数目，而且对于长期处于无正样本更新的分类器，将进入等待状态，而等待状态持续一定时间后，该分类器将离开（被删除）。

3、静止物体的类型分析

根据分析的人与人之间的共性与个性，以及已经在线学习的物体分类器，我们可以得到如下结论：

（1）如果静止的前景物体是人体目标的话，该静止物体将和已经存在的每个分类器都很相似，并且和其中的一个分类器极其相似。

因为基于本发明的设定场景，每个分类器学习的目标都是场景中运动的人，所以如果是人的话，那么根据人与人之间的共性，人与人之间是相似的，建立的所有分类器中人与人之间总是相似，那么检测到的静止前景物体通过所有的分类器判定，返回的置信值都会比较高（相对是静止的物品）。之所以会和其中的一个特别相似，是因为该人在场景中运动的时候已经被分类器完全学习了。

（2）如果静止的前景物体是物品的话，那么该物体和已经建立的物体分类器将不会相似，除了一个“有点相似”，一个“特别相似”。

因为已经建立的物体分类器学习的是人，所以物体和已经建立的分类器将不会相似。但是，和携带该物体进入场景的人“有点相似”，分类器的建立采用的都是在线的Adaboost分类器，这个分类器是由一组弱分类器组合而成的，而每个弱分类器学习物体的一个特征，一组特征组合在一起就是代表了这个物体。在学习携带物体的人这个整体的时候，既学习到了携带人的特征也学习到了物体的特征，所有这组弱分类器，会有部分返回大于0的值，其余部分将返回负值，导致最后的加权平均值不会很负。之所以会有一个“特别相似”，那是因为检测到静止的前景物体是一个过程，只有静止一段时间以后才会被作为静止的前景物体检测出来。而这个静止的过程，该物体已经被作为前景物体送入物体分类器进行学习了，所以检测出静止的前景物体时，会有一个分类器特别相似。

综上，我们计算如下数值，来反映静止前景物体和所有分类器的整体相似程度：

$\mathrm{\μ}=\frac{{\mathrm{\Σ}}_{n=1}^N{\mathrm{conf}}_n\left(x\right)}{N}$

其中，conf_n(x)表示第n个分类器对当前静止前景物体的返回的置信值，当前共有N个分类器。

从结论（1）、（2）我们可以知道，静止的人和所有的分类器都很相似，所有返回的置信值的平均值较高，而静止的物品则会比较低。即：

由此判断出静止的前景物体类型，如果是静止的物品，则是我们要检测的滞留物。

4、滞留物携带者的信息

我们可以发现，在人携带物体进入场景的时候，物体和人会被作为一个整体，送入分类器进行学习。所以，当物体作为静止前景物体被检测出来，然后送入物体分类器的时候，这些分类器返回的置信值，除了一个最大值是由这个物品本身的分类器产生的，还有一个次大的值，该值是就是由这个物品和人作为一个整体的分类器产生的。由此，我们可以得到这个滞留物品的携带者信息。

当检测到滞留物品后，通过如下的计算，我们找到物品的携带者信息：

num=max_n≠lconf_n(x)，

γ=max_nconf_n(x)，

l=argmax_nconf_n(x)，

其中，conf_n(x)表示第n个分类器对当前静止前景物体的返回的置信值，γ是返回值最大分类器序号，num是返回值第二大的分类器对应的序号。那么第num个分类器，就是我们要寻找的，滞留物品和携带者作为一个整体对应的分类器。

由于我们在设置物体分类器的时候，每当新建一个分类器时，总是要记录该分类器的帧信息和矩形框信息的，所以计算得到携带者的对应的分类器序号num后，我们反过来可以看到滞留物品携带者的图片。

基于图像分块的静止物体检测方法主要包括如下步骤：

1、学习物体分类器：将输入的前景物体送入前景物体分类器进行学习。提取前景图像的类Haar特征和HOG特征，采用在线Adaboost的方法建立物体分类器。每当新建一个分类器时，记录该前景图像的帧信息和矩形框信息，前景物体分类器的估计与更新参考算法1。

2、静止物体类型分析：计算所有前景物体分类器对当前静止前景物体的返回的置信值的平均值，如果该值大于阈值，则说明该静止物体类型是静止的人，反之，如果小于阈值，则说明该静止物体类型是静止的物体。

3、检测滞留物携带者的信息：由2中分类器返回的置信值，计算次大值，找到次大值对应的分类器所记录的物体所在图像的帧信息和矩形框信息。

如图1所示是本发明滞留物检测中的静止物体类型判断与物主分析方法流程示意图；

1.系统功能：

从视频流中获取视频序列后，对于检测到的到静止物体，判断是静止的人体目标还是静止物体，如果是静止的物体，则判断该静止物体是滞留物，并返回该滞留物的物主信息。

2.系统输入：

输入静止物体图像，输入前景物体图像，以及该帧图像的帧信息和前景物体在图像中的位置和大小信息。

3.系统输出：

静止物体是否是滞留物，如果是滞留物，返回携带者的信息。

4.具体实现：

将输入的前景物体送入前景物体分类器进行学习，并将前景物体的帧信息和矩形框信息记录在分类器中。直到输入静止物体图像，计算所有前景物体分类器对当前静止前景物体的返回的置信值的平均值，如果该值大于阈值，则说明该静止物体类型是静止的人，反之，如果小于阈值，则说明该静止物体类型是静止的物品，是滞留物品。如果结果是滞留物品，计算所有分类器返回的置信值的次大值，找到次大值对应的分类器所记录的物体所在图像的帧信息和矩形框信息，显示携带者的信息。

上述实例只是本发明的举例，尽管为说明目的公开了本发明的最佳实施例和附图，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。因此，本发明不应局限于最佳实施例和附图所公开的内容。

Claims (10)

1.一种滞留物检测中的静止物体类型判断与物主分析方法,其步骤包括：

1)建立背景模型并检测出每帧图像前景物体，根据所述前景物体生成物体分类器；

2)将静止的前景物体输入到所述物体分类器根据分类器返回的置信值的平均值判断得到静止前景物体类型为物品或者人体；

3）对所述静止前景类型为物品的物体进行物主分析，得到物品的携带者信息，判断出物主。

2.如权利要求1所述的滞留物检测中的静止物体类型判断与物主分析方法,其特征在于，所述物体分类器提取类Haar特征和HOG特征，并采用在线的Adaboost方法为每个前景物体建立分类器。

3.如权利要求1或2所述的滞留物检测中的静止物体类型判断与物主分析方法,其特征在于，物体分类器的估计与更新方法如下：

首先，算法的初始化，物体分类器

N表示当前分类器的个数，初始化为0，每增加一个新的分类器，N加1，每删除一个分类器，N减1；

然后，当第一个前景物体p₁被检测出来的时候，建立一个新的物体分类器O₁；

当又来一个前景物体p_i时，该前景图像将被送入已经建立好的物体分类器中

中，对每个分类器进行估计。

4.如权利要求1-3任意一项所述的滞留物检测中的静止物体类型判断与物主分析方法,其特征在于，所述分类器中若所述前景图像是正样本，且分类器得到的置信值介于0和0.5之间，则该样本将用于该分类器的更新，若为负样本，则不用于更新该分类器。

5.如权利要求1-3任意一项所述的滞留物检测中的静止物体类型判断与物主分析方法,其特征在于，所述物体分类器设定一数目，若分类器长期无正样本更新超过一定时间阈值时，则将进入等待状态，等待状态持续一定时间后，则删除该分类器。

6.如权利要求1所述的滞留物检测中的静止物体类型判断与物主分析方法,其特征在于，每个新的前景物体都要遍历所有的分类器，静止前景物体和所有分类器的整体相似程度：

$\mathrm{\μ}=\frac{{\mathrm{\Σ}}_{n=1}^N{\mathrm{conf}}_n\left(x\right)}{N}$

其中，conf_n(x)表示第n个分类器对当前静止前景物体的返回的置信值，当前共有N个分类器。

7.如权利要求1所述的滞留物检测中的静止物体类型判断与物主分析方法,其特征在于，根据所述分类器返回的置信值的平均值判断得到静止前景物体类型为物品或者人体的方法如下：

8.如权利要求1所述的滞留物检测中的静止物体类型判断与物主分析方法,其特征在于，所述当检测到滞留物品后，通过如下的计算物品的携带者信息：

num=argmax_n≠lconf_n(x)，

其中，γ=max_nconf_n(x)，l=argmax_nconf_n(x)，conf_n(x)表示第n个分类器对当前静止前景物体的返回的置信值，γ表示返回值中的最大值，l表示最大值γ所对应的分类器序号，num表示返回值第二大的分类器对应的序号即物品的携带者对应第num个分类器。

9.如权利要求8所述的滞留物检测中的静止物体类型判断与物主分析方法,其特征在于，每当新建一个分类器时，记录所述分类器的帧信息和矩形框信息，根据所述num个分类器获取滞留物品携带者的图片。

10.一种滞留物检测中的静止物体类型判断与物主分析系统，包括：

用于建立背景模型并检测出每帧图像前景物体，根据所述前景物体生成物体分类器的装置，和将帧图像的帧信息和前景物体在图像中的位置和大小信息记录的装置；

用于将静止的前景物体输入到所述物体分类器根据分类器返回的置信值的平均值判断得到静止前景物体类型为物品或者人体的装置；

用于对所述静止前景类型为物品的物体进行滞留物检测，得到物品的携带者信息，判断出物主的装置。

Images