CN110232359A

CN110232359A - 滞留物检测方法、装置、设备及计算机存储介质

Info

Publication number: CN110232359A
Application number: CN201910523357.0A
Authority: CN
Inventors: 王宏图; 唐志鸿; 沈栎; 陈莹; 彭力
Original assignee: China Mobile Communications Group Co Ltd; China Mobile Group Jiangsu Co Ltd
Current assignee: China Mobile Communications Group Co Ltd; China Mobile Group Jiangsu Co Ltd
Priority date: 2019-06-17
Filing date: 2019-06-17
Publication date: 2019-09-13
Anticipated expiration: 2039-06-17
Also published as: CN110232359B

Abstract

本发明公开了一种基于视频监控的滞留物检测方法、装置、设备及计算机存储介质。该方法包括：构建背景图更新周期不同的两个高斯背景模型；达到第二更新周期时，保存得到的短背景图对应的短背景差图像并更新短背景图；达到第一更新周期时，得到长背景图对应的长背景差图像并更新长背景图；融合长背景图的更新周期内得到的多张短背景差图像，得到融合图像；将长背景差图像与融合图像求交集，得到交集图像；将该交集图像与上一次保存的滞留物图像间的差异作为滞留物图像；在读入的视频帧上对滞留物图像中的连通域进行第一标记并显示。根据本发明实施例，能够滤除滞留物图像中缓慢变化的非滞留物信息，减少误检的情况，滞留物检测的精确度高。

Description

滞留物检测方法、装置、设备及计算机存储介质

技术领域

本发明属于视频监控技术领域，尤其涉及一种基于视频监控的滞留物检测方法、装置、设备及计算机存储介质。

背景技术

滞留物检测，主要是为了检测市场安全通道堆积滞留物情况，当检测到堵塞和占道行为时，进行报警。在滞留检测领域，使用的技术主要包括采用时间差法，光流法和背景差法。其中背景差法对于光照等的影响较为敏感。

现有的背景差法中，主要是提取当前帧与背景进行差分，再对差分后的结果进行累积，以期找到滞留目标。但是这种方式虽然可以暂时检测到滞留物体，但是对于缓慢移动的非滞留物体以及缓慢变化的光影等，并不能很好的滤除，导致存在误检的情况。

发明内容

本发明实施例提供一种基于视频监控的滞留物检测方法、装置、设备及计算机存储介质，能够滤除滞留物图像中缓慢变化的非滞留物的信息，从而减少了误检的情况，滞留物检测的精确度高。

一方面，本发明实施例提供一种基于视频监控的滞留物检测方法，该方法包括：

接收监控拍摄的视频流；

以不同的训练帧数，对所述视频流进行高斯背景建模，得到两个高斯背景模型；其中，第一高斯背景模型的长背景图的第一更新周期大于第二高斯背景模型的短背景图的第二更新周期；

当达到所述第二更新周期时，得到所述短背景图对应的短背景差图像进行保存，并更新所述短背景图；

当达到所述第一更新周期时，得到所述长背景图对应的长背景差图像，并更新所述长背景图；

将所述长背景图的更新周期内得到的多张短背景差图像进行融合，得到融合图像；

将所述长背景差图像与所述融合图像求交集，得到交集图像；

获取所述交集图像与上一长背景周期内保存的滞留物图像之间的差异部分，作为滞留物图像；

在当前读入的视频帧上对所述滞留物图像中的连通域进行第一标记并显示。

另一方面，本发明实施例提供了一种基于视频监控的滞留物检测装置，该装置包括：

视频流接收模块，用于接收监控拍摄的视频流；

模型构建模块，用于以不同的训练帧数，对所述视频流进行高斯背景建模，得到两个高斯背景模型；其中，第一高斯背景模型的长背景图的第一更新周期大于第二高斯背景模型的短背景图的第二更新周期；

短背景处理模块，用于当达到所述第二更新周期时，得到所述短背景图对应的短背景差图像，并更新所述短背景图；

长背景处理模块，用于当达到所述第一更新周期时，得到所述长背景图对应的长背景差图像，并更新所述长背景图；

融合模块，用于将所述长背景图的更新周期内得到的多张短背景差图像进行融合，得到融合图像；

交集模块，用于将所述长背景差图像与所述融合图像求交集，得到交集图像；

差异处理模块，用于获取所述交集图像与上一长背景周期内保存的滞留物图像之间的差异部分，作为滞留物图像；

显示模块，用于在当前读入的视频帧上对所述滞留物图像中的连通域进行第一标记并显示。

再一方面，本发明实施例提供了一种基于视频监控的滞留物检测设备，设备包括：

处理器以及存储有计算机程序指令的存储器；

所述处理器执行所述计算机程序指令时实现如以上任意一项所述的在基于视频监控的滞留物检测方法。

再一方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如以上任意一项所述的基于视频监控的滞留物检测方法。

本发明实施例提供的基于视频监控的滞留物检测方法、装置、设备及计算机存储介质，设置有背景图更新周期不同的两个高斯背景模型，在到达长背景图对应的更新周期时，会得到长背景差图像，在到达短背景图对应的更新周期时，会得到短背景差图像。由于短背景图的更新周期很短，使得短背景差图像上仅保留有滞留物的信息，而缓慢变化的非滞留物(例如光影)的信息则基本不会保留。之后，当长背景图达到自身的更新周期时，此时长背景差图像是同时包含有滞留物的信息以及缓慢变化的非滞留物的信息的，因此长背景差图像与保存的短背景差图像求交集的话，则交集图像内仅包含滞留物的信息，而滤除了缓慢变化的非滞留物的信息，从而减少了误检的情况，提高了滞留物检测的精确度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是混合高斯分布示意图；

图2是本发明一个实施例提供的基于视频监控的滞留物检测方法的流程示意图；

图3是本发明另一个实施例提供的基于视频监控的滞留物检测方法的流程示意图；

图4是本发明一个实施例中的标记示意图；

图5是本发明一个实施例中长背景差图像和短背景差图像的示意图；

图6是本发明一个实施例中滞留物移动后的标记示意图；

图7是本发明一个实施例中背景更新后的做差图像与短背景差图像的示意图；

图8是本发明一个实施例中最终的标记示意图；

图9是本发明一个实施例提供的基于视频监控的滞留物检测装置的结构示意图；

图10是本发明一个实施例提供的基于视频监控的滞留物检测设备的结构示意图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

为了解决现有技术问题，本发明实施例提供了一种基于视频监控的滞留物检测方法、装置、设备及计算机存储介质。下面首先对本发明实施例所提供的基于视频监控的滞留物检测方法进行介绍。

本发明采用的高斯背景模型，为混合高斯背景模型，如图1所示。混合高斯背景模型由多个单高斯成分来组成，每个单高斯成分为一种高斯分布或者说一种高斯模型；高斯背景模型构建过程中，通过图像帧中的像素点与各个单高斯分布是否匹配来进行前景分割，得到动态的前景图像以及静态的背景图像，通常使用的混合高斯背景模型仅会设置一个背景图。之后，将读入的视频帧依次与背景图进行比较做差，做差结果体现的是视频帧与背景图的差异部分(即理论上应该为滞留物部分)，之后将连续得到的各个视频帧对应的做差结果逐次进行整合(例如可以求均值)，当达到背景图的更新周期时，整合结果即作为背景差图像。从视觉角度来看，背景差图像中的滞留物部分是随着读入的视频帧的增多而逐渐显现出来的。再之后，当达到背景图设置的更新周期时，会触发背景图像的更新，因此背景图两次更新时刻之间的长度即为一个更新周期。

图2示出了本发明一个实施例提供的基于视频监控的滞留物检测方法的流程示意图。如图1所示，该方法包括：

步骤s1：接收监控拍摄的视频流；

步骤s2：以不同的训练帧数，对视频流进行高斯背景建模，得到两个高斯背景模型；其中，第一高斯背景模型的长背景图的第一更新周期大于第二高斯背景模型的短背景图的第二更新周期；

两个高斯背景模型分别通过不同的预设参数(学习率)和训练帧数进行构建。当有新的视频流进入后，则会重新构建高斯背景模型。

步骤s3：当达到第二更新周期时，得到短背景图对应的短背景差图像进行保存，并更新短背景图；

步骤s4：当达到第一更新周期时，得到长背景图对应的长背景差图像，并更新长背景图；

步骤s5：将长背景图的更新周期内得到的多张短背景差图像进行融合，得到融合图像；

将长背景图的更新周期内得到的多张短背景差图像更新后，使得融合图像内会保存有：在长背景图的更新周期内、第二高斯背景模型所能检测到的全部滞留物的信息，这样将长背景差图像与融合图像求交集的话，则最终得到的交集图像内能够尽可能包含所能检测到的全部的滞留物，滞留物检测更为全面。

步骤s6：将长背景差图像与融合图像求交集，得到交集图像；

其中，这里的求交集具体可以为“与运算”，二进制的与运算规则是，只有两个数同时为1时，则结果才为1，只要有一个数为0，则结果就为0，当然，本发明对此不作限定。

并且，之所以不直接将融合图像或者长背景差图像作为滞留物图像，是因为需要保证最终滞留物图像中的滞留物信息既被第一高斯背景模型检测到，又被第二高斯背景模型检测到。因为，滞留物若仅在短背景差图像上出现，而未在长背景差图像出现，表明该滞留物可能是路过的人或者物；反之，滞留物若仅在长背景差图像上出现，而未在短背景差图像出现，表明该滞留物可能是缓慢变化的光影等。故为了排除以上两种情况，需要令融合图像和长背景差图像求交集。

步骤s7：获取上述交集图像与上一长背景周期内保存的滞留物图像之间的差异部分，作为滞留物图像；

其中，上述获取图像之间的差异部分，具体可以采用求异或的方式。异或指的是当两个对应的二进位相异时，结果为1，也就是说保留两者不同的部分。当然，本发明对此不作限定。

步骤s8：在当前读入的视频帧上对滞留物图像中的连通域进行第一标记并显示。

由于滞留物是一个物体，其在图像上的显示也是一个整体，因此滞留物图像中的连通域实际上就是滞留物的区域，对其进行第一标记及显示，即能够使工作人员查看到当前通道内是否存在滞留物，从而及时进行清理。

本实施例中，将当前保存的交集图像与上一长背景周期内保存的滞留物图像之间的差异部分作为滞留物图像的原因是因为：

假设第一长背景周期内检测到了滞留物A，但是工作人员并未对其进行清理，则第二长背景周期内A会融入长背景图内，使得本周期内得到的交集图像内无法检测到A；由于此时A仍旧存在，因此需要对其进行标记并显示；而上一周期得到的滞留物图像内是包含A的，因此本周期与上一周期的滞留物图像的差异部分即包含A，这样将两者的差异部分作为本周期的滞留物图像，即使得本周期的滞留物图像内包含A，第二长背景周期内也能够对A进行标记显示。

假设第一长背景周期内检测到了滞留物A，工作人员立即对其进行了清理，但是由于工作人员清理需要一定的时间，因此第二长背景周期内A也会融入长背景图内。但是，由于A实际上已经被清理了，因此第二长背景周期内接收的视频帧内不包含A的信息，这样导致视频帧与长背景图的区别仍旧包含A的部分，因此，这种情况下交集图像仍旧会识别出一个A的滞留物，在这里称之为A*。由于A*部分实际上并不存在，因此不应该被标记显示。本周期的交集图像内包含A*，上一周期的滞留物图像包含A，因此两者求差异部分后会把这部分抵消，使得最终得到的滞留物图像不包含A*的部分，从而能够正确显示滞留物的标记。

可见，通过上述求差异部分的操作，能够提高滞留物显示的准确性。

本发明实施例设置有背景图更新周期不同的两个高斯背景模型，在到达长背景图对应的更新周期时，会得到长背景差图像，在到达短背景图对应的更新周期时，会得到短背景差图像。由于短背景图的更新周期很短，使得短背景差图像上仅保留有滞留物的信息，而缓慢变化的非滞留物(例如光影)的信息则基本不会保留。之后，当长背景图达到自身的更新周期时，此时长背景差图像是同时包含有滞留物的信息以及缓慢变化的非滞留物的信息的，因此长背景差图像与保存的短背景差图像求交集的话，则交集图像内仅包含滞留物的信息，而滤除了缓慢变化的非滞留物的信息，从而减少了误检的情况，提高了滞留物检测的精确度。

并且，本实施例通过对高斯背景模型的背景图进行更新，使得当滞留的物体被清理之后，高斯背景模型能够及时做出相应的反应，使滞留物图像仅保留本周期仍存在的滞留物，尽可能避免被清理的滞留物所对应的目标区域仍旧被标记为遗留，从而实现自动清理遗留标记的目的。

需要注意的是，在上述实施例中，当达到第一更新周期时，本发明并不限定步骤s4和步骤s5的先后顺序，两者可以顺序执行，也可并行执行，本发明对此不作限定。

在一种优选实施例中，参见图3所示，对视频流进行高斯背景建模的过程中，还包括：构建第三高斯背景模型，第三高斯背景模型的中背景图的第三更新周期大于第二更新周期且小于第一更新周期；

上述方法还包括：

步骤s41：当达到第三更新周期时，得到中背景图对应的中背景差图像，并更新中背景图；在长背景图的更新周期内，将得到的最后一张中背景差图像进行保存；

步骤s6之前，还包括：

步骤s42：将长背景差图像与保存的中背景差图像做差，得到做差图像；

之后步骤s6调整为：

步骤s61：将做差图像与融合图像求交集，得到交集图像。

其中，当达到第一更新周期后，步骤s4～步骤s42与步骤s5之间的先后顺序本发明不做限定，步骤s4～步骤s42与步骤s5之间可以依次顺序执行，也可以并行执行，本发明对此不作限定。

需要注意的是，理论上，滞留物信息在一个周期后即能够融入背景图内，这种情况下第一更新周期至少＝第三更新周期*2；因为假若第一更新周期小于第三更新周期*2，则在长背景图的更新周期内仅能够得到一张中背景差图像，使得该张中背景差图像中存留有滞留物的信息，长背景差图像与中背景差图像做差的话，会将滞留物信息也去除，这就达不到滞留物检测的目的了。

但是实际上，滞留物的信息可能需要3个周期左右才能完全融入背景图。因为由于光照的影响，滞留物放置和清除滞留物的区域大小面积有些许差异，需要后续两个周期腐蚀完全清除。这种情况下，第一更新周期和第三更新周期的时间比例至少需要设定为4:1的关系。当然，第一更新周期和第三更新周期的时间比例需要根据滞留物信息实际融入背景图的时间而定，本发明对此不作限定。

因此，上述保存长背景图的更新周期内得到的最后一张中背景差图像属于一种优选方案，因为假设一个长背景图的更新周期内得到了多张中背景差图像时，得到中背景差图像的时间越晚，中背景差图像中包含的滞留物的信息越少，因而做差图像内包含的滞留物信息也就越完整，从而提高了滞留物检测的准确性。当然，在其他实施例中，也可以保存：在长背景图的更新周期内、除第一张和最后一张以外的中背景差图像，只要保证所保存的中背景差图像中基本没有滞留物信息即可。

本发明实施例构建了中背景图，由于满足中背景差图像对应的第三更新周期的时间小于满足长背景图对应的第一更新周期的时间，使得长背景图达到自己的更新周期时，中背景图已经更新过至少一次，由于在中背景图更新完成后，之前检测到的滞留物就会被视为中背景图的一部分，因此，基于更新后的中背景图所得到的中背景差图像上已经没有了滞留物的图像，但是由于缓慢变化的非滞留物(例如光影)一直处于变化中，因此即使中背景图更新后，中背景差图像上也包含这部分缓慢变化的非滞留物的图像。之后，当长背景图达到自身的更新帧数时，此时长背景图对应的长背景差图像是包含滞留物的信息的，因此长背景差图像与保存的最后一张中背景差图像做差的话，则做差图像内包含滞留物的信息；但是由于长背景差图像与保存的最后一张中背景差图像上均包含缓慢变化的非滞留物的图像，且所包含的这部分图像基本一致，因此通过做差即可将这部分图像进行部分滤除，使得得到的做差图像内基本不包含这部分缓慢变化的非滞留物的信息。之后再通过与短背景差图像求交集来进一步滤除缓慢变化的非滞留物的信息，从而减少了误检的情况，进一步提高了滞留物检测的精确度。

在具体实施例中，可以仅保存每个长背景图的更新周期内得到的最后一张中背景差图像。或者，也可以在一个长背景图的更新周期内，令每次得到的中背景差图像覆盖前一次保存的中背景差图像后进行保存。或者，还可以保存每次得到的中背景差图像。具体采用哪种方式，本发明不作限定。

其中，本发明中的长背景差图像、中背景差图像以及短背景差图像实际上是二值图，也就是与背景图不同的像素点为1，相同的像素点为0。

虽然在前述实施例中，计算了长背景差图像和中背景差图像的差值，去除了部分光影等缓慢变化的非滞留物的影响，同时保留了长背景差图像中检测到的滞留物的信息，但是此时得到的滞留物仅为疑似滞留物，里面还可能包含部分光影等缓慢变化的非滞留物的信息，且滞留物部分的判断也并不一定准确。需要在之后通过与短背景差图像求交集，来进行进一步的滤除以及滞留物的确定，从而进一步提高了最终得到的滞留物图像的准确性。

基于上述实施例，进一步的，可以在得到做差图像时，将做差图像中的连通域域进行第二标记，第二标记例如可以采用蓝框，作为疑似标记框；之后得到滞留物图像后，将滞留物图像中的连通域进行第一标记，第一标记可以采用红框，作为最终标记框。当然，是否设置第二标记，以及两个标记的颜色，本发明不作具体限定。

在优选实施例中，达到长背景图对应的第一更新周期具体包括：第一计数器的计数达到第一更新帧数(例如1500帧)；且更新长背景图后还包括清零第一计数器；

达到短背景图对应的第二更新周期具体包括：第二计数器的计数达到第二更新帧数(例如200帧)；且更新短背景图后还包括清零第二计数器；

达到中背景图对应的第三更新周期具体包括：第三计数器的计数达到第三更新帧数(例如500帧)；且更新中背景图后还包括清零第三计数器；

其中，第二更新帧数<第三更新帧数<第一更新帧数。

这里采用计数器以及更新帧数来控制各个背景图的更新，或者也可以直接采用计时器以及更新时间，通过判断计时器记录的时间是否达到对应的更新时长，若达到，则表明此时达到更新周期，并清零对应的计时器。

本发明可以利用Short-Mask来保存短背景差图像，用Long-Mask来保存滞留物图像，Short_Mask、Long_Mask可以理解为一个记录板：Short_Mask记录“在一个长背景图的更新周期内，第二高斯背景模型发生的变化”。第二高斯背景模型每次更新产生的变化都被记录下来，保存在Short_Mask内。Long_Mask记录“在长背景图更新时刻，第一高斯背景模型上的变化”。当然，也可以使用其他方式进行保存，本发明对此不作限定。

其中，第一更新帧数为第三更新帧数的整数倍，第三更新帧数为第二更新帧数的整数倍。当然，这里仅为优选方案，是否为整数倍以及具体的倍数，本发明不作限定。

在优选实施例中，步骤s7之前，还包括：

去除之前保存的最新的滞留物图像中的噪点；之后，获取去除噪点后的滞留物图像与本周期得到的交集图像的差异部分。

在本实施例中，去除了上一周期保存的滞留物图像中的噪点，这样使得后续求差异部分后得到的滞留物图像内包含的是：本周期交集图像中的噪点+本周期交集图像与上一周期滞留物图像的区别滞留物信息。若不进行去噪点，直接获取差异部分的话，会使得后续保存的滞留物图像中的噪点不断累积，影响滞留物的判断。而本实施例中的这种方式，能够使得每次保存的滞留物图像中最多仅包含一份噪点，从而降低了噪点对滞留物判断的影响。当然，在其他实施例中，也可以对本周期得到的交集图像进行去噪操作；或者还可以分别对本周期得到的交集图像和上一周期得到的滞留物图像均进行去噪点操作，本发明对此不作限定。

其中，去除噪点的操作可以采用计算机逻辑运算中的开运算来实现，开运算能去除原图像的毛刺，相当于对原图像进行一种来自内部的低通平滑滤波。因此，通过开运算，能够去除上一周期的滞留物图像中的噪点。

在一种优选实施例中，步骤s8之前，还包括：

判断当前得到的滞留物图像中的连通域的面积是否达到预设面积阈值，若达到，则在当前读入的视频帧上对所述滞留物图像中的连通域进行第一标记并显示。

在本实施例中，判断连通域的面积是否达到预设面积阈值，是为了判断当前得到的滞留物图像中的连通域对应的具体是滞留物还是噪点，由于噪点通常会很小，而滞留物的面积相对较大，因此，通过判断连通域的面积即可基本区分开滞留物和噪点。因此，上述判断能够筛除仅含噪点的情况，避免误检。

对于某些滞留物突然出现的情况，当到达更新帧数时，可能会由于包含滞留物信息的差值图像(视频帧与背景图做差得到的图像)的累积不够，使得背景差图像中的滞留物显示不完整，即无法完全成像。例如，假设第二更新帧数为400，当有物体在本周期读入300帧的时候进入监控区域并停留时，当短背景图更新时，该物体仅停留了100帧，此时得到的短背景差图像中对于该物体虽然会产生一个基本的轮廓，但是该轮廓可能会不完整(背景差图像的得到方法类似将400帧差值图像求均值，因此有滞留物的差值图像的帧数越多，则背景差图像中的滞留物轮廓越明显)，后续做差图像若与该短背景差图像对应的融合图像求交集的话，后续得到的滞留物图像可能会将这部分视为噪点，并且，若此时进行背景更新的话，则该部分物体图像会变为短背景图的一部分，从而导致漏检。

本实施例为了避免这种情况，提出了如下方法：在得到短背景差图像后，更新短背景图之前还包括：

判断短背景差图像上的像素点差异是否达到总像素点的第一预设比例，若达到，则将第二计数器减少第二更新帧数。

由于在短背景差图像上的像素点差异达到总像素点的第一预设比例时，认为此时存在滞留物显示不完整的情况，因此通过将第二计数器的计数减少第二更新帧数，即将更新短背景图的时间延时一个短背景更新周期，从而使得滞留物的图像能够得到充分的显示，从而避免漏检。其中，需要注意的是，本实施例是在得到短背景差图像之后，将其保存之前，也就是，此时第二计数器已经达到第二更新帧数，理论上需要开始进行背景更新了，但是出于上述考虑，暂时不对其进行更新，而是先进行上述判断操作。

另外，上述短背景差图像上的像素点差异达到总像素点的第一预设比例，指的是：短背景差图像实际上是二值图，也就是与背景图不同的像素点为1，相同的像素点为0，因此，这里的像素点差异指的是短背景差图像中为1的像素点的个数，这里的第一预设比例指的是像素点差异与总像素的比值满足预设条件。例如，对于相应的应用场景，假设摄像头属于监控状态，输入视频帧为500*400＝200,000个像素点的图片，则将S_Short设置为总像素个数的5％，像素点差异需要达到200000*5％＝10000。当然，本发明不限定第一预设比例的数值。

另外，本实施例中，设置像素点差异与总像素的比值需要达到预设比例，而不是小于预设比例的原因，是因为只有像素点差异与总像素的比值达到一定程度(即连通域的面积达到一定程度)，此时才能够认定这部分像素点差异对应的是滞留物而不是噪点，因此才有延时的必要。

另外，对于中背景差图像也存在上述显示不完整的问题，因此也可以采用上述方式进行处理，具体过程为：得到所述中背景差图像后，更新所述中背景差之前还包括：

判断中背景差图像上的像素点差异是否达到总像素点的第二预设比例，若达到，则将第三计数器以及第一计数器减少第三更新帧数。

需要注意的是，长背景图和中背景图需要一起进行延时，因为若仅中背景图进行延时更新的话，可能会导致长背景图更新时，仅得到一张中背景差图像，这样使得这张中背景差图像上会包含滞留物的信息，导致两者做差会把滞留物抵消掉，导致漏检。其中，第二预设比例可以设置为1.25％，当然，本发明对此不作限定。

其中，以不同的训练帧数，对读入的视频流进行高斯背景建模，建立起多个背景更新周期不同的高斯背景模型的过程如下：

混合高斯背景模型的建模是一种单像素的建模方法。假定t时刻某像素点的灰度值为X_t，将各个单高斯成分按ω_i,t/σ_i,t由大至小的排序，取前B个单高斯成分组成背景模型，此处的B为学习率，学习率是影响建模速度快慢的参数，则B估计为:

其中，b＝B，ω_k为第k个单高斯成分的权重；分别设置不同的B，得到各个背景图。

则以B个单高斯成分组成的混合高斯背景模型为：

其中：

B——单高斯成分的数量，也是学习率；

ω_i,t——t时刻第i个单高斯成分的权重；

μ_i,t——t时刻第i个单高斯成分的期望；

ζ_i,t——t时刻第i个单高斯成分的协方差矩阵；

η——高斯概率密度函数；

n为观察数据的数量，例如有一批观察数据X＝{x₁,x₂,...,x_n}，将其建模时总的数量即为n。

通常,为了降低算法的计算复杂度,假定观测X_t的各个通道(每个通道对应一个单高斯成分)是相互独立的，且方差相同，那么协方差矩阵则表示为：

其中I为单位矩阵，σ_i,t为方差。

对于图像中某像素,它在1～t时刻的观测序列为{X₁,X₂,…X_t}，ω_i,t反映了该像素在t时间段内符合第i个高斯分布的后验概率，观测序列中满足第i个高斯分布的样本愈多，σ_i,t愈小，ω_i,t愈大。

假定混合高斯背景模型中背景成分的比例为T(进来的视频帧中，没有滞留物的视频帧与视频帧总数的比值),0＜T＜1。

之后对读入的视频帧进行前景分割，得到前景点和背景点，背景点组成背景图，高斯背景模型对读入的连续的视频帧进行前景分割后，即得到背景流。其中，各个高斯背景模型分别将自身得到的背景流的第一帧作为初始的背景图。

基于上述混合高斯背景建模方法，建立三种高斯背景模型：

第一背景模型(长背景模型，设置有长背景图)：学习率B和方差阈值分别为400和36，用于记录图像中基本不变的信息。这里方差，指的是高斯分布的，圆圈的大小，圆圈越大，建模时，能接受的波动越大，模型越稳定。

第三背景模型(中背景模型，设置有中背景图)：学习率和方差阈值分别为200和25，用于记录图像中产生一定滞留时间的信息。

第二背景模型(短背景模型，设置有短背景图)：学习率和方差阈值分别为100和16，用于记录运动物体信息，同时该短背景模型不会记录过快或者过慢运动的物体。

以上学习率与方差阈值仅为一种具体的实施例，本发明不限定以上两个参数的具体数值。

进一步的，上述背景图更新的过程包括：

将当前读入的视频帧中像素点的灰度值和原背景图中的单高斯成分分别进行比较，若两者匹配，则依据当前读入的视频帧中像素点的灰度值对原背景图中该单高斯成分的参数进行更新；若不匹配，则保持该单高斯成分的其余参数不变，仅调整其权重；若当前读入的视频帧中像素点的灰度值与原背景图中的全部高斯成分均不匹配，则利用当前读入的视频帧中像素点的灰度值的分布，更新原背景图中排序最后的单高斯成分；得到更新后的背景图。

具体的，将当前读入的视频帧中像素点的灰度值X_t+1分别与现有的B个单高斯成分进行比较,如果X_t+1满足：

|X_t+1-μ_i,t|≤2,5σ_i,t

则X_t+1与该单高斯成分匹配,进而以X_t+1更新该单高斯成分,更新过程表示为：

其中：

α——学习率(可以人为设定),0＜α＜1；

ρ——参数的更新速度；

ω_i,t+1——t+1时刻第i个单高斯成分的权重；

μ_i,t+1——t+1时刻第i个单高斯成分的期望；

σ_i,t+1——t+1时刻第i个单高斯成分的方差矩阵；

对于其它与X_t+1不匹配的单高斯成分，则保持其均值、方差不变，但是要更新它们的权重：ω_i,t+1＝(1-α)ω_i,t。

若某像素的X_t+1与B个单高斯成分均不匹配，则t+1时刻该像素为前景像素,此时，应移除原来的第B个单高斯成分,而以t+1时刻的观测X_t+1代替ω_i,t/σ_i,t值最小的单高斯成分。

另外，在构建高斯背景模型之前，还包括：将每帧视频帧调整为灰度图，并依据预设伽马值对所述灰度图进行伽马校正。

其中，具体调整关系式为：

V_out＝(V_in)^1/gamma

其中，V_in为输入的像素点的灰度值，V_out为输出的像素点的灰度值，gamma为预设伽马值。通过选取gamma值<1，可以调整图像的对比度，使图像灰度呈线性变化，用于将过暗或者过亮的图像，调整为相似的灰度分布，减小阴影变化对图像的影响。图像伽马值是曲线优化调整，是亮度和对比度的辅助功能，强力伽马优化模式可以对画面进行细微的明暗层次调整，控制整个画面对比度表现，再现立体美影像。

为方便理解，以下为一个具体的滞留物检测案例：

本案例对一段视频进行滞留物检测，该视频从实际监控摄像头获取的监控视频中截取，图4显示了占道检测算法的检测效果。具体的实施方法包括以下步骤：

步骤1：视频流初始化

读取视频帧，转变为灰度图后，以gamma＝0.5进行伽马校正，将输出作为初始化视频流。

步骤2：高斯背景建模

以学习率分别为400，200，100的高斯背景函数对前述得到的初始化视频流进行高斯背景建模处理，得到三个高斯背景模型；分别选取视频帧经过三个高斯背景模型进行前景分割后得到三个背景流的第一帧，作为对应高斯背景模型的初始背景图。

步骤3：背景更新与滞留物检测

图5中，左图是长背景图对应的长背景差图像，右图是短背景图对应的短背景差图像。从图5中可以看到，长背景差图像中由于日光的变化，产生了由光影造成的不同，而短背景差图像中则没有，因此将两幅图像做求交集运算，能够滤除光影的影响，从而得出如图4的滞留物检测结果。

步骤4：背景更新

如图6所示，当滞留物发生移动，不再处于原来的位置，则需要重新更新背景，才能重新判定滞留物。此时的背景图如图7左图所示，经过背景更新，最终的背景图如图7右图所示。

步骤5:逻辑判断

最终的更新后判定结果如图8。从图8中可以看到，相比图6，图8的光影位置和物体位置都发生了变化，可证明本发明实施例可以滤除掉光影的变化并检测到物体，并能响应物体位置的变化。

图9是本发明一个实施例提供的基于视频监控的滞留物检测装置的结构示意图；一种基于视频监控的滞留物检测装置，该装置包括：

视频流接收模块1，用于接收监控拍摄的视频流

模型构建模块2，用于以不同的训练帧数，对视频流进行高斯背景建模，得到两个高斯背景模型；其中，第一高斯背景模型的长背景图的第一更新周期大于第二高斯背景模型的短背景图的第二更新周期；

短背景处理模块3，用于当达到第二更新周期时，得到短背景图对应的短背景差图像，并更新短背景图；

长背景处理模块4，用于当达到第一更新周期时，得到长背景图对应的长背景差图像，并更新长背景图；

融合模块5，用于将长背景图的更新周期内得到的多张短背景差图像进行融合，得到融合图像；

交集模块6，用于将长背景差图像与融合图像求交集，得到交集图像；

差异处理模块7，用于获取交集图像与上一长背景周期内保存的滞留物图像之间的差异部分，作为滞留物图像；

显示模块8，用于在当前读入的视频帧上对滞留物图像中的连通域进行第一标记并显示。

图10示出了本发明实施例提供的基于视频监控的滞留物检测设备的硬件结构示意图。

在基于视频监控的滞留物检测设备可以包括处理器301以及存储有计算机程序指令的存储器302。处理器301通过读取并执行存储器302中存储的计算机程序指令，以实现上述实施例中的任意一种基于视频监控的滞留物检测方法。

具体地，上述处理器301可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器302可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器302可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器302可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器302可在综合网关容灾设备的内部或外部。在特定实施例中，存储器302是非易失性固态存储器。在特定实施例中，存储器302包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

在一个示例中，基于视频监控的滞留物检测设备还可包括通信接口303和总线310。其中，如图10所示，处理器301、存储器302、通信接口303通过总线310连接并完成相互间的通信。

通信接口303，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。

总线310包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线310可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

另外，结合上述实施例中的基于视频监控的滞留物检测方法，本发明实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于视频监控的滞留物检测方法。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims

1.一种基于视频监控的滞留物检测方法，其特征在于，包括：

接收监控拍摄的视频流；

2.根据权利要求1所述的滞留物检测方法，其特征在于，对所述视频流进行高斯背景建模的过程中，还包括：构建第三高斯背景模型，所述第三高斯背景模型的中背景图的第三更新周期大于所述第二更新周期且小于所述第一更新周期；

当达到所述第三更新周期时，得到所述中背景图对应的中背景差图像，并更新所述中背景图；在所述长背景图的更新周期内，将得到的最后一张中背景差图像进行保存；

所述将所述长背景差图像与所述融合图像求交集之前，还包括：

将所述长背景差图像与保存的中背景差图像做差，得到做差图像；

将所述做差图像与所述融合图像求交集，得到交集图像。

3.根据权利要求2所述的滞留物检测方法，其特征在于，

所述达到长背景图对应的第一更新周期具体包括：第一计数器的计数达到第一更新帧数；且更新所述长背景图后还包括清零所述第一计数器；

所述达到短背景图对应的第二更新周期具体包括：第二计数器的计数达到第二更新帧数；且更新所述短背景图后还包括清零所述第二计数器；

所述达到中背景图对应的第三更新周期具体包括：第三计数器的计数达到第三更新帧数；且更新所述中背景图后还包括清零所述第三计数器；

其中，所述第二更新帧数<所述第三更新帧数<所述第一更新帧数。

4.根据权利要求1所述的滞留物检测方法，其特征在于，所述获取所述交集图像与上一长背景周期内保存的滞留物图像之间的差异部分之前，还包括：

去除所述上一长背景周期内保存的滞留物图像中的噪点；

获取去除噪点后的滞留物图像与所述交集图像的差异部分。

5.根据权利要求1所述的滞留物检测方法，其特征在于，所述在当前读入的视频帧上对所述滞留物图像中的连通域进行第一标记并显示之前，还包括：

判断所述滞留物图像中的连通域的面积是否达到预设面积阈值，若达到，则在当前读入的视频帧上对所述滞留物图像中的连通域进行第一标记并显示。

6.根据权利要求3所述的滞留物检测方法，其特征在于，得到所述短背景差图像后，更新所述短背景图之前还包括：

判断所述短背景差图像上的像素点差异是否达到总像素点的第一预设比例，若达到，则将所述第二计数器减少所述第二更新帧数。

7.根据权利要求3所述的滞留物检测方法，其特征在于，得到所述中背景差图像后，更新所述中背景差之前还包括：

判断所述中背景差图像上的像素点差异是否达到总像素点的第二预设比例，若达到，则将所述第三计数器以及所述第一计数器减少所述第三更新帧数。

8.根据权利要求3所述的滞留物检测方法，其特征在于，所述第一更新帧数为所述第三更新帧数的整数倍，所述第三更新帧数为所述第二更新帧数的整数倍。

9.根据权利要求1所述的滞留物检测方法，其特征在于，所述背景图更新的过程包括：

将当前读入的视频帧中像素点的灰度值和原背景图中的单高斯成分分别进行比较，若两者匹配，则依据所述当前读入的视频帧中像素点的灰度值对所述原背景图中该单高斯成分的参数进行更新；若不匹配，则保持该单高斯成分的其余参数不变，仅调整其权重；若所述当前读入的视频帧中像素点的灰度值与所述原背景图中的全部高斯成分均不匹配，则利用所述当前读入的视频帧中像素点的灰度值的分布，更新所述原背景图中排序最后的单高斯成分；得到更新后的背景图。

10.一种基于视频监控的滞留物检测装置，其特征在于，包括：

视频流接收模块，用于接收监控拍摄的视频流；

11.一种基于视频监控的滞留物检测设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；

所述处理器执行所述计算机程序指令时实现如权利要求1-9任意一项所述的在基于视频监控的滞留物检测方法。

12.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-9任意一项所述的基于视频监控的滞留物检测方法。