CN106408554B - 遗留物检测装置、方法和系统 - Google Patents

Abstract

本申请提供一种遗留物检测装置、方法和系统，其中，所述装置包括：检测单元，其将获取到的当前帧的每个像素与其背景模型进行匹配，将不匹配的像素作为前景像素在前景掩膜上标记，将每个前景像素对应的前景计数器加1，并更新所述背景模型；标记单元，其对于每个前景像素，在所述前景像素对应的前景计数器的值大于第二阈值时，在遗留掩膜上标记对应所述前景像素的点；掩膜处理单元，其对于遗留掩膜上的每个点，根据其背景模型和缓存背景或前景掩膜对所述遗留掩膜进行处理。本申请增加了遗留物的缓存背景，由此能够判断出遗留物什么时候离开并且停留了多久，也可以避免遮挡和鬼影的干扰，解决了非法占道识别的问题。

Description

遗留物检测装置、方法和系统

技术领域

本申请涉及图像处理技术，尤其涉及一种遗留物检测装置、方法和系统。

背景技术

随着计算机图像处理技术的发展，视频监控系统被广泛应用于智能交通领域。然而，大部分的研究集中在交通流检测、行人追踪、违规车辆检测等，非法占道识别尚未完成。非法占道主要包括非法摆摊、遗留可疑对象、非法停车等。如果这些情况不能及时处理将会导致交通事故。但在现实中，大多数非法占道的检查都依赖于人力劳动，这就需要警察定期从固定点收集车道信息，这将会导致资金和人力成本的浪费。

智能监控的研究包括目标检测、目标追踪、动作识别。目标检测是整个系统的基础，其可以通过对目标区域进行前景分段来实现，常用的检测方法包括光流法、帧差算法、背景建模方法等。光流法通过光流特征提取移动目标，具有很大的计算量并且对噪声敏感。帧差算法能够通过两三个相邻帧的时域减法有效处理动态场景。背景建模方法通过减去当前帧图像和背景模型对移动目标分段，具有很快的计算速度，通常可以提供完整的特征数据。

目前，遗留物检测的方法分为两类，非自动监测算法和追踪算法。非自动监测算法包括基于学习的算法和手动设置背景算法，第一个算法对遗留物的特征有特殊要求，因此，与训练样本有不同特征的遗留物不能被精确地检测到，第二个算法有更多的限制，因为空背景在复杂的场景下不能被设置，并且其不能适应光线条件的变化。追踪算法基于背景模型追踪目标，这在很大程度上取决于背景模型的效果，并且很容易被不良现象影响，例如鬼影，该追踪方法也有很高的复杂度并且对于长时间的遗留物表现欠佳。

应该注意，上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

为了解决背景技术指出的问题，本申请提供了一种遗留物检测装置、方法和系统，以解决非法占道识别的问题。

根据本发明实施例的第一方面，提供了一种遗留物检测装置，其中，所述装置包括：

检测单元，其将获取到的当前帧的每个像素与其背景模型进行匹配，将不匹配的像素作为前景像素在前景掩膜上标记，将每个前景像素对应的前景计数器加1，并更新所述背景模型；

标记单元，其对于每个前景像素，在所述前景像素对应的前景计数器的值大于第二阈值时，在遗留掩膜上标记对应所述前景像素的点；

掩膜处理单元，其对于遗留掩膜上的每个点，根据其背景模型和缓存背景或前景掩膜对所述遗留掩膜进行处理。

根据本发明实施例的第二方面，提供了一种视频监控系统，所述系统包括：

摄像机，其拍摄视频，获得视频数据；

遗留物检测装置，其对来自所述摄像机的视频数据中的每一帧图像进行处理，以检测遗留物；

其中，所述遗留物检测装置包括：

检测单元，其将获取到的当前帧的每个像素与其背景模型进行匹配，将不匹配的像素作为前景像素在前景掩膜上标记，将每个前景像素对应的前景计数器加1，并更新所述背景模型；

标记单元，其对于每个前景像素，在所述前景像素对应的前景计数器的值大于第二阈值时，在遗留掩膜上标记对应所述前景像素的点；

掩膜处理单元，其对于遗留掩膜上的每个点，根据其背景模型和缓存背景或前景掩膜对所述遗留掩膜进行处理。

根据本发明实施例的第三方面，提供了一种遗留物检测方法，其中，所述方法包括：

将获取到的当前帧的每个像素与其背景模型进行匹配，将不匹配的像素作为前景像素在前景掩膜上标记，将每个前景像素对应的前景计数器加1，并更新所述背景模型；

对于每个前景像素，在所述前景像素对应的前景计数器的值大于第二阈值时，在遗留掩膜上标记对应所述前景像素的点；

对于遗留掩膜上的每个点，根据其背景模型和缓存背景或前景掩膜之间的关系对所述遗留掩膜进行处理。

本发明的有益效果在于：通过本申请提供的装置、方法和系统，增加了遗留物的缓存背景，由此能够判断出遗留物什么时候离开并且停留了多久，也可以避免遮挡和鬼影的干扰，解决了非法占道识别的问题。

参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本发明的实施方式包括许多改变、修改和等同。

针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。

附图说明

所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施方式，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本发明实施例的遗留物检测装置的组成示意图；

图2A是摄像机拍摄到的视频中的一帧图像的示意图；

图2B是摄像机拍摄到的视频中的另一帧图像的示意图；

图2C是通过检测图2B所示的图像得到的遗留掩膜的示意图；

图3是本发明实施例的遗留物检测方法的流程图；

图4是本实施例的前景检测和遗留掩膜提取的流程图；

图5是本实施例的遗留掩膜处理的流程图；

图6是本实施例的视频监控系统的硬件构成示意图。

具体实施方式

参照附图，通过下面的说明书，本发明的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本发明的特定实施方式，其表明了其中可以采用本发明的原则的部分实施方式，应了解的是，本发明不限于所描述的实施方式，相反，本发明包括落入所附权利要求的范围内的全部修改、变形以及等同物。

实施例1

本申请提供了一种遗留物检测装置，其对摄像机拍摄到的视频的每一帧图像进行处理，以检测该视频中的遗留物。图1是该装置的构成示意图，如图1所示，该遗留物检测装置100包括：检测单元101、标记单元102以及掩膜处理单元103。

在本实施例中，检测单元101用于将获取到的当前帧的每个像素与其背景模型进行匹配，将不匹配的像素作为前景像素在前景掩膜上标记，将每个前景像素对应的前景计数器加1，并更新所述背景模型。

在本实施例中，检测单元101可以基于该背景模型进行前景检测。背景模型可以基于现有的算法进行更新，其中，对应每个像素点，背景模型都有一个样本集，样本集中的采样值就是该像素点过去的像素值和其邻居点的像素值。对于当前帧的像素x(i,j)和其背景模型back_samples[NUM_SAMPLES]，检测单元101可以将该像素x(i,j)与该背景模型中的每个采样值进行匹配，并记录匹配数。如果匹配数大于阈值Thre_fg，则该像素x(i,j)被视为背景像素(背景点)，否则认为该像素x(i,j)是不匹配的像素，其作为前景像素(前景点)在前景掩膜上标记。

其中，设置前景掩膜的目的在于后期的掩膜处理，具体将在以下进行说明。

在本实施例中，还定义了前景计数器，如果一个像素被判定为前景像素，则对其前景计数器加1。像素x(i,j)的前景计数器fore_counter(i,j)可以根据公式(1)计算：

在本实施例中，除了在前景掩膜上标记前景像素，并对该前景像素对应的前景计数器进行更新以外，该检测单元101还按照一定的条件更新各前景像素对应的背景模型，具体的更新方法可以参照现有技术。

在本实施例中，如图1所示，该装置还可以包括图像处理单元104，该图像处理单元104用于在当前帧的帧号小于第一阈值时，利用三帧差法处理所述前景像素，以避免最初的鬼影现象。

在本实施例中，对于每个前景像素，标记单元102根据其前景计数器的计数结果确定该前景像素是否是遗留点。在一个实施方式中，如果该前景像素对应的前景计数器的值大于第二阈值Thre_fc，也就是说，某个像素被判定为前景的次数大于预定的阈值，则认为该像素是遗留点，则在遗留掩膜上标记对应该像素的点。其中，该遗留掩膜abandon_mask(i,j)可以由公式(2)定义：

在本实施例中，对于遗留掩膜上的每个点，掩膜处理单元103根据其背景模型和缓存背景或者前景掩膜对该遗留掩膜进行处理。

在本实施例中，通过标记单元102获得的遗留掩膜没有考虑鬼影、离开或遮挡等情况的影响，也就是说，遗留掩膜上的点有可能是鬼影而不是真正的遗留物，或者遗留掩膜上的点已经离开，或者遗留掩膜上的点被遮挡，为了避免这些情况导致的遗留掩膜的不准确，本实施例通过掩膜处理单元103对这类情况进行处理，具体的，该掩膜处理单元103可以根据该遗留掩膜上各个点的背景模型和其缓存背景之间的关系，或者该遗留掩膜上各个点的背景模型和其前景掩膜之间的关系，对该遗留掩膜进行处理。

在本实施例中，缓存背景是为了检测遗留物什么时候离开而定义的，如果像素x(i,j)从背景变为前景，也即该像素的前景计数器的值从0变为1，则检测单元101在其缓存背景buffer_background(i,j)中保存其背景模型的平均值。

在一个实施方式中，如图1所示，为了消除鬼影的影响，该掩膜处理单元103包括：第一判断模块1031和第一处理模块1032。该第一判断模块1031根据所述点的背景模型和缓存背景判断该点是否是鬼影点，该第一处理模块1032用于在第一判断模块1031判断为是时，在遗留掩膜上去掉该点，例如将遗留掩膜上的该点的值设为0；并在第一判断模块1031判断为否时，在遗留掩膜上保留该点。

在本实施方式中，当一个遗留点离开的时候，它可能仍然停留在遗留掩膜上，这种现象称为鬼影。在本实施方式中，使用该遗留点的缓存背景和背景模型之间的关系来决定遗留掩膜上的某个点是否是鬼影点。如果遗留掩膜上的某个点被当做遗留点的帧数大于预定阈值，并且，其缓存背景与其当前背景模型匹配，也即，abandon_count(i,j)>Thre_g&&(buffer_background(i,j)matchwith current background(i,j))，则这一点被判定为鬼影点，在本实施方式中，一旦一个遗留点被判断为鬼影点，在遗留掩膜上将相应的像素设置为0。

在另一个实施方式中，如图1所示，为了避免遗留点离开而导致遗留掩膜的不准确，该掩膜处理单元103还可以包括：第二判断模块1033和第二处理模块1034。该第二判断模块1033判断所述点的缓存背景与所述当前帧是否匹配；该第二处理模块1034在第二判断模块1033判断为是时，在所述遗留掩膜上去掉所述点，例如将遗留掩膜上的该点的值设为0；并在第二判断模块1033判断为否时，在所述遗留掩膜上保留所述点。

在本实施方式中，对于一个遗留像素x(i,j)，如果其缓存背景与当前帧匹配，意味着该遗留点已经离开，此时，可以通过将离开点设置为0来更新该遗留掩膜。此外，如果一个遗留物逐渐远去，其在遗留掩膜上的集群变小，因此，本实施例还可以通过设置一个区域阈值来决定是否遗留集群离开。

在再一个实施方式中，如图1所示，为了避免遗留点被遮挡而导致遗留掩膜的不准确，该掩膜处理单元103还可以包括：第三判断模块1035和第三处理模块1036。该第三判断模块1035判断所述点在遗留掩膜和前景掩膜上对应的像素值是否都不为0；第三处理模块1036在第三判断模块1035判断为是时，在遗留掩膜上保留所述点；在第三判断模块1035判断为否时，在遗留掩膜上去掉所述点，例如将遗留掩膜上的该点的值设为0。

在本实施方式中，当一个遗留物被新的前景遮挡，如果不处理，则遗留掩膜将会被错误地更新为0，因此在本实施方式中，定义了碰撞点来判断遗留点是否被遮挡。对于一个遗留像素x(i,j)，如果其在遗留掩膜和前景掩膜上对应的像素值都不为0，也即，满足公式(3)，则其是碰撞点，则在遗留掩膜上保留该像素值。

abandon_mask(i,j)！＝0&&foreground_mask(i,j)！＝0 (3)

通过本实施例的遗留物检测装置的上述处理，得到了一个真正的遗留掩膜，通过聚类，可以勾勒出当前帧图像中的遗留斑点。

图2A-图2B是摄像机拍摄的视频中的两帧图像，如图2A和图2B所示，在图2A所示的这一帧图像中，匝道上没有停靠任何车辆，而在图2B所示的这一帧图像中，匝道上停靠了一辆车辆，该车辆属于非法停靠。通过本实施例的遗留物检测装置对摄像机拍摄的视频的每一帧图像进行上述处理，得到了图2C所示的遗留掩膜，如图2C所示，在该遗留掩膜上，对应图2B的车辆的位置，标记了若干遗留点，构成了一个遗留区域。

在本实施例中，通过以上处理，得到了遗留物的基本信息，由此可以对有多少帧的遗留物停留进行计数，并判定其是什么东西。如果遗留物停留超过预定时间，可以给出一个警报并显示类型。

在一个实施方式中，如图1所示，该遗留物检测装置100还包括：提取单元105、聚类单元106、匹配单元107和处理单元108。

提取单元105用于提取所述遗留掩膜上的点的位置特征和停留时间特征。

聚类单元106用于根据所述遗留掩膜上的点的位置特征和停留时间特征对所述遗留掩膜上的点进行聚类，得到多个遗留区块；

匹配单元107用于将当前帧的遗留区块与之前帧的遗留区块进行匹配，为每个遗留区块标记对应的ID并统计每个遗留区块的停留时间；

处理单元108用于根据每个遗留区块的停留时间进行预定处理，例如在停留时间超过阈值时向服务器发出警报。

在本实施方式中，如果遗留物离开，则通过该遗留物检测装置100的前述处理，遗留掩膜上对应该遗留物的位置的遗留点全部为0，则解除上述警报。

通过本实施例的遗留物检测装置，可以实时地检测占用对象，不受背景模型更新的影响，以很小的计算量集成到整个智能传输系统中。

实施例2

本申请还提供了一种遗留物检测方法，由于该方法解决问题的原理与实施例1的遗留物检测装置100类似，因此其具体的实施可以参照实施例1的遗留物检测装置100的实施，内容相同之处不再重复说明。

图3是本实施例的遗留物检测方法的流程图，请参照图3，该方法包括：

步骤301：将获取到的当前帧的每个像素与其背景模型进行匹配，将不匹配的像素作为前景像素在前景掩膜上标记，将每个前景像素对应的前景计数器加1，并更新所述背景模型；

步骤302：对于每个前景像素，在所述前景像素对应的前景计数器的值大于第二阈值时，在遗留掩膜上标记对应所述前景像素的点；

步骤303：对于遗留掩膜上的每个点，根据其背景模型和缓存背景或前景掩膜对所述遗留掩膜进行处理。

在本实施例中，如前所述，如果当前帧的帧号小于第一阈值，则还可以利用三帧差法处理所述前景像素。

在本实施例中，如前所述，如果所述前景像素对应的前景计数器的值为1，也就是说，该像素刚刚由背景像素变为前景像素，则在其缓存背景中保存该前景像素的背景模型的平均值。

在步骤303的一个实施方式中，可以根据背景模型和缓存背景判断所述点是否是鬼影点；如果判断为是，则在所述遗留掩膜上去掉所述点；如果判断为否，则在所述遗留掩膜上保留所述点。其中，如果该点的遗留计数结果(被判定为遗留点的帧数)大于预先设定的阈值并且该点的缓存背景与其当前背景模型匹配，则确定这一点为鬼影点。

在步骤303的另外一个实施方式中，可以判断所述点的缓存背景与所述当前帧是否匹配；如果判断为是，则意味着这一点已经离开，则在所述遗留掩膜上去掉所述点；如果判断为否，则在所述遗留掩膜上保留所述点。

在步骤303的再一个实施方式中，可以判断所述点在遗留掩膜和前景掩膜上对应的像素值是否都不为0；如果判断为是，则认为这一点是碰撞点，则在所述遗留掩膜上保留所述点；如果判断为否，则在所述遗留掩膜上去掉所述点。

在本实施例中，在得到了遗留掩膜之后，还可以提取所述遗留掩膜上的点的位置特征和停留时间特征；根据所述遗留掩膜上的点的位置特征和停留时间特征对所述遗留掩膜上的点进行聚类，得到多个遗留区块；将当前帧的遗留区块与之前帧的遗留区块进行匹配，为每个遗留区块标记对应的ID并统计每个遗留区块的停留时间；根据每个遗留区块的停留时间进行预定处理，例如在其停留时间大于某个阈值时，发出警报。

图4是前景检测和遗留掩膜提取的一个实施方式的流程图，如图4所示，该流程包括：

步骤401：更新背景模型；

步骤402：将当前帧的每个像素与其背景模型进行匹配，将不匹配的像素作为前景像素在前景掩膜上标记；

步骤403：判断当前帧的帧号是否小于第一阈值，如果判断为是，则执行步骤404，否则执行步骤405；

步骤404：利用三帧差法处理所述前景像素，以避免最初的鬼影；

步骤405：将每个前景像素的前景计数器加1；

步骤406：判断当前像素是否从背景变为前景，如果判断为是，则执行步骤407，否则执行步骤409；

其中，当前像素的前景计数器为1，则意味着当前像素刚刚从背景变为前景。

步骤407：将该像素的背景模型的像素值的均值保存在缓存背景中；

步骤408：更新当前像素的背景模型；

步骤409：判断前景匹配数是否大于第二阈值，如果判断为是，则执行步骤410，否则结束；

其中，前景匹配数也即当前像素被判定为前景像素的次数。

步骤410：在遗留掩膜上标记当前像素。

以上步骤及其顺序只是举例说明，在本实施方式中，如前所述，有些步骤不是必须的，并且根据具体实施效果，也可以在此基础上增加某些本领域技术人员很容易想到的步骤，本实施例并不以此作为限制。

通过图4的处理，得到了当前帧图像上遗留物的遗留掩膜。然而，对于该遗留掩膜上的点，并非所有的点都是遗留物的点，例如有些可能是鬼影，有些可能已经离开，有些可能被遮挡，则本实施例可以通过图5的流程对该遗留掩膜上的每一点进行处理，来得到该遗留物的真正的遗留掩膜。

图5是遗留掩膜处理的流程图，请参照图5，该流程包括：

步骤501：判断当前像素点是否是由遗留物离开所产生的鬼影点，如果判断为是，则执行步骤502，否则执行步骤503；

其中，如果遗留掩膜上某一点的遗留计数结果大于一个预先设定的阈值并且其缓存背景和当前背景模型匹配，则认为该点为鬼影点。

步骤502：将遗留掩膜上的这一点设为0；

步骤503：判断缓存背景与当前帧是否匹配，如果判断为是，则执行步骤504，否则执行步骤505；

步骤504：将遗留掩膜上的这一点设为0；

步骤505：判断是否与前景点干扰，如果判断为是，则执行步骤506，否则执行步骤507；

其中，如果该点在遗留掩膜和前景掩膜上对应的像素值都不为0，则说明与前景点干扰，也就是说这一点被遮挡而不是真正的离开。

步骤506：在遗留掩膜上保留这一点；

步骤507：将遗留掩膜上的这一点设为0。

以上步骤及其顺序只是举例说明，在本实施方式中，如前所述，有些步骤不是必须的，并且有些步骤的执行顺序可以互换，例如步骤501、503和505的顺序可以互换，根据具体实施效果，也可以在此基础上增加某些本领域技术人员很容易想到的步骤，本实施例并不以此作为限制。

通过图5的处理，得到了遗留物的真正的遗留掩膜。

通过本实施例的遗留物检测方法，可以实时地检测占用对象，不受背景模型更新的影响，以很小的计算量集成到整个智能传输系统中。

实施例3

本发明实施例还提供了一种视频监控系统，该系统包括摄像机和遗留物检测装置，该摄像机用于拍摄视频，获得视频数据；该遗留物检测装置用于对来自所述摄像机的视频数据中的每一帧图像进行处理，以检测遗留物。

在本实施例中，该遗留物检测装置可以通过实施例1的遗留物检测装置100来实现，由于在实施例1中，已经对该遗留物检测装置100做了详细说明，其内容被合并于此，在此不再赘述。

图6是本实施例的视频监控系统的硬件构成示意图，如图6所示，该视频监控系统600可以包括：中央处理器(CPU)601和存储器602；存储器602耦合到中央处理器601。值得注意的是，该图是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。

在一个实施方式中，实施例1所述的遗留物检测装置100的功能可以被集成到中央处理器601中，

在另一个实施方式中，实施例1所述的遗留物检测装置100可以与中央处理器601分开配置，例如可以将该遗留物检测装置100配置为与中央处理器601连接的芯片，通过中央处理器601的控制来实现上述装置的功能。

如图6所示，该计算机系统600还可以包括：通信模块603、输入单元604、音频处理单元605、显示器606、电源607、以及摄像机608。值得注意的是，视频监控系统600也并不是必须要包括图6中所示的所有部件；此外，视频监控系统600还可以包括图6中没有示出的部件，可以参考现有技术。

如图6所示，中央处理器601有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器601接收输入并控制视频监控系统600的各个部件的操作。

其中，存储器602，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存预定义或预配置的信息，摄像机捕捉到的视频数据，此外还可存储执行有关信息的程序。并且中央处理器601可执行该存储器602存储的该程序，以实现信息存储或处理等。其他部件的功能与现有类似，此处不再赘述。视频监控系统600的各部件可以通过专用硬件、固件、软件或其结合来实现，而不偏离本发明的范围。

通过本发明实施例的视频监控系统600，可以实时地检测占用对象，不受背景模型更新的影响，以很小的计算量集成到整个智能传输系统中。

本发明实施例还提供一种计算机可读程序，其中当在计算机中执行所述程序时，所述程序使得计算机执行实施例2所述的方法。

本发明实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机执行实施例2所述的方法。

本发明以上的装置和方法可以由硬件实现，也可以由硬件结合软件实现。本发明涉及这样的计算机可读程序，当该程序被逻辑部件所执行时，能够使该逻辑部件实现上文所述的装置或构成部件，或使该逻辑部件实现上文所述的各种方法或步骤。本发明还涉及用于存储以上程序的存储介质，如硬盘、磁盘、光盘、DVD、flash存储器等。

以上结合具体的实施方式对本发明进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本发明保护范围的限制。本领域技术人员可以根据本发明的精神和原理对本发明做出各种变型和修改，这些变型和修改也在本发明的范围内。

关于包括以上实施例的实施方式，还公开下述的附记：

附记1、一种遗留物检测装置，其中，所述装置包括：

检测单元，其将获取到的当前帧的每个像素与其背景模型进行匹配，将不匹配的像素作为前景像素在前景掩膜上标记，将每个前景像素对应的前景计数器加1，并更新所述背景模型；

标记单元，其对于每个前景像素，在所述前景像素对应的前景计数器的值大于第二阈值时，在遗留掩膜上标记对应所述前景像素的点；

掩膜处理单元，其对于遗留掩膜上的每个点，根据其背景模型和缓存背景或前景掩膜对所述遗留掩膜进行处理。

附记2、根据附记1所述的装置，其中，所述装置还包括：

图像处理单元，其在当前帧的帧号小于第一阈值时，利用三帧差法处理所述前景像素。

附记3、根据附记1所述的装置，其中，所述检测单元还用于在所述前景像素对应的前景计数器的值为1时，在缓存背景中保存所述前景像素的背景模型的平均值。

附记4、根据附记1所述的装置，其中，所述掩膜处理单元包括：

第一判断模块，其根据背景模型和缓存背景判断所述点是否是鬼影点；

第一处理模块，其在所述第一判断模块判断为是时，在所述遗留掩膜上去掉所述点；在所述第一判断模块判断为否时，在所述遗留掩膜上保留所述点。

附记5、根据附记4所述的装置，其中，如果所述点的遗留计数结果大于预定阈值，并且，其缓存背景与当前背景模型匹配，则所述第一判断模块判定为所述点为鬼影点。

附记6、根据附记1所述的装置，其中，所述掩膜处理单元包括：

第二判断模块，其判断所述点的缓存背景与所述当前帧是否匹配；

第二处理模块，其在所述第二判断模块判断为是时，在所述遗留掩膜上去掉所述点；在所述第二判断模块判断为否时，在所述遗留掩膜上保留所述点。

附记7、根据附记1所述的装置，其中，所述掩膜处理单元包括：

第三判断模块，其判断所述点在遗留掩膜和前景掩膜上对应的像素值是否都不为0；

第三处理模块，其在所述第三判断模块判断为是时，在所述遗留掩膜上保留所述点；在所述第三判断模块判断为否时，在所述遗留掩膜上去掉所述点。

附记8、根据附记1所述的装置，其中，所述装置还包括：

提取单元，其提取所述遗留掩膜上的点的位置特征和停留时间特征；

聚类单元，其根据所述遗留掩膜上的点的位置特征和停留时间特征对所述遗留掩膜上的点进行聚类，得到多个遗留区块；

匹配单元，其将当前帧的遗留区块与之前帧的遗留区块进行匹配，为每个遗留区块标记对应的ID并统计每个遗留区块的停留时间；

处理单元，其根据每个遗留区块的停留时间进行预定处理。

附记9、一种视频监控系统，所述系统包括：

摄像机，其拍摄视频，获得视频数据；

遗留物检测装置，其对来自所述摄像机的视频数据中的每一帧图像进行处理，以检测遗留物；

其中，所述遗留物检测装置包括：

检测单元，其将获取到的当前帧的每个像素与其背景模型进行匹配，将不匹配的像素作为前景像素在前景掩膜上标记，将每个前景像素对应的前景计数器加1，并更新所述背景模型；

标记单元，其对于每个前景像素，在所述前景像素对应的前景计数器的值大于第二阈值时，在遗留掩膜上标记对应所述前景像素的点；

掩膜处理单元，其对于遗留掩膜上的每个点，根据其背景模型和缓存背景或前景掩膜对所述遗留掩膜进行处理。

附记10、一种遗留物检测方法，其中，所述方法包括：

将获取到的当前帧的每个像素与其背景模型进行匹配，将不匹配的像素作为前景像素在前景掩膜上标记，将每个前景像素对应的前景计数器加1，并更新所述背景模型；

对于每个前景像素，在所述前景像素对应的前景计数器的值大于第二阈值时，在遗留掩膜上标记对应所述前景像素的点；

对于遗留掩膜上的每个点，根据其背景模型和缓存背景或前景掩膜之间的关系对所述遗留掩膜进行处理。

附记11、根据附记10所述的方法，其中，如果当前帧的帧号小于第一阈值，则所述方法还包括：

利用三帧差法处理所述前景像素。

附记12、根据附记10所述的方法，其中，如果所述前景像素对应的前景计数器的值为1，则所述方法还包括：

在缓存背景中保存所述前景像素的背景模型的平均值。

附记13、根据附记10所述的方法，其中，对于遗留掩膜上的每个点，根据其背景模型和缓存背景或前景掩膜之间的关系对所述遗留掩膜进行处理，包括：

根据背景模型和缓存背景判断所述点是否是鬼影点；

如果判断为是，则在所述遗留掩膜上去掉所述点；

如果判断为否，则在所述遗留掩膜上保留所述点。

附记14、根据附记13所述的方法，其中，如果所述点的遗留计数结果大于预定阈值，并且，其缓存背景与当前背景模型匹配，则所述点被判定为鬼影点。

附记15、根据附记10所述的方法，其中，对于遗留掩膜上的每个点，根据其背景模型和缓存背景或前景掩膜之间的关系对所述遗留掩膜进行处理，包括：

判断所述点的缓存背景与所述当前帧是否匹配；

如果判断为是，则在所述遗留掩膜上去掉所述点；

如果判断为否，则在所述遗留掩膜上保留所述点。

附记16、根据附记10所述的方法，其中，对于遗留掩膜上的每个点，根据其背景模型和缓存背景或前景掩膜之间的关系对所述遗留掩膜进行处理，包括：

判断所述点在遗留掩膜和前景掩膜上对应的像素值是否都不为0；

如果判断为是，则在所述遗留掩膜上保留所述点；

如果判断为否，则在所述遗留掩膜上去掉所述点。

附记17、根据附记10所述的方法，其中，所述方法还包括：

提取所述遗留掩膜上的点的位置特征和停留时间特征；

根据所述遗留掩膜上的点的位置特征和停留时间特征对所述遗留掩膜上的点进行聚类，得到多个遗留区块；

将当前帧的遗留区块与之前帧的遗留区块进行匹配，为每个遗留区块标记对应的ID并统计每个遗留区块的停留时间；

根据每个遗留区块的停留时间进行预定处理。

Claims (9)

1.一种遗留物检测装置，其中，所述装置包括：

检测单元，其将获取到的当前帧的每个像素与其背景模型进行匹配，将不匹配的像素作为前景像素在前景掩膜上标记，将每个前景像素对应的前景计数器加1，并更新所述背景模型；

标记单元，其对于每个前景像素，在所述前景像素对应的前景计数器的值大于第二阈值时，在遗留掩膜上标记对应所述前景像素的点；以及

掩膜处理单元，其对于遗留掩膜上的每个点，根据其背景模型和缓存背景或背景模型和前景掩膜对所述遗留掩膜进行处理，

其中，所述检测单元还用于在所述前景像素对应的前景计数器的值为1时，在缓存背景中保存所述前景像素的背景模型的平均值。

2.根据权利要求1所述的装置，其中，所述装置还包括：

图像处理单元，其在当前帧的帧号小于第一阈值时，利用三帧差法处理所述前景像素。

3.根据权利要求1所述的装置，其中，所述掩膜处理单元包括：

第一判断模块，其根据背景模型和缓存背景判断所述点是否是鬼影点；

第一处理模块，其在所述第一判断模块判断为是时，在所述遗留掩膜上去掉所述点；在所述第一判断模块判断为否时，在所述遗留掩膜上保留所述点。

4.根据权利要求3所述的装置，其中，如果所述点的遗留计数结果大于预定阈值，并且，其缓存背景与当前背景模型匹配，则所述第一判断模块判定为所述点为鬼影点。

5.根据权利要求1所述的装置，其中，所述掩膜处理单元包括：

第二判断模块，其判断所述点的缓存背景与所述当前帧是否匹配；

第二处理模块，其在所述第二判断模块判断为是时，在所述遗留掩膜上去掉所述点；在所述第二判断模块判断为否时，在所述遗留掩膜上保留所述点。

6.根据权利要求1所述的装置，其中，所述掩膜处理单元包括：

第三判断模块，其判断所述点在遗留掩膜和前景掩膜上对应的像素值是否都不为0；

第三处理模块，其在所述第三判断模块判断为是时，在所述遗留掩膜上保留所述点；在所述第三判断模块判断为否时，在所述遗留掩膜上去掉所述点。

7.根据权利要求1所述的装置，其中，所述装置还包括：

提取单元，其提取所述遗留掩膜上的点的位置特征和停留时间特征；

聚类单元，其根据所述遗留掩膜上的点的位置特征和停留时间特征对所述遗留掩膜上的点进行聚类，得到多个遗留区块；

匹配单元，其将当前帧的遗留区块与之前帧的遗留区块进行匹配，为每个遗留区块标记对应的ID并统计每个遗留区块的停留时间；

处理单元，其根据每个遗留区块的停留时间进行预定处理。

8.一种遗留物检测方法，其中，所述方法包括：

将获取到的当前帧的每个像素与其背景模型进行匹配，将不匹配的像素作为前景像素在前景掩膜上标记，将每个前景像素对应的前景计数器加1，并更新所述背景模型；

对于每个前景像素，在所述前景像素对应的前景计数器的值大于第二阈值时，在遗留掩膜上标记对应所述前景像素的点；

对于遗留掩膜上的每个点，根据其背景模型和缓存背景或背景模型和前景掩膜对所述遗留掩膜进行处理，

其中，所述方法还包括在所述前景像素对应的前景计数器的值为1时，在缓存背景中保存所述前景像素的背景模型的平均值。

9.一种视频监控系统，所述系统包括：

摄像机，其拍摄视频，获得视频数据；

遗留物检测装置，其对来自所述摄像机的视频数据中的每一帧图像进行处理，以检测遗留物；

其中，所述遗留物检测装置包括：

检测单元，其将获取到的当前帧的每个像素与其背景模型进行匹配，将不匹配的像素作为前景像素在前景掩膜上标记，将每个前景像素对应的前景计数器加1，并更新所述背景模型；

标记单元，其对于每个前景像素，在所述前景像素对应的前景计数器的值大于第二阈值时，在遗留掩膜上标记对应所述前景像素的点；以及

掩膜处理单元，其对于遗留掩膜上的每个点，根据其背景模型和缓存背景或背景模型和前景掩膜对所述遗留掩膜进行处理，

其中，所述检测单元还用于在所述前景像素对应的前景计数器的值为1时，在缓存背景中保存所述前景像素的背景模型的平均值。