CN104881643A - 一种快速的遗留物检测方法及系统 - Google Patents

一种快速的遗留物检测方法及系统 Download PDF

Info

Publication number
CN104881643A
CN104881643A CN201510268000.4A CN201510268000A CN104881643A CN 104881643 A CN104881643 A CN 104881643A CN 201510268000 A CN201510268000 A CN 201510268000A CN 104881643 A CN104881643 A CN 104881643A
Authority
CN
China
Prior art keywords
target
static target
tracker
object block
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510268000.4A
Other languages
English (en)
Other versions
CN104881643B (zh
Inventor
林必毅
钟左锋
刘春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sunwin Intelligent Co Ltd
Original Assignee
Shenzhen Sunwin Intelligent Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sunwin Intelligent Co Ltd filed Critical Shenzhen Sunwin Intelligent Co Ltd
Priority to CN201510268000.4A priority Critical patent/CN104881643B/zh
Publication of CN104881643A publication Critical patent/CN104881643A/zh
Application granted granted Critical
Publication of CN104881643B publication Critical patent/CN104881643B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种快速的遗留物检测方法及系统,方法包括:读取视频帧,并根据读取的视频帧进行前景检测,得到前景目标;对前景目标进行连通域处理,得到前景目标的大小和位置;对连通域处理后的前景目标采用基于分散度过滤和加权滑动平均系数过滤的过滤结构进行静止目标跟踪,得到候选静止目标;对候选静止目标采用基于相似度过滤、NCC过滤和角点个数过滤的串联过滤结构进行静止目标分类,得到遗留物;根据得到的遗留物进行报警。本发明综合采用了基于分散度过滤和加权滑动平均系数过滤的过滤结构以及基于相似度过滤、NCC过滤和角点个数过滤的串联过滤结构,能有效减少鬼影、光影和行人引起的误报现象,可广泛应用于视频监控领域。

Description

一种快速的遗留物检测方法及系统
技术领域
本发明涉及视频监控领域,尤其是一种快速的遗留物检测方法及系统。
背景技术
随着科学技术的快速发展以及信息技术的日渐完善,人们为了提高生活质量,对高科技的便捷性、安全性、高效性的要求变得越来越高。自从美国“9.11”事件发生之后,反恐成为了各个国家安全工作的重中之重,加强对不安全因素的防范措施、给人们提供一个安全的生活环境、从最大程度上打击恐怖行动已经成了全世界各个国家非常重视的安全问题。尤其在人口流动量比较大的场所,安全问题更是不容忽视的问题。以机场为例,目前中国国内有160多个正在使用的机场,并且随着中国经济的飞速发展,机场的人流量以及货物运送量逐渐增加,广州的白云机场、北京的首都机场、上海的浦东机场的每年的客运量以千万计,在这种人口高度密集的环境下,安全工作就突显的非常重要。所以对于人口密集的公共场所和一些安全级别较高的单位和部门进行实时的、全天候的视频监控就显得特别重要。
视频监控系统在各行各业都得到了广泛的应用。现实生活中,居民小区、超市、银行、机场、地铁、博物馆等都有视频监控设备。一般情况下,以上监控系统主要是由传统的闭路电视监控CCTV(Closed—Circuit Television)构成的,可以对监控场景进行记录和存储,记录和存储的视频主要用于事后证据呈现,并不能对危害公共安全等犯罪行为及时发出警告,而且需要工作人员时刻监视着监控画面。由于监控点比较多,且很难做到监控画面的全显示,工作人员会对如此多的监控画面感到心有余而力不足。通过研究发现,如果一个人连续观察2路或多路监控视频超过22分钟,那么他将会错过95%的监控场景,很难发现异常情况,但是这些错过的监控信息有可能就是非常重要的信息,也可能就在这段时间出现很多危害社会公共安全的犯罪活动。一旦出现犯罪活动或者恐怖袭击,工作人员只能通过手工的方式查询和查看每一个记录的监控视频,以便发现事件发生的时间、地点和人物等信息。此时,已经因为犯罪活动或恐怖袭击造成了无法挽回的损失。故以CCTV为主的视频监控系统并不能满足人们对安全防范的需求,监控效果也并没有人们期待的那么好。
基于计算机视觉的遗留物检测技术是物体状态分析的高级处理环节,是智能视频监控的重要组成部分,也是目前计算机领域中具有挑战性的前沿科研方向之一。在安全视频监控系统中,对遗留物体的检测在很多领域有广泛的应用,比如:用于解决实时监控地铁、车站、商场和大型广场等公共场合丢失的行李,停泊的车辆的问题。
遗留物体和被取走物体的检测是许多视频监控系统的共同任务,已经成为智能视频监控系统中一个重要组成部分。例如非法停车的检测和在公共场所无人看管的行李的检测。遗留物检测是指通过监控设备监视区域内是否出现遗留物(比 如行李、包裹、碎片等)或者其他被故意遗留在监控区域内的物体(比如危险爆炸物),如果出现了上述可疑物体,遗留物检测系统能及时发出警报,并且在视频中自动标出遗留物所在的位置。例如:当一个违反预定义规则的物体在敏感区域(如地铁、火车站、机场等监控区域)内滞留了过长的时间(该时间根据不同的应用场景预先设定),或者超过了预先规定的时间值时就会发出警报。遗留物体检测已经成为智能视频监控系统中最重要任务之一。08年7月,在我国昆明的某辆公交车上发生的爆炸案是由遗留在公交车上的爆炸物体引起的。据相关部门统计,“基地”组织等极端武装分子在伊拉克针对伊拉克平民、伊拉克官员以及美军的各式爆炸和袭击已经导致超过4200名美军士兵和大约60 多万伊拉克平民死亡,这些伤亡也主要是由事先放置的自制爆炸物造成的。
然而,目前业内的遗留物检测技术存在以下问题:
(1)容易因监控区域内物体被移走而出现“鬼影”现象或因对光照变化不敏感而出现“光影”现象,导致误报现象的发生,检测确性较低;
(2)无法减少因监控区域出现行人而引起的误报现象,准确性较低。
发明内容
为了解决上述技术问题,本发明的目的是:提供一种能有效减少鬼影、光影和行人引起的误报现象的,准确和快速的遗留物检测方法。
本发明的另一目的是:提供一种能有效减少鬼影、光影和行人引起的误报现象的,准确和快速的遗留物检测系统。
本发明解决其技术问题所采用的技术方案是:
一种快速的遗留物检测方法,包括:
A、读取视频帧,并根据读取的视频帧进行前景检测,得到前景目标;
B、对前景目标进行连通域处理,得到前景目标的大小和位置;
C、对连通域处理后的前景目标采用基于分散度过滤和加权滑动平均系数过滤的过滤结构进行静止目标跟踪,得到候选静止目标;
D、对候选静止目标采用基于相似度过滤、NCC过滤和角点个数过滤的串联过滤结构进行静止目标分类,得到遗留物;
E、根据得到的遗留物进行报警。
进一步,所述步骤B,其包括:
B1、对前景目标进行中值滤波和形态学处理;
B2、对形态学处理后的前景目标进行连通域处理,获取Blob目标块的大小和位置。
进一步,所述步骤C,其包括:
C1、对连通域处理后的前景目标进行分散度过滤;
C2、对分散度过滤后的前景目标进行静止目标跟踪,筛选出初步的候选静止目标;
C3、对初步的候选静止目标进行加权滑动平均系数过滤,得到候选静止目标。
进一步,所述步骤C1,其具体为:
计算每个Blob目标块的分散度,并将分散度大于设定的最大分散度阈值和小于设定的最小分散度阈值的blob目标块去除;其中,Blob目标块的分散度等于Blob目标块周长的平方除以Blob目标块的面积。
进一步,所述步骤C2,其包括:
C21、获取blob目标块的面积,计算blob目标块面积和跟踪矩形框面积比值,然后将比值小于0.75的blob目标块去除;
C22、为静止目标的跟踪建立目标跟踪器,并设定目标跟踪器与Blob目标块的匹配条件,所述目标跟踪器包括匹配计数器和丢失计数器,所述匹配计数器用于记录目标跟踪器与Blob目标块匹配上的次数,所述丢失计数器用于记录目标跟踪器没有与Blob目标块匹配上的次数,所述目标跟踪器与Blob目标块的匹配条件包括目标面积比例和中心变化比例;
C23、根据设定的匹配条件,将当前跟踪器与每个Blob目标块进行目标匹配,若匹配成功,则令匹配计数器加一;若匹配不成功,则进入下一个目标跟踪器;若所有正在使用的跟踪器都不能匹配成功,则认为该静止目标是一个新目标,此时建立一个新的跟踪器,然后将Blob目标块的数据保存入新的跟踪器中;
C24、扫描所有跟踪器,将依旧正在使用的跟踪器的匹配计数器加一,并为匹配成功的跟踪器保留下跟踪矩形框对应位置上的灰度均值,而为没有匹配成功的跟踪器的丢失计数器加1;
C25、判断是丢失计数器的值还是匹配计数器的值大于设定的次数阈值,若是丢失计数器的值大于设定的次数阈值,则认为目标丢失,此时将当前跟踪器去除;若匹配计数器的值大于设定的次数阈值,则当前跟踪器是初步的候选静止目标。
进一步,所述步骤C3,其包括:
C31、计算初步的候选静止目标所保留灰度均值向量的均值;
C32、将计算出的均值减去灰度均值向量中的每个元素,得到均值差向量;
C33、对均值差向量进行1*3元素加权均值滤波,所述加权均值滤波的权值等于均值差向量的标号除以均值差向量的元素个数;
C34、对加权均值滤波的结果向量求均值得到初步的候选静止目标的指数滑动平均值,并过滤掉指数滑动平均值大于设定平均阈值的Blob目标块,得到候选静止目标。
进一步,所述步骤D,其包括:
D1、对候选静止目标进行相似度过滤;
D2、对相似度过滤后的候选静止目标进行NCC过滤;
D3、对NCC过滤后的候选静止目标进行角点个数过滤,得到遗留物。
进一步,所述步骤D2,其具体为:
计算相似度过滤后的候选静止目标对应位置的前景和背景的NCC系数,然后过滤掉NCC系数大于设定NCC阈值的Blob目标块。
进一步,所述步骤D3,其包括:
计算NCC过滤后的候选静止目标中每个Blob目标块的角点个数,然后过滤掉角点个数大于最大角点数阈值和小于最小角点数阈值的Blob目标块,并以留下的Blob目标块作为遗留物。
本发明解决其技术问题所采用的另一技术方案是:
一种快速的遗留物检测系统,包括:
前景检测模块,用于读取视频帧,并根据读取的视频帧进行前景检测,得到前景目标;
连通域处理模块,用于对前景目标进行连通域处理,得到前景目标的大小和位置;
静止目标跟踪模块,用于对连通域处理后的前景目标采用基于分散度过滤和加权滑动平均系数过滤的过滤结构进行静止目标跟踪,得到候选静止目标;
静止目标分类模块,用于对候选静止目标采用基于相似度过滤、NCC过滤和角点个数过滤的串联过滤结构进行静止目标分类,得到遗留物;
报警模块,用于根据得到的遗留物进行报警;
所述前景检测模块的输出端依次通过连通域处理模块、连通域处理模块、静止目标跟踪模块和静止目标分类模块进而与报警模块的输入端连接。
本发明的方法的有益效果是:采用了基于分散度过滤和加权滑动平均系数过滤的过滤结构进行静止目标跟踪,并采用了基于相似度过滤、NCC过滤和角点个数过滤的串联过滤结构进行静止目标分类,相似度过滤、NCC过滤和角点个数过能有效减少光影和鬼影引起的误报现象,准确性高;分散度过滤、加权滑动平均系数过滤、NCC过滤和角点个数过滤能有效减少行人引起的误报现象,进一步提供了检测的准确性。进一步,包括对前景目标进行中值滤波和形态学处理的步骤,使获取的前景目标更清晰。
本发明的系统的有益效果是:静止目标跟踪模块采用了基于分散度过滤和加权滑动平均系数过滤的过滤结构进行静止目标跟踪,静止目标分类模块则采用了基于相似度过滤、NCC过滤和角点个数过滤的串联过滤结构进行静止目标分类,相似度过滤、NCC过滤和角点个数过能有效减少光影和鬼影引起的误报现象,准确性高;分散度过滤、加权滑动平均系数过滤、NCC过滤和角点个数过滤能有效减少行人引起的误报现象,进一步提供了检测的准确性。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1为本发明一种快速的遗留物检测方法的整体流程图;
图2为本发明步骤B的流程图;
图3为本发明步骤C的流程图;
图4为本发明步骤C2的流程图;
图5为本发明步骤C3的流程图;
图6为本发明步骤D的流程图;
图7为本发明一种快速的遗留物检测系统的整体结构框图;
图8为本发明实施例一遗留物检测算法的整体流程图;
图9为本发明实施例一遗留物判别阶段的整体流程图;
图10为本发明实施例一静止目标分类中串联结构的示意图。
具体实施方式
参照图1,一种快速的遗留物检测方法,包括:
A、读取视频帧,并根据读取的视频帧进行前景检测,得到前景目标;
B、对前景目标进行连通域处理,得到前景目标的大小和位置;
C、对连通域处理后的前景目标采用基于分散度过滤和加权滑动平均系数过滤的过滤结构进行静止目标跟踪,得到候选静止目标;
D、对候选静止目标采用基于相似度过滤、NCC过滤和角点个数过滤的串联过滤结构进行静止目标分类,得到遗留物;
E、根据得到的遗留物进行报警。
参照图2,进一步作为优选的实施方式,所述步骤B,其包括:
B1、对前景目标进行中值滤波和形态学处理;
B2、对形态学处理后的前景目标进行连通域处理,获取Blob目标块的大小和位置。
参照图3,进一步作为优选的实施方式,所述步骤C,其包括:
C1、对连通域处理后的前景目标进行分散度过滤;
C2、对分散度过滤后的前景目标进行静止目标跟踪,筛选出初步的候选静止目标;
C3、对初步的候选静止目标进行加权滑动平均系数过滤,得到候选静止目标。
进一步作为优选的实施方式,所述步骤C1,其具体为:
计算每个Blob目标块的分散度,并将分散度大于设定的最大分散度阈值和小于设定的最小分散度阈值的blob目标块去除;其中,Blob目标块的分散度等于Blob目标块周长的平方除以Blob目标块的面积。
参照图4,进一步作为优选的实施方式,所述步骤C2,其包括:
C21、获取blob目标块的面积,计算blob目标块面积和跟踪矩形框面积比值,然后将比值小于0.75的blob目标块去除;
C22、为静止目标的跟踪建立目标跟踪器,并设定目标跟踪器与Blob目标块的匹配条件,所述目标跟踪器包括匹配计数器和丢失计数器,所述匹配计数器用于记录目标跟踪器与Blob目标块匹配上的次数,所述丢失计数器用于记录目标跟踪器没有与Blob目标块匹配上的次数,所述目标跟踪器与Blob目标块的匹配条件包括目标面积比例和中心变化比例;
C23、根据设定的匹配条件,将当前跟踪器与每个Blob目标块进行目标匹配,若匹配成功,则令匹配计数器加一;若匹配不成功,则进入下一个目标跟踪器;若所有正在使用的跟踪器都不能匹配成功,则认为该静止目标是一个新目标,此时建立一个新的跟踪器,然后将Blob目标块的数据保存入新的跟踪器中;
C24、扫描所有跟踪器,将依旧正在使用的跟踪器的匹配计数器加一,并为匹配成功的跟踪器保留下跟踪矩形框对应位置上的灰度均值,而为没有匹配成功的跟踪器的丢失计数器加1;
C25、判断是丢失计数器的值还是匹配计数器的值大于设定的次数阈值,若是丢失计数器的值大于设定的次数阈值,则认为目标丢失,此时将当前跟踪器去除;若匹配计数器的值大于设定的次数阈值,则当前跟踪器是初步的候选静止目标。
参照图5,进一步作为优选的实施方式,所述步骤C3,其包括:
C31、计算初步的候选静止目标所保留灰度均值向量的均值;
C32、将计算出的均值减去灰度均值向量中的每个元素,得到均值差向量;
C33、对均值差向量进行1*3元素加权均值滤波,所述加权均值滤波的权值等于均值差向量的标号除以均值差向量的元素个数;
C34、对加权均值滤波的结果向量求均值得到初步的候选静止目标的指数滑动平均值,并过滤掉指数滑动平均值大于设定平均阈值的Blob目标块,得到候选静止目标。
参照图6,进一步作为优选的实施方式,所述步骤D,其包括:
D1、对候选静止目标进行相似度过滤;
D2、对相似度过滤后的候选静止目标进行NCC过滤;
D3、对NCC过滤后的候选静止目标进行角点个数过滤,得到遗留物。
进一步作为优选的实施方式,所述步骤D2,其具体为:
计算相似度过滤后的候选静止目标对应位置的前景和背景的NCC系数,然后过滤掉NCC系数大于设定NCC阈值的Blob目标块。
进一步作为优选的实施方式,所述步骤D3,其包括:
计算NCC过滤后的候选静止目标中每个Blob目标块的角点个数,然后过滤掉角点个数大于最大角点数阈值和小于最小角点数阈值的Blob目标块,并以留下的Blob目标块作为遗留物。
参照图7,一种快速的遗留物检测系统,包括:
前景检测模块,用于读取视频帧,并根据读取的视频帧进行前景检测,得到前景目标;
连通域处理模块,用于对前景目标进行连通域处理,得到前景目标的大小和位置;
静止目标跟踪模块,用于对连通域处理后的前景目标采用基于分散度过滤和加权滑动平均系数过滤的过滤结构进行静止目标跟踪,得到候选静止目标;
静止目标分类模块,用于对候选静止目标采用基于相似度过滤、NCC过滤和角点个数过滤的串联过滤结构进行静止目标分类,得到遗留物;
报警模块,用于根据得到的遗留物进行报警;
所述前景检测模块的输出端依次通过连通域处理模块、连通域处理模块、静止目标跟踪模块和静止目标分类模块进而与报警模块的输入端连接。
下面结合说明书附图和具体实施例对本发明作进一步详细说明。
实施例一
本实施例对本发明所涉及到的相关理论及本发明的实现过程进行说明。
(一)基于跟踪的遗留物体检测算法
基于跟踪的遗留物体检测方法指的是先对所有进入监控场景的运动物体进行跟踪并记录下相关信息,利用运动物体的运动方向、速度、轨迹等信息,通过特定的遗留物检测算法完成遗留物体检测任务。基于特征的跟踪、基于运动特性的跟踪、基于区域的跟踪和基于轮廓的跟踪等是比较常用的目标跟踪方法。然而传统基于跟踪的遗留物检测算法存在着明显的缺点:当监控场景非常拥挤时,基于跟踪的遗留物检测算法将会失效。
(二)本发明的实现过程
本发明所采用的遗留物检测算法属于基于跟踪的留物检测方法。而本发明对遗留物检测都建立在对静止物跟踪和判断的基础上,所以本发明有一个重要的前提——静止物检测。
若某个物体一直静止在监控场景中,但是从某个时刻开始该物体被移走,这样的物体被称为移除物。由移走物体在场景中出现的残留影像现象称为“鬼影”现象。光影是当物体进入场景内,由于光线反射或者折射照成影子投射在场景中形成不规则形状块。
无论是移除物检测还是遗留物检测都需要预先设定的区域内进行,这个区域称为防区。相应地,遗留物的定义如下:若某个物体在之前的防区中不存在,但是在后续视频中出现在防区中且独立静止超过了设定时间阈值,这样的物体被称为遗留物。
如图8所示,本发明所采用的遗留物检测算法分为两个阶段:第一个阶段是背景维护阶段,即是把前景和背景分割开,也称为运动目标检测,在这个阶段会把“鬼影”与真正的前景物体区分开;第二个阶段是遗留物判别阶段,即把从第一阶段中检测到的前景物体分类,分为静止前景和运动前景,然后进行遗留物和部分静止物体(即移除物)的区分,得到遗留物前景,并将其列为遗留物目标。第二阶段又包括两个子阶段:1.静止目标跟踪子阶段,2.静止目标分类子阶段。第二个阶段的详细流程图如图9所示。
下面对本发明的主要实现过程进行介绍。
(一)前景检测
本发明采用基于像素的自适应前景分割方法来检测视频中出现的运动或者静止的目标。为了取得清晰的前景目标,还需要对结果图像进行中值滤波和形态学处理。
在图像处理领域中,形态学处理主要包括四种运算:膨胀、腐蚀、开操作以及闭操作。腐蚀通常用来消除二值化图像中一些不必要的小区域和孤立点;膨胀是腐蚀的逆运算,其作用是填补孔洞、连接小的间隙。开操作是一个先腐蚀再膨胀的过程;闭操作是先膨胀后腐蚀的一个过程。本发明选择3*3的方形结构元素对二值图像进行开运算处理。
(二)连通域处理
本发明连通域处理的目的是获取前景目标的大小和位置。
形态学处理完成以后,图像中大部分的孤立噪声点会被消除,比较小的间隙也会被连接,小的孔洞也被填充上,但是仍然可能会有较大的孔洞存在于目标的内部。观察大量的二值图像可知,一般情况下,目标位置上的点比较密集,基本上可以连成大片区域。依据上述特征,本发明采用连通性检测和尺度滤波法,计算每个连通区域的面积,并对那些面积小于阈值的区域当成噪声抛弃。这样就可以在一定程度上保证检测出来目标的完整性和准确度,还能去除部分噪声。
本发明对前景目标像素通过连通域处理后得到的目标块简称为Blob。
(三)静止目标跟踪
本发明为静止目标的跟踪建立一个目标跟踪器,目标跟踪器包含匹配计数器和丢失计数器。匹配计数器用于记录跟踪器和当前Blob匹配上的次数(跟踪器和当前Blob匹配代表当前目标被跟踪上)。丢失计数器用于记录跟踪器没有和当前Blob匹配上的次数(跟踪器和当前Blob不匹配代表当前目标没有被跟踪上)。
本发明静止目标跟踪过程对获取的每帧Blob进行跟踪,判断是否为静止目标。同时本发明在静止目标跟踪过程中也对Blob进行一定的过滤,如大小和分散度过滤等。
(四)静止目标分类
静止目标分类是为了对候选的静止目标进行分类判断,以去除干扰物体(如光影或者行人等)。本发明分类判断的三个过滤条件分别:相似度,NCC和角点个数。这三个过滤条件组成串联结构,结构图如图10所示。
1、相似度计算
相似度计算用于计算参考背景和当前帧的对应位置上的box(检测矩形框)的灰度值的相似程度,它可以过滤掉光影变化造成的误报。
2、NCC是normal cross-correlation,用于计算前景和背景对应位置box归一化后的相关系数,它可以过滤鬼影和行人造成的误报。
3、角点计算
角点过滤的具体过程为:在Blob像素块位置进行角点检测,计算Harris角点个数,然后将角点个数大于最大阈值和小于最小阈值的Blob去除(根据先验知识,角点个数过小的Blob一般是影子,角点个数过大的Blob一般是行人)。
实施例二
参照图1-10,本发明的第二实施例:
本发明一种快速的遗留物检测方法的具体实现过程包括如下步骤:
步骤一:读取视频帧。
步骤二:进行前景检测,获取前景目标。
步骤三:进行中值滤波和形态学处理。
步骤四:进行连通域处理,获取blob大小和位置。
步骤五:对每个Blob计算其分散度,并将分散度大于最大阈值和小于最小阈值的blob去除;其中,分散度=blob周长的平方/blob面积,此步骤对应图9中的目标分散度过滤过程;
步骤六:获取blob的面积,计算blob面积和跟踪矩形框面积比值,将比值小于0.75的blob去除。
步骤七:根据匹配条件将跟踪器与每个Blob进行匹配,匹配成功则令跟踪器的匹配计数器加一;不成功则进入下一个跟踪器;如果所有正在使用的跟踪器都不成功,则认为其是一个新目标,此时建立一个新的跟踪器,将Blob数据保存入新的跟踪器中。其中,匹配条件包括目标面积比例和中心变化比例。
步骤八:扫描整个跟踪器,将依旧正在使用的跟踪器的匹配计数器加一,对与目标匹配的跟踪器则要保留下其跟踪矩形框对应位置上的灰度均值,而对没有匹配成功的跟踪器则令丢失计数器加1。
步骤九:如果丢失计数器大于某个阈值,则认为目标丢失,此时将当前跟踪器去除。
步骤十:如果匹配计数器大于某个阈值,则当前跟踪器是候选静止目标,此时需计算保留每帧灰度均值的指数滑动平均(Exponential Running Average——ERA),此步骤对应图9中静止目标ERA过滤过程,具体实现步骤如下:
a.计算当前目标保留灰度均值向量的均值;
b.向量均值减去灰度均值向量的每个元素,得到均值差向量;
c.对均值差向量进行1*3元素加权均值滤波,加权均值滤波权值为向量标号/向量元素个数;
d.对滤波结果向量求均值得到ERA值,并过滤掉大于设定平均阈值的Blob ERA。
其中,1*3元素加权均值滤波是指,对向量利用1*3大小的模板依次提取连续的三个元素求取加权均值,然后用均值替换三个元素中间位置的元素值,每次模板向后滑动一个元素位置,直到向量结束。例如现有向量[1,2,3,4,5],1*3模板提取到像素值为{1,2,3},假设权值都为2,则加权平均值为(2*1+2*2+2*3)/3=4,此时用加权平均值4替换模板中心位置的值,即向量第二个位置的值,则结果变为[1,4,3,4,5],以此类推直到结束。
步骤十一:计算静止物对应位置的前景和背景的相似度,过滤相似度较大的Blob,此步骤对应图9中的静止目标相似度过滤过程;
步骤十二:计算静止物对应位置的前景和背景的NCC系数,过滤NCC较大的Blob,此步骤对应图9中的静止目标NCC过滤过程;
步骤十三:计算Blob的角点个数,过滤角点个数大的Blob,此步骤对应图9中的静止目标角点个数过滤过程;
步骤十四:以留下的Blob为遗留物或者移除物,发出警报。
与现有技术相比,本发明具有以下优点:
(1)采用了基于分散度过滤和加权滑动平均系数过滤的过滤结构进行静止目标跟踪,并采用了基于相似度过滤、NCC过滤和角点个数过滤的串联过滤结构进行静止目标分类,相似度过滤、NCC过滤和角点个数过能有效减少光影和鬼影引起的误报现象,准确性高;分散度过滤、加权滑动平均系数过滤、NCC过滤和角点个数过滤能有效减少行人引起的误报现象,进一步提供了检测的准确性。
(2)包括对前景目标进行中值滤波和形态学处理的步骤,使获取的前景目标更清晰。
以上是对本发明的较佳实施进行了具体说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种快速的遗留物检测方法,其特征在于:包括:
A、读取视频帧,并根据读取的视频帧进行前景检测,得到前景目标;
B、对前景目标进行连通域处理,得到前景目标的大小和位置;
C、对连通域处理后的前景目标采用基于分散度过滤和加权滑动平均系数过滤的过滤结构进行静止目标跟踪,得到候选静止目标;
D、对候选静止目标采用基于相似度过滤、NCC过滤和角点个数过滤的串联过滤结构进行静止目标分类,得到遗留物;
E、根据得到的遗留物进行报警。
2.根据权利要求1所述的一种快速的遗留物检测方法,其特征在于:所述步骤B,其包括:
B1、对前景目标进行中值滤波和形态学处理;
B2、对形态学处理后的前景目标进行连通域处理,获取Blob目标块的大小和位置。
3.根据权利要求2所述的一种快速的遗留物检测方法,其特征在于:所述步骤C,其包括:
C1、对连通域处理后的前景目标进行分散度过滤;
C2、对分散度过滤后的前景目标进行静止目标跟踪,筛选出初步的候选静止目标;
C3、对初步的候选静止目标进行加权滑动平均系数过滤,得到候选静止目标。
4.根据权利要求3所述的一种快速的遗留物检测方法,其特征在于:所述步骤C1,其具体为:
计算每个Blob目标块的分散度,并将分散度大于设定的最大分散度阈值和小于设定的最小分散度阈值的blob目标块去除;其中,Blob目标块的分散度等于Blob目标块周长的平方除以Blob目标块的面积。
5.根据权利要求4所述的一种快速的遗留物检测方法,其特征在于:所述步骤C2,其包括:
C21、获取blob目标块的面积,计算blob目标块面积和跟踪矩形框面积比值,然后将比值小于0.75的blob目标块去除;
C22、为静止目标的跟踪建立目标跟踪器,并设定目标跟踪器与Blob目标块的匹配条件,所述目标跟踪器包括匹配计数器和丢失计数器,所述匹配计数器用于记录目标跟踪器与Blob目标块匹配上的次数,所述丢失计数器用于记录目标跟踪器没有与Blob目标块匹配上的次数,所述目标跟踪器与Blob目标块的匹配条件包括目标面积比例和中心变化比例;
C23、根据设定的匹配条件,将当前跟踪器与每个Blob目标块进行目标匹配,若匹配成功,则令匹配计数器加一;若匹配不成功,则进入下一个目标跟踪器;若所有正在使用的跟踪器都不能匹配成功,则认为该静止目标是一个新目标,此时建立一个新的跟踪器,然后将Blob目标块的数据保存入新的跟踪器中;
C24、扫描所有跟踪器,将依旧正在使用的跟踪器的匹配计数器加一,并为匹配成功的跟踪器保留下跟踪矩形框对应位置上的灰度均值,而为没有匹配成功的跟踪器的丢失计数器加1;
C25、判断是丢失计数器的值还是匹配计数器的值大于设定的次数阈值,若是丢失计数器的值大于设定的次数阈值,则认为目标丢失,此时将当前跟踪器去除;若匹配计数器的值大于设定的次数阈值,则当前跟踪器是初步的候选静止目标。
6.根据权利要求5所述的一种快速的遗留物检测方法,其特征在于:所述步骤C3,其包括:
C31、计算初步的候选静止目标所保留灰度均值向量的均值;
C32、将计算出的均值减去灰度均值向量中的每个元素,得到均值差向量;
C33、对均值差向量进行1*3元素加权均值滤波,所述加权均值滤波的权值等于均值差向量的标号除以均值差向量的元素个数;
C34、对加权均值滤波的结果向量求均值得到初步的候选静止目标的指数滑动平均值,并过滤掉指数滑动平均值大于设定平均阈值的Blob目标块,得到候选静止目标。
7.根据权利要求2所述的一种快速的遗留物检测方法,其特征在于:所述步骤D,其包括:
D1、对候选静止目标进行相似度过滤;
D2、对相似度过滤后的候选静止目标进行NCC过滤;
D3、对NCC过滤后的候选静止目标进行角点个数过滤,得到遗留物。
8.根据权利要求7所述的一种快速的遗留物检测方法,其特征在于:所述步骤D2,其具体为:
计算相似度过滤后的候选静止目标对应位置的前景和背景的NCC系数,然后过滤掉NCC系数大于设定NCC阈值的Blob目标块。
9.根据权利要求7所述的一种快速的遗留物检测方法,其特征在于:所述步骤D3,其包括:
计算NCC过滤后的候选静止目标中每个Blob目标块的角点个数,然后过滤掉角点个数大于最大角点数阈值和小于最小角点数阈值的Blob目标块,并以留下的Blob目标块作为遗留物。
10.一种快速的遗留物检测系统,其特征在于:包括:
前景检测模块,用于读取视频帧,并根据读取的视频帧进行前景检测,得到前景目标;
连通域处理模块,用于对前景目标进行连通域处理,得到前景目标的大小和位置;
静止目标跟踪模块,用于对连通域处理后的前景目标采用基于分散度过滤和加权滑动平均系数过滤的过滤结构进行静止目标跟踪,得到候选静止目标;
静止目标分类模块,用于对候选静止目标采用基于相似度过滤、NCC过滤和角点个数过滤的串联过滤结构进行静止目标分类,得到遗留物;
报警模块,用于根据得到的遗留物进行报警;
所述前景检测模块的输出端依次通过连通域处理模块、连通域处理模块、静止目标跟踪模块和静止目标分类模块进而与报警模块的输入端连接。
CN201510268000.4A 2015-05-22 2015-05-22 一种快速的遗留物检测方法及系统 Active CN104881643B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510268000.4A CN104881643B (zh) 2015-05-22 2015-05-22 一种快速的遗留物检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510268000.4A CN104881643B (zh) 2015-05-22 2015-05-22 一种快速的遗留物检测方法及系统

Publications (2)

Publication Number Publication Date
CN104881643A true CN104881643A (zh) 2015-09-02
CN104881643B CN104881643B (zh) 2018-06-12

Family

ID=53949131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510268000.4A Active CN104881643B (zh) 2015-05-22 2015-05-22 一种快速的遗留物检测方法及系统

Country Status (1)

Country Link
CN (1) CN104881643B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740814A (zh) * 2016-01-29 2016-07-06 重庆扬讯软件技术有限公司 一种使用视频分析确定固废危废存放状态的方法
CN106560836A (zh) * 2015-10-02 2017-04-12 Lg电子株式会社 在车辆中提供防物品遗失服务的设备、方法和移动终端
CN107918762A (zh) * 2017-10-24 2018-04-17 江西省高速公路投资集团有限责任公司 一种公路遗撒物快速检测系统及方法
CN108241837A (zh) * 2016-12-23 2018-07-03 亿阳信通股份有限公司 一种遗留物检测方法和装置
CN108476304A (zh) * 2016-01-25 2018-08-31 松下知识产权经营株式会社 丢弃物体监视装置和具备该丢弃物体监视装置的丢弃物体监视系统以及丢弃物体监视方法
CN111709404A (zh) * 2020-08-05 2020-09-25 广东电网有限责任公司 一种机房遗留物识别方法、系统以及设备
CN111832470A (zh) * 2020-07-15 2020-10-27 中兴飞流信息科技有限公司 一种融合多种模型的遗留物检测方法
US11250269B2 (en) 2019-04-18 2022-02-15 Fujitsu Limited Recognition method and apparatus for false detection of an abandoned object and image processing device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010084902A1 (ja) * 2009-01-22 2010-07-29 株式会社日立国際電気 侵入警報ビデオ処理装置
CN102314695A (zh) * 2011-08-23 2012-01-11 北京黄金视讯科技有限公司 一种基于计算机视觉的遗留物检测方法
CN102722700A (zh) * 2012-05-17 2012-10-10 浙江工商大学 视频监控中遗留物品检测的方法和系统
CN104156942A (zh) * 2014-07-02 2014-11-19 华南理工大学 一种用于复杂环境遗留物的检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010084902A1 (ja) * 2009-01-22 2010-07-29 株式会社日立国際電気 侵入警報ビデオ処理装置
CN102314695A (zh) * 2011-08-23 2012-01-11 北京黄金视讯科技有限公司 一种基于计算机视觉的遗留物检测方法
CN102722700A (zh) * 2012-05-17 2012-10-10 浙江工商大学 视频监控中遗留物品检测的方法和系统
CN104156942A (zh) * 2014-07-02 2014-11-19 华南理工大学 一种用于复杂环境遗留物的检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张具琴,王海洋,胡振: "智能视频监控中的遗留物检测技术", 《计算机与现代化》 *
范俊君,战荫伟: "一种基于双背景模型的遗留物检测方法", 《计算机系统应用》 *
范俊君: "智能视频分析技术在银行业务中的研究与应用", 《中国优秀学位论文全文数据库 信息科技辑》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106560836A (zh) * 2015-10-02 2017-04-12 Lg电子株式会社 在车辆中提供防物品遗失服务的设备、方法和移动终端
CN106560836B (zh) * 2015-10-02 2022-04-05 Lg电子株式会社 在车辆中提供防物品遗失服务的设备、方法和移动终端
CN108476304B (zh) * 2016-01-25 2020-08-11 松下知识产权经营株式会社 丢弃物体监视装置和具备该丢弃物体监视装置的丢弃物体监视系统以及丢弃物体监视方法
CN108476304A (zh) * 2016-01-25 2018-08-31 松下知识产权经营株式会社 丢弃物体监视装置和具备该丢弃物体监视装置的丢弃物体监视系统以及丢弃物体监视方法
CN105740814A (zh) * 2016-01-29 2016-07-06 重庆扬讯软件技术有限公司 一种使用视频分析确定固废危废存放状态的方法
CN108241837B (zh) * 2016-12-23 2022-02-01 亿阳信通股份有限公司 一种遗留物检测方法和装置
CN108241837A (zh) * 2016-12-23 2018-07-03 亿阳信通股份有限公司 一种遗留物检测方法和装置
CN107918762B (zh) * 2017-10-24 2022-01-14 江西省高速公路投资集团有限责任公司 一种公路遗撒物快速检测系统及方法
CN107918762A (zh) * 2017-10-24 2018-04-17 江西省高速公路投资集团有限责任公司 一种公路遗撒物快速检测系统及方法
US11250269B2 (en) 2019-04-18 2022-02-15 Fujitsu Limited Recognition method and apparatus for false detection of an abandoned object and image processing device
CN111832470A (zh) * 2020-07-15 2020-10-27 中兴飞流信息科技有限公司 一种融合多种模型的遗留物检测方法
CN111832470B (zh) * 2020-07-15 2024-05-07 中兴飞流信息科技有限公司 一种融合多种模型的遗留物检测方法
CN111709404A (zh) * 2020-08-05 2020-09-25 广东电网有限责任公司 一种机房遗留物识别方法、系统以及设备
CN111709404B (zh) * 2020-08-05 2024-01-12 广东电网有限责任公司 一种机房遗留物识别方法、系统以及设备

Also Published As

Publication number Publication date
CN104881643B (zh) 2018-06-12

Similar Documents

Publication Publication Date Title
CN104881643A (zh) 一种快速的遗留物检测方法及系统
WO2018130016A1 (zh) 一种基于监控视频的停车检测方法及装置
Tian et al. Real-time detection of abandoned and removed objects in complex environments
Kamthe et al. Suspicious activity recognition in video surveillance system
Kulkarni et al. Real time vehicle detection, tracking and counting using Raspberry-Pi
CN110544271B (zh) 抛物动作检测方法及相关装置
Karpagavalli et al. Estimating the density of the people and counting the number of people in a crowd environment for human safety
Malhi et al. Vision based intelligent traffic management system
CN110677619A (zh) 一种智能监控视频处理方法
Cai et al. Intrusion detection and tracking at railway crossing
Li et al. Robust real-time detection of abandoned and removed objects
Dey et al. Moving object detection using genetic algorithm for traffic surveillance
Kumar et al. Smart City Traffic Management and Surveillance System for Indian Scenario
Gao et al. Automatic vehicle license plate recognition with color component texture detection and template matching
Hai-Feng et al. Vehicle abnormal behavior detection system based on video
Sridevi et al. Automatic generation of traffic signal based on traffic volume
CN111754477B (zh) 基于动态候选区多尺度图像的铁路周界异物入侵检测方法
Szwoch et al. Detection of vehicles stopping in restricted zones in video from surveillance cameras
Narwal et al. Real time system for unattended Baggag e detection
Mahin et al. A simple approach for abandoned object detection
Joshi et al. Suspicious object detection
Frías-Velázquez et al. A mathematical morphology-based approach for vehicle detection in road tunnels
Fadhel et al. Real-Time detection and tracking moving vehicles for video surveillance systems using FPGA
Filonenko et al. Detecting illegally parked vehicle based on cumulative dual foreground difference
Patil et al. Vehicle detection and traffic assessment using images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant