CN105447863B - 一种基于改进vibe的遗留物检测方法 - Google Patents

一种基于改进vibe的遗留物检测方法 Download PDF

Info

Publication number
CN105447863B
CN105447863B CN201510809525.4A CN201510809525A CN105447863B CN 105447863 B CN105447863 B CN 105447863B CN 201510809525 A CN201510809525 A CN 201510809525A CN 105447863 B CN105447863 B CN 105447863B
Authority
CN
China
Prior art keywords
mrow
pixel
msub
rectangle frame
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510809525.4A
Other languages
English (en)
Other versions
CN105447863A (zh
Inventor
赵晓光
孙世颖
陈宏凯
谭民
王天正
邹小峰
刘元华
郭宇智
李泽仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanxi Zhenzhong Electric Power Co ltd
Institute of Automation of Chinese Academy of Science
Electric Power Research Institute of State Grid Shanxi Electric Power Co Ltd
Original Assignee
Shanxi Zhenzhong Electric Power Co ltd
Institute of Automation of Chinese Academy of Science
Electric Power Research Institute of State Grid Shanxi Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanxi Zhenzhong Electric Power Co ltd, Institute of Automation of Chinese Academy of Science, Electric Power Research Institute of State Grid Shanxi Electric Power Co Ltd filed Critical Shanxi Zhenzhong Electric Power Co ltd
Priority to CN201510809525.4A priority Critical patent/CN105447863B/zh
Publication of CN105447863A publication Critical patent/CN105447863A/zh
Application granted granted Critical
Publication of CN105447863B publication Critical patent/CN105447863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进VIBE的遗留物检测方法,包括:利用VIBE算法对检测区域背景建模,根据所建立的背景模型,得到视频前景二值图;将得到的前景进行处理,消除前景中因为摄像机抖动产生的误检部分,同时保留正确的前景,从而得到准确的前景图像;改进VIBE算法的更新策略,利用准确的前景图像作为背景更新时的参考图像,从而保证检测出的前景目标不会很快融入背景;对目标停留时间进行计时,超过计时阈值将目标作为遗留物报警提醒;本发明所述遗留物检测方法可准确检测到遗留物,并且可以在一定范围的摄像机抖动情况下,保持较高的检测准确率;本发明所述方法可适用于单目标遗留物检测,也可适用于多目标遗留物检测。

Description

一种基于改进VIBE的遗留物检测方法
技术领域
本发明涉及视频监控领域一种遗留物检测方法,尤其涉及一种基于改进VIBE的遗留物检测方法。
背景技术
随着社会经济的发展,人们对安全防范的需求也越来越大,传统的视频监控系统只能用于事后证据呈现,为此出现了智能视频监控系统。智能视频监控系统能够实时在线检测,在时间发生瞬间给出报警信息。在机场、地铁等人多密集的场所,经常出现遗留物现象,因此,遗留物的检测是智能监控系统关注的主要问题之一。
目前的遗留物检测方法,主要直接利用混合高斯模型进行背景建模,这种方法需要较长时间进行背景模型的建立,处理过程耗时较长,无法实现实时检测,并且对于相机抖动比较敏感,当相机出现偏移时,容易导致大面积的前景出现,算法需要一定时间重新建立背景模型,而无法正确检测出遗留物。
发明内容
(一)要解决的技术问题
为了提高视频监控系统可遗留物识别的检测速度和在摄像机抖动情况下的检测精度,本发明的目的是提供一种快速、精确、能适应相机抖动的遗留物检测方法。
(二)技术方案
本发明提供一种基于改进VIBE的遗留物检测方法,其特征在于,包括以下步骤:
步骤1:数字摄像头采集监控区域视频图像;
步骤2:对于摄像头采集的第一帧图像,建立背景模型,对于第二帧开始以后的每一帧图像作为当前图像,循环执行步骤3~6;
步骤3:利用步骤2建立的背景模型,对当前图像中的每个像素点判断是否属于前景部分;
步骤4:对步骤2获得的前景部分进行抖动检测,检测由于抖动产生的抖动前景部分,将其从前景部分中去除;利用所述前景部分建立背景模型的更新掩膜;
步骤5:利用步骤4得到的更新掩膜对背景模型进行更新;
步骤6:对步骤5更新掩膜中的前景部分中的像素点进行计数,根据计数值进行遗留物的判定,如果计数值大于预定阈值,则判断所述前景部分为遗留物,否则将下一帧图像作为当前图像后转步骤3。
(三)有益效果
本发明中遗留物检测所采用的VIBE背景建模方法模型建立过程简单、速度快,前景检测精度较高。经过本发明改进的VIBE方法,对前景图像进行抖动检测,将抖动干扰剔除后的掩膜应用于背景更新,从而有效的防止了相机抖动或者偏移造成的遗留物误检。本发明的遗留物检测方法速度快、精度高,特别适用于系统资源有限,干扰较多的环境中。
附图说明
图1是本发明所述基于改进VIBE的遗留物检测方法的流程图;
图2是像素点跟样本匹配示意图;
图3是抖动检测方法流程图;
图4是矩形块搜索匹配示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明作进一步的详细说明。
下面结合附图对本发明作进一步说明:
如图1所示,本发明提出的所述基于改进VIBE(VisualBackground extractor)的遗留物检测方法包括以下步骤:
步骤1:数字摄像头采集监控区域视频图像;
步骤2:对于摄像头采集的第一帧图像,建立背景模型,对于第二帧开始以后的每一帧图像,循环执行步骤3~6;
步骤3:利用步骤2建立的背景模型,对图像每个像素点判断是否属于前景部分;
步骤4:对步骤3获得的前景部分进行抖动检测,检测由于抖动产生的前景部分,将其从前景中去除。之后根据去除抖动的前景部分建立更新掩膜,更新掩膜是一副同摄像头采集图像大小相同的二值图像。在更新掩膜中,对应前景的部分像素值为255,对应背景点的像素值为0;
步骤5:利用步骤4得到的更新掩膜对背景模型进行更新;
步骤6:对步骤5更新掩膜中的前景部分像素点利用计数方式进行遗留物的判定,如果判断为遗留物,则停止检测,否则转步骤3继续进行检测;
下面就本发明上述各个方法步骤进行详细介绍。
步骤1利用数字摄像头实时采集监控区域的图像,利用计算机对视频图像进行处理和显示;
步骤2中,建立背景模型的方法:利用图像中相近的像素点拥有相近的时空分布特性,仅根据第一帧图像来对背景模型进行初始化。具体方法是,对于一个像素点存储一个大小为N的样本集,随机选择它的邻居点的像素值作为它的模型样本集中的值,记v(x)为x点处的像素值,M(x)={v1,v2,...,vN}为x处背景样本集,样本集大小为N。
步骤3中,判断像素点是否属于前景部分的方法是:将每一帧新图像的像素值和背景模型对应位置像素点的样本集来比较判断是否属于背景点,如果一个新的像素值属于背景点,那么它应该和样本集中的采样值比较接近。记SR(v(x))为以x为中心R为半径的区域,如果x处样本集中像素值包含在x为中心R为半径的区域内的个数大于最小值,如公式(1)所示,则判断x属于背景点,否则x属于前景点,如图2所示,P1-P6为背景模型中某个像素点的样本集,Pt(x)是新图像中对应位置点的像素值,该图中,#{SR(v(x))∩{v1,v2,...,vN}}=2。
#{SR(v(x))∩{v1,v2,...,vN}}≥#min (1)
其中,#表示集合中元素的个数。
常规VIBE算法中,通常设置样本集大小N=20,阈值#min=2,半径R=20。而本发明中改进的VIBE算法中,实现参数动态化设置,为参数增加尺度因子,使样本集和半径大小随视频分辨率大小在一定范围内动态变化,如公式(2),其中α为尺度因子,α取值范围是(0,2),尺度因子与视频分辨率成近似正比关系,具体取值需实验确定。
步骤4中,对前景图像的抖动检测流程如图3所示,具体方法流程包括:
步骤4.1利用连通域分析方法,将前景部分进行分割,并获得各个连通域的最小外接矩形框,记录外接矩形框的左上顶点坐标以及宽、高,分别为Rx,Ry,Rw,Rh
步骤4.2求取每个矩形框的面积,剔除面积小于最小阈值或者大于最大阈值的矩形框,如公式(3)所示
Min<Rw×Rh<Max (3)
步骤4.3求取每个矩形框宽和高的比值,剔除比值大于第一预定比值阈值的矩形框,如公式(4)所示
其中,Rw,Rh分别为矩形框的宽和高,Thwh为第一预定比值阈值;
步骤4.4求取每个矩形框中前景像素数同矩形框面积的比值,剔除比值小于第二预定比值阈值的矩形框,如公式(5)所示
其中,NR表示该矩形框中前景像素点个数,Thdensity为第二预定比值阈值。
步骤4.5将矩形框基于原始位置向周围一定范围滑动,滑动范围大小为事先设定,经实验得到,滑动到每个位置都同该位置下背景模型进行匹配,当存在匹配时,剔除该矩形框,矩形窗口滑动时,由原始位置向外扩散,当发现匹配时停止扩散,若无匹配,扩散到阈值距离范围停止,模板匹配方法是判断矩形框内每个像素点与背景模板相应像素点是否满足公式(1),如果满足,则判断为该点匹配,当矩形框内像素点在当前位置下匹配的个数超过矩形框内像素点个数的97%,则判断为该矩形框匹配;如图4所示;
步骤4.6将剩余的矩形框内前景像素位置对应的更新模板中的像素点设置为255,更新掩膜中其余像素值为0,得到更新掩膜;
步骤5中,利用步骤4得到的更新掩膜对背景模型进行更新,只更新背景模型中,对应更新掩膜像素值为0的部分。具体的模型更新方法为:每一个背景点有一定的概率去更新自己的模型样本值。同时也有一定的概率去更新它的邻居点的模型样本值,更新概率需要实验得到。模型样本值的更新方法是在样本集中随机选取一个样本,用当前图像中对应像素值替换该样本。
步骤6中,利用步骤4得到的更新掩膜,进行遗留物判定,具体方法是,对更新掩膜中像素点被连续检测为前景点的次数进行计数,计数超过特定阈值,判定为遗留物,并进行报警提醒,如公式(7);
其中,Nstill为该像素点连续被判断为前景的次数,当Nstill>Threshold时判定物体为遗留物,其中Threshold为可调整的计时阈值。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于改进VIBE的遗留物检测方法,其特征在于,包括以下步骤:
步骤1:数字摄像头采集监控区域视频图像;
步骤2:对于摄像头采集的第一帧图像,建立背景模型,对于第二帧开始以后的每一帧图像作为当前图像,循环执行步骤3~6;
步骤3:利用步骤2建立的背景模型,对当前图像中的每个像素点判断是否属于前景部分;
步骤4:对步骤2获得的前景部分进行抖动检测,检测由于抖动产生的抖动前景部分,将其从前景部分中去除;利用所述前景部分建立背景模型的更新掩膜;
步骤5:利用步骤4得到的更新掩膜对背景模型进行更新;
步骤6:对步骤5更新掩膜中的前景部分中的像素点进行计数,根据计数值进行遗留物的判定,如果计数值大于预定阈值,则判断所述前景部分为遗留物,否则将下一帧图像作为当前图像后转步骤3,
其中,所述步骤4具体包括:
步骤4.1利用连通域分析方法,将前景部分进行分割,并获得各个连通域的最小外接矩形框,记录外接矩形框的左上顶点坐标以及宽、高,分别为Rx,Ry,Rw,Rh
步骤4.2求取每个矩形框的面积,剔除面积小于最小阈值或者大于最大阈值的矩形框;
步骤4.3求取每个矩形框宽和高的比值,剔除比值大于第一预定比值阈值的矩形框;
步骤4.4求取每个矩形框中前景像素点数同矩形框面积的比值,剔除比值小于第二预定比值阈值的矩形框;
步骤4.5将矩形框基于原始位置向周围设定范围内滑动,每滑动到一个位置后与该位置下的背景模型进行匹配,当存在匹配时,剔除该矩形框;
步骤4.6根据剩余的矩形框内前景像素点得到背景模型的更新掩膜。
2.根据权利要求1所述的基于改进VIBE的遗留物检测方法,其特征在于:
步骤2中背景模型如下建立:
对于第一帧图像中的每一个像素点建立一个大小为N的样本集,随机选择所述每一个像素点的邻居点的像素值作为其样本集中的样本值。
3.根据权利要求2所述的基于改进VIBE的遗留物检测方法,其特征在于:
所述步骤3中,利用改进的VIBE算法,获得初步的前景图像,具体包括:
将每一帧图像的各个像素点的像素值和背景模型对应位置处像素点的样本集来比较判断是否属于背景点,记SR(v(x))为以像素点x为中心R为半径的区域,如果像素点x对应样本集中的样本值包含在SR(v(x))内的个数大于预定最小值,则判断该像素点x属于背景点,否则该像素点x属于前景点;
其中,R和背景模型中每个像素点对应的样本集大小N相等,且通过下式计算:
<mrow> <mi>R</mi> <mo>=</mo> <mi>N</mi> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mn>15</mn> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> <mn>20</mn> <mo>&amp;times;</mo> <mi>a</mi> <mo>&lt;</mo> <mn>15</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>20</mn> <mo>&amp;times;</mo> <mi>a</mi> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> <mn>15</mn> <mo>&amp;le;</mo> <mn>20</mn> <mo>&amp;times;</mo> <mi>a</mi> <mo>&amp;le;</mo> <mn>25</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>25</mn> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> <mn>20</mn> <mo>&amp;times;</mo> <mi>a</mi> <mo>&gt;</mo> <mn>25</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
其中,α为预定尺度因子。
4.根据权利要求1所述的遗留物检测方法,其特征在于,步骤4.3中宽和高的比值如下计算:
<mrow> <mfrac> <mrow> <msub> <mi>R</mi> <mi>w</mi> </msub> <mo>+</mo> <msub> <mi>R</mi> <mi>h</mi> </msub> </mrow> <mrow> <mo>|</mo> <msub> <mi>R</mi> <mi>w</mi> </msub> <mo>-</mo> <msub> <mi>R</mi> <mi>h</mi> </msub> <mo>|</mo> </mrow> </mfrac> <mo>&gt;</mo> <msub> <mi>Th</mi> <mrow> <mi>w</mi> <mi>h</mi> </mrow> </msub> </mrow>
其中,Rw,Rh分别为矩形框的宽和高,Thwh为第一预定比值阈值;
步骤4.4中矩形框中前景像素点数同矩形框面积的比值如下计算:
<mrow> <mfrac> <msub> <mi>N</mi> <mi>R</mi> </msub> <mrow> <mo>|</mo> <msub> <mi>R</mi> <mi>w</mi> </msub> <mo>&amp;times;</mo> <msub> <mi>R</mi> <mi>h</mi> </msub> <mo>|</mo> </mrow> </mfrac> <mo>&gt;</mo> <msub> <mi>Th</mi> <mrow> <mi>d</mi> <mi>e</mi> <mi>n</mi> <mi>s</mi> <mi>i</mi> <mi>t</mi> <mi>y</mi> </mrow> </msub> </mrow>
其中,NR表示该矩形框中前景像素点个数,Thdensitv为第二预定比值阈值。
5.根据权利要求1所述的遗留物检测方法,其特征在于,步骤4.5中矩形框的滑动范围动态变化,由原始位置向外滑动,当发现匹配时停止滑动,若无匹配,则滑动到阈值范围后停止。
6.根据权利要求1所述的遗留物检测方法,其特征在于:所述步骤5中,利用步骤4得到的更新掩膜对背景模型进行更新,只更新背景模型中,对应更新掩膜矩形框之外的部分。
7.根据权利要求6所述的遗留物检测方法,其特征在于:所述步骤5中,利用更新掩膜更新背景模型的具体步骤包括:
对于背景模型中需要进行更新的像素点,将该像素点对应的样本集中随机选取的一个样本值更新为当前图像对应像素点的像素值。
8.根据权利要求1所述的遗留物检测方法,其特征在于,所述步骤6中,遗留物判定方法具体包括:
对更新掩膜中像素点被连续检测为前景点的次数进行计数,计数超过特定阈值,判定为遗留物,具体如下所示:
其中,Nstill为该像素点连续被判断为前景的次数,当Nstill大于预定阈值时判定物体为遗留物。
CN201510809525.4A 2015-11-19 2015-11-19 一种基于改进vibe的遗留物检测方法 Active CN105447863B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510809525.4A CN105447863B (zh) 2015-11-19 2015-11-19 一种基于改进vibe的遗留物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510809525.4A CN105447863B (zh) 2015-11-19 2015-11-19 一种基于改进vibe的遗留物检测方法

Publications (2)

Publication Number Publication Date
CN105447863A CN105447863A (zh) 2016-03-30
CN105447863B true CN105447863B (zh) 2018-01-23

Family

ID=55557996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510809525.4A Active CN105447863B (zh) 2015-11-19 2015-11-19 一种基于改进vibe的遗留物检测方法

Country Status (1)

Country Link
CN (1) CN105447863B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108012117A (zh) * 2017-11-30 2018-05-08 江西洪都航空工业集团有限责任公司 一种基于背景建模的城市摆摊设点检测方法
CN110782425A (zh) * 2018-07-13 2020-02-11 富士通株式会社 图像处理方法、图像处理装置和电子设备
CN110084129B (zh) * 2019-04-01 2022-11-29 昆明理工大学 一种基于机器视觉的河流漂浮物实时检测方法
CN111832470B (zh) * 2020-07-15 2024-05-07 中兴飞流信息科技有限公司 一种融合多种模型的遗留物检测方法
CN112652021B (zh) * 2020-12-30 2024-04-02 深圳云天励飞技术股份有限公司 相机偏移检测方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714325A (zh) * 2013-12-30 2014-04-09 中国科学院自动化研究所 基于嵌入式系统的遗留物和遗失物实时检测方法
CN103729858A (zh) * 2013-12-13 2014-04-16 广州中国科学院先进技术研究所 一种视频监控系统中遗留物品的检测方法
CN103729613A (zh) * 2012-10-12 2014-04-16 浙江大华技术股份有限公司 一种视频图像的检测方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103729613A (zh) * 2012-10-12 2014-04-16 浙江大华技术股份有限公司 一种视频图像的检测方法及装置
CN103729858A (zh) * 2013-12-13 2014-04-16 广州中国科学院先进技术研究所 一种视频监控系统中遗留物品的检测方法
CN103714325A (zh) * 2013-12-30 2014-04-09 中国科学院自动化研究所 基于嵌入式系统的遗留物和遗失物实时检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《一种基于改进ViBe的运动目标检测方法》;吴剑舞等;《计算机与现代化》;20150728(第7期);50-54 *

Also Published As

Publication number Publication date
CN105447863A (zh) 2016-03-30

Similar Documents

Publication Publication Date Title
CN105447863B (zh) 一种基于改进vibe的遗留物检测方法
CN104392468B (zh) 基于改进视觉背景提取的运动目标检测方法
CN107705288B (zh) 伪目标运动强干扰下的危险气体泄漏红外视频检测方法
CN103093215B (zh) 人眼定位方法及装置
CN106778737B (zh) 一种车牌矫正方法、装置和一种视频采集装置
CN103632158B (zh) 森林防火监控方法及森林防火监控系统
CN110232379A (zh) 一种车辆姿态检测方法及系统
CN106056968B (zh) 一种基于光学图像的车位检测方法
CN104978567B (zh) 基于场景分类的车辆检测方法
CN108898047A (zh) 基于分块遮挡感知的行人检测方法及系统
CN106886216A (zh) 基于rgbd人脸检测的机器人自动跟踪方法和系统
CN109896386B (zh) 一种基于计算机视觉技术的电梯门反复开关的检测方法及系统
CN106412573A (zh) 一种检测镜头污点的方法和装置
RU2009102124A (ru) Устройство обработки видеоинформации системы охранной сигнализации
CN102609724B (zh) 一种基于双摄像头的周围环境信息提示方法
CN109145708A (zh) 一种基于rgb和d信息融合的人流量统计方法
CN111723656B (zh) 一种基于YOLO v3与自优化的烟雾检测方法及装置
CN110889328A (zh) 检测道路交通状况的方法、装置、电子设备和存储介质
CN103514460B (zh) 视频监控多视角车辆检测方法和装置
CN112241700A (zh) 一种额头精准定位的多目标额温测量方法
CN106023199A (zh) 一种基于图像分析技术的烟气黑度智能检测方法
CN106951863A (zh) 一种基于随机森林的变电站设备红外图像变化检测方法
CN103942786A (zh) 无人机可见光和红外图像的自适应团块目标检测方法
CN105809092A (zh) 人群目标检测方法及其装置
CN105631410B (zh) 一种基于智能视频处理技术的课堂检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant