CN104299224B - 一种基于视频图像背景匹配的财物保护方法 - Google Patents

一种基于视频图像背景匹配的财物保护方法 Download PDF

Info

Publication number
CN104299224B
CN104299224B CN201410415313.3A CN201410415313A CN104299224B CN 104299224 B CN104299224 B CN 104299224B CN 201410415313 A CN201410415313 A CN 201410415313A CN 104299224 B CN104299224 B CN 104299224B
Authority
CN
China
Prior art keywords
area
background
mask
matching rate
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410415313.3A
Other languages
English (en)
Other versions
CN104299224A (zh
Inventor
李远清
何盛鸿
叶立仁
赵连超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201410415313.3A priority Critical patent/CN104299224B/zh
Publication of CN104299224A publication Critical patent/CN104299224A/zh
Application granted granted Critical
Publication of CN104299224B publication Critical patent/CN104299224B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视频图像背景匹配的财物保护方法，包含以下步骤：获取含有保护对象的视频帧；对初始视频帧图像初始化并分为前景区域、背景区域和参考区域，并分别提取背景区域、参考区域的特征向量Fbk、Fct；计算Fbk和Fct的匹配率阈值T*作为最后决策的参考阈值；当收到下一帧图像时，初始化后提取下一帧图像的前景区域的特征向量Ffg，计算Ffg和Fbk的匹配率λ；由匹配率λ与匹配率阈值T*，作出报警决策：当λ大于T*，则前景区域的特征跟背景区域的特征匹配，即保护对象已丢失；反之保护对象未遗失。本发明的方法，利用“前景‑背景”匹配的新思路，实现复杂环境中的财物的有效保护，能区分全部遮挡和遗失。

Description

一种基于视频图像背景匹配的财物保护方法
技术领域
本发明涉及图像视频处理领域，特别涉及一种基于视频图像背景匹配的财物保护方法。
背景技术
目前已经有利用传感器技术实现的商业财产保护技术和产品，但由于其布置较复杂、应用场合有限、成本较昂贵等原因没有在日常生活中大范围使用。
另一方面，监控摄像头是我们在我们日常生活中已经随处可见，而目前大部分监控摄像头的作用仅仅是人工监视或者保存数据供必要时查阅。这样一方面没有充分利用资源，另一方面要从庞大的视频数据中查阅相关信息要耗费大量的人力物力。
现有的一些利用视频图像实现财物保护的方法，都是基于“前景-前景”匹配的模式，即先在初始图像中检测所保护对象的特征并保存，在后面的每一帧图像中检测相同区域的特征并与初始特征比较，如果能匹配判定财物还在，如果匹配失败则判定财物失窃。这种模式的财物保护方法有以下不足：(1)当所保护对象特征不明显时，或者特征过于普通时无法取得满意的效果；(2)当环境中存在光线变化，或者所保护的物体会被遮挡时经常误报。
综上所述，需要一种新的财物保护方法来满足人们的需求。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种基于视频图像背景匹配的财物保护方法。
本发明的目的通过以下的技术方案实现：
一种基于视频图像背景匹配的财物保护方法，包含以下顺序的步骤：
S1.由安防摄像头获取含有保护对象的视频帧；
S2.对初始视频帧图像初始化后，将视频帧图像分为前景区域、背景区域和参考区域，并分别提取背景区域、参考区域的特征向量Fbk、Fct；
S3.计算Fbk和Fct的匹配率阈值T*作为最后决策的参考阈值；
S4.当收到下一帧图像时，初始化后提取下一帧图像的前景区域的特征向量Ffg，计算Ffg和Fbk的匹配率λ；
S5.由匹配率λ与匹配率阈值T*的大小关系，作出报警决策：当λ大于T*表明此时前景区域的特征跟背景区域的特征匹配，即保护对象已丢失；反之保护对象未遗失。
步骤S2中，所述的初始化为通过高斯函数对视频帧图像进行滤波处理。该处理能够减少噪声干扰，平滑图像。
步骤S2和步骤S4中，所述的特征向量Ffg、Fbk和Fct具体通过以下步骤得到：
(1)对视频帧图像，设置三个感兴趣区域ROI，分别为前景区域、背景区域和参考区域，其中前景区域即保护对象所处区域；
(2)由ROI生成操作掩码，分别记为FG_mask、BK_mask和CT_mask；
(3)利用FG_mask、BK_mask和CT_mask分别提取初始帧中前景区域、背景区域和参考区域的特征，提取方法为取该区域灰度直方图的六个统计量构建成特征向量，即：
F＝[u m vmax vmin nmor nles]’，
式中，u为灰度均值，m为灰度中值，vmax、vmin分别为最大、最小灰度值，nmor、nles分别为灰度值大于和小于均值u的像素个数，得到前景区域、背景区域和参考区域的特征分别记为Ffg、Fbk和Fct。
步骤S3中，所述的匹配率阈值T*通过下式计算：
T*＝σ*|(Fct-Fbk)·/Fbk|2，
其中，./表示点除，即向量中对应元素相除，σ*是权重系数。
步骤S4中，所述的匹配率λ通过下式计算：
λ＝|(Ffg-Fbk)·/Fbk|2，
其中，./表示点除，即向量中对应元素相除。
本发明与现有技术相比，具有如下优点和有益效果：
在视频图像处理框架下，本发明提出一种利用“前景-背景”匹配的新思路，实现复杂环境中的财物的有效保护，能区分全部遮挡和遗失。整块特征或者整块特征的统计量进行匹配的，这种全局特征往往很难区分遗失和其他干扰情况，所以很难做出准确的报警决策。现有文献中提到的基于图像处理的财物保护方法基本都是利用“前景-前景”匹配的思路，这种思路依赖于两点，一是所保护的物体特征明显，且与前景特征不相似；二是没有强烈的光照变化和遮挡情况发生。而本发明的财物保护方法只要满足当物体遗失时，原来物体所在区域显露出来的特征跟周围的背景特征一致，只要满足这个条件本发明就能取得很好的结果。具体优点如下所示：
(1)通过全局特征匹配的仿真实验，说明了在类似地铁站这种场合，我们的方法能很好的解决传统的“前景-前景”匹配思路无法区分全部遮挡和遗失的问题。
(2)本发明只用一个阈值进行判断，且该阈值是通过参考区域的匹配得到的，在阈值确定上更合理且容易操作。
(3)本发明只要检测到当前匹配率大于匹配阈值即可马上认为财物已遗失，不需考虑持续时间，所以更具实时性。
(4)本发明能准确的检测出财物失窃这一事件，根据实验仿真证明，本方法具有较高的准确率，满足实际应用的要求。
(5)本方法与传统的传感器识别系统相比，不需要购置添加额外的传感器及相应的设备，只需要各种收费、门禁场合的入口通道处已经大量存在的摄像头，成本较低。
(6)本发明的报警记录可将各方工作人员串联起来，协同处理紧急事件，在PC端也有相应的视频记录留存，方便调取查阅、取证。本方法的使用，将解放更多的工作人员，还有更多实际应用价值，如减少公共财产失窃、及时预警不法分子提高公共场合的安全性等诸多有前景的工程应用价值。
附图说明
图1为本发明所述的一种基于视频图像背景匹配的财物保护方法的流程图；
图2a为帧差法匹配率的曲线图，图2b为灰度直方图匹配率的曲线图，图2c为LBP纹理直方图匹配率的曲线图，图2d为本发明所述的一种基于视频图像背景匹配的财物保护方法的匹配率的曲线图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图1，一种基于视频图像背景匹配的财物保护方法，包含以下顺序的步骤：
S1.由安防摄像头获取含有保护对象的视频帧；
S2.对初始视频帧图像初始化后，将视频帧图像分为前景区域、背景区域和参考区域，并分别提取背景区域、参考区域的特征向量Fbk、Fct；
所述的初始化为通过高斯函数对视频帧图像进行滤波处理；
所述的特征向量Fbk和Fct具体通过以下步骤得到：
(1)对视频帧图像，设置三个感兴趣区域ROI，分别为前景区域、背景区域和参考区域，其中前景区域即保护对象所处区域；
(2)由ROI生成操作掩码，分别记为FG_mask、BK_mask和CT_mask；
(3)利用FG_mask、BK_mask和CT_mask分别提取初始帧中前景区域、背景区域和参考区域的特征，提取方法为取该区域灰度直方图的六个统计量构建成特征向量，即：
F＝[u m vmax vmin nmor nles]’，
式中，u为灰度均值，m为灰度中值，vmax、vmin分别为最大、最小灰度值，nmor、nles分别为灰度值大于和小于均值u的像素个数，得到前景区域、背景区域和参考区域的特征分别记为Ffg、Fbk和Fct；
S3.计算Fbk和Fct的匹配率阈值T*作为最后决策的参考阈值；
所述的匹配率阈值T*通过下式计算：
T*＝σ*|(Fct-Fbk)·/Fbk|2，
其中，./表示点除，即向量中对应元素相除，σ*是权重系数；
S4.当收到下一帧图像时，初始化后提取下一帧图像的前景区域的特征向量Ffg，计算Ffg和Fbk的匹配率λ；所述的初始化同步骤S2的初始化一样，即通过高斯函数对视频帧图像进行滤波处理；所述的特征向量Ffg的提取方式同步骤S2中特征向量Fbk和Fct的提取方式相同；
所述的匹配率λ通过下式计算：
λ＝|(Ffg-Fbk)·/Fbk|2，
其中，./表示点除，即向量中对应元素相除；
S5.由匹配率λ与匹配率阈值T*的大小关系，作出报警决策：当λ大于T*表明此时前景区域的特征跟背景区域的特征匹配，即保护对象已丢失；反之保护对象未遗失。
图2a、2b、2c、2d中，纵坐标为对应帧的归一化后的匹配率，横坐标为视频帧号，其中帧号0～132的区域是在正常的情况下，帧号132～245的区域是在遮挡或光线变化的情况下，帧号245～300的区域是在遗失的情况下。图2a、2b、2c、2d中的横向直线为匹配率阈值线。
从图2a、2b、2c、2d可以看出，采用灰度直方图或者LBP纹理直方图计算的与背景的匹配率无法区分正常、遮挡或光线变化和遗失这三种情况，因为相对于前两种情况，遗失时的匹配率没有明显的区别。最常用的帧差法虽然能从区分正常和遗失两种情况，但当出现部分遮挡或光线变化时，即图2a、2b、2c、2d中间部分所示，其匹配率会比遗失时还小，所以容易产生误报。图2a中可以看出本发明提出的方法所计算的匹配率能更好的区分遗失和非遗失的情况，既保持检测的准确性，又能有效的减少财产保护时的误报率。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种基于视频图像背景匹配的财物保护方法，其特征在于，包含以下顺序的步骤：
S1.由安防摄像头获取含有保护对象的视频帧；
S2.对初始视频帧图像初始化后，将视频帧图像分为前景区域、背景区域和参考区域，并分别提取背景区域、参考区域的特征向量Fbk、Fct；
S3.计算Fbk和Fct的匹配率阈值T*作为最后决策的参考阈值；
S4.当收到下一帧图像时，初始化后提取下一帧图像的前景区域的特征向量Ffg，计算Ffg和Fbk的匹配率λ；
S5.由匹配率λ与匹配率阈值T*的大小关系，作出报警决策：当λ大于T*表明此时前景区域的特征跟背景区域的特征匹配，即保护对象已丢失；反之保护对象未遗失。
2.根据权利要求1所述的基于视频图像背景匹配的财物保护方法，其特征在于：步骤S2中，所述的初始化为通过高斯函数对视频帧图像进行滤波处理。
3.根据权利要求1所述的基于视频图像背景匹配的财物保护方法，其特征在于，步骤S2和步骤S4中，所述的特征向量Ffg、Fbk和Fct具体通过以下步骤得到：
(1)对视频帧图像，设置三个感兴趣区域ROI，分别为前景区域、背景区域和参考区域，其中前景区域即保护对象所处区域；
(2)由ROI生成操作掩码，分别记为FG_mask、BK_mask和CT_mask；
(3)利用BK_mask和CT_mask分别提取初始帧中背景区域和参考区域的特征，利用FG_mask提取当前帧中前景区域的特征，提取方法为取该区域灰度直方图的六个统计量构建成特征向量，即：
F＝[u m vmax vmin nmor nles]’，
式中，u为灰度均值，m为灰度中值，vmax、vmin分别为最大、最小灰度值，nmor、nles分别为灰度值大于和小于均值u的像素个数，得到前景区域、背景区域和参考区域的特征向量分别记为Ffg、Fbk和Fct。
4.根据权利要求1所述的基于视频图像背景匹配的财物保护方法，其特征在于，步骤S3中，所述的匹配率阈值T*通过下式计算：
T*＝σ*|(Fct-Fbk)./Fbk|2，
其中，./表示点除，即向量中对应元素相除，σ*是权重系数。
5.根据权利要求1所述的基于视频图像背景匹配的财物保护方法，其特征在于，步骤S4中，所述的匹配率λ通过下式计算：
λ＝|(Ffg-Fbk)./Fbk|2，
其中，./表示点除，即向量中对应元素相除。
CN201410415313.3A 2014-08-21 2014-08-21 一种基于视频图像背景匹配的财物保护方法 Active CN104299224B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410415313.3A CN104299224B (zh) 2014-08-21 2014-08-21 一种基于视频图像背景匹配的财物保护方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410415313.3A CN104299224B (zh) 2014-08-21 2014-08-21 一种基于视频图像背景匹配的财物保护方法

Publications (2)

Publication Number Publication Date
CN104299224A CN104299224A (zh) 2015-01-21
CN104299224B true CN104299224B (zh) 2017-02-15

Family

ID=52318946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410415313.3A Active CN104299224B (zh) 2014-08-21 2014-08-21 一种基于视频图像背景匹配的财物保护方法

Country Status (1)

Country Link
CN (1) CN104299224B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106558061A (zh) * 2015-09-29 2017-04-05 上海悠络客电子科技有限公司 一种基于云计算的收银防损方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101159855A (zh) * 2007-11-14 2008-04-09 南京优科漫科技有限公司 基于特征点分析的多目标分离预测方法
CN103945197A (zh) * 2014-05-12 2014-07-23 江苏省电力公司常州供电公司 基于视频运动检测技术的电力设施防外破预警方案

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7606417B2 (en) * 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
TW201140502A (en) * 2010-05-13 2011-11-16 Hon Hai Prec Ind Co Ltd System and method for monitoring objects
AU2011265429B2 (en) * 2011-12-21 2015-08-13 Canon Kabushiki Kaisha Method and system for robust scene modelling in an image sequence

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101159855A (zh) * 2007-11-14 2008-04-09 南京优科漫科技有限公司 基于特征点分析的多目标分离预测方法
CN103945197A (zh) * 2014-05-12 2014-07-23 江苏省电力公司常州供电公司 基于视频运动检测技术的电力设施防外破预警方案

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Detection of temporarily static regions by processing video at different frame》;Fatih Porikli;《IEEE Conference on Advanced Video and Signal Based Surveillance》;20071231;全文 *
《HOS运动目标分割算法在视频监控中的应用》;范欣楠等;《微电子学与计算机》;20050131;第22卷(第1期);全文 *
《智能视频监控中滞留物与人的关联分析算法》;王鹏等;《视频应用与工程》;20110329;第35卷(第3期);全文 *

Also Published As

Publication number Publication date
CN104299224A (zh) 2015-01-21

Similar Documents

Publication Publication Date Title
CN107273822A (zh) 一种基于监控视频多目标跟踪和人脸识别的隐私保护方法
CN105761261B (zh) 一种检测摄像头遭人为恶意破坏的方法
CN105868689A (zh) 一种基于级联卷积神经网络的人脸遮挡检测方法
CN100525395C (zh) 多摄像机下基于主轴匹配的行人跟踪方法
Khan et al. Towards a crowd analytic framework for crowd management in Majid-al-Haram
CN103440475A (zh) 一种自动取款机使用者人脸可见性判断系统及方法
CN102156880A (zh) 基于改进的社会力模型的异常集群行为检测方法
KR20200103180A (ko) Sar 기반 빅데이터를 활용한 재난재해 분류 및 분석 방법 및 그 방법을 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체
Denman et al. Multi-spectral fusion for surveillance systems
Karpagavalli et al. Estimating the density of the people and counting the number of people in a crowd environment for human safety
Surkutlawar et al. Shadow suppression using RGB and HSV color space in moving object detection
Moon et al. A new human identification method for intelligent video surveillance system
CN107659754A (zh) 一种树叶扰动情况下监控视频的有效浓缩方法
Alqaysi et al. Detection of abnormal behavior in dynamic crowded gatherings
Hu et al. Dense crowd counting based on perspective weight model using a fisheye camera
CN104298988B (zh) 一种基于视频图像局部特征匹配的财物保护方法
Chaudhari et al. A study on crowd detection and density analysis for safety control
Xia et al. Automatic multi-vehicle tracking using video cameras: An improved CAMShift approach
CN104299224B (zh) 一种基于视频图像背景匹配的财物保护方法
Chebi et al. Dynamic detection of anomalies in crowd's behavior analysis
Maheshwari et al. A review on crowd behavior analysis methods for video surveillance
CN105654104A (zh) 一种基于多粒度特征的行人检测方法
Suresh et al. An efficient low cost background subtraction method to extract foreground object during human tracking
Shbib et al. Distributed monitoring system based on weighted data fusing model
Vasu An effective step to real-time implementation of accident detection system using image processing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant