CN107316024B - 基于深度学习的周界报警算法 - Google Patents

基于深度学习的周界报警算法 Download PDF

Info

Publication number
CN107316024B
CN107316024B CN201710505346.0A CN201710505346A CN107316024B CN 107316024 B CN107316024 B CN 107316024B CN 201710505346 A CN201710505346 A CN 201710505346A CN 107316024 B CN107316024 B CN 107316024B
Authority
CN
China
Prior art keywords
deep learning
human body
perimeter
perimeter alarm
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710505346.0A
Other languages
English (en)
Other versions
CN107316024A (zh
Inventor
张恩伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Shengxun Technology Co ltd
Original Assignee
Beijing Bravevideo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Bravevideo Technology Co ltd filed Critical Beijing Bravevideo Technology Co ltd
Priority to CN201710505346.0A priority Critical patent/CN107316024B/zh
Publication of CN107316024A publication Critical patent/CN107316024A/zh
Application granted granted Critical
Publication of CN107316024B publication Critical patent/CN107316024B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的周界报警算法。为了解决基于视频分析的周界报警中误报多的问题，本发明利用深度学习在视频帧上对人体进行检测，将检测到的人体作为候选目标，判断是否触发了周界报警的规则。基于深度学习的目标检测算法，能准确的区分人、树叶、小动物和光线变化等，因此，本发明中基于深度学习的周界报警算法将误报降到了百分之一以内，深度学习采用统一的训练框架，从大量的样本中学习模型，规避了传统视频分析的“经验式”模型，因此本发明中的算法参数极少，很适合推广应用。

Description

基于深度学习的周界报警算法
技术领域
本发明属于安防技术中的视频监控领域，涉及模式识别、图形图像处理、视频分析等，利用深度学习算法实现周界报警。
背景技术
传统周界报警方法和设备包括红外/激光/微波对射式、振动/泄露电缆式、张力围栏式、电子脉冲围栏式、振动光缆式等。红外/激光/微波对射式由发射装置和接收装置组成，发射装置发射红外线、激光或微波，当有目标入侵时，会阻断红外线、激光或微波，从而在接收装置上接收不到红外线、激光或微波。振动电缆式是利用驻极体振动电缆作为传感器，泄露电缆式利用泄露同轴电缆作为传感器，张力围栏式采用强力拉紧探测光缆作为传感器，电子脉冲围栏式采用极低频率的脉冲高压对入侵者以警告，振动光缆式则是用入侵者的震动或压力等导致光线的相位变化来检测入侵。这些周界报警方法和设备受树叶、小动物的影响，或者受温度湿度、光线变化的影响，会产生大量的误报，而且有些对人体还有某种程度的伤害，所以，在安防系统中，如小区，这些周界报警设备基本都处于停用荒废的状态。
随着视频监控的发展，摄像头的普及，出现了基于视频分析的周界报警算法和产品，此类算法通常利用背景建模如多高斯模型来提取目标，然后判断目标是否破坏了预先设置的规则(虚拟围墙、绊线或入侵区域)，从而触发报警。视频分析周界报警产品利用的是原有监控摄像头，造价低廉；不需要额外施工，布放方便；而且不存在射线、激光或高压脉冲等，对人体无害，因此，此类产品曾经风靡一时。但传统的视频分析周界报警由于受前景提取算法的限制，不能很好的对人、树叶、小动物及光线变化导致的背景变化进行区分，所以会产生大量的误报，如车灯扫过围栏，则很有可能导致误报。
基于传统视频分析的周界报警算法，采用的是“经验式”的算法理念，所以得根据现场调整很多参数，这种算法在推广中消耗大量的技术支持力量。
发明内容
本发明为了解决基于视频分析的周界报警中误报多的问题，提供了基于深度学习的周界报警算法。利用深度学习在视频帧上对人体进行检测，将检测到的人体作为候选目标，判断是否触发了周界报警的规则。基于深度学习的目标检测算法，能准确的区分人、树叶、小动物和光线变化等，因此，本发明中基于深度学习的周界报警算法将误报降到了百分之一以内，深度学习采用统一的训练框架，从大量的样本中学习模型，规避了传统视频分析的“经验式”模型，因此本发明中的算法参数极少，很适合推广应用。
本发明提供的基于深度学习的周界报警算法，包括：
从视频连续帧中提取前景。这里假设背景是相对静止的，前景是运动的，所以可以对背景建立模型。然后把符合背景模型的像素点判定为背景，不符合背景模型的像素点则判定为前景。
由于视频图像通常会有噪声扰动，提取出的前景图像通常也带有噪声，这些噪声常常是孤立的像素点，所以可以通过形态学滤波的方法滤除噪声点。形态学滤波过程是先进行腐蚀算子，再进行膨胀算子。
经过滤波后，用连通域标记算法将前景像素点连成一片区域，即连通域，用左上角坐标和区域宽高表示。在本发明中的连通域是4连通的，同时用8连通补充。连通域标记经过两步扫描：第一步是标记过程，即给每个像素点做标记；第二步是连通坐标过程，即通过连通关系得到区域的坐标。
连通域标记得到的区域，在本发明中称为感兴趣区域(ROI)，通过ROI的坐标，从图像中截取出子图作为后续进行人体检测的图像。从原始输入图像中截取ROI子图，采用从左到右，从上到下的流程，并且利用前景图像作为模板，这样可以去除候选目标周围的行人的干扰。
接下去在ROI子图上进行深度学习的人体检测，将子图缩放到统一分辨率480x480的图像I，然后在I上利用卷积神经网络提取特征，将I划分为15x15个块，每个块上估计属于人体的概率和坐标，最终将大于一定阈值的块合并，形成人体检测的结果。人体检测的结果用中心坐标和宽高，以及概率表示。
通过人工标定物标出场景的景深信息，人工标定由五条不同位置不同景深的标线组成，通过这些标线计算整个场景的景深。然后根据人体检测的坐标和宽高，结合标定的景深信息，估计出人体的纵深信息，从而得到人体的三维坐标。
将人体的三维坐标输入周界报警的规则中，与周界的位置坐标相比较，判断该人是否闯入周界，如果闯入，则触发报警。
与传统的物理式周界报警设备相比，及基于传统视频分析的周界报警装置相比，本发明中基于深度学习的周界报警算法具有更高的准确率，接近零的误报率，极少的参数配置。
附图说明
图1是本发明基于深度学习的周界报警算法流程图。其中人工标定模块是需要用户参与标定过程。
图2是连通域标记示意图。
图3是本发明神经网络各层说明示意图。
图4是人工标定景深的示意图。
具体实施方式
下面结合附图和具体实例对本发明进行进一步解释。应该指出的是，下文所描述的实例旨在更好的理解本发明，只是本发明中的一部分，并不因此而限制本发明的保护范围。
如图1所示，本发明实现由前景提取到报警联动等一系列步骤。
步骤101中，前景提取基于混合高斯背景模型，本发明认为图像中每个背景像素点服从多个高斯的混合模型，本发明设定高斯的个数是K，则若每个像素点的像素值用变量Xt表示，则混合高斯模型可用下面的公式表示：
Figure BDF0000011980850000031
其中，gk(Xt,μk,t,Σk,t)表示t时刻的第k个高斯分量，其均值为μk,t，协方差矩阵为Σk,t，ωk,t为第k个高斯分量在t时刻的权重，且有
Figure BDF0000011980850000032
其中
Figure BDF0000011980850000033
上式中n表示Xt的维数
本发明用一段没有运动目标的背景视频对上述的混合高斯模型进行训练，得到高斯模型的初始参数，然后在实时视频中通过在线更新的机制实时更新混合高斯的参数。
在提取前景时，凡是符合混合高斯模型的像素点则认为是背景点，否则认为是前景像素点。
步骤102中，本发明用腐蚀和膨胀算子来过滤噪声，腐蚀和膨胀都是图像进行卷积运算。采用的是3x3大小的核，这对于3x3以下的孤立的噪声点，能有效的滤除。
步骤103中，连通域标记是对检测出的前景点进行整体性的描述，通常使得处于同一物体上的前景点属于同一个连通域。如图2所示，设当前需要标记的像素点为1(前景点)，它的已经标记过的邻点为4、3、5和2，标记过程如下：
(A)如果2和3都不是前景点。此时4是前景点，则将1标记为4的标记；此时4不是前景点，5是前景点，则1标记为5的标记；此时4和5都不是前景点，则1标记为新的连通域。
(B)如果2和3都为前景点，又如果2和3的标记相同，则将1标记为2或3的标记，如果2和3的标记不同，则将1标记与2的标记等同，并用另外的变量注明2和3的标记为等价的标记；
(C)如果2和3中只有一个为前景点，2是前景点，则将1标记为2的标记，3是前景点，则1标记为3的标记。
连通域标记后初步建立当前帧侯选物体的基本参数，包括各个连通域的长度、宽度和中心点坐标。
步骤104，通过连通域的左上角坐标和连通域的宽高，从左到右，从上到下，截取出彩色YUV子图。该YUV子图里包含候选目标。
步骤105，如图3所示，本发明采用14个卷积层、4个池化层、3个全连接层的深度学习网络。卷积层采用7x7、5x5和3x3的卷积核。池化层采用2x2的窗口，以一层一层减少特征空间的大小。网络的参数训练先用标定类别的一百二十万张样本进行预训练，然后用监控场景中的人的图像进行训练，最后收敛后得到深度学习的网络参数。检测时，将子图缩放到统一分辨率480x480的图像I，然后利用深度学习网络提取特征，将I划分为15x15个块，每个块上估计属于人体的概率和坐标，最终将大于一定阈值的块合并，形成人体检测的结果。人体检测的结果用中心坐标和宽高，以及概率表示。
步骤106,如图4所示，在XY平面(地面)上5个不同的位置上设立标定物，可以让同一个人站在5个不同的位置作为标定物，图4中的401、402、403、404、405是同一个人在场景中由近及远、从左到右的5个不同位置的成像效果，由于近大远小，所以远处的人较小，通过这5个位置的标定，可以得到XY平面上任意一点的景深信息，即通过XZ坐标(像平面上的坐标)估计得到Y轴的坐标大小。
步骤107通过步骤106的标定结果，可以得到周界附近人的XYZ三维坐标，然后在步骤108中判断是否触发了周界，并联动报警。
本发明采用的算法参数，从大量的样本中学习模型，规避了传统视频分析的“经验式”模型，因此本发明中的算法参数极少，在现场实施中很容易。

Claims (5)

1.一种基于深度学习的周界报警算法，其特征在于：基于混合高斯背景模型从视频连续帧中提取前景，把符合背景模型的像素点判定为背景，不符合背景模型的像素点则判定为前景；提取出的前景，通过形态学滤波的方法滤除噪声点；滤除噪声点后的前景经过两步扫描的连通域标记算法，生成连通域的长度、宽度和中心点坐标；通过连通域的左上角坐标和连通域的宽高，从左到右，从上到下，截取出彩色YUV子图；采用14个卷积层、4个池化层、3个全连接层的深度学习网络(卷积神经网络)，在子图上进行深度学习的人体检测，利用卷积神经网络提取特征，将子图划分为15x15个块，每个块上估计属于人体的概率和坐标，最终将大于一定阈值的块合并，形成人体检测的结果，人体检测的结果用中心坐标和宽高，以及概率表示；通过人工标定物标出场景的景深信息，人工标定由五条不同位置不同景深的标线组成，通过这些标线计算整个场景的景深，然后根据人体检测的坐标和宽高，结合标定的景深信息，估计出人体的纵深信息，从而得到人体的三维坐标，将人体的三维坐标输入周界报警的规则中，与周界的位置坐标相比较，判断该人是否闯入周界，如果闯入，则触发报警。
2.根据权利要求1所述的基于深度学习周界报警算法，其特征在于，通过形态学滤波的方法滤除噪声点；形态学滤波过程是先进行腐蚀算子，再进行膨胀算子；腐蚀和膨胀都是图像进行卷积运算，采用的是3x3大小的核。
3.根据权利要求1所述的基于深度学习周界报警算法，其特征在于，连通域标记经过两步扫描：第一步是标记过程，即给每个像素点做标记；第二步是连通坐标过程，即通过连通关系得到区域的坐标。
4.根据权利要求1所述的基于深度学习周界报警算法，其特征在于，在子图上进行深度学习的人体检测，卷积层采用7x7、5x5和3x3的卷积核，池化层采用2x2的窗口，以一层一层减少特征空间的大小，网络的参数训练先用标定类别的一百二十万张样本进行预训练，然后用监控场景中的人的图像进行训练，最后收敛后得到深度学习的网络参数。
5.根据权利要求1所述的基于深度学习周界报警算法，其特征在于，算法模型统一由深度学习训练得到，现场实施不需要配置参数。
CN201710505346.0A 2017-06-28 2017-06-28 基于深度学习的周界报警算法 Active CN107316024B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710505346.0A CN107316024B (zh) 2017-06-28 2017-06-28 基于深度学习的周界报警算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710505346.0A CN107316024B (zh) 2017-06-28 2017-06-28 基于深度学习的周界报警算法

Publications (2)

Publication Number Publication Date
CN107316024A CN107316024A (zh) 2017-11-03
CN107316024B true CN107316024B (zh) 2021-06-29

Family

ID=60181329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710505346.0A Active CN107316024B (zh) 2017-06-28 2017-06-28 基于深度学习的周界报警算法

Country Status (1)

Country Link
CN (1) CN107316024B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107749950A (zh) * 2017-11-09 2018-03-02 睿魔智能科技（东莞）有限公司 一种基于深度学习的拍摄方法和系统
CN110113561A (zh) * 2018-02-01 2019-08-09 广州弘度信息科技有限公司 一种人员滞留检测方法、装置、服务器及系统
CN109214316B (zh) * 2018-08-21 2020-08-25 北京深瞐科技有限公司 周界防护方法及装置
CN109671236A (zh) * 2018-12-28 2019-04-23 广东美电贝尔科技集团股份有限公司 周界目标物体的检测方法及其系统
CN114550060A (zh) * 2022-02-25 2022-05-27 北京小龙潜行科技有限公司 周界入侵识别方法、系统及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101256626A (zh) * 2008-02-28 2008-09-03 王路 基于计算机视觉的入侵监控方法
WO2016145676A1 (zh) * 2015-03-13 2016-09-22 中国科学院声学研究所 基于满足k度稀疏约束的深度学习模型的大数据处理方法
CN106778646A (zh) * 2016-12-26 2017-05-31 北京智芯原动科技有限公司 基于卷积神经网络的车型识别方法及装置
CN106845374A (zh) * 2017-01-06 2017-06-13 清华大学 基于深度学习的行人检测方法及检测装置
US9693181B1 (en) * 2016-09-21 2017-06-27 International Business Machines Corporation Surveillance detection based on an identification of a carried mobile device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739550B (zh) * 2009-02-11 2012-02-22 北京智安邦科技有限公司 运动目标检测方法及系统
CN105989682A (zh) * 2015-02-05 2016-10-05 国家电网公司 一种输电线路线下施工机械安全预警监控系统及监控方法
CN106033554A (zh) * 2015-03-13 2016-10-19 中国科学院声学研究所 一种基于分段的两级深度学习模型的大数据处理方法
CN105975857A (zh) * 2015-11-17 2016-09-28 武汉安天信息技术有限责任公司 基于深度学习方法推断恶意代码规则的方法及系统
CN106127164B (zh) * 2016-06-29 2019-04-16 北京智芯原动科技有限公司 基于显著性检测和卷积神经网络的行人检测方法及装置
CN106372576A (zh) * 2016-08-23 2017-02-01 南京邮电大学 一种基于深度学习的智能室内入侵检测方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101256626A (zh) * 2008-02-28 2008-09-03 王路 基于计算机视觉的入侵监控方法
WO2016145676A1 (zh) * 2015-03-13 2016-09-22 中国科学院声学研究所 基于满足k度稀疏约束的深度学习模型的大数据处理方法
US9693181B1 (en) * 2016-09-21 2017-06-27 International Business Machines Corporation Surveillance detection based on an identification of a carried mobile device
CN106778646A (zh) * 2016-12-26 2017-05-31 北京智芯原动科技有限公司 基于卷积神经网络的车型识别方法及装置
CN106845374A (zh) * 2017-01-06 2017-06-13 清华大学 基于深度学习的行人检测方法及检测装置

Also Published As

Publication number Publication date
CN107316024A (zh) 2017-11-03

Similar Documents

Publication Publication Date Title
CN107316024B (zh) 基于深度学习的周界报警算法
CN104378582B (zh) 一种基于ptz摄像机巡航的智能视频分析系统及方法
CN107527009B (zh) 一种基于yolo目标检测的遗留物检测方法
Zhang et al. Ship detection for visual maritime surveillance from non-stationary platforms
Santosh et al. Tracking multiple moving objects using gaussian mixture model
CN111881853B (zh) 一种超大桥隧中异常行为识别方法和装置
US8977060B2 (en) Motion stabilization and detection of articulated objects
Kumar et al. Study of robust and intelligent surveillance in visible and multi-modal framework
Bedruz et al. Real-time vehicle detection and tracking using a mean-shift based blob analysis and tracking approach
WO2007135662A1 (en) A user trainable detection apparatus and method
CN111145475A (zh) 基于振动光纤和深度学习的入侵报警系统、方法及介质
CN109218667B (zh) 一种公共场所安全预警系统和方法
Salehi et al. An automatic video-based drowning detection system for swimming pools using active contours
EP2413265B1 (en) A system and method for classification of moving object during video surveillance
Xu et al. Human detection and tracking based on HOG and particle filter
Gal Automatic obstacle detection for USV’s navigation using vision sensors
Junejo et al. Single-class SVM for dynamic scene modeling
Costianes et al. Gray-level co-occurrence matrices as features in edge enhanced images
Buccolieri et al. Human posture recognition using active contours and radial basis function neural network
Mantini et al. UHCTD: A comprehensive dataset for camera tampering detection
Qureshi et al. Highway traffic surveillance over uav dataset via blob detection and histogram of gradient
Anagnostopoulos et al. Using sliding concentric windows for license plate segmentation and processing
Chen et al. Data augmentation for cnn-based people detection in aerial images
Fahn et al. A real-time pedestrian legs detection and tracking system used for autonomous mobile robots
Archana et al. Artificial Neural Network Based Image Processing for Wild Animal Detection and Monitoring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231130

Address after: Room 609-1, 6th Floor, Import and Export Exhibition and Trading Center, Huanghua Comprehensive Bonded Zone, Huanghua Town, Lingkong Block, Changsha Area, Changsha Free Trade Zone, Hunan Province, 410137

Patentee after: Hunan Shengxun Technology Co.,Ltd.

Address before: Room 403, 4th Floor, Building 6, No. 13 North Ertiao, Zhongguancun, Haidian District, Beijing, 100190

Patentee before: BEIJING BRAVEVIDEO TECHNOLOGY CO.,LTD.