CN106778655B - 一种基于人体骨架的入口尾随进入检测方法 - Google Patents

一种基于人体骨架的入口尾随进入检测方法 Download PDF

Info

Publication number
CN106778655B
CN106778655B CN201611224676.4A CN201611224676A CN106778655B CN 106778655 B CN106778655 B CN 106778655B CN 201611224676 A CN201611224676 A CN 201611224676A CN 106778655 B CN106778655 B CN 106778655B
Authority
CN
China
Prior art keywords
pedestrian
pedestrians
trailing
warning area
early warning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611224676.4A
Other languages
English (en)
Other versions
CN106778655A (zh
Inventor
张洪博
杜吉祥
刘海建
翟传敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen poquan financial outsourcing service Co.,Ltd.
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN201611224676.4A priority Critical patent/CN106778655B/zh
Publication of CN106778655A publication Critical patent/CN106778655A/zh
Application granted granted Critical
Publication of CN106778655B publication Critical patent/CN106778655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于人体骨架的入口尾随进入检测方法，在入口前预设预警区域，行人进入预警区域后，通过摄像头实时检测行人的人体骨架；在预警区域内对受测行人规划尾随警戒区域，检测尾随警戒区域内的其他行人；如果其他行人的人体骨架满足报警规则，则发生报警。本发明实现了视频监控中行人尾随进入事件的智能监控，有效地对行人尾随进入这一高层次语义事件进行识别。同时为了提高行人检测的准确率和降低误检率，通过人体骨架交互的判断，对同行人进行识别，剔除因为同行事件引起的误警，进而实现对入口处，行人尾随进入的检测。本发明所述的方法实时性好，成本低，计算量少。而且采用低成本的深度摄像头，利于实施与推广。

Description

一种基于人体骨架的入口尾随进入检测方法
技术领域
本发明涉及视频监控领域，更具体地说，涉及一种基于人体骨架的入口尾随进入检测方法。
背景技术
公共安全，社区以及住宅安全一直是视频监控关注的热点。近几年来，异常事件的检测在交通视频监控，公共场所监控，社区，住宅小区，校园监控中的应用越来越广泛，传统的人工监视已经不能满足用户对异常事件安全监控的需求。
随着人工智能、计算机视觉、机器学习技术的发展，智能视频监控中也出现了一些对行人异常行为检测的相关产品和技术，主要包括特定区域的运动估计、入侵检测、行人的跟踪和视频分类。然而这些方法并没有对更高层语义的行人事件进行推理和判断。
目前，还尚无可以对住宅楼、住宅小区入口实现行人尾随进入检测的产品。特别是在一些重要的特殊通道，如机场自助通关，高铁站检票口等每次仅允许单人通过的入口处，采用的是人工监看，或者红外感应装置，缺少对尾随行为自动监视的装置和方法。随着人们对这类公共服务便利化越来越高的要求和公共安全问题之间矛盾的日益加剧，尾随事件的监控有着广泛的应用。
现有技术中，对于姿态识别和行为识别，基于普通二维摄像头的方法，主要采用基于时空特征的方法和基于行人跟踪的方法，例如仓库中的入侵检测，银行库房的运动目标检测和跟踪。
基于时空特征的方法，在时空检测特征点的抽取和匹配上需要耗费较多时间，容易受环境影响，并且对目标的定位难度较大。而基于行人跟踪的方法，对行人定位的效果依赖大，而行人检测的效果受影响和遮挡影响，误差较大。
此外，基于深度摄像头的方法可以通过深度信息快速定位行人，进而进行行为的识别。然而，高精度的深度摄像机十分昂贵，而精度低的深度相机在监控环境中的应用有限。
发明内容
本发明的目的在于克服现有技术的不足，提供一种低成本、高效率的基于人体骨架的入口尾随进入检测方法。
本发明的技术方案如下：
一种基于人体骨架的入口尾随进入检测方法，在入口前预设预警区域，行人进入预警区域后，通过摄像头实时检测行人的人体骨架；在预警区域内对受测行人规划尾随警戒区域，检测尾随警戒区域内的其他行人；如果其他行人的人体骨架满足报警规则，则发生报警。
作为优选，尾随警戒区域的深度为预警区域的起点至受测行人之间的距离，随着受测行人的移动，尾随警戒区域的深度实时变化。
作为优选，预警区域的宽度不大于通道的宽度。
作为优选，以行人的人体躯干节点的深度位置作为尾随警戒区域的深度终点。
作为优选，对预警区域内的行人进行深度检测，按照深度大小进行排序，确定受测行人后，对受测行人后面的所有行人进行判断，是否满足报警规则。
作为优选，如果报警规则设定预设预警区域不允许除受测行人外的其他行人存在，则检测到除受测行人外的其他人时，发生报警。
作为优选，如果报警规则设定预设预警区域允许存在受测行人的同行人，则判断预设预警区域内的其他行人是否为同行人，如果不是同行人，则发生报警。
作为优选，检测行人的人体骨架，获得若干关节点的深度位置，如果在后的行人的最前关节点与受测行人的最后关节点同深度或超过受测行人的最后关节点，则判定该行人为同行人。
作为优选，如果受测行人后的若干行人的关系为同行人，则受测行人后的若干行人均判定为受测行人的同行人。
作为优选，通过矩阵记录预设预警区域内其他行人与受测行人的关系，如果为同行人，则记为1，否则记为0；则矩阵反映预设预警区域内所有行人的关系，则通过矩阵每个位置的值判断与受测行人的关系。
本发明的有益效果如下：
本发明针对入口安全监控中，行人尾随进入的问题，提供一种低成本、高效率的基于人体骨架的入口尾随进入检测方法，实现了视频监控中行人尾随进入事件的智能监控。相比于视频监控中的现有技术，本发明有效地对行人尾随进入这一高层次语义事件进行识别，而不是简单的行人跟踪和入侵检测。同时为了提高行人检测的准确率和降低误检率，通过人体骨架交互的判断，对同行人进行识别，剔除因为同行事件引起的误警，进而实现对入口处，行人尾随进入的检测。
本发明所述的方法实时性好，成本低，相比于其他基于深度摄像机的智能监控算法，本发明可通过较低端的深度摄像头实时提取人体骨架的结构并进行跟踪，并且本发明提出基于人体骨架跟踪的尾随事件检测方法，计算量少，能够很好的应用于实时监控场景。而且采用低成本的深度摄像头，能够大大节省高端深度摄像机的成本花销，利于实施与推广。
附图说明
图1是本发明所述的方法的实施示意图；
图2是尾随警戒区域的变化示意图；
图中：10是Kinect摄像头，11是主机，21是入口，22是通道，31是预警区域，32是尾随警戒区域。
具体实施方式
以下结合附图及实施例对本发明进行进一步的详细说明。
本发明为了解决在特定通道上的行人尾随事件的检测问题，提出了一种高定位率、低成本的基于人体骨架的入口尾随进入检测方法，其主要原理是：通过深度摄像头(如Kinect摄像头)对通道入口处实时检测行人，获取人体骨架；在第一位行人进入通道后，自动规划预警区域，启动尾随事件监测；在受测行人通过入口前，预警区域内的行人都定义为异常尾随目标，进行尾随识别。
本发明所述的基于人体骨架的入口尾随进入检测方法，在入口21前预设预警区域31，行人进入预警区域31后，通过摄像头实时检测行人的人体骨架；在预警区域31内对受测行人规划尾随警戒区域32，检测尾随警戒区域32内的其他行人；如果其他行人的人体骨架满足报警规则，则发生报警。
为了避免相邻通道22或者相邻区域行人造成的误检，如通道22旁的行人，预警区域31的宽度不大于通道22的宽度。预警区域31的长度为Kinect摄像头11相对于入口21的深度位置至有效检测距离的最远端。则本实施例中，预警区域31的范围为通道22的两侧与长度范围围成的区域。
本实施例中，采用Kinect摄像头11作为视频采集和人体骨架检测装置，采用近距离监控的方式，利用Kinect摄像头11的人体骨架检测技术找出目标的位置和骨架姿态，进一步推理行人的动作意图，是否存在尾随事件，从而对警报系统发出相应的指令。如图1所示，用于实现本发明的硬件装置包括Kinect摄像头11和主机12。Kinect摄像头11的安装会要求影响整体的检测效果。在本实施例中，Kinect摄像头11与入口21直线距离为0.5m-1m；Kinect摄像头11与地面的高度距离为2m-3m，Kinect摄像头11的水平位置位于入口21中间，有效检测距离为3m。则本发明的方法可基于Kinect摄像头11获取的深度信息，以Kinect摄像头11为中心，构建三维空间，z表示Kinect摄像头11相对于入口21的深度位置，x表示Kinect摄像头11相对于入口21的水平位置，y表示相当于Kinect摄像头11相对于入口21的垂直位置。
对行人进行人体骨架检测时，以行人的人体躯干节点的深度位置作为尾随警戒区域32的深度终点。本实施例中，通过Kinect摄像头11实时对人体进行检测，获取每个行人相对Kinect摄像头11的三维空间位置pi＝(xi,yi,zi)，其中，xi,yi,zi分别表示人体相对于Kinect摄像头11的水平、垂直和深度距离，其中以人体躯干节点的深度位置作为人体的深度位置。
对预警区域31内的行人进行深度检测，按照深度大小进行排序，确定受测行人后，对受测行人后面的所有行人进行判断，是否满足报警规则。本实施例中，对所有的行人按照深度进行从小到大排序，即按照zi的值进行排序，可采用冒泡排序算法实现，则z1表示走在最前面的行人，即为受测行人。
尾随警戒区域32的深度为预警区域31的起点至受测行人之间的距离，则随着受测行人的移动，尾随警戒区域32的深度实时变化，如图2所示。尾随警戒区域32的长度为人体位置到预警区域31的边界，宽度和预警区域31一致，并且尾随警戒区域32随着受测行人向前移动而实时更新。
实时对于除了受测行人以外的其他行人的位置进行判断，如果其位置位于受测行人的尾随警戒区域32内，则该行人则定义为拟进行尾随候选目标。重复此操作，对所有行人进行判断。
在本发明的方法中，定义了允许同行和不允许同行这两种安全级别，分别用于小区和检票这两类不同安全级别的场景。在允许同行的安全级别下，对受测行人和预警区域31的其他行人进行交互识别，如果存在交互，则划分为同行人。
如果报警规则设定预设预警区域31不允许除受测行人外的其他行人存在，如单人通道22的场景，则检测到除受测行人外的其他人时，发生报警。如果候选目标数量为空，则认为是安全情况。
如果报警规则设定预设预警区域31允许存在受测行人的同行人，如小区入口21这类允许同行人一起进入的场景，则判断预设预警区域31内的其他行人是否为同行人，如果不是同行人，则发生报警。本实施例中，对预警区域31内的行人，用Kinect摄像头11获取人体骨架各个关节点的空间坐标，Kinect摄像头11一共提供了人体20个关节点的位置，用pi,i＝1…20表示，深度值为
Figure BDA0001193356340000051
定义人体最靠前深度为
Figure BDA0001193356340000052
定义人体最靠后的深度为
Figure BDA0001193356340000053
判断行人间的关系时，检测行人的人体骨架，获得若干关节点的深度位置，如果在后的行人的最前关节点与受测行人的最后关节点同深度或超过受测行人的最后关节点，则判定该行人为同行人。
在本发明中，通过矩阵记录预设预警区域31内其他行人与受测行人的关系，如果为同行人，则记为1，否则记为0；即用0-1矩阵D表示预警区域31内行人之间的关系，如果Dij＝0，表示第i,j两人没有关系，为非同行人；反之Dij＝1，表示同行。则矩阵反映预设预警区域31内所有行人的关系，可通过矩阵每个位置的值判断与受测行人的关系。此关系矩阵D具有如下性质：
此矩阵是对称矩阵，即Dij＝Dji；表示如果受测行人与某行人为同行，则当某行人作为受测行人时，当前受测行人也与该行人为同行。
矩阵是传递性，即如果Dij＝1&&Djk＝1，则Dik＝1；表示如果受测行人后的若干行人的关系为同行人，则受测行人后的若干行人均判定为受测行人的同行人。
对于i,j两人关系的判断，在本发明的判断逻辑是如果走在后面的人，身体最靠前的部位的位置与前面的人最靠后的部位位置相同或者超过，则认为两人同行，公式如下：
Figure BDA0001193356340000061
其中，i表示走在前面的人，即i≤j,zi≤zj，ε是预设的阈值。对于所有行人，重复此操作，生成矩阵。
上述实施例仅是用来说明本发明，而并非用作对本发明的限定。只要是依据本发明的技术实质，对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。

Claims (9)

1.一种基于人体骨架的入口尾随进入检测方法，其特征在于，在入口前预设预警区域，行人进入预警区域后，通过Kinect摄像头实时检测行人的人体骨架；在预警区域内对受测行人规划尾随警戒区域，检测尾随警戒区域内的其他行人；如果其他行人的人体骨架满足报警规则，则发生报警；检测行人的人体骨架，获得若干关节点的深度位置，如果在后的行人的最前关节点与受测行人的最后关节点同深度或超过受测行人的最后关节点，则判定该行人为同行人。
2.根据权利要求1所述的基于人体骨架的入口尾随进入检测方法，其特征在于，尾随警戒区域的深度为预警区域的起点至受测行人之间的距离，随着受测行人的移动，尾随警戒区域的深度实时变化。
3.根据权利要求2所述的基于人体骨架的入口尾随进入检测方法，其特征在于，预警区域的宽度不大于通道的宽度。
4.根据权利要求2所述的基于人体骨架的入口尾随进入检测方法，其特征在于，以行人的人体躯干节点的深度位置作为尾随警戒区域的深度终点。
5.根据权利要求3所述的基于人体骨架的入口尾随进入检测方法，其特征在于，对预警区域内的行人进行深度检测，按照深度大小进行排序，确定受测行人后，对受测行人后面的所有行人进行判断，是否满足报警规则。
6.根据权利要求1所述的基于人体骨架的入口尾随进入检测方法，其特征在于，如果报警规则设定预设预警区域不允许除受测行人外的其他行人存在，则检测到除受测行人外的其他人时，发生报警。
7.根据权利要求1所述的基于人体骨架的入口尾随进入检测方法，其特征在于，如果报警规则设定预设预警区域允许存在受测行人的同行人，则判断预设预警区域内的其他行人是否为同行人，如果不是同行人，则发生报警。
8.根据权利要求7所述的基于人体骨架的入口尾随进入检测方法，其特征在于，如果受测行人后的若干行人的关系为同行人，则受测行人后的若干行人均判定为受测行人的同行人。
9.根据权利要求8所述的基于人体骨架的入口尾随进入检测方法，其特征在于，通过矩阵记录预设预警区域内其他行人与受测行人的关系，如果为同行人，则记为1，否则记为0；则矩阵反映预设预警区域内所有行人的关系，则通过矩阵每个位置的值判断与受测行人的关系。
CN201611224676.4A 2016-12-27 2016-12-27 一种基于人体骨架的入口尾随进入检测方法 Active CN106778655B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611224676.4A CN106778655B (zh) 2016-12-27 2016-12-27 一种基于人体骨架的入口尾随进入检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611224676.4A CN106778655B (zh) 2016-12-27 2016-12-27 一种基于人体骨架的入口尾随进入检测方法

Publications (2)

Publication Number Publication Date
CN106778655A CN106778655A (zh) 2017-05-31
CN106778655B true CN106778655B (zh) 2020-05-05

Family

ID=58926618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611224676.4A Active CN106778655B (zh) 2016-12-27 2016-12-27 一种基于人体骨架的入口尾随进入检测方法

Country Status (1)

Country Link
CN (1) CN106778655B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800621B (zh) * 2017-11-16 2020-12-22 航天信息股份有限公司 自助通道检测系统及方法
CN108280435A (zh) * 2018-01-25 2018-07-13 盛视科技股份有限公司 一种基于人体姿态估计的旅客异常行为识别方法
CN109376639B (zh) * 2018-10-16 2021-12-17 上海弘目智能科技有限公司 基于人像识别的伴随人员预警系统及方法
CN109190601A (zh) * 2018-10-19 2019-01-11 银河水滴科技（北京）有限公司 一种监控场景下目标对象识别方法及装置
CN111192391B (zh) * 2018-10-25 2022-09-23 杭州海康威视数字技术股份有限公司 基于图像和/或视频的人行通道闸机控制方法和设备
CN109784274B (zh) * 2018-12-29 2021-09-14 杭州励飞软件技术有限公司 识别尾随的方法及相关产品
CN109830078B (zh) * 2019-03-05 2021-03-30 智慧眼科技股份有限公司 适用于狭小空间的智能行为分析方法及智能行为分析设备
CN110633636B (zh) * 2019-08-08 2023-06-30 平安科技（深圳）有限公司 尾随检测方法、装置、电子设备及存储介质
CN112258719B (zh) * 2020-10-14 2022-07-08 杭州海康威视数字技术股份有限公司 一种门禁系统、身份认证方法及门禁设备
CN116403162B (zh) * 2023-04-11 2023-10-27 南京航空航天大学 一种机场场面目标行为识别方法、系统及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4314929B2 (ja) * 2003-08-22 2009-08-19 パナソニック株式会社 動体検出装置
CN102063750A (zh) * 2010-11-23 2011-05-18 无锡港湾网络科技有限公司 一种防跟随ab门出入管理系统
CN102592343A (zh) * 2012-03-12 2012-07-18 段立娟 一种基于动态人像视频的通道闸机控制方法及系统
CN103971380A (zh) * 2014-05-05 2014-08-06 中国民航大学 基于rgb-d的行人尾随检测方法
CN105023280A (zh) * 2015-08-21 2015-11-04 武汉汇思聚创信息技术有限公司 一种基于3d骨架建模的检测方法
CN105141885A (zh) * 2014-05-26 2015-12-09 杭州海康威视数字技术股份有限公司 进行视频监控的方法及装置
CN105787469A (zh) * 2016-03-25 2016-07-20 广州市浩云安防科技股份有限公司 行人监控和行为识别的方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4314929B2 (ja) * 2003-08-22 2009-08-19 パナソニック株式会社 動体検出装置
CN102063750A (zh) * 2010-11-23 2011-05-18 无锡港湾网络科技有限公司 一种防跟随ab门出入管理系统
CN102592343A (zh) * 2012-03-12 2012-07-18 段立娟 一种基于动态人像视频的通道闸机控制方法及系统
CN103971380A (zh) * 2014-05-05 2014-08-06 中国民航大学 基于rgb-d的行人尾随检测方法
CN105141885A (zh) * 2014-05-26 2015-12-09 杭州海康威视数字技术股份有限公司 进行视频监控的方法及装置
CN105023280A (zh) * 2015-08-21 2015-11-04 武汉汇思聚创信息技术有限公司 一种基于3d骨架建模的检测方法
CN105787469A (zh) * 2016-03-25 2016-07-20 广州市浩云安防科技股份有限公司 行人监控和行为识别的方法和系统

Also Published As

Publication number Publication date
CN106778655A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106778655B (zh) 一种基于人体骨架的入口尾随进入检测方法
US11670086B2 (en) System and process for detecting, tracking and counting human objects of interest
US20180300887A1 (en) System and process for detecting, tracking and counting human objects of interest
Xu et al. A people counting system based on head-shoulder detection and tracking in surveillance video
Liu et al. Detecting and counting people in surveillance applications
Benfold et al. Guiding visual surveillance by tracking human attention.
Makris et al. Automatic learning of an activity-based semantic scene model
Porikli Trajectory distance metric using hidden markov model based representation
CN109076190B (zh) 检测异常情况的设备和方法
CN101847206A (zh) 基于交通监控设施的行人流量统计方法与系统
Owechko et al. Classifier swarms for human detection in infrared imagery
CN109299700A (zh) 基于人群密度分析的地铁群体异常行为检测方法
Yang et al. On-road collision warning based on multiple FOE segmentation using a dashboard camera
Navarro-Serment et al. LADAR-based pedestrian detection and tracking
Chauhan et al. Study of moving object detection and tracking for video surveillance
Ng et al. Outdoor illegal parking detection system using convolutional neural network on Raspberry Pi
Liu et al. Multi-view vehicle detection and tracking in crossroads
CN116311166A (zh) 交通障碍物识别方法、装置及电子设备
CN110633670B (zh) 一种老年人专用绿信延长方法、系统及装置
Swears et al. Functional scene element recognition for video scene analysis
Szwoch et al. A framework for automatic detection of abandoned luggage in airport terminal
Mahin et al. A simple approach for abandoned object detection
Burkert et al. Complex event detection in pedestrian groups from UAVs
KR102159320B1 (ko) 3차원 라이다를 활용한 물체 인식 방법
Salih et al. Visual surveillance for hajj and umrah: a review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211123

Address after: 361000 unit 12, Room 201, No. 251, Longshan South Road, Siming District, Xiamen City, Fujian Province

Patentee after: Xiamen tuoyu Network Technology Co.,Ltd.

Address before: 361000 Chengdong, Fengze District, Quanzhou City, Fujian Province

Patentee before: HUAQIAO University

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220208

Address after: 361000 floor 3, zone 4, No. 709-713, Hu'an Road, hi tech park, Huli District, Xiamen City, Fujian Province

Patentee after: Xiamen poquan financial outsourcing service Co.,Ltd.

Address before: 361000 unit 12, Room 201, No. 251, Longshan South Road, Siming District, Xiamen City, Fujian Province

Patentee before: Xiamen tuoyu Network Technology Co.,Ltd.

TR01 Transfer of patent right