CN110175521A - 基于双相机联动检测监管室内人体行为的方法 - Google Patents

基于双相机联动检测监管室内人体行为的方法 Download PDF

Info

Publication number
CN110175521A
CN110175521A CN201910326585.9A CN201910326585A CN110175521A CN 110175521 A CN110175521 A CN 110175521A CN 201910326585 A CN201910326585 A CN 201910326585A CN 110175521 A CN110175521 A CN 110175521A
Authority
CN
China
Prior art keywords
point cloud
human body
carries out
human
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910326585.9A
Other languages
English (en)
Inventor
王伟
邢予权
潘今一
刘建烽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201910326585.9A priority Critical patent/CN110175521A/zh
Publication of CN110175521A publication Critical patent/CN110175521A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Abstract

双相机联动检测监管室内人员行为的方法，包括：先获取一张没有人存在点云图深度图y1(x)，然后进行实时采集环境内深度点云图信息y2(x)；对获取的实时点云图与没有人的点云进行差分预处理，删除一些噪声信息；根据预处理后的点云图，进行构造HHS特征向量；根据人体检测对每个人获取不同的ID标记Xi进行下一步运动位置进行预测跟踪；实时获取的人体运动位置信息通过网络实时传递给2D相机进行目标跟踪，获取连续的视频序列；对连续的视频序列作为输入，输入视频行为建议网络对每段视频进行行为建议；通过Temporal Relation Network对步骤6进行的行为建议进行分类打分输出类别；本发明检测方法简单，准确无误，能够有效的避免由于人员密集出现遮挡导致人员检测失败。

Description

基于双相机联动检测监管室内人体行为的方法
技术领域
本发明涉及智能视频监控领域，具体涉及到双相机联动检测监管室内人员行为的方法。
背景技术
随着科学技术的快速发展，视频监控应用范围越来越广，例如：交通、安防、设备等领域，传统的方法主要通过人员观测监控画面，难免会出现人员视觉疲劳，人员离岗等各种原因导致不能够及时发现异常的发生，从而导致各种安全隐患的出现，造成不必要的经济财产损失。
监管系统是一个比较特殊的环境，例如：监狱、看守所等；这些地方关押的大部分是影响社会公共安全人员，传统方法有警察进行看管，由于室内人员居住众多，往往不能及时发现异常行为，CN109087666A专利监狱打架的识别装置及方法，通过对监狱场景下的音频进行分析、识别和定位，可以准确的诊断出监狱中存在打架行为并进行报警，声音往往受到外部的干扰较大，容易产生误报，随着科技手段的不断进步，近几年智能视频监控发展虽然减少人员看管， CN103020611B通过确定到图像中任意两个人体轮廓之间的距离小于阈值，且在若干帧后的图像内，检测到倒地的人体轮廓，及时发现异常行为的出现，由于居住人数的众多，采用单个相机往往会因为人员遮挡等环境因素出现误报。
发明内容
本发明要解决现有技术存在的对人员密集场所由于遮挡、连续时间快速移动等原因从而造成目标丢失等情况产生误识别的技术问题，提供一种基于双相机联动检测监管室内人员行为的方法。
为解决上述问题，本发明采用以下技术方案达到上述目的：一种基于双相机联动检测监管室内人员行为的方法；该方法步骤：
步骤1：安装相机后先获取一张没有人存在点云图深度图y1(x)，然后进行实时采集环境内深度点云图信息y2(x)；
步骤2：对获取的实时点云图与没有人的点云进行差分预处理，即： y(x)＝y2(x)-y1(x)(1),删除一些不必要的噪声信息；
步骤3：根据预处理后的点云图，根据人体头、颈、肩位置进行构造HHS 特征向量通过预训练SVM分类器进行人体检测；首先确定头颈肩高度H和点云片厚度h,根据社会调查大部分人H＝40cm左右，h的选择方式为：
hmin＝2Dmaxtan(α) (2)
其中，Dmax是人体检测中可能出现人体的最远距离，a是传感器在垂直距离上的最小分辨率角度范围；
步骤4：根据人体检测对每个人获取不同的ID标记Xi进行对每个人下一步运动位置进行预测跟踪，其目标函数如下：
Fi＝Fi pers+Fi soc+Fi phys (3)
其中，Fi表示环境中第i个人体所受到的合力,Fi pers表示第i个的行动意愿所形成的力；对该力的直观理解是人体在运动过程中，会有一个潜在的目标点，该目标点会对该人体产生一个吸引力；Fi soc表示该人体受到的来自环境中其他人体或者障碍物的力；通常，一个人在环境遇到了其他的人或者障碍物，一般情况下就无法继续按照他本来意图行走的方向和速度行走；Fi phys表示人体受环境和其他人体或障碍物占有位置限制，部分区域无法到达所受到的力，该力被定义为一个接触力，只有表示人体的圆与环境或其他物体发生接触时，才会产生该力，它表示了环境对人体行动区域的限制，根据人体日常遇到的外在合力影响，应用牛顿运动学定律预测人体的运动位置信息；
步骤5：根据步骤4实时获取的人体运动位置信息通过网络实时传递给2D 相机进行目标跟踪，获取连续的视频序列；
步骤6：对连续的视频序列作为输入，输入视频行为建议网络对每段视频进行行为建议；
步骤7：通过Temporal Relation Network对步骤6进行的行为建议进行分类打分输出类别。
作为优选，所述步骤3的人体检测，具体包括以下步骤：
(3.1)将预处理过得点云图三维点云压缩至二维平面，后再在二维平面中利用vBlob开源图形学库进行连通域分析，得到各个可能存在人体的区域；
(3.2)根据头、颈、肩高度H和点云片厚度h，确定人体上半身点云切片信息；根据社会调查统计取H＝40cm，h的选择方式为：
hmin＝2Dmaxtan(α) (2)
其中，Dmax是人体检测中可能出现人体的最远距离，a是传感器在垂直距离上的最小率角度范围；
(3.3)对切片最宽距离进行计算，其意义在于，这样可以不用考虑人体姿态的干扰，保证不管在传感器视野中，人体是以怎样的姿态出现，都可以提取到一致的HHS特征向量；
(3.4)将所有切片的最宽距离串联起来，就组成了HHS特征向量；
(3.5)采用预训练的SVM分类器对HHS特征点云进行人体检测。
作为优选，为实现用步骤6行为建议如下步骤：
(6.1)获取连续视频序列将其作为输入，通过Visual Encoder(C3D)用于编码video frame；
(6.2)C3D feature输入Seq.Encoder(GRU)中，为了能够更好的产生 goodproposals，对视频进行时间维度发生什么动作进行打分，采用交叉熵损失函数：
作为优选，为实现用步骤7中的Temporal Relation Network如下：
(7.1)将步骤5中每段视频的前100名候选建议作为输入；
(7.2)对每段视频进行相关性计算，公式如下：
其中fi表示的是视频第i帧和第j帧的特征，gθ表示的就是两帧之间关系矩阵，hφ表示的是如何融合多个帧间的关系得到最终分类的结果；
(7.3)对输入的前100名候选建议与相关网络相关性计算输出建议加权计算重新排名，输出最终分类。
本发明首先采用了两路不同类型相机不同视角的信息获取；其次，通过深度相机进行人体检测跟踪防止出现人多时遮挡等现象人员跟踪丢失。
本发明的优点是：检测方法简单，准确无误，能够有效的避免由于人员密集出现遮挡导致人员检测失败，从而影响行为检测。
附图说明
图1是本发明的流程图；
图2是本发明提取HHS特征的流程图；
图3是本发明的行为建议网络流程图；
图4是本发明的相关推理网络分类方法流程图。
具体实施方式
下面结合附图对本发明作进一步实例说明，此实例仅限于解释本发明，但不用于限定本发明。
实施例1：如图1所示，为本发明整体工作流程图，基于双相机联动检测监管室内人员行为的方法，包括以下步骤：
步骤1：通过安装好深度相机先获取一帧没有人存在点云图信息y1(x)，再进行实时采集深度点云图信息y2(x)；
步骤2：对获取的实时点云图与没有人的点云进行差分预处理(即： y(x)＝y2(x)-y1(x)(1))，从而减少不必要的噪声。
步骤3：进行人体检测工作流程如图2所示，首先对将预处理过的点云图作为输入，毕竟环境存在多个人，对整个点云检测人体没有意义，将预处理点云图三维点云压缩至二维平面后再在二维平面中利用vBlob开源图形学库进行连通域分析，对点云图进行分割，得到各个可能存在人体的区域，根据社会调查统计取H＝40cm确定头、颈、肩高度H和点云片厚度h，确定人体上半身点云切片，其中h的选择方式为：
hmin＝2Dmaxtan(α) (2)
Dmax是人体检测中可能出现人体的最远距离，a是传感器在垂直距离上的最小率角度范围。
然后对切片最宽距离的计算，其意义在于，这样可以不用考虑人体姿态的干扰，保证不管在传感器视野中，人体是以怎样的姿态出现，都可以提取到一致的HHS特征向量；将所有切片的最宽距离串联起来，就组成了HHS特征向量；采用预训练的SVM分类器对HHS特征点云进行人体检测。
步骤4：根据人体检测对每个人获取不同的ID标记Xi进行对每个人下一步运动位置进行预测跟踪目标函数：
Fi＝Fi pers+Fi soc+Fi phys (3)
其中，Fi表示环境中第i个人体所受到的合力,Fi pers表示第i个的行动意愿所形成的力。对该力的直观理解是人体在运动过程中，会有一个潜在的目标点，该目标点会对该人体产生一个吸引力。Fi soc表示该人体受到的来自环境中其他人体或者障碍物的力。通常，一个人在环境遇到了其他的人或者障碍物，一般情况下就无法继续按照他本来意图行走的方向和速度行走。Fi phys表示人体受环境和其他人体或障碍物占有位置限制，部分区域无法到达所受到的力，该力被定义为一个接触力，只有表示人体的圆与环境或其他物体发生接触时，才会产生该力，它表示了环境对人体行动区域的限制，根据人体日常遇到的外在合力影响，应用牛顿运动学定律预测人体的运动位置信息。
步骤5：根据步骤4实时获取的人体运动位置信息通过网络实时传递给2D 相机进行目标跟踪，获取连续的视频序列。
步骤6：对连续的视频序列用行为建议网络进行行为建议如图3所示，获取连续视频序列将其作为输入，通过Visual Encoder(C3D)用于编码video frame； C3D feature输入Seq.Encoder(GRU)中，为了能够更好的产生good proposals，对视频进行时间维度发生什么动作进行打分，采用交叉熵损失函数：
步骤7：通过Temporal Relation Network对视频进行分类如图4所示，将步骤6中每段视频的前100名候选建议作为输入；对每段视频进行相关性计算，公式如下：
其中fi表示的是视频第i帧和第j帧的特征，gθ表示的就是两帧之间关系矩阵，hφ表示的是如何融合多个帧间的关系得到最终分类的结果。
相关网络相关性计算输出建议与输入建议加权计算重新排名，输出最终分类。
以上的实施方式不能限定本发明创造的保护范围，专业技术领域的人员在不脱离本发明创造整体构思的情况下，所做的均等修饰与变化，均仍属于本发明创造涵盖的范围之内。

Claims (4)

1.一种基于双相机联动检测监管室内人员行为的方法，包括以下步骤：
步骤1：安装相机后先获取一张没有人存在点云图深度图y1(x)，然后进行实时采集环境内深度点云图信息y2(x)；
步骤2：对获取的实时点云图与没有人的点云进行差分预处理，即：y(x)＝y2(x)-y1(x)(1),删除一些不必要的噪声信息；
步骤3：根据预处理后的点云图，根据人体头、颈、肩位置进行构造HHS特征向量通过预训练SVM分类器进行人体检测；首先确定头颈肩高度H和点云片厚度h，根据社会调查大部分人H＝40cm，h的选择方式为：
hmin＝2Dmaxtan(α) (2)
其中，Dmax是人体检测中可能出现人体的最远距离，a是传感器在垂直距离上的最小分辨率角度范围；
步骤4：根据人体检测对每个人获取不同的ID标记Xi进行对每个人下一步运动位置进行预测跟踪，其目标函数如下：
Fi＝Fi pers+Fi soc+Fi phys (3)
其中，Fi表示环境中第i个人体所受到的合力,Fi pers表示第i个的行动意愿所形成的力；Fi soc表示该人体受到的来自环境中其他人体或者障碍物的力；Fi phys表示人体受环境和其他人体或障碍物占有位置限制，部分区域无法到达所受到的力；
步骤5：根据步骤4实时获取的人体运动位置信息通过网络实时传递给2D相机进行目标跟踪，获取连续的视频序列；
步骤6：对连续的视频序列作为输入，输入视频行为建议网络对每段视频进行行为建议；
步骤7：通过Temporal Relation Network对步骤6进行的行为建议进行分类打分输出类别。
2.根据权利要求1所述的基于双相机联动检测监管室内人员行为的方法，其特征在于：所述步骤3的人体检测，具体包括以下步骤：
(3.1)将预处理过得点云图三维点云压缩至二维平面，后再在二维平面中利用vBlob开源图形学库进行连通域分析，得到各个可能存在人体的区域；
(3.2)根据头、颈、肩高度H和点云片厚度h，确定人体上半身点云切片信息；根据社会调查统计取H＝40cm，h的选择方式为：
hmin＝2Dmaxtan(α) (2)
其中，Dmax是人体检测中可能出现人体的最远距离，a是传感器在垂直距离上的最小率角度范围；
(3.3)对切片最宽距离进行计算，其意义在于，这样可以不用考虑人体姿态的干扰，保证不管在传感器视野中，人体是以怎样的姿态出现，都可以提取到一致的HHS特征向量；
(3.4)将所有切片的最宽距离串联起来，就组成了HHS特征向量；
(3.5)采用预训练的SVM分类器对HHS特征点云进行人体检测。
3.根据权利要求1所述的基于双相机联动检测监管室内人员行为的方法，其特征在于：所述步骤6，具体包括以下步骤：
(6.1)获取连续视频序列将其作为输入，通过Visual Encoder(C3D)用于编码videoframe；
(6.2)C3D feature输入Seq.Encoder(GRU)中，为了能够更好的产生good proposals，对视频进行时间维度发生什么动作进行打分，采用交叉熵损失函数：
4.根据权利要求1所述的基于双相机联动检测监管室内人员行为的方法，其特征在于：所述步骤7的人体检测，具体包括以下步骤：
(7.1)将步骤5中每段视频的前100名候选建议作为输入；
(7.2)对每段视频进行相关性计算，公式如下：
其中fi表示的是视频第i帧和第j帧的特征，gθ表示的就是两帧之间关系矩阵，hφ表示的是如何融合多个帧间的关系得到最终分类的结果；
(7.3)对输入的前100名候选建议与相关网络相关性计算输出建议加权计算重新排名，输出最终分类。
CN201910326585.9A 2019-04-23 2019-04-23 基于双相机联动检测监管室内人体行为的方法 Pending CN110175521A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910326585.9A CN110175521A (zh) 2019-04-23 2019-04-23 基于双相机联动检测监管室内人体行为的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910326585.9A CN110175521A (zh) 2019-04-23 2019-04-23 基于双相机联动检测监管室内人体行为的方法

Publications (1)

Publication Number Publication Date
CN110175521A true CN110175521A (zh) 2019-08-27

Family

ID=67689845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910326585.9A Pending CN110175521A (zh) 2019-04-23 2019-04-23 基于双相机联动检测监管室内人体行为的方法

Country Status (1)

Country Link
CN (1) CN110175521A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476191A (zh) * 2020-04-15 2020-07-31 陈建 基于智慧交通的人工智能图像处理方法及大数据云服务器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104122842A (zh) * 2013-04-23 2014-10-29 北京计算机技术及应用研究所 一种监狱事件的智能化监控方法及系统
CN105141885A (zh) * 2014-05-26 2015-12-09 杭州海康威视数字技术股份有限公司 进行视频监控的方法及装置
US20180314897A1 (en) * 2017-05-01 2018-11-01 Sensormatic Electronics, LLC Surveillance System with Human Behavior Prediction by Human Action Recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104122842A (zh) * 2013-04-23 2014-10-29 北京计算机技术及应用研究所 一种监狱事件的智能化监控方法及系统
CN105141885A (zh) * 2014-05-26 2015-12-09 杭州海康威视数字技术股份有限公司 进行视频监控的方法及装置
US20180314897A1 (en) * 2017-05-01 2018-11-01 Sensormatic Electronics, LLC Surveillance System with Human Behavior Prediction by Human Action Recognition

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BOLEI ZHOU ET AL.: "Temporal Relational Reasoning in Videos", 《ARXIV》 *
任乃飞 等: "点云自适应切片方法研究", 《农业机械学报》 *
潘金一 等: "基于深度学习辅助的动态人脸跟踪方法", 《浙江工业大学学报》 *
罗坚 等: "基于3D结构光传感器的老龄人异常行为检测方法", 《光学技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476191A (zh) * 2020-04-15 2020-07-31 陈建 基于智慧交通的人工智能图像处理方法及大数据云服务器
CN111476191B (zh) * 2020-04-15 2020-12-04 蘑菇车联信息科技有限公司 基于智慧交通的人工智能图像处理方法及大数据云服务器

Similar Documents

Publication Publication Date Title
Ko A survey on behavior analysis in video surveillance for homeland security applications
CN106980829B (zh) 基于视频分析的打架斗殴异常行为自动检测方法
CN110378259A (zh) 一种面向监控视频的多目标行为识别方法及系统
CN107818326A (zh) 一种基于场景多维特征的船只检测方法及系统
CN105426820B (zh) 基于安防监控视频数据的多人异常行为检测方法
CN106128022B (zh) 一种智慧金睛识别暴力动作报警方法
CN110425005A (zh) 矿井下皮带运输人员人机交互行为安全监控与预警方法
CN105531995A (zh) 用于使用多个摄像机进行对象和事件识别的系统和方法
CN109255298A (zh) 一种动态背景中的安全帽检测方法与系统
CN111191667A (zh) 基于多尺度生成对抗网络的人群计数方法
CN102254394A (zh) 一种基于视频差异分析的输电线路杆塔防盗监控方法
Ahmed et al. An IoT‐based human detection system for complex industrial environment with deep learning architectures and transfer learning
Wu et al. A novel detection framework for detecting abnormal human behavior
CN109033979A (zh) 基于wifi和摄像机传感器决策级融合的室内行人检测方法
Zambanini et al. Detecting falls at homes using a network of low-resolution cameras
Miao et al. Abnormal Behavior Learning Based on Edge Computing toward a Crowd Monitoring System
CN114067396A (zh) 基于视觉学习的居配工程现场试验数字化管理系统及方法
CN110175521A (zh) 基于双相机联动检测监管室内人体行为的方法
CN111898440B (zh) 一种基于三维卷积神经网络的山火检测方法
Onishi Analysis and visualization of large-scale pedestrian flow in normal and disaster situations
CN111160150A (zh) 基于深度残差神经网络卷积的视频监控人群行为的识别方法
CN116052035A (zh) 一种基于卷积神经网络的电厂人员周界入侵检测方法
CN115860144A (zh) 一种用于反窃电现场的机器学习系统
CN115410222A (zh) 一种姿态感知的视频行人再识别网络
Shreedarshan et al. Crowd recognition system based on optical flow along with SVM classifier

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190827

RJ01 Rejection of invention patent application after publication