CN116189305B - 一种基于神经网络模型嵌入的人员危险动作识别方法 - Google Patents

一种基于神经网络模型嵌入的人员危险动作识别方法 Download PDF

Info

Publication number
CN116189305B
CN116189305B CN202310220882.1A CN202310220882A CN116189305B CN 116189305 B CN116189305 B CN 116189305B CN 202310220882 A CN202310220882 A CN 202310220882A CN 116189305 B CN116189305 B CN 116189305B
Authority
CN
China
Prior art keywords
neural network
network model
actions
dangerous
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310220882.1A
Other languages
English (en)
Other versions
CN116189305A (zh
Inventor
赵静
虞赛君
王婧雯
刘龙
林亚龙
马迪迪
洪挺屹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Rail Transit Group Co ltd
Original Assignee
Hefei Rail Transit Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Rail Transit Group Co ltd filed Critical Hefei Rail Transit Group Co ltd
Priority to CN202310220882.1A priority Critical patent/CN116189305B/zh
Publication of CN116189305A publication Critical patent/CN116189305A/zh
Application granted granted Critical
Publication of CN116189305B publication Critical patent/CN116189305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明提出了一种基于神经网络模型嵌入的人员危险动作识别方法，具体步骤包括：S1：训练神经网络模型；S2：通过网络剪枝算法对神经网络模型进行轻量化处理；S3：利用轻量化处理后的神经网络模型进行危险动作识别：首先实现对视频数据中目标人员的数量、人体姿态动作、位置、运动轨迹进行识别判断，再分析该动作特征的特征集中的行为语义是否属于危险动作，是否需要告警，并将告警信息通过传输网络上传到信息管理平台。本发明可实现多种复杂环境下的危险动作识别，包括行人检测、跨越虚拟边界、人群密度告警、异常奔跑等，通过该方法实现全面的保护轨道交通重点区域的乘客安全。

Description

一种基于神经网络模型嵌入的人员危险动作识别方法
技术领域
本发明属于轨道交通监控检测技术领域，尤其是涉及一种嵌入式神经网络模型的人员危险动作识别方法。
背景技术
国内轨道交通行业对公共安全、乘客人身安全的保护需求迫切，视频监控系统如摄像头、存储、分析等设施也大量的在轨道交通行业应用。但是利用深度学习等大数据智能技术及时发现险情，辅助管理人员工作在轨道交通领域尚处于研究探索阶段，无法对站台、车厢等复杂应用场景做准确分析识别，没有对轨道交通行业的特殊场景需求做深入研究。
特别是轨道交通作为城市公共交通，具有大客运量、高峰高频率、空间局促疏散不易、人员构成复杂、社会影响大等特点，对利用基础的深度学习技术实现复杂背景下的人员危险动作识别分析有一定的难度。
发明内容
为了解决现有技术在复杂的轨道交通环境下，不能利用现有的视频监控装置实现人员危险动作识别，保护乘客安全的问题，本发明提出了一种基于神经网络模型嵌入的人员危险动作识别方法，利用深度计算的神经网络模型实现人体姿态识别、在复杂背景下的人体运动轨迹识别、危险动作行为分析，及危险动作分析从而全面的保护轨道交通重点区域的乘客安全。
具体方案如下所述：
一种基于神经网络模型嵌入的人员危险动作识别方法，具体步骤如下：
S1：训练神经网络模型：首先，在轨道交通场景中利用摄像装置获取视距范围的的视频数据，对所述视频数据中的动作特征及危险动作进行识别、提取并表示；其次，利用表示的动作特征对神经网络模型进行训练，使神经网络模型学会获取准确的动作特征；再对神经网络模型进行训练使其能够识别危险动作；对训练好的神经网络模型进行测试其是否可以正确识别出所述危险动作，若测试不通过则继续进行训练；所述动作特征包括人体姿态动作和运动轨迹信息，所述危险动作包括危险的人体姿态动作和危险的运动轨迹信息；
S2：通过网络剪枝算法对测试通过的神经网络模型进行轻量化处理；
S3：利用轻量化处理后的神经网络模型进行危险动作识别：将所述轻量化处理后的神经网络模型嵌入到轨道交通场景中的摄像监控系统的数据处理单元，所述轨道交通场景中的摄像装置将视距范围内的视频数据传输给数据处理单元，所述数据处理单元利用所述轻量化的神经网络模型和视频数据中的定位信息进行危险动作识别，首先通过所述神经网络模型可首先实现对视频数据中目标人员的数量、人体姿态动作、位置、运动轨迹进行识别判断，再分析该动作特征的特征集中的行为语义是否属于危险动作，是否需要告警，并将告警信息通过传输网络上传到信息管理平台；
优选地，S3中所述动作特征的特征集包括人物自身特征和人体姿态动作，所述人体姿态动作通过对人体骨骼关键点的位置判断获得，所述人物自身特征包括发型、年龄、性别、面部特征、是否戴帽、是否背包、上衣类型与颜色、裤子类型与颜色特征。
优选地，S1中所述动作特征识别可分别从单个动作和连续动作两方面进行识别，进行所述连续动作识别时要利用S3中所述动作特征的特征集中的人体空间变换速度以及人体的髓关节在X轴和Y轴方向的运动速度表征人体整体运动，从而获取人体运动轨迹信息。
优选地，对S1中所述神经网络模型进行训练的方法为基于半监督域自适应目标样本训练，具体是通过带标签的目标域样本，抽取跨域的特征实现。
优选地，S2中所述网络剪枝算法是将所述神经网络模型中的卷积核权重的大小作为评价手段，判断参数的重要性，从而将卷积神经网络中不重要的神经元和连接进行裁剪，降低模型的复杂度和内存开销。
优选地，所述网络剪枝算法在剔除模型中不重要的参数之后，还需要通过重新训练来恢复模型的性能，以在保证模型精度和泛化能力的情况下，最大程度的压缩模型参数，减少运算量。
优选地，一种基于神经网络模型嵌入的人员危险动作识别方法，包括通过个体活跃度进行S3所述危险动作识别，识别的方法为：基于所述神经网络模型，首先得到所述动作特征中的人体姿态动作，通过人体姿态动作进行每个人员个体的活跃度评价，得到活跃度临界值，对低于活跃度临界值或高于活跃度临界值的人体姿态动作判断为危险动作，将该类危险动作与告警相关联。
优选地，一种基于神经网络模型嵌入的人员危险动作识别方法，包括通过虚拟禁区进行S3所述危险动作识别，识别的方法为：基于所述神经网络模型，首先得到人体姿态动作和位置信息，再对特定场景下人员进入所设定虚拟禁区或跨越所设定的虚拟边界的目标进行监测跟踪，并判断为危险动作，将该类危险动作与告警相关联，按照用户设置的规则触发报警。
优选地，一种基于神经网络模型嵌入的人员危险动作识别方法，包括通过行人检测进行S3所述危险动作识别，识别的方法为：基于所述神经网络模型，首先获取人体姿态和运动轨迹，实现对行人的动态跟踪，根据行人的轨迹分析，判断此人是否在一个区域内长期反复滞留徘徊，当其逗留徘徊超过一定时间之后，判断为危险动作，将该类危险动作与告警相关联，并自动告警关联。
优选地，一种基于神经网络模型嵌入的人员危险动作识别方法，包括判断重点区域内是否出现尾随跟踪情况的S3所述危险动作识别，识别的方法为：基于所述神经网络模型，首先获取人体姿态动作和运动轨迹信息，实现行为跟踪，对重点区域内长期尾随某一个人的行为进行监测识别和告警。
优选地，一种基于神经网络模型嵌入的人员危险动作识别方法，基于所述神经网络模型，通过行人检测的方法，也可对特定区域内人群密度进行检测，将人群密度与危险动作关联，在超过一定密度值时判定为危险动作，与告警关联。
优选地，一种基于神经网络模型嵌入的人员危险动作识别方法，包括根据异常剧烈运动行为进行S3所述危险动作识别，识别的方法为，基于所述神经网络模型，首先获得人体姿态动作和运动轨迹信息，并对动作特征的特征集中的行为语义进行推理，判断视频场景内的人员是否有异常奔跑、剧烈运动行为，该行为判定为危险动作，并与告警关联。
本发明的有益效果如下：
本发明提出了一种基于神经网络模型嵌入的人员危险动作识别方法，首先建立神经网络模型深度学习，再通过网络剪枝方法对测试通过的神经网络模型进行轻量化处理；最后利用轻量化的神经网络模型实现对视频数据中目标人员的数量、人体姿态动作和位置进行识别判断，进而在复杂背景下的人体运动轨迹识别、并进行危险动作行为分析；包括利用目标人员的姿态判断行人行走的方向实现行人检测；利用所述人体姿态动作信息，实现对每个人员个体的活跃度评价；实现对特定场景下人员进入所设定虚拟禁区或跨越所设定的虚拟边界的目标进行监测跟踪；对特定区域内人群密度超过一定值的进行告警；对视频场景内的人员异常奔跑、剧烈运动行为进行检测，从而全面的保护轨道交通重点区域的乘客安全。
同时，本发明选用神经网络模型作为神经网络模型，具有高度鲁棒性和容错能力。再通过对神经网络模型进行轻量化处理，保证信息处理的实时性，使开发信息管理平台将危险动作行为，即乘客安全事件信息通过传输网络上传至相关监管部门及时决策。
本发明不同于传统数人头和活动目标检测方式来统计小场景人数，可以对密集人群进行分析。有效对抗人体之间的遮挡，可对人进行精确识别、跟踪和行为分析，准确率高。能很好适应倾斜、顶装等各种视角的摄像头，对于光照，阴影等外部环境干扰，以及人员拥挤、快速移动等有良好适应性，可准确实现各种肢体动作和异常行为分析。
附图说明
图1为本发明实施例所述的一种基于神经网络模型嵌入的人员危险动作识别方法。
图2本发明实施例中奔跑打斗的危险动作识别效果图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，一种基于神经网络模型嵌入的人员危险动作识别方法，具体步骤如下：
S1：训练神经网络模型：首先，在轨道交通场景中利用摄像装置获取视距范围的的视频数据，对所述视频数据中的动作特征及危险动作进行识别、提取并表示；其次，利用表示的动作特征对神经网络模型进行训练，使神经网络模型学会获取准确的动作特征；再对神经网络模型进行训练使其能够识别危险动作；对训练好的神经网络模型进行测试其是否可以正确识别出所述危险动作，若测试不通过则继续进行训练；所述动作特征包括人体姿态动作和运动轨迹信息，所述危险动作包括危险的人体姿态动作和危险的运动轨迹信息；
S2：通过网络剪枝算法对测试通过的神经网络模型进行轻量化处理；
S3：利用轻量化处理后的神经网络模型进行危险动作识别：将所述轻量化处理后的神经网络模型嵌入到轨道交通场景中的摄像监控系统的数据处理单元，所述轨道交通场景中的摄像装置将视距范围内的视频数据传输给数据处理单元，所述数据处理单元利用所述轻量化的神经网络模型和视频数据中的定位信息进行危险动作识别，首先通过所述神经网络模型可首先实现对视频数据中目标人员的数量、人体姿态动作、位置、运动轨迹进行识别判断，再分析该动作特征的特征集中的行为语义是否属于危险动作，是否需要告警，并将告警信息通过传输网络上传到信息管理平台；
优选地，S3中所述动作特征的特征集包括人物自身特征和人体姿态动作，所述人体姿态动作通过对人体骨骼关键点的位置判断获得，所述人物自身特征包括发型、年龄、性别、面部特征、是否戴帽、是否背包、上衣类型与颜色、裤子类型与颜色特征。
优选地，S1中所述动作特征识别可分别从单个动作和连续动作两方面进行识别，进行所述连续动作识别时要利用S3中所述动作特征的特征集中的人体空间变换速度以及人体的髓关节在X轴和Y轴方向的运动速度表征人体整体运动，从而获取人体运动轨迹信息。
优选地，对S1中所述神经网络模型进行训练的方法为基于半监督域自适应目标样本训练，具体是通过带标签的目标域样本，抽取跨域的特征实现。
优选地，S2中所述网络剪枝算法是将所述神经网络模型中的神经元权重的大小作为评价手段，判断参数的重要性，从而将卷积神经网络中不重要的神经元和连接进行裁剪，降低模型的复杂度和内存开销。
优选地，所述网络剪枝算法在剔除模型中不重要的参数之后，还需要通过重新训练来恢复模型的性能，以在保证模型精度和泛化能力的情况下，最大程度的压缩模型参数，减少运算量。
深度神经网络模型层数越多、参数越多、得到的结果越精细，但会消耗一定的计算资源、增加神经网络模型计算量，需要在算法层面进行加速优化。本项目拟采用剪枝的方式，将卷积核权重的大小作为评价手段，判断参数的重要性，所述卷积核就是找出图片中和自己相似的神经元，从而将卷积神经网络中不重要的神经元和连接进行裁剪，降低模型的复杂度。对于一个卷积核，将其中所有权重的绝对值求和并排序，然后将一层中值较低的一些卷积核裁剪掉，对其相应的特征图以及后续卷积层中相应的卷积核都进行裁剪，将裁剪之后的新的核矩阵应用到新的模型中，从而实现模型压缩。为了在裁剪的过程中考虑每一卷积层对裁剪的敏感程度，可通过单独裁剪一层来检查裁剪之后整个模型的准确率，生成敏感性分析报告，从而确定每一层的敏感度阈值，对于裁剪比较敏感的卷积层，减小裁剪力度或者直接跳过这些层不进行裁剪。对于卷积神经网络中参数价值的判断，可以通过衡量每一个卷积核的激活状态来评价，对激活状态不充分的卷积核进行分析裁剪，从而将相关的神经元和连接进行删减，再初始化相关参数，对模型进行更新。在剔除模型中不重要的参数之后，还需要通过重新训练来恢复模型的性能，以在保证模型精度和泛化能力的情况下，最大程度的压缩模型参数，减少运算量。
优选地，一种基于神经网络模型嵌入的人员危险动作识别方法，包括通过个体活跃度进行S3所述危险动作识别，识别的方法为：基于所述神经网络模型，首先得到所述动作特征中的人体姿态动作，通过人体姿态动作进行每个人员个体的活跃度评价，得到活跃度临界值，对低于活跃度临界值或高于活跃度临界值的人体姿态动作判断为危险动作，将该类危险动作与告警相关联。
优选地，一种基于神经网络模型嵌入的人员危险动作识别方法，包括通过虚拟禁区进行S3所述危险动作识别，识别的方法为：基于所述神经网络模型，首先得到人体姿态动作和位置信息，再对特定场景下人员进入所设定虚拟禁区或跨越所设定的虚拟边界的目标进行监测跟踪，并判断为危险动作，将该类危险动作与告警相关联，按照用户设置的规则触发报警。
优选地，一种基于神经网络模型嵌入的人员危险动作识别方法，包括通过行人检测进行S3所述危险动作识别，识别的方法为：基于所述神经网络模型，首先获取人体姿态和运动轨迹，实现对行人的动态跟踪，根据行人的轨迹分析，判断此人是否在一个区域内长期反复滞留徘徊，当其逗留徘徊超过一定时间之后，判断为危险动作，将该类危险动作与告警相关联，并自动告警关联。
优选地，一种基于神经网络模型嵌入的人员危险动作识别方法，包括判断重点区域内是否出现尾随跟踪情况的S3所述危险动作识别，识别的方法为：基于所述神经网络模型，首先获取人体姿态动作和运动轨迹信息，实现行为跟踪，对重点区域内长期尾随某一个人的行为进行监测识别和告警。
优选地，一种基于神经网络模型嵌入的人员危险动作识别方法，基于所述神经网络模型，通过行人检测的方法，也可对特定区域内人群密度进行检测，将人群密度与危险动作关联，在超过一定密度值时判定为危险动作，与告警关联。
优选地，一种基于神经网络模型嵌入的人员危险动作识别方法，包括根据异常剧烈运动行为进行S3所述危险动作识别，识别的方法为，基于所述神经网络模型，首先获得人体姿态动作和运动轨迹信息，并对动作特征的特征集中的行为语义进行推理，判断视频场景内的人员是否有异常奔跑、剧烈运动行为，该行为判定为危险动作，并与告警关联。
技术性能指标
利用该方法搭建样机软硬件系统1套，并在轨道交通场景试用，可达到如下性能指标：
（1）视频处理速度≥15fps；
（2）轨道乘客目标分类检测准确率≥90%；
（3）轨道乘客目标检测范围(距离)≥30米；
（4）轨道乘客目标距离检测精度≤10%。
应当指出，以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明创造，但不以任何方式限制本发明创造。因此，尽管本说明书参照附图和实施例对本发明创造已进行了详细的说明，但是，本领域技术人员应当理解，仍然可以对本发明创造进行修改或者等同替换，总之，一切不脱离本发明创造的精神和范围的技术方案及其改进，其均应涵盖在本发明创造专利的保护范围当中。

Claims (11)

1.一种基于神经网络模型嵌入的人员危险动作识别方法，其特征在于，具体步骤如下：
S1：训练神经网络模型：首先，在轨道交通场景中利用摄像装置获取视距范围的的视频数据，对所述视频数据中的动作特征及危险动作进行识别、提取并表示；其次，利用表示的动作特征对神经网络模型进行训练，使神经网络模型学会获取准确的动作特征；再对神经网络模型进行训练使其能够识别危险动作；对训练好的神经网络模型进行测试其是否可以正确识别出所述危险动作，若测试不通过则继续进行训练；所述动作特征包括人体姿态动作和运动轨迹信息，所述危险动作包括危险的人体姿态动作和危险的运动轨迹信息；S1中所述动作特征识别可分别从单个动作和连续动作两方面进行识别，进行所述连续动作识别时要利用S3中所述动作特征的特征集中的人体空间变换速度以及人体的髓关节在X轴和Y轴方向的运动速度表征人体整体运动，从而获取人体运动轨迹信息；
S2：通过网络剪枝算法对测试通过的神经网络模型进行轻量化处理；
S3：利用轻量化处理后的神经网络模型进行危险动作识别：将所述轻量化处理后的神经网络模型嵌入到轨道交通场景中的摄像监控系统的数据处理单元，所述轨道交通场景中的摄像装置将视距范围内的视频数据传输给数据处理单元，所述数据处理单元利用所述轻量化的神经网络模型和视频数据中的定位信息进行危险动作识别，首先通过所述神经网络模型可实现对视频数据中目标人员的数量、人体姿态动作、位置、运动轨迹进行识别判断，再分析该动作特征的特征集中的行为语义是否属于危险动作，是否需要告警，并将告警信息通过传输网络上传到信息管理平台，所述行为语义包括：利用目标人员的姿态判断行人行走的方向实现行人检测；利用所述人体姿态动作信息，实现对每个人员个体的活跃度评价；实现对特定场景下人员进入所设定虚拟禁区或跨越所设定的虚拟边界的目标进行监测跟踪；对特定区域内人群密度超过一定值的进行告警；对视频场景内的人员异常奔跑、剧烈运动行为进行检测。
2.根据权利要求1所述的一种基于神经网络模型嵌入的人员危险动作识别方法，其特征在于，S3中所述动作特征的特征集包括人物自身特征和人体姿态动作，所述人体姿态动作通过对人体骨骼关键点的位置判断获得，所述人物自身特征包括发型、年龄、性别、面部特征、是否戴帽、是否背包、上衣类型与颜色、裤子类型与颜色特征。
3.根据权利要求1或2所述的一种基于神经网络模型嵌入的人员危险动作识别方法，其特征在于，对S1中所述神经网络模型进行训练的方法为基于半监督域自适应目标样本训练，具体是通过带标签的目标域样本，抽取跨域的特征实现。
4.根据权利要求1或2所述的一种基于神经网络模型嵌入的人员危险动作识别方法，其特征在于，S2中所述网络剪枝算法是将所述神经网络模型中的卷积核权重的大小作为评价手段，判断参数的重要性，从而将卷积神经网络中不重要的神经元和连接进行裁剪，降低模型的复杂度和内存开销。
5.根据权利要求4所述的一种基于神经网络模型嵌入的人员危险动作识别方法，其特征在于，所述网络剪枝算法在剔除模型中不重要的参数之后，还需要通过重新训练来恢复模型的性能，以在保证模型精度和泛化能力的情况下，最大程度的压缩模型参数，减少运算量。
6.根据权利要求1或5所述的一种基于神经网络模型嵌入的人员危险动作识别方法，其特征在于，包括通过个体活跃度进行S3所述危险动作识别，识别的方法为：基于所述神经网络模型，首先得到所述动作特征中的人体姿态动作，通过人体姿态动作进行每个人员个体的活跃度评价，得到活跃度临界值，对低于活跃度临界值或高于活跃度临界值的人体姿态动作判断为危险动作，将该类危险动作与告警相关联。
7.根据权利要求1或5所述的一种基于神经网络模型嵌入的人员危险动作识别方法，其特征在于，包括通过虚拟禁区进行S3所述危险动作识别，识别的方法为：基于所述神经网络模型，首先得到人体姿态动作和位置信息，再对特定场景下人员进入所设定虚拟禁区或跨越所设定的虚拟边界的目标进行监测跟踪，并判断为危险动作，将该类危险动作与告警相关联，按照用户设置的规则触发报警。
8.根据权利要求1或5所述的一种基于神经网络模型嵌入的人员危险动作识别方法，其特征在于，包括通过行人检测进行S3所述危险动作识别，识别的方法为：基于所述神经网络模型，首先获取人体姿态和运动轨迹，实现对行人的动态跟踪，根据行人的轨迹分析，判断此人是否在一个区域内长期反复滞留徘徊，当其逗留徘徊超过一定时间之后，判断为危险动作，将该类危险动作与告警相关联，并自动告警关联。
9.根据权利要求1或5所述的一种基于神经网络模型嵌入的人员危险动作识别方法，其特征在于，包括判断重点区域内是否出现尾随跟踪情况的S3所述危险动作识别，识别的方法为：基于所述神经网络模型，首先获取人体姿态动作和运动轨迹信息，实现行为跟踪，对重点区域内长期尾随某一个人的行为进行监测识别和告警。
10.根据权利要求1或5所述的一种基于神经网络模型嵌入的人员危险动作识别方法，其特征在于，基于所述神经网络模型，通过行人检测的方法，也可对特定区域内人群密度进行检测，将人群密度与危险动作关联，在超过一定密度值时判定为危险动作，与告警关联。
11.根据权利要求1或5所述的一种基于神经网络模型嵌入的人员危险动作识别方法，其特征在于，包括根据异常剧烈运动行为进行S3所述危险动作识别，识别的方法为，基于所述神经网络模型，首先获得人体姿态动作和运动轨迹信息，并对动作特征的特征集中的行为语义进行推理，判断视频场景内的人员是否有异常奔跑、剧烈运动行为，该行为判定为危险动作，并与告警关联。
CN202310220882.1A 2023-03-09 2023-03-09 一种基于神经网络模型嵌入的人员危险动作识别方法 Active CN116189305B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310220882.1A CN116189305B (zh) 2023-03-09 2023-03-09 一种基于神经网络模型嵌入的人员危险动作识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310220882.1A CN116189305B (zh) 2023-03-09 2023-03-09 一种基于神经网络模型嵌入的人员危险动作识别方法

Publications (2)

Publication Number Publication Date
CN116189305A CN116189305A (zh) 2023-05-30
CN116189305B true CN116189305B (zh) 2023-07-18

Family

ID=86440382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310220882.1A Active CN116189305B (zh) 2023-03-09 2023-03-09 一种基于神经网络模型嵌入的人员危险动作识别方法

Country Status (1)

Country Link
CN (1) CN116189305B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351405B (zh) * 2023-12-06 2024-02-13 江西珉轩智能科技有限公司 一种人群行为分析系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160087277A (ko) * 2015-01-13 2016-07-21 아주대학교산학협력단 클라우드 플랫폼에 기반한 교통안전 정보 제공 시스템 및 그것을 이용한 교통안전 정보 제공 방법
CN113256924A (zh) * 2020-02-12 2021-08-13 中车唐山机车车辆有限公司 一种轨道列车的监控系统，监控方法及监控装置
CN114155601A (zh) * 2021-12-02 2022-03-08 山东中科先进技术研究院有限公司 一种基于视觉的作业人员危险行为检测方法及系统
CN115393690A (zh) * 2022-09-02 2022-11-25 西安工业大学 一种轻量化神经网络的空对地观测多目标识别方法
CN115713715A (zh) * 2022-11-22 2023-02-24 天津安捷物联科技股份有限公司 一种基于深度学习的人体行为识别方法及识别系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10691950B2 (en) * 2017-03-10 2020-06-23 Turing Video, Inc. Activity recognition method and system
US11126854B1 (en) * 2017-06-02 2021-09-21 Amazon Technologies, Inc. Efficient identification of objects in videos using motion information
CN110490171B (zh) * 2019-08-26 2022-06-21 睿云联(厦门)网络通讯技术有限公司 一种危险姿态识别方法、装置、计算机设备及存储介质
CN111259751B (zh) * 2020-01-10 2023-08-29 北京百度网讯科技有限公司 基于视频的人体行为识别方法、装置、设备及存储介质
CN113723185B (zh) * 2021-07-26 2024-01-26 深圳大学 动作行为识别方法、装置、存储介质及终端设备
CN113963315A (zh) * 2021-11-16 2022-01-21 重庆邮电大学 一种复杂场景下实时视频多人行为识别方法及系统
CN114758195A (zh) * 2022-05-10 2022-07-15 西安交通大学 一种可持续学习的人体运动预测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160087277A (ko) * 2015-01-13 2016-07-21 아주대학교산학협력단 클라우드 플랫폼에 기반한 교통안전 정보 제공 시스템 및 그것을 이용한 교통안전 정보 제공 방법
CN113256924A (zh) * 2020-02-12 2021-08-13 中车唐山机车车辆有限公司 一种轨道列车的监控系统，监控方法及监控装置
CN114155601A (zh) * 2021-12-02 2022-03-08 山东中科先进技术研究院有限公司 一种基于视觉的作业人员危险行为检测方法及系统
CN115393690A (zh) * 2022-09-02 2022-11-25 西安工业大学 一种轻量化神经网络的空对地观测多目标识别方法
CN115713715A (zh) * 2022-11-22 2023-02-24 天津安捷物联科技股份有限公司 一种基于深度学习的人体行为识别方法及识别系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Dangerous Action Recognition for Spatial-Temporal Graph Convolutional Networks;Zhao Yan etal.;《2022 IEEE 12th International Conference on Electronics Information and Emergency Communication（ICEIEC）》;216-219 *
一种城市道路场景下行人危险度评估方法;曾令秋;马济森;韩庆文;叶蕾;;湖南大学学报(自然科学版)(08);47-53 *
成都地铁5号线人员安全管理体系研究;张子龙;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》;C033-305 *

Also Published As

Publication number Publication date
CN116189305A (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN111898514B (zh) 一种基于目标检测与动作识别的多目标视觉监管方法
CN108647582A (zh) 一种复杂动态环境下目标行为识别与预测方法
KR20180107930A (ko) 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템
CN105426820B (zh) 基于安防监控视频数据的多人异常行为检测方法
Lim et al. iSurveillance: Intelligent framework for multiple events detection in surveillance videos
CN116189305B (zh) 一种基于神经网络模型嵌入的人员危险动作识别方法
CN111428617A (zh) 一种基于视频图像的配网违规检修行为的识别方法和系统
Cao et al. An effective railway intrusion detection method using dynamic intrusion region and lightweight neural network
CN110728252A (zh) 一种应用于区域人员运动轨迹监控的人脸检测方法
CN113378649A (zh) 身份、位置和动作识别方法、系统、电子设备及存储介质
Yandouzi et al. Investigation of combining deep learning object recognition with drones for forest fire detection and monitoring
Miao et al. Abnormal Behavior Learning Based on Edge Computing toward a Crowd Monitoring System
Nakkach et al. Smart border surveillance system based on deep learning methods
Yu et al. Drowsydet: A mobile application for real-time driver drowsiness detection
CN116778657A (zh) 一种智能识别入侵行为的方法及系统
CN116310933A (zh) 轨道交通侵界场景人员跨镜跟踪预警方法及系统
Satya Sujith et al. Optimal support vector machine and hybrid tracking model for behaviour recognition in highly dense crowd videos
Chattoadhyay et al. Anomalous Crowd Behavior Detection Using Raspberri PI
Choubisa et al. Human Crawl vs Animal Movement and Person with Object Classifications Using CNN for Side-view Images from Camera
Hemaanand et al. Smart surveillance system using computer vision and Internet of Things
Vignesh et al. Mask Detection for Life Protection
Loungani et al. Vision Based Vehicle-Pedestrian Detection and Warning System
CN117058627B (zh) 一种公共场所人群安全距离监测方法、介质及系统
CN117437599B (zh) 面向监控场景的行人异常事件检测方法和系统
Srihari Spatio-Temporal Information for Action Recognition in Thermal Video Using Deep Learning Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant