CN114565886A - 一种应用于铁路行业人员跨越股道危险行为检测方法 - Google Patents

一种应用于铁路行业人员跨越股道危险行为检测方法 Download PDF

Info

Publication number
CN114565886A
CN114565886A CN202111545527.9A CN202111545527A CN114565886A CN 114565886 A CN114565886 A CN 114565886A CN 202111545527 A CN202111545527 A CN 202111545527A CN 114565886 A CN114565886 A CN 114565886A
Authority
CN
China
Prior art keywords
alarm
personnel
track
image
dangerous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111545527.9A
Other languages
English (en)
Inventor
马伟叁
田璇玮
江新乐
程标
刘荣富
王永华
袁敏
蒋肖锋
李林
林杨
陈刚
叶卫春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gosuncn Chuanglian Technology Co ltd
Institute of Science and Technology of China Railway Shanghai Group Co Ltd
Original Assignee
Gosuncn Chuanglian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gosuncn Chuanglian Technology Co ltd filed Critical Gosuncn Chuanglian Technology Co ltd
Priority to CN202111545527.9A priority Critical patent/CN114565886A/zh
Publication of CN114565886A publication Critical patent/CN114565886A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0225—Monitoring making use of different thresholds, e.g. for different alarm levels
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0261—System arrangements wherein the object is to detect trespassing over a fixed physical boundary, e.g. the end of a garden

Abstract

本发明涉及一种应用于铁路行业人员跨越股道危险行为检测方法。解决现有技术中视频监控无法进行智能分析和报警的问题。方法包括预设图像危险区域；采用预训练的深度学习目标检测模型识别图像中人员，进一步识别脚踝关节点，根据脚踝关节点是否位于危险区域进行第一次报警判断；采用预训练的深度学习多分类检测模型识别人员与铁轨股道临近关系，判断是否为正常作业行为进行第二次报警判断；综合第一次和第二次报警判断，对人员跨越股道危险行为进行报警判断。本发明实现自动检测铁轨股道上是否有人员跨越的危险行为，并能有效的过滤掉因人体遮挡导致的误报和因进出车厢装卸货物导致的误报，实现铁路货场人员违规跨越股道的准确检测。

Description

一种应用于铁路行业人员跨越股道危险行为检测方法
技术领域
本发明涉及视频监控技术领域，尤其是涉及一种应用于铁路行业人员跨越股道危险行为检测方法。
背景技术
近年来铁路货场安全事故频发，目前货运站场内主要通过人防手段对场内人员及其作业过程进行管控，无论是监管力度还是监管效率都有待提高。铁轨股道上禁止人员跨越，当前虽然已经部署了传统的视频监控手段，但未充分发挥视频的优势，监控视频主要用于事后调查追溯，未能充分发挥视频智能分析，即时推送报警的优势。
发明内容
本发明主要是解决现有技术中传统视频监控无法进行智能分析和报警的问题，提供了一种应用于铁路行业人员跨越股道危险行为检测方法。
本发明的上述技术问题主要是通过下述技术方案得以解决的：一种应用于铁路行业人员跨越股道危险行为检测方法，用于对摄像机拍摄月台之间铁轨股道图像进行分析，包括以下步骤：
S1.预先设置摄像机监控图像中危险区域；
S2.采用预训练的深度学习目标检测模型识别图像中的人员；
S3.采用预训练的人体关节识别模型识别人员的脚踝关节点，根据脚踝关节点是否位于危险区域来进行第一次报警判断；
S4.采用预训练的深度学习多分类检测模型识别人员与铁轨股道临近关系，根据人员与铁轨股道临近关系是否为正常作业行为进行第二次报警判断；
S5.综合第一次报警判断和第二次报警判断，对人员跨越股道危险行为进行报警判断。
本发明能够实现自动检测铁轨股道上是否有人员跨越的危险行为，并能有效的过滤掉因人体遮挡导致的误报和因进出车厢装卸货物导致的误报，实现铁路货场人员违规跨越股道的准确检测。本发明结合通过脚踝关节点是否位于危险区的判断、人员是否安全作业两种情况来对人员跨越铁轨股道危险行为进行检测，排除了误报的情况，检测结构更加准确。
作为上述方案的一种优选方案，所述步骤S1具体过程包括：
采集摄像机拍摄铁轨股道的监控图像，沿铁轨股道区域设定对应的多个危险区域。
作为上述方案的一种优选方案，所述步骤S2具体包括：
采集一帧实时图像；
采用预训练的深度学习目标检测模型识别图像中的人员，获得人员识别结果，人员识别结果为一个人员识别框，包括人员识别框左上顶点坐标和宽高信息。
作为上述方案的一种优选方案，所述的采用预训练的人体关节识别模型识别人员的脚踝关节点，包括：
以人员识别框中心点为中心，裁剪中心点周边方形区域图像；其中方形区域可进行配置，方形区域一般取500*500像素区域。
将裁剪图像输入到预训练的人体关节识别模型中，获得人员各关节点，关节点包括所在坐标位置；
遍历每个人员的关节点，判断是否有识别到脚踝换节点，若有，将该人员的两个脚踝关节点的中心点记为报警点，若无，判定为人体不完整，结束该人员的判断。
作为上述方案的一种优选方案，所述的根据脚踝关节点是否位于危险区域来进行第一次报警判断，包括：
遍历报警点，以报警点为起点引出一条射线，统计射线与危险区域边界的相交次数，若相交次数为奇数，则判定报警点在危险区域内，对应人员符合第一报警条件，若相交次数为偶数，则判定报警点在危险区域外。
作为上述方案的一种优选方案，所述的采用预训练的深度学习多分类检测模型识别人员与铁轨股道临近关系，包括：
以人员识别框中心点为中心，裁剪中心点周边方形区域图像；其中方形区域可进行配置，方形区域一般取500*500像素区域。
将裁剪图像输入到预训练的深度学习多分类检测模型中，获得人员与铁轨股道临近关系；
其中根据预训练的深度学习多分类检测模型获得的人员与铁轨股道临近关系包括以下类别：躺在股道上类别、站在股道上类别、坐在股道上类别、站在铁轨线上类别、在股道旁类别、仅有铁轨股道类别、其他类别，其中其他类别包括人在车厢装卸货物和人在车头尾的情况，将躺在股道上类别、站在股道上类别、坐在股道上类别、站在铁轨线上类别作为报警分类，将在股道旁类别、仅有铁轨股道类别、其他类别作为非报警分类。本方案深度学习多分类检测模型为采用现有技术。采用Resnet50神经网络，根据分类要求调整参数，并输入相应的训练集进行训练，可以得到一个分类模型。深度学习多分类检测模型基于人员与铁轨股道的位置关系进行训练的，分类类型包括七个类型。
作为上述方案的一种优选方案，所述的根据人员与铁轨股道临近关系是否为正常作业行为进行第二次报警判断，包括：
遍历各裁剪图像，判断裁剪图像的人员与铁轨股道临近关系是否属于报警分类，若是，判断为危险行为，对应人员符合第二报警条件，若否，判断正常作业情况。
作为上述方案的一种优选方案，所述步骤S5的具体过程包括：
根据步骤S4的第一次判断和步骤S5的第二次报警判断，判断人员是否同时符合第一报警条件和第二报警条件，若是，进行报警，保存当前报警发生的帧图像、分析过程的图像、报警前后P秒的原始视频，实时推送至报警平台；若否，不触发报警。时间P可以进行配置，一般取10秒。在触发报警后将当前报警发生的帧图像、分析过程的图像、报警前后P秒的原始视频，实时推送至报警平台，以供可视化查看和方便人员进行追踪处理。
因此，本发明能够实现自动检测铁轨股道上是否有人员跨越的危险行为，并能有效的过滤掉因人体遮挡导致的误报和因进出车厢装卸货物导致的误报，实现铁路货场人员违规跨越股道的准确检测。
附图说明
图1是本发明的一种流程示意图；
图2是本发明监控图像预设危险区域的一种示意图；
图3是本发明中判断脚踝关节点是否落入危险区域的一种示意图。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
实施例：
本实施例一种应用于铁路行业人员跨越股道危险行为检测方法，用于对摄像机拍摄月台之间铁轨股道图像进行分析，其中摄像机安装以俯角约30度，水平朝左或朝右偏转角约60度，拍摄月台的铁轨股道。在本方法中采用的各深度学习检测模型为采用现有技术手段，该检测模型采用Pytorch深度学习框架作为本算法的训练识别框架，而Resnet是残差 网络(Residual Network)的缩写,该系列网络广泛用于目标分类等领域以及作为计算机视觉任务主干经典神经网络的一部分。典型的网络有Resnet50,Resnet101等，目前本算法中采用Resnet50网络结构作为目标分类训练的神经网络结构。通过输入对应的样本进行训练，训练得到相应的分类器。
如图1所示，方法包括以下步骤：
S1.预先设置摄像机监控图像中危险区域；具体包括：
采集摄像机拍摄铁轨股道的监控图像，沿铁轨股道区域设定对应的多个危险区域A1,A2,…,An，如图2所示，设置有两个黑色框作为危险区域。
S2.采用预训练的深度学习目标检测模型识别图像中的人员；具体包括：
S21.采集一帧实时图像；
S22.采用预训练的深度学习目标检测模型识别图像中的人员，获得人员识别结果[p1k,p2k,…,pik，…pnk]，其中人员识别结果pik为一个人员识别框，包括人员识别框左上顶点坐标和宽高信息。
S3.采用预训练的人体关节识别模型识别人员的脚踝关节点，根据脚踝关节点是否位于危险区域来进行第一次报警判断；具体包括：
S31.以人员识别框中心点为中心，裁剪中心点周边500*500像素区域图像；
S32.将裁剪图像输入到预训练的人体关节识别模型中，获得人员各关节点，关节点包括所在坐标位置；
S33.遍历每个人员的关节点，判断是否有识别到脚踝换节点，若有，将该人员的两个脚踝关节点的中心点记为报警点，若无，判定为人体不完整，结束该人员的判断。
S34.遍历报警点，以报警点为起点引出一条射线，统计射线与危险区域边界的相交次数，若相交次数为奇数，则判定报警点在危险区域内，对应人员符合第一报警条件，若相交次数为偶数，则判定报警点在危险区域外。如图3所示，以A和B两点为例，分别作向右的射线，其中A与危险区域边界相交次数为2次，为偶数，可以确定A点在危险区域外，而B点与危险区域边界相交次数为3次，为奇数，可以确定B点在危险区域内。
S4.采用预训练的深度学习多分类检测模型识别人员与铁轨股道临近关系，根据人员与铁轨股道临近关系是否为正常作业行为进行第二次报警判断；具体包括：
S41.以人员识别框中心点为中心，裁剪中心点周边500*500像素区域图像；
S42.将裁剪图像输入到预训练的深度学习多分类检测模型中，获得人员与铁轨股道临近关系；
其中根据预训练的深度学习多分类检测模型基于人员与铁轨股道的位置关系进行训练的，人员与铁轨股道临近关系包括以下类别：躺在股道上类别(lying_track)、站在股道上类别(sit_track)、坐在股道上类别(sit_track)、站在铁轨线上类别(walk_line)、在股道旁类别(by_track)、仅有铁轨股道类别(rails)、其他类别(other)，其中其他类别(other)包括人在车厢装卸货物和人在车头尾的情况，实际算法推理过程中，会根据算法训练得到的分类模型，进行场景泛化，人在车厢装卸货物以及人在车头车尾的情况都会被归类到其他类别(other)。将躺在股道上类别(lying_track)、站在股道上类别(sit_track)、坐在股道上类别(sit_track)、站在铁轨线上类别(walk_line)作为报警分类，将在股道旁类别(by_track)、仅有铁轨股道类别(rails)、其他类别(other)作为非报警分类。
S43.遍历各裁剪图像，判断裁剪图像的人员与铁轨股道临近关系是否属于报警分类，若是，判断为危险行为，对应人员符合第二报警条件，若否，判断正常作业情况。
S5.综合第一次报警判断和第二次报警判断，对人员跨越股道危险行为进行报警判断。具体包括：
根据步骤S4的第一次判断和步骤S5的第二次报警判断，判断人员是否同时符合第一报警条件和第二报警条件，若是，进行报警，保存当前报警发生的帧图像、分析过程的图像、报警前后10秒的原始视频，实时推送至报警平台，以供可视化查看和方便人员进行追踪处理；若否，不触发报警。
在完成上述步骤后进入到对下一帧图像的分析。其中为了避免同一人员在短时间内频繁报警，还可以设置两个报警之间的间隔时间，将处于间隔时间内的报警过滤。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (8)

1.一种应用于铁路行业人员跨越股道危险行为检测方法，用于对摄像机拍摄月台之间铁轨股道图像进行分析，其特征在于：包括以下步骤：
S1.预先设置摄像机监控图像中危险区域；
S2.采用预训练的深度学习目标检测模型识别图像中的人员；
S3.采用预训练的人体关节识别模型识别人员的脚踝关节点，根据脚踝关节点是否位于危险区域来进行第一次报警判断；
S4.采用预训练的深度学习多分类检测模型识别人员与铁轨股道临近关系，根据人员与铁轨股道临近关系是否为正常作业行为进行第二次报警判断；
S5.综合第一次报警判断和第二次报警判断，对人员跨越股道危险行为进行报警判断。
2.根据权利要求1所述的一种应用于铁路行业人员跨越股道危险行为检测方法，其特征是所述步骤S1具体过程包括：
采集摄像机拍摄铁轨股道的监控图像，沿铁轨股道区域设定对应的多个危险区域。
3.根据权利要求1所述的一种应用于铁路行业人员跨越股道危险行为检测方法，其特征是所述步骤S2具体包括：
采集一帧实时图像；
采用预训练的深度学习目标检测模型识别图像中的人员，获得人员识别结果，人员识别结果为一个人员识别框，包括人员识别框左上顶点坐标和宽高信息。
4.根据权利要求3所述的一种应用于铁路行业人员跨越股道危险行为检测方法，其特征是所述的采用预训练的人体关节识别模型识别人员的脚踝关节点，包括：
以人员识别框中心点为中心，裁剪中心点周边方形区域图像；
将裁剪图像输入到预训练的人体关节识别模型中，获得人员各关节点，关节点包括所在坐标位置；
遍历每个人员的关节点，判断是否有识别到脚踝换节点，若有，将该人员的两个脚踝关节点的中心点记为报警点，若无，判定为人体不完整，结束该人员的判断。
5.根据权利要求4所述的一种应用于铁路行业人员跨越股道危险行为检测方法，其特征是所述的根据脚踝关节点是否位于危险区域来进行第一次报警判断，包括：
遍历报警点，以报警点为起点引出一条射线，统计射线与危险区域边界的相交次数，若相交次数为奇数，则判定报警点在危险区域内，对应人员符合第一报警条件，若相交次数为偶数，则判定报警点在危险区域外。
6.根据权利要求3所述的一种应用于铁路行业人员跨越股道危险行为检测方法，其特征是所述的采用预训练的深度学习多分类检测模型识别人员与铁轨股道临近关系，包括：
以人员识别框中心点为中心，裁剪中心点周边方形区域图像；
将裁剪图像输入到预训练的深度学习多分类检测模型中，获得人员与铁轨股道临近关系；
其中根据预训练的深度学习多分类检测模型获得的人员与铁轨股道临近关系包括以下类别：躺在股道上类别、站在股道上类别、坐在股道上类别、站在铁轨线上类别、在股道旁类别、仅有铁轨股道类别、其他类别，其中其他类别包括人在车厢装卸货物和人在车头尾的情况，将躺在股道上类别、站在股道上类别、坐在股道上类别、站在铁轨线上类别作为报警分类，将在股道旁类别、仅有铁轨股道类别、其他类别作为非报警分类。
7.根据权利要求6所述的一种应用于铁路行业人员跨越股道危险行为检测方法，其特征是所述的根据人员与铁轨股道临近关系是否为正常作业行为进行第二次报警判断，包括：
遍历各裁剪图像，判断裁剪图像的人员与铁轨股道临近关系是否属于报警分类，若是，判断为危险行为，对应人员符合第二报警条件，若否，判断正常作业情况。
8.根据权利要求7所述的一种应用于铁路行业人员跨越股道危险行为检测方法，其特征是所述步骤S5的具体过程包括：
根据步骤S4的第一次判断和步骤S5的第二次报警判断，判断人员是否同时符合第一报警条件和第二报警条件，若是，进行报警，保存当前报警发生的帧图像、分析过程的图像、报警前后P秒的原始视频，实时推送至报警平台；若否，不触发报警。
CN202111545527.9A 2021-12-16 2021-12-16 一种应用于铁路行业人员跨越股道危险行为检测方法 Pending CN114565886A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111545527.9A CN114565886A (zh) 2021-12-16 2021-12-16 一种应用于铁路行业人员跨越股道危险行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111545527.9A CN114565886A (zh) 2021-12-16 2021-12-16 一种应用于铁路行业人员跨越股道危险行为检测方法

Publications (1)

Publication Number Publication Date
CN114565886A true CN114565886A (zh) 2022-05-31

Family

ID=81712287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111545527.9A Pending CN114565886A (zh) 2021-12-16 2021-12-16 一种应用于铁路行业人员跨越股道危险行为检测方法

Country Status (1)

Country Link
CN (1) CN114565886A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030391A (zh) * 2023-01-06 2023-04-28 滨州邦维信息科技有限公司 煤炭卸料口人员风险智能监测方法
CN116863638A (zh) * 2023-06-01 2023-10-10 国药集团重庆医药设计院有限公司 一种基于主动预警的人员异常行为检测方法及安防系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030391A (zh) * 2023-01-06 2023-04-28 滨州邦维信息科技有限公司 煤炭卸料口人员风险智能监测方法
CN116030391B (zh) * 2023-01-06 2023-07-21 滨州邦维信息科技有限公司 煤炭卸料口人员风险智能监测方法
CN116863638A (zh) * 2023-06-01 2023-10-10 国药集团重庆医药设计院有限公司 一种基于主动预警的人员异常行为检测方法及安防系统
CN116863638B (zh) * 2023-06-01 2024-02-23 国药集团重庆医药设计院有限公司 一种基于主动预警的人员异常行为检测方法及安防系统

Similar Documents

Publication Publication Date Title
CN109257569B (zh) 安防视频监控分析方法
CN114565886A (zh) 一种应用于铁路行业人员跨越股道危险行为检测方法
CN105744232B (zh) 一种基于行为分析技术的输电线路视频防外破的方法
CN106981163B (zh) 一种人员入侵异常事件报警方法
CN106652465A (zh) 一种道路异常驾驶行为的识别方法及系统
DE102005026876A1 (de) Fahrzeugumgebungs-Überwachungsvorrichtung
CN102496275B (zh) 客车超载检测方法
CN110895662A (zh) 车辆超载报警方法、装置、电子设备及存储介质
CN110991348A (zh) 基于光流梯度幅值特征的人脸微表情检测方法
WO2008046662A1 (en) Video image guideway intrusion detection system
CN109492548B (zh) 基于视频分析的区域mask图片的获得方法
CN115797832A (zh) 一种游泳场景下的异常行为识别方法、系统及存储介质
Srinivas et al. Image processing edge detection technique used for traffic control problem
CN115035564A (zh) 基于巡逻车智能摄像机的人脸识别方法、系统及相关组件
CN106951820A (zh) 基于环形模板和椭圆拟合的客流统计方法
JP3531503B2 (ja) 眼の状態検出装置及び居眠り運転警報装置
CN114565887A (zh) 一种基于安全帽佩戴识别的叉车安全作业检测方法
CN116052035A (zh) 一种基于卷积神经网络的电厂人员周界入侵检测方法
KR102264266B1 (ko) 단속 대상 전반을 단속처리하기 위한 인공지능 영상판독 기반 장애인 전용 주차구역 단속 시스템
CN114565885A (zh) 一种应用于铁路货场棚车开关车门作业安全检测方法
JP2020021111A (ja) 種別判定プログラム、種別判定装置及び種別判定方法
JP6968248B1 (ja) 画像解析通報システム、画解析通報プログラム及び画像解析通報方法
CN114613098B (zh) 一种托盘码放越界检测方法
Liu et al. Intelligent video analysis system for railway station
CN114044005B (zh) 一种站台屏蔽门与列车间异物探测处置装置及处置方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220901

Address after: Building 536, No. 465, Middle Tianmu Road, Jing'an District, Shanghai, 200070

Applicant after: INSTITUTE OF SCIENCE AND TECHNOLOGY, CHINA RAILWAY SHANGHAI GROUP CO.,LTD.

Applicant after: GOSUNCN CHUANGLIAN TECHNOLOGY Co.,Ltd.

Address before: 310013 5 floor, 10 building, 30 Wan Tang Road, Xihu District, Hangzhou, Zhejiang.

Applicant before: GOSUNCN CHUANGLIAN TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right