CN114140832A - 井下行人越界风险检测方法、装置、电子设备及存储介质 - Google Patents

井下行人越界风险检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114140832A
CN114140832A CN202210113490.0A CN202210113490A CN114140832A CN 114140832 A CN114140832 A CN 114140832A CN 202210113490 A CN202210113490 A CN 202210113490A CN 114140832 A CN114140832 A CN 114140832A
Authority
CN
China
Prior art keywords
pedestrian
human body
body posture
algorithm
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210113490.0A
Other languages
English (en)
Inventor
赵金剑
杜磊岐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Huachuang Marco Intelligent Control System Co ltd
Original Assignee
Xi'an Huachuang Marco Intelligent Control System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Huachuang Marco Intelligent Control System Co ltd filed Critical Xi'an Huachuang Marco Intelligent Control System Co ltd
Priority to CN202210113490.0A priority Critical patent/CN114140832A/zh
Publication of CN114140832A publication Critical patent/CN114140832A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种井下行人越界风险检测方法、装置、电子设备及存储介质，方法包括：实时获取井下行人监控视频图像；对所述视频图像进行切帧处理，得到待处理图像，所述待处理图像中包括：多个行人图像；基于人体姿态估计算法对所述多个行人图像进行识别处理，以生成各行人的人体姿态信息；基于多目标行人追踪算法对所述多个行人图像进行追踪处理，以生成各行人的运动轨迹；根据各行人的人体姿态信息、运动轨迹和预定的危险区域进行坐标比对操作，并根据坐标比对操作结果确定行人是否存在越界风险。通过本发明，可以有效地进行井下行人越界检测，能够对综采工作面内行人危险区域越界检测提供实时的精准预警，可以较好地确保煤矿工人的工作安全。

Description

井下行人越界风险检测方法、装置、电子设备及存储介质
技术领域
本发明涉及矿井安全技术领域，具体涉及一种井下行人越界风险检测方法、装置、电子设备及存储介质。
背景技术
随着矿区生产自动化程度的不断提高，越来越多的视频监控系统已被部署到井下的重点安全区域，如工作面采煤区、水泵房、支架大脚等。高清的视频监控系统能够在事故发生后提供丰富的报备参考信息。但这种事后取证的被动做法，并没有完全发挥出视频监控系统的主动识别报警作用，仅是记录了视频信息，也没有对视频信息进一步处理分析，井下自动化监控和管理水平依然薄弱。
为更好地利用现有的硬件部署获得丰富的监控管理信息，基于视频分析的井下智能监控和矿井行人越界检测方法应运而生。基于视频的行人目标检测方法目前可分为两大类：一类基于背景建模，另一类基于统计学习。其中，背景建模方法利用“前景－背景”分割技术，基于已有的公共行人样本库，计算简单方便，效果直观，更容易实现实时处理，此类方法中有代表性的为混合高斯背景建模。但是，在矿井环境下，往往存在噪声多、摄像头角度位置偏低、整体照度暗、光线变化复杂等问题，因此，已有的公共行人样本库并不能直接应用于井下行人，且没有足够量的井下行人样本。统计学习方法准确性较好，其关键在于能够高效描述特征的选取和分类器的样本训练，但是由于特征提取和图像滑动窗口遍历的计算量过大，导致了实时性要求难以保证。
也就是说，目前尚未有有效地井下行人越界风险检测方案，这是亟待需要解决的问题。
发明内容
有鉴于此，本发明提供一种井下行人越界风险检测方法、装置、电子设备及存储介质，以解决上述提及的至少一个问题。
根据本发明的第一方面，提供一种井下行人越界风险检测方法，所述方法包括：
实时获取井下行人监控视频图像；
对所述视频图像进行切帧处理，得到待处理图像，所述待处理图像中包括：多个行人图像；
基于人体姿态估计算法对所述多个行人图像进行识别处理，以生成各行人的人体姿态信息；
基于多目标行人追踪算法对所述多个行人图像进行追踪处理，以生成各行人的运动轨迹；
根据各行人的人体姿态信息、运动轨迹和预定的危险区域进行坐标比对操作，并根据坐标比对操作结果确定行人是否存在越界风险。
根据本发明的第二方面，提供一种井下行人越界风险检测装置，所述装置包括：
视频获取单元，用于实时获取井下行人监控视频图像；
待处理图像生成单元，用于对所述视频图像进行切帧处理，得到待处理图像，所述待处理图像中包括：多个行人图像；
人体姿态信息生成单元，用于基于人体姿态估计算法对所述多个行人图像进行识别处理，以生成各行人的人体姿态信息；
运动轨迹生成单元，用于基于多目标行人追踪算法对所述多个行人图像进行追踪处理，以生成各行人的运动轨迹；
判断单元，用于根据各行人的人体姿态信息、运动轨迹和预定的危险区域进行坐标比对操作，并根据坐标比对操作结果确定行人是否存在越界风险。
根据本发明的第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
根据本发明的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
由上述技术方案可知，通过对获取的井下行人监控视频图像进行切帧处理，得到待处理图像，随后基于人体姿态估计算法对待处理图像中的多个行人图像进行识别处理，生成各行人的人体姿态信息，同时基于多目标行人追踪算法对多个行人图像进行追踪处理，生成各行人的运动轨迹，之后根据各行人的人体姿态信息、运动轨迹和预定的危险区域进行坐标比对操作，并根据坐标比对操作结果确定行人是否存在越界风险，如此，可以有效地进行井下行人越界检测，能够对综采工作面内行人危险区域越界检测提供实时的精准预警，可以较好地确保煤矿工人的工作安全。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的井下行人越界风险检测方法的流程图；
图2是根据本发明实施例的井下行人越界风险检测方法的详细流程图；
图3（1）-图3（5）是根据本发明实施例的人体识别示例图；
图4是根据本发明实施例的井下行人越界风险检测装置的结构框图；
图5是根据本发明实施例的人体姿态信息生成单元3的结构框图；
图6是根据本发明实施例的运动轨迹生成单元4的结构框图；
图7是根据本发明实施例的判断单元5的结构框图；
图8为本发明实施例的电子设备600的系统构成的示意框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在实现本申请的过程中，申请人发现如下相关技术：
技术一：基于井下已部署好的高清网络摄像头，集中式获取视频流，通过行人越界检测算法识别出视频流中运动的行人目标，在识别目标的基础上，通过状态缓冲处理计算出越界趋势，并判断出越界方向。具体地，首先选择性设定感兴趣热点区域、检测模式（越线模式：设定检测线；区域模式：设定四边形）等配置参数。对输入图像初始化后，进行预处理及前景提取，主检测模块能够识别并标记出行人目标，最终对行人目标进行跨线或者入侵判断。
然而，该技术对于危险区域未做到自动识别，尚需要人为配置参数，绘制电子围栏方式确定危险区域。其次，行人目标检测结果以矩形框的形式输出，如果工作人员只有手臂越过线缆槽而腿站立在危险区域以外，此时检测结果的矩形框与危险区域产生重合从而导致误判。最后，前后景提取方法在多目标运动相互遮挡时，很难提取行人目标。
技术二：将原始视频差分为图像帧，并选取一帧作为背景帧；基于深度学习的注意力机制和目标检测算法将每一帧图像中的工人检测出来，将工人所在的位置形成框裁剪出来，保存为图片，随后，将剪裁的工人矩形框图片、定位信息、所处理的帧信息这三项作为一组保存在链表中，完成所有帧图像的压缩。从链表中依次取出工人的裁剪矩形框、位置和图像帧的编号作为一组，把每一组覆盖到背景帧中，完成所有帧图像的解码还原。其中目标检测算法为基于区域的卷积神经网络，包括FAST-RCNN、SSD、YOLO等，用于检测物体的种类和定位物体位置。
然而，该技术中的目标检测算法用于行人识别，定位物体位置仅仅局限于矩形框，这种方法对于越线检测场景来说不够精确精准。另外，通过差分选取背景帧不够灵活，模型效果很难得到保证。
也就是说，目前尚未有有效地井下行人越界风险检测方案，基于此，本发明实施例提供一种井下行人越界风险检测方案，该方案通过人体姿态关键点骨架检测识别和多目标行人追踪算法，能够对综采工作面内行人危险区域越界检测提供实时的精准预警，可以较好地进行井下行人越界检测，确保煤矿工人的工作安全，为减少安全事故的发生做出重要贡献。
需要说明的是，本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。以下结合附图来详细描述本发明实施例。
图1是根据本发明实施例的井下行人越界风险检测方法的流程图，如图1所示，该方法包括：
步骤101，实时获取井下行人监控视频图像。
步骤102，对所述视频图像进行切帧处理，得到待处理图像，所述待处理图像中包括：多个行人图像。
步骤103，基于人体姿态估计算法对所述多个行人图像进行识别处理，以生成各行人的人体姿态信息。
步骤104，基于多目标行人追踪算法对所述多个行人图像进行追踪处理，以生成各行人的运动轨迹。
步骤105，根据各行人的人体姿态信息、运动轨迹和预定的危险区域进行坐标比对操作，并根据坐标比对操作结果确定行人是否存在越界风险。
通过对获取的井下行人监控视频图像进行切帧处理，得到待处理图像，随后基于人体姿态估计算法对待处理图像中的多个行人图像进行识别处理，生成各行人的人体姿态信息，同时基于多目标行人追踪算法对多个行人图像进行追踪处理，生成各行人的运动轨迹，之后根据各行人的人体姿态信息、运动轨迹和预定的危险区域进行坐标比对操作，并根据坐标比对操作结果确定行人是否存在越界风险，如此，可以有效地进行井下行人越界检测，能够对综采工作面内行人危险区域越界检测提供实时的精准预警，可以较好地确保煤矿工人的工作安全。
优选地，上述的人体姿态估计算法可以为OpenPose（人体姿态识别）算法。上述步骤103具体包括：基于所述OpenPose算法对图像中的各行人进行预定关节点的识别；根据识别后的关节点及各关节点之间的连接信息对各行人进行关节点连接操作，以生成各行人的人体姿态信息。
这里的预定关节点至少包括足部关节点，其他关节点可以依据实际情况而定。
通过OpenPose算法来生成人体姿态信息，可以通过骨架下肢足部坐标与危险区域坐标进行比对，从而判断行人越界风险。
优选地，上述的多目标行人追踪算法可以为DeepSort（多目标追踪）算法。上述步骤104具体包括：基于所述DeepSort算法对图像中的各行人进行当前位置信息检测操作；基于卡尔曼滤波预测算法对检测的各行人的当前位置信息进行预测操作，以预测各行人下一时刻的位置信息；根据各行人的当前位置信息和下一时刻的位置信息生成各行人的运动轨迹。
通过DeepSort算法生成行人的运动轨迹，可以避免遮挡造成的行人运动轨迹识别不准确的问题，进一步提高行人越界风险判定的准确性。
本发明实施例采用矿井工作面监控视频，围绕行人越线检测预警的特点和需求，以提高预警精确度为核心目标，提出了一种基于视频的井下多目标追踪人体姿态识别越线预警方案，该方案主要包含两大部分：第一，基于视频分析的人体姿态骨架识别；第二，基于深度学习的视觉多目标追踪算法。以下结合图2所示的井下行人越界风险检测流程，来详细描述这两个部分。
一、基于视频分析的人体姿态骨架识别
在实际操作中，可以使用改进的OpenPose算法对人体姿态骨架进行识别。具体地，本发明实施例采用改进的OpenPose算法，该识别过程具体包含以下四个步骤：
1、神经网络预测，特征backbone（主干网络）用Mobile Net代替原有的VGG-19，其中，Mobile Net 和VGG-19 为CV 领域专有名词，可理解为特定的结构的神经网络。
2、确定关节。
3、确定肢体连接。
4、拼装肢体构成人体骨架。
其中，原始的OpenPose算法的神经网络结构，首先会通过VGG-19进行特征提取。在本发明实施例中，使用带空洞卷积的Mobile Net结构代替原来的VGG结构，因为Mobile Net具有更深的网络结构，更大的感受视野，效果比VGG-19要好。
原始OpenPose算法是通过两分支的多阶段CNN，第一分支用来预测confidencemap(置信图，用S表示)，第二分支用来预测Par Affinity Fields（肢体2D向量，用L表示）。在每个阶段之后，来自两个分支的预测以及图像特征被连接用于下一阶段。
原始OpenPose算法有两个prediction branch（预测分支），两个branch的结构是一样，只是在输出阶段，获得不同的数量的输出结果。在本发明实施例中，将两个branch合并成一个，只是在输出阶段才使用11的卷积分支出两个branch，从而获得两个结果输出，其中：
S=(S1,S2……Sj) 表示heat map（热力图），j表示要检测的关节数。
L=(L1,L2……Lc) 表示vector map（矢量图），C表示要检测的关节对数。
以下结合图3（1）-图3（5）所示的人体识别示例对基于改进的OpenPose算法识别人体姿态进行详细描述。
第一步，输入图3（1）所示的初始图像，获得行人每个关节的heatmap。
使用卷积神经网络CNN（Mobile Net）对行人图像提取19个关键点（即，19个关节点），具体地，19个关键点类别包含18个人体标记点和一个背景类，18个人体标记点可以为：鼻子、脖子、右肩、右肘、右腕、左肩、左肘、左腕、右髋、右膝、右踝、左髋、左膝、左踝、左眼、右眼、左耳、右耳，背景类可以表示为pt19。具体可以参见图3（5）所示的标记点，需要说明的是，其中的标记号与此处描述未有对应关系。
生成19个通道的热图，每一个通道为某个关节的heatmap，同时会生成192个通道的vectormap(矢量图)，vectormap是heatmap的两倍为38个（19*2），因为有19条的关键点连接线，每一条线使用向量表示，分别有x轴的map，以及y轴的map。
第二步，从heatmap提取关节的具体位置，参见图3（2）所示。
可以采用非最大抑制（NMS）算法来获得heatmap中的峰值，值为置信度，作为该part的score。输出为：
all_peaks=[ [((h0, w0, s0,0),(h1, w1, s1,1)，....]\第一个part的所有值
[((hi, wi, si,i),(hi+1, wi+1, si+1,i+1)，....]\第二个part的所有值
…
]
从而可以得到关节的信息（位置，分数），其中，part 指的是人体关键点，h 和 w分别表示该关键点在整张图片中高度、宽度像素值，代表了关键点位置。s 表示置信度可理解为分数值。
第三步，参见图3（3）所示，用关节信息和paf来获得肢体连接，例如，图3（3）所示的右小腿连接。其中，paf为关键点的亲和力场，用来描述不同关键点之间的亲和力。属于同一个人的不同关节，亲和力大，不同人之间的关节，亲和力小。
模型包含19个肢体，确定每一肢体所对应的两个part和paf，将两个part之间的paf信息进行积分所得结果作为该肢体的置信度。可以得到所有的连接信息，每一个连接都可以看作是一个肢体。
第四步，进行肢体组装，参见图3（4）所示，完成整个人体的拼接。将行人的关节点连接起来，由于paf自身的矢量性，使得生成的偶匹配很正确，最终合并为一个人的整体骨架。
二、基于深度学习的视觉多目标追踪算法
本发明实施例采用改进的DeepSort算法对行人进行多目标进行追踪，其具体步骤包括：
1、目标检测模块采用YOLOv5x（一种检测器名称）检测器得到Bbox（Bounding-box，边界框）并生成检测框detections。
具体地，目标检测模块采用YOLOv5x框架检测当前帧中的bbox，然后将检测到的bbox转换成detections，主要目的是检测出每一帧中行人的位置信息。
2、卡尔曼滤波预测。
具体地，使用卡尔曼滤波预测前一帧中的tracks（跟踪框）在当前帧的状态，作用是基于目标前一时刻的位置，来预测当前时刻的位置。即，新的位置=当前位置+位移量，位移量=时间×速度。
3、级联匹配。
具体而言，级联匹配是对基于外观信息的马氏距离计算tracks和detections的代价矩阵，然后相继进行级联匹配，在原始匹配基础上增加IOU（Intersection over Union，一种测量在特定数据集中检测相应物体准确度的一个标准）约束，避免遮挡情况下的追踪目标消失问题，最后得到当前帧的所有匹配对、未匹配的tracks以及未匹配的detections。
4、卡尔曼滤波更新。
对于每个匹配成功的track，用其对应的detection进行更新，并将未成功匹配的tracks和detections定为新检测目标，主要是循环更新匹配成功track的detections信息。
之后，参见图2所示，将基于OpenPose算法得到的人体姿态信息和基于DeepSort算法得到的行人运动轨迹进行存储并进行越线入侵判断，当判断结果为越线入侵时，进行预警操作，提醒行人注意危险。
本发明实施例通过人体姿态关键点骨架检测识别和多目标行人追踪算法，对综采工作面内行人危险区域越线检测提供了实时的精准预警，可以很好地确保煤矿工人的工作安全，同时为减少安全事故的发生做出重要贡献。
本发明实施例采用人体姿态估计算法进行行人关键部位定位，而不是采用目标检测方式进行行人识别，这样在判断危险区域越界问题时会更精准。同时，本发明实施例融合DeepSort多目标的行人追踪算法，可以更好地判断行人轨迹，避免因遮挡导致的误识别，提高了行人识别的稳定性和准确率，降低了越线报警的误报率。
需要说明的是，本发明实施例采用OpenPose算法对人体关键点进行识别，但是本发明的保护范围并不局限于此，也可以通过其他人体姿态估计算法代替，也可完成发明目的，也应涵盖在本发明的保护范围之内。同时，本发明实施例采用的DeepSort多目标行人追踪算法，可以精确追踪摄像头区域的多个行人，但是本发明的保护范围并不局限于此，例如可以采用其他基于深度学习的目标追踪算法或传统的追踪算法进行代替，也可完成发明目的，也应涵盖在本发明的保护范围之内。
基于相似的发明构思，本发明实施例还提供一种井下行人越界风险检测装置，该装置优选地可用于实现上述方法实施例的流程。
图4是该井下行人越界风险检测装置的结构框图，如图4所示，该装置包括：视频获取单元1、待处理图像生成单元2、人体姿态信息生成单元3、运动轨迹生成单元4和判断单元5，其中：
视频获取单元1，用于实时获取井下行人监控视频图像；
待处理图像生成单元2，用于对所述视频图像进行切帧处理，得到待处理图像，所述待处理图像中包括：多个行人图像；
人体姿态信息生成单元3，用于基于人体姿态估计算法对所述多个行人图像进行识别处理，以生成各行人的人体姿态信息；
运动轨迹生成单元4，用于基于多目标行人追踪算法对所述多个行人图像进行追踪处理，以生成各行人的运动轨迹；
判断单元5，用于根据各行人的人体姿态信息、运动轨迹和预定的危险区域进行坐标比对操作，并根据坐标比对操作结果确定行人是否存在越界风险。
通过待处理图像生成单元2对视频获取单元1获取的井下行人监控视频图像进行切帧处理，得到待处理图像，随后人体姿态信息生成单元3基于人体姿态估计算法对待处理图像中的多个行人图像进行识别处理，生成各行人的人体姿态信息，同时运动轨迹生成单元4基于多目标行人追踪算法对多个行人图像进行追踪处理，生成各行人的运动轨迹，之后判断单元5根据各行人的人体姿态信息、运动轨迹和预定的危险区域进行坐标比对操作，并根据坐标比对操作结果确定行人是否存在越界风险，如此，可以有效地进行井下行人越界检测，能够对综采工作面内行人危险区域越界检测提供实时的精准预警，可以较好地确保煤矿工人的工作安全。
优选地，上述人体姿态信息生成单元3使用的人体姿态估计算法可以为OpenPose算法。
如图5所示，人体姿态信息生成单元3具体包括：关节点识别模块31和人体姿态信息生成模块32，其中：
关节点识别模块31，用于基于所述OpenPose算法对图像中的各行人进行预定关节点的识别；
人体姿态信息生成模块32，用于根据识别后的关节点及各关节点之间的连接信息对各行人进行关节点连接操作，以生成各行人的人体姿态信息。
在实际操作中，人体姿态信息生成单元3也可以使用改进的OpenPose算法，具体的识别过程可以参见上述方法实施例中的描述。
优选地，上述运动轨迹生成单元4中使用的多目标行人追踪算法可以为DeepSort算法。
如图6所示，运动轨迹生成单元4具体包括：当前位置信息检测模块41、位置信息预测模块42和运动轨迹生成模块43，其中：
当前位置信息检测模块41，用于基于所述DeepSort算法对图像中的各行人进行当前位置信息检测操作；
位置信息预测模块42，用于基于卡尔曼滤波预测算法对检测的各行人的当前位置信息进行预测操作，以预测各行人下一时刻的位置信息；
运动轨迹生成模块43，用于根据各行人的当前位置信息和下一时刻的位置信息生成各行人的运动轨迹。
具体地，如图7所示，上述判断单元5包括：坐标比对模块51和越界风险确定模块52，其中：
坐标比对模块51，用于根据各行人的人体姿态信息、运动轨迹和预定的危险区域进行坐标比对操作；
越界风险确定模块52，用于响应于坐标比对操作结果为行人的人体姿态信息、运动轨迹会越过预定的危险区域，则确定该行人存在越界风险。
上述各单元、各模块的具体执行过程，可以参见上述方法实施例中的描述，此处不再赘述。
在实际操作中，上述各单元、各模块可以组合设置、也可以单一设置，本发明不限于此。
本实施例还提供一种电子设备，该电子设备可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该电子设备可以参照上述方法实施例进行实施及井下行人越界风险检测装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。
图8为本发明实施例的电子设备600的系统构成的示意框图。如图8所示，该电子设备600可以包括中央处理器100和存储器140；存储器140耦合到中央处理器100。值得注意的是，该图是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
一实施例中，井下行人越界风险检测功能可以被集成到中央处理器100中。其中，中央处理器100可以被配置为进行如下控制：
实时获取井下行人监控视频图像；
对所述视频图像进行切帧处理，得到待处理图像，所述待处理图像中包括：多个行人图像；
基于人体姿态估计算法对所述多个行人图像进行识别处理，以生成各行人的人体姿态信息；
基于多目标行人追踪算法对所述多个行人图像进行追踪处理，以生成各行人的运动轨迹；
根据各行人的人体姿态信息、运动轨迹和预定的危险区域进行坐标比对操作，并根据坐标比对操作结果确定行人是否存在越界风险。
从上述描述可知，本申请实施例提供的电子设备，通过对获取的井下行人监控视频图像进行切帧处理，得到待处理图像，随后基于人体姿态估计算法对待处理图像中的多个行人图像进行识别处理，生成各行人的人体姿态信息，同时基于多目标行人追踪算法对多个行人图像进行追踪处理，生成各行人的运动轨迹，之后根据各行人的人体姿态信息、运动轨迹和预定的危险区域进行坐标比对操作，并根据坐标比对操作结果确定行人是否存在越界风险，如此，可以有效地进行井下行人越界检测，能够对综采工作面内行人危险区域越界检测提供实时的精准预警，可以较好地确保煤矿工人的工作安全。
在另一个实施方式中，井下行人越界风险检测装置可以与中央处理器100分开配置，例如可以将井下行人越界风险检测装置配置为与中央处理器100连接的芯片，通过中央处理器的控制来实现井下行人越界风险检测功能。
如图8所示，该电子设备600还可以包括：通信模块110、输入单元120、音频处理单元130、显示器160、电源170。值得注意的是，电子设备600也并不是必须要包括图8中所示的所有部件；此外，电子设备600还可以包括图8中没有示出的部件，可以参考现有技术。
如图8所示，中央处理器100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器100接收输入并控制电子设备600的各个部件的操作。
其中，存储器140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序，以实现信息存储或处理等。
输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器140可以是固态存储器，例如，只读存储器（ROM）、随机存取存储器（RAM）、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141（有时被称为缓冲器）。存储器140可以包括应用/功能142，该应用/功能142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。
存储器140还可以包括数据存储器143（图中显示为数据），该数据存储器143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能（如消息传送应用、通讯录应用等）的各种驱动程序。
通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块（发送机/接收机）110耦合到中央处理器100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块（发送机/接收机）110还经由音频处理器130耦合到扬声器131和麦克风132，以经由扬声器131提供音频输出，并接收来自麦克风132的音频输入，从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器130还耦合到中央处理器100，从而使得可以通过麦克风132能够在本机上录音，且使得可以通过扬声器131来播放本机上存储的声音。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现上述井下行人越界风险检测方法的步骤。
综上所述，本发明实施例为了解决行人越线检测场景下人体识别不准确的问题，采用了迁移学习的人体姿态估计和多目标追踪算法，实现二维多人关键点实时识别，通过骨架下肢足部坐标与危险区域坐标比对，同时多目标的实例追踪可以避免遮挡造成的识别不准确问题，从而可以更加精确地判断行人是否越界。
以上参照附图描述了本发明的优选实施方式。这些实施方式的许多特征和优点根据该详细的说明书是清楚的，因此权利要求旨在覆盖这些实施方式的落入其真实精神和范围内的所有这些特征和优点。此外，由于本领域的技术人员容易想到很多修改和改变，因此不是要将本发明的实施方式限于所例示和描述的精确结构和操作，而是可以涵盖落入其范围内的所有合适修改和等同物。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种井下行人越界风险检测方法，其特征在于，所述方法包括：
实时获取井下行人监控视频图像；
对所述视频图像进行切帧处理，得到待处理图像，所述待处理图像中包括：多个行人图像；
基于人体姿态估计算法对所述多个行人图像进行识别处理，以生成各行人的人体姿态信息；
基于多目标行人追踪算法对所述多个行人图像进行追踪处理，以生成各行人的运动轨迹；
根据各行人的人体姿态信息、运动轨迹和预定的危险区域进行坐标比对操作，并根据坐标比对操作结果确定行人是否存在越界风险。
2.根据权利要求1所述的井下行人越界风险检测方法，其特征在于，所述人体姿态估计算法为OpenPose算法，基于人体姿态估计算法对所述多个行人图像进行识别处理，以生成各行人的人体姿态信息包括：
基于所述OpenPose算法对图像中的各行人进行预定关节点的识别；
根据识别后的关节点及各关节点之间的连接信息对各行人进行关节点连接操作，以生成各行人的人体姿态信息。
3.根据权利要求1所述的井下行人越界风险检测方法，其特征在于，所述多目标行人追踪算法为DeepSort算法，基于多目标行人追踪算法对所述多个行人图像进行追踪处理，以生成各行人的运动轨迹包括：
基于所述DeepSort算法对图像中的各行人进行当前位置信息检测操作；
基于卡尔曼滤波预测算法对检测的各行人的当前位置信息进行预测操作，以预测各行人下一时刻的位置信息；
根据各行人的当前位置信息和下一时刻的位置信息生成各行人的运动轨迹。
4.根据权利要求1所述的井下行人越界风险检测方法，其特征在于，根据各行人的人体姿态信息、运动轨迹和预定的危险区域进行坐标比对操作，并根据坐标比对操作结果确定行人是否存在越界风险包括：
根据各行人的人体姿态信息、运动轨迹和预定的危险区域进行坐标比对操作；
响应于坐标比对操作结果为行人的人体姿态信息、运动轨迹会越过预定的危险区域，则确定该行人存在越界风险。
5.一种井下行人越界风险检测装置，其特征在于，所述装置包括：
视频获取单元，用于实时获取井下行人监控视频图像；
待处理图像生成单元，用于对所述视频图像进行切帧处理，得到待处理图像，所述待处理图像中包括：多个行人图像；
人体姿态信息生成单元，用于基于人体姿态估计算法对所述多个行人图像进行识别处理，以生成各行人的人体姿态信息；
运动轨迹生成单元，用于基于多目标行人追踪算法对所述多个行人图像进行追踪处理，以生成各行人的运动轨迹；
判断单元，用于根据各行人的人体姿态信息、运动轨迹和预定的危险区域进行坐标比对操作，并根据坐标比对操作结果确定行人是否存在越界风险。
6.根据权利要求5所述的井下行人越界风险检测装置，其特征在于，所述人体姿态估计算法为OpenPose算法，所述人体姿态信息生成单元包括：
关节点识别模块，用于基于所述OpenPose算法对图像中的各行人进行预定关节点的识别；
人体姿态信息生成模块，用于根据识别后的关节点及各关节点之间的连接信息对各行人进行关节点连接操作，以生成各行人的人体姿态信息。
7.根据权利要求5所述的井下行人越界风险检测装置，其特征在于，所述多目标行人追踪算法为DeepSort算法，所述运动轨迹生成单元包括：
当前位置信息检测模块，用于基于所述DeepSort算法对图像中的各行人进行当前位置信息检测操作；
位置信息预测模块，用于基于卡尔曼滤波预测算法对检测的各行人的当前位置信息进行预测操作，以预测各行人下一时刻的位置信息；
运动轨迹生成模块，用于根据各行人的当前位置信息和下一时刻的位置信息生成各行人的运动轨迹。
8.根据权利要求5所述的井下行人越界风险检测装置，其特征在于，所述判断单元包括：
坐标比对模块，用于根据各行人的人体姿态信息、运动轨迹和预定的危险区域进行坐标比对操作；
越界风险确定单元，用于响应于坐标比对操作结果为行人的人体姿态信息、运动轨迹会越过预定的危险区域，则确定该行人存在越界风险。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至4中任一项所述井下行人越界风险检测方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至4中任一项所述井下行人越界风险检测方法的步骤。
CN202210113490.0A 2022-01-30 2022-01-30 井下行人越界风险检测方法、装置、电子设备及存储介质 Pending CN114140832A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210113490.0A CN114140832A (zh) 2022-01-30 2022-01-30 井下行人越界风险检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210113490.0A CN114140832A (zh) 2022-01-30 2022-01-30 井下行人越界风险检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114140832A true CN114140832A (zh) 2022-03-04

Family

ID=80381930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210113490.0A Pending CN114140832A (zh) 2022-01-30 2022-01-30 井下行人越界风险检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114140832A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115866334A (zh) * 2023-02-27 2023-03-28 成都华域天府数字科技有限公司 一种在视频流程中裁剪和关联内容的数据处理方法
CN116502816A (zh) * 2022-12-26 2023-07-28 北京北投生态环境有限公司 一种适用于污染物的地块监测井布设方法
CN116993776A (zh) * 2023-06-30 2023-11-03 中信重工开诚智能装备有限公司 一种人员轨迹追踪方法
CN117115783A (zh) * 2023-09-06 2023-11-24 江苏泰坦智慧科技有限公司 基于机器视觉的流水线工作行为识别方法
CN117152689A (zh) * 2023-10-31 2023-12-01 易启科技(吉林省)有限公司 一种基于视觉的河道目标检测方法及系统
CN117457193A (zh) * 2023-12-22 2024-01-26 之江实验室 一种基于人体关键点检测的体态健康监测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257502A (zh) * 2020-09-16 2021-01-22 深圳微步信息股份有限公司 一种监控视频行人识别与跟踪方法、装置及存储介质
CN112950668A (zh) * 2021-02-26 2021-06-11 北斗景踪技术(山东)有限公司 一种基于模位置测量的智能监控方法及系统
CN113192105A (zh) * 2021-04-16 2021-07-30 嘉联支付有限公司 一种室内多人追踪及姿态估量的方法及装置
WO2021174697A1 (zh) * 2020-03-06 2021-09-10 平安科技（深圳）有限公司 人体姿态评估方法、装置、计算机设备及存储介质
CN113888824A (zh) * 2021-06-30 2022-01-04 华北理工大学 基于拓扑空间关系的矿井违规越界行为识别及报警方法、装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021174697A1 (zh) * 2020-03-06 2021-09-10 平安科技（深圳）有限公司 人体姿态评估方法、装置、计算机设备及存储介质
CN112257502A (zh) * 2020-09-16 2021-01-22 深圳微步信息股份有限公司 一种监控视频行人识别与跟踪方法、装置及存储介质
CN112950668A (zh) * 2021-02-26 2021-06-11 北斗景踪技术(山东)有限公司 一种基于模位置测量的智能监控方法及系统
CN113192105A (zh) * 2021-04-16 2021-07-30 嘉联支付有限公司 一种室内多人追踪及姿态估量的方法及装置
CN113888824A (zh) * 2021-06-30 2022-01-04 华北理工大学 基于拓扑空间关系的矿井违规越界行为识别及报警方法、装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐涛等: "基于深度学习的行人多目标跟踪方法", 《吉林大学学报（工学版）》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116502816A (zh) * 2022-12-26 2023-07-28 北京北投生态环境有限公司 一种适用于污染物的地块监测井布设方法
CN116502816B (zh) * 2022-12-26 2024-01-02 北京北投生态环境有限公司 一种适用于污染物的地块监测井布设方法
CN115866334A (zh) * 2023-02-27 2023-03-28 成都华域天府数字科技有限公司 一种在视频流程中裁剪和关联内容的数据处理方法
CN116993776A (zh) * 2023-06-30 2023-11-03 中信重工开诚智能装备有限公司 一种人员轨迹追踪方法
CN116993776B (zh) * 2023-06-30 2024-02-13 中信重工开诚智能装备有限公司 一种人员轨迹追踪方法
CN117115783A (zh) * 2023-09-06 2023-11-24 江苏泰坦智慧科技有限公司 基于机器视觉的流水线工作行为识别方法
CN117115783B (zh) * 2023-09-06 2024-03-26 江苏泰坦智慧科技有限公司 基于机器视觉的流水线工作行为识别方法
CN117152689A (zh) * 2023-10-31 2023-12-01 易启科技(吉林省)有限公司 一种基于视觉的河道目标检测方法及系统
CN117152689B (zh) * 2023-10-31 2024-01-19 易启科技(吉林省)有限公司 一种基于视觉的河道目标检测方法及系统
CN117457193A (zh) * 2023-12-22 2024-01-26 之江实验室 一种基于人体关键点检测的体态健康监测方法及系统
CN117457193B (zh) * 2023-12-22 2024-04-02 之江实验室 一种基于人体关键点检测的体态健康监测方法及系统

Similar Documents

Publication Publication Date Title
CN114140832A (zh) 井下行人越界风险检测方法、装置、电子设备及存储介质
US8243987B2 (en) Object tracking using color histogram and object size
WO2020215552A1 (zh) 多目标跟踪方法、装置、计算机设备及存储介质
US9183431B2 (en) Apparatus and method for providing activity recognition based application service
CN107710280B (zh) 对象可视化方法
CN111259751A (zh) 基于视频的人体行为识别方法、装置、设备及存储介质
US20180342070A1 (en) Methods and systems of determining object status for false positive removal in object tracking for video analytics
CN113076809A (zh) 一种基于视觉Transformer的高空坠物检测方法
CN104361327A (zh) 一种行人检测方法和系统
CN110889334A (zh) 人员闯入识别方法及装置
KR101062225B1 (ko) 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템
EP3973446A1 (en) Forensic video exploitation and analysis tools
CN111881853A (zh) 一种超大桥隧中异常行为识别方法和装置
CN113910224B (zh) 机器人跟随的方法、装置及电子设备
CN109754034A (zh) 一种基于二维码的终端设备定位方法及装置
CN112861673A (zh) 一种用于监控视频多目标检测的去误报预警方法和系统
CN111652181B (zh) 目标跟踪方法、装置及电子设备
CN113326773A (zh) 识别模型训练方法、识别方法、装置、设备及存储介质
CN114241379A (zh) 一种乘客异常行为识别方法、装置、设备及乘客监控系统
CN107480580B (zh) 图像识别方法和图像识别装置
US11715372B2 (en) Signal lamp recognition method, device, and storage medium
CN111626265A (zh) 多摄像头下行为识别方法、装置及计算机可读存储介质
KR20010035100A (ko) 하이퍼링크 비디오를 위한 임의 객체의 효과적인 추적장치 및 방법
JP2020013480A (ja) 車両認識システムおよび車両認識方法
CN111783609A (zh) 行人再识别的方法、装置、设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220304