CN112597903B - 基于步幅测量的电力人员安全状态智能识别方法及介质 - Google Patents

基于步幅测量的电力人员安全状态智能识别方法及介质 Download PDF

Info

Publication number
CN112597903B
CN112597903B CN202011549784.5A CN202011549784A CN112597903B CN 112597903 B CN112597903 B CN 112597903B CN 202011549784 A CN202011549784 A CN 202011549784A CN 112597903 B CN112597903 B CN 112597903B
Authority
CN
China
Prior art keywords
ankle
frame
person
abscissa
stride
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011549784.5A
Other languages
English (en)
Other versions
CN112597903A (zh
Inventor
钟成
蔡传雄
张源
林巧
许镓镕
魏斯芳
梁资源
刘耀
张宗明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhugao Electrical Testing Co ltd
Original Assignee
Zhugao Electrical Testing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhugao Electrical Testing Co ltd filed Critical Zhugao Electrical Testing Co ltd
Priority to CN202011549784.5A priority Critical patent/CN112597903B/zh
Publication of CN112597903A publication Critical patent/CN112597903A/zh
Application granted granted Critical
Publication of CN112597903B publication Critical patent/CN112597903B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了基于步幅测量的电力人员安全状态智能识别方法及介质，方法包括：基于多目标追踪算法检测并追踪视频画面中每个人的包围框并分配人员ID号；将人的包围框内的图像输入关键点检测算法，得到人体的左右脚踝关键点并关联人的包围框；确定要测量步幅的人的包围框并获取对应的左右脚踝关键点数据，选择测量脚踝，通过测量脚踝关键点确定测量脚踝的当前运动状态，计算测量脚踝的相邻两次静止状态中间的移动距离，记为人员步幅，并生成人员状态信息；基于人员状态信息和预设的安全规则生成人员安全状态信息。本发明无需额外的人工干预，只需通过摄像头实时采集测试画面而无需佩戴其他硬件设备，运行速度快、部署方便且适用于不同场景。

Description

基于步幅测量的电力人员安全状态智能识别方法及介质
技术领域
本发明涉及电力安全领域，特别涉及一种基于步幅测量的电力人员安全状态智能识别方法及介质。
背景技术
高压实验室的电压在66kV及以上电压等级。电压对人体是致命的伤害。实验室不可避免的会分为各个不同的工作区域和交叉作业现象。在高电压下。人员的动作行为以及安全管控尤为重要。现有工作管控方式通常是通过安全遮拦人员监督的方式，时有安全事故发生。为了更好的保证人员安全，现急需用于高压实验室关键点智能识别方法，通过人体动作识别，进行语音提示预警，防止事故的发生。
步幅大小是人体动作识别的重要因素，准确测量行人步幅大小对于人员行为识别具有重要意义。当前的行人步幅测量方法大多基于传感器，首先通过运动传感器获取当前人体运动状态信息，然后通过进一步分析该运动状态信息估计得到人的步幅大小。当前基于传感器的行人步幅测量方法主要是使用陀螺传感器收集并计算行人在步行时人体的上下加速度，通过该加速度和身高信息估计人体步幅大小，但该方法采集的加速度信息有很大误差且只能粗略估计步幅大小；或者通过传感器共采集行人运动时三个方向上的加速度并计算得到合成加速度以减少假触发，提高了步数统计精度，该方法使用总运动距离除以总步数的形式粗略估计步幅大小，因此仍然无法准确计算出人体步幅大小。在上述方法基础上，将测量装置绑定在人体上，例如一种绑定在人体腿部的步幅测量装置，该装置在人体行走时收集腿部振动信号，通过微处理器分析该振动信号以判断人体步幅大小；又例如在腰部、大腿部、小腿部、足面等部位安装测量装置，在行人走动时收集各部位数据并传输至PC机进行分析。但这两种方法需要在人体安装额外测量装置，使用起来较复杂且额外的硬件成本较高。此外，使用运动传感器的方式只能间接的通过采集的数据估计出步幅大小，无法实现高精度的步幅测量。与基于传感器的方法相比，基于视频的方式可以直接观察到行人运动状态，因此可以实现高精度步幅测量。例如，基于视频方式观察行人运动状态的方法是通过视频截图对视频中人员的足长和步幅进行精确测定，实现了比传感器方法更高精度的步幅测量，但是该方法中步幅测量的步骤需要很多人工参与且工序复杂，实现成本较高因此使用场景比较受限。
目前大多数安全管控是基于安全员和视频录像的形式，这类方法存在以下缺点：(1)依赖于人员的视觉，不能全部覆盖，更不能做到实时监督查看；(2)录视频的方式不能提前预警和防止事故的发生，只能是时候分析等；(3)人员的理论知识和经验要求高，很有可能出现遗漏和监督不到位。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于步幅测量的电力人员安全状态智能识别方法，能够通过视频画面中检测到的人体关键点信息自动计算步幅大小，判断人员安全状态。
本发明还提出一种实现上述方法的计算机可读存储介质。
根据本发明的第一方面实施例的基于步幅测量的电力人员安全状态智能识别方法，包括：S100、获取视频流，基于多目标追踪算法检测并追踪每帧画面中每个人的包围框，为所述人的包围框分配人员ID号；S200、将所述人的包围框内的图像输入基于卷积神经网络的关键点检测算法，得到人体的左右脚踝关键点，将所述左右脚踝关键点按照所述人员ID号关联所述人的包围框；S300、确定要测量步幅的人的包围框并获取对应的左右脚踝关键点数据，选择左脚踝或右脚踝作为测量脚踝，通过所述测量脚踝关键点确定所述测量脚踝的当前运动状态，计算所述测量脚踝的相邻两次静止状态中间的移动距离，记为人员步幅，所述人员步幅与所述人员ID号一并生成人员状态信息；S400、基于所述人员状态信息和预设的安全规则生成人员安全状态信息。
根据本发明的一些实施例，所述左右脚踝关键点以基于当前画面的横纵坐标表示。
根据本发明的一些实施例，所述步骤S100包括：S110、通过OpenCV获取并解析视频流；S120、基于实时目标检测算法得到视频帧中所有包围框，保留人的包围框；S130、基于目标追踪算法对所述保留人的包围框进行追踪，并为每个所述人的包围框分配ID号。
根据本发明的一些实施例，所述实时目标检测算法为Yolov5s算法。
根据本发明的一些实施例，所述目标追踪算法为SORT算法。
根据本发明的一些实施例，所述步骤S200包括：将所述每帧画面进行裁剪得到所述包围框内的图像，并将其缩放到固定尺寸。
根据本发明的一些实施例，所述步骤S200包括：基于top-down算法中的SimpleBaseline算法检测每个所述人的包围框中的人体关键点；所述人体关键点包括左右脚踝关键点。
根据本发明的一些实施例，所述步骤S300包括：S310、设置三个变量，分别为当前帧横坐标、上一帧横坐标及上一次静止横坐标；在视频帧中建立横纵坐标系；S320、所述当前帧横坐标记录所述测量脚踝在当前帧中的横坐标，所述上一帧横坐标记录所述测量脚踝在上一帧中的横坐标，所述上一次静止横坐标记录所述测量脚踝在上一次静止状态下在帧中的横坐标；S330、基于所述当前帧横坐标与所述上一帧横坐标，得到所述测量脚踝的运动状态；若运动状态为静止，执行步骤S340，否则返回步骤S320；S340、计算所述当前帧横坐标与所述上一次静止横坐标之差的绝对值，得到要测量的步幅；S350、将所述上一次静止横坐标的值更新为所述当前帧横坐标，返回步骤S320。
根据本发明的一些实施例，所述步骤S330包括：S331、计算所述当前帧横坐标与所述上一帧横坐标之差的绝对值；S332、若所述绝对值小于预设的阈值，则判定运动状态为静止，并记录所述测量脚踝在当前帧中的横坐标；若所述绝对值大于预设的阈值，则判定运动状态为正在运动。
根据本发明的第二方面实施例的一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明的第一方面实施例中任一项的方法。
本发明实施例至少具有如下有益效果：本发明基于深度卷积网络关键点检测的人体部位状态测量，通过对视频中行人进行关键点检测以准确计算出人体动作状态是否安全。与传统方式相比，使用深度卷积网络关键点检测可以直接准确的获得视频中身体各部位关键点坐标，进而得到精确的定位。本发明使用画面中检测到的人体关键点信息自动计算步幅摆幅，使得整个方法无需额外的人工干预。该发明方法只需通过摄像头实时采集测试画面而无需佩戴其他硬件设备，与测量人员没有直接接触，运行速度快、部署方便且适用于不同场景，实际使用价值更高。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例的方法的流程示意图。
图2为本发明实施例的获取并追踪人员视频画面的方法的流程示意图。
图3为本发明实施例的计算步幅的方法的流程示意图。
图4为本发明实施例的判定脚踝运动状态的方法的流程示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个及两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
缩略语和关键术语定义：
1)深度学习(Deep Learning)是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。
2)关键点检测：通过视觉算法得到图片或视频中目标的关键点，对于人体关键点而言主要包括左右肩部、左右肘部、左右手腕、左右脚踝等关节点，每个关键点使用横坐标和纵坐标描述。
3)步幅检测：检测人体步幅大小。
4)OpenCV：一种计算机视觉API库，包含多种视觉处理函数。
5)Yolov5：一种实时目标检测算法。
6)SORT：一种目标追踪算法。
针对现有技术的问题，本发明实施例提出一种基于步幅测量的电力人员安全状态智能识别方法，用于通过检测视频中正在行走的人的步幅，确定人员的安全状态。参照图1，该方法主要包括以下步骤：
S100、获取视频流，基于多目标追踪算法检测并追踪每帧画面中每个人的包围框，为人的包围框分配人员ID号；本实施例使用多目标追踪算法的目的在于当画面中同时有多个人时，多目标追踪算法可以检测出每个人的包围框并长时间准确追踪，每个被追踪的人都会被分配一个ID号。这保证了后续检测出的关键点可以准确分配给不同的人。
S200、将人的包围框内的图像输入基于卷积神经网络的关键点检测算法，得到人体的左右脚踝关键点，将左右脚踝关键点按照包围框ID号关联人的包围框；对于追踪算法得到的每个包围框，本实施例使用基于卷积神经网络的关键点检测算法得到包围框中人体的左右脚踝关键点，并按照ID号分配到不同的人。卷积神经网络具有强大的特征提取能力，因此基于卷积神经网路的关键点检测算法具有很高精度。
S300、确定要测量步幅的人的包围框并获取对应的左右脚踝关键点数据，选择左脚踝或右脚踝作为测量脚踝，通过测量脚踝关键点确定测量脚踝的当前运动状态，计算测量脚踝的相邻两次静止状态中间的移动距离。本实施例提出一种基于关键点的步幅统计方法统计并计算行走时左右脚踝的位置和当前步幅的大小：该方法首先通过左(右)脚踝关键点判断左(右)脚的当前运动状态。人体行走时一个脚用于支撑另一个脚用于运动，当左(右)脚静止支撑时，右(左)脚从后往前移动完成一次走步，然后右(左)脚静止支撑，左(右)脚由静止变为运动并从后向前移动，直到再一次静止。人体步幅即左(右)脚两次静止中间的移动距离；
S400、基于人员状态信息和预设的安全规则生成人员安全状态信息。
本实施例中，根据测量的步幅生成人员状态信息，然后按照预设的安全规则，判断当前人员的安全状态。例如，基于步幅大小与步数可以得到人员步行距离，假设人员步行距离超过安全区域的范围，人员可能有危险，此时再结合人员的具体位置判断人员是否离开安全区域，如果是，发出警告信息。
其中，左右脚踝关键点以基于当前画面的横纵坐标表示。
参照图2，在一些实施例中，步骤S100包括：
S110、通过OpenCV获取并解析视频流；
S120、基于实时目标检测算法得到视频帧中所有包围框，保留人的包围框；
S130、基于目标追踪算法对保留人的包围框进行追踪，并为每个人的包围框分配ID号。
其中，实时目标检测算法可以是Yolov5s算法；目标追踪算法可以是SORT算法。
在一些实施例中，步骤S200包括：将每帧画面进行裁剪得到包围框内的图像，并将其缩放到固定尺寸。
在一些实施例中，步骤S200包括：基于top-down算法中的Simple Baseline算法检测每个人的包围框中的人体关键点；人体关键点包括左右脚踝关键点。
参照图3，在一些实施例中，步骤S300包括：
S310、设置三个变量，分别为当前帧横坐标、上一帧横坐标及上一次静止横坐标；在视频帧中建立横纵坐标系；
S320、当前帧横坐标记录测量脚踝在当前帧中的横坐标，上一帧横坐标记录测量脚踝在上一帧中的横坐标，上一次静止横坐标记录测量脚踝在上一次静止状态下在帧中的横坐标；
S330、基于当前帧横坐标与上一帧横坐标，判断脚踝的运动状态是否为静止？如果是，执行步骤S340，如果不是，返回步骤S320；
S340、计算当前帧横坐标与上一次静止横坐标之差的绝对值，得到要测量的步幅；
S350、将上一次静止横坐标的值更新为当前帧横坐标，返回步骤S320。
参照图4，在一些实施例中，步骤S330包括：
S331、计算当前帧横坐标与上一帧横坐标之差的绝对值；
S332、若绝对值小于预设的阈值，则判定运动状态为静止，并记录测量脚踝在当前帧中的横坐标；若绝对值大于预设的阈值，则判定运动状态为正在运动。
在一实施例中，基于卷积神经网络关键点检测的步幅检测方法，用于检测视频中正在行走的人的步幅，所述方法主要包括以下流程：
1)通过OpenCV获取并解析视频流，使用多目标追踪算法检测并追踪每帧画面中每个人的包围框。为了提高整个方法速度，本实施例将yolov5s与SORT多目标追踪算法进行结合，使用yolov5s得到视频帧中所有包围框，只保留人的包围框并将其送入SORT算法进行追踪，为每个人的包围框分配一个ID号。
2)对于步骤1中追踪得到的每个人的包围框，使用基于卷积神经网络的关键点检测算法得到每个包围框中人体的左(右)脚踝关键点。主流关键点检测算法分为单人的top-down和多人的bottom-up算法，本实施例使用top-down算法中的Simple Baseline算法检测每个包围框中的人体关键点，所述Simple Baseline算法使用mobilenetv2作为主干网络，且在COCO 2017数据集上进行过训练。对于每个包围框，Simple Baseline算法共检测得到包括左右肩部、左右肘部、左右脚踝等的17个人体关键点，保留左右脚踝关键点，并按照包围框ID号将关键点分配到不同的人。
3)步骤2中左右脚踝关键点以横坐标x和纵坐标y表示。
4)使用一种基于关键点的步幅统计方法计算行走时左(右)脚踝的位置和当前步幅的大小。该方法首先通过左(右)脚踝关键点判断左(右)脚的当前运动状态。人体行走时一个脚用于支撑另一个脚用于运动，当左(右)脚静止支撑时，右(左)脚从后往前移动完成一次走步，然后右(左)脚静止支撑，左(右)脚由静止变为运动并从后向前移动，直到再一次静止。人体步幅即左(右)脚两次静止中间的移动距离。为了计算步幅，只需要判断当前左(右)脚是否正在运动，并记录前后两次静止时左(右)脚踝关键点的坐标。
为此，本实施例的方法记录左(右)脚踝关键点的三组坐标值，分别是当前帧中左(右)脚踝关键点的横坐标x_current_frame、上一帧中左(右)脚踝关键点的横坐标x_last_frame和上一次左(右)脚踝关键点静止时的横坐标值x_last_static；
如果当前帧左(右)脚踝关键点x_current_frame与上一帧左(右)脚踝关键点x_last_frame的横坐标之差大于某一阈值k，则判定该左(右)脚踝正在移动，不做任何处理，本实施例中k＝0.5；
如果当前帧左(右)脚踝横坐标值x_curren_frame与上一帧中左(右)脚踝横坐标值x_last_frame之差小于阈值k，则判定该左(右)脚踝的状态是静止不动的，记录当前静止状态下左(右)脚踝的横坐标x_current_frame；当检测到左(右)脚踝状态是静止时，计算当前帧中左(右)脚踝横坐标与上一个静止状态下左(右)脚踝的横坐标之差x_current_frame-x_last_static，该差值即当前人左(右)脚的步幅，然后更新左(右)脚踝的上一次静止状态坐标值为当前帧左(右)脚踝的横坐标x_last_statice＝x_curren_frame；重复上述流程。
尽管本文描述了具体实施方案，但是本领域中的普通技术人员将认识到，许多其它修改或另选的实施方案同样处于本公开的范围内。例如，结合特定设备或组件描述的功能和/或处理能力中的任一项可以由任何其它设备或部件来执行。另外，虽然已根据本公开的实施方案描述了各种例示性具体实施和架构，但是本领域中的普通技术人员将认识到，对本文所述的例示性具体实施和架构的许多其它修改也处于本公开的范围内。
上文参考根据示例性实施方案所述的系统、方法、系统和/或计算机程序产品的框图和流程图描述了本公开的某些方面。应当理解，框图和流程图中的一个或多个块以及框图和流程图中的块的组合可分别通过执行计算机可执行程序指令来实现。同样，根据一些实施方案，框图和流程图中的一些块可能无需按示出的顺序执行，或者可以无需全部执行。另外，超出框图和流程图中的块所示的那些部件和/或操作以外的附加部件和/或操作可存在于某些实施方案中。
因此，框图和流程图中的块支持用于执行指定功能的装置的组合、用于执行指定功能的元件或步骤的组合以及用于执行指定功能的程序指令装置。还应当理解，框图和流程图中的每个块以及框图和流程图中的块的组合可以由执行特定功能、元件或步骤的专用硬件计算机系统或者专用硬件和计算机指令的组合来实现。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (9)

1.一种基于步幅测量的电力人员安全状态智能识别方法，其特征在于，包括：
S100、获取视频流，基于多目标追踪算法检测并追踪每帧画面中每个人的包围框，为所述人的包围框分配人员ID号；
S200、将所述人的包围框内的图像输入基于卷积神经网络的关键点检测算法，得到人体的左右脚踝关键点，将所述左右脚踝关键点按照所述人员ID号关联所述人的包围框；
S300、确定要测量步幅的人的包围框并获取对应的左右脚踝关键点数据，选择左脚踝或右脚踝作为测量脚踝，通过所述测量脚踝关键点确定所述测量脚踝的当前运动状态，计算所述测量脚踝的相邻两次静止状态中间的移动距离，记为人员步幅，所述人员步幅与所述人员ID号一并生成人员状态信息；
S400、基于所述人员状态信息和预设的安全规则生成人员安全状态信息；
所述步骤S300包括：
S310、设置三个变量，分别为当前帧横坐标、上一帧横坐标及上一次静止横坐标；在视频帧中建立横纵坐标系；
S320、所述当前帧横坐标记录所述测量脚踝在当前帧中的横坐标，所述上一帧横坐标记录所述测量脚踝在上一帧中的横坐标，所述上一次静止横坐标记录所述测量脚踝在上一次静止状态下在帧中的横坐标；
S330、基于所述当前帧横坐标与所述上一帧横坐标，得到所述测量脚踝的运动状态；若运动状态为静止，执行步骤S340，否则返回步骤S320；
S340、计算所述当前帧横坐标与所述上一次静止横坐标之差的绝对值，得到要测量的步幅；
S350、将所述上一次静止横坐标的值更新为所述当前帧横坐标，返回步骤S320。
2.根据权利要求1所述的基于步幅测量的电力人员安全状态智能识别方法，其特征在于，所述左右脚踝关键点以基于当前画面的横纵坐标表示。
3.根据权利要求1所述的基于步幅测量的电力人员安全状态智能识别方法，其特征在于，所述步骤S100包括：
S110、通过OpenCV获取并解析视频流；
S120、基于实时目标检测算法得到视频帧中所有包围框，保留人的包围框；
S130、基于目标追踪算法对所述人的包围框进行追踪，并为每个所述人的包围框分配ID号。
4.根据权利要求3所述的基于步幅测量的电力人员安全状态智能识别方法，其特征在于，所述实时目标检测算法为Yolov5s算法。
5.根据权利要求3所述的基于步幅测量的电力人员安全状态智能识别方法，其特征在于，所述目标追踪算法为SORT算法。
6.根据权利要求1所述的基于步幅测量的电力人员安全状态智能识别方法，其特征在于，所述步骤S200包括：将所述每帧画面进行裁剪得到所述包围框内的图像，并将其缩放到固定尺寸。
7.根据权利要求1所述的基于步幅测量的电力人员安全状态智能识别方法，其特征在于，所述步骤S200包括：基于top-down算法中的Simple Baseline算法检测每个所述人的包围框中的人体关键点；所述人体关键点包括左右脚踝关键点。
8.根据权利要求1所述的基于步幅测量的电力人员安全状态智能识别方法，其特征在于，所述步骤S330包括：
S331、计算所述当前帧横坐标与所述上一帧横坐标之差的绝对值；
S332、若所述绝对值小于预设的阈值，则判定运动状态为静止，并记录所述测量脚踝在当前帧中的横坐标；若所述绝对值大于预设的阈值，则判定运动状态为正在运动。
9.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至8中任一项的方法。
CN202011549784.5A 2020-12-24 2020-12-24 基于步幅测量的电力人员安全状态智能识别方法及介质 Active CN112597903B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011549784.5A CN112597903B (zh) 2020-12-24 2020-12-24 基于步幅测量的电力人员安全状态智能识别方法及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011549784.5A CN112597903B (zh) 2020-12-24 2020-12-24 基于步幅测量的电力人员安全状态智能识别方法及介质

Publications (2)

Publication Number Publication Date
CN112597903A CN112597903A (zh) 2021-04-02
CN112597903B true CN112597903B (zh) 2021-08-13

Family

ID=75200836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011549784.5A Active CN112597903B (zh) 2020-12-24 2020-12-24 基于步幅测量的电力人员安全状态智能识别方法及介质

Country Status (1)

Country Link
CN (1) CN112597903B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170603B (zh) * 2021-04-06 2024-01-23 广州视源电子科技股份有限公司 基于跑步机的步幅检测方法、装置、跑步机及存储介质
CN113781615B (zh) * 2021-09-28 2023-06-13 腾讯科技（深圳）有限公司 一种动画生成方法、装置、设备、存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416276A (zh) * 2018-02-12 2018-08-17 浙江大学 基于人的侧面步态视频的异常步态检测方法
CN109325479A (zh) * 2018-11-28 2019-02-12 清华大学 步伐检测方法及装置
CN110119697A (zh) * 2019-04-28 2019-08-13 华东交通大学 一种基于Kinect装置的步态特征提取系统
CN110796032A (zh) * 2019-10-11 2020-02-14 深圳市誉托科技有限公司 基于人体姿态评估的视频围栏及预警方法
CN110801233A (zh) * 2019-11-05 2020-02-18 上海电气集团股份有限公司 一种人体步态监测方法及装置
CN111027417A (zh) * 2019-11-21 2020-04-17 复旦大学 基于人体关键点检测算法的步态识别方法及步态评估系统
CN111242030A (zh) * 2020-01-13 2020-06-05 平安国际智慧城市科技股份有限公司 视频数据处理方法、装置、设备及计算机可读存储介质
CN111291718A (zh) * 2020-02-28 2020-06-16 上海商汤智能科技有限公司 行为预测方法及装置、步态识别方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107014396A (zh) * 2017-03-30 2017-08-04 强辉 精确测量视频中目标人的鞋长与步幅的方法
CN110956139B (zh) * 2019-12-02 2023-04-28 河南财政金融学院 一种基于时间序列回归预测的人体运动动作分析方法
CN111325149B (zh) * 2020-02-20 2023-05-26 中山大学 一种基于投票的时序关联模型的视频动作识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416276A (zh) * 2018-02-12 2018-08-17 浙江大学 基于人的侧面步态视频的异常步态检测方法
CN109325479A (zh) * 2018-11-28 2019-02-12 清华大学 步伐检测方法及装置
CN110119697A (zh) * 2019-04-28 2019-08-13 华东交通大学 一种基于Kinect装置的步态特征提取系统
CN110796032A (zh) * 2019-10-11 2020-02-14 深圳市誉托科技有限公司 基于人体姿态评估的视频围栏及预警方法
CN110801233A (zh) * 2019-11-05 2020-02-18 上海电气集团股份有限公司 一种人体步态监测方法及装置
CN111027417A (zh) * 2019-11-21 2020-04-17 复旦大学 基于人体关键点检测算法的步态识别方法及步态评估系统
CN111242030A (zh) * 2020-01-13 2020-06-05 平安国际智慧城市科技股份有限公司 视频数据处理方法、装置、设备及计算机可读存储介质
CN111291718A (zh) * 2020-02-28 2020-06-16 上海商汤智能科技有限公司 行为预测方法及装置、步态识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
步态识别特征的提取和重要性排序;王浩伦 等;《中国医学物理学杂志》;20190731;第36卷(第7期);全文 *

Also Published As

Publication number Publication date
CN112597903A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
Chen et al. A proactive workers' safety risk evaluation framework based on position and posture data fusion
Dikovski et al. Evaluation of different feature sets for gait recognition using skeletal data from Kinect
CN112597903B (zh) 基于步幅测量的电力人员安全状态智能识别方法及介质
CN111445524A (zh) 基于场景理解的施工现场工人不安全行为识别方法
CN109145696B (zh) 一种基于深度学习的老人跌倒检测方法及系统
CN114155601A (zh) 一种基于视觉的作业人员危险行为检测方法及系统
JPWO2014050518A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN111241913A (zh) 一种检测人员摔倒的方法、装置及系统
CN112235537B (zh) 一种变电站现场作业安全预警方法
US11417134B2 (en) Image analysis device, image analysis method, and recording medium
JP3655618B2 (ja) 歩行者年齢判定装置、歩行状態・歩行者年齢判定方法およびプログラム
CN112597898B (zh) 基于实时计步的电力人员安全状态智能识别方法及介质
CN103049748B (zh) 行为监测方法及装置
CN112395967A (zh) 一种口罩佩戴监测方法、电子设备和可读存储介质
CN110580708B (zh) 一种快速移动检测方法、装置及电子设备
JP5626099B2 (ja) 歩行者検出装置
Nguyen et al. Extracting silhouette-based characteristics for human gait analysis using one camera
CN117392611A (zh) 工地安全监测方法、系统、设备及存储介质
CN117593792A (zh) 一种基于视频帧的异常姿态检测方法和装置
KR101313879B1 (ko) 기울기 히스토그램을 이용한 사람 검출 추적 시스템 및 방법
Bansal et al. Elderly people fall detection system using skeleton tracking and recognition
US20200037929A1 (en) Feigned Injury Detection Systems And Methods
CN116358622A (zh) 基于视觉技术的人桥互馈位移监测预警系统及方法
JP2020177557A (ja) 情報処理装置、情報処理方法及びプログラム
CN115731563A (zh) 一种远距离监控人员倒地识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant