CN117253169A - 高危行业的风险智能管控方法和系统 - Google Patents
高危行业的风险智能管控方法和系统 Download PDFInfo
- Publication number
- CN117253169A CN117253169A CN202311253981.6A CN202311253981A CN117253169A CN 117253169 A CN117253169 A CN 117253169A CN 202311253981 A CN202311253981 A CN 202311253981A CN 117253169 A CN117253169 A CN 117253169A
- Authority
- CN
- China
- Prior art keywords
- analyzed
- worker
- workers
- fatigue degree
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012544 monitoring process Methods 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 41
- 230000004424 eye movement Effects 0.000 claims description 14
- 206010047700 Vomiting Diseases 0.000 claims description 8
- 230000004886 head movement Effects 0.000 claims description 8
- 230000008673 vomiting Effects 0.000 claims description 8
- 210000001508 eye Anatomy 0.000 description 26
- 210000003128 head Anatomy 0.000 description 15
- 210000005252 bulbus oculi Anatomy 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000036626 alertness Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 230000005057 finger movement Effects 0.000 description 2
- 230000005021 gait Effects 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 206010006100 Bradykinesia Diseases 0.000 description 1
- 208000006083 Hypokinesia Diseases 0.000 description 1
- 206010071299 Slow speech Diseases 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供的一种高危行业的风险智能管控方法和系统，该方法包括基于第一视频处理模型确定多个工人和多个工人的手臂移动速度、多个工人的腿部移动速度、多个工人的头部移动速度；基于多个工人的手臂移动速度、多个工人的腿部移动速度、多个工人的头部移动速度确定待分析工人；基于球机监控视频确定待分析工人的语速、吐字清楚程度、每段话的平均长度、眼部动作视频、手部动作视频；基于待分析工人的语速、吐字清楚程度、每段话的平均长度、眼部动作视频、手部动作视频确定待分析工人的目标疲劳度；基于待分析工人的目标疲劳度进行风险管控，该方法能够避免工人在疲劳状态下进行工作。
Description
技术领域
本发明涉及风险智能管控技术领域，具体涉及一种高危行业的风险智能管控方法和系统。
背景技术
高危行业，如楼房高空作业，具有极高的安全风险。为了降低风险，通常需要监控工人的行为，以便及时发现可能的问题。然而，由于人工监控的局限性，往往无法及时有效地发现潜在风险。由于工人在楼房上需要进行长时间高强度的工作，久而久之就会产生疲劳，工人在疲劳状态下容易出现安全事故。现有技术都是通过人工通过经验来对工人的行为进行监控，以避免工人疲劳的状态，但该方法费时费力，往往也不能及时的察觉出工人疲劳的状态。
因此，如何避免工人在疲劳状态下进行工作是当前亟待解决的问题。
发明内容
本发明主要解决的技术问题如何避免工人在疲劳状态下进行工作。
根据第一方面，本发明提供一种高危行业的风险智能管控方法，包括：获取枪机拍摄的楼房高空作业的监控视频；基于所述枪机拍摄的楼房高空作业的监控视频第一视频处理模型确定多个工人和所述多个工人的手臂移动速度、所述多个工人的腿部移动速度、所述多个工人的头部移动速度；基于所述多个工人的手臂移动速度、所述多个工人的腿部移动速度、所述多个工人的头部移动速度确定待分析工人；调用球机对所述待分析工人进行监控并得到球机监控视频；基于所述球机监控视频使用第二视频处理模型确定待分析工人的语速、待分析工人的吐字清楚程度、待分析工人的每段话的平均长度、待分析工人的眼部动作视频、待分析工人的手部动作视频；基于所述待分析工人的语速、所述待分析工人的吐字清楚程度、所述待分析工人的每段话的平均长度、所述待分析工人的眼部动作视频、所述待分析工人的手部动作视频确定所述待分析工人的目标疲劳度；基于所述待分析工人的目标疲劳度进行风险管控。
更进一步地，所述基于所述待分析工人的语速、所述待分析工人的吐字清楚程度、所述待分析工人的每段话的平均长度、所述待分析工人的眼部动作视频、所述待分析工人的手部动作视频确定所述待分析工人的目标疲劳度包括：基于所述待分析工人的语速、所述待分析工人的吐字清楚程度、所述待分析工人的每段话的平均长度确定待分析工人的第一疲劳度；基于所述待分析工人的眼部动作视频使用眼部处理模型确定待分析工人的第二疲劳度；基于所述待分析工人的手部动作视频确定待分析工人的第三疲劳度；基于所述待分析工人的第一疲劳度、所述待分析工人的第二疲劳度、所述待分析工人的第三疲劳度得到所述待分析工人的目标疲劳度。
更进一步地，所述基于所述待分析工人的第一疲劳度、所述待分析工人的第二疲劳度、所述待分析工人的第三疲劳度得到所述待分析工人的目标疲劳度，包括：基于所述待分析工人的第一疲劳度、所述待分析工人的第二疲劳度、所述待分析工人的第三疲劳度进行加权求和得到所述待分析工人的目标疲劳度。
更进一步地，所述基于所述待分析工人的目标疲劳度进行风险管控包括：判断所述待分析工人的目标疲劳度是否大于疲劳度阈值；若所述待分析工人的目标疲劳度大于或等于疲劳度阈值，则通知管理终端。
更进一步地，所述第一视频处理模型为门控循环单元。
根据第二方面，本发明提供一种高危行业的风险智能管控系统，包括：获取模块，用于获取枪机拍摄的楼房高空作业的监控视频；第一视频处理模块，用于基于所述枪机拍摄的楼房高空作业的监控视频第一视频处理模型确定多个工人和所述多个工人的手臂移动速度、所述多个工人的腿部移动速度、所述多个工人的头部移动速度；待分析工人确定模块，用于基于所述多个工人的手臂移动速度、所述多个工人的腿部移动速度、所述多个工人的头部移动速度确定待分析工人；球机监控模块，用于调用球机对所述待分析工人进行监控并得到球机监控视频；球机监控视频处理模块，用于基于所述球机监控视频使用第二视频处理模型确定待分析工人的语速、待分析工人的吐字清楚程度、待分析工人的每段话的平均长度、待分析工人的眼部动作视频、待分析工人的手部动作视频；目标疲劳度确定模块，用于基于所述待分析工人的语速、所述待分析工人的吐字清楚程度、所述待分析工人的每段话的平均长度、所述待分析工人的眼部动作视频、所述待分析工人的手部动作视频确定所述待分析工人的目标疲劳度；管控模块，用于基于所述待分析工人的目标疲劳度进行风险管控。
更进一步地，所述目标疲劳度确定模块还用于：基于所述待分析工人的语速、所述待分析工人的吐字清楚程度、所述待分析工人的每段话的平均长度确定待分析工人的第一疲劳度；基于所述待分析工人的眼部动作视频使用眼部处理模型确定待分析工人的第二疲劳度；基于所述待分析工人的手部动作视频确定待分析工人的第三疲劳度；基于所述待分析工人的第一疲劳度、所述待分析工人的第二疲劳度、所述待分析工人的第三疲劳度得到所述待分析工人的目标疲劳度。
更进一步地，所述目标疲劳度确定模块还用于：基于所述待分析工人的第一疲劳度、所述待分析工人的第二疲劳度、所述待分析工人的第三疲劳度进行加权求和得到所述待分析工人的目标疲劳度。
更进一步地，所述管控模块还用于：判断所述待分析工人的目标疲劳度是否大于疲劳度阈值；若所述待分析工人的目标疲劳度大于或等于疲劳度阈值，则通知管理终端。
更进一步地，所述第一视频处理模型为门控循环单元。
本发明提供的一种高危行业的风险智能管控方法和系统，该方法包括获取枪机拍摄的楼房高空作业的监控视频；基于所述枪机拍摄的楼房高空作业的监控视频第一视频处理模型确定多个工人和所述多个工人的手臂移动速度、所述多个工人的腿部移动速度、所述多个工人的头部移动速度；基于所述多个工人的手臂移动速度、所述多个工人的腿部移动速度、所述多个工人的头部移动速度确定待分析工人；调用球机对所述待分析工人进行监控并得到球机监控视频；基于所述球机监控视频使用第二视频处理模型确定待分析工人的语速、待分析工人的吐字清楚程度、待分析工人的每段话的平均长度、待分析工人的眼部动作视频、待分析工人的手部动作视频；基于所述待分析工人的语速、所述待分析工人的吐字清楚程度、所述待分析工人的每段话的平均长度、所述待分析工人的眼部动作视频、所述待分析工人的手部动作视频确定所述待分析工人的目标疲劳度；基于所述待分析工人的目标疲劳度进行风险管控，该方法能够避免工人在疲劳状态下进行工作。
附图说明
图1为本发明实施例提供的一种高危行业的风险智能管控方法的流程示意图；
图2为本发明实施例提供的一种确定待分析工人的目标疲劳度方法的流程示意图：
图3为本发明实施例提供的一种高危行业的风险智能管控系统的示意图。
具体实施方式
本发明实施例中，提供了如图1所示的一种高危行业的风险智能管控方法，所述高危行业的风险智能管控方法包括步骤S1～S7：
步骤S1，获取枪机拍摄的楼房高空作业的监控视频。
枪机为一种安装在固定位置上的摄像机。例如，在一座高层建筑的施工过程中，为了确保工人的安全和监督工作进展，安装了几个枪机在不同的角度对楼房高空作业现场进行拍摄。这些枪机拍摄到的视频就是楼房高空作业的监控视频。
步骤S2，基于所述枪机拍摄的楼房高空作业的监控视频第一视频处理模型确定多个工人和所述多个工人的手臂移动速度、所述多个工人的腿部移动速度、所述多个工人的头部移动速度。
所述第一视频处理模型为门控循环单元。所述第一视频处理模型的输入为所述枪机拍摄的楼房高空作业的监控视频，所述第一视频处理模型的输出为多个工人和所述多个工人的手臂移动速度、所述多个工人的腿部移动速度、所述多个工人的头部移动速度。
门控循环单元(Gated Recurrent Unit，GRU)用于处理序列数据和时序信息。门控循环单元包括记忆单元、更新门和重置门三个组件。通过门控循环单元模型可以处理连续时间段的楼房高空作业的监控视频，可以更好地捕捉到楼房高空作业的监控视频时间序列中的关系，能够输出得到综合考虑了各个时间点的楼房高空作业的监控视频之间关联关系的特征，使得该输出的特征更加的准确和全面。在一些实施例中，可以通过梯度下降法对门控循环单元模型进行训练，当达到预先设定的停止条件则停止训练。
多个工人指在监控视频中出现的多名从事楼房高空作业的工人。通过枪机拍摄的监控视频，第一视频处理模型能够分析视频中的场景，识别出图像中的多个工人，并提取工人的手臂移动速度、腿部移动速度和头部移动速度信息。例如，该模型可以检测到视频中的一个工人正在举起重物并移动手臂，根据时间和位移计算该工人的手臂移动速度。类似地，通过检测视频中工人的腿部和头部的运动，也可以得到相应的移动速度信息。
门控循环单元可以通过比较不同帧之间的位置变化或跟踪关键点的移动来实现。得到手臂移动速度、腿部移动速度和头部移动速度。
步骤S3，基于所述多个工人的手臂移动速度、所述多个工人的腿部移动速度、所述多个工人的头部移动速度确定待分析工人。
待分析工人指在高空作业中需要进行更深入分析和评估的工人。
工人的手臂移动速度、工人的腿部移动速度、工人的头部移动速度这些因素与人体疲劳状态之间存在一定的关联。
作为示例：
手臂移动速度：疲劳状态下，手臂的运动速度和力量会减弱，可能会表现为慢动作、运动迟缓或抖动等。当工人手臂的移动速度较慢时，可能暗示其疲劳程度增加。
腿部移动速度：腿部移动速度与工人的步态和行走速度相关。在疲劳状态下，人的步伐可能变得缓慢、不稳定或不协调。当工人的腿部移动速度减慢时，可能意味着其步态不稳定，这可能是由于疲劳导致的。
头部移动速度：头部移动速度可以反映工人的警觉状态和反应能力。疲劳状态下，工人可能出现头部晃动、反应迟缓或注意力不集中等情况。当工人的头部移动速度减慢时，可能表示其警觉性下降，这也与疲劳有关。
在一些实施例中，可以通过将所述多个工人的手臂移动速度、所述多个工人的腿部移动速度、所述多个工人的头部移动速度输入到待分析工人确定模型确定出待分析工人。待分析工人确定模型为人工神经网络模型。待分析工人确定模型可以综合考虑工人的手臂移动速度、工人的腿部移动速度、工人的头部移动速度并输出得到待分析工人。人工神经网络模型的基本结构包括输入层、隐藏层和输出层。输入层接收外部输入数据，隐藏层负责对输入数据进行加工和处理，最终将结果传递给输出层，输出层产生最终的预测或分类结果。
筛选出待分析工人，以便进一步了解他们的活动模式、行为和安全性等方面的情况。通过确定待分析工人，可以减少后续处理的数据量，同时将重点放在那些可能存在问题或需要特别关注的工人上。
步骤S4，调用球机对所述待分析工人进行监控并得到球机监控视频。
球机为一种监控摄像机类型，可以通过电动云台实现水平和垂直方向的旋转和调整视角，以覆盖广阔的监控范围。
通过调用球机对待分析工人进行监控。球机可以通过预先设置的参数或遥控器来旋转和调整视角，以便全方位地捕捉工人的活动。球机将实时拍摄工人的画面，并将其记录为球机监控视频。
球机通常具备高清晰度的视频拍摄功能，可以记录清晰、细腻的图像。这对于后续的视频分析非常重要，能够提供准确的细节和信息。球机可以记录声音和图像。
先通过枪机的视频确定出待分析工人，再通过球机对待分析工人的进行监控，获取到更清晰、细腻的图像，再进行后续仔细的分析。
步骤S5，基于所述球机监控视频使用第二视频处理模型确定待分析工人的语速、待分析工人的吐字清楚程度、待分析工人的每段话的平均长度、待分析工人的眼部动作视频、待分析工人的手部动作视频。
待分析工人的语速表示待分析工人说话的速度，即每分钟说出的单词数量。通过分析待分析工人在视频中的对话内容和持续时间，可以计算出其语速。例如，待分析工人在1分钟内说了100个单词，因此语速为100词/分钟。当一个人疲劳时，他们通常会感到精力不足，导致语速变慢。相反，当一个人状态良好时，他们的语速通常会较快。因此，如果待分析工人的语速明显降低，可能意味着他们正在经历疲劳。
待分析工人的吐字清楚程度表示待分析工人发音的清晰程度，即能否正确地发出各个音节和单词的辨识度。通过观察和分析待分析工人在视频中的发音清晰程度，可以对吐字清楚程度进行评估。例如，待分析工人的吐字清楚程度达到90％。疲劳可能会对待分析工人的发音和清晰度产生影响。当人们疲劳时，他们的嘴巴和舌头肌肉可能会变得疲倦，导致发音不准确或模糊不清。因此，如果待分析工人的吐字清楚程度下降，可能表明他们处于疲劳状态。
待分析工人的每段话的平均长度表示待分析工人说话时每段话的平均长度。例如，待分析工人的每段话的平均长度为20个词。疲劳可能导致待分析工人在连续说话时的时间变短。当人们疲劳时，他们可能更喜欢简洁地表达自己，避免过长的连续说话时间。因此，如果待分析工人的每段话的平均长度减少，可能意味着他们正处于疲劳状态。
待分析工人的眼部动作视频为记录待分析工人眼部动作的视频，包括眨眼、凝视、眼神移动等动作。
待分析工人的手部动作视频为记录待分析工人手部动作的视频，包括手势、操作物品、搬运东西等动作。
步骤S6，基于所述待分析工人的语速、所述待分析工人的吐字清楚程度、所述待分析工人的每段话的平均长度、所述待分析工人的眼部动作视频、所述待分析工人的手部动作视频确定所述待分析工人的目标疲劳度。
在一些实施例中，图2为本发明实施例提供的一种确定待分析工人的目标疲劳度方法的流程示意图，如图2所示，步骤S6可以包括步骤S21-步骤S24：
步骤S21，基于所述待分析工人的语速、所述待分析工人的吐字清楚程度、所述待分析工人的每段话的平均长度确定待分析工人的第一疲劳度。
在一些实施例中，可以通过对所述待分析工人的语速、所述待分析工人的吐字清楚程度、所述待分析工人的每段话的平均长度进行加权求和后得到待分析工人的第一疲劳度。例如，对所述待分析工人的语速、所述待分析工人的吐字清楚程度、所述待分析工人的每段话的平均长度分别赋予不同的权重再加权求和后得到待分析工人的第一疲劳度。
步骤S22，基于所述待分析工人的眼部动作视频使用眼部处理模型确定待分析工人的第二疲劳度。
眼部处理模型为门控循环单元。眼部处理模型的输入为所述待分析工人的眼部动作视频，眼部处理模型的输出为待分析工人的第二疲劳度。在一些实施例中，眼部处理模型包括眼部运动确定子模型和第二疲劳度输出子模型。眼部运动确定子模型的输入为所述待分析工人的眼部动作视频，眼部运动确定子模型的输出为眼球运动速度、注视点变化的频率、眨眼频率。第二疲劳度输出子模型的输入为眼球运动速度、注视点变化的频率、眨眼频率，第二疲劳度输出子模型的输出为待分析工人的第二疲劳度。
眼球运动速度指眼球在空间中从一个位置移动到另一个位置的速度。可以通过计算眼球移动的距离除以时间来获得。较高的眼球运动速度可能与较高的警觉度和注意力相关。
注视点变化的频率指待分析工人注视点在单位时间内发生变化的频率。通过追踪眼球注视点的变化，可以计算注视点切换的次数或频率。较高的注视点变化频率可能与较高的注意力和任务交替相关。
眨眼频率指眼睑在单位时间内完成眨眼动作的次数。通过检测眼睑运动的变化，可以计算眨眼的频率。眨眼频率的增加可能与疲劳程度的增加相关。
眼球运动速度、注视点变化的频率、眨眼频率可以用来判断待分析工人的眼部的疲劳度。
通过将眼部处理模型拆分为两个子模型，实现了模块化的设计。眼部运动确定子模型负责从眼部动作视频中提取眼部动作相关的特征指标，如眼球运动速度、注视点变化的频率、眨眼频率。第二疲劳度输出子模型则根据这些特征指标来计算并输出待分析工人的第二疲劳度。通过分离两个子模型，可以针对每个子模型进行独立的优化和调整，提高整体模型的性能和可用性。也使得整个眼部处理模型更加清晰和易于理解。
步骤S23，基于所述待分析工人的手部动作视频确定待分析工人的第三疲劳度。
在一些实施例中，可以通过手部处理模型确定出待分析工人的第三疲劳度。手部处理模型为门控循环单元。手部处理模型的输入为所述待分析工人的手部动作视频，手部处理模型的输出为待分析工人的第三疲劳度。
通过对手部动作视频进行分析和处理，可以提取出相关的动作特征，如运动轨迹、速度变化、手指的活动情况等。这些特征可以反映工人手部肌肉的疲劳程度、精细动作的准确性以及手部协调性等。基于这些特征，可以使用机器学习算法或者模型进行疲劳度评估，生成对应的第三疲劳度指标。
在一些实施例中，可以通过计算机视觉和动作识别技术对手部动作视频进行分析和处理从而生成对应的第三疲劳度。具体步骤如下：
视频预处理：对手部动作视频进行预处理，包括去除噪声、图像增强等，以提高后续的分析效果。
手部检测与跟踪：使用计算机视觉算法检测和跟踪视频中的手部。这可以通过手部的颜色、纹理特征或者深度信息等进行识别。
动作特征提取：从手部动作视频中提取相关的动作特征，如运动轨迹、速度变化、手指的活动情况等。
疲劳度评估：基于提取的动作特征，使用机器学习算法或者模型进行疲劳度评估。机器学习算法包括人工神经网络、卷积神经网络等。
结果分析和输出：分析评估结果，生成对应的第三疲劳度指标，并将其输出供后续使用。
步骤S24，基于所述待分析工人的第一疲劳度、所述待分析工人的第二疲劳度、所述待分析工人的第三疲劳度得到所述待分析工人的目标疲劳度。
在一些实施例中，可以事先对所述待分析工人的第一疲劳度、所述待分析工人的第二疲劳度、所述待分析工人的第三疲劳度分别赋予不同的的权重，再基于所述待分析工人的第一疲劳度、所述待分析工人的第二疲劳度、所述待分析工人的第三疲劳度进行加权求和得到所述待分析工人的目标疲劳度。
步骤S7，基于所述待分析工人的目标疲劳度进行风险管控。
在一些实施例中，可以判断所述待分析工人的目标疲劳度是否大于疲劳度阈值；若所述待分析工人的目标疲劳度大于或等于疲劳度阈值，则通知管理终端。
基于同一发明构思，图3为本发明的实施例提供的一种高危行业的风险智能管控系统示意图，所述高危行业的风险智能管控系统包括：
获取模块31，用于获取枪机拍摄的楼房高空作业的监控视频；
第一视频处理模块32，用于基于所述枪机拍摄的楼房高空作业的监控视频第一视频处理模型确定多个工人和所述多个工人的手臂移动速度、所述多个工人的腿部移动速度、所述多个工人的头部移动速度；
待分析工人确定模块33，用于基于所述多个工人的手臂移动速度、所述多个工人的腿部移动速度、所述多个工人的头部移动速度确定待分析工人；
球机监控模块34，用于调用球机对所述待分析工人进行监控并得到球机监控视频；
球机监控视频处理模块35，用于基于所述球机监控视频使用第二视频处理模型确定待分析工人的语速、待分析工人的吐字清楚程度、待分析工人的每段话的平均长度、待分析工人的眼部动作视频、待分析工人的手部动作视频；
目标疲劳度确定模块36，用于基于所述待分析工人的语速、所述待分析工人的吐字清楚程度、所述待分析工人的每段话的平均长度、所述待分析工人的眼部动作视频、所述待分析工人的手部动作视频确定所述待分析工人的目标疲劳度；
管控模块37，用于基于所述待分析工人的目标疲劳度进行风险管控。
Claims (10)
1.一种高危行业的风险智能管控方法，其特征在于，包括：
获取枪机拍摄的楼房高空作业的监控视频；
基于所述枪机拍摄的楼房高空作业的监控视频第一视频处理模型确定多个工人和所述多个工人的手臂移动速度、所述多个工人的腿部移动速度、所述多个工人的头部移动速度；
基于所述多个工人的手臂移动速度、所述多个工人的腿部移动速度、所述多个工人的头部移动速度确定待分析工人；
调用球机对所述待分析工人进行监控并得到球机监控视频；
基于所述球机监控视频使用第二视频处理模型确定待分析工人的语速、待分析工人的吐字清楚程度、待分析工人的每段话的平均长度、待分析工人的眼部动作视频、待分析工人的手部动作视频；
基于所述待分析工人的语速、所述待分析工人的吐字清楚程度、所述待分析工人的每段话的平均长度、所述待分析工人的眼部动作视频、所述待分析工人的手部动作视频确定所述待分析工人的目标疲劳度；
基于所述待分析工人的目标疲劳度进行风险管控。
2.如权利要求1所述的高危行业的风险智能管控方法，其特征在于，所述基于所述待分析工人的语速、所述待分析工人的吐字清楚程度、所述待分析工人的每段话的平均长度、所述待分析工人的眼部动作视频、所述待分析工人的手部动作视频确定所述待分析工人的目标疲劳度包括：
基于所述待分析工人的语速、所述待分析工人的吐字清楚程度、所述待分析工人的每段话的平均长度确定待分析工人的第一疲劳度；
基于所述待分析工人的眼部动作视频使用眼部处理模型确定待分析工人的第二疲劳度；
基于所述待分析工人的手部动作视频确定待分析工人的第三疲劳度；
基于所述待分析工人的第一疲劳度、所述待分析工人的第二疲劳度、所述待分析工人的第三疲劳度得到所述待分析工人的目标疲劳度。
3.如权利要求2所述的高危行业的风险智能管控方法，其特征在于，所述基于所述待分析工人的第一疲劳度、所述待分析工人的第二疲劳度、所述待分析工人的第三疲劳度得到所述待分析工人的目标疲劳度，包括：基于所述待分析工人的第一疲劳度、所述待分析工人的第二疲劳度、所述待分析工人的第三疲劳度进行加权求和得到所述待分析工人的目标疲劳度。
4.如权利要求1所述的高危行业的风险智能管控方法，其特征在于，所述基于所述待分析工人的目标疲劳度进行风险管控包括：
判断所述待分析工人的目标疲劳度是否大于疲劳度阈值；
若所述待分析工人的目标疲劳度大于或等于疲劳度阈值，则通知管理终端。
5.如权利要求1所述的高危行业的风险智能管控方法，其特征在于，所述第一视频处理模型为门控循环单元。
6.一种高危行业的风险智能管控系统，其特征在于，包括：
获取模块，用于获取枪机拍摄的楼房高空作业的监控视频；
第一视频处理模块，用于基于所述枪机拍摄的楼房高空作业的监控视频第一视频处理模型确定多个工人和所述多个工人的手臂移动速度、所述多个工人的腿部移动速度、所述多个工人的头部移动速度；
待分析工人确定模块，用于基于所述多个工人的手臂移动速度、所述多个工人的腿部移动速度、所述多个工人的头部移动速度确定待分析工人；
球机监控模块，用于调用球机对所述待分析工人进行监控并得到球机监控视频；
球机监控视频处理模块，用于基于所述球机监控视频使用第二视频处理模型确定待分析工人的语速、待分析工人的吐字清楚程度、待分析工人的每段话的平均长度、待分析工人的眼部动作视频、待分析工人的手部动作视频；
目标疲劳度确定模块，用于基于所述待分析工人的语速、所述待分析工人的吐字清楚程度、所述待分析工人的每段话的平均长度、所述待分析工人的眼部动作视频、所述待分析工人的手部动作视频确定所述待分析工人的目标疲劳度；
管控模块，用于基于所述待分析工人的目标疲劳度进行风险管控。
7.如权利要求6所述的高危行业的风险智能管控系统，其特征在于，所述目标疲劳度确定模块还用于：
基于所述待分析工人的语速、所述待分析工人的吐字清楚程度、所述待分析工人的每段话的平均长度确定待分析工人的第一疲劳度；
基于所述待分析工人的眼部动作视频使用眼部处理模型确定待分析工人的第二疲劳度；
基于所述待分析工人的手部动作视频确定待分析工人的第三疲劳度；
基于所述待分析工人的第一疲劳度、所述待分析工人的第二疲劳度、所述待分析工人的第三疲劳度得到所述待分析工人的目标疲劳度。
8.如权利要求7所述的高危行业的风险智能管控系统，其特征在于，所述目标疲劳度确定模块还用于：基于所述待分析工人的第一疲劳度、所述待分析工人的第二疲劳度、所述待分析工人的第三疲劳度进行加权求和得到所述待分析工人的目标疲劳度。
9.如权利要求6所述的高危行业的风险智能管控系统，其特征在于，所述管控模块还用于：
判断所述待分析工人的目标疲劳度是否大于疲劳度阈值；
若所述待分析工人的目标疲劳度大于或等于疲劳度阈值，则通知管理终端。
10.如权利要求6所述的高危行业的风险智能管控系统，其特征在于，所述第一视频处理模型为门控循环单元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311253981.6A CN117253169A (zh) | 2023-09-27 | 2023-09-27 | 高危行业的风险智能管控方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311253981.6A CN117253169A (zh) | 2023-09-27 | 2023-09-27 | 高危行业的风险智能管控方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117253169A true CN117253169A (zh) | 2023-12-19 |
Family
ID=89130957
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311253981.6A Pending CN117253169A (zh) | 2023-09-27 | 2023-09-27 | 高危行业的风险智能管控方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117253169A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106228821A (zh) * | 2016-07-29 | 2016-12-14 | 泽交通工程咨询（上海）有限公司 | 高危车辆疲劳驾驶综合监测及安全防控方法 |
| CN107773966A (zh) * | 2016-08-31 | 2018-03-09 | 郑州动量科技有限公司 | 一种运动综合监控系统及其方法 |
| CN112434611A (zh) * | 2020-11-25 | 2021-03-02 | 中山大学 | 基于眼部运动细微特征的早期疲劳检测方法及系统 |
| CN113469023A (zh) * | 2021-06-28 | 2021-10-01 | 北京百度网讯科技有限公司 | 确定警觉度的方法、装置、设备和存储介质 |
| CN114332712A (zh) * | 2021-12-30 | 2022-04-12 | 上海亚冠智慧轨道交通科技有限公司 | 基于人脸识别的隧道工作人员监测系统及方法 |
| WO2022175820A1 (en) * | 2021-02-19 | 2022-08-25 | 3M Innovative Properties Company | Identification of workers using personal protective equipment and worker movement characteristic analysis |
-
2023
- 2023-09-27 CN CN202311253981.6A patent/CN117253169A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106228821A (zh) * | 2016-07-29 | 2016-12-14 | 泽交通工程咨询（上海）有限公司 | 高危车辆疲劳驾驶综合监测及安全防控方法 |
| CN107773966A (zh) * | 2016-08-31 | 2018-03-09 | 郑州动量科技有限公司 | 一种运动综合监控系统及其方法 |
| CN112434611A (zh) * | 2020-11-25 | 2021-03-02 | 中山大学 | 基于眼部运动细微特征的早期疲劳检测方法及系统 |
| WO2022175820A1 (en) * | 2021-02-19 | 2022-08-25 | 3M Innovative Properties Company | Identification of workers using personal protective equipment and worker movement characteristic analysis |
| CN113469023A (zh) * | 2021-06-28 | 2021-10-01 | 北京百度网讯科技有限公司 | 确定警觉度的方法、装置、设备和存储介质 |
| CN114332712A (zh) * | 2021-12-30 | 2022-04-12 | 上海亚冠智慧轨道交通科技有限公司 | 基于人脸识别的隧道工作人员监测系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3333762A1 (en) | Crowd analytics via one shot learning | |
| US10216983B2 (en) | Techniques for assessing group level cognitive states | |
| JP7070605B2 (ja) | 注目範囲推定装置、その方法およびプログラム | |
| CN106006266B (zh) | 一种应用于电梯安全监控的机器视觉建立方法 | |
| Kurylyak et al. | Detection of the eye blinks for human's fatigue monitoring | |
| CN106241534B (zh) | 多人乘梯异常活动智能监控方法 | |
| CN110020632A (zh) | 一种基于深度学习的人脸识别用于检测疲劳驾驶的方法 | |
| CN109165685B (zh) | 基于表情和动作的监狱服刑人员潜在性风险监测方法和系统 | |
| CN110781723B (zh) | 一种群体异常行为识别方法 | |
| CN111242004A (zh) | 一种基于电梯监控数据处理的自动告警方法及系统 | |
| Nar et al. | Abnormal activity detection for bank ATM surveillance | |
| JP7242114B2 (ja) | 反応解析システムおよび反応解析装置 | |
| Taghvaei et al. | Image-based fall detection and classification of a user with a walking support system | |
| CN117547270A (zh) | 一种多源数据融合的飞行员认知负荷反馈系统 | |
| CN114842560A (zh) | 基于计算机视觉的建筑工地人员危险行为识别方法 | |
| CN117253169A (zh) | 高危行业的风险智能管控方法和系统 | |
| US20220091670A1 (en) | Headset signals to determine emotional states | |
| CN111028488A (zh) | 一种基于pso-svm的智能久坐提醒的方法 | |
| CN116965781A (zh) | 一种驾驶员生命体征和驾驶行为监控方法及系统 | |
| KR102544492B1 (ko) | 수영장 안전관리 장치 및 방법 | |
| TWI657379B (zh) | 智慧深度學習溺水救生系統 | |
| CN113408389A (zh) | 一种智能识别司机睡意动作的方法 | |
| CN113274720A (zh) | 一种用于虚拟现实的计算机数据采集方法 | |
| CN109740531B (zh) | 监护设备及监护轮椅 | |
| CN112990067A (zh) | 一种面向独居人群的机器人智能情绪识别治愈方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |