CN112307920A - 一种高风险工种作业人员行为预警装置及方法 - Google Patents

一种高风险工种作业人员行为预警装置及方法 Download PDF

Info

Publication number
CN112307920A
CN112307920A CN202011139956.1A CN202011139956A CN112307920A CN 112307920 A CN112307920 A CN 112307920A CN 202011139956 A CN202011139956 A CN 202011139956A CN 112307920 A CN112307920 A CN 112307920A
Authority
CN
China
Prior art keywords
face
result
key point
concentration
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011139956.1A
Other languages
English (en)
Other versions
CN112307920B (zh
Inventor
洪志刚
易秋晨
林健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongyun Ruilian Wuhan Computing Technology Co ltd
Original Assignee
Dongyun Ruilian Wuhan Computing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongyun Ruilian Wuhan Computing Technology Co ltd filed Critical Dongyun Ruilian Wuhan Computing Technology Co ltd
Priority to CN202011139956.1A priority Critical patent/CN112307920B/zh
Publication of CN112307920A publication Critical patent/CN112307920A/zh
Application granted granted Critical
Publication of CN112307920B publication Critical patent/CN112307920B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种高风险工种作业人员行为预警装置及方法，所述装置包括处理器、视频数据采集单元、人工智能推理分析硬件单元、以及报警控制单元；处理器分别与视频数据采集单元、人工智能推理分析硬件单元、以及报警控制单元电连接；人工智能推理分析硬件单元内置有人脸专注度推理模型，所述人脸专注度推理模型包括人脸识别模型、人体关键点识别模型、人脸关键点检测模型、以及人脸专注度识别模型，所述人脸专注度识别模型还包括人脸朝向算子、关键点状态算子、即时专注度算子、以及连续专注度算子。本发明提出的高风险作业人员的专注度识别与预警方法与装置能够高精度地对作业人员的专注度进行监控预警，具备非常广泛的实用价值。

Description

一种高风险工种作业人员行为预警装置及方法
技术领域
本发明涉及人工智能技术领域，尤其涉及一种高风险工种作业人员行为预警装置及方法。
背景技术
随着AI(Artificial Intelligence,人工智能)视频分析技术的快速发展与日趋成熟，对人工智能监控与预警系统的需求增长迅速，目前常规对作业人员的安全监控预警方法都是基于人体姿态推理分析，或者对防护设施(安全帽、安全带识别等等)的识别，但是很多作业安全事故是因为作业人员的精神状态疲劳、或者工作专注度不足而导致，传统的监控系统无法实现这一类情况的监控或者预警。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种高风险工种作业人员行为预警装置及方法，旨在解决现有技术中的常规的监控技术不能有效监控作业人员的精神专注度，从而引发安全事故隐患的问题。
为实现上述目的，本发明提供一种高风险工种作业人员行为预警装置，所述装置包括处理器、视频数据采集单元、人工智能推理分析硬件单元、以及报警控制单元；所述处理器分别与所述视频数据采集单元、所述人工智能推理分析硬件单元、以及所述报警控制单元电连接；所述人工智能推理分析硬件单元内置有人脸专注度推理模型；
所述视频数据采集单元，用于对当前作业人员进行人脸采集，将采集到的人脸视频图像数据传输至所述处理器，由所述处理器将所述人脸视频图像数据传输至所述人工智能推理分析硬件；
所述人工智能推理分析硬件，用于加载并运行所述人脸专注度推理模型对所述人脸视频图像数据进行处理，所述人脸专注度推理模型包括人脸识别模型、人体关键点识别模型、人脸关键点检测模型、以及人脸专注度识别模型；
其中，
所述人脸识别模型用于提取所述人脸视频图像数据的当前视频帧图像中的人脸坐标位置信息；
所述人体关键点识别模型用于提取所述当前视频帧图像中人体关键点坐标位置信息；
所述处理器，用于将所述人脸坐标信息输入所述人脸关键点检测模型中以获取所述当前视频帧图像中的人脸关键点坐标位置信息；
所述处理器，还用于将所述人脸关键点坐标信息及所述人体关键点坐标信息输入至所述专注度识别模型以获取人脸关键点分类结果、人体关键点分类结果及面部朝向结果；
其中，所述人脸专注度识别模型还包括人脸朝向算子、关键点状态算子、即时专注度算子、以及连续专注度算子；
所述处理器，还用于调用所述人脸朝向算子来根据所述面部朝向结果计算当前面部朝向评估值；
所述处理器，还用于调用所述关键点状态算子来根据所述人脸关键点分类结果和所述人体关键点分类结果计算关键点评估值；
所述处理器，还用于调用所述即时专注度算子来根据所述面部朝向评估值和所述关键点状态评估值计算所述当前视频帧图像中的人脸即时专注值；
所述处理器，还用于调用所述连续专注度算子来基于所述人脸即时专注度值和系统设定连续帧计算因子计算多个所述人脸即时专注度值的加权平均得分作为当前人脸连续专注度值；
所述处理器，还用于将所述当前人脸连续专注度值与预设系统报警阈值进行比较，根据比较结果向所述报警控制单元发送报警信号。
优选地，所述处理器用于将所述人脸视频图像数据缩放至满足所述人脸专注度推理模型要求的分辨率之后，将缩放后的人脸视频图像数据传输至所述人工智能推理分析硬件的内存中。
优选地，所述装置与移动终端或服务器预先建立通信网络连接；
所述处理器，还用于将所述当前人脸连续专注度值与预设系统报警阈值进行比较，在比较结果达到预设条件时，按照预设网络协议向所述移动终端或所述服务器推送报警信息，以使得所述移动终端或所述服务器向监控人员发出报警提示。
优选地，所述视频数据采集单元具有宽动态功能或者背景强光抑制功能。
此外，为实现上述目的，本发明还提出一种高风险工种作业人员行为预警方法，所述方法包括以下步骤：
对当前作业人员进行人脸采集，获取采集到的人脸视频图像数据；
加载并运行人脸专注度推理模型对所述人脸视频图像数据进行处理，所述人脸专注度推理模型包括人脸识别模型、人体关键点识别模型、人脸关键点检测模型、以及人脸专注度识别模型；
调用所述人脸识别模型提取所述人脸视频图像数据的当前视频帧图像中的人脸坐标位置信息；
调用所述人体关键点识别模型提取所述当前视频帧图像中人体关键点坐标位置信息；
将所述人脸坐标信息输入所述人脸关键点检测模型中以获取所述当前视频帧图像中的人脸关键点坐标位置信息；
将所述人脸关键点坐标信息及所述人体关键点坐标信息输入至所述专注度识别模型以获取人脸关键点分类结果、人体关键点分类结果及面部朝向结果；
其中，所述人脸专注度推理模型还包括人脸朝向算子、关键点状态算子、即时专注度算子、以及连续专注度算子；
调用所述人脸朝向算子来根据所述面部朝向结果计算当前面部朝向评估值；
调用所述关键点状态算子来根据所述人脸关键点分类结果和所述人体关键点分类结果计算关键点评估值；
调用所述即时专注度算子来根据所述面部朝向评估值和所述关键点状态评估值计算所述当前视频帧图像中的人脸即时专注值；
调用所述连续专注度算子来基于所述人脸即时专注度值和系统设定连续帧计算因子计算多个所述人脸即时专注度值的加权平均得分作为当前人脸连续专注度值；
将所述当前人脸连续专注度值与预设系统报警阈值进行比较，根据比较结果进行报警提示。
优选地，所述调用所述人脸识别模型提取所述人脸视频图像数据的当前视频帧图像中的人脸坐标位置信息的步骤之后，所述方法还包括：
基于所述人脸坐标位置信息获取所述当前作业人员的当前人脸特征向量；
将所述当前人脸特征向量与所述当前作业人员的预置人脸特征向量进行比较；
若所述当前人脸特征向量不满足所述预置人脸特征向量聚类结果，则输出非法操作告警信息；
若所述当前人脸特征向量满足所述预置人脸特征向量聚类结果，则输出所述当前作业人员的人脸身份信息标识。
优选地，所述将所述当前人脸连续专注度值与预设系统报警阈值进行比较，根据比较结果进行报警提示的步骤，具体包括：
将所述当前人脸连续专注度值与预设系统报警阈值进行比较，在比较结果达到预设条件时，按照预设网络协议向移动终端或服务器推送报警信息，以使得所述移动终端或所述服务器向监控人员发出报警提示。
优选地，所述人脸关键点分类结果包括人脸遮挡结果类型、眼部结果类型、以及嘴部结果类型；
所述人脸遮挡结果类型包括遮挡结果和未被遮挡结果，其中，遮挡结果的关键点评估值低于未被遮挡结果的关键点评估值；在所述人脸遮挡结果类型为遮挡结果的状态时长达到预设时长时，生成并发出报警提示；
所述眼部结果类型包括眼闭结果和眼睁结果，其中，眼闭结果的关键点评估值低于眼睁结果的关键点评估值；在所述眼闭结果的状态时长达到预设时长时，生成并发出报警提示；
所述嘴部结果类型包括口张结果和口合结果，其中，所述口张结果的关键点评估值低于口合结果的关键点评估值。
优选地，所述面部朝向结果包括转向结果和正常结果，在所述面部朝向结果为转向结果时，所述转向结果的关键点评估值低于面部朝向结果为正常结果的关键点评估值。
优选地，所述人体关键点分类结果包括手臂姿态结果，所述手臂姿态结果包括正常状态和非正常状态，其中，所述手臂姿态结果为非正常状态时，所述非正常状态的关键点评估值低于正常状态结果的关键点评估值。
本发明的有益效果：本发明能够对当前作业人员的精神状态与专注度进行实时高精度地监控与报警，弥补已有监控技术设备不能有效监控作业人员专注度的缺陷。
附图说明
图1为本发明实施例一的高风险工种作业人员行为预警装置的结构框图；
图2为本发明的高风险工种作业人员行为预警装置涉及联动网络报警的结构框图；
图3为本发明实施例三中车辆实施例场景的行为预警装置的车载安装示意图；
图4为本发明实施例三中车载装置系统结构示意框图；
图5为本发明实施例四中生产车间装置系统结构示意图；
图6为本发明实施例中人脸专注度推理模型执行流程示意图；
图7为本发明实施例中人脸专注度模型实例执行流程示意图；
图8为本发明实施例中人脸识别模型执行流程示意图；
图9为本发明实施例二的高风险工种作业人员行为预警方法的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
可理解的是，深度学习是一种以人工神经网络为架构，对数据进行表征学习的算法。本发明使用深度学习算法来生成用于高风险工种作业人员的专注度分析的人脸专注度推理模型，本发明的人脸专注度推理模型又包括多个深度学习子模型，这些深度学习子模型具体包括人脸识别模型、人体关键点识别模型、人脸关键点检测模型、以及人脸专注度识别模型。要进行模型训练，首先需要具有可被学习的数据集样本，样本通常为文本，语音或图像数据，本发明中使用的样本均为图像、视频数据。
实施例一：
参考图1，图1为本发明一种高风险工种作业人员行为预警装置结构框图；
所述高风险工种作业人员行为预警装置10包括视频数据采集单元20、处理器30、人工智能推理分析硬件单元40、以及报警控制单元60；所述处理器30分别与所述视频数据采集单元20、所述人工智能推理分析硬件单元40、以及所述报警控制单元60电连接；所述人工智能推理分析硬件单元40内置有人脸专注度推理模型50；
所述视频数据采集单元20，用于对当前作业人员进行人脸采集，将采集到的人脸视频图像数据传输至所述处理器，由所述处理器将所述人脸视频图像数据传输至所述人工智能推理分析硬件；
所述人工智能推理分析硬件40，用于加载并运行所述人脸专注度推理模型50对所述人脸视频图像数据进行处理，所述人脸专注度推理模型50包括人脸识别模型、人体关键点识别模型、人脸关键点检测模型、以及人脸专注度识别模型；
其中，
所述人脸识别模型用于提取所述人脸视频图像数据的当前视频帧图像中的人脸坐标位置信息；
所述人体关键点识别模型用于提取所述当前视频帧图像中人体关键点坐标位置信息；
所述处理器30，用于将所述人脸坐标信息输入所述人脸关键点检测模型中以获取所述当前视频帧图像中的人脸关键点坐标位置信息；
所述处理器30，还用于将所述人脸关键点坐标信息及所述人体关键点坐标信息输入至所述专注度识别模型以获取人脸关键点分类结果、人体关键点分类结果及面部朝向结果；
其中，所述人脸专注度推理模型还包括人脸朝向算子、关键点状态算子、即时专注度算子、以及连续专注度算子；
所述处理器30，还用于调用所述人脸朝向算子来根据所述面部朝向结果计算当前面部朝向评估值；
所述处理器30，还用于调用所述关键点状态算子来根据所述人脸关键点分类结果和所述人体关键点分类结果计算关键点评估值；
所述处理器30，还用于调用所述即时专注度算子来根据所述面部朝向评估值和所述关键点状态评估值计算所述当前视频帧图像中的人脸即时专注值；
所述处理器30，还用于调用所述连续专注度算子来基于所述人脸即时专注度值和系统设定连续帧计算因子计算多个所述人脸即时专注度值的加权平均得分作为当前人脸连续专注度值；
所述处理器30，还用于将所述当前人脸连续专注度值与预设系统报警阈值进行比较，根据比较结果向所述报警控制单元60发送报警信号。
本实施例的高风险工种作业人员行为预警装置10可以包括两个部分，第一部分是视频数据采集单元20，其具有高清晰度的视频图像采集功能，其能够连接视频采集设备，例如连接MIPI接口镜头，或者连接USB接口的摄像头，或者连接HDMI相机等等作为视频输入。
优选地，视频数据采集单元20为了增强图像质量，增加对环境的适应性，图像采集端可以增加宽动态或者背景强光抑制功能，避免因为作业人员背后有照明灯光二导致采集到的人脸图像不清晰问题；
在具体实现中，所述处理器30用于将所述人脸视频图像数据缩放至满足所述人脸专注度推理模型要求的分辨率之后，将缩放后的人脸视频图像数据传输至所述人工智能推理分析硬件的内存中，所述人脸视频图像数据可以是YUV图像数据。
第二部分就是人工智能推理分析硬件单元40，其具有进行人脸专注度推理运算的功能，可以是NNIE神经网络推理引擎硬件、GPU硬件、NEON运算模块或者DSP/IVE运算硬件等等，在人工智能推理分析硬件40中加载并运行人人脸专注度推理模型50，由AI推理分析硬件单元40的SDK提供出对已加载的算法模型的运行控制接口；
由处理器30控制启动推理算法的运算过程，并获取到推理运算的结果数值。人脸专注度推理模型执行流程示参考附图6，人脸专注度推理模型50采用的人脸专注度识别方法与推理执行过程包括：
第一步、使用人脸识别模型提取当前视频帧图像中的人脸坐标位置信息及输出人脸身份信息标识；
第二步、使用人体关键点识别模型提取当前视频帧图像中人体关键点坐标位置信息；
第三步、将人脸坐标信息输入人脸关键点检测模型中获取当前视频帧图像中人脸关键点坐标位置信息；
第四步、将人脸关键点坐标信息及人体关键点坐标信息输入专注度识别模型，获取人脸关键点分类结果、人体关键点分类结果及面部朝向结果；
其中，第四步的专注度识别模型的工作过程中，需要调用4种计算算子:
人脸朝向算子：作用在于，基于所述专注度识别模型面部朝向结果，计算当前面部朝向评估值；所述面部朝向结果包括转向结果和正常结果，在所述面部朝向结果为转向结果时，所述转向结果的关键点评估值低于面部朝向结果为正常结果的关键点评估值。
关键点状态算子：作用在于，基于所述专注度识别模型人脸关键点分类结果、人体关键点分类结果，计算关键点状态评估值；
即时专注度算子：作用在于，基于所述面部朝向评估值、关键点状态评估值计算当前视频帧图像中人脸即时专注度值；
连续专注度算子：作用在于，基于人脸即时专注度值及系统设定连续帧计算因子，计算连续帧内人脸连续专注度值；
所述连续帧计算因子为计算连续时间段内即时专注度值的最大计算区、间；人脸专注度推理模型最终输出连续专注度值，报警单元根据系统报警阈值判定当前连续专注度值是否应当发出警报。
需要说明的是，本实施例中，所述人脸关键点分类结果包括人脸遮挡结果类型、眼部结果类型、以及嘴部结果类型；
所述人脸遮挡结果类型包括遮挡结果和未被遮挡结果，其中，遮挡结果的关键点评估值低于未被遮挡结果的关键点评估值；
所述眼部结果类型包括眼闭结果和眼睁结果，其中，眼闭结果的关键点评估值低于眼睁结果的关键点评估值；
所述嘴部结果类型包括口张结果和口合结果，其中，口张结果的关键点评估值低于口合结果的关键点评估值。
所述人体关键点分类结果包括手臂姿态结果，其中，所述手臂姿态结果为非正常状态时，所述非正常状态的关键点评估值低于正常状态结果的关键点评估值。
第三部分是报警输出控制单元60，这一部分受到处理器30的直接控制，当中央处理器30得到人脸专注度推理模块的运算结果，并且结果显示当前作业人员的专注度处于低或者极低状态时，会控制报警输出单元输出报警信号。
报警输出控制单元60输出报警信号时，直接控制电连接的报警装置发出报警信号，例如通过高低电平来点亮设备上的报警灯，或者通过代码控制蜂鸣器播放特定频率的声音等；
可选地，报警输出单元60可以扩展联动外部报警服务器或者报警接收终端设备。
参考附图2，所述装置10与移动终端(可以是报警接收客户端81)或报警服务器(可以包括监控中心服务器70和报警服务器80)预先建立通信网络连接；
所述处理器30，还用于将所述当前人脸连续专注度值与预设系统报警阈值进行比较，在比较结果达到预设条件时，按照预设网络协议向所述移动终端或所述服务器推送报警信息，以使得所述移动终端或所述服务器向监控人员发出报警提示。
具体地，如果通过网络连接配置好了监控中心服务器70或者报警接收客户端81，本系统在本地发出声光报警的同时，还可以把报警消息通过网络及时推送到监控中心与报警接收客户端81，让监控人员即时知晓并干预作业人员的危险作业行为。扩展上述可选的网络报警联动功能，需要在系统上增加网络通信硬件，例如有线连接，或者WiFi，4G/5G网卡等等，由报警输出单元控制按照预定义的网络协议把报警消息、报警时的现场图片等等即时传送到监控中心服务器70或者报警接收客户端81。
本实施例能够对当前作业人员的精神状态与专注度进行实时准确地监控与报警，弥补已有监控技术设备不能有效监控作业人员专注度的缺陷，该装置基于具备AI算力的嵌入式低功耗硬件平台开发，集成视频图像采集、AI推理分析与报警输出功能为一体，大大简化安装部署的复杂度，还具备便捷的联动外部服务器或者报警接收终端的特性。
实施例二
基于上述高风险工种作业人员行为预警装置，本实施例二提出一种高风险工种作业人员行为预警方法，参考图9，图9是为本发明一种高风险工种作业人员行为预警方法流程示意图，本实施例中，所述方法包括以下步骤：
步骤S10:对当前作业人员进行人脸采集，获取采集到的人脸视频图像数据；
步骤S20:加载并运行人脸专注度推理模型对所述人脸视频图像数据进行处理，所述人脸专注度推理模型包括人脸识别模型、人体关键点识别模型、人脸关键点检测模型、以及人脸专注度识别模型；
步骤S30:调用所述人脸识别模型提取所述人脸视频图像数据的当前视频帧图像中的人脸坐标位置信息；
步骤S40:调用所述人体关键点识别模型提取所述当前视频帧图像中人体关键点坐标位置信息；
步骤S50:将所述人脸坐标信息输入所述人脸关键点检测模型中以获取所述当前视频帧图像中的人脸关键点坐标位置信息；
步骤S60:将所述人脸关键点坐标信息及所述人体关键点坐标信息输入至所述专注度识别模型以获取人脸关键点分类结果、人体关键点分类结果及面部朝向结果；
其中，所述人脸专注度识别模型还包括人脸朝向算子、关键点状态算子、即时专注度算子、以及连续专注度算子；
步骤S70:调用所述人脸朝向算子来根据所述面部朝向结果计算当前面部朝向评估值(面部朝向在即时视频帧检测中结果为“转向”结果的关键点评估值要低于“正常”的关键点评估值)；
步骤S80:调用所述关键点状态算子来根据所述人脸关键点分类结果和所述人体关键点分类结果计算关键点评估值(眼、口在即时视频帧检测中结果为“遮挡”结果的关键点评估值要低于未被遮挡的关键点评估值)(眼、口在即时视频帧检测中结果为“眼闭”、“口张”结果的关键点评估值要低于“眼睁”、“口合”的关键点评估值)(眼、口在连续视频帧内一直是“遮挡”结果，系统直接发出遮挡警告，提醒驾驶员调整摄像头角度或取下遮挡物)和所述人体关键点分类结果(手臂姿态在即时视频帧检测中结果为“异常”结果的关键点评估值要低于“正常”结果的关键点评估值)计算关键点评估值；
步骤S90:调用所述即时专注度算子来根据所述面部朝向评估值和所述关键点状态评估值计算所述当前视频帧图像中的人脸即时专注值；
步骤S100:调用所述连续专注度算子来基于所述人脸即时专注度值和系统设定连续帧计算因子计算多个所述人脸即时专注度值的加权平均得分作为当前人脸连续专注度值；
步骤S110:将所述当前人脸连续专注度值与预设系统报警阈值进行比较，根据比较结果向所述报警控制单元发送报警信号。
本实施例在具体实现中，参考图8，所述步骤S30之后，所述方法还包括：
基于所述人脸坐标位置信息获取所述当前作业人员的当前人脸特征向量；将所述当前人脸特征向量与所述当前作业人员的预置人脸特征向量进行比较；若所述当前人脸特征向量不满足所述预置人脸特征向量聚类结果，则输出非法操作告警信息；若所述当前人脸特征向量满足所述预置人脸特征向量聚类结果，则输出所述当前作业人员的人脸身份信息标识。
本实施例能够对当前作业人员的精神状态与专注度进行实时高精度地监控与报警，弥补已有监控技术设备不能有效监控作业人员专注度的缺陷
实施例三
本实施例公开了将上述实施例的高风险工种作业人员行为预警装置及方法应用于特种车辆驾驶员的人脸专注度监控的一种场景。本发明的车辆实施例场景，最大化地考虑低功耗与安装的便利特性，提供网络报警联动支持功能，主要包含了以下特性与组成部分:本实施例的安装位置参考附图3安装在驾驶员面前，镜头直接对准驾驶员的脸部，设备采用车上的USB接口5V供电，安装非常方便；
系统结构示意图参考附图4，包含以下组成部分：
视频数据采集单元(模块20)采用直连的MIPI镜头集成到设备里面，使得设备整体的体积更加小；处理器30运行设备操作系统与主要程序，从镜头获取到图像数据，完成图像编码与缩放操作，把符合专注度识别推理模型所要求的分辨率的图像数据送到AI分析硬件单元40的内存中。AI分析硬件单元40提供接口，由中央处理器30调度该接口开始运行推理模型的运算，获得人脸专注度推理结果数值。
在本实施例中模型推理还包含如下计算：人脸专注度模型实例执行流程示意图参考附图7。
人脸专注度识别模型获取人脸关键点分类结果包括：
a)面部朝向结果；
b)眼、口开合结果；
c)眼、口遮挡结果；
人脸专注度识别模型获取人体关键点分类结果包括：
a)手臂姿态结果；
所述关键点状态算子在本实施例中会计算
a)面部朝向结果；
b)眼、口开合结果；
c)眼、口遮挡结果、
d)手臂姿态结果的关键点评估值；
人脸识别模型执行流程示意图参考附图8；
在开始专注度识别前，系统会先验证当前被检测者的身份，若人脸识别模型检测到人脸特征向量不满足预置人脸特征向量聚类结果，专注度识别模型直接输出“非法操作”结果。
关键点状态算子定义：
·1、眼、口在即时视频帧检测中结果为“遮挡”结果的关键点评估值要低于未被遮挡的关键点评估值；
·当前场景中，人脸关键点检测模型检测即时视频图像帧画面中的人眼周关键点结果为缺失状态，人体关键点检测结果手部坐标位置位于人眼关键点坐标位置附近，此时专注度识别模型检测当前作业人员(驾驶员)有揉眼行为；此时，关键点评估值得分会低于如太阳眼镜等异物遮挡情况，且连续视频帧中若出现多个即时视频帧揉眼检测结果，即使当前连续视频帧检测时间段还未结束，模型会直接输出低专注度值来警示当前作业人员(驾驶员)；
·眼、口“遮挡”结果还包括,上一即时视频帧图像人脸关键点模型检测到口部关键点坐标分类结果为“口张”，当前视频帧图像中人脸关键点模型检测到口部关键点坐标缺失，同时人体关键点模型检测当前作业人员(驾驶员)手部关键点坐标结果位于口部关键点坐标位置附近，此时专注度识别模型检测当前作业人员(驾驶员)有打哈欠行为；此时，关键点评估值得分会低于如口罩等异物遮挡情况，且连续视频帧中若出现多个即时打哈欠检测结果，即使当前连续视频帧检测时间段还未结束，模型会直接输出低专注度值来警示当前作业人员(驾驶员)；
·2、眼、口在连续视频帧内一直是“遮挡”结果，系统直接发出遮挡警告，提醒当前作业人员(驾驶员)调整摄像头角度或取下遮挡物；
·当前场景中，持续“遮挡”提醒不同于揉眼行为的警告，专注度识别模型会判别当前人体关键点检测结果中手部关键点坐标位置是否符合阈值设定，此情况中当前作业人员(驾驶员)手部关键点位于方向盘，但人脸关键点检测结果判别中出现人眼部坐标点缺失或口部坐标点缺失；
·3、眼、口在即时视频帧检测中结果为“眼闭”、“口张”结果的关键点评估值要低于“眼睁”、“口合”的关键点评估值；
·4、手臂姿态在即时视频帧检测中结果为“异常”结果的关键点评估值要低于“正常”结果的关键点评估值；
·在本例中手臂姿态“异常”结果为驾驶员手臂离开方向盘；
·5、面部朝向在即时视频帧检测中结果为“转向”结果的关键点评估值要低于“正常”的关键点评估值；
·6、根据系统设定连续帧计算因子，计算多个即时专注度值的加权平均得分作为连续专注度值；
本实施例专注度检测算法在本实施例中体现出，当前作业人员(驾驶员)并非出现一瞬间的疑似疲劳就立马输出警报，而是通过连续帧计算因子设置检测连续时间长短设定来增强系统的结果输出鲁棒性。
如果人脸专注度推理模型给出的连续专注度值低于系统报警阈值，中央控制器会调用报警输出控制单元进行报警信号输出。
报警输出控制单元(模块60)控制本地蜂鸣器发出特定频率声音，直接提醒驾驶员当前的精神专注度不够，及时提醒驾驶员提高专注度或者停车休息。
在进行声音报警的同时，按照与云端报警服务器定义的协议格式，通过设备上的4G网卡(模块61)，直接把报警消息推送到云端报警服务器(模块80)。
在云端报警服务器上注册并订阅当前车辆上的人脸专注度报警装置的所有手机App终端(模块81)，能够及时收到报警通知，管理人员就可以及时了解驾驶员的状态并作出提醒或者间接控制，避免危险事故的发生。
实施例四
本实施例公开了将上述实施例二的高风险工种作业人员行为预警方法应用于生产车间的特殊机床操作人员面部专注度监控的一种场景。
本发明的厂房内实施例场景，固定安装在墙壁上或者设备支架上，连接到厂房的局域网，使用室内WiFi或者网线直接连接到监控室，提供网络报警联动支持功能，主要包含了以下特性与组成部分:
本实施例系统结构示意图参考附图5，包含以下组成部分：
视频数据采集单元(模块20)采用直连的MIPI镜头集成到设备里面，使得设备整体的体积更加小。
中央处理器(模块30)运行设备的操作系统，从镜头获取到图像数据，完成图像编码与缩放操作，把符合专注度识别推理模型所要求的分辨率的图像数据送到AI分析硬件单元40的内存中。
AI分析硬件单元40加载人脸专注度推理模型50，AI分析硬件单元提供运行推理模型的接口，由中央处理器30调度该接口开始运行推理模型的运算，获得人脸专注度推理结果数值。
在本实施例中,参考附图6,模型推理还包含如下计算与执行过程：
人脸专注度识别模型获取人脸关键点分类结果包括：
·a)面部朝向结果；
·b)眼、口开合结果；
·c)眼、口遮挡结果；
人脸专注度识别模型获取人体关键点分类结果包括：
·a)手臂姿态结果；
所述关键点状态算子在本实施例中会计算：
·a)面部朝向结果；
·b)眼、口开合结果；
·c)眼、口遮挡结果、
·d)手臂姿态结果的关键点评估值；
人脸识别模型执行流程示意图参考附图8；
在开始专注度识别前，系统会先验证当前被检测者的身份，若人脸识别模型检测到人脸特征向量不满足预置人脸特征向量聚类结果，专注度识别模型直接输出“非法操作”结果；
关键点状态算子定义：
·1、眼、口在即时视频帧检测中结果为“遮挡”结果的关键点评估值要低于未被遮挡的关键点评估值；
·当前场景中，人脸关键点检测模型检测即时视频图像帧画面中的人眼周关键点结果为缺失状态，人体关键点检测结果手部坐标位置位于人眼关键点坐标位置附近，此时专注度识别模型检测作业人员有揉眼行为；
·此时，关键点评估值得分会低于如太阳眼镜等异物遮挡情况，且连续视频帧中若出现多个即时视频帧揉眼检测结果，即使当前连续视频帧检测时间段还未结束，模型会直接输出低专注度值来警示当前作业人员；
·2、眼、口在连续视频帧内一直是“遮挡”结果，系统直接发出遮挡警告，提醒驾驶员调整摄像头角度或取下遮挡物；
·3、眼、口在即时视频帧检测中结果为“眼闭”、“口张”结果的关键点评估值要低于“眼睁”、“口合”的关键点评估值；
·4、手臂姿态在即时视频帧检测中结果为“异常”结果的关键点评估值要低于“正常”结果的关键点评估值；
·在本例中手臂姿态“异常”结果为当前作业人员手臂各关键点离危险作业台距离过近；
·5、面部朝向在即时视频帧检测中结果为“转向”结果的关键点评估值要低于“正常”的关键点评估值；
·在本例中“转向”结果为手臂关键点坐标位于作业台面但面部发生转向的识别结果，手臂关键点不在作业台上时发生的面部朝向“转向”结果在本例中不作为异常状态检测；
·6、根据系统设定连续帧计算因子，计算多个即时专注度值的加权平均得分作为连续专注度值；
本实施例的专注度检测算法在本实施例中体现出，厂房宽阔场景中的识别，推理模型会计算人脸关键点、人体关键点距离危险操作台的空间距离，用危险检测距离来限定模型推理结果的鲁棒性。
如果专注度数值表示出的精神专注度水平是低或者极低，中央控制器会调用报警输出控制单元(模块60)进行报警信号输出。报警输出控制单元(模块60)控制本地蜂鸣器(模块62)与报警灯(模块63)进行声音与灯光报警，直接提醒作业人员当前的精神专注度不够，提醒作业人员提高专注度。在进行声、光报警的同时，按照预定义的网络协议数据格式，通过设备上的WiFi或有线网络(模块61)直接把报警消息发送到监控中心(模块70)。生产车间监控中心收到报警通知，管理人员就可以及时了解作业人员的状态并作出提醒或者控制，避免危险事故的发生。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干该进和润饰，这些改进和润饰也应视为本发明的保护范围。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种高风险工种作业人员行为预警装置，其特征在于，所述装置包括处理器、视频数据采集单元、人工智能推理分析硬件单元、以及报警控制单元；所述处理器分别与所述视频数据采集单元、所述人工智能推理分析硬件单元、以及所述报警控制单元电连接；所述人工智能推理分析硬件单元内置有人脸专注度推理模型；
所述视频数据采集单元，用于对当前作业人员进行人脸采集，将采集到的人脸视频图像数据传输至所述处理器，由所述处理器将所述人脸视频图像数据传输至所述人工智能推理分析硬件；
所述人工智能推理分析硬件，用于加载并运行所述人脸专注度推理模型对所述人脸视频图像数据进行处理，所述人脸专注度推理模型包括人脸识别模型、人体关键点识别模型、人脸关键点检测模型、以及人脸专注度识别模型；
其中，
所述人脸识别模型用于提取所述人脸视频图像数据的当前视频帧图像中的人脸坐标位置信息；
所述人体关键点识别模型用于提取所述当前视频帧图像中人体关键点坐标位置信息；
所述处理器，用于将所述人脸坐标信息输入所述人脸关键点检测模型中以获取所述当前视频帧图像中的人脸关键点坐标位置信息；
所述处理器，还用于将所述人脸关键点坐标信息及所述人体关键点坐标信息输入至所述专注度识别模型以获取人脸关键点分类结果、人体关键点分类结果及面部朝向结果；
其中，所述人脸专注度识别模型还包括人脸朝向算子、关键点状态算子、即时专注度算子、以及连续专注度算子；
所述处理器，还用于调用所述人脸朝向算子来根据所述面部朝向结果计算当前面部朝向评估值；
所述处理器，还用于调用所述关键点状态算子来根据所述人脸关键点分类结果和所述人体关键点分类结果计算关键点评估值；
所述处理器，还用于调用所述即时专注度算子来根据所述面部朝向评估值和所述关键点状态评估值计算所述当前视频帧图像中的人脸即时专注值；
所述处理器，还用于调用所述连续专注度算子来基于所述人脸即时专注度值和系统设定连续帧计算因子计算多个所述人脸即时专注度值的加权平均得分作为当前人脸连续专注度值；
所述处理器，还用于将所述当前人脸连续专注度值与预设系统报警阈值进行比较，根据比较结果向所述报警控制单元发送报警信号。
2.如权利要求1所述的装置，其特征在于，所述处理器用于将所述人脸视频图像数据缩放至满足所述人脸专注度推理模型要求的分辨率之后，将缩放后的人脸视频图像数据传输至所述人工智能推理分析硬件的内存中。
3.如权利要求1所述的装置，其特征在于，所述装置与移动终端或服务器预先建立通信网络连接；
所述处理器，还用于将所述当前人脸连续专注度值与预设系统报警阈值进行比较，在比较结果达到预设条件时，按照预设网络协议向所述移动终端或所述服务器推送报警信息，以使得所述移动终端或所述服务器向监控人员发出报警提示。
4.如权利要求1所述的装置，其特征在于，所述视频数据采集单元具有宽动态功能或者背景强光抑制功能。
5.一种高风险工种作业人员行为预警方法，其特征在于，所述方法包括以下步骤：
对当前作业人员进行人脸采集，获取采集到的人脸视频图像数据；
加载并运行人脸专注度推理模型对所述人脸视频图像数据进行处理，所述人脸专注度推理模型包括人脸识别模型、人体关键点识别模型、人脸关键点检测模型、以及人脸专注度识别模型；
调用所述人脸识别模型提取所述人脸视频图像数据的当前视频帧图像中的人脸坐标位置信息；
调用所述人体关键点识别模型提取所述当前视频帧图像中人体关键点坐标位置信息；
将所述人脸坐标信息输入所述人脸关键点检测模型中以获取所述当前视频帧图像中的人脸关键点坐标位置信息；
将所述人脸关键点坐标信息及所述人体关键点坐标信息输入至所述专注度识别模型以获取人脸关键点分类结果、人体关键点分类结果及面部朝向结果；
其中，所述人脸专注度推理模型还包括人脸朝向算子、关键点状态算子、即时专注度算子、以及连续专注度算子；
调用所述人脸朝向算子来根据所述面部朝向结果计算当前面部朝向评估值；
调用所述关键点状态算子来根据所述人脸关键点分类结果和所述人体关键点分类结果计算关键点评估值；
调用所述即时专注度算子来根据所述面部朝向评估值和所述关键点状态评估值计算所述当前视频帧图像中的人脸即时专注值；
调用所述连续专注度算子来基于所述人脸即时专注度值和系统设定连续帧计算因子计算多个所述人脸即时专注度值的加权平均得分作为当前人脸连续专注度值；
将所述当前人脸连续专注度值与预设系统报警阈值进行比较，根据比较结果进行报警提示。
6.如权利要求5所述的方法，其特征在于，所述调用所述人脸识别模型提取所述人脸视频图像数据的当前视频帧图像中的人脸坐标位置信息的步骤之后，所述方法还包括：
基于所述人脸坐标位置信息获取所述当前作业人员的当前人脸特征向量；
将所述当前人脸特征向量与所述当前作业人员的预置人脸特征向量进行比较；
若所述当前人脸特征向量不满足所述预置人脸特征向量聚类结果，则输出非法操作告警信息；
若所述当前人脸特征向量满足所述预置人脸特征向量聚类结果，则输出所述当前作业人员的人脸身份信息标识。
7.如权利要求5所述的方法，其特征在于，所述将所述当前人脸连续专注度值与预设系统报警阈值进行比较，根据比较结果进行报警提示的步骤，具体包括：
将所述当前人脸连续专注度值与预设系统报警阈值进行比较，在比较结果达到预设条件时，按照预设网络协议向移动终端或服务器推送报警信息，以使得所述移动终端或所述服务器向监控人员发出报警提示。
8.如权利要求5-7任一项所述的方法，其特征在于，所述人脸关键点分类结果包括人脸遮挡结果类型、眼部结果类型、以及嘴部结果类型；
所述人脸遮挡结果类型包括遮挡结果和未被遮挡结果，其中，遮挡结果的关键点评估值低于未被遮挡结果的关键点评估值；在所述人脸遮挡结果类型为遮挡结果的状态时长达到预设时长时，生成并发出报警提示；
所述眼部结果类型包括眼闭结果和眼睁结果，其中，眼闭结果的关键点评估值低于眼睁结果的关键点评估值；在所述眼闭结果的状态时长达到预设时长时，生成并发出报警提示；
所述嘴部结果类型包括口张结果和口合结果，其中，所述口张结果的关键点评估值低于口合结果的关键点评估值。
9.如权利要求5-7任一项所述的方法，其特征在于，所述面部朝向结果包括转向结果和正常结果，在所述面部朝向结果为转向结果时，所述转向结果的关键点评估值低于面部朝向结果为正常结果的关键点评估值。
10.如权利要求5-7任一项所述的方法，其特征在于，所述人体关键点分类结果包括手臂姿态结果，所述手臂姿态结果包括正常状态和非正常状态，其中，所述手臂姿态结果为非正常状态时，所述非正常状态的关键点评估值低于正常状态结果的关键点评估值。
CN202011139956.1A 2020-10-22 2020-10-22 一种高风险工种作业人员行为预警装置及方法 Active CN112307920B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011139956.1A CN112307920B (zh) 2020-10-22 2020-10-22 一种高风险工种作业人员行为预警装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011139956.1A CN112307920B (zh) 2020-10-22 2020-10-22 一种高风险工种作业人员行为预警装置及方法

Publications (2)

Publication Number Publication Date
CN112307920A true CN112307920A (zh) 2021-02-02
CN112307920B CN112307920B (zh) 2024-03-22

Family

ID=74327095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011139956.1A Active CN112307920B (zh) 2020-10-22 2020-10-22 一种高风险工种作业人员行为预警装置及方法

Country Status (1)

Country Link
CN (1) CN112307920B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723165A (zh) * 2021-03-25 2021-11-30 山东大学 基于深度学习的待检测人员危险表情检测方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992148A (zh) * 2015-06-18 2015-10-21 江南大学 基于随机森林的atm终端部分遮挡人脸关键点检测方法
CN107122789A (zh) * 2017-03-14 2017-09-01 华南理工大学 基于深度摄像头的多模态信息融合的学习专注度分析方法
CN107392159A (zh) * 2017-07-27 2017-11-24 竹间智能科技（上海）有限公司 一种面部专注度检测系统及方法
US20170372582A1 (en) * 2015-09-25 2017-12-28 Guangdong Appscomm Co., Ltd. Device for monitoring and preventing slump and processing method thereof
CN108460343A (zh) * 2018-02-06 2018-08-28 北京达佳互联信息技术有限公司 图像处理方法、系统及服务器
CN109803583A (zh) * 2017-08-10 2019-05-24 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
CN109886246A (zh) * 2019-03-04 2019-06-14 上海像我信息科技有限公司 一种人物注意力判断方法、装置、系统、设备和存储介质
CN110175501A (zh) * 2019-03-28 2019-08-27 重庆电政信息科技有限公司 基于人脸识别的多人场景专注度识别方法
CN111144321A (zh) * 2019-12-28 2020-05-12 北京儒博科技有限公司 专注度检测方法、装置、设备和存储介质
CN111754368A (zh) * 2020-01-17 2020-10-09 天津师范大学 一种高校教学评估方法及基于边缘智能的高校教学评估系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992148A (zh) * 2015-06-18 2015-10-21 江南大学 基于随机森林的atm终端部分遮挡人脸关键点检测方法
US20170372582A1 (en) * 2015-09-25 2017-12-28 Guangdong Appscomm Co., Ltd. Device for monitoring and preventing slump and processing method thereof
CN107122789A (zh) * 2017-03-14 2017-09-01 华南理工大学 基于深度摄像头的多模态信息融合的学习专注度分析方法
CN107392159A (zh) * 2017-07-27 2017-11-24 竹间智能科技（上海）有限公司 一种面部专注度检测系统及方法
CN109803583A (zh) * 2017-08-10 2019-05-24 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
CN108460343A (zh) * 2018-02-06 2018-08-28 北京达佳互联信息技术有限公司 图像处理方法、系统及服务器
CN109886246A (zh) * 2019-03-04 2019-06-14 上海像我信息科技有限公司 一种人物注意力判断方法、装置、系统、设备和存储介质
CN110175501A (zh) * 2019-03-28 2019-08-27 重庆电政信息科技有限公司 基于人脸识别的多人场景专注度识别方法
CN111144321A (zh) * 2019-12-28 2020-05-12 北京儒博科技有限公司 专注度检测方法、装置、设备和存储介质
CN111754368A (zh) * 2020-01-17 2020-10-09 天津师范大学 一种高校教学评估方法及基于边缘智能的高校教学评估系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723165A (zh) * 2021-03-25 2021-11-30 山东大学 基于深度学习的待检测人员危险表情检测方法及系统
CN113723165B (zh) * 2021-03-25 2022-06-07 山东大学 基于深度学习的待检测人员危险表情检测方法及系统

Also Published As

Publication number Publication date
CN112307920B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
CN110766912B (zh) 驾驶预警方法、设备及计算机可读存储介质
JP6655727B2 (ja) 監視システム
CN110733983B (zh) 一种塔吊安全控制系统及其控制方法
CN108275114B (zh) 一种油箱防盗监控系统
CN110103820A (zh) 一种检测车辆中人员的异常行为的方法、装置及终端设备
CN113191699A (zh) 一种配电施工现场安全监管方法
CN111532280A (zh) 一种基于操作感知的车辆控制系统及方法
CN110435672A (zh) 一种基于场景预判安全驾驶辅助方法及其系统
CN110544360A (zh) 一种列车安全驾驶监测系统及方法
KR102051136B1 (ko) 클라우드서버를 기반을 하는 인공지능 대쉬보드로봇을 이용한 사용자 상태인식시스템
CN112584094A (zh) 基于智能感知的变电站安全监管系统
Lashkov et al. Driver dangerous state detection based on OpenCV & dlib libraries using mobile video processing
CN114155492A (zh) 高空作业安全带挂绳高挂低用识别方法、装置和电子设备
CN112699802A (zh) 一种驾驶员微表情检测装置及方法
CN112307920B (zh) 一种高风险工种作业人员行为预警装置及方法
CN112102515A (zh) 机器人巡检方法、装置、设备及存储介质
CN113312958B (zh) 一种基于司机状态的派单优先度调整方法及装置
KR102366396B1 (ko) Rgb-d 데이터와 딥러닝을 이용한 3d객체영역분할 방법과 그 시스템
CN113561983A (zh) 一种车辆内人员智能安保检测系统及其检测方法
CN112541456A (zh) 一种紫外灯自主控制方法、装置、存储介质及紫外线消毒机器人
CN115171082B (zh) 驾驶行为的检测方法、装置、电子设备及可读存储介质
CN111783618A (zh) 一种基于视频内容分析的园区大脑感知方法和系统
CN109815828A (zh) 实现主动报警或求助行为检测控制的系统及方法
CN112193250B (zh) 车辆运行状态的监控方法、车辆和计算机可读存储介质
JPH0793700A (ja) 運転者状態監視装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant