CN111931653B - 安全监测方法、装置、电子设备和可读存储介质 - Google Patents

安全监测方法、装置、电子设备和可读存储介质 Download PDF

Info

Publication number
CN111931653B
CN111931653B CN202010800117.3A CN202010800117A CN111931653B CN 111931653 B CN111931653 B CN 111931653B CN 202010800117 A CN202010800117 A CN 202010800117A CN 111931653 B CN111931653 B CN 111931653B
Authority
CN
China
Prior art keywords
coordinate
video monitoring
person
monitoring picture
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010800117.3A
Other languages
English (en)
Other versions
CN111931653A (zh
Inventor
吴晓翎
闫永明
刘韬
邵志鹏
谢振中
刘馨遥
徐大宏
孟庆禹
于泳
孟凡录
郭纯冶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Dixin Artificial Intelligence Industry Research Institute Co ltd
Original Assignee
Shenyang Dixin Artificial Intelligence Industry Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Dixin Artificial Intelligence Industry Research Institute Co ltd filed Critical Shenyang Dixin Artificial Intelligence Industry Research Institute Co ltd
Priority to CN202010800117.3A priority Critical patent/CN111931653B/zh
Publication of CN111931653A publication Critical patent/CN111931653A/zh
Application granted granted Critical
Publication of CN111931653B publication Critical patent/CN111931653B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Alarm Systems (AREA)

Abstract

本申请实施例提供了一种安全监测方法、装置、电子设备和可读存储介质，涉及视频监控技术领域。该方法首先获取视频监控画面。接着判断视频监控画面中是否有人，若确定视频监控画面中有人，则获取视频监控画面中的人像关键点，利用人像关键点进行姿态分析，得到姿态分析结果。最后基于姿态分析结果，判断视频监控画面中的人是否在抽烟，若确定视频监控画面中的人在抽烟，则发出报警。采用此方法进行安全监测，可在减少成本的情况下，提高施工环境的安全性。

Description

安全监测方法、装置、电子设备和可读存储介质
技术领域
本申请涉及视频监控技术领域，具体而言，涉及一种安全监测方法、装置、电子设备和可读存储介质。
背景技术
电力基建作业施工专业性极强且危险系数高，相关施工人员必须经过培训并合格后才可上岗施工。由于施工场地人员的复杂性，一旦非施工人员动手施工，必然对其人身安全产生巨大威胁。
此外，由于施工环境涉及电业，对施工现场明火的管控也尤为重要，其中，施工人员的吸烟行为或流动吸烟行为，是导致施工现场发生火灾最普遍最直接的行为。因此，在电业基建作业施工现场需要进行全程视频监控，对非施工人员施工，以及现场人员吸烟或流动吸烟等行为进行监管，进而保证安全。
目前，常使用红外探测热成像监测人员是否抽烟，但这种方式价格昂贵，成本较高。
除此之外，还常使用烟雾报警器进行监测，但是这种方式只适合封闭的室内环境，对于处于室外或半室外的施工环境下，容易造成大量的漏检，为施工环境造成安全隐患。
如何在减少成本的情况下，提高施工环境的安全性是当前亟需解决的问题。
发明内容
有鉴于此，本申请实施例提供了一种安全监测方法、装置、电子设备和可读存储介质，以解决上述问题。
本申请的实施例可以这样实现：
第一方面，本申请实施例提供一种安全监测方法，所述方法包括：
获取视频监控画面；
判断所述视频监控画面中是否有人，若确定所述视频监控画面中有人，则获取所述视频监控画面中的人像关键点，利用所述人像关键点进行姿态分析，得到姿态分析结果；
基于所述姿态分析结果，判断所述视频监控画面中的人是否在抽烟，若确定所述视频监控画面中的人在抽烟，则发出报警。
在可选的实施方式中，所述若确定所述视频监控画面中的人在抽烟的步骤之后，所述方法还包括：
对所述视频监控画面中的人进行目标跟踪，得到目标跟踪结果；
基于所述目标跟踪结果，判断所述视频监控画面中的人是否存在移动；
若确定所述视频监控画面中的人存在移动，则发出报警。
在可选的实施方式中，所述判断所述视频监控画面中是否有人，若确定所述视频监控画面中有人的步骤之后，所述方法还包括：
判断所述视频监控画面中的人是否佩戴安全帽；
若所述视频监控画面中的人未佩戴安全帽，则发出报警。
在可选的实施方式中，所述判断所述视频监控画面中的人是否佩戴安全帽的步骤还包括：
若所述视频监控画面中的人佩戴有安全帽，则基于所述姿态分析结果，判断所述视频监控画面中的人是否在施工；
若确定所述视频监控画面中的人在施工，则判断所述安全帽的颜色是否为目标颜色；
若确定所述安全帽的颜色不为目标颜色，则发出报警。
在可选的实施方式中，所述人像关键点包括所述视频监控画面中的人的头部坐标及腰部坐标；
所述获取所述视频监控画面中的人像关键点，利用所述人像关键点进行姿态分析，得到姿态分析结果的步骤包括：
获取所述视频监控画面中的人的头部坐标及腰部坐标；
利用所述头部坐标及所述腰部坐标，按照以下公式计算所述头部坐标与所述腰部坐标的第一欧式距离：
其中，L1为所述第一欧式距离，Phead(x，y)为所述头部坐标，Pheadx为所述头部坐标的x坐标值，Pheady为所述头部坐标的y坐标值，Pwaist(x，y)为所述腰部坐标，Pwaistx为所述腰部坐标的x坐标值，Pwaisty为所述腰部坐标的y坐标值；
将所述第一欧式距离作为所述姿态分析结果。
在可选的实施方式中，所述人像关键点包括所述视频监控画面中的人的嘴部坐标、左手坐标及右手坐标；
所述获取所述视频监控画面中的人像关键点，利用所述人像关键点进行姿态分析，得到姿态分析结果的步骤包括：
获取所述视频监控画面中的人的嘴部坐标、左手坐标及右手坐标；
利用所述嘴部坐标及所述左手坐标，按照以下公式计算所述嘴部坐标与所述左手坐标的第二欧式距离：
其中，L2为所述第二欧式距离，Pmouth(x，y)为所述嘴部坐标，Pmouthx为所述嘴部坐标的x坐标值，Pmouthy为所述嘴部坐标的y坐标值，Plhand(x，y)为所述左手坐标，Plhandx为所述左手坐标的x坐标值，Plhandy为所述左手坐标的y坐标值；
利用所述嘴部坐标及所述右手坐标，按照以下公式计算所述嘴部坐标与所述右手坐标的第三欧式距离：
其中，L3为所述第三欧式距离，Pmouth(x，y)为所述嘴部坐标，Pmouthx为所述嘴部坐标的x坐标值，Pmouthy为所述嘴部坐标的y坐标值，Prhand(x，y)为所述右手坐标，Prhandx为所述右手坐标的x坐标值，Prhandy为所述右手坐标的y坐标值；
将所述第二欧式距离及所述第三欧式距离作为所述姿态分析结果。
在可选的实施方式中，所述人像关键点包括所述视频监控画面中的人的头部坐标、肩部坐标、肘部坐标、左手坐标及右手坐标；
所述获取所述视频监控画面中的人像关键点，利用所述人像关键点进行姿态分析，得到姿态分析结果的步骤包括：
获取所述视频监控画面中的人的头部坐标、肩部坐标、肘部坐标、所述左手坐标及所述右手坐标；
利用所述头部坐标、所述肩部坐标、所述肘部坐标、所述左手坐标及所述右手坐标，按照以下公式计算所述视频监控画面中的人的肘部弯曲角度：
其中，A为所述肘部弯曲角度，Dshoulder-elbow为所述肩部坐标到所述肘部坐标的距离，Dshoulder-hand为所述肩部坐标到所述左手坐标的距离或所述肩部坐标到所述右手坐标的距离，Dhand-elbow，为所述左手坐标到所述肘部坐标的距离或所述右手坐标到所述肘部坐标的距离；
将所述肘部弯曲角度作为所述姿态分析结果。
第二方面，本申请实施例提供一种安全监测装置，所述装置包括：
获取模块，用于获取视频监控画面；
姿态分析模块，用于判断所述视频监控画面中是否有人，若确定所述视频监控画面中有人，则获取所述视频监控画面中的人像关键点，利用所述人像关键点进行姿态分析，得到姿态分析结果；
报警模块，用于基于所述姿态分析结果，判断所述视频监控画面中的人是否在抽烟，若确定所述视频监控画面中的人在抽烟，则发出报警。
第三方面，本申请实施例提供一种电子设备，所述电子设备包括处理器、存储器及总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器及所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行前述实施方式任意一项所述的安全监测方法的步骤。
第四方面，本申请实施例提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现前述实施方式任意一项所述的安全监测方法。
本申请实施例提供了一种安全监测方法、装置、电子设备和可读存储介质，该方法首先获取视频监控画面。接着判断视频监控画面中是否有人，若确定视频监控画面中有人，则获取视频监控画面中的人像关键点，利用人像关键点进行姿态分析，得到姿态分析结果。最后基于姿态分析结果，判断视频监控画面中的人是否在抽烟，若确定视频监控画面中的人在抽烟，则发出报警。如此，仅需视频监控设备及可执行上述方法的电子设备即可，从而可在减少成本的情况下，提高施工环境中的安全性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的结构框图。
图2为本申请实施例提供的安全监测方法的流程图之一。
图3为本申请实施例提供的安全监测方法的示意图之二。
图4为本申请实施例提供的安全监测装置的功能框图。
图标：100-电子设备；110-存储器；120-处理器；130-安全监测装置；131-获取模块；132-姿态分析模块；133-报警模块；140-通信单元。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
如背景技术所介绍，电力基建作业施工专业性极强且危险系数高，相关施工人员必须经过培训并合格后才可上岗施工。由于施工场地人员的复杂性，一旦非施工人员动手施工，必然对其人身安全产生巨大威胁。
此外，由于施工环境涉及电业，对施工现场明火的管控也尤为重要，其中，施工人员的吸烟行为或流动吸烟行为，是导致施工现场发生火灾最普遍最直接的行为。因此，在电业基建作业施工现场需要进行全程视频监控，对非施工人员施工，以及现场人员吸烟或流动吸烟等行为进行监管，进而保证安全。
目前，常使用红外探测热成像监测人员是否抽烟，但这种方式价格昂贵。
除此之外，还常使用烟雾报警器进行监测，但是这种方式只适合封闭的室内环境，对于处于室外或半室外的施工环境下，容易造成大量的漏检，为施工环境造成安全隐患。
如何在减少成本的情况下，提高施工环境的安全性是当前亟需解决的问题。
有鉴于此，本申请实施例提供了一种安全监测方法、装置、电子设备和可读存储介质。该方法通过对视频监控画面进行姿态分析，得到姿态分析结果，基于姿态分析结果判断人员是否在抽烟。下面对上述方案进行详细阐述。
请参阅图1，图1为本申请实施例提供的一种电子设备100的结构框图。所述设备可以包括处理器120、存储器110、安全监测装置130及通信单元140，所述存储器110存储有所述处理器120可执行的机器可读指令，当电子设备100运行时，所述处理器120及所述存储器110之间通过总线通信，所述处理器120执行所述机器可读指令，并执行安全监测方法的步骤。
所述存储器110、处理器120以及通信单元140各元件相互之间直接或间接地电性连接，以实现信号的传输或交互。
例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。安全监测装置130包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中的软件功能模块。所述处理器120用于执行存储器110中存储的可执行模块，例如所述安全监测装置130所包括的软件功能模块或计算机程序。
其中，存储器110可以是，但不限于，随机读取存储器(Random ACCess memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器120可以是一种集成电路芯片，具有信号处理能力。上述处理器120可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等。
还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本申请实施例中，存储器110用于存储程序，处理器120用于在接收到执行指令后，执行所述程序。本申请实施例任意一个实施方式所揭示的流程定义的方法可以应用于处理器120中，或者由所述处理器120实现。
所述通信单元140用于通过网络建立所述电子设备100与其他电子设备之间的通信连接，并用于通过所述网络收发数据。
在一些实施例中，所述网络可以是任何类型的有线或者无线网络，或者是他们的结合。仅作为示例，网络可以包括有线网络、无线网络、光纤网络、远程通信网络、内联网、因特网、局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)、无线局域网(Wireless Local Area Networks，WLAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、公共电话交换网(Public Switched Telephone Network，PSTN)、蓝牙网络、ZigBEE网络、或近场通信(Near Field Communication，NFC)网络等，或其任意组合。
在本申请实施例中，电子设备100可以是但不限于服务器、智能手机、个人电脑、平板电脑等具有处理功能的设备。
可以理解，图1所示的结构仅为示意。电子设备100还可以具有比图1所示更多或者更少的组件，或者具有与图1所示不同的配置。图1所示的各组件可以采用硬件、软件或其组合实现。
基于上述电子设备100的实现架构，本申请实施例提供了一种安全监测方法，请结合参阅2，图2为本申请实施例提供的安全监测方法的流程图。下面结合图2所示的具体流程进行详细描述。
步骤S1，获取视频监控画面。
步骤S2，判断视频监控画面中是否有人。
当确定视频监控画面中有人时，则执行步骤S3，当确定视频监控画面中无人时，则再次执行步骤S1。
步骤S3，获取视频监控画面中的人像关键点，利用人像关键点进行姿态分析，得到姿态分析结果。
步骤S4-1，基于姿态分析结果，判断视频监控画面中的人是否在抽烟。当确定视频监控画面中的人在抽烟时，则执行步骤S4-2，当确定视频监控画面中的人未抽烟时，则再次执行步骤S1。
步骤S4-2，发出报警。
其中，视频监控画面可以由网络摄像机(IP CAMERA)实时采集得到。该网络摄像机与电子设备100包括的通信单元140通信连接，网络摄像机采集到视频监控画面后，将视频监控画面实时发送至通信单元140。
作为一种可选的实施方式，可通过以下方式判断视频监控画面中是否有人。
可使用预先训练好的目标检测模型判断视频监控画面中是否有人。该目标检测模型是通过采集大量的施工现场的图片数据，对图片中的人进行标注，制作VOC数据集并使用VOC数据集训练yolov4网络模型得到的。
同时，由于数据采集较困难且采集到的样本少，因此，可使用数据增强库(imgaug)进行增强，包含模糊化、旋转、高斯噪声，镜面翻转、缩放等，以增强训练好的目标检测模型的鲁棒性。
使用时，将视频监控画面输入预先训练的目标检测模型，基于目标检测模型进行目标检测，得到目标检测结果。该目标检测结果为针对视频监控画面中出现的人进行的目标标注。如此，基于目标检测结果，就可以判断视频监控画面中是否有人。
作为另一种可选的实施方式，还可通过图像识别判断视频监控画面中是否有人。其具体实现原理和实现方式可参阅现有技术，在此不做赘述。
本申请实施例通过对视频监控画面中的人进行姿态分析，当分析结果表明视频监控画面中的人正在吸烟时，则发出报警。以便于对存在流动吸烟行为的人员和相关安保人员进行安全警示。采用此方式成本较低，且警示效果较好，可在减少成本的情况下，提高施工环境中的安全性。
进一步地，在上述基础上，针对某些施工现场可以吸烟，但是不能流动吸烟的情况，还可采用以下方式进行安全监控：
在确定视频监控画面中的人在抽烟的步骤之后，还可以对视频监控画面中的人进行目标跟踪，得到目标跟踪结果。
接着，基于目标跟踪结果，判断视频监控画面中的人是否存在移动，若确定视频监控画面中的人存在移动，则发出报警。
其中，可采用预先训练好的上述目标检测模型针对连续多帧视频监控画面对视频监控画面中的人进行目标跟踪。当视频监控画面中的人发生移动时，目标标注会跟随人的移动而发生移动，此时则可确定视频监控画面中的人存在移动，发出报警。以便于对存在流动吸烟行为的人员和相关安保人员进行安全警示。
作为一种可选的实施方式，人像关键点包括视频监控画面中的人的头部坐标、嘴部坐标、左手坐标、右手坐标、肩部坐标、肘部坐标及腰部坐标。基于此，可通过以下方式实现步骤S3，利用人像关键点进行姿态分析，得到姿态分析结果：
首先，获取视频监控画面中的人的嘴部坐标、左手坐标及右手坐标。
其次，利用嘴部坐标及左手坐标，按照以下公式计算嘴部坐标与左手坐标的第二欧式距离：
其中，L2为第二欧式距离，Pmouth(x，y)为嘴部坐标，Pmouthx为嘴部坐标的x坐标值，Pmouthy为嘴部坐标的y坐标值，Plhand(x，y)为左手坐标，Plhandx为左手坐标的x坐标值，Plhandy为左手坐标的y坐标值。
然后，利用嘴部坐标及右手坐标，按照以下公式计算嘴部坐标与右手坐标的第三欧式距离：
其中，L3为第三欧式距离，Pmouth(x，y)为嘴部坐标，Pmouthx为嘴部坐标的x坐标值，Pmouthy为嘴部坐标的y坐标值，Prhand(x，y)为右手坐标，Prhandx为右手坐标的x坐标值，Prhandy为右手坐标的y坐标值。
最后，将第二欧式距离及第三欧式距离作为姿态分析结果。
由于吸烟时，人的左手或右手距离嘴部较近，因此，基于嘴部坐标、左手坐标及右手坐标即可计算出视频监控画面中的人是否存在吸烟行为。
例如，作为一种可能的实施场景，当第二欧式距离或第三欧式距离小于第一预设阈值，且当第二欧式距离或第三欧式距离小于第一预设阈值的次数大于第二预设阈值时，即可确定视频监控画面中的人存在吸烟行为。
其中，第一预设阈值可以为1cm-3cm，第二预设阈值可以是5-8次。
作为另一种可选的实施方式，还可通过以下方式实现步骤S3。在上述利用嘴部坐标、右手坐标及左手坐标进行姿态分析的基础上，还可结合头部坐标、肩部坐标及肘部坐标共同进行姿态分析，得到人物的肘部弯曲度。
首先，获取视频监控画面中的人的头部坐标、肩部坐标、肘部坐标、左手坐标及右手坐标。
接着，利用头部坐标、肩部坐标、肘部坐标、左手坐标及右手坐标，按照以下公式计算视频监控画面中的人的肘部弯曲角度：
其中，A为肘部弯曲角度，Dshoulder-elbow为肩部坐标到肘部坐标的距离，Dshoulder-hand为肩部坐标到左手坐标的距离或肩部坐标到右手坐标的距离，Dhand-elbow，为左手坐标到肘部坐标的距离或右手坐标到肘部坐标的距离。
最后，将肘部弯曲角度作为姿态分析结果。
其中，hand可以表示左手坐标或右手坐标，由于不同人的惯用手不一致，吸烟时用手也不一致，因此，当视频监控画面中的人使用左手吸烟时，上述公式中的hand为左手坐标，当视频监控画面中的人使用右手吸烟时，上述公式中的hand为右手坐标。
由于吸烟时，人的左手或右手距离嘴部较近，且肘部弯曲。因此，基于嘴部坐标、左手坐标及右手坐标计算出视频监控画面中的人的手距离嘴的距离，还可基于头部坐标、肩部坐标、肘部坐标、左手坐标及右手坐标计算出肘部的弯曲角度。即可知晓出视频监控画面中的人是否存在吸烟行为。
例如，作为一种可能的实施场景，当第二欧式距离或第三欧式距离小于第一预设阈值，且当第二欧式距离或第三欧式距离小于第一预设阈值的次数大于第二预设阈值时，且肘部弯曲角度在预设范围内，即可确定视频监控画面中的人存在吸烟行为。
其中，第一预设阈值可以为1cm-3cm，第二预设阈值可以是5-8次，预设范围可以是0-60°。
请结合参阅图3，在上述基础上，作为一种可选的实施方式，在步骤S2判断所述视频监控画面中是否有人，若确定所述视频监控画面中有人之后，本申请实施例还可进一步判断施工人员是否佩戴安全帽，从而进一步提高施工现场的安全性。
步骤S5-1，判断视频监控画面中的人是否佩戴安全帽。
若确定视频监控画面中的人未佩戴安全帽，则执行步骤S5-2。若确定视频监控画面中的人已佩戴安全帽，则执行步骤S1。
步骤S5-2，发出报警。
其中，作为一种可选的实施方式，可通过预先训练好的目标训练模型判断视频监控画面中的人是否佩戴安全帽。
该目标检测模型是通过采集大量的施工现场的图片数据，对图片中的安全帽进行标注，制作VOC数据集并使用该VOC数据集训练yolov4网络模型得到的。
同时，由于数据采集较困难且采集到的样本少，因此，可使用数据增强库(imgaug)进行增强，包含模糊化、旋转、高斯噪声，镜面翻转、缩放等，以增强训练好的目标检测模型的鲁棒性。
使用时，将视频监控画面输入预先训练的目标检测模型，基于目标检测模型进行目标检测，得到目标检测结果。该目标检测结果为针对视频监控画面中出现的安全帽进行的目标标注。如此，基于目标检测结果，就可以判断视频监控画面中的人是否佩戴有安全帽。
作为另一种可选的实施方式，还可通过图像识别判断视频监控画面中的人是否佩戴安全帽。其具体实现原理和实现方式可参阅现有技术，在此不做赘述。
进一步地，电力基建作业施工专业性极强且危险系数高，相关施工人员必须是经过培训并合格后才可上岗施工。由于施工场地人员的复杂性，一旦非施工人员动手施工，必然对其人身安全产生巨大威胁。
由于不同的人员佩戴的安全帽的颜色不一样，因此，还可进一步根据安全帽的颜色判断正在施工人员是否是合格的施工人员。
在判断视频监控画面中的人是否佩戴安全帽的步骤之后，还可以通过以下方式判断施工人员是否是合格的施工人员：
若确定视频监控画面中的人佩戴了安全帽，则基于姿态分析结果，判断视频监控画面中的人是否在施工。
若确定视频监控画面中的人在施工，则判断安全帽的颜色是否为目标颜色。
若确定安全帽的颜色不为目标颜色，则发出报警。
作为一种可选的实施方式，可通过视频监控画面中的人的头部坐标及腰部坐标，进行姿态分析，基于姿态分析结果，判断视频监控画面中的人是否在施工。
首先，获取视频监控画面中的人的头部坐标及腰部坐标。
其次，利用头部坐标及腰部坐标，按照以下公式计算头部坐标与腰部坐标的第一欧式距离：
其中，L1为第一欧式距离，Phead(x，y)为头部坐标，Pheadx为头部坐标的x坐标值，Pheady为头部坐标的y坐标值，Pwaist(x，y)为腰部坐标，Pwaistx为腰部坐标的x坐标值，Pwaisty为腰部坐标的y坐标值。
最后，将第一欧式距离作为姿态分析结果。
由于施工时，施工人员会弯腰进行施工操作，头部距离腰部的距离较近，因此，基于头部坐标及腰部坐标可计算出视频监控画面中的人是否正在施工。
例如，作为一种可能的实施场景，当第一欧式距离小于第四预设阈值，且小于第四预设阈值的次数大于第五预设阈值时，则可确定视频监控画面中的人正在施工。
其中，第四预设阈值可以是15-30cm，第五预设阈值可以是3-8次。例如，作为一种可能的实施场景，第四预设阈值可以为26cm，第五预设阈值可以为5次。
其中，可通过图像识别判断安全帽的颜色是否为目标颜色，也可通过预先训练好的目标检测模型判断安全帽的颜色是否为目标颜色。其实现原理和实现方式均可参阅上述针对目标检测模型进行的相关阐述，在此不做赘述。
如此，本申请实施例通过对视频监控画面中的人进行姿态分析，当分析结果表明视频监控画面中的人正在施工却未佩戴安全帽时，则发出报警，以便于未佩戴安全帽的人员和相关安保人员进行安全警示。采用此方式成本较低，且警示效果较好，可在减少成本的情况下，提高施工环境中的安全性。
基于同一发明构思，请结合参阅图4，本申请实施例中还提供了与上述安全监测方法对应的安全监测装置，装置包括：
获取模块131，用于获取视频监控画面。
姿态分析模块132，用于判断视频监控画面中是否有人，若确定视频监控画面中有人，则获取视频监控画面中的人像关键点，利用人像关键点进行姿态分析，得到姿态分析结果。
报警模块133，用于基于姿态分析结果，判断视频监控画面中的人是否在抽烟，若确定视频监控画面中的人在抽烟，则发出报警。
由于本申请实施例中的装置解决问题的原理与本申请实施例上述安全监测方法相似，因此装置的实施原理可以参见方法的实施原理，重复之处不再赘述。
本实施例也提供了一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序被执行时实现上述的安全监测方法。
综上所述，本申请实施例提供了一种安全监测方法、装置、电子设备100和可读存储介质，该方法首先获取视频监控画面。接着判断视频监控画面中是否有人，若确定视频监控画面中有人，则获取视频监控画面中的人像关键点，利用人像关键点进行姿态分析，得到姿态分析结果。最后基于姿态分析结果，判断视频监控画面中的人是否在抽烟，若确定视频监控画面中的人在抽烟，则发出报警。如此，该方法通过对视频监控画面进行姿态分析，得到姿态分析结果基于姿态分析结果判断人员是否在抽烟，当人员抽烟时发出报警，采用此方式进行安全监测，可在减少成本的情况下，提高施工环境中的安全性。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种安全监测方法，其特征在于，所述方法包括：
获取视频监控画面；
判断所述视频监控画面中是否有人，若确定所述视频监控画面中有人，则获取所述视频监控画面中的人像关键点，利用所述人像关键点进行姿态分析，得到姿态分析结果；
所述人像关键点包括所述视频监控画面中的人的嘴部坐标、头部坐标、肩部坐标、肘部坐标、左手坐标及右手坐标；所述姿态分析结果包括所述视频监控画面中的人的肘部弯曲角度、所述嘴部坐标与所述左手坐标的第二欧式距离、所述嘴部坐标与所述右手坐标的第三欧式距离；所述肘部弯曲角度利用所述头部坐标、所述肩部坐标、所述肘部坐标、所述左手坐标及所述右手坐标得到；
基于所述姿态分析结果，判断所述视频监控画面中的人是否在抽烟，若确定所述视频监控画面中的人在抽烟，则对所述视频监控画面中的人进行目标跟踪，得到目标跟踪结果；基于所述目标跟踪结果，判断所述视频监控画面中的人是否存在移动；若确定所述视频监控画面中的人存在移动，则发出报警；
所述基于所述姿态分析结果，判断所述视频监控画面中的人是否在抽烟，包括：
当所述第二欧式距离或所述第三欧式距离小于第一预设阈值，且当所述第二欧式距离或所述第三欧式距离小于第一预设阈值的次数大于第二预设阈值时，且所述肘部弯曲角度在预设范围内时，确定所述视频监控画面中的人存在吸烟行为。
2.根据权利要求1所述的安全监测方法，其特征在于，所述判断所述视频监控画面中是否有人，若确定所述视频监控画面中有人的步骤之后，所述方法还包括：
判断所述视频监控画面中的人是否佩戴安全帽；
若所述视频监控画面中的人未佩戴安全帽，则发出报警。
3.根据权利要求2所述的安全监测方法，其特征在于，所述判断所述视频监控画面中的人是否佩戴安全帽的步骤还包括：
若所述视频监控画面中的人佩戴有安全帽，则基于所述姿态分析结果，判断所述视频监控画面中的人是否在施工；
若确定所述视频监控画面中的人在施工，则判断所述安全帽的颜色是否为目标颜色；
若确定所述安全帽的颜色不为目标颜色，则发出报警。
4.根据权利要求3所述的安全监测方法，其特征在于，所述基于所述姿态分析结果，判断所述视频监控画面中的人是否在施工，包括：
得到所述姿态分析结果的步骤包括：
获取所述视频监控画面中的人的头部坐标及腰部坐标；
利用所述头部坐标及所述腰部坐标，按照以下公式计算所述头部坐标与所述腰部坐标的第一欧式距离：
其中，L1为所述第一欧式距离，Phead(x,y)为所述头部坐标，Pheadx为所述头部坐标的x坐标值，Pheady为所述头部坐标的y坐标值，Pwaist(x,y)为所述腰部坐标，Pwaistx为所述腰部坐标的x坐标值，Pwaisty为所述腰部坐标的y坐标值；
将所述第一欧式距离作为所述姿态分析结果。
5.根据权利要求1所述的安全监测方法，其特征在于，所述获取所述视频监控画面中的人像关键点，利用所述人像关键点进行姿态分析，得到姿态分析结果的步骤包括：
获取所述视频监控画面中的人的嘴部坐标、左手坐标及右手坐标；
利用所述嘴部坐标及所述左手坐标，按照以下公式计算所述嘴部坐标与所述左手坐标的所述第二欧式距离：
其中，L2为所述第二欧式距离，Pmouth(x,y)为所述嘴部坐标，Pmouthx为所述嘴部坐标的x坐标值，Pmouthy为所述嘴部坐标的y坐标值，Plhand(x,y)为所述左手坐标，Plhandx为所述左手坐标的x坐标值，Plhandy为所述左手坐标的y坐标值；
利用所述嘴部坐标及所述右手坐标，按照以下公式计算所述嘴部坐标与所述右手坐标的所述第三欧式距离：
其中，L3为所述第三欧式距离，Pmouth(x,y)为所述嘴部坐标，Pmouthx为所述嘴部坐标的x坐标值，Pmouthy为所述嘴部坐标的y坐标值，Prhand(x,y)为所述右手坐标，Pfhandx为所述右手坐标的x坐标值，Prhandy为所述右手坐标的y坐标值；
将所述第二欧式距离及所述第三欧式距离作为所述姿态分析结果。
6.根据权利要求1所述的安全监测方法，其特征在于，所述获取所述视频监控画面中的人像关键点，利用所述人像关键点进行姿态分析，得到姿态分析结果的步骤包括：
获取所述视频监控画面中的人的头部坐标、肩部坐标、肘部坐标、左手坐标及右手坐标；
利用所述头部坐标、所述肩部坐标、所述肘部坐标、所述左手坐标及所述右手坐标，按照以下公式计算所述视频监控画面中的人的肘部弯曲角度：
其中，A为所述肘部弯曲角度，Dshoulder-elbow为所述肩部坐标到所述肘部坐标的距离，Dshoulder-hand为所述肩部坐标到所述左手坐标的距离或所述肩部坐标到所述右手坐标的距离，Dhand-elbow，为所述左手坐标到所述肘部坐标的距离或所述右手坐标到所述肘部坐标的距离；
将所述肘部弯曲角度作为所述姿态分析结果。
7.一种安全监测装置，其特征在于，所述装置包括：
获取模块，用于获取视频监控画面；
姿态分析模块，用于判断所述视频监控画面中是否有人，若确定所述视频监控画面中有人，则获取所述视频监控画面中的人像关键点，利用所述人像关键点进行姿态分析，得到姿态分析结果；所述人像关键点包括所述视频监控画面中的人的嘴部坐标、头部坐标、肩部坐标、肘部坐标、左手坐标及右手坐标；所述姿态分析结果包括所述视频监控画面中的人的肘部弯曲角度、所述嘴部坐标与所述左手坐标的第二欧式距离、所述嘴部坐标与所述右手坐标的第三欧式距离；所述肘部弯曲角度利用所述头部坐标、所述肩部坐标、所述肘部坐标、所述左手坐标及所述右手坐标得到；
报警模块，用于基于所述姿态分析结果，判断所述视频监控画面中的人是否在抽烟，若确定所述视频监控画面中的人在抽烟，则对所述视频监控画面中的人进行目标跟踪，得到目标跟踪结果；基于所述目标跟踪结果，判断所述视频监控画面中的人是否存在移动；若确定所述视频监控画面中的人存在移动，则发出报警；
所述基于所述姿态分析结果，判断所述视频监控画面中的人是否在抽烟，包括：
当所述第二欧式距离或所述第三欧式距离小于第一预设阈值，且当所述第二欧式距离或所述第三欧式距离小于第一预设阈值的次数大于第二预设阈值时，且所述肘部弯曲角度在预设范围内时，确定所述视频监控画面中的人存在吸烟行为。
8.一种电子设备，其特征在于，所述电子设备包括处理器、存储器及总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器及所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行权利要求1-6任意一项所述的安全监测方法的步骤。
9.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-6任意一项所述的安全监测方法。
CN202010800117.3A 2020-08-11 2020-08-11 安全监测方法、装置、电子设备和可读存储介质 Active CN111931653B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010800117.3A CN111931653B (zh) 2020-08-11 2020-08-11 安全监测方法、装置、电子设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010800117.3A CN111931653B (zh) 2020-08-11 2020-08-11 安全监测方法、装置、电子设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN111931653A CN111931653A (zh) 2020-11-13
CN111931653B true CN111931653B (zh) 2024-06-11

Family

ID=73307485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010800117.3A Active CN111931653B (zh) 2020-08-11 2020-08-11 安全监测方法、装置、电子设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN111931653B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634233A (zh) * 2020-12-24 2021-04-09 四川电器集团中低压智能配电有限公司 基于图像检测和分析技术在配电设备中的应用方法
CN112528960B (zh) * 2020-12-29 2023-07-14 之江实验室 一种基于人体姿态估计和图像分类的吸烟行为检测方法
CN112818877A (zh) * 2021-02-05 2021-05-18 爱泊车美好科技有限公司 一种识别头盔佩戴的方法及装置
CN113609963B (zh) * 2021-08-03 2022-10-11 北京睿芯高通量科技有限公司 一种实时多人体角度的抽烟行为检测方法
CN113971839A (zh) * 2021-12-23 2022-01-25 宏景科技股份有限公司 检测图像、视频中人体异常行为方法、装置、设备和介质
CN115063740A (zh) * 2022-06-10 2022-09-16 嘉洋智慧安全生产科技发展（北京）有限公司 安全监测方法、装置、设备及计算机可读存储介质
CN115150590A (zh) * 2022-07-01 2022-10-04 华能广西清洁能源有限公司 一种风电场智能监控装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106372662A (zh) * 2016-08-30 2017-02-01 腾讯科技（深圳）有限公司 安全帽佩戴的检测方法和装置、摄像头、服务器
CN109145789A (zh) * 2018-08-09 2019-01-04 炜呈智能电力科技（杭州）有限公司 供电系统安全作业保障方法及系统
CN110688921A (zh) * 2019-09-17 2020-01-14 东南大学 一种基于人体动作识别技术的驾驶员抽烟行为检测方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5370927B2 (ja) * 2007-08-21 2013-12-18 日本電気株式会社 行動監視システム、及び、行動監視方法
EP2254097A1 (en) * 2009-05-19 2010-11-24 Topseed Technology Corp. Intelligent surveillance system and method for the same
CN102306278B (zh) * 2011-07-08 2017-05-10 中兴智能交通（无锡）有限公司 一种基于视频的烟火检测方法和装置
WO2019028798A1 (zh) * 2017-08-10 2019-02-14 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
CN108319926A (zh) * 2018-02-12 2018-07-24 安徽金禾软件股份有限公司 一种工地现场的安全帽佩戴检测系统及检测方法
CN108460358A (zh) * 2018-03-20 2018-08-28 武汉倍特威视系统有限公司 基于视频流数据的安全帽识别方法
CN108564037B (zh) * 2018-04-15 2021-06-08 南京明辉创鑫电子科技有限公司 一种敬礼姿势检测校正方法
CN110188724B (zh) * 2019-06-05 2023-02-28 中冶赛迪信息技术(重庆)有限公司 基于深度学习的安全帽定位与颜色识别的方法及系统
CN110503005A (zh) * 2019-07-29 2019-11-26 恒大智慧科技有限公司 基于智慧社区的吸烟检测方法、系统及其存储介质
CN110569771A (zh) * 2019-08-30 2019-12-13 重庆博拉智略科技有限公司 吸烟识别方法、装置、存储介质及电子设备
CN110674717B (zh) * 2019-09-16 2022-08-26 杭州奔巴慧视科技有限公司 基于姿态识别的吸烟监测系统
CN111428600A (zh) * 2020-03-17 2020-07-17 北京都是科技有限公司 吸烟检测方法、系统、装置及热红外图像处理器
CN111461020B (zh) * 2020-04-01 2024-01-19 浙江大华技术股份有限公司 不安全使用手机行为的识别方法、设备及相关存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106372662A (zh) * 2016-08-30 2017-02-01 腾讯科技（深圳）有限公司 安全帽佩戴的检测方法和装置、摄像头、服务器
CN109145789A (zh) * 2018-08-09 2019-01-04 炜呈智能电力科技（杭州）有限公司 供电系统安全作业保障方法及系统
CN110688921A (zh) * 2019-09-17 2020-01-14 东南大学 一种基于人体动作识别技术的驾驶员抽烟行为检测方法

Also Published As

Publication number Publication date
CN111931653A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN111931653B (zh) 安全监测方法、装置、电子设备和可读存储介质
CN108734055B (zh) 一种异常人员检测方法、装置及系统
Xu et al. Smart construction sites: A promising approach to improving on-site HSE management performance
US20140307076A1 (en) Systems and methods for monitoring personal protection equipment and promoting worker safety
US10949657B2 (en) Person's behavior monitoring device and person's behavior monitoring system
WO2021082112A1 (zh) 神经网络训练、骨骼图构建、异常行为监控方法和系统
KR20210053534A (ko) 딥러닝기반 행동인식장치 및 그 장치의 구동방법
US20220366697A1 (en) Image processing method and apparatus, electronic device and storage medium
KR101668555B1 (ko) 작업 현장 영상 데이터 내의 작업자 인식 방법
JP5718632B2 (ja) 部位認識装置、部位認識方法、及び部位認識プログラム
CN114155492A (zh) 高空作业安全带挂绳高挂低用识别方法、装置和电子设备
KR20180096038A (ko) 행위 예측을 위한 다중 모션 기반 옴니뷰 기법
JP2015002477A (ja) 情報処理装置、情報処理システムおよび情報処理方法
CN113506416A (zh) 一种基于智能视觉分析的工程异常预警方法及系统
Guo et al. Action recognition based on 3D skeleton and LSTM for the monitoring of construction workers’ safety harness usage
CN114550951A (zh) 一种快速就医处理方法、装置、计算机设备及存储介质
JP2016103690A (ja) 監視システム、監視装置、および監視方法
CN107357821A (zh) 系统管理方法、装置及存储介质
CN107301373B (zh) 数据处理方法、装置及存储介质
CN113920544A (zh) 用于冲压车间的安全管理系统、方法及电子设备
CN115346170A (zh) 一种燃气设施区域的智能监控方法及装置
Li et al. A Review of Computer Vision-Based Monitoring Approaches for Construction Workers’ Work-Related Behaviors
JP2012208850A (ja) 異常検知装置
JP6022625B2 (ja) 部位認識装置、部位認識方法、及び部位認識プログラム
CN111191705A (zh) 检测人体的安全装备的方法、设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant