CN114724080B - 基于安防视频监控的工地智能化安全识别方法和装置 - Google Patents

基于安防视频监控的工地智能化安全识别方法和装置 Download PDF

Info

Publication number
CN114724080B
CN114724080B CN202210336788.8A CN202210336788A CN114724080B CN 114724080 B CN114724080 B CN 114724080B CN 202210336788 A CN202210336788 A CN 202210336788A CN 114724080 B CN114724080 B CN 114724080B
Authority
CN
China
Prior art keywords
construction
control switch
magnetic control
sample
safety
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210336788.8A
Other languages
English (en)
Other versions
CN114724080A (zh
Inventor
兰雨晴
张腾怀
余丹
邢智涣
王丹星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Standard Intelligent Security Technology Co Ltd
Original Assignee
China Standard Intelligent Security Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Standard Intelligent Security Technology Co Ltd filed Critical China Standard Intelligent Security Technology Co Ltd
Priority to CN202210336788.8A priority Critical patent/CN114724080B/zh
Publication of CN114724080A publication Critical patent/CN114724080A/zh
Application granted granted Critical
Publication of CN114724080B publication Critical patent/CN114724080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)

Abstract

本申请提供了一种基于安防视频监控的工地智能化安全识别方法和装置,涉及安防技术领域。该方法包括在安防视频监控的过程中,采集工人在工地施工过程中的视频数据;通过边缘计算对视频数据进行智能化安全识别,判断出工地的安全指数及工人施工操作的安全指数,得到识别结果;根据识别结果识别出工人及工地是否安全。本申请实施例通过边缘计算对视频数据进行智能化安全识别处理,可以识别工人的施工进展以及是否具有威胁安全的操作,加强对人员施工操作的安全性。

Description

基于安防视频监控的工地智能化安全识别方法和装置
技术领域
本申请涉及安防技术领域,尤其涉及一种基于安防视频监控的工地智能化安全识别方法和装置。
背景技术
工地施工环节离不开工人的各式各样的施工操作行为,工人的操作状况信息的收集不仅关系到施工效率的高低,更关系到施工的安全。相关技术中,安防视频监控可以检测识别工地车辆、人物或施工工具等的区别,但是无法识别工地上的危险操作和施工进展,因此,亟需解决这一技术问题。
发明内容
鉴于上述问题,提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的基于安防视频监控的工地智能化安全识别方法和装置,通过对视频数据帧图像的处理,可以识别工人的施工进展以及是否具有威胁安全的操作,加强对人员施工操作的安全性。所述技术方案如下:
第一方面,提供了一种基于安防视频监控的工地智能化安全识别方法,包括如下步骤:
在安防视频监控的过程中,采集工人在工地施工过程中的视频数据;
通过边缘计算对视频数据进行智能化安全识别,判断出工地的安全指数及工人施工操作的安全指数,得到识别结果;
根据识别结果识别出工人及工地是否安全。
在一种可能的实现方式中,通过边缘计算对视频数据进行智能化安全识别,判断出工地的安全指数及工人施工操作的安全指数,得到识别结果;根据识别结果识别出工人及工地是否安全,包括:
通过边缘计算解码视频数据,将视频数据中的每帧转化成对应的帧图像;
对于每个帧图像,按照预先确定的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像,其中n为大于1的正整数;
对n个矩形图像进行处理,将n个矩形图像转化成指定边长的n个正方形图像,并按照预设排列顺序将n个正方形图像组成一个整体正方形图像;
将所述整体正方形图像输入预先训练的工人操作动作识别模型,利用所述训练的工人操作动作识别模型对所述整体正方形图像对应的施工操作动作进行识别,得到表示所述整体正方形图像对应的施工操作动作的目标标签;
根据所述目标标签识别工人在工地施工过程中是否安全。
在一种可能的实现方式中,通过以下步骤得到训练的工人操作动作识别模型:
构建初始的工人操作动作识别模型;
获取多个标注有施工操作动作的标签的样本视频帧图像;
按照所述预先确定的n个选区的矩形区域坐标截取各个样本视频帧图像里的n个样本矩形图像;
根据工人操作动作识别模型输入的图像边长和n确定所述指定边长;
对n个样本矩形图像进行处理,将n个样本矩形图像转化成所述指定边长的n个样本正方形图像;
确定将n个样本正方形图像组成一个整体样本正方形图像的排列顺序作为所述预设排列顺序;
按照所述预设排列顺序将n个样本正方形图像组成一个整体样本正方形图像;
将所述整体样本正方形图像和样本视频帧图像的施工操作动作的标签输入工人操作动作识别模型进行训练,得到训练的工人操作动作识别模型。
在一种可能的实现方式中,所述获取多个标注有施工操作动作的标签的样本视频帧图像,包括:
录制一个或多个工人的包含多个完整施工过程的样本视频;
在样本视频中标记施工过程中每个施工操作动作的初始帧和结束帧;
解码样本视频,将样本视频的每帧都转化成对应的图像,并依据样本视频标记的每个施工操作动作的初始帧和结束帧对每帧图像进行施工操作动作标注,得到样本视频帧图像对应的施工操作动作的标签。
在一种可能的实现方式中,所述在样本视频中标记施工过程中每个施工操作动作的初始帧和结束帧,包括:
获取工人施工过程的标准施工操作动作;
根据所述标准施工操作动作在样本视频中标记施工过程中每个施工操作动作的初始帧和结束帧,其中不包含在标准施工操作动作里的所有动作都归为一类称为其他动作。
在一种可能的实现方式中,在对于每个帧图像,按照预先确定的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像之前,所述方法还包括:
判断安防视频监控的摄像头当前采集视频数据与确定n个选区的矩形区域坐标时采集样本视频,是否发生位置变动;
若发生位置变动,则确定位置变动的仿射转换矩阵;
利用仿射转换矩阵对确定的n个选区的矩形区域坐标进行转换,得到转换后的n个选区的矩形区域坐标,从而对于每个帧图像,按照转换后的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像。
第二方面,提供了一种基于安防视频监控的工地智能化安全识别装置,包括:
采集单元,用于在安防视频监控的过程中,采集工人在工地施工过程中的视频数据;
识别单元,用于通过边缘计算对视频数据进行智能化安全识别,判断出工地的安全指数及工人施工操作的安全指数,得到识别结果;根据识别结果识别出工人及工地是否安全。
在一种可能的实现方式中,所述识别单元包括:
解码模块,用于通过边缘计算解码视频数据,将视频数据中的每帧转化成对应的帧图像;
截取模块,用于对于每个帧图像,按照预先确定的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像,其中n为大于1的正整数;
转化模块,用于对n个矩形图像进行处理,将n个矩形图像转化成指定边长的n个正方形图像,并按照预设排列顺序将n个正方形图像组成一个整体正方形图像;
标签识别模块,用于将所述整体正方形图像输入预先训练的工人操作动作识别模型,利用所述训练的工人操作动作识别模型对所述整体正方形图像对应的施工操作动作进行识别,得到表示所述整体正方形图像对应的施工操作动作的目标标签;
安全识别模块,用于根据所述目标标签识别工人在工地施工过程中是否安全。
在一种可能的实现方式中,所述识别单元还包括训练模块,所述训练模块用于:
构建初始的工人操作动作识别模型;
获取多个标注有施工操作动作的标签的样本视频帧图像;
按照所述预先确定的n个选区的矩形区域坐标截取各个样本视频帧图像里的n个样本矩形图像;
根据工人操作动作识别模型输入的图像边长和n确定所述指定边长;
对n个样本矩形图像进行处理,将n个样本矩形图像转化成所述指定边长的n个样本正方形图像;
确定将n个样本正方形图像组成一个整体样本正方形图像的排列顺序作为所述预设排列顺序;
按照所述预设排列顺序将n个样本正方形图像组成一个整体样本正方形图像;
将所述整体样本正方形图像和样本视频帧图像的施工操作动作的标签输入工人操作动作识别模型进行训练,得到训练的工人操作动作识别模型。
在一种可能的实现方式中,所述训练模块还用于:
录制一个或多个工人的包含多个完整施工过程的样本视频;
在样本视频中标记施工过程中每个施工操作动作的初始帧和结束帧;
解码样本视频,将样本视频的每帧都转化成对应的图像,并依据样本视频标记的每个施工操作动作的初始帧和结束帧对每帧图像进行施工操作动作标注,得到样本视频帧图像对应的施工操作动作的标签。
在一种可能的实现方式中,在识别出工人及工地是否安全后,所述工地智能化安全识别装置还会向报警模块发送报警脉冲,所述报警模块为电磁线圈以及磁控开关组成,所述电磁线圈在接收到所述报警脉冲后会产生磁力,进而被所述磁控开关检测到,这样就可以将所述工地智能化安全识别装置较大电量的报警脉冲,转换成可以小电压检测的磁控开关的闭合信号,节省了设备整体的功耗,然后通过检测磁控开关的开闭状态生成短信信息发送至工地监管人员的终端设备上,并且记录所述磁控开关的累积开闭次数,当所述次数达到设定值时启动声光报警装置,以提醒和警告所有人员注意安全,并等待工地监管人员关闭声光报警装置后所述磁控开关的累积开闭次数将置位清零,其具体步骤包括:
步骤A1:在所述报警装置内部CPU检测的磁控开关出现闭合现象后,利用公式(1)根据报警装置内部CPU检测的磁控开关的闭合信号以及在发现不安全时所述工地智能化安全识别装置向报警模块发送报警脉冲的脉冲持续时间(所述脉冲为方波),判断所述磁控开关是否为抖动误触
其中E(t)表示t时刻所述磁控开关的闭合判定值;t0表示所述报警装置内部CPU检测到磁控开关出现闭合的时刻;↓(t)=1表示t时刻为所述报警装置内部CPU检测到磁控开关出现断开的时刻;T0表示在发现不安全时所述工地智能化安全识别装置向报警模块发送报警脉冲的脉冲持续时间(所述脉冲为方波);| |表示求取绝对值;1ms表示一毫秒;
若E(t)=1,则表示t时刻所述磁控开关成功可靠闭合了一次;
若E(t)=0,则表示t时刻所述磁控开关并未成功可靠闭合,是抖动误触;
步骤A2:若所述磁控开关并非为抖动误触,则利用公式(2)根据检测磁控开关的开闭状态生成短信信息,并发送至工地监管人员的终端设备上
其中R(t)表示发送至工地监管人员的终端设备上的短信信息控制值(字符串形式数据);″alarm″表示字符串形式的alarm数据;ASCII[E(t)]表示将E(t)转换为ASCII值;
若R(t)≠0,则表示t时刻需要向所述工地监管人员的终端设备上发送短信信息R(t);
若R(t)=0,则表示t时刻不需要向所述工地监管人员的终端设备上发送短信信息;
步骤A3:利用公式(3)根据步骤A1计算的历史累计判断结果控制所述声光报警装置的启停
其中P(t)表示t时刻所述声光报警装置的启停控制值;tZ表示最近一次所述声光报警装置被按下停止键的时刻;E(tZ→t)表示从tZ时刻到t时刻E(t)的值从0变为1的次数;
若P(t)=1,则表示t时刻控制打开所述述声光报警装置;
若P(t)=0,则表示t时刻不控制打开所述述声光报警装置。
借由上述技术方案,本申请实施例提供的基于安防视频监控的工地智能化安全识别方法和装置,在安防视频监控的过程中,采集工人在工地施工过程中的视频数据;解码视频数据,将视频数据中的每帧转化成对应的帧图像;对于每个帧图像,按照预先确定的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像,其中n为大于1的正整数;对n个矩形图像进行处理,将n个矩形图像转化成指定边长的n个正方形图像,并按照预设排列顺序将n个正方形图像组成一个整体正方形图像;将整体正方形图像输入预先训练的工人操作动作识别模型,利用训练的工人操作动作识别模型对整体正方形图像对应的施工操作动作进行识别,得到表示整体正方形图像对应的施工操作动作的目标标签;根据目标标签识别工人在工地施工过程中是否安全。可以看到,本申请实施例通过边缘计算对视频数据帧图像进行处理,可以识别工人的施工进展以及是否具有威胁安全的操作,加强对人员施工操作的安全性。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1A示出了根据本申请实施例的基于安防视频监控的工地智能化安全识别方法的流程图;
图1B示出了根据本申请另一实施例的基于安防视频监控的工地智能化安全识别方法的流程图;
图2示出了根据本申请实施例的基于安防视频监控的工地智能化安全识别装置的结构图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例,然而应当理解,可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本申请,并且能够将本申请的范围完整的传达给本领域的技术人员。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。
本申请实施例提供了一种基于安防视频监控的工地智能化安全识别方法,可以应用在移动终端、个人电脑、平板电脑等电子设备。如图1A所示,该基于安防视频监控的工地智能化安全识别方法,可以包括以下步骤S1至S3:
步骤S1,在安防视频监控的过程中,采集工人在工地施工过程中的视频数据;
步骤S2,通过边缘计算对视频数据进行智能化安全识别,判断出工地的安全指数及工人施工操作的安全指数,得到识别结果;
步骤S3,根据识别结果识别出工人及工地是否安全。
本申请实施例通过边缘计算对视频数据进行智能化安全识别处理,可以识别工人的施工进展以及是否具有威胁安全的操作,加强对人员施工操作的安全性。
本申请另一实施例提供了一种基于安防视频监控的工地智能化安全识别方法,可以应用在移动终端、个人电脑、平板电脑等电子设备。如图1B所示,该基于安防视频监控的工地智能化安全识别方法,可以包括以下步骤S101至S106:
步骤S101,在安防视频监控的过程中,采集工人在工地施工过程中的视频数据;
步骤S102,通过边缘计算解码视频数据,将视频数据中的每帧转化成对应的帧图像;
步骤S103,对于每个帧图像,按照预先确定的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像,其中n为大于1的正整数;
步骤S104,对n个矩形图像进行处理,将n个矩形图像转化成指定边长的n个正方形图像,并按照预设排列顺序将n个正方形图像组成一个整体正方形图像;
步骤S105,将整体正方形图像输入预先训练的工人操作动作识别模型,利用训练的工人操作动作识别模型对整体正方形图像对应的施工操作动作进行识别,得到表示整体正方形图像对应的施工操作动作的目标标签;
步骤S106,根据目标标签识别工人在工地施工过程中是否安全。
该步骤中,如果目标标签为指定标签,则识别工人在工地施工过程中安全;如果目标标签不为指定标签,则识别工人在工地施工过程中不安全。这里的指定标签可以根据实际情况来设置,如指定标签为标准施工操作动作对应的标签等,本实施例对此不作限制。
本申请实施例通过边缘计算对视频数据帧图像进行处理,可以识别工人的施工进展以及是否具有威胁安全的操作,加强对人员施工操作的安全性。
本申请实施例中提供了一种可能的实现方式,可以通过以下步骤a1至a8得到训练的工人操作动作识别模型:
步骤a1,构建初始的工人操作动作识别模型;
该步骤中,可以根据图像分类模型来构建初始的工人操作动作识别模型,这里的图像分类模型如ResNet(Residual Neural Network,残差神经网络)、VGG(VisualGeometry Group,视觉几何组)等,本实施例对此不作限制。
步骤a2,获取多个标注有施工操作动作的标签的样本视频帧图像;
步骤a3,按照预先确定的n个选区的矩形区域坐标截取各个样本视频帧图像里的n个样本矩形图像;
步骤a4,根据工人操作动作识别模型输入的图像边长和n确定指定边长;
该步骤中,若工人操作动作识别模型输入的图像边长为k,则根据工人操作动作识别模型输入的图像边长和n确定指定边长为其中/>表示向上取整。举例来说,初始的工人操作动作识别模型为ResNet18,它要求的图像输入尺寸为224×224,即k为224,那么指定边长为/>
步骤a5,对n个样本矩形图像进行处理,将n个样本矩形图像转化成指定边长的n个样本正方形图像;
步骤a6,确定将n个样本正方形图像组成一个整体样本正方形图像的排列顺序作为预设排列顺序;
步骤a7,按照预设排列顺序将n个样本正方形图像组成一个整体样本正方形图像;
步骤a8,将整体样本正方形图像和样本视频帧图像的施工操作动作的标签输入工人操作动作识别模型进行训练,得到训练的工人操作动作识别模型。
本实施例对工人操作动作识别模型进行训练,得到训练的工人操作动作识别模型,从而利用训练的工人操作动作识别模型进行图像分类,识别工人施工操作动作,提高了识别的准确性和效率。
本申请实施例中提供了一种可能的实现方式,上面步骤a2获取多个标注有施工操作动作的标签的样本视频帧图像,具体可以包括以下步骤a2-1至a2-3:
步骤a2-1,录制一个或多个工人的包含多个完整施工过程的样本视频;
该步骤中,数据采集设备一般可以为固定位置和角度的摄像头,与实际使用中的摄像设备相同或类似。可以录制一个或多个工人的多个完整周期的操作步骤,例如大于5个完整周期。如果有光线的影响,如日光的影响,需要按照不同光照时段录取视频。
步骤a2-2,在样本视频中标记施工过程中每个施工操作动作的初始帧和结束帧;
该步骤中,可以获取工人施工过程的标准施工操作动作;进而根据标准施工操作动作在样本视频中标记施工过程中每个施工操作动作的初始帧和结束帧,其中不包含在标准施工操作动作里的所有动作都归为一类称为其他动作。
步骤a2-3,解码样本视频,将样本视频的每帧都转化成对应的图像,并依据样本视频标记的每个施工操作动作的初始帧和结束帧对每帧图像进行施工操作动作标注,得到样本视频帧图像对应的施工操作动作的标签。
本实施例的数据标注量十分的少,只需要在视频中标注出每个施工操作动作的初始和结束的所处帧的位置即可,提高识别的效率。
本申请实施例中提供了一种可能的实现方式,上文步骤S103在对于每个帧图像,按照预先确定的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像之前,可以判断安防视频监控的摄像头当前采集视频数据与确定n个选区的矩形区域坐标时采集样本视频,是否发生位置变动;若发生位置变动,则确定位置变动的仿射转换矩阵;利用仿射转换矩阵对确定的n个选区的矩形区域坐标进行转换,得到转换后的n个选区的矩形区域坐标,从而对于每个帧图像,按照转换后的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像。
本实施例如果摄像头没有位置的变动则不需要对其进行校准,校准的目的是调整摄像头位置或角度的改变带来预选框位置在图像中的变化,可以提高选取图像的准确性,进而提高识别的准确性。
本申请实施例中提供了一种可能的实现方式,在识别出工人及工地是否安全后,还会向报警模块发送报警脉冲,报警模块为电磁线圈以及磁控开关组成,电磁线圈在接收到报警脉冲后会产生磁力,进而被磁控开关检测到,这样就可以将工地智能化安全识别装置较大电量的报警脉冲,转换成可以小电压检测的磁控开关的闭合信号,节省了设备整体的功耗,然后通过检测磁控开关的开闭状态生成短信信息发送至工地监管人员的终端设备上,并且记录磁控开关的累积开闭次数,当次数达到设定值时启动声光报警装置,以提醒和警告所有人员注意安全,并等待工地监管人员关闭声光报警装置后磁控开关的累积开闭次数将置位清零,其具体步骤包括:
步骤A1:在报警装置内部CPU检测的磁控开关出现闭合现象后,利用公式(1)根据报警装置内部CPU检测的磁控开关的闭合信号以及在发现不安全时工地智能化安全识别装置向报警模块发送报警脉冲的脉冲持续时间(脉冲为方波),判断磁控开关是否为抖动误触
其中E(t)表示t时刻磁控开关的闭合判定值;t0表示报警装置内部CPU检测到磁控开关出现闭合的时刻;↓(t)=1表示t时刻为报警装置内部CPU检测到磁控开关出现断开的时刻;T0表示在发现不安全时工地智能化安全识别装置向报警模块发送报警脉冲的脉冲持续时间(脉冲为方波);||表示求取绝对值;1ms表示一毫秒;
若E(t)=1,则表示t时刻磁控开关成功可靠闭合了一次;
若E(t)=0,则表示t时刻磁控开关并未成功可靠闭合,是抖动误触;
步骤A2:若磁控开关并非为抖动误触,则利用公式(2)根据检测磁控开关的开闭状态生成短信信息,并发送至工地监管人员的终端设备上
其中R(t)表示发送至工地监管人员的终端设备上的短信信息控制值(字符串形式数据);″alarm″表示字符串形式的alarm数据;ASCII[E(t)]表示将E(t)转换为ASCII值;
若R(t)≠0,则表示t时刻需要向工地监管人员的终端设备上发送短信信息R(t);
若R(t)=0,则表示t时刻不需要向工地监管人员的终端设备上发送短信信息;
步骤A3:利用公式(3)根据步骤A1计算的历史累计判断结果控制声光报警装置的启停
其中P(t)表示t时刻声光报警装置的启停控制值;tZ表示最近一次声光报警装置被按下停止键的时刻;E(tZ→t)表示从tZ时刻到t时刻E(t)的值从0变为1的次数;
若P(t)=1,则表示t时刻控制打开述声光报警装置;
若P(t)=0,则表示t时刻不控制打开述声光报警装置。
上述技术方案的有益效果为:首先利用步骤A1中的公式(1)根据报警装置内部CPU检测的磁控开关的闭合信号以及在发现不安全时工地智能化安全识别装置向报警模块发送报警脉冲的脉冲持续时间(脉冲为方波),判断磁控开关是否为抖动误触,进而消除硬件因素,确保装置的可靠性;然后利用步骤A2中的公式(2)根据检测磁控开关的开闭状态生成短信信息,并发送至工地监管人员的终端设备上,从而在安全危险较低时由工地监管人员优先进行教育批评;最后利用步骤A3中的公式(3)根据步骤A1计算的历史累计判断结果控制声光报警装置的启停,在长时间出现安全隐患时需要启动声光报警来提醒和警告所有人员注意安全。
需要说明的是,实际应用中,上述所有可能的实施方式可以采用结合的方式任意组合,形成本申请的可能的实施例,在此不再一一赘述。
基于上文各个实施例提供的基于安防视频监控的工地智能化安全识别方法,基于同一发明构思,本申请实施例还提供了一种基于安防视频监控的工地智能化安全识别装置。
图2示出了根据本申请实施例的基于安防视频监控的工地智能化安全识别装置的结构图。如图2所示,该基于安防视频监控的工地智能化安全识别装置可以包括采集单元210以及识别单元220。
采集单元210,用于在安防视频监控的过程中,采集工人在工地施工过程中的视频数据;
识别单元220,用于通过边缘计算对视频数据进行智能化安全识别,判断出工地的安全指数及工人施工操作的安全指数,得到识别结果;根据识别结果识别出工人及工地是否安全。
本申请实施例中提供了一种可能的实现方式,上文图2展示的识别单元220可以包括解码模块、截取模块、转化模块、标签识别模块以及安全识别模块(图2中未示出)。
解码模块,用于通过边缘计算解码视频数据,将视频数据中的每帧转化成对应的帧图像;
截取模块,用于对于每个帧图像,按照预先确定的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像,其中n为大于1的正整数;
转化模块,用于对n个矩形图像进行处理,将n个矩形图像转化成指定边长的n个正方形图像,并按照预设排列顺序将n个正方形图像组成一个整体正方形图像;
标签识别模块,用于将所述整体正方形图像输入预先训练的工人操作动作识别模型,利用所述训练的工人操作动作识别模型对所述整体正方形图像对应的施工操作动作进行识别,得到表示所述整体正方形图像对应的施工操作动作的目标标签;
安全识别模块,用于根据所述目标标签识别工人在工地施工过程中是否安全。
本申请实施例中提供了一种可能的实现方式,上面图2展示的识别单元220还可以包括训练模块(图2中未示出),该训练模块用于:
构建初始的工人操作动作识别模型;
获取多个标注有施工操作动作的标签的样本视频帧图像;
按照所述预先确定的n个选区的矩形区域坐标截取各个样本视频帧图像里的n个样本矩形图像;
根据工人操作动作识别模型输入的图像边长和n确定所述指定边长;
对n个样本矩形图像进行处理,将n个样本矩形图像转化成所述指定边长的n个样本正方形图像;
确定将n个样本正方形图像组成一个整体样本正方形图像的排列顺序作为所述预设排列顺序;
按照所述预设排列顺序将n个样本正方形图像组成一个整体样本正方形图像;
将所述整体样本正方形图像和样本视频帧图像的施工操作动作的标签输入工人操作动作识别模型进行训练,得到训练的工人操作动作识别模型。
本申请实施例中提供了一种可能的实现方式,训练模块还用于:
录制一个或多个工人的包含多个完整施工过程的样本视频;
在样本视频中标记施工过程中每个施工操作动作的初始帧和结束帧;
解码样本视频,将样本视频的每帧都转化成对应的图像,并依据样本视频标记的每个施工操作动作的初始帧和结束帧对每帧图像进行施工操作动作标注,得到样本视频帧图像对应的施工操作动作的标签。
本申请实施例中提供了一种可能的实现方式,训练模块还用于:
获取工人施工过程的标准施工操作动作;
根据所述标准施工操作动作在样本视频中标记施工过程中每个施工操作动作的初始帧和结束帧,其中不包含在标准施工操作动作里的所有动作都归为一类称为其他动作。
本申请实施例中提供了一种可能的实现方式,上面图2展示的截取模块还用于:
在对于每个帧图像,按照预先确定的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像之前,判断安防视频监控的摄像头当前采集视频数据与确定n个选区的矩形区域坐标时采集样本视频,是否发生位置变动;
若发生位置变动,则确定位置变动的仿射转换矩阵;
利用仿射转换矩阵对确定的n个选区的矩形区域坐标进行转换,得到转换后的n个选区的矩形区域坐标,从而对于每个帧图像,按照转换后的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像。
本申请实施例中提供了一种可能的实现方式,在识别出工人及工地是否安全后,工地智能化安全识别装置还会向报警模块发送报警脉冲,报警模块为电磁线圈以及磁控开关组成,电磁线圈在接收到报警脉冲后会产生磁力,进而被磁控开关检测到,这样就可以将工地智能化安全识别装置较大电量的报警脉冲,转换成可以小电压检测的磁控开关的闭合信号,节省了设备整体的功耗,然后通过检测磁控开关的开闭状态生成短信信息发送至工地监管人员的终端设备上,并且记录磁控开关的累积开闭次数,当次数达到设定值时启动声光报警装置,以提醒和警告所有人员注意安全,并等待工地监管人员关闭声光报警装置后磁控开关的累积开闭次数将置位清零,其具体步骤包括:
步骤A1:在报警装置内部CPU检测的磁控开关出现闭合现象后,利用公式(1)根据报警装置内部CPU检测的磁控开关的闭合信号以及在发现不安全时工地智能化安全识别装置向报警模块发送报警脉冲的脉冲持续时间(脉冲为方波),判断磁控开关是否为抖动误触
其中E(t)表示t时刻磁控开关的闭合判定值;t0表示报警装置内部CPU检测到磁控开关出现闭合的时刻;↓(t)=1表示t时刻为报警装置内部CPU检测到磁控开关出现断开的时刻;T0表示在发现不安全时工地智能化安全识别装置向报警模块发送报警脉冲的脉冲持续时间(脉冲为方波);||表示求取绝对值;1ms表示一毫秒;
若E(t)=1,则表示t时刻磁控开关成功可靠闭合了一次;
若E(t)=0,则表示t时刻磁控开关并未成功可靠闭合,是抖动误触;
步骤A2:若磁控开关并非为抖动误触,则利用公式(2)根据检测磁控开关的开闭状态生成短信信息,并发送至工地监管人员的终端设备上
其中R(t)表示发送至工地监管人员的终端设备上的短信信息控制值(字符串形式数据);″alarm″表示字符串形式的alarm数据;ASCII[E(t)]表示将E(t)转换为ASCII值;
若R(t)≠0,则表示t时刻需要向工地监管人员的终端设备上发送短信信息R(t);
若R(t)=0,则表示t时刻不需要向工地监管人员的终端设备上发送短信信息;
步骤A3:利用公式(3)根据步骤A1计算的历史累计判断结果控制声光报警装置的启停
其中P(t)表示t时刻声光报警装置的启停控制值;tZ表示最近一次声光报警装置被按下停止键的时刻;E(tZ→t)表示从tZ时刻到t时刻E(t)的值从0变为1的次数;
若P(t)=1,则表示t时刻控制打开述声光报警装置;
若P(t)=0,则表示t时刻不控制打开述声光报警装置。
本申请实施例提供的基于安防视频监控的工地智能化安全识别装置,通过边缘计算对视频数据帧图像进行处理,可以识别工人的施工进展以及是否具有威胁安全的操作,加强对人员施工操作的安全性。
所属领域的技术人员可以清楚地了解到,上述描述的系统、装置、模块的具体工作过程,可以参考前述方法实施例中的对应过程,为简洁起见,在此不另赘述。
本领域普通技术人员可以理解:本申请的技术方案本质上或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,其包括若干程序指令,用以使得一电子设备(例如个人计算机,服务器,或者网络设备等)在运行所述程序指令时执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,实现前述方法实施例的全部或部分步骤可以通过程序指令相关的硬件(诸如个人计算机,服务器,或者网络设备等的电子设备)来完成,所述程序指令可以存储于一计算机可读取存储介质中,当所述程序指令被电子设备的处理器执行时,所述电子设备执行本申请各实施例所述方法的全部或部分步骤。
以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:在本申请的精神和原则之内,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案脱离本申请的保护范围。

Claims (3)

1.一种基于安防视频监控的工地智能化安全识别装置,其特征在于,包括:
采集单元,用于在安防视频监控的过程中,采集工人在工地施工过程中的视频数据;
识别单元,用于通过边缘计算对视频数据进行智能化安全识别,判断出工地的安全指数及工人施工操作的安全指数,得到识别结果;根据识别结果识别出工人及工地是否安全;
其中,在识别出工人及工地是否安全后,所述工地智能化安全识别装置还会向报警模块发送报警脉冲,所述报警模块由电磁线圈以及磁控开关组成,所述电磁线圈在接收到所述报警脉冲后会产生磁力,进而被所述磁控开关检测到,这样就可以将所述工地智能化安全识别装置较大电量的报警脉冲,转换成可以小电压检测的磁控开关的闭合信号,节省了设备整体的功耗,然后通过检测磁控开关的开闭状态生成短信信息发送至工地监管人员的终端设备上,并且记录所述磁控开关的累积开闭次数,当所述次数达到设定值时启动声光报警装置,以提醒和警告所有人员注意安全,并等待工地监管人员关闭声光报警装置后所述磁控开关的累积开闭次数将置位清零,其具体步骤包括:
步骤A1:在所述报警装置内部CPU检测磁控开关出现闭合现象后,利用公式(1)根据报警装置内部CPU检测的磁控开关的闭合信号以及在发现不安全时所述工地智能化安全识别装置向报警模块发送报警脉冲的脉冲持续时间,所述脉冲为方波,判断所述磁控开关是否为抖动误触:
(1)
其中表示/>时刻所述磁控开关的闭合判定值;/>表示所述报警装置内部CPU检测到磁控开关出现闭合的时刻;/>表示/>时刻为所述报警装置内部CPU检测到磁控开关出现断开的时刻;/>表示在发现不安全时所述工地智能化安全识别装置向报警模块发送报警脉冲的脉冲持续时间,所述脉冲为方波;/>表示求取绝对值;/>表示一毫秒;
,则表示/>时刻所述磁控开关成功可靠闭合了一次;
,则表示/>时刻所述磁控开关并未成功可靠闭合,是抖动误触;
步骤A2:若所述磁控开关并非为抖动误触,则利用公式(2)根据检测磁控开关的开闭状态生成短信信息,并发送至工地监管人员的终端设备上:
(2)
其中表示发送至工地监管人员的终端设备上的短信信息控制值,为字符串形式数据;/>表示字符串形式的/>数据;/>表示将/>转换为ASCII值;
,则表示/>时刻需要向所述工地监管人员的终端设备上发送短信信息/>
,则表示/>时刻不需要向所述工地监管人员的终端设备上发送短信信息;
步骤A3:利用公式(3)根据步骤A1计算的历史累计判断结果控制所述声光报警装置的启停:
(3)
其中表示/>时刻所述声光报警装置的启停控制值;/>表示最近一次所述声光报警装置被按下停止键的时刻;/>表示从/>时刻到/>时刻/>的值从0变为1的次数;
,则表示/>时刻控制打开所述述声光报警装置;
,则表示/>时刻不控制打开所述述声光报警装置。
2.根据权利要求1所述的基于安防视频监控的工地智能化安全识别装置,其特征在于,所述识别单元包括:
解码模块,用于通过边缘计算解码视频数据,将视频数据中的每帧转化成对应的帧图像;
截取模块,用于对于每个帧图像,按照预先确定的n个选区的矩形区域坐标截取各帧图像里的n个矩形图像,其中n为大于1的正整数;
转化模块,用于对n个矩形图像进行处理,将n个矩形图像转化成指定边长的n个正方形图像,并按照预设排列顺序将n个正方形图像组成一个整体正方形图像;
标签识别模块,用于将所述整体正方形图像输入预先训练的工人操作动作识别模型,利用所述训练的工人操作动作识别模型对所述整体正方形图像对应的施工操作动作进行识别,得到表示所述整体正方形图像对应的施工操作动作的目标标签;
安全识别模块,用于根据所述目标标签识别工人在工地施工过程中是否安全。
3.根据权利要求2所述的基于安防视频监控的工地智能化安全识别装置,其特征在于,所述识别单元还包括训练模块,所述训练模块用于:
构建初始的工人操作动作识别模型;
获取多个标注有施工操作动作的标签的样本视频帧图像;
按照所述预先确定的n个选区的矩形区域坐标截取各个样本视频帧图像里的n个样本矩形图像;
根据工人操作动作识别模型输入的图像边长和n确定所述指定边长;
对n个样本矩形图像进行处理,将n个样本矩形图像转化成所述指定边长的n个样本正方形图像;
确定将n个样本正方形图像组成一个整体样本正方形图像的排列顺序作为所述预设排列顺序;
按照所述预设排列顺序将n个样本正方形图像组成一个整体样本正方形图像;
将所述整体样本正方形图像和样本视频帧图像的施工操作动作的标签输入工人操作动作识别模型进行训练,得到训练的工人操作动作识别模型。
CN202210336788.8A 2022-03-31 2022-03-31 基于安防视频监控的工地智能化安全识别方法和装置 Active CN114724080B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210336788.8A CN114724080B (zh) 2022-03-31 2022-03-31 基于安防视频监控的工地智能化安全识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210336788.8A CN114724080B (zh) 2022-03-31 2022-03-31 基于安防视频监控的工地智能化安全识别方法和装置

Publications (2)

Publication Number Publication Date
CN114724080A CN114724080A (zh) 2022-07-08
CN114724080B true CN114724080B (zh) 2023-10-27

Family

ID=82242696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210336788.8A Active CN114724080B (zh) 2022-03-31 2022-03-31 基于安防视频监控的工地智能化安全识别方法和装置

Country Status (1)

Country Link
CN (1) CN114724080B (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102700569A (zh) * 2012-06-01 2012-10-03 安徽理工大学 基于图像处理的矿用电机车行人监测方法及报警系统
CN103344421A (zh) * 2013-06-24 2013-10-09 浙江虎霸建设机械有限公司 施工升降机门锁耐久性试验装置
CN107748945A (zh) * 2017-09-01 2018-03-02 郭亚晋 一种智慧工地人员管理系统
CN108446649A (zh) * 2018-03-27 2018-08-24 百度在线网络技术(北京)有限公司 用于告警的方法及装置
CN108799078A (zh) * 2018-05-30 2018-11-13 扬州大学 一种施工工地违规操作报警装置及其使用方法
CN109657588A (zh) * 2018-12-11 2019-04-19 上海工业自动化仪表研究院有限公司 基于视频识别的智能边缘计算嵌入式终端
CN109841034A (zh) * 2019-01-14 2019-06-04 沈阳工程学院 一种基于物联网的智能监控系统
KR101989381B1 (ko) * 2018-10-05 2019-06-14 벽산파워 주식회사 철도신호설비 통합유지보수 방법
CN110287804A (zh) * 2019-05-30 2019-09-27 广东电网有限责任公司 一种基于移动视频监控的电力作业人员着装识别方法
CN110543866A (zh) * 2019-09-06 2019-12-06 广东电网有限责任公司 一种基建工程施工人员的安全管理系统及方法
CN111695549A (zh) * 2020-08-04 2020-09-22 图为信息科技(深圳)有限公司 一种基于边缘计算的安全帽佩戴检测识别方法及报警系统
CN212933544U (zh) * 2020-09-29 2021-04-09 山东科曼智能科技有限公司 一种基于边缘计算的现场作业安全识别系统
CN113011833A (zh) * 2021-01-15 2021-06-22 广州穗能通能源科技有限责任公司 施工现场的安全管理方法、装置、计算机设备和存储介质
KR102284037B1 (ko) * 2020-09-09 2021-07-29 김대성 Ai 복지 헬스케어 서비스 시스템
CN113255509A (zh) * 2021-05-20 2021-08-13 福州大学 一种基于Yolov3和OpenPose的工地危险行为监控方法
CN113822242A (zh) * 2021-11-19 2021-12-21 中化学交通建设集团有限公司 一种基于图像识别技术的安全帽佩戴识别方法和装置
CN113869236A (zh) * 2021-09-29 2021-12-31 中冶华天工程技术有限公司 一种移动式工地安全智慧分析系统和方法
CN113989944A (zh) * 2021-12-28 2022-01-28 北京瑞莱智慧科技有限公司 操作动作识别方法、装置及存储介质

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102700569A (zh) * 2012-06-01 2012-10-03 安徽理工大学 基于图像处理的矿用电机车行人监测方法及报警系统
CN103344421A (zh) * 2013-06-24 2013-10-09 浙江虎霸建设机械有限公司 施工升降机门锁耐久性试验装置
CN107748945A (zh) * 2017-09-01 2018-03-02 郭亚晋 一种智慧工地人员管理系统
CN108446649A (zh) * 2018-03-27 2018-08-24 百度在线网络技术(北京)有限公司 用于告警的方法及装置
CN108799078A (zh) * 2018-05-30 2018-11-13 扬州大学 一种施工工地违规操作报警装置及其使用方法
KR101989381B1 (ko) * 2018-10-05 2019-06-14 벽산파워 주식회사 철도신호설비 통합유지보수 방법
CN109657588A (zh) * 2018-12-11 2019-04-19 上海工业自动化仪表研究院有限公司 基于视频识别的智能边缘计算嵌入式终端
CN109841034A (zh) * 2019-01-14 2019-06-04 沈阳工程学院 一种基于物联网的智能监控系统
CN110287804A (zh) * 2019-05-30 2019-09-27 广东电网有限责任公司 一种基于移动视频监控的电力作业人员着装识别方法
CN110543866A (zh) * 2019-09-06 2019-12-06 广东电网有限责任公司 一种基建工程施工人员的安全管理系统及方法
CN111695549A (zh) * 2020-08-04 2020-09-22 图为信息科技(深圳)有限公司 一种基于边缘计算的安全帽佩戴检测识别方法及报警系统
KR102284037B1 (ko) * 2020-09-09 2021-07-29 김대성 Ai 복지 헬스케어 서비스 시스템
CN212933544U (zh) * 2020-09-29 2021-04-09 山东科曼智能科技有限公司 一种基于边缘计算的现场作业安全识别系统
CN113011833A (zh) * 2021-01-15 2021-06-22 广州穗能通能源科技有限责任公司 施工现场的安全管理方法、装置、计算机设备和存储介质
CN113255509A (zh) * 2021-05-20 2021-08-13 福州大学 一种基于Yolov3和OpenPose的工地危险行为监控方法
CN113869236A (zh) * 2021-09-29 2021-12-31 中冶华天工程技术有限公司 一种移动式工地安全智慧分析系统和方法
CN113822242A (zh) * 2021-11-19 2021-12-21 中化学交通建设集团有限公司 一种基于图像识别技术的安全帽佩戴识别方法和装置
CN113989944A (zh) * 2021-12-28 2022-01-28 北京瑞莱智慧科技有限公司 操作动作识别方法、装置及存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"互联网+安全管理"的创新应用――智能安全帽云平台的设计思路与案例应用;张志斌;《施工企业管理》(第02期);81-82 *
NE555家庭防盗报警系统的应用;李凤琴 等;《电子制作》(第18期);41, 53-54 *
Your Home is Insecure: Practical Attacks on Wireless Home Alarm Systems;Tao Li 等;《2021 - IEEE Conference on Computer Communications》;1-10 *
基于BIM的高铁连续梁桥施工智能监控系统研究;朱冰洁 等;《山西建筑》(第13期);202-203 *
智慧工地应用探索――智能化建造、智慧型管理;朱贺 等;《中国建设信息化》(第09期);76-78 *

Also Published As

Publication number Publication date
CN114724080A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
US10169656B2 (en) Video system using dual stage attention based recurrent neural network for future event prediction
CN107679504A (zh) 基于摄像头场景的人脸识别方法、装置、设备及存储介质
CN113296427B (zh) 一种基于物联网的建筑工地安全监测系统
CN107679471B (zh) 基于视频监控平台的室内人员空岗检测方法
EP3002741A1 (en) Method and system for security system tampering detection
CN110795963A (zh) 一种基于人脸识别的监控方法、装置及设备
CN107682317B (zh) 建立数据检测模型的方法、数据检测方法及设备
EP2250632A1 (en) Video sensor and alarm system and method with object and event classification
CN112394690B (zh) 仓库管理方法、装置、系统及电子设备
CN109614906A (zh) 一种基于深度学习的安防系统及安防报警方法
CN112307920B (zh) 一种高风险工种作业人员行为预警装置及方法
KR20210013865A (ko) 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템 및 방법
CN111652128B (zh) 一种高空电力作业安全监测方法、系统和存储装置
CN117235443A (zh) 一种基于边缘ai的电力作业安全监测方法及系统
CN114724080B (zh) 基于安防视频监控的工地智能化安全识别方法和装置
CN106325514A (zh) 一种手持智能终端的防掉落方法、装置及其电子设备
CN113075438B (zh) 一种窃电检测方法及其装置、防窃电装置和可读存储介质
CN113554364A (zh) 灾害应急管理方法、装置、设备及计算机存储介质
CN113095138A (zh) 异常行为识别方法及相关装置
CN113392706A (zh) 抽烟及使用手机行为检测装置及方法
CN114998822A (zh) 火灾检测方法、装置、设备及存储介质
JP2017111496A (ja) 行動監視予測システム、行動監視予測方法
CN115601898A (zh) 电缆防盗报警装置
CN114694172A (zh) 宠物提醒方法、vr设备及可读存储介质
CN110348338A (zh) 基于深度学习的驾驶员辅助驾驶后视镜及包含其的系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant