CN111414873B - 基于安全帽佩戴状态的告警提示方法、装置和告警系统 - Google Patents
基于安全帽佩戴状态的告警提示方法、装置和告警系统 Download PDFInfo
- Publication number
- CN111414873B CN111414873B CN202010221347.4A CN202010221347A CN111414873B CN 111414873 B CN111414873 B CN 111414873B CN 202010221347 A CN202010221347 A CN 202010221347A CN 111414873 B CN111414873 B CN 111414873B
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- safety helmet
- human
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Alarm Systems (AREA)
Abstract
本申请涉及一种基于安全帽佩戴状态的告警提示方法、装置、基于安全帽智能监测的联动告警系统、计算机设备和存储介质。所述方法包括:获取设于建筑现场的图像采集设备采集的建筑现场的待处理图像;基于预先构建的人头识别模型和安全帽识别模型,识别待处理图像中的人头图像区域和安全帽图像区域;基于人头图像区域和安全帽图像区域的位置关系,获取安全帽佩戴状态;若安全帽佩戴状态为未佩戴,则将告警信息发送至设于建筑现场的播报设备,以使播报设备播报告警信息。本申请能够通过人头识别模型和安全帽识别模型对建筑现场的图像进行人头识别与安全帽识别,确定建筑人员的安全帽佩戴状态,通过视频监控画面直接监测,提高安全帽监测的灵活性。
Description
技术领域
本申请涉及建筑监管技术领域,特别是涉及一种基于安全帽佩戴状态的告警提示方法、装置、基于安全帽智能监测的联动告警系统、计算机设备和存储介质。
背景技术
安全帽在建筑工地中被誉为‘生命之帽’,因为它能在关键时刻救人一命。佩戴安全帽能有效减低高空坠物对建筑人员造成的损伤,然而,总有建筑人员为了贪图方便,而故意不佩戴安全帽进行建筑施工,因此,安全帽监测成为安全文明施工的重要保障系统。
为了提高安全帽监测的准确性,通常采用携带有压力传感器的RFID作为监测手段,当安全帽正确佩戴时,压力传感器保持不出触发的状态,同时RFID处于静默状态,不触发任何信号,而当建筑人员取下安全帽后,传感器则会被触发,同时RFID被激活并触发相关监测信号。
然而,传统技术中基于RFID的安全帽监测技术,灵活性低,并且不能充分利用已部署的监控画面进行监测。
发明内容
基于此,有必要针对上述技术问题,提供一种基于安全帽佩戴状态的告警提示方法、装置、基于安全帽智能监测的联动告警系统、计算机设备和存储介质。
一种基于安全帽佩戴状态的告警提示方法,所述方法包括:
获取设于建筑现场的图像采集设备采集的所述建筑现场的待处理图像;
基于预先构建的人头识别模型和安全帽识别模型,识别所述待处理图像中的人头图像区域和安全帽图像区域;
基于所述人头图像区域和安全帽图像区域的位置关系,获取安全帽佩戴状态;
若所述安全帽佩戴状态为未佩戴,则将告警信息发送至设于所述建筑现场的播报设备,以使所述播报设备播报所述告警信息。
一种基于安全帽佩戴状态的告警提示装置,所述装置包括:
建筑图像获取模块,用于获取设于建筑现场的图像采集设备采集的所述建筑现场的待处理图像;
图像区域识别模块,用于基于预先构建的人头识别模型和安全帽识别模型,识别所述待处理图像中的人头图像区域和安全帽图像区域;
佩戴状态获取模块,用于基于所述人头图像区域和安全帽图像区域的位置关系,获取安全帽佩戴状态;
告警信息发送模块,用于若所述安全帽佩戴状态为未佩戴,则将告警信息发送至设于所述建筑现场的播报设备,以使所述播报设备播报所述告警信息。
一种基于安全帽智能监测的联动告警系统,其特征在于,包括:智能控制设备,以及设于建筑现场的视频图像采集设备和播报设备;其中,
所述视频图像采集设备,用于采集所述建筑现场的待处理图像,传输至所述智能控制设备;
所述智能控制设备,用于获取所述视频图像采集设备发送的所述待处理图像,基于预先构建的人头识别模型和安全帽识别模型,识别所述待处理图像中的人头图像区域和安全帽图像区域,基于所述人头图像区域和安全帽图像区域的位置关系,获取安全帽佩戴状态;若所述安全帽佩戴状态为未佩戴,则将告警信息发送至所述播报设备;
所述播报设备,用于在所述建筑现场,将所述智能控制设备发送的所述告警信息进行播报。
一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
上述基于安全帽佩戴状态的告警提示方法、装置、基于安全帽智能监测的联动告警系统、计算机设备和存储介质,获取设于建筑现场的图像采集设备采集的建筑现场的待处理图像;基于预先构建的人头识别模型和安全帽识别模型,识别待处理图像中的人头图像区域和安全帽图像区域;基于人头图像区域和安全帽图像区域的位置关系,获取安全帽佩戴状态;若安全帽佩戴状态为未佩戴,则将告警信息发送至设于建筑现场的播报设备,以使播报设备播报告警信息。本申请通过人头识别模型和安全帽识别模型对建筑现场的图像进行人头识别与安全帽识别,确定建筑人员的安全帽佩戴状态,可通过视频监控画面直接监测,提高安全帽监测的灵活性。
附图说明
图1为一个实施例中基于安全帽佩戴状态的告警提示方法的应用环境图;
图2为一个实施例中基于安全帽佩戴状态的告警提示方法的流程示意图;
图3为一个实施例中获取人头识别模型和安全帽识别模型的流程示意图;
图4为一个实施例中建筑系统区块链的结构示意图;
图5为一个实施例中建筑系统区块链的上链的流程时序图;
图6为一个实施例中建筑系统区块链底层数据存储的结构示意图;
图7为一个应用实例中工地安全帽智能监管及IP广播联动系统的结构示意图;
图8为一个应用实例中训练深度学习识别模型的流程示意图;
图9为一个应用实例中将图像送入识别模型进行分步骤运算和识别的流程示意图;
图10为一个实施例中基于安全帽佩戴状态的告警提示装置的结构框图;
图11为一个实施例中基于安全帽智能监测的联动告警系统的结构示意图;
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的基于安全帽佩戴状态的告警提示方法,可以应用于如图1所示的应用环境中。其中,智能控制设备102通过网络与图像采集设备101以及播报设备103进行通信。图像采集设备101将采集到的建筑现场图片发送至智能控制设备102,智能控制设备102可以根据对得到的建筑现场图片进行图像识别,找出建筑现场未佩戴安全帽的建筑人员并将相关告警信息发送至播报设备103,播报设备103可对接收到的告警信息进行语音播报。其中,智能控制设备102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,图像采集设备101可以通过监控摄像头实现,而播报设备则可以通过各种广播系统来实现。
在一个实施例中,如图2所示,提供了一种基于安全帽佩戴状态的告警提示方法,以该方法应用于图1中的智能控制设备102为例进行说明,包括以下步骤:
步骤S201,智能控制设备102获取设于建筑现场的图像采集设备101采集的建筑现场的待处理图像。
其中,建筑现场的待处理图像可以是图像采集设备101拍摄得到的建筑现场图片,也可以是图像采集设备录像得到的建筑现场视频信息。具体地,安装于建筑现场的图像采集设备101可以将采集得到的建筑现场图像作为待处理图像,发送至智能控制设备102。
步骤S202,基于预先构建的人头识别模型和安全帽识别模型,智能控制设备102识别待处理图像中的人头图像区域和安全帽图像区域。
其中,人头识别模型用于从得到的待处理图像中提取出建筑人员的人头图像区域,安全帽识别模型则用于从得到的待处理图像中提取出安全帽的图像区域,人头识别模型以及安全帽识别模型预先存储于智能控制设备102中。具体地,智能控制设备102在得到图像采集设备101采集到的待处理图像之后,可将待处理图像送入预存进智能控制设备102中的人头识别模型以及安全帽识别模型,从而识别得到该待处理图像中的人头图像区域和安全帽图像区域。
步骤S203,智能控制设备102基于人头图像区域和安全帽图像区域的位置关系,获取安全帽佩戴状态。
安全帽佩戴状态可以包括已佩戴以及未佩戴两种,如果智能控制设备102识别得到的人头图像区域上方存在安全帽图像区域,则确定此时安全帽佩戴状态为已佩戴,而如果智能控制设备102识别得到的人头图像区域上方不存在安全帽图像区域,则确定此时安全帽佩戴状态为未佩戴。
步骤S204,若安全帽佩戴状态为未佩戴,智能控制设备102则将告警信息发送至设于建筑现场的播报设备103,以使播报设备播报告警信息。
而如果智能控制设备102检测到存在安全帽佩戴状态为未佩戴的情况,则会生成相应的告警控制指令作为告警信息,并将该告警信息发送至安装在建筑现场的播报设备103,播报设备103在接收到智能控制设备102发送的告警信息后,可以从预存的播报语音库中选取与该告警信息相适应的告警语音,并对告警语音进行播放。
上述基于安全帽佩戴状态的告警提示方法中,获取设于建筑现场的图像采集设备采集的建筑现场的待处理图像;基于预先构建的人头识别模型和安全帽识别模型,识别待处理图像中的人头图像区域和安全帽图像区域;基于人头图像区域和安全帽图像区域的位置关系,获取安全帽佩戴状态;若安全帽佩戴状态为未佩戴,则将告警信息发送至设于建筑现场的播报设备,以使播报设备播报告警信息。本申请通过人头识别模型和安全帽识别模型对建筑现场的图像进行人头识别与安全帽识别,确定建筑人员的安全帽佩戴状态,可通过视频监控画面直接监测,提高安全帽监测的灵活性。
在一个实施例中,步骤S202可以包括:智能控制设备102从待处理图像中提取人头特征轮廓图以及安全帽特征轮廓图;将人头特征轮廓图输入至人头识别模型得到人头图像区域;将安全帽特征轮廓图,以及人头图像区域对应的人头图像输入至安全帽识别模型,获取安全帽图像区域。
其中,人头特征轮廓图用于描述采集到待处理图像中包含的建筑人员人物的头部轮廓,而安全帽特征轮廓图则是用于描述安全帽的轮廓,具体地,智能控制设备102可以从待处理图像中提取相应的人头相关特征以及安全帽相关特征,分别形成人头特征轮廓图以及安全帽特征轮廓图。
之后,智能控制设备102可以将得到的人头特征轮廓图输入预存的人头识别模型,对其进行识别,进而得到待处理图像的人头图像区域,再通过裁剪的方式,根据得到的人头图像区域对待处理图像通过图像剪辑工具进行裁剪,得到与该人头图像区域对应的人头图像,并将该人头图像以及安全帽特征轮廓图作为安全帽识别模型的输入,进而识别出待处理图像的安全帽图像区域。
进一步地,智能控制设备102还可以从待处理图像中提取人型特征轮廓图;将人型特征轮廓图输入人型识别模型,识别待处理图像中的人型图像区域;智能控制设备102将人头特征轮廓图输入至人头识别模型得到人头图像区域,可以进一步包括:智能控制设备102将人头特征轮廓图,以及人型图像区域对应的人型图像输入至人头识别模型,获取人头图像区域。
其中,人型特征轮廓图用于描述采集到待处理图像中包含的建筑人员的人物轮廓,而人型识别模型也可以预先存储于智能控制设备102中。具体地,智能控制设备102可以从待处理图像中提取相应的人型特征,形成人型特征轮廓图。
得到人型特征轮廓图后,智能控制设备102可以将人型特征轮廓图输入人型识别模型进行识别,进而得到人型图像区域,再通过图像剪辑工具根据得到的人型图像区域对待处理图像进行裁剪,从而得到与人型图像区域对应的人型图像,并将人型图像以及人头特征轮廓图输入至人头识别模型,最终得到人头图像区域。
本实施例中,通过将从待处理图像中提取出人头特征轮廓图以及安全帽特征轮廓图,并依次输入人头识别模型以及安全帽识别模型,同时人头识别模型的输出也作为安全帽识别模型输入的一部分,有利于提高图像识别的准确性,另外,通过人型识别模型的输出进一步作为人头识别模型输入的一部分,也可以进一步提高图像识别的准确性。
另外,为了避免对同一个未佩戴安全帽的建筑人员进行重复告警,在一个实施例中,基于安全帽佩戴状态的告警提示方法,还可以包括:智能控制设备102基于人头图像区域,从待处理图像中获取对应的人头图像;基于安全帽佩戴状态,从人头图像中标记未佩戴安全帽的人头图像;根据未佩戴安全帽的人头图像,确定对应的未佩戴安全帽的建筑人员信息。
具体地,智能控制设备102可以通过图像剪辑工具对待处理图像进行裁剪,进而得到与识别得到的人头图像区域对应的人头图像,并从中筛选出安全帽佩戴状态为未佩戴的人头图像,从而确定出未佩戴安全帽的建筑人员,并对此进行跟踪标记。
同时,智能控制设备102还可以从建筑现场的待处理图像中识别出未佩戴安全帽的建筑人员的位置信息,并将未佩戴安全帽的建筑人员信息以及未佩戴安全帽的建筑人员的位置信息与告警信息一并发送至建筑现场的播报设备103,以使播报设备103根据未佩戴安全帽的建筑人员信息以及未佩戴安全帽的建筑人员位置信息播报告警信息,例如,可以播报建筑人员A在地点B未佩戴安全帽的相关告警信息。
本实施例中,通过对未佩戴安全帽的建筑人员进行标记,因此可以避免智能控制设备102对同一个未佩戴安全帽的建筑人员进行重复告警,同时还通过将该建筑人员的人员信息以及位置信息与告警信息一并发送至播报设备103,可以实现播报设备103对未佩戴安全帽的建筑人员的人员以及位置进行告警。
在一个实施例中,如图3所示,基于安全帽佩戴状态的告警提示方法,还包括以下步骤:
步骤S301,智能控制设备102采集多种建筑现场的样本图像。
其中,采集的建筑现场样本图片需要包括建筑人员以及建筑人员佩戴安全帽的图像样本,例如,可以通过线上网络爬虫技术及线下现场拍摄等多种手段,采集丰富多样的建筑场景,包括工地现场的各类作业情况以及建筑现场不同拍摄距离下的大量的工地现场人员佩戴安全帽情况的图像样本,以保证样本数据的多样性。
步骤S302,智能控制设备102获取样本图像对应的安全帽佩戴状态的样本标签。
样本标签可以包括安全帽已佩戴标签、安全帽未佩戴标签、安全帽佩戴状态不确定标签和人头标签等,智能控制设备102可以通过数据清洗的方式,对采集得到的样本图片进行标注,得到与样本图片对应的样本标签。
步骤S303,智能控制设备102从样本图像中提取出样本特征数据,形成样本特征轮廓图;样本特征数据包括人头图像样本特征数据和安全帽图像样本特征数据;样本特征轮廓图包括人头样本特征轮廓图以及安全帽样本特征轮廓图。
具体地,智能控制设备102可以对采集得到的样本图片进行特征提取,得到包含建筑人员的人头图像样本特征数据和安全帽图像样本特征数据,进而形成人头样本特征轮廓图以及安全帽样本特征轮廓图。
步骤S304,智能控制设备102将样本图像以及样本特征轮廓图输入卷积神经网络,得到样本特征图;样本特征图包括人头样本特征图以及安全帽样本特征图。
其中,样本特征图可以通过将步骤S303得到的样本特征轮廓图输入卷积神经网络得到,具体地,智能控制设备102可以将人头样本特征轮廓图以及安全帽样本特征轮廓图分别输入至卷积神经网络,从而可以得到与人头样本特征轮廓图对应的人头样本特征图以及与安全帽样本特征轮廓图对应的安全帽样本特征图。
步骤S305,基于样本标签,智能控制设备102利用样本图像以及样本特征图进行模型训练,得到人头识别模型和安全帽识别模型。
智能控制设备102可以将步骤S301得到的多种建筑现场的样本图像、步骤S302得到的样本标签以及步骤S304得到的样本特征图作为深度学习模型的训练数据集,并通过该训练数据集对深度学习模型进行模型训练,从而得到人头识别模型和安全帽识别模型。
进一步地,为了进一步增加建筑现场的样本图像的数量,步骤S301之后,还可以包括:智能控制设备102从多种建筑现场的样本图像中选取至少两个样本图像;获取至少两个样本图像的RGB值,进行叠加线性混合;将叠加线性混合后的样本图像,加入多种建筑现场的样本图像。
具体地,智能控制设备102可以从采集的样本图像中随意选取若干个样本图像,并获取该若干个样本图像的RGB值,再对得到的RGB值进行叠加线性混合处理,从而将若干个样本图像进行叠加线性混合,从而得到一个新的图像,并将得到的新图像加入样本图像,作为样本图像的一部分。
例如:智能控制设备102可以从样本图像中选取图像A与图像B,并分别获取图像A的RGB值X以及图像B的RGB值Y,并利用叠加线性混合公式Z=a*X+(1-a)*Y,其中Z为图像A和图像B叠加线性混合后得到的图像C的RGB值,a∈[0,1]为随机选取的混合因子。
进一步地,步骤S304可以包括:智能控制设备102将样本图像以及样本特征轮廓图输入卷积神经网络,提取对应于卷积神经网络的不同层级的多个样本特征图;步骤S305可以包括:基于样本标签,智能控制设备102利用样本图像以及对应于卷积神经网络的不同层级的多个样本特征图进行模型训练,得到人头识别模型和安全帽识别模型。
具体地,智能控制设备102可以将样本图像以及样本特征轮廓图输入卷积神经网络,并同时提取卷积神经网络的不同层级的多个样本特征图,并对多个样本特征图同时进行训练,得到相应识别模型。
例如:智能控制设备102可以将人头样本特征轮廓图输入卷积神经网络,并同时提取该卷积神经网络下采样8倍、下采样16倍以及下采样32倍的特征,分别得到人头样本特征图A、人头样本特征图B以及人头样本特征图C,并分别基于样本标签,利用样本图像以及人头样本特征图A、人头样本特征图B以及人头样本特征图C进行模型训练,分别得到模型损失值A、模型损失值B以及模型损失值C,进而可以根据模型损失值A、模型损失值B以及模型损失值C得到最终的模型损失值D,作为该模型的模型损失值,并选取损失值最小的模型作为人头识别模型。
上述实施例中,通过采集多种建筑现场的样本图像,并基于样本图像进行模型训练,从而得到人头识别模型和安全帽识别模型,有利于提高安全帽佩戴状态识别的准确性,同时,采取对样本图像进行叠加线性混合,有利于保证样本图片数量过少的时候也可以得到大量数据集以保证训练的效果。另外,在此基础上还分别从卷积神经网络的不同层次同时采取下采样并得到多种样本特征图进行模型训练,能够进一步提高安全帽佩戴状态识别的准确性。
在一个实施例中,基于安全帽佩戴状态的告警提示方法,还包括:将待处理图像、安全帽佩戴状态以及告警信息的至少一种上传至建筑系统区块链进行存储。
作为一种全新的去中心化基础架构与分布式计算范式,区块链技术利用密码学、共识机制、分布式消息通讯协议等多种复杂的算法产生一串相关联的数据块,并在数据块中存储业务信息,从而确保业务信息的不可篡改和不可伪造。
区块链系统可以包含底层平台、平台服务层和应用服务层,其中,底层平台用于实现区块链底层数据业务,当区块链系统接收到有效的交易请求时,可以通过对业务信息进行加密,并将其传输至共享账本,进行记录存储,在引入智能合约后,通过编程语言定义合约逻辑,可以根据业务信息和合约逻辑自动触发合约执行;平台服务层提供建筑区块链应用的基础技术框架,通过对基础技术框架进行叠加,可以实现具体解决方案;应用服务层则可以面向用户需求,有针对性地提供基于区块链的解决方案。
图4示出了一个实施例中的一种建筑系统区块链的结构示意图,区块链系统可以包含多个节点(例如节点401、节点402、节点403以及节点404),多个节点之间可以通过信息传输确保存储的数据相一致。当任意节点接收到输入信息时,其他节点可以根据共识算法获取该输入信息,将其作为共享数据进行存储。区块链系统中的每个节点存在一个相应的节点标识,而且,区块链系统中的每个节点均可以存储有其他节点的节点标识,以便后续根据其他节点的节点标识,将生成的区块广播至区块链系统中的其他节点。每个节点中可维护一个如下表所示的节点标识列表,将节点名称和节点标识对应存储至该节点标识列表中。其中,节点标识可为IP(Internet Protocol,网络之间互联的协议)地址以及其他任一种能够用于标识该节点的信息。
具体地,图5示出了一个实施例中的一种建筑系统区块链的上链流程的时序图。该建筑系统区块链可以是基于Fabric架构构建的区块链系统,基于Fabric架构的区块链系统中可以至少包括安装有相应的应用或软件开发工具包的智能控制设备、信息传输节点、排序节点、信息记录节点。
其中,智能控制设备主要用于发起待处理图像、安全帽佩戴状态以及告警信息的至信息传输节点。信息存储节点主要用于接收智能控制设备的待处理图像、安全帽佩戴状态以及告警信息,并将签名后的数据回传至智能控制设备。排序节点主要用于按照指定的算法将待处理图像、安全帽佩戴状态以及告警信息进行排序,并将排序结果返回给信息记录节点。信息记录节点可以是区块链系统中的全节点,通常需要记录完整的区块信息,并验证待处理图像、安全帽佩戴状态以及告警信息的正确性,最终将待处理图像、安全帽佩戴状态以及告警信息打包至建筑系统区块链的节点。
上述的区块链系统的交易处理流程中,可以具体包括以下步骤:
步骤S501,智能控制设备向信息存储节点发送待处理图像、安全帽佩戴状态以及告警信息的至少一种。
具体地,智能控制设备通过交易请求(transaction request)发起待处理图像、安全帽佩戴状态以及告警信息,通常可以包含有clientID、chaincodeID、txPayLoad、timestamp、clientSig等信息。其中,clientID为智能控制设备的标识,chaincodeID为智能合约的标识,txPayLoad为有效载荷,timestamp为时间戳,clientSig为智能控制设备的签名。由此,确定了一次主体、时间、内容该三个要素。根据所指定chaincode中的策略,可以将该待处理图像、安全帽佩戴状态以及告警信息发送至EP1、EP2和EP3该三个信息存储节点。
需要说明的是,本实施例中以三个信息存储节点EP1、EP2和EP3为例进行说明,而在实际应用中,区块链系统可以具有三个以上的信息存储节点。
其中,智能控制设备可以通过FabricSDK对交易内容进行哈希化(hash,一种摘要算法),得到哈希化数据,然后,使用CA(Catificate Authority,电子认证服务)预先签发的密钥,通过非对称加密ECDSA(Elliptic Curve Digital Signature Algorithm,椭圆曲线数字签名算法)对哈希化数据进行加密签名,得到智能控制设备的签名<clientSig>,然后,将交易内容和签名<clientSig>打包成上述的交易请求。
需要说明的是,数据在分布式系统的节点之间传播之前,均可以在原始节点对数据进行一次摘要处理,并使用原始节点的私钥对摘要进行非对称加密,得到加密签名后,再将数据与加密签名打包成消息传输给目标节点。目标节点对所传输的数据再进行摘要处理,并使用原始节点的公钥解密签名,将解密结果与摘要进行比对,一致的情况下则可以判定消息的内容未被篡改。
原始节点传输的消息,由于其他节点没有原始节点的私钥,因此无法伪造原始节点的加密签名,如果第三方篡改数据内容,则会导致目标节点的数据摘要验证无法通过,无法执行;如果第三方篡改签名内容,则会导致目标节点解密签名异常,无法执行。因此,通过上述的加密验证过程,确保了第三方无法对区块链的传输过程实施非法篡改。
步骤S502,信息存储节点根据待处理图像、安全帽佩戴状态以及告警信息的至少一种执行模拟交易,得到背书结果。
信息存储节点EP1、EP2和EP3在接收到待处理图像、安全帽佩戴状态以及告警信息后,则会模拟执行智能合约,以模拟交易得到交易结果。具体地,背书节点EP1、EP2和EP3均会启动指定的链码,以访问本地账本以触发模拟执行交易,生成读写集(Read-Write Set),利用背书节点自身的私钥对读写集进行背书签名,最后将读写集和背书签名打包为背书结果。
步骤S503,信息存储节点返回背书结果至智能控制设备。
具体地,信息存储节点可以将背书结果及其各自的CA证书签名返回至智能控制设备,以供智能控制设备针对背书结果进行背书成功与否的校验。
步骤S504,智能控制设备收集各个信息存储节点的背书结果,并对背书结果进行校验。
具体地,智能控制设备收集信息存储节点EP1、EP2和EP3反馈的背书结果,并对背书结果进行校验,如三个背书节点的背书结果均相同(读写集的内容相同),即校验通过,则可以将背书结果转发给排序节点。
例如,信息存储节点EP1、EP2和EP3在进行背书的过程中,可以触发智能合约中的upload方法,信息存储节点EP1、EP2和EP3均会利用待处理图像、安全帽佩戴状态以及告警信息的至少一种运行upload方法,如果某个信息存储节点为了隐瞒检测结果而修改了upload方法(例如某个计算参数),该信息存储节点运行upload方法得到的读写集的数据,与其他信息存储节点的读写集的数据不同,智能控制设备则会判定背书失败,确定本次交易失败。如果背书成功,则会触发将背书结果转发给排序节点。
步骤S505,智能控制设备将背书结果转发至排序节点。
具体地,判定背书成功之后,智能控制设备则会将各个信息存储节点的背书结果发送至排序节点。
其中,区块链系统中可以包含有排序节点集群,该排序节点集群中包含有多个候选排序节点,在每次交易中,可以通过共识机制在多个候选排序节点中选举出上述的排序节点。在本实施例中,可以通过Raft共识机制进行排序节点的选举。Raft共识机制遵循“领导者和追随者”模型,选举出领导者,领导者的决策会复制给追随者。更具体地,对于区块链系统中的各个节点,均可以具有Follower、Candidate、Leader中的任意一种状态。当某个节点处于Leader状态,则称为本次交易的Leader节点,即上述的负责本次交易排序的排序节点。
步骤S506,排序节点对背书结果进行排序,并将背书结果打包成区块。
具体地,排序节点收集到各个信息存储节点EP1、EP2和EP3的背书结果后,按照接收时间对各个交易结果进行排序,以保证所有信息存储节点的交易能按序执行,并根据背书结果生成区块。
其中,可以采用如图6所示的链式结构实现底层数据存储,区块链由多个区块组成,前一个区块为后一个区块的父区块。每个区块都包括区块头和区块主体,区块主体用于存储业务信息,区块头中包含版本号、时间戳、业务信息特征值和难度值。区块头分为创始块区块头和非创始块区块头,创始块区块头存储有业务信息特征值,非创始块区块头存储有父区块的区块头特征值及其自身业务信息的特征值,上述结构可以使区块链中每个区块中存储的数据信息均与父区块中的数据信息相关联,确保信息不可篡改。
步骤S507,排序节点将区块广播至信息记录节点。
在排序节点生成区块之后,将区块广播至区块链系统中的信息记录节点。
步骤S508,信息记录节点对区块进行检查并记账。
信息记录节点可以对从排序节点获取到的批量的区块,进行最终的检查(消息结构、签名完整性、是否重复、读写集版本是否匹配等)。检查通过之后写入账本。
步骤S509,信息记录节点通知背书节点交易成功。
信息记录节点可以发送交易成功的通知消息至信息存储节点EP1、EP2和EP3。由于智能控制设备订阅了消息,排序节点也会向智能控制设备发送上链成功的通知消息。
上述实施例,通过将待处理图像、安全帽佩戴状态以及告警信息上传至建筑系统区块链,可以实现对待处理图像、安全帽佩戴状态以及告警信息的存储,以实现对建筑人员违规佩戴安全帽的影像进行上链存证,可以为后续建筑人员进行工资结算提供相关凭证。
在一个应用实例中,提供一种准确高、实用性强、适配性广、判断客观、便于预防与管控的工地安全帽智能监管及IP广播联动系统,该系统的系统结构如图7所示,该系统包括:包括视频监控系统、IP广播系统、智能控制系统、客户端,视频获取系统是分布于工地现场各处的摄像机群,IP广播系统是设置于工地各角落的由音箱或喇叭群组成的广播系统,智能控制系统与视频监控系统及IP广播系统通过网络连接,客户端与智能控制系统通过网络连接。
视频监控系统用于采集工地各处的员工作业时的图片或视频,同时采集的监控图片数据或视频数据通过网络被智能控制系统所获取;IP广播系统用于接收智能控制系统的控制指令,并根据控制指令控制工地某处的音箱或喇叭播报指定的内容;智能控制系统用于读取视频监控系统的监控图片数据和/或视频数据,并通过图像识别算法跟踪识别相应结果,根据识别结果进行综合分析并生成控制指令,然后通过网络向IP广播系统下达播报控制指令;客户端用于对智能控制系统的识别数据进行信息展示,将智能控制系统的各类数据展现给监管人员查看、管理及执法。
进一步地,IP广播系统包括通信模块A、解析定位模块、播报模块,通信模块A用于接收智能控制系统的控制指令并将控制指令传送给解析定位模块,解析定位模块用于解析控制指令和定位具体的音箱或喇叭并将解析内容传递给播报模块,播报模块用于根据解析内容控制已定位的音箱或喇叭自动播报指定内容。
进一步地,智能控制系统包括通信模块B、图像读取模块、智能图像识别模块、安全帽告警模块、存储模块,通信模块B与通信模块A、客户端通过网络连接;图像读取模块模块用于将通信模块B接收到的监控图片数据或视频数据处理成图像并传递给智能图像识别模块;智能图像识别模块接受并识别图像,将识别结果发送给安全帽告警模块;安全帽告警模块根据识别结果自动生成控制指令并通过通信模块B发送给IP广播系统,然后将识别数据发送给客户端进行展示,并将相应的识别数据及生成的控制指令、监控图片数据或视频数据储存于存储模块。
进一步地,图像读取模块包括图像流分发单元和图像读取单元;图像流分发单元用于通过rtsp、HLS等网络视频流媒体协议,基于多任务处理技术,同时读取多路指定的图像流;图像读取单元用于接受图像流分发单元传输过来的图像流,按照最低0.1秒每帧的形式截取图像,使用h264、h265、mpeg4等视频解码技术获得每一帧图像,然后传递给智能图像识别模块。
进一步地,智能图像识别模块包括图像处理单元、人型检测单元、人头检测单元、安全帽识别单元、人员跟踪单元;图像处理单元用于将接收到的图像数据进行处理,将相应的目标特征从背景中提取出来,并形成相应的特征轮廓图,如人型、人头及安全帽的特征轮廓图;人型检测单元用于将智能图像识别模块收到的图像传入图像处理单元,并接收图像处理单元传回的人型特征轮廓图,然后将人型特征轮廓图送入人型检测模型进行运算得到人型检测结果,将人型检测结果发送给人头检测单元和人员跟踪单元;人头检测单元根据人型检测结果裁剪人型图像,然后将人型图像传入图像处理单元,并接收图像处理单元传回的人头特征轮廓图,接着将人头特征轮廓图送入人头检测模型进行运算得到人头检测结果,最后将人头检测结果发送给安全帽识别单元和人员跟踪单元;安全帽识别单元根据人头检测结果裁剪人头图像,然后将人头图像传入图像处理单元,并接收图像处理单元传回的安全帽特征轮廓图,接着将安全帽特征轮廓图送入安全帽识别模型进行运算得到安全帽识别结果,最后将安全帽识别结果发送给人员跟踪单元;人员跟踪单元保存并记录收到的人型检测结果、人头检测结果及安全帽识别结果,然后运用跟踪算法,将上述结果进行综合分析及跟踪标记,避免同一个未带安全帽人员重复上报,最终将处理后的结果传递给安全帽告警模块。
进一步地,智能控制系统的通信模块Ⅲ、图像读取模块、智能图像识别模块、安全帽告警模块及存储模块设置于前端设备或远端的云平台,前端设备或云平台分别至少与一个通信模块Ⅱ、客户端通过网络连接。
另外,还提供了一种基于工地安全帽智能监管及IP广播联动系统的工地安全帽智能监管及IP广播联动方法,包括数据采集、数据传输、图像识别、智能提醒、监管管理步骤,具体包括:
A、数据采集:通过视频监控系统庞大的摄像机群,能够精准及时的获取遍布工地各处的人员作业图片或视频数据;
B、数据传输:将采集到的图片或视频数据通过网络传输到智能控制系统进行处理;
C、图像识别:提前训练深度学习识别模型,然后由智能控制系统将图像送入识别模型进行分步骤运算和识别;
D、智能提醒:根据安全帽的识别结果,分析出人员信息,同时综合时间、区域等预设的告警条件,判断是否告警并自动生成告警数据,然后通过网络发送给IP广播系统控制喇叭或音响,进行语音播报;
E、监管管理:接收图像识别步骤的识别结果、智能提醒步骤生成的告警数据及数据传输步骤的监控图片数据或视频数据并进行处理,然后将各类信息汇集到客户端,以供客户进行高效监管。
进一步地,图像识别步骤中提前训练深度学习识别模型,如图8所示,具体包括下述分步骤:
(1)数据收集:运用线上网络爬虫技术及线下现场拍摄等多种手段,收集大量的工地现场人员佩戴安全帽情况的图像样本,其作业场景需丰富多样,应包含工地现场的各类作业情况,以及包括现场的由近到远的图像;
(2)数据标注:将收集到的数据集人工进行数据清洗,并逐个对图像样本进行人型、人头及安全帽佩戴、不佩戴和不确定的人工标注,得到深度学习模型的训练样本;
(3)图像预处理:将训练样本进行等比例缩放、或调节图像白平衡、亮度、对比度以及折叠变形等图像增强操作,以便使训练样本更加丰富,模型更加稳定;
(4)特征提取:将预处理之后的图片进行三值归一化,输入到深度学习特征网络中,得到包含人员信息和安全帽信息的局部特征数据,形成特征轮廓图;
(5)模型训练:使用tensorflow等深度学习框架,分别将局部特征数据送入训练深度学习模型,持续迭代得到准确的深度学习识别模型,分别得到人型检测模型、人头检测模型、安全帽识别模型。
进一步地,图像识别步骤中将图像送入识别模型进行分步骤运算和识别,如图9所示,具体包括下述分步骤:
(1)预处理:将输入图像进行指定比例的保真压缩变换,并提取图像的像素色相值,然后将色相值乘以特征矩阵进行多次卷积运算,提取图像的局部特征数据,形成特征轮廓图;
(2)模型运算:将图像局部特征数据送入深度学习识别模型进行神经网络的高密度运算,得出相应的检测/识别结果;
(3)判定结果:反复进行步骤(1)和步骤(2),依次将人型特征数据、人头特征数据和安全帽特征数据送入对应的人型检测模型、人头检测模型及安全帽识别模型,进行人型、人头和安全帽的特征分析、鉴别、定位,各得出相应的检测/识别结果,并从中筛选出未戴安全帽人员的位置和数量;
(4)人员跟踪:基于多帧图像的识别出的未戴安全帽人员的位置和数量结果,并根据人员相关定位和前后帧相对位移等信息,运用跟踪算法分析前后帧图片的人员是否同一个人,以便统计人员数量、避免重复告警。
应该理解的是,虽然本申请的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图10所示,提供了一种基于安全帽佩戴状态的告警提示装置,包括:建筑图像获取模块1001、图像区域识别模块1002、佩戴状态获取模块1003和告警信息发送模块1004,其中:
建筑图像获取模块1001,用于获取设于建筑现场的图像采集设备采集的建筑现场的待处理图像;
图像区域识别模块1002,用于基于预先构建的人头识别模型和安全帽识别模型,识别待处理图像中的人头图像区域和安全帽图像区域;
佩戴状态获取模块1003,用于基于人头图像区域和安全帽图像区域的位置关系,获取安全帽佩戴状态;
告警信息发送模块1004,用于若安全帽佩戴状态为未佩戴,则将告警信息发送至设于建筑现场的播报设备,以使播报设备播报告警信息。
在一个实施例中,图像区域识别模块1002,进一步用于从待处理图像中提取人头特征轮廓图以及安全帽特征轮廓图;将人头特征轮廓图输入至人头识别模型得到人头图像区域;将安全帽特征轮廓图,以及人头图像区域对应的人头图像输入至安全帽识别模型,获取安全帽图像区域。
在一个实施例中,图像区域识别模块1002,进一步用于从待处理图像中提取人型特征轮廓图;将人型特征轮廓图输入人型识别模型,识别待处理图像中的人型图像区域;将人头特征轮廓图,以及人型图像区域对应的人型图像输入至人头识别模型,获取人头图像区域。
在一个实施例中,告警信息发送模块1004,进一步用于基于人头图像区域,从待处理图像中获取对应的人头图像;基于安全帽佩戴状态,从人头图像中标记未佩戴安全帽的人头图像;根据未佩戴安全帽的人头图像,确定对应的未佩戴安全帽的建筑人员信息;根据待处理图像确定对应的未佩戴安全帽的建筑人员位置信息;将未佩戴安全帽的建筑人员信息、未佩戴安全帽的建筑人员位置信息以及告警信息发送至所述建筑现场的播报设备,以使播报设备根据未佩戴安全帽的建筑人员信息以及未佩戴安全帽的建筑人员位置信息播报告警信息。
在一个实施例中,基于安全帽佩戴状态的告警提示装置,还包括:识别模型训练模块,用于采集多种建筑现场的样本图像;获取样本图像对应的安全帽佩戴状态的样本标签;从样本图像中提取出样本特征数据,形成样本特征轮廓图;样本特征数据包括人头图像样本特征数据和安全帽图像样本特征数据;样本特征轮廓图包括人头样本特征轮廓图以及安全帽样本特征轮廓图;将样本图像以及样本特征轮廓图输入卷积神经网络,得到样本特征图;样本特征图包括人头样本特征图以及安全帽样本特征图;基于样本标签,利用样本图像以及所述样本特征图进行模型训练,得到人头识别模型和安全帽识别模型。
在一个实施例中,识别模型训练模块,进一步用于:从多种建筑现场的样本图像中选取至少两个样本图像;获取至少两个样本图像的RGB值,进行叠加线性混合;将叠加线性混合后的样本图像,加入多种建筑现场的样本图像。
在一个实施例中,识别模型训练模块,进一步用于:将样本图像以及样本特征轮廓图输入卷积神经网络,提取对应于卷积神经网络的不同层级的多个样本特征图;基于样本标签,利用样本图像以及对应于所述卷积神经网络的不同层级的多个样本特征图进行模型训练,得到人头识别模型和安全帽识别模型。
在一个实施例中,基于安全帽佩戴状态的告警提示装置,还包括:建筑区块链上传模块,用于将待处理图像、安全帽佩戴状态以及告警信息的至少一种上传至建筑系统区块链进行存储。
关于基于安全帽佩戴状态的告警提示装置的具体限定可以参见上文中对于基于安全帽佩戴状态的告警提示方法的限定,在此不再赘述。上述基于安全帽佩戴状态的告警提示装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,还提供了一种基于安全帽智能监测的联动告警系统,如图11所示,包括:智能控制设备1102,以及设于建筑现场的视频图像采集设备1101和播报设备1103;其中,
视频图像采集设备1101,用于采集建筑现场的待处理图像,传输至智能控制设备1102;
智能控制设备1102,用于获取视频图像采集设备901发送的待处理图像,基于预先构建的人头识别模型和安全帽识别模型,识别待处理图像中的人头图像区域和安全帽图像区域,基于人头图像区域和安全帽图像区域的位置关系,获取安全帽佩戴状态;若安全帽佩戴状态为未佩戴,则将告警信息发送至播报设备1103;
播报设备1103,用于在建筑现场,将智能控制设备1102发送的告警信息进行播报。
本实施例中,通过视频图像采集设备1101将建筑现场图片发送至智能控制设备1102,智能控制设备1102可根据现场图片识别出未佩戴安全帽的建筑人员,并生成告警信息发送至播报设备1103,播报设备1103可将告警信息进行播报,可直接利用现有视频监控系统的广大摄像机群,其实用性强、适配性广,并且实现实时提醒功能,极大的保障了工地安全性。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是智能控制设备,其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种基于安全帽佩戴状态的告警提示方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图12中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于安全帽佩戴状态的告警提示方法,其特征在于,所述方法包括:
获取设于建筑现场的图像采集设备采集的所述建筑现场的待处理图像;
基于预先构建的人头识别模型和安全帽识别模型,识别所述待处理图像中的人头图像区域和安全帽图像区域;包括:从所述待处理图像中提取人头特征轮廓图以及人型特征轮廓图;将所述人型特征轮廓图输入人型识别模型,识别所述待处理图像中的人型图像区域;将所述人头特征轮廓图,以及所述人型图像区域对应的人型图像输入至所述人头识别模型,获取所述人头图像区域;包括:根据所述人型图像区域对待处理图像进行裁剪,得到所述人型图像;将所述人型图像输入至所述人头识别模型,获取所述人头图像区域;其中,所述人型特征轮廓图用于描述所述待处理图像中包含的建筑人员的人物轮廓;
基于所述人头图像区域和安全帽图像区域的位置关系,获取安全帽佩戴状态;
若所述安全帽佩戴状态为未佩戴,则将告警信息发送至设于所述建筑现场的播报设备,以使所述播报设备播报所述告警信息;
所述方法还包括:
采集多种建筑现场的样本图像;从所述多种建筑现场的样本图像中选取至少两个样本图像;获取所述至少两个样本图像的RGB值,进行叠加线性混合;将叠加线性混合后的样本图像,加入所述多种建筑现场的样本图像;所述获取所述至少两个样本图像的RGB值,进行叠加线性混合可以包括:通过叠加线性混合公式Z=a*X+(1-a)*Y确定所述叠加线性混合后的样本图像的RGB值,其中Z为所述叠加线性混合后的样本图像的RGB值,X为所述至少两个样本图像中第一样本图像的RGB值,Y为所述至少两个样本图像中第二样本图像的RGB值,a∈[0,1]为预先选取的混合因子;
获取所述样本图像对应的安全帽佩戴状态的样本标签;
从所述样本图像中提取出样本特征数据,形成样本特征轮廓图;所述样本特征数据包括人头图像样本特征数据和安全帽图像样本特征数据;所述样本特征轮廓图包括人头样本特征轮廓图以及安全帽样本特征轮廓图;
将所述样本图像以及所述样本特征轮廓图输入卷积神经网络,得到样本特征图;所述样本特征图包括人头样本特征图以及安全帽样本特征图;
基于所述样本标签,利用所述样本图像以及所述样本特征图进行模型训练,得到所述人头识别模型和安全帽识别模型。
2.根据权利要求1所述的方法,其特征在于,所述基于预先构建的人头识别模型和安全帽识别模型,识别所述待处理图像中的人头图像区域和安全帽图像区域,包括:
从所述待处理图像中提取安全帽特征轮廓图;
将所述安全帽特征轮廓图,以及所述人头图像区域对应的人头图像输入至所述安全帽识别模型,获取所述安全帽图像区域。
3.根据权利要求1所述的方法,其特征在于,还包括:
基于所述人头图像区域,从所述待处理图像中获取对应的人头图像;
基于所述安全帽佩戴状态,从所述人头图像中标记未佩戴安全帽的人头图像;
根据所述未佩戴安全帽的人头图像,确定对应的未佩戴安全帽的建筑人员信息;
根据所述待处理图像确定对应的未佩戴安全帽的建筑人员位置信息;
所述将告警信息发送至设于所述建筑现场的播报设备,以使所述播报设备播报所述告警信息,包括:
将所述未佩戴安全帽的建筑人员信息、所述未佩戴安全帽的建筑人员位置信息以及所述告警信息发送至所述建筑现场的播报设备,以使所述播报设备根据所述未佩戴安全帽的建筑人员信息以及所述未佩戴安全帽的建筑人员位置信息播报所述告警信息。
4.根据权利要求1所述的方法,其特征在于,所述将所述样本图像以及所述样本特征轮廓图输入卷积神经网络,得到样本特征图,包括:
将所述样本图像以及所述样本特征轮廓图输入所述卷积神经网络,提取对应于所述卷积神经网络的不同层级的多个样本特征图;
所述基于所述样本标签,利用所述样本图像以及所述样本特征图进行模型训练,得到所述人头识别模型和安全帽识别模型,包括:
基于所述样本标签,利用所述样本图像以及所述对应于所述卷积神经网络的不同层级的多个样本特征图进行模型训练,得到所述人头识别模型和安全帽识别模型。
5.根据权利要求1所述的方法,其特征在于,还包括:
将所述待处理图像、安全帽佩戴状态以及告警信息的至少一种上传至建筑系统区块链进行存储。
6.一种基于安全帽智能监测的联动告警系统,其特征在于,包括:智能控制设备,以及设于建筑现场的视频图像采集设备和播报设备;其中,
所述视频图像采集设备,用于采集所述建筑现场的待处理图像,传输至所述智能控制设备;
所述智能控制设备,用于获取所述视频图像采集设备发送的所述待处理图像,基于预先构建的人头识别模型和安全帽识别模型,识别所述待处理图像中的人头图像区域和安全帽图像区域,基于所述人头图像区域和安全帽图像区域的位置关系,获取安全帽佩戴状态;若所述安全帽佩戴状态为未佩戴,则将告警信息发送至所述播报设备;进一步用于从所述待处理图像中提取人头特征轮廓图以及人型特征轮廓图;将所述人型特征轮廓图输入人型识别模型,识别所述待处理图像中的人型图像区域;将所述人头特征轮廓图,以及所述人型图像区域对应的人型图像输入至所述人头识别模型,获取所述人头图像区域;进一步用于根据所述人型图像区域对待处理图像进行裁剪,得到所述人型图像;将所述人型图像输入至所述人头识别模型,获取所述人头图像区域;其中,所述人型特征轮廓图用于描述所述待处理图像中包含的建筑人员的人物轮廓;
所述智能控制设备,还用于采集多种建筑现场的样本图像;从所述多种建筑现场的样本图像中选取至少两个样本图像;获取所述至少两个样本图像的RGB值,进行叠加线性混合;将叠加线性混合后的样本图像,加入所述多种建筑现场的样本图像;进一步用于通过叠加线性混合公式Z=a*X+(1-a)*Y确定所述叠加线性混合后的样本图像的RGB值,其中Z为所述叠加线性混合后的样本图像的RGB值,X为所述至少两个样本图像中第一样本图像的RGB值,Y为所述至少两个样本图像中第二样本图像的RGB值,a∈[0,1]为预先选取的混合因子;
所述智能控制设备,还用于获取所述样本图像对应的安全帽佩戴状态的样本标签;从所述样本图像中提取出样本特征数据,形成样本特征轮廓图;所述样本特征数据包括人头图像样本特征数据和安全帽图像样本特征数据;所述样本特征轮廓图包括人头样本特征轮廓图以及安全帽样本特征轮廓图;将所述样本图像以及所述样本特征轮廓图输入卷积神经网络,得到样本特征图;所述样本特征图包括人头样本特征图以及安全帽样本特征图;基于所述样本标签,利用所述样本图像以及所述样本特征图进行模型训练,得到所述人头识别模型和安全帽识别模型;
所述播报设备,用于在所述建筑现场,将所述智能控制设备发送的所述告警信息进行播报。
7.一种基于安全帽佩戴状态的告警提示装置,其特征在于,包括:
建筑图像获取模块,用于获取设于建筑现场的图像采集设备采集的所述建筑现场的待处理图像;
图像区域识别模块,用于基于预先构建的人头识别模型和安全帽识别模型,识别所述待处理图像中的人头图像区域和安全帽图像区域;从所述待处理图像中提取人头特征轮廓图以及人型特征轮廓图;将所述人型特征轮廓图输入人型识别模型,识别所述待处理图像中的人型图像区域;将所述人头特征轮廓图,以及所述人型图像区域对应的人型图像输入至所述人头识别模型,获取所述人头图像区域;进一步用于根据所述人型图像区域对待处理图像进行裁剪,得到所述人型图像;将所述人型图像输入至所述人头识别模型,获取所述人头图像区域;其中,所述人型特征轮廓图用于描述所述待处理图像中包含的建筑人员的人物轮廓;
佩戴状态获取模块,用于基于所述人头图像区域和安全帽图像区域的位置关系,获取安全帽佩戴状态;
告警信息发送模块,用于若所述安全帽佩戴状态为未佩戴,则将告警信息发送至设于所述建筑现场的播报设备,以使所述播报设备播报所述告警信息;
所述装置还包括:识别模型训练模块,用于采集多种建筑现场的样本图像;获取所述样本图像对应的安全帽佩戴状态的样本标签;从所述样本图像中提取出样本特征数据,形成样本特征轮廓图;所述样本特征数据包括人头图像样本特征数据和安全帽图像样本特征数据;所述样本特征轮廓图包括人头样本特征轮廓图以及安全帽样本特征轮廓图;将所述样本图像以及所述样本特征轮廓图输入卷积神经网络,得到样本特征图;所述样本特征图包括人头样本特征图以及安全帽样本特征图;基于所述样本标签,利用所述样本图像以及所述样本特征图进行模型训练,得到所述人头识别模型和安全帽识别模型;
所述识别模型训练模块,还用于从所述多种建筑现场的样本图像中选取至少两个样本图像;获取所述至少两个样本图像的RGB值,进行叠加线性混合;将叠加线性混合后的样本图像,加入所述多种建筑现场的样本图像;以及进一步用于通过叠加线性混合公式Z=a*X+(1-a)*Y确定所述叠加线性混合后的样本图像的RGB值,其中Z为所述叠加线性混合后的样本图像的RGB值,X为所述至少两个样本图像中第一样本图像的RGB值,Y为所述至少两个样本图像中第二样本图像的RGB值,a∈[0,1]为预先选取的混合因子。
8.根据权利要求7所述的装置,其特征在于,所述图像区域识别模块,进一步用于从所述待处理图像中提取安全帽特征轮廓图;将所述安全帽特征轮廓图,以及所述人头图像区域对应的人头图像输入至所述安全帽识别模型,获取所述安全帽图像区域。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010221347.4A CN111414873B (zh) | 2020-03-26 | 2020-03-26 | 基于安全帽佩戴状态的告警提示方法、装置和告警系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010221347.4A CN111414873B (zh) | 2020-03-26 | 2020-03-26 | 基于安全帽佩戴状态的告警提示方法、装置和告警系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111414873A CN111414873A (zh) | 2020-07-14 |
CN111414873B true CN111414873B (zh) | 2021-04-30 |
Family
ID=71493233
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010221347.4A Active CN111414873B (zh) | 2020-03-26 | 2020-03-26 | 基于安全帽佩戴状态的告警提示方法、装置和告警系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111414873B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111695549A (zh) * | 2020-08-04 | 2020-09-22 | 图为信息科技(深圳)有限公司 | 一种基于边缘计算的安全帽佩戴检测识别方法及报警系统 |
CN112101212A (zh) * | 2020-09-15 | 2020-12-18 | 山东鲁能软件技术有限公司 | 一种电力安全管控复杂场景下人员位置判断方法 |
CN112347916B (zh) * | 2020-11-05 | 2023-11-17 | 安徽继远软件有限公司 | 基于视频图像分析的电力现场作业安全监控方法及装置 |
CN112487963A (zh) * | 2020-11-27 | 2021-03-12 | 新疆爱华盈通信息技术有限公司 | 安全帽的佩戴检测方法及系统 |
CN112804494A (zh) * | 2021-01-13 | 2021-05-14 | 广州穗能通能源科技有限责任公司 | 电力施工现场监控方法、系统和存储介质 |
CN112861751B (zh) * | 2021-02-22 | 2024-01-12 | 中国中元国际工程有限公司 | 一种机场行李房人员管理方法及装置 |
CN113179386B (zh) * | 2021-03-19 | 2023-04-25 | 江西铜业股份有限公司 | 一种矿区安全智能监控广播系统及其智能广播方法 |
CN112949598B (zh) * | 2021-04-07 | 2022-02-11 | 吴洲 | 一种公路建筑施工安全智能识别系统 |
CN113469043A (zh) * | 2021-06-30 | 2021-10-01 | 南方科技大学 | 安全帽佩戴状态检测方法、装置、计算机设备和存储介质 |
CN114465849A (zh) * | 2021-12-07 | 2022-05-10 | 华信咨询设计研究院有限公司 | 基于ai图像识别和流媒体技术的粮库安全监管云网关 |
CN115100595A (zh) * | 2022-06-27 | 2022-09-23 | 深圳市神州云海智能科技有限公司 | 一种安全隐患检测方法、系统、计算机设备和存储介质 |
CN117893229B (zh) * | 2024-03-18 | 2024-05-14 | 吉林交通职业技术学院 | 基于区块链的自动化肉牛全环节溯源方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101515374A (zh) * | 2008-02-20 | 2009-08-26 | 中国科学院自动化研究所 | 基于图像的个性化真实感虚拟人物造型方法 |
CN102306088A (zh) * | 2011-06-23 | 2012-01-04 | 北京北方卓立科技有限公司 | 一种实体投影虚实配准装置及方法 |
CN104063722A (zh) * | 2014-07-15 | 2014-09-24 | 国家电网公司 | 一种融合hog人体目标检测和svm分类器的安全帽识别方法 |
CN104504369A (zh) * | 2014-12-12 | 2015-04-08 | 无锡北邮感知技术产业研究院有限公司 | 一种安全帽佩戴情况检测方法 |
CN106372662A (zh) * | 2016-08-30 | 2017-02-01 | 腾讯科技(深圳)有限公司 | 安全帽佩戴的检测方法和装置、摄像头、服务器 |
CN106548131A (zh) * | 2016-10-14 | 2017-03-29 | 南京邮电大学 | 一种基于行人检测的施工人员安全帽实时检测方法 |
CN108319934A (zh) * | 2018-03-20 | 2018-07-24 | 武汉倍特威视系统有限公司 | 基于视频流数据的安全帽佩戴情况检测方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7595815B2 (en) * | 2007-05-08 | 2009-09-29 | Kd Secure, Llc | Apparatus, methods, and systems for intelligent security and safety |
CN101521805A (zh) * | 2009-02-27 | 2009-09-02 | 镇江石鼓文智能化系统开发有限公司 | 建筑工地安全帽现场检测系统及方法 |
KR101033871B1 (ko) * | 2009-12-16 | 2011-05-11 | 아시아나아이디티 주식회사 | 건설공사 현장의 안전모 시건장치 |
CN106295551B (zh) * | 2016-08-05 | 2019-10-18 | 南京理工大学 | 一种基于视频分析的人员安全帽佩戴情况实时检测方法 |
CN106503716A (zh) * | 2016-09-13 | 2017-03-15 | 中国电力科学研究院 | 一种基于颜色和轮廓特征提取的安全帽识别方法和系统 |
CN107103617A (zh) * | 2017-03-27 | 2017-08-29 | 国机智能科技有限公司 | 基于光流法的安全帽佩戴状态识别方法及系统 |
US10565439B2 (en) * | 2017-10-10 | 2020-02-18 | Caterpillar Inc. | Method and system for tracking workers at worksites |
CN110119656A (zh) * | 2018-02-07 | 2019-08-13 | 中国石油化工股份有限公司 | 作业现场违章人员的智能监控系统及现场违章监控方法 |
CN108460358A (zh) * | 2018-03-20 | 2018-08-28 | 武汉倍特威视系统有限公司 | 基于视频流数据的安全帽识别方法 |
-
2020
- 2020-03-26 CN CN202010221347.4A patent/CN111414873B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101515374A (zh) * | 2008-02-20 | 2009-08-26 | 中国科学院自动化研究所 | 基于图像的个性化真实感虚拟人物造型方法 |
CN102306088A (zh) * | 2011-06-23 | 2012-01-04 | 北京北方卓立科技有限公司 | 一种实体投影虚实配准装置及方法 |
CN104063722A (zh) * | 2014-07-15 | 2014-09-24 | 国家电网公司 | 一种融合hog人体目标检测和svm分类器的安全帽识别方法 |
CN104504369A (zh) * | 2014-12-12 | 2015-04-08 | 无锡北邮感知技术产业研究院有限公司 | 一种安全帽佩戴情况检测方法 |
CN106372662A (zh) * | 2016-08-30 | 2017-02-01 | 腾讯科技(深圳)有限公司 | 安全帽佩戴的检测方法和装置、摄像头、服务器 |
CN106548131A (zh) * | 2016-10-14 | 2017-03-29 | 南京邮电大学 | 一种基于行人检测的施工人员安全帽实时检测方法 |
CN108319934A (zh) * | 2018-03-20 | 2018-07-24 | 武汉倍特威视系统有限公司 | 基于视频流数据的安全帽佩戴情况检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111414873A (zh) | 2020-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111414873B (zh) | 基于安全帽佩戴状态的告警提示方法、装置和告警系统 | |
US9740940B2 (en) | Event triggered location based participatory surveillance | |
US11568723B2 (en) | Video surveillance and object recognition | |
WO2020024447A1 (zh) | 交通事故的处理方法、装置及计算机可读存储介质 | |
JP2022095617A (ja) | 映像処理システム、映像処理方法及び映像処理プログラム | |
WO2019050508A1 (en) | EMOTION DETECTION ACTIVATED VIDEO CUSHIONING | |
CN109783338A (zh) | 基于业务信息的录制处理方法、装置和计算机设备 | |
CN112969049B (zh) | 一种船舶违章行为智能侦测系统 | |
CN109741482B (zh) | 一种信息共享方法及装置 | |
US11037604B2 (en) | Method for video investigation | |
US10030986B2 (en) | Incident response analytic maps | |
CN112422909B (zh) | 一种基于人工智能的视频行为分析管理系统 | |
CN114282882B (zh) | 素材工单审核方法、装置、设备及存储介质 | |
CN115019462A (zh) | 视频处理方法、装置、存储介质及设备 | |
CN113507588A (zh) | 一种基于人工智能的智慧校园人流量监测系统 | |
TW202303399A (zh) | 設備聯動方法、設備和電腦可讀儲存媒體 | |
CN115761614A (zh) | 基于多视角深度学习算法的异常行为目标检测系统 | |
CN114553684B (zh) | 网点运维方法、装置、计算机设备、存储介质 | |
Jayamohan et al. | Review of video analytics method for video surveillance | |
CN117636607B (zh) | 一种基于人工智能的校园安全监控与预警系统 | |
WO2024124970A1 (zh) | 一种用于复杂环境行为识别的监控装置及监控方法 | |
CN112822219A (zh) | 多媒体数据的验证方法、装置、系统及存储介质 | |
CN116562810A (zh) | 生产信息捕获的教学资源转化方法、系统、设备和介质 | |
CN118075427A (zh) | 一种智能化监控管理方法及系统 | |
CN116432211A (zh) | 一种考勤统计方法、装置、考勤机、服务器及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |