CN116563776A - 基于人工智能的违章行为告警方法、系统、介质及设备 - Google Patents

基于人工智能的违章行为告警方法、系统、介质及设备 Download PDF

Info

Publication number
CN116563776A
CN116563776A CN202310215590.9A CN202310215590A CN116563776A CN 116563776 A CN116563776 A CN 116563776A CN 202310215590 A CN202310215590 A CN 202310215590A CN 116563776 A CN116563776 A CN 116563776A
Authority
CN
China
Prior art keywords
target
image
behavior
violation
constructor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310215590.9A
Other languages
English (en)
Inventor
谢一德
贾博
李斌
张波
何林洋
王敏
刘思尧
张立中
吴双
吴旻荣
苏婷
崔健
夏琨
徐悦
刘家旭
郭安乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information and Telecommunication Branch of State Grid Ningxia Electric Power Co Ltd
Original Assignee
Information and Telecommunication Branch of State Grid Ningxia Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information and Telecommunication Branch of State Grid Ningxia Electric Power Co Ltd filed Critical Information and Telecommunication Branch of State Grid Ningxia Electric Power Co Ltd
Priority to CN202310215590.9A priority Critical patent/CN116563776A/zh
Publication of CN116563776A publication Critical patent/CN116563776A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种基于人工智能的违章行为告警方法、系统、介质及设备,方法包括:获取待识别图像,包含施工现场及施工人员;对待识别图像进行背景环境识别,确定出施工现场的危险区域;对待识别图像进行处理,得到包含目标施工人员的目标图像,将目标图像输入至预设的行为识别模型中,获取行为识别模型识别后输出的目标施工人员的行为类别;基于危险区域和目标施工人员的行为类别,确定出实施违章行为的违章人员,生成违章行为提示信息进行违章提示。这样的方式能够考虑到施工现场的复杂环境,从中确定出危险区域,对危险区域内的施工人员进行行为类别监测,从而能够适用于施工现场复杂的环境,实现对施工人员的有效监管。

Description

基于人工智能的违章行为告警方法、系统、介质及设备
技术领域
本申请涉及人工智能识别技术领域,具体而言,涉及一种基于人工智能的违章行为告警方法、系统、介质及设备。
背景技术
作业施工现场的安全问题一直备受关注,安全作业是现场施工顺利进行的前提,而安全监管是安全作业的保障。为了实现对现场作业人员违章行为的有效监管,现有的监管方式一般采用人工监管、人机结合监管(人工+智能化监管)或者智能化监管的方式。
但现有的监管方式中,对于现场施工人员的行为监测不够准确,导致监测精度较低,且对于施工人员的行为监测缺乏有效的定义,难以适用于施工现场复杂的环境,导致纯粹的智能化监管有效性不高,难以适用在复杂的施工现场监管场景中。
发明内容
本申请实施例的目的在于提供一种基于人工智能的违章行为告警方法、系统、介质及设备,以适用于施工现场复杂的环境,实现对施工人员的有效监管。
为了实现上述目的,本申请的实施例通过如下方式实现:
第一方面,本申请实施例提供一种基于人工智能的违章行为告警方法,包括:获取待识别图像,其中,待识别图像中包含施工现场及施工人员;对所述待识别图像进行背景环境识别,确定出所述施工现场的危险区域;判断所述待识别图像中是否存在位于所述危险区域内的目标施工人员;若存在,对所述待识别图像进行处理,得到包含目标施工人员的目标图像,将所述目标图像输入至预设的行为识别模型中,获取所述行为识别模型识别后输出的所述目标施工人员的行为类别;基于所述危险区域和所述目标施工人员的行为类别,确定出是否存在实施违章行为的违章人员,并在存在违章人员时生成违章行为提示信息进行违章提示。
在本申请实施例中,利用待识别图像进行背景环境识别,确定出施工现场的危险区域,判断待识别图像中是否存在位于危险区域内的目标施工人员,对待识别图像进行处理得到包含目标施工人员的目标图像,将目标图像输入至预设的行为识别模型中,利用行为识别模型识别目标施工人员的行为类别,从而结合危险区域和目标施工人员的行为类别,判断目标施工人员是否违章。这样的方式能够考虑到施工现场的复杂环境,从中确定出危险区域,对危险区域内的施工人员进行行为类别监测,从而能够适用于施工现场复杂的环境,实现对施工人员的有效监管。
结合第一方面,在第一方面的第一种可能的实现方式中,对所述待识别图像进行背景环境识别,确定出所述施工现场的危险区域,包括:对所述待识别图像进行图像分割,识别出所述待识别图像中的临边环境,其中,临边环境包括洞口边缘、屋面周边、井口边缘、基坑边缘、卸料平台边缘、高层窗户边缘;基于每个所述临边环境,确定出相应的危险区域。
在该实现方式中,对待识别图像进行图像分割,识别出待识别图像中的临边环境(例如洞口边缘、屋面周边、井口边缘、基坑边缘、卸料平台边缘、高层窗户边缘等);然后基于每个临边环境,确定出相应的危险区域(以临边环境划定一个危险区域的范围)。这样的方式可以考虑到施工现场复杂的施工环境,识别除不同类型的临边环境,进一步划定危险区域,由于不同的施工环境,危险行为的类型有所不同,这样能够考虑到不同的施工环境中不同的行为,便于提升违章行为识别的有效性。
结合第一方面,在第一方面的第二种可能的实现方式中,所述行为识别模型包括关节序列捕捉模块和行为类别分类模块,将所述目标图像输入至预设的行为识别模型中,获取所述行为识别模型识别后输出的所述目标施工人员的行为类别,包括:将所述目标图像输入至所述关节序列捕捉模块,通过所述关节序列捕捉模块计算所述目标图像对应的目标关节序列;将所述目标关节序列输入至所述行为类别分类模块,通过所述行为类别分类模块对所述目标关节序列进行分类识别,确定出所述目标施工人员的行为类别后输出。
结合第一方面的第二种可能的实现方式,在第一方面的第三种可能的实现方式中,所述关节序列捕捉模块计算所述目标图像对应的目标关节序列的方式为:利用以下公式计算所述目标图像对应的目标关节序列:
其中,fout为所述关节序列捕捉模块的输出,kv为空间维度的内核大小,此处kv取值为3,Wk为权重张量,fin为所述目标图像对应的输入参数,是一个C×T×N维的张量,N代表节点的数量,C代表通道数,T代表时间长度,Xk为N×N阶邻接矩阵,表征人体关节的物理结构特征,Yk也为N×N阶邻接矩阵,用于自主学习不同层的特征,Zk为数据依赖图,用于确定不同关节点之间的联系紧密程度,α∈(0,1)为Zk的权重,表示两个矩阵之间的元素乘积,Mk为N×N阶的注意力掩码图,初始化为一个全为1的矩阵。
结合第一方面的第三种可能的实现方式,在第一方面的第四种可能的实现方式中,在计算所述目标图像对应的目标关节序列之前,所述方法还包括:
利用以下公式计算两个节点之间的相似度:
其中,vi、vj均为所述目标图像对应的关节点,N为所述目标图像对应的关节点的总数,f(vi,vj)为节点vi与节点vj之间的相似度,θ(vi)为嵌入式函数,对应节点vi的特征图,θ(vi)T为θ(vi)的转置形式,φ(vj)为嵌入式函数,对应节点vj的特征图,δ为常数,用于稳定函数θ(vi)Tφ(vj)的值,τ∈0,fin]为一个超参数,用于增加函数θ(vi)Tφ(vj)对低概率候选项的敏感度;
基于嵌入式函数θ(vi)和φ(vj),利用Log-Softmax Temperatue分类函数计算数据依赖图Zk
其中,fin为输入参数,是一个C×T×N维的张量,fin T为fin的转置,和Wφk分别为嵌入式函数θ(vi)T和φ(vj)对应的参数矩阵。
结合第一方面的第二种可能的实现方式,在第一方面的第五种可能的实现方式中,所述行为类别分类模块设有依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、输出层,所述行为类别分类模块对所述目标关节序列进行分类识别的方式为:利用所述第一卷积层对所述目标关节序列进行卷积,利用所述第一池化层进行池化;再利用所述第二卷积层进行卷积,利用所述第二池化层进行池化;然后利用所述第三卷积层进行卷积,利用所述第三池化层进行池化,再利用全连接层进行全连接,得到处理后的向量序列;将向量序列输入至输出层,利用输出层内的Softmax分类器对向量序列进行分类识别。
结合第一方面的第一种可能的实现方式,在第一方面的第六种可能的实现方式中,所述行为类别包括疾跑、攀爬、跨越、倚靠、抛物、正常,基于所述危险区域和所述目标施工人员的行为类别,确定出是否存在实施违章行为的违章人员,包括:若所述危险区域的临边环境为洞口边缘或井口边缘,且所述目标施工人员的行为类别为疾跑、跨越或抛物,确定所述目标施工人员存在违章行为;若所述危险区域的临边环境为基坑边缘,且所述目标施工人员的行为类别为疾跑或倚靠,确定所述目标施工人员存在违章行为;若所述危险区域的临边环境为卸料平台边缘或屋面周边,且所述目标施工人员的行为类别为攀爬或倚靠,确定所述目标施工人员存在违章行为;若所述危险区域的临边环境为高层窗户边缘,且所述目标施工人员的行为类别为攀爬、倚靠或抛物,确定所述目标施工人员存在违章行为;确定实施违章行为的目标施工人员为违章人员。
在该实现方式中,可以考虑到不同临边环境的危险区域与不同的施工行为类别之间的对应关系,从而更加准确、更加有效地实现对施工现场地施工人员违章行为监测。
第二方面,本申请实施例提供一种基于人工智能的违章行为告警系统,包括:图像获取单元,用于获取待识别图像,其中,待识别图像中包含施工现场及施工人员;环境识别单元,用于对所述待识别图像进行背景环境识别,确定出所述施工现场的危险区域;判断单元,用于判断所述待识别图像中是否存在位于所述危险区域内的目标施工人员;行为识别单元,用于在所述待识别图像中存在位于所述危险区域内的目标施工人员时,对所述待识别图像进行处理,得到包含目标施工人员的目标图像,将所述目标图像输入至预设的行为识别模型中,获取所述行为识别模型识别后输出的所述目标施工人员的行为类别;违章识别单元,用于基于所述危险区域和所述目标施工人员的行为类别,确定出是否存在实施违章行为的违章人员,并在存在违章人员时生成违章行为提示信息进行违章提示。
第三方面,本申请实施例提供一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行第一方面或第一方面的可能的实现方式中任一项所述的基于人工智能的违章行为告警方法。
第四方面,本申请实施例提供一种电子设备,包括存储器和处理器,所述存储器用于存储包括程序指令的信息,所述处理器用于控制程序指令的执行,所述程序指令被处理器加载并执行时实现第一方面或第一方面的可能的实现方式中任一项所述的基于人工智能的违章行为告警方法。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种基于人工智能的违章行为告警方法的流程图。
图2为本申请实施例提供的行为识别模型的示意图。
图3为关节序列捕捉模块运行原理的示意图。
图4为行为类别分类模块的示意图。
图5为本申请实施例提供的一种基于人工智能的违章行为告警系统的结构框图。
图6为本申请实施例提供的一种电子设备的结构框图。
图标:10-基于人工智能的违章行为告警系统;11-图像获取单元;12-环境识别单元;13-判断单元;14-行为识别单元;15-违章识别单元;20-电子设备;21-存储器;22-通信模块;23-总线;24-处理器。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
为了实现对施工现场中施工人员的违章行为识别,可以利用电子设备运行基于人工智能的违章行为告警方法。
请参阅图1,图1为本申请实施例提供的一种基于人工智能的违章行为告警方法的流程图。基于人工智能的违章行为告警方法可以包括步骤S10、步骤S20、步骤S30、步骤S40和步骤S50。
在本实施例中,电子设备可以先执行步骤S10。
步骤S10:获取待识别图像,其中,待识别图像中包含施工现场及施工人员。
在本实施例中,施工现场设有多个监控设备,用于实时监控施工现场的情况。而施工现场包含多种施工场地环境,例如施工现场具有洞口、建筑物、井口、基坑、卸料平台等等多种多样的施工环境。不同的施工环境通常具有不同的安全隐患,例如涉及洞口、井口、基坑等环境,通常是跌落、抛物等隐患比较严重,而建筑物之类的环境,则是高坠、抛物等隐患较为严重。
施工现场的每个监控设备可以实时监控施工现场(通常是施工现场的一部分),监控视频则可以作为监控的原始数据。为了实现对施工现场的监管,检测施工人员的违章行为,电子设备可以获取待识别图像,此待识别图像可以是一段监控视频中的图像(例如通过对监控视频抽帧处理得到多张待识别图像),而待识别图像中包含施工现场及施工人员。当然,监控视频中必然有不存在施工人员的图像,但不存在施工人员的图像不在本方案的讨论范围内,因此,此处不做赘述,对于不存在施工人员的图像,不作为待识别图像即可。
得到待识别图像后,电子设备可以执行步骤S20。
步骤S20:对所述待识别图像进行背景环境识别,确定出所述施工现场的危险区域。
在本实施例中,电子设备可以对待识别图像进行背景环境识别,确定出施工现场的危险区域。
示例性的,电子设备可以对待识别图像进行图像分割,识别出待识别图像中的临边环境,其中,临边环境包括洞口边缘、屋面周边、井口边缘、基坑边缘、卸料平台边缘、高层窗户边缘。
例如,可以采用图像分割算法识别临边环境,同时,还可以检测环境中是否有现场作业人员。图像分割算法具体可以采用基于YOLOv4的图像分割算法,首先定义模型的性能指标:
TP:正确分类正样本,即预测值与真实值之间的交集。
TN:正确分类的负样本,即预测值与真实值之间的补集和图像空间之间的交集。
FP:错误分类的正样本,即预测值与TP的差集。
FN:错误分类的负样本,即真实值与TN的差集。
再定义交并比IoU,用于损失函数的计算:
那么,模型损失函数可以设计为:
其中,Distance_C为预测框和真实框的对角线距离,Distance_2为预测框和真实框的欧式距离,为真实框的长宽比,/>为预测框的长宽比。
利用训练集(包含多个设定尺寸的训练图像)进行模型的训练,模型训练好后进行验证和测试,满足指标后即可得到图像分割模型,用来对待识别图像进行临边环境的检测,识别出待识别图像中的临边环境。
识别出待识别图像中的临边环境后,电子设备可以基于每个临边环境,确定出相应的危险区域,例如,以临边环境划定一个危险区域的范围。针对不同的临边环境,划定危险区域的方式可以有所不同,例如,针对洞口边缘、井口边缘、基坑边缘,可以以一米为距划定危险区域(当然,此处的一米仅是示例性的介绍,对于图像中的范围,通常以像素计算,因为监控设备的拍摄位置固定,无改变的情况下,一个像素点表征的实际距离是相对固定的)。对于卸料平台边缘、高层窗户边缘、屋面周边等,可以以2米为距划定危险区域,此处不作限定,可以基于实际需要进行调节。
对待识别图像进行图像分割,识别出待识别图像中的临边环境,然后确定出相应的危险区域,这样可以考虑到施工现场复杂的施工环境,识别除不同类型的临边环境,进一步划定危险区域,由于不同的施工环境,危险行为的类型有所不同,这样能够考虑到不同的施工环境中不同的行为,便于提升违章行为识别的有效性。
确定出施工现场的危险区域后,电子设备可以执行步骤S30。
步骤S30:判断所述待识别图像中是否存在位于所述危险区域内的目标施工人员。
在本实施例中,电子设备可以对待识别图像进行施工人员检测,检测出施工人员的位置,为了便于准确判断施工人员是否位于危险区域内,本实施例中以施工人员距离危险区域的中心点最近的一只脚(脚掌)的中心坐标表征该施工人员相对该危险区域的位置,从而判断施工人员是否位于该危险区域内。针对同一施工人员与多个危险区域的关系,可以采用此方法逐个判断。
若待识别图像中存在位于危险区域内的目标施工人员,电子设备可以执行步骤S40。
步骤S40:对所述待识别图像进行处理,得到包含目标施工人员的目标图像,将所述目标图像输入至预设的行为识别模型中,获取所述行为识别模型识别后输出的所述目标施工人员的行为类别。
首先,电子设备可以对待识别图像进行处理,得到包含目标施工人员的目标图像。由于本方案是利用行为识别模型进行行为类别的识别,因此,需要将待识别图像处理为设定尺寸的目标图像(包含目标施工人员),从而便于行为识别模型进行处理。此处,可以以目标施工人员的重心坐标(例如目标施工人员的躯干中心)为图像中心,裁剪出设定尺寸的目标图像,由此可以得到目标图像。
为了便于对本方案的理解,此处先对行为识别模型进行介绍。请参阅图2,图2为本申请实施例提供的行为识别模型的示意图。
在本实施例中,行为识别模型主要包括关节序列捕捉模块和行为类别分类模块两个部分。
对于关节序列捕捉模块,主要用于计算目标图像对应的目标关节序列。请参阅图3,图3为关节序列捕捉模块运行原理的示意图。
对于输入关节序列捕捉模块的目标图像,关节序列捕捉模块可以进行采样(例如利用姿态捕捉算法进行人体关节点的采样),每张目标图像采样得到N个关节点,将连续的T张目标图像作为一个目标图像集(此处连续的T张目标图像并不是限定监控视频内连续的T张图像,而是抽帧后得到的时间依次排列的T张待识别图像所对应的T张目标图像),而每张图像具有C个通道,由此得到一个目标图像集对应的输入参数fin,输入参数fin为目标图像(所在的目标图像集)对应的输入参数,是一个C×T×N维的张量,N代表节点的数量,C代表通道数,T代表时间长度(即帧数)。
需要说明的是,针对一个目标施工人员,其T张目标图像对应一个输入参数fin;而对于目标图像中存在多个目标施工人员的情况,针对每个目标施工人员,可以利用这T张目标图像获取到一个输入参数fin,因此,存在多少个目标施工人员,即可得到多少个输入参数fin,而对于每个输入参数fin,可以利用行为识别模型进行独立的运行,因此,不同目标施工人员的行为识别是互不影响的。
对于输入参数fin,在位置x上的输出可通过基于关节图的卷积神经网络进行计算:
定义采样函数p:
B(vti)→V, (4)
其中,B(vti)={vtj|d(vti,vtj)≤D},是节点vti的邻域集,vti表示第i个关节点的第t帧,vtj表示第j个关节点的第t帧,V为关节序列特征矩阵集合,V={vti|t=1,...,T;i=1,...,N},N为关节点数量(即对应选定的N个人体关节,例如选用14个关节点,又或者选定更多或更少的关节点),(vti,vtj)为vti到vtj的最短长度,设置关节点距离D=1,则采样函数为:
d(vti,vtj)=vtj, (5)
划分关节点vti的邻域集B(vti)为K个带有标签的子集,定义映射lti:B(vti)→{0,...,K},将邻域内的节点映射到子集标签。定义权重函数w:B(vti)→Rc,Rc为节点空间,权重函数w(vti,vtj)为:
w(vti,vtj)=w'(lti(vtj)), (6)
其中,w'(lti(vtj))表示w(lti(vtj))的导数。
定义邻域为三个子集,第一个子集是根节点本身;第二个子集为向心节点组(相对于根节点本身,向心节点离关节重心更近);第三个子集是离心节点组(相对于根节点本身,离心节点离关节重心更远)。单帧骨架中的所有关节点的平均坐标被视为其关节重心。
然后可以定义ri为训练集中重心到vti的平均距离,rj为vtj到重心的距离。则lti(vtj)定义为:
那么,卷积特征图输出则可以定义为:
其中,fout(vti)为输出,Zti(vtj)=∣{vtk∣lti(vtk)=lti(vtj)}∣,为归一化项,取其倒数,用于平均不同子集的贡献度。
本方案在此基础上进行改进,根据ST-GCN中图卷积公式的定义,可以将公式(8)改写为:
其中,fout为关节序列捕捉模块的输出,kv为空间维度的内核大小,此处kv取值为3,Wk为权重张量,fin为目标图像对应的输入参数,是一个C×T×N维的张量,N代表节点的数量,C代表通道数,T代表时间长度,Xk为N×N阶邻接矩阵,表征人体关节的物理结构特征,Yk也为N×N阶邻接矩阵,用于自主学习不同层的特征,Zk为数据依赖图,用于确定不同关节点之间的联系紧密程度,α∈(0,1)为Zk的权重,用于调节特征依赖图的权重,以适应不同环境下目标施工人员的关节点间的联系紧密度,表示两个矩阵之间的元素乘积,Mk为N×N阶的注意力掩码图,初始化为一个全为1的矩阵。
此处,对于Zk的权重α,由于在不同施工环境下,不同的危险区域,违章行为有所不同,且施工环境下施工人员的动作可能有所不同,例如,对于建筑物高处边缘作业的施工人员,其穿戴有防坠装置,例如基于速差自控器的防坠锁定防护装置,施工人员动作有较为明显的特点,能够体现在关节点的联系紧密程度上,利用权重α,可以进行适应性的调节。示例性的,本方案可以针对不同类别的危险区域,设置对应的权重α,以适应不同类别下目标施工人员的动作特点。
对于表征人体关节的物理结构特征的N×N阶邻接矩阵Xk,有:
其中,Λk为对角矩阵,为对角线不为0的N×N矩阵。
为了计算数据依赖图Zk,可以定义一个归一化嵌入式高斯公式,用于计算两个节点之间的相似度:
其中,vi、vj均为目标图像对应的关节点,N为目标图像对应的关节点的总数,f(vi,vj)为节点vi与节点vj之间的相似度,θ(vi)为嵌入式函数,对应节点vi的特征图,θ(vi)T为θ(vi)的转置形式,φ(vj)为嵌入式函数,对应节点vj的特征图,δ为常数,用于稳定函数θ(vi)Tφ(vj)的值,τ∈(0,fin]为一个超参数,用于增加函数θ(vi)Tφ(vj)对低概率候选项的敏感度。
基于嵌入式函数θ(vi)和φ(vj),利用Log-SoftmaxTemperatue分类函数计算可以数据依赖图Zk
其中,fin为输入参数,是一个C×T×N维的张量,fin T为fin的转置,和Wφk分别为嵌入式函数θ(vi)T和φ(vj)对应的参数矩阵。
以上是对关节序列捕捉模块的介绍,可以结合到图3一起参阅,便于理解卷积特征图输出fout(可以理解为一个目标关节序列)的计算过程。基于此,将目标图像(实质是T张目标图像构成的目标图像集)输入至关节序列捕捉模块,可以通过关节序列捕捉模块计算得到目标图像对应的目标关节序列。
得到目标图像对应的目标关节序列后,可以将目标关节序列输入至行为类别分类模块,通过行为类别分类模块对目标关节序列进行分类识别,确定出目标施工人员的行为类别后输出。
请参阅图4,图4为行为类别分类模块的示意图。在本实施例中,行为类别分类模块可以包括多个层次L1~L12:
L1为输入层,用于接收输入的目标关节序列。
L2~L3为第一卷积层,用于对目标关节序列进行卷积:可以利用卷积核(卷积核的通道数与目标关节序列的通道数保持一致)对目标关节序列三维卷积。为了增加卷积操作得到的特征图,还可以设置2~3个卷积核进行三维卷积。
L4为第一池化层,用于对第一卷积层输出的第一特征图进行池化。
L5~L6为第二卷积层,用于对池化后的第一特征图进行三维卷积。
L7为第二池化层,用于对第二卷积层输出的第二特征图进行池化。
L8~L9为第三卷积层,用于对池化后的第二特征图进行三维卷积。
L10为第三池化层,用于对第三卷积层输出的第三特征图进行池化。
L11为全连接层,池化后的第三特征图经过展平得到的一维向量可以输入到全连接层进行全连接,得到向量序列(例如128维或256维的向量序列)。
L12为输出层,内置Softmax分类器,可以对向量序列进行分类,从而基于目标关节序列实现对目标施工人员的行为类别分类识别。
需要说明的是,若不存在位于危险区域内的目标施工人员,则可以不进行违章行为监测。
确定出目标施工人员的行为类别后,电子设备可以执行步骤S50。
步骤S50:基于所述危险区域和所述目标施工人员的行为类别,确定出是否存在实施违章行为的违章人员,并在存在违章人员时生成违章行为提示信息进行违章提示。
在本实施例中,行为类别可以包括疾跑、攀爬、跨越、倚靠、抛物、正常(即除疾跑、攀爬、跨越、倚靠、抛物等行为之外的行为),而临边环境包括洞口边缘、屋面周边、井口边缘、基坑边缘、卸料平台边缘、高层窗户边缘。
若危险区域的临边环境为洞口边缘或井口边缘,且目标施工人员的行为类别为疾跑、跨越或抛物,可以确定目标施工人员存在违章行为。
若危险区域的临边环境为基坑边缘,且目标施工人员的行为类别为疾跑或倚靠,可以确定目标施工人员存在违章行为。
若危险区域的临边环境为卸料平台边缘或屋面周边,且目标施工人员的行为类别为攀爬或倚靠,可以确定目标施工人员存在违章行为。
若危险区域的临边环境为高层窗户边缘,且目标施工人员的行为类别为攀爬、倚靠或抛物,可以确定目标施工人员存在违章行为。
之后,电子设备可以确定实施违章行为的目标施工人员为违章人员。
这样可以考虑到不同临边环境的危险区域与不同的施工行为类别之间的对应关系,从而更加准确、更加有效地实现对施工现场地施工人员违章行为监测。
确定出违章人员后,电子设备可以生成违章行为提示信息进行违章提示。例如,通过发出声光警报或者发出提升信息,甚至可以利用施工人员携带的智能装置(例如配备的手环、穿戴式智能设备、终端等)结合图像中的施工人员进行身份识别,例如,通过智能装置的定位信息,结合待识别图像中的定位,实现图像中施工人员与施工现场的施工人员的身份匹配,从而进一步将违章提示信息定向发送给违章人员,进行精准的违章提示。
基于同一发明构思,本申请实施例中还提供一种基于人工智能的违章行为告警系统,请参阅图5,基于人工智能的违章行为告警系统10可以包括:
图像获取单元11,用于获取待识别图像,其中,待识别图像中包含施工现场及施工人员。
环境识别单元12,用于对所述待识别图像进行背景环境识别,确定出所述施工现场的危险区域。
判断单元13,用于判断所述待识别图像中是否存在位于所述危险区域内的目标施工人员。
行为识别单元14,用于在所述待识别图像中存在位于所述危险区域内的目标施工人员时,对所述待识别图像进行处理,得到包含目标施工人员的目标图像,将所述目标图像输入至预设的行为识别模型中,获取所述行为识别模型识别后输出的所述目标施工人员的行为类别。
违章识别单元15,用于基于所述危险区域和所述目标施工人员的行为类别,确定出是否存在实施违章行为的违章人员,并在存在违章人员时生成违章行为提示信息进行违章提示。
在本实施例中,所述环境识别单元12,具体用于:对所述待识别图像进行图像分割,识别出所述待识别图像中的临边环境,其中,临边环境包括洞口边缘、屋面周边、井口边缘、基坑边缘、卸料平台边缘、高层窗户边缘;基于每个所述临边环境,确定出相应的危险区域。
在本实施例中,所述行为识别模型包括关节序列捕捉模块和行为类别分类模块,所述行为识别单元14,具体用于:将所述目标图像输入至所述关节序列捕捉模块,通过所述关节序列捕捉模块计算所述目标图像对应的目标关节序列;将所述目标关节序列输入至所述行为类别分类模块,通过所述行为类别分类模块对所述目标关节序列进行分类识别,确定出所述目标施工人员的行为类别后输出。
在本实施例中,所述行为识别单元14,具体用于:利用以下公式计算所述目标图像对应的目标关节序列:
其中,fout为所述关节序列捕捉模块的输出,kv为空间维度的内核大小,此处kv取值为3,Wk为权重张量,fin为所述目标图像对应的输入参数,是一个C×T×N维的张量,N代表节点的数量,C代表通道数,T代表时间长度,Xk为N×N阶邻接矩阵,表征人体关节的物理结构特征,Yk也为N×N阶邻接矩阵,用于自主学习不同层的特征,Zk为数据依赖图,用于确定不同关节点之间的联系紧密程度,α∈(0,1)为Zk的权重,表示两个矩阵之间的元素乘积,Mk为N×N阶的注意力掩码图,初始化为一个全为1的矩阵。
在本实施例中,所述行为识别单元14,具体用于:利用以下公式计算两个节点之间的相似度:
其中,vi、vj均为所述目标图像对应的关节点,N为所述目标图像对应的关节点的总数,f(vi,vj)为节点vi与节点vj之间的相似度,θ(vi)为嵌入式函数,对应节点vi的特征图,θ(vi)T为θ(vi)的转置形式,φ(vj)为嵌入式函数,对应节点vj的特征图,δ为常数,用于稳定函数θ(vi)Tφ(vj)的值,τ∈(0,fin]为一个超参数,用于增加函数θ(vi)Tφ(vj)对低概率候选项的敏感度;
基于嵌入式函数θ(vi)和φ(vj),利用Log-SoftmaxTemperatue分类函数计算数据依赖图Zk
其中,fin为输入参数,是一个C×T×N维的张量,fin T为fin的转置,和Wφk分别为嵌入式函数θ(vi)T和φ(vj)对应的参数矩阵。
在本实施例中,所述行为类别分类模块设有依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、全连接层和输出层,所述行为识别单元14,具体用于:利用所述第一卷积层对所述目标关节序列进行卷积,利用所述第一池化层进行池化;再利用所述第二卷积层进行卷积,利用所述第二池化层进行池化;然后利用所述第三卷积层进行卷积,利用所述第三池化层进行池化,再利用全连接层进行全连接,得到处理后的向量序列;将向量序列输入至输出层,利用输出层内的Softmax分类器对向量序列进行分类识别。
在本实施例中,所述行为类别包括疾跑、攀爬、跨越、倚靠、抛物、正常,所述违章识别单元15,具体用于:若所述危险区域的临边环境为洞口边缘或井口边缘,且所述目标施工人员的行为类别为疾跑、跨越或抛物,确定所述目标施工人员存在违章行为;若所述危险区域的临边环境为基坑边缘,且所述目标施工人员的行为类别为疾跑或倚靠,确定所述目标施工人员存在违章行为;若所述危险区域的临边环境为卸料平台边缘或屋面周边,且所述目标施工人员的行为类别为攀爬或倚靠,确定所述目标施工人员存在违章行为;若所述危险区域的临边环境为高层窗户边缘,且所述目标施工人员的行为类别为攀爬、倚靠或抛物,确定所述目标施工人员存在违章行为;确定实施违章行为的目标施工人员为违章人员。
请参阅图6,图6为本申请实施例提供的一种电子设备20的结构框图。
示例性的,电子设备20可以包括:通过网络与外界连接的通信模块22、用于执行程序指令的一个或多个处理器24、总线23和不同形式的存储器21,例如,磁盘、ROM、或RAM,或其任意组合。存储器21、通信模块22、处理器24之间可以通过总线23连接。
示例性的,存储器21中存储有程序。处理器24可以从存储器21调用并运行这些程序,从而便可以通过运行程序而实现基于人工智能的违章行为告警方法。
本申请实施例还提供一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行基于人工智能的违章行为告警方法。
综上所述,本申请实施例提供一种基于人工智能的违章行为告警方法、系统、介质及设备,利用待识别图像进行背景环境识别,确定出施工现场的危险区域,判断待识别图像中是否存在位于危险区域内的目标施工人员,对待识别图像进行处理得到包含目标施工人员的目标图像,将目标图像输入至预设的行为识别模型中,利用行为识别模型识别目标施工人员的行为类别,从而结合危险区域和目标施工人员的行为类别,判断目标施工人员是否违章。这样的方式能够考虑到施工现场的复杂环境,从中确定出危险区域,对危险区域内的施工人员进行行为类别监测,从而能够适用于施工现场复杂的环境,实现对施工人员的有效监管。
在本申请所提供的实施例中,应该理解到,所揭露系统和方法,可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于人工智能的违章行为告警方法,其特征在于,包括:
获取待识别图像,其中,待识别图像中包含施工现场及施工人员;
对所述待识别图像进行背景环境识别,确定出所述施工现场的危险区域;
判断所述待识别图像中是否存在位于所述危险区域内的目标施工人员;
若存在,对所述待识别图像进行处理,得到包含目标施工人员的目标图像,将所述目标图像输入至预设的行为识别模型中,获取所述行为识别模型识别后输出的所述目标施工人员的行为类别;
基于所述危险区域和所述目标施工人员的行为类别,确定出是否存在实施违章行为的违章人员,并在存在违章人员时生成违章行为提示信息进行违章提示。
2.根据权利要求1所述的基于人工智能的违章行为告警方法,其特征在于,对所述待识别图像进行背景环境识别,确定出所述施工现场的危险区域,包括:
对所述待识别图像进行图像分割,识别出所述待识别图像中的临边环境,其中,临边环境包括洞口边缘、屋面周边、井口边缘、基坑边缘、卸料平台边缘、高层窗户边缘;
基于每个所述临边环境,确定出相应的危险区域。
3.根据权利要求1所述的基于人工智能的违章行为告警方法,其特征在于,所述行为识别模型包括关节序列捕捉模块和行为类别分类模块,将所述目标图像输入至预设的行为识别模型中,获取所述行为识别模型识别后输出的所述目标施工人员的行为类别,包括:
将所述目标图像输入至所述关节序列捕捉模块,通过所述关节序列捕捉模块计算所述目标图像对应的目标关节序列;
将所述目标关节序列输入至所述行为类别分类模块,通过所述行为类别分类模块对所述目标关节序列进行分类识别,确定出所述目标施工人员的行为类别后输出。
4.根据权利要求3所述的基于人工智能的违章行为告警方法,其特征在于,所述关节序列捕捉模块计算所述目标图像对应的目标关节序列的方式为:
利用以下公式计算所述目标图像对应的目标关节序列:
其中,fout为所述关节序列捕捉模块的输出,kv为空间维度的内核大小,此处kv取值为3,Wk为权重张量,fin为所述目标图像对应的输入参数,是一个C×T×N维的张量,N代表节点的数量,C代表通道数,T代表时间长度,Xk为N×N阶邻接矩阵,表征人体关节的物理结构特征,Yk也为N×N阶邻接矩阵,用于自主学习不同层的特征,Zk为数据依赖图,用于确定不同关节点之间的联系紧密程度,α∈(0,1)为Zk的权重,表示两个矩阵之间的元素乘积,Mk为N×N阶的注意力掩码图,初始化为一个全为1的矩阵。
5.根据权利要求4所述的基于人工智能的违章行为告警方法,其特征在于,在计算所述目标图像对应的目标关节序列之前,所述方法还包括:
利用以下公式计算两个节点之间的相似度:
其中,vi、vj均为所述目标图像对应的关节点,N为所述目标图像对应的关节点的总数,f(vi,vj)为节点vi与节点vj之间的相似度,θ(vi)为嵌入式函数,对应节点vi的特征图,θ(vi)T为θ(vi)的转置形式,φ(vj)为嵌入式函数,对应节点vj的特征图,δ为常数,用于稳定函数θ(vi)Tφ(vj)的值,τ∈(0,fin]为一个超参数,用于增加函数θ(vi)Tφ(vj)对低概率候选项的敏感度;
基于嵌入式函数θ(vi)和φ(vj),利用Log-Softmax Temperatue分类函数计算数据依赖图Zk
其中,fin为输入参数,是一个C×T×N维的张量,fin T为fin的转置,和Wφk分别为嵌入式函数θ(vi)T和φ(vj)对应的参数矩阵。
6.根据权利要求3所述的基于人工智能的违章行为告警方法,其特征在于,所述行为类别分类模块设有依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、全连接层和输出层,所述行为类别分类模块对所述目标关节序列进行分类识别的方式为:
利用所述第一卷积层对所述目标关节序列进行卷积,利用所述第一池化层进行池化;
再利用所述第二卷积层进行卷积,利用所述第二池化层进行池化;
然后利用所述第三卷积层进行卷积,利用所述第三池化层进行池化,再利用全连接层进行全连接,得到处理后的向量序列;
将向量序列输入至输出层,利用输出层内的Softmax分类器对向量序列进行分类识别。
7.根据权利要求2所述的基于人工智能的违章行为告警方法,其特征在于,所述行为类别包括疾跑、攀爬、跨越、倚靠、抛物、正常,基于所述危险区域和所述目标施工人员的行为类别,确定出是否存在实施违章行为的违章人员,包括:
若所述危险区域的临边环境为洞口边缘或井口边缘,且所述目标施工人员的行为类别为疾跑、跨越或抛物,确定所述目标施工人员存在违章行为;
若所述危险区域的临边环境为基坑边缘,且所述目标施工人员的行为类别为疾跑或倚靠,确定所述目标施工人员存在违章行为;
若所述危险区域的临边环境为卸料平台边缘或屋面周边,且所述目标施工人员的行为类别为攀爬或倚靠,确定所述目标施工人员存在违章行为;
若所述危险区域的临边环境为高层窗户边缘,且所述目标施工人员的行为类别为攀爬、倚靠或抛物,确定所述目标施工人员存在违章行为;
确定实施违章行为的目标施工人员为违章人员。
8.一种基于人工智能的违章行为告警系统,其特征在于,包括:
图像获取单元,用于获取待识别图像,其中,待识别图像中包含施工现场及施工人员;
环境识别单元,用于对所述待识别图像进行背景环境识别,确定出所述施工现场的危险区域;
判断单元,用于判断所述待识别图像中是否存在位于所述危险区域内的目标施工人员;
行为识别单元,用于在所述待识别图像中存在位于所述危险区域内的目标施工人员时,对所述待识别图像进行处理,得到包含目标施工人员的目标图像,将所述目标图像输入至预设的行为识别模型中,获取所述行为识别模型识别后输出的所述目标施工人员的行为类别;
违章识别单元,用于基于所述危险区域和所述目标施工人员的行为类别,确定出是否存在实施违章行为的违章人员,并在存在违章人员时生成违章行为提示信息进行违章提示。
9.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至7中任一项所述的基于人工智能的违章行为告警方法。
10.一种电子设备,其特征在于,包括存储器和处理器,所述存储器用于存储包括程序指令的信息,所述处理器用于控制程序指令的执行,所述程序指令被处理器加载并执行时实现权利要求1至7中任一项所述的基于人工智能的违章行为告警方法。
CN202310215590.9A 2023-03-08 2023-03-08 基于人工智能的违章行为告警方法、系统、介质及设备 Pending CN116563776A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310215590.9A CN116563776A (zh) 2023-03-08 2023-03-08 基于人工智能的违章行为告警方法、系统、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310215590.9A CN116563776A (zh) 2023-03-08 2023-03-08 基于人工智能的违章行为告警方法、系统、介质及设备

Publications (1)

Publication Number Publication Date
CN116563776A true CN116563776A (zh) 2023-08-08

Family

ID=87486796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310215590.9A Pending CN116563776A (zh) 2023-03-08 2023-03-08 基于人工智能的违章行为告警方法、系统、介质及设备

Country Status (1)

Country Link
CN (1) CN116563776A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883952A (zh) * 2023-09-07 2023-10-13 吉林同益光电科技有限公司 基于人工智能算法的电力施工现场违章识别方法及系统
CN117315592A (zh) * 2023-11-27 2023-12-29 四川省医学科学院·四川省人民医院 一种基于机器人端实时监控摄像的识别预警系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883952A (zh) * 2023-09-07 2023-10-13 吉林同益光电科技有限公司 基于人工智能算法的电力施工现场违章识别方法及系统
CN116883952B (zh) * 2023-09-07 2023-11-17 吉林同益光电科技有限公司 基于人工智能算法的电力施工现场违章识别方法及系统
CN117315592A (zh) * 2023-11-27 2023-12-29 四川省医学科学院·四川省人民医院 一种基于机器人端实时监控摄像的识别预警系统
CN117315592B (zh) * 2023-11-27 2024-01-30 四川省医学科学院·四川省人民医院 一种基于机器人端实时监控摄像的识别预警系统

Similar Documents

Publication Publication Date Title
KR101995107B1 (ko) 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템
CN116563776A (zh) 基于人工智能的违章行为告警方法、系统、介质及设备
CN107247946B (zh) 行为识别方法及装置
CN110414400B (zh) 一种施工现场安全帽穿戴自动检测方法及系统
WO2010084902A1 (ja) 侵入警報ビデオ処理装置
CN111145475A (zh) 基于振动光纤和深度学习的入侵报警系统、方法及介质
CN113688797A (zh) 一种基于骨架提取的异常行为识别方法及系统
CN115392407B (zh) 基于无监督学习的危险源预警方法、装置、设备及介质
CN112651371A (zh) 着装安全检测方法、装置、存储介质及计算机设备
CN116824335A (zh) 一种基于YOLOv5改进算法的火灾预警方法及系统
CN114359825A (zh) 监测方法和相关产品
CN117173791A (zh) 一种基于动作识别的配网施工人员违规检测方法及系统
CN111178178A (zh) 结合区域分布的多尺度行人重识别方法、系统、介质及终端
CN114445917A (zh) 一种人脸活体识别网络训练方法、系统及电子设备
CN113837001A (zh) 监控场景下的异常闯入物实时检测方法及装置
CN115171006B (zh) 基于深度学习的自动识别人员进入电力危险区的检测方法
KR102556447B1 (ko) 패턴 분석을 통한 상황 판단 시스템
KR101674266B1 (ko) 영상 기반의 건설 현장 안전 수준 평가 시스템
CN111428567A (zh) 一种基于仿射多任务回归的行人跟踪系统及方法
Lestari et al. Comparison of two deep learning methods for detecting fire
CN116342645A (zh) 一种针对游泳馆场景下的多目标跟踪方法
CN112818881B (zh) 一种人体行为识别方法
CN114943873A (zh) 一种工地人员异常行为分类方法及装置
CN113989719A (zh) 一种工地盗窃监测方法及系统
Shrigandhi et al. Systematic Literature Review on Object Detection Methods at Construction Sites

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination