CN113722503A - 一种施工现场风险细粒度识别方法和系统 - Google Patents

一种施工现场风险细粒度识别方法和系统 Download PDF

Info

Publication number
CN113722503A
CN113722503A CN202110942975.6A CN202110942975A CN113722503A CN 113722503 A CN113722503 A CN 113722503A CN 202110942975 A CN202110942975 A CN 202110942975A CN 113722503 A CN113722503 A CN 113722503A
Authority
CN
China
Prior art keywords
construction
construction site
risk
information
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110942975.6A
Other languages
English (en)
Other versions
CN113722503B (zh
Inventor
王俊杰
张立特
吕文胜
王彦博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202110942975.6A priority Critical patent/CN113722503B/zh
Publication of CN113722503A publication Critical patent/CN113722503A/zh
Application granted granted Critical
Publication of CN113722503B publication Critical patent/CN113722503B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种施工现场风险细粒度识别方法和系统，其方法技术方案包括场景图生成步骤，获取一施工现场图像，对所述施工现场图像内的实体以及实体之间的交互关系进行检测，并且根据检测到的所述实体和所述交互关系生成一施工场景图；知识图谱构建步骤，将一施工规范性文件中的所述实体和所述实体之间的约束、所述交互关系进行抽取，获得一施工场景下的知识图谱；风险识别推理步骤，通过将所述施工场景图和对应施工场景下的所述知识图谱进行一致性检验以进行所述施工现场风险的推理。本发明解决了现有监测方法无法实现语义关系识别的施工现场细粒度的风险识别的问题。

Description

一种施工现场风险细粒度识别方法和系统
技术领域
本发明属于机器学习技术领域，尤其涉及一种融合知识图谱和场景图的施工现场风险细粒度识别方法和系统。
背景技术
施工现场环境复杂，存在有众多的安全隐患，建筑安全事故给社会带来了巨大的损失。当前施工现场安全监测技术主要依赖于有经验管理人员的手动操作，往往会造成人力物力的大量消耗。此外人工观察存在有耗时较长、花费高以及易于出错的缺点。因此现阶段施工现场引入了RFID,GPS等方法辅助管理人员进行安全管理。但是此类方法需要在工人以及工器具上绑定专业的信息采集设备进行信息的收集，具有成本高昂的缺陷。
智慧工地的发展在施工现场部署了大量的监控设备，对于施工工作面实现了基本的覆盖。因此，基于计算机视觉的施工安全监测方法被广泛利用于施工现场。通过对于建筑场景中安全帽、工人、重机械等生产要素的识别，实现安全监测。
但是实际施工场景中危险多发生于工人与各种施工设备的交互过程中，施工现场是一个动态交互的视图，工人在施工现场处于与工具、设备和材料或者其他工人的交互中。该视图中包含了施工要素以及施工要素之间复杂的交互关系。施工现场的风险来源于多个施工要素之间不规范不安全的交互关系。当前计算机视觉方法在施工现场安全监测的应用基于对于图像内实体的检测，缺乏对于实体之间语义关系的描述，限制了对于施工现场风险细粒度监测的能力。难以描述施工场景中机械之间以及机械与工人之间的交互关系，无法实现施工现场风险的精准识别。当前的监测方案都是基于单体的识别，检测任务被具体定义的情况下具有良好的表现，但是缺乏基于知识推理的动态风险识别能力，究其原因是因为目前缺少对于施工场景内各施工元素之间语义关系的检测方法，因此无法实现语义关系识别的施工现场细粒度的风险识别。
发明内容
本申请实施例提供了一种融合知识图谱和场景图的施工现场风险细粒度识别方法和系统，以至少解决现有监测方法无法实现语义关系识别的施工现场细粒度的风险识别的问题。
第一方面，本申请实施例提供了一种施工现场风险细粒度识别方法，包括：场景图生成步骤，获取一施工现场图像，对所述施工现场图像内的实体以及实体之间的交互关系进行检测，并且根据检测到的所述实体和所述交互关系生成一施工场景图；知识图谱构建步骤，将一施工规范性文件中的所述实体和所述实体之间的约束、所述交互关系进行抽取，获得一施工场景下的知识图谱；风险识别推理步骤，通过将所述施工场景图和对应施工场景下的所述知识图谱进行一致性检验以进行所述施工现场风险的推理。
优选的，所述场景图生成步骤进一步包括：标定框检测步骤，通过Mask R-CNN网络在所述施工现场图像上生成感兴趣区域，并对每个所述感兴趣区域输出对应的特征向量以及标签概率向量；标签检测步骤，根据所述感兴趣区域的标定框的坐标信息、所述特征向量以及所述标签概率向量获取所述感兴趣区域上下文的视觉信息和标签信息；交互关系检测步骤，根据所述视觉信息和所述标定框的坐标信息获取所述交互关系。
优选的，所述交互关系检测步骤进一步包括：距离属性计算步骤，所述交互关系中包括距离属性，根据交互双方的所述标定框的坐标信息计算所述交互双方的交并比，并进一步根据所述交并比计算所述距离属性。
优选的，所述距离属性计算步骤进一步包括：当所述交并比大于0时，根据相机焦距、被拍摄物体实际尺寸、相机传感器尺寸进行所述距离属性的计算。
优选的，所述标签检测步骤进一步包括：使用一第一transformer网络获取所述视觉信息和所述标签信息，所述第一transformer网络包括一多头注意力机制。
优选的，所述交互关系检测步骤进一步包括：使用一第二transformer网络获取所述交互关系。
优选的，所述场景图生成步骤进一步包括一数据集构建步骤，获取训练图像，根据所述训练图像构建一施工视觉关系数据集，根据所述施工视觉关系数据集对所述Mask R-CNN网络、所述第一transformer网络和所述第二 transformer网络进行训练；所述数据集构建步骤进一步包括：VIA标注步骤，在VIA标注软件中对所述训练图像中的目标进行类别和位置信息的标注，并对已标注的所述目标的交互信息进行标注；数据处理步骤，在所述VIA标注软件中完成标注后，导出csv文件，将所述csv文件以数组形式存储，提取所述数组中的所述目标的信息，并将所述目标的信息转换为json文件。
优选的，所述知识图谱构建步骤进一步包括：使用neo 4j数据库对所述知识图谱进行存储。
优选的，所述风险识别推理步骤进一步包括：提取所述施工场景图中存在所述交互关系的所述实体，根据所述实体在所述知识图谱进行检索，对所述知识图谱中的所述交互关系和所述施工场景图中的所述交互关系进行所述一致性检验。
第二方面，本申请实施例提供了一种施工现场风险细粒度识别系统，适用于上述一种施工现场风险细粒度识别方法，包括：场景图生成模块，获取一施工现场图像，对所述施工现场图像内的实体以及实体之间的交互关系进行检测，并且根据检测到的所述实体和所述交互关系生成一施工场景图；知识图谱构建模块，将一施工规范性文件中的所述实体和所述实体之间的约束、所述交互关系进行抽取，获得一施工场景下的知识图谱；风险识别推理模块，通过将所述施工场景图和对应施工场景下的所述知识图谱进行一致性检验以进行所述施工现场风险的推理。
相比于相关技术，本申请实施例提供的一种施工现场风险细粒度识别方法采用场景图对于施工场景进行语义交互关系的提取，并且对于规范文件进行知识抽取以建立知识图谱。通过对于场景图和知识图谱分析实现风险的识别的响应。具体优点包括：
1.构建了施工场景图数据集；数据集包含了施工现场21类目标以及目标之间16类交互关系；
2.提出了施工场景图模型；通过基于Mask Rcnn的单体检测模块以及基于Transformer的关系检测模块，对于施工场景内的多个单体以及单体之间的交互的语义关系进行检测，并对于空间关系增添距离属性，构建出施工图像的场景图；
3.对于行业规范、操作手册进行知识提取；抽取出主客体信息以及主客体之间的交互关系，利用neo4j图数据库进行知识图谱的构建；
4.通过知识图谱与施工场景图的对比进行风险的推理和识别，并且基于知识图谱实现对于的精准响应和处置。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明的施工现场风险细粒度识别方法流程图；
图2为图1中步骤S1的分步骤流程图；
图3为图2中步骤S12的分步骤流程图；
图4A为本发明的施工现场风险细粒度识别系统的框架图；
图4B为图4A中数据集构建单元的框架图；
图5为本发明实施例提供的的一电子设备的框架图；
图6为施工场景图模型流程图；
以上图中：
1、场景图生成模块；2、知识图谱构建模块；3、风险识别推理模块；11、标定框检测单元；12、数据集构建单元；13、标签检测单元；14、交互关系检测单元；121、VIA标注单元；122、数据处理单元；60、总线；61、处理器； 62、存储器；63、通信接口。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例提供的施工现场风险细粒度识别方法，适用于对图像中某一具体事物的辨别。
以下，结合附图详细介绍本发明的实施例：
图1为本发明的施工现场风险细粒度识别方法流程图，请参见图1，本发明施工现场风险细粒度识别方法包括如下步骤：
S1：获取一施工现场图像，对所述施工现场图像内的实体以及实体之间的交互关系进行检测，并且根据检测到的所述实体和所述交互关系生成一施工场景图。
图6为施工场景图模型流程图，请参见图6，在具体实施中，将图像信息转化包含结构化语义信息的场景图。场景图将图像内的实体抽象成点，并将实体之间的交互的语义信息用点之间的连线表示。场景图(graph,G)生成分为标定框检测(bounding box,B)，标签检测(object label，O)以及交互关系(relation， R)检测三部分。公式如下：
Pr(G|I)＝Pr(B|I)Pr(O|B,I)Pr(R|B,O,I)
其中I表示施工现场图像image。
可选的，图2为图1中步骤S1的分步骤流程图，请参见图2：
S11：通过Mask R-CNN网络在所述施工现场图像上生成感兴趣区域，并对每个所述感兴趣区域输出对应的特征向量以及标签概率向量；
在具体实施中，标定框检测(bounding box，B)部分利用Mask R-CNN 网络作为施工图像内标定框的检测工具。对于施工现场图像，mask rcnn网络在图像上生成一系列的感兴趣区域B＝{b1,b2,…,bn}。对于每一个感兴趣区域， mask rcnn检测网络同时会输出对应的特征向量fi以及标签概率向量li。公式为：
B,F,I＝Mask RCNN(I)
S12：获取训练图像，根据所述训练图像构建一施工视觉关系数据集，根据所述施工视觉关系数据集对Mask R-CNN网络、第一transformer网络和第二 transformer网络进行训练；
在具体实施中，现有的大型视觉数据集如visual relationships dataset和visual genome等主要覆盖日常的生活场景，在面对施工场景中各种施工机械以及复杂工种之间的交互时，会面临无法识别出场景内的实体以及实体之间的交互关系的问题。因此有必要开发出施工场景下的视觉数据集。由于数据集内包含实体以及实体之间复杂的交互关系，给标注任务带来了严峻的挑战，本申请利用VIA标注软件结合自主编写的python程序实现对于数据集便捷化的标注。
可选的，图3为图2中步骤S12的分步骤流程图，请参见图3，步骤S12 进一步包括：
S121：在VIA标注软件中对所述训练图像中的目标进行类别和位置信息的标注，并对已标注的所述目标的交互信息进行标注；
在具体实施中，对于每一张施工现场采集到的图像，使用VIA标注软件对于施工图像中的目标进行标注。为了实现施工图像的场景图生成任务，对于施工图像的标注分为两部分：一是获取施工图像中的目标类别以及坐标位置信息，并且对于该目标赋予唯一的id编码。二是对于施工图像内被标定目标之间的交互关系进行描述，充分利用施工图像中丰富的语义信息。
第一部分对于图像内目标进行类别和位置信息的标注。在VIA中对于每一个标定框设定了主体id、客体ID、交互关系以及类别四种属性。在第一步标定中，利用类别属性以及bounding box属性，并根据标注顺序赋予每一个目标的id编号。
在具体实施中，VIA中标注时导入属性文件attributes.json，该json文件的内容为：
{"region":{"category":{"type":"dropdown","description":"","options":{"1":"w orker","2":"helmet","3":"safety belt","4":"scaffolding","5":"reflective vest","6":"sa fety rope"},"default_options":{}},"object_id":{"type":"text","description":"","defau lt_value":""},"predicate":{"type":"dropdown","description":"","options":{"1":"wear ","2":"on","3":"under","4":"chained on","5":"left to","6":"right to"},"default_optio ns":{}},"subject":{"type":"text","description":"","default_value":""}},"file":{}}
在具体实施中，第二步对于图像中已标注目标的交互信息进行标注，利用每个标定框的主体id，客体id以及关系三个属性，对于每一条标注信息进行处理。
S122：在所述VIA标注软件中完成标注后，导出csv文件，将所述csv文件以数组形式存储，提取所述数组中的所述目标的信息，并将所述目标的信息转换为json文件。
在具体实施中，对于数据处理是数据集制作中最繁杂的步骤，本申请编写 python程序实现了对于从VIA中所导出的csv格式文件自动进行格式整理以及内容填充转换为施工视觉数据集所需的json文件格式。
本申请提供一具体实施例对步骤S122进行详细说明，在VIA软件中完成标注之后，导出csv文件如下所示：
Figure RE-GDA0003301045130000081
通过python中的pandas包对于csv文件进行读取，读取结果转变为np.array 数组形式进行存储。定义一个函数将数组内包含的所有目标信息进行提取，函数最终返回结果是目标的详细坐标类别信息，所在图片的编号以及目标的编号。
该函数的具体内容包括：
def objinfo(data_np,i):#get all the information for every objects
b＝data_np[i]
obj＝{}
jpg＝b[0].strip(".jpg")
objid＝int(str(jpg)+str(b[4]))
obj["object_id"]＝int(str(jpg)+str(b[4]))#obj_id
str1＝b[5]
bbi＝re.findall(r"[\w']+",str1)#bounding box information
x＝bbi[3]
y＝bbi[5]
w＝bbi[7]
h＝bbi[9]
obj["x"]＝int(x)
obj["y"]＝int(y)
obj["w"]＝int(w)
obj["h"]＝int(h)
str2＝b[6]
cati＝re.findall(r"[\w']+",str2)#category information
cat_num＝int(cati[1])-1
cat_info＝category[cat_num]
names＝cat_info.split()
cat_info2＝cat_info+".n.01"
synsets＝cat_info2.split()
obj["synsets"]＝synsets
obj["names"]＝names
return obj,jpg,objid
根据提取出的目标的详细信息，通过对于目标进行分类，格式整理等步骤，最终转换为两个json文件：object.json以及relationship.json。
其中，object.json的内容包括：
Object.json
[{'image_id':0,
'objects':[{'object_id':0,'x':16,'y':51,'w':462,'h':712,'synsets': ['worker.n.01'],'names':['worker']},{'object_id':1,'x':297,'y':439,'w':329,'h':186, 'synsets':['belt.n.01'],'names':['belt']}]},
{'image_id':1,
'objects':[{'object_id':10,'x':79,'y':333,'w':312,'h':565,'synsets':['worker.n.01'],'names':['worker']},{'object_id':11,'x':38,'y':627,'w':439,'h':329, 'synsets':['belt.n.01'],'names':['belt']},{'object_id':12,'x':569,'y':179,'w':233,'h': 600,'synsets':['worker.n.01'],'names':['worker']},{'object_id':13,'x':743,'y':315, 'w':167,'h':158,'synsets':['belt.n.01'],'names':['belt']}]},
{'image_id':2,
'objects':[{'object_id':20,'x':294,'y':343,'w':133,'h':383,'synsets':['worker.n.01'],'names':['worker']},{'object_id':21,'x':377,'y':413,'w':113,'h': 208,'synsets':['rope.n.01'],'names':['rope']},{'object_id':22,'x':687,'y':93,'w': 130,'h':188,'synsets':['worker.n.01'],'names':['worker']},{'object_id':23,'x':629, 'y':116,'w':68,'h':71,'synsets':['rope.n.01'],'names':['rope']}]}]
relationship.json的内容包括：
[{"relationships":[
{"predicate":"wear",
"object":{"names":["worker"],"object_id":10,"synsets":["worker.n.01"],"h":25 6,"x":623,"y":327,"w":103},
"relationship_id":1,"synsets":["wear.v.01"],
"subject":{"name":"helmet","synsets":["helmet.n.01"],"object_id":12,"h":31,"x ":673,"y":328,"w":51}},
{"predicate":"on",
"object":{"names":["worker"],"object_id":10,"synsets":["worker.n.01"],"h":25 6,"x":623,"y":327,"w":103},
"relationship_id":4,"synsets":["on.r.01"],
"subject":{"name":"scaffold","synsets":["scaffold.n.01"],"object_id":15,"h":87 ,"x":577,"y":548,"w":214}},
{"predicate":"on",
"object":{"names":["worker"],"object_id":11,"synsets":["worker.n.01"],"h":24 9,"x":394,"y":427,"w":98},
"relationship_id":5,"synsets":["on.r.01"],
"subject":{"name":"scaffold","synsets":["scaffold.n.01"],"object_id":16,"h":16 3,"x":342,"y":573,"w":204}},
{"predicate":"wear",
"object":{"names":["worker"],"object_id":11,"synsets":["worker.n.01"],"h":24 9,"x":394,"y":427,"w":98},
"relationship_id":6,"synsets":["wear.v.01"],
"subject":{"name":"helmet","synsets":["helmet.n.01"],"object_id":17,"h":41,"x ":401,"y":429,"w":51}}],"image_id":1}]
在具体实施中，标注完成的数据集被用来训练目标检测任务的mask rcnn 网络以及交互关系检测任务的transformer网络。模型精度如下表所示：
Figure RE-GDA0003301045130000111
其中对于目标检测任务采用mAp作为准确度的评价标准，对于交互关系检测采用Top-k召回率作为准确度的评价标准。Top-k召回率简称R@K，代表前K个最自信预测结果中正确结果所占的比例。实验结果表明模型能够正确的识别出施工图像内的目标以及目标之间的交互。
请继续参见图2：
S13：根据所述感兴趣区域的标定框的坐标信息、所述特征向量以及所述标签概率向量获取所述感兴趣区域上下文的视觉信息和标签信息；可选的，使用一一transformer网络获取所述视觉信息和所述标签信息，所述第一transformer网络包括一多头注意力机制；
在具体实施中，标签检测(object label，O)部分使用transformer网络(即第一transformer网络)为检测到的每一个区域编码出上下文的视觉信息xi。 transformer网络采用感兴趣区域的标定框的坐标信息bi，对应的特征向量信息 fi以及概率标签信息li作为输入，并输出上下文的视觉信息X和标签信息L。公式为：
X，L＝Transformerobject([bi，fi，li]i＝1，...n)
本申请中的Transformer网络由一系列的编码器和解码器组成。编码器依赖于注意力机制对于输入信息进行处理。有self-attention和feed forward neutral network组成。标签概率li经过softmax函数后作为obj_embed，标定框的坐标信息bi经过一个Linear的全连接层和Rule的激活函数后作为pos_embed。最终，标定框的特征向量fi，连同obj_embed和pos_embed拼接成为一个矩阵，最终通过三个不同的全连接层(LinearQ，K，V)进行处理，得到矩阵Q，K，V：
objembed＝softmax(li，dim＝1)
posemded＝Relu(Linear(bi))
Q，K，V＝LinearQ，K，V(concat(bi，objembed，posembed)
多头注意力机制首先将Q，K，V三个矩阵输入到一个全连接层中进行线性转换，以降低计算的复杂度。Attention机制使用softmax函数计算Q，K，V三个矩阵的相似度，多头注意力机制在attention机制的基础上使用不同的权重矩阵进项计算，将计算结果进行拼接得到最终的结果，从而可以获得更全面的多维度的特征学习：
Figure RE-GDA0003301045130000121
Figure RE-GDA0003301045130000122
MultiHead(Q，K，V)＝Concat(head1，…，headh)WO
在具体实施中，将多头注意力机制再经过一个全连接层之后就得到最后的视觉信息X和标签信息L。
S14：根据所述视觉信息和所述标定框的坐标信息获取所述交互关系；可选的，可选的，使用一二transformer网络获取所述交互关系；所述交互关系中包括距离属性，根据交互双方的所述标定框的坐标信息计算所述交互双方的交并比，并进一步根据所述交并比计算所述距离属性。可选的，当所述交并比大于0时，根据相机焦距、被拍摄物体实际尺寸、相机传感器尺寸进行所述距离属性的计算。
在具体实施中，交互关系检测(relation，R)使用另一个transformer网络 (即第二transformer网络)。不同于标签检测，交互关系检测将视觉的上下文信息X，编码后的物体特征obj_embed和标定框的坐标信息bi作为transformer 网络的输入：
R＝Transformerrelation(X，bi，objembed)
为了实现施工现场风险细粒度的检测，本申请在交互关系检测的基础上，对于邻近交互关系增加距离属性。距离测算分为以下几步：
选择交互关系为邻近的关系对，根据交互双方标定框的坐标信息计算双方的交并比(IoU，interaction of union)，以挖掘机工作为例，设定挖掘机工作时的安全距离为10m，以中型挖掘机高度3m为例，挖掘机标定框的水平像素向外扩展3倍垂直像素的数量。扩展完成之后进行交并比的计算：
Figure RE-GDA0003301045130000131
当计算的交并比大于0时，进行垂直距离的判定。根据相机的成像原理，采用相似三角形原则，在已知相机焦距、被拍摄物体实际尺寸、相机传感器尺寸等信息，结合识别出的标定框，进行距离属性的计算：
Figure RE-GDA0003301045130000132
在具体实施中，目标检测以及交互关系检测完成后，本申请所构建的模型输出包含所检测图像所有目标以及交互信息的json文件，通过从该文件中提取空间关系的实体对，对于空间关系进行距离属性描述。通过python的exifread 模块对于图像详细信息进行采集，获得拍摄图像设备的焦距，感光元件尺寸以及图像的长宽信息。将所有信息输入距离监测模块之后，可以得到施工图像中单体对之间的距离信息。
通过上述技术方案的实施，完成场景图的构建。
请继续参见图1：
S2：将一施工规范性文件中的所述实体和所述实体之间的约束、所述交互关系进行抽取，获得一施工场景下的知识图谱；可选的，使用neo 4j数据库对所述知识图谱进行存储。
在具体实施中，本申请使用neo 4j实现对于规范文件抽取出的知识图谱进行存储。知识图谱从施工现场规范文件中抽取出结构化的三元组信息，抽取出的信息被存储在neo4j数据库中以便检索。
Neo4j数据库中的信息由节点，关系和属性三部分组成。
节点代表数据库内的单体，每一个单体都有自己的标签信息。而且每一个单体都可以具有对应的属性信息。属性值在数据库内以键值对的形式进行存储。
关系代表数据库内两个节点之间的交互关系，以节点之间的有向箭头的形式表示。箭头可以是单向的也可以是双向的。
属性在neo4j数据库中作为节点和关系的特征的说明，以键值对的形式进行存储。
对于规范文件进行知识抽取的步骤分为主客体抽取以及关系抽取。对于每一条规范条文，主体和客体被定义为交互关系的双方(例如[实体1，交互关系，实体2])。实体1和实体2代表施工现场的工人、生产材料和机械等。交互关系代表动作(驾驶，使用等)、空间信息(近邻，左侧，右侧等)以及归属信息 (拥有)。在对规范文件进行三元组提取的同时，将三元组分为两种，一种是代表工作场景的条件三元组(工人-驾驶-挖掘机)以及代表工作场景下的规范的指示三元组(工人-佩戴-安全帽)。为了实现推理的流程，条件和指示分别作为三元组的属性存储在neo4j数据库中。
以挖掘机作业为例，知识图谱的数据来源于GB/T 9139-2018 earth movingmachinery hydraulic excavators technical specification,GB/T 8595-2008 earthmoving machinery operators controls和安全使用挖掘机手册等规范文件。对于规范文件中的表述，进行主体客体以及交互关系的三元组的抽取。从规范文件中选取一下规则进行规范库建立：
规则1：工人在驾驶挖掘机时应佩戴安全帽以及反光背心。
规则2：工人在挖掘机周围工作时应佩戴安全帽以及反光背心。
规则3：工人在挖掘机周围时应与挖掘机保持规定的安全距离。
根据现有规则将提取出的单体以及交互关系分别输出为csv文件并使用 neo4j的推理语言cypher中的load csv命令进行知识图谱的构建，并且根据不同的语义关系赋予不同的属性值。
S3：通过将所述施工场景图和对应施工场景下的所述知识图谱进行一致性检验以进行所述施工现场风险的推理；可选的，提取所述施工场景图中存在所述交互关系的所述实体，根据所述实体在所述知识图谱进行检索，对所述知识图谱中的所述交互关系和所述施工场景图中的所述交互关系进行所述一致性检验。
在具体实施中，经过上述处理，可以得到代表施工现场场景信息的场景图和包含建筑行业规范性文件的知识图。提取场景图中的交互实体，根据当前的交互实体搜索知识图谱，通过知识图谱中实体间的交互关系和场景图谱中实体间的交互关系进行一致性检验，最后根据推理结果进行危险识别。
在具体实施中，场景图内信息与知识图谱内现有规则进行比较，本申请构建的模型可以根据既定规则判断出该施工场景下存在的风险因素以及对于风险因素的响应措施。
为了实现对于风险的推理与识别，使用py2neo构建实现对于数据库的读取，对于风险推理的步骤如下：
1)对于当前场景交互进行分析
2)根据当前交互关系进入知识图谱进行检索
3)将检索结果与当前场景进行比对推理
4)实现当前场景风险识别，根据识别结果进行响应
以挖掘机工作场景为例验证模型的有效性。对于挖掘机场景内语义关系分为动作，拥有以及空间位置三种属性。动作属性包括工人驾驶挖掘机。拥有属性包括工人佩戴安全帽以及反光背心。空间位置包括近邻等。
对于挖掘机施工场景，第一步进行知识图谱的查询。在保证工人安全的情况下，与挖掘机处于驾驶状态的工人需要佩戴安全帽以及反光背心。与挖掘机处于近邻交互关系时，工人需要佩戴安全帽与反光背心，且近邻交互关系属性需要满足大于10m的强制要求。
第二步针对于实际工作场景进行分析。通过对于施工现场图像处理，生成当前图像的场景图，将场景图信息与知识图谱内信息的对比，实现危险的判断。如下图所示：当前场景内3个worker单体与excavator存在有语义关系。对于每一个工人与挖掘机交互的语义关系进行分析，对于dirve和next to两种关系，分别与知识图谱内规定进行比较，从而实现风险判断。
第三步本申请构建的模型将风险判断结果进行输出，并对于当前处于不安全交互的对象进行定位。模型还可以实现对于风险详细信息的输出，并针对风险采取相应的响应措施。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例提供了一种施工现场风险细粒度识别系统，适用于上述的一种施工现场风险细粒度识别方法。如以下所使用的，术语“单元”、“模块”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件、或者软件和硬件的组合的实现也是可能并被构想的。
图4A为根据本发明的施工现场风险细粒度识别系统的框架图，请参见图 4A，包括：
场景图生成模块1：获取一施工现场图像，对所述施工现场图像内的实体以及实体之间的交互关系进行检测，并且根据检测到的所述实体和所述交互关系生成一施工场景图。
可选的，场景图生成模块1包括：
标定框检测单元11：通过Mask R-CNN网络在所述施工现场图像上生成感兴趣区域，并对每个所述感兴趣区域输出对应的特征向量以及标签概率向量；
数据集构建单元12：获取训练图像，根据所述训练图像构建一施工视觉关系数据集，根据所述施工视觉关系数据集对Mask R-CNN网络、第一 transformer网络和第二transformer网络进行训练；
可选的，图4B为图4A中数据集构建单元的框架图，请参见图4B，数据集构建单元12进一步包括：
VIA标注单元121：在VIA标注软件中对所述训练图像中的目标进行类别和位置信息的标注，并对已标注的所述目标的交互信息进行标注；
数据处理单元122：在所述VIA标注软件中完成标注后，导出csv文件，将所述csv文件以数组形式存储，提取所述数组中的所述目标的信息，并将所述目标的信息转换为json文件。
标签检测单元13：根据所述感兴趣区域的标定框的坐标信息、所述特征向量以及所述标签概率向量获取所述感兴趣区域上下文的视觉信息和标签信息；可选的，使用一一transformer网络获取所述视觉信息和所述标签信息，所述第一transformer网络包括一多头注意力机制；
交互关系检测单元14：根据所述视觉信息和所述标定框的坐标信息获取所述交互关系；可选的，可选的，使用一二transformer网络获取所述交互关系；所述交互关系中包括距离属性，根据交互双方的所述标定框的坐标信息计算所述交互双方的交并比，并进一步根据所述交并比计算所述距离属性。可选的，当所述交并比大于0时，根据相机焦距、被拍摄物体实际尺寸、相机传感器尺寸进行所述距离属性的计算。
知识图谱构建模块2：将一施工规范性文件中的所述实体和所述实体之间的约束、所述交互关系进行抽取，获得一施工场景下的知识图谱；可选的，使用neo 4j数据库对所述知识图谱进行存储。
风险识别推理模块3：通过将所述施工场景图和对应施工场景下的所述知识图谱进行一致性检验以进行所述施工现场风险的推理；可选的，提取所述施工场景图中存在所述交互关系的所述实体，根据所述实体在所述知识图谱进行检索，对所述知识图谱中的所述交互关系和所述施工场景图中的所述交互关系进行所述一致性检验。
在具体实施中，本发明的施工现场风险细粒度识别系统的具体作业过程及系统所适用的施工现场风险细粒度识别方法，已在前文进行详细说明，此处不再赘述。
另外，结合图1-3及图6描述的一种施工现场风险细粒度识别方法可以由电子设备来实现。图5为本发明实施例提供的的一电子设备的框架图。
电子设备可以包括处理器61以及存储有计算机程序指令的存储器62。
具体地，上述处理器61可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器62可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器62可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器62可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器62可在数据处理装置的内部或外部。在特定实施例中，存储器62是非易失性(Non-Volatile)存储器。在特定实施例中，存储器62包括只读存储器(Read-Only Memory，简称为ROM) 和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器62可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器61所执行的可能的计算机程序指令。
处理器61通过读取并执行存储器62中存储的计算机程序指令，以实现上述实施例中的任意一种施工现场风险细粒度识别方法。
在其中一些实施例中，电子设备还可包括通信接口63和总线60。其中，如图5所示，处理器61、存储器62、通信接口63通过总线60连接并完成相互间的通信。
通信端口63可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线60包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线60包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线60可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(FrontSide Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand) 互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA) 总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线60可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该电子设备可以执行本申请实施例中的一种施工现场风险细粒度识别方法。
另外，结合上述实施例中的一种施工现场风险细粒度识别方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种施工现场风险细粒度识别方法。
而前述的存储介质包括：U盘、移动硬盘、只读存储器(ReadOnly Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种施工现场风险细粒度识别方法，其特征在于，包括：
场景图生成步骤，获取一施工现场图像，对所述施工现场图像内的实体以及实体之间的交互关系进行检测，并且根据检测到的所述实体和所述交互关系生成一施工场景图；
知识图谱构建步骤，将一施工规范性文件中的所述实体和所述实体之间的约束、所述交互关系进行抽取，获得一施工场景下的知识图谱；
风险识别推理步骤，通过将所述施工场景图和对应施工场景下的所述知识图谱进行一致性检验以进行所述施工现场风险的推理。
2.根据权利要求1所述的施工现场风险细粒度识别方法，其特征在于，所述场景图生成步骤进一步包括：
标定框检测步骤，通过Mask R-CNN网络在所述施工现场图像上生成感兴趣区域，并对每个所述感兴趣区域输出对应的特征向量以及标签概率向量；
标签检测步骤，根据所述感兴趣区域的标定框的坐标信息、所述特征向量以及所述标签概率向量获取所述感兴趣区域上下文的视觉信息和标签信息；
交互关系检测步骤，根据所述视觉信息和所述标定框的坐标信息获取所述交互关系。
3.根据权利要求2所述的施工现场风险细粒度识别方法，其特征在于，所述标签检测步骤进一步包括：使用一第一transformer网络获取所述视觉信息和所述标签信息，所述第一transformer网络包括一多头注意力机制。
4.根据权利要求3所述的施工现场风险细粒度识别方法，其特征在于，所述交互关系检测步骤进一步包括：使用一第二transformer网络获取所述交互关系。
5.根据权利要求4所述的施工现场风险细粒度识别方法，其特征在于，所述场景图生成步骤进一步包括一数据集构建步骤，获取训练图像，根据所述训练图像构建一施工视觉关系数据集，根据所述施工视觉关系数据集对所述Mask R-CNN网络、所述第一transformer网络和所述第二transformer网络进行训练；所述数据集构建步骤进一步包括：
VIA标注步骤，在VIA标注软件中对所述训练图像中的目标进行类别和位置信息的标注，并对已标注的所述目标的交互信息进行标注；
数据处理步骤，在所述VIA标注软件中完成标注后，导出csv文件，将所述csv文件以数组形式存储，提取所述数组中的所述目标的信息，并将所述目标的信息转换为json文件。
6.根据权利要求2所述的施工现场风险细粒度识别方法，其特征在于，所述交互关系检测步骤进一步包括：所述交互关系中包括距离属性，根据交互双方的所述标定框的坐标信息计算所述交互双方的交并比，并进一步根据所述交并比计算所述距离属性。
7.根据权利要求6所述的施工现场风险细粒度识别方法，其特征在于，当所述交并比大于0时，根据相机焦距、被拍摄物体实际尺寸、相机传感器尺寸进行所述距离属性的计算。
8.根据权利要求1所述的施工现场风险细粒度识别方法，其特征在于，所述知识图谱构建步骤进一步包括：使用neo 4j数据库对所述知识图谱进行存储。
9.根据权利要求1所述的施工现场风险细粒度识别方法，其特征在于，所述风险识别推理步骤进一步包括：提取所述施工场景图中存在所述交互关系的所述实体，根据所述实体在所述知识图谱进行检索，对所述知识图谱中的所述交互关系和所述施工场景图中的所述交互关系进行所述一致性检验。
10.一种施工现场风险细粒度识别系统，其特征在于，包括：
场景图生成模块，获取一施工现场图像，对所述施工现场图像内的实体以及实体之间的交互关系进行检测，并且根据检测到的所述实体和所述交互关系生成一施工场景图；
知识图谱构建模块，将一施工规范性文件中的所述实体和所述实体之间的约束、所述交互关系进行抽取，获得一施工场景下的知识图谱；
风险识别推理模块，通过将所述施工场景图和对应施工场景下的所述知识图谱进行一致性检验以进行所述施工现场风险的推理。
CN202110942975.6A 2021-08-17 2021-08-17 一种施工现场风险细粒度识别方法和系统 Active CN113722503B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110942975.6A CN113722503B (zh) 2021-08-17 2021-08-17 一种施工现场风险细粒度识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110942975.6A CN113722503B (zh) 2021-08-17 2021-08-17 一种施工现场风险细粒度识别方法和系统

Publications (2)

Publication Number Publication Date
CN113722503A true CN113722503A (zh) 2021-11-30
CN113722503B CN113722503B (zh) 2024-05-14

Family

ID=78676119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110942975.6A Active CN113722503B (zh) 2021-08-17 2021-08-17 一种施工现场风险细粒度识别方法和系统

Country Status (1)

Country Link
CN (1) CN113722503B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114694098A (zh) * 2022-04-02 2022-07-01 四川大学 基于图像识别与知识图谱的电网基建施工风险管控方法
CN115063056A (zh) * 2022-08-18 2022-09-16 西南交通大学 基于图拓扑分析改进的建造行为安全风险动态分析方法
CN115410335A (zh) * 2022-08-03 2022-11-29 中建三局集团有限公司 一种基于机器视觉及语义网络的建筑工程安全监测预警系统
WO2024066039A1 (zh) * 2022-09-27 2024-04-04 深圳先进技术研究院 一种基于多源数据融合的施工风险评估方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325347A (zh) * 2020-02-19 2020-06-23 山东大学 基于可解释视觉推理模型的危险预警描述自动生成方法
CN111383253A (zh) * 2020-03-03 2020-07-07 清华大学 一种针对施工现场起重机械打击事故预警系统
CN111445524A (zh) * 2020-03-31 2020-07-24 清华大学 基于场景理解的施工现场工人不安全行为识别方法
CN111475624A (zh) * 2020-04-13 2020-07-31 杭州海康威视系统技术有限公司 一种监控数据检索方法、装置及设备
CN111694965A (zh) * 2020-05-29 2020-09-22 中国科学院上海微系统与信息技术研究所 一种基于多模态知识图谱的图像场景检索系统及方法
CN113127606A (zh) * 2021-06-18 2021-07-16 西南交通大学 基于知识图谱的施工行为安全风险分析与危险点识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325347A (zh) * 2020-02-19 2020-06-23 山东大学 基于可解释视觉推理模型的危险预警描述自动生成方法
CN111383253A (zh) * 2020-03-03 2020-07-07 清华大学 一种针对施工现场起重机械打击事故预警系统
CN111445524A (zh) * 2020-03-31 2020-07-24 清华大学 基于场景理解的施工现场工人不安全行为识别方法
CN111475624A (zh) * 2020-04-13 2020-07-31 杭州海康威视系统技术有限公司 一种监控数据检索方法、装置及设备
CN111694965A (zh) * 2020-05-29 2020-09-22 中国科学院上海微系统与信息技术研究所 一种基于多模态知识图谱的图像场景检索系统及方法
CN113127606A (zh) * 2021-06-18 2021-07-16 西南交通大学 基于知识图谱的施工行为安全风险分析与危险点识别方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114694098A (zh) * 2022-04-02 2022-07-01 四川大学 基于图像识别与知识图谱的电网基建施工风险管控方法
CN115410335A (zh) * 2022-08-03 2022-11-29 中建三局集团有限公司 一种基于机器视觉及语义网络的建筑工程安全监测预警系统
CN115063056A (zh) * 2022-08-18 2022-09-16 西南交通大学 基于图拓扑分析改进的建造行为安全风险动态分析方法
CN115063056B (zh) * 2022-08-18 2022-11-18 西南交通大学 基于图拓扑分析改进的建造行为安全风险动态分析方法
WO2024066039A1 (zh) * 2022-09-27 2024-04-04 深圳先进技术研究院 一种基于多源数据融合的施工风险评估方法及装置

Also Published As

Publication number Publication date
CN113722503B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
CN113722503A (zh) 一种施工现场风险细粒度识别方法和系统
JP6452186B2 (ja) 複数の写真の一致性に基づく保険賠償詐欺防止方法、システム、装置及び読み取り可能な記録媒体
CN111652046A (zh) 基于深度学习的安全穿戴检测方法、设备及系统
CN111724496A (zh) 一种考勤方法、考勤装置及计算机可读存储介质
CN115620303B (zh) 人事档案智慧管理系统
Ferdous et al. PPE detector: a YOLO-based architecture to detect personal protective equipment (PPE) for construction sites
CN113298497A (zh) 基于建筑信息模型的图纸审查方法及系统
CN116309580B (zh) 基于磁应力的油气管道腐蚀检测方法
CN113723361A (zh) 一种基于深度学习的视频监测方法及设备
Vieira-e-Silva et al. Stn plad: A dataset for multi-size power line assets detection in high-resolution uav images
CN111274202B (zh) 电子合同生成方法、装置、计算机设备及存储介质
CN111488829A (zh) 杆塔巡检照片分类方法、装置、电子设备以及存储介质
Deepa et al. Pothole Detection using Roboflow Convolutional Neural Networks
Rivera et al. Work safety assessment through contextual analysis with computer vision
CN117351409A (zh) 混凝土坝面作业风险智能识别方法
Sadakatul Bari et al. Performance evaluation of convolution neural network based object detection model for Bangladeshi traffic vehicle detection
Nisa et al. Implementation of Personal Protective Equipment Detection Using Django and Yolo Web at Paiton Steam Power Plant (PLTU)
Alayed et al. Real-Time Inspection of Fire Safety Equipment using Computer Vision and Deep Learning
Bonyani et al. Towards improving workers' safety and progress monitoring of construction sites through construction site understanding
Wang et al. A Detection Method of Safety Helmet Wearing Based on Centernet
Tian et al. Fine-Tuning Vision Transformer (ViT) to Classify Highway Construction Workers’ Activities
CN113792539B (zh) 基于人工智能的实体关系分类方法、装置、电子设备及介质
Yang et al. Vision transformer-based visual language understanding of the construction process
Zacharias et al. Object Detection and Recognition of Swap-Bodies using Camera mounted on a Vehicle
Zheng et al. Helmet detection based on an enhanced YOLO method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant