CN114359831A - 一种面向险兆推理的工人临边坠落智能识别系统及方法 - Google Patents

Abstract

本发明公布了一种面向险兆推理的工人临边坠落智能识别系统及方法，通过提取临边坠落场景关键对象的特征，明确各临边危险场景的空间范围；按照主体类、属性类、客体类、位置类、行为状态类进行知识结构化组合并且通过图数据库构建临边区域险兆知识图谱；对临边坠落危险区域以及工人的行为状态的特征进行视觉识别；根据视觉识别结果利用图数据库推理对工人临边作业的安全状态给予评价。本发明结合工人的行为状态，利用构建好的临边区域险兆知识规则，在智能视觉检测的基础上对临边险兆事件进行识别。发明智能化水平高，具备高度的拓展性和实用价值。

Description

一种面向险兆推理的工人临边坠落智能识别系统及方法

技术领域

本发明涉及计算机视觉语义理解技术领域，包含了深度学习技术、语义推理技术，尤其是涉及一种面向险兆推理的工人临边坠落智能识别系统及方法。

背景技术

建筑业是支撑社会经济发展的重要产业，也是典型的高危行业。在众多安全事故类型中，高处坠落是最主要的事故类型，占据事故起数半数以上。在各种高处作业场景中，攀登、悬空、平台、交叉作业难度大，通常会选择经验丰富的工人且配备可靠的安全装备，发生高处坠落事故的概率微乎其微。然而，难度系数并不高的临边作业坠落却成为所有高处作业中最常见的事故。临边作业中建筑工人一般不会佩戴安全带，而主要依靠建筑工人的主动意识去控制坠落危险，正是由于过度依赖建筑工人的主动意识而让其在临边环境下的不安全行为成为安全事故的推动因素。

事故的发生都是有征兆的。海因里希的安全金字塔法则表明，在发生一起重伤或死亡事故之前可能已经发生了29起轻伤事故和300起险兆事件，这300起险兆事件并不是代表处于安全状态，而是在一定概率上侥幸脱险。该理论充分展现了险兆事件和事故之间存在密不可分的关系。因此，亟需从险兆事件层面进行识别管控，对大量险兆事件进行预警，避免险兆事件向安全事故演化。

近年来，计算机视觉开始应用于施工安全管理，其可自动提取图像中各类目标信息，并根据时序关系和目标语义信息，实现行为动作的识别与预测。然而，如果仅仅依靠计算机视觉在图像感知领域的超强能力而忽略感知对象之间的语义关系，则会在底层特征于高层语义之间出现“语义鸿沟”，即感知结果出现高误报率现象。如何在视觉感知的前提下融入语义信息，才能使机器有规则的去认知世界。将计算机视觉技术融合语义推理用于施工安全行为感知，面向多语义之间的潜在关联进行建模，将为施工安全智能管理提供新的手段和视野。

综上，基于上述问题，亟需设计一种智能化的临边坠落险兆推理方法，为施工现场的安全管理和绩效考核提高可视化依据。

发明内容

针对施工临边坠落事故频发，本发明的目的在于提供一种面向险兆推理的工人临边坠落智能识别系统及方法，用于预防险兆向事故的演化。

一种面向险兆推理的工人临边坠落智能识别系统，包括施工临边作业图像采集单元、语义数据库模型、临边危险区域提取模型、工人行为状态提取模型和语义推理模型级联而成；

所述施工临边作业图像采集单元用于采集施工临边作业图像；并分别输入临边危险区域提取模型、工人行为状态提取模型；

所述临边危险区域提取模型包括临边区域空间范围划分模块和临边危险区域特征提取模块，其中，利用临边区域空间范围划分模块对输入的施工临边作业图像进行临边区域空间范围划分，利用临边危险区域特征提取模块提取危险区域及危险区域内的客体；

所述工人行为状态提取模型包括建筑工人属性提取模块和工人行为特征提取模块；其中，建筑工人属性提取模块对输入的施工临边作业图像中工人的属性进行提取；工人行为特征提取模块对输入的施工临边作业图像进行特征提取，特征即工人行为状态；

所述语义推理模型包括视觉坐标关系挖掘模块、视觉识别结果语义化模块和数据库语义推理模块；视觉坐标关系挖掘模块接收工人行为状态提取模型和临边危险区域提取模型输出的结果，并分别输出危险区域、客体、工人属性和工人行为状态的视觉边框坐标。计算视觉边框坐标之间的交并比，基于交并比获得危险区域、客体、工人属性和工人行为状态之间的空间位置关系；所述视觉识别结果语义化模块根据交并比转换为语义表达；并将语义表达输入数据库语义推理模块；数据库语义推理模块根据语义数据库模型内的临边坠落险兆知识规则，对视觉识别结果语义化模块输出的语义表达进行险兆推理，进而判断施工临边作业图像中是否出现险兆事件；

所述语义数据库模型是由临边坠落险兆知识规则元素构成的知识图谱，临边坠落险兆知识规则以临边事故致因理论和险兆理论为基础，知识图谱将作为险兆事件的判别依据。

进一步，所述知识图谱是由主体类、属性类、客体类、位置类和行为状态类构成，并由主体类、属性类、客体类、位置类和行为状态类排列组合获得语义信息元素。

进一步，临边危险区域特征提取模块提取出的客体为防护措施。

进一步，建筑工人属性提取模块提取出的工人属性包括无安全帽无安全带、无安全帽有安全带、有安全帽无安全带、有安全帽有安全带；

进一步，所述险兆事件包括如下三大类：

第一大类：“无安全帽无安全带/无安全帽有安全带/有安全帽有安全带/有安全帽无安全带”的“工人”在“无防护措施”的“楼梯临边/楼梯侧边/沟槽临边/屋面临边/阳台临边”“站立/行走/倚靠/攀爬/蹲坐”；

第二大类：“无安全帽无安全带/无安全帽有安全带”的“工人”在“有防护措施”的“楼梯临边/楼梯侧边/沟槽临边/屋面临边/阳台临边”“站立/行走/倚靠/攀爬/蹲坐”；

第三大类：“有安全帽无安全带/有安全帽有安全带”的“工人”在“有防护措施”的“楼梯临边/楼梯侧边/沟槽临边/屋面临边/阳台临边”“攀爬”；

将上述三大类均设置为临边坠落险兆知识规则中的险兆事件。

一种面向险兆推理的工人临边坠落智能识别方法，包括如下步骤：

步骤1，采集施工临边作业图；

步骤2，搭建临边危险区域提取模型，利用所搭建的临边危险区域提取模型实现对施工临边作业图像进行临边危险区域及危险区域内的客体提取；

步骤3，搭建工人行为状态提取模型，利用所搭建的工人行为状态提取模型实现对施工临边作业图进行工人属性、行为状态提取；

步骤4，基于工人行为状态提取模型和临边危险区域提取模型输出的结果，输出危险区域、客体、工人属性和工人行为状态的视觉边框坐标，计算视觉边框坐标之间的交并比；基于交并比获得危险区域、客体、工人属性和工人行为状态之间的空间位置关系，实现视觉坐标关系挖掘，并将视觉识别结果语义化；数据库语义推理对语义化的识别结果使用Cypher语言进行推理，以临边险兆事件知识图谱为标准，查询结果中是否出现临边险兆事件。

进一步，步骤2的过程如下：

S1：将施工临边区作业图像增广后以构建临边作业原图像数据集；利用labelme工具进行临边危险区域以及防护措施标注，生成json文件以完成临边危险区域标注数据集的构建。将临边作业原图像数据集和临边危险区域标注数据集统称为临边危险区域图像数据集；

S2：使用Mask-RCNN载入构建好的临边危险区域图像数据集对网络模型进行训练，完成临边危险区域提取模型的搭建；

S3：将所采集的施工临边作业图输入训练好的模型中，利用模型提取临边危险区域；

进一步，步骤3的过程如下：

S1：将施工临边区作业图像增广后以构建临边作业原图像数据集；利用labelme工具进行工人属性以及三点骨骼成形标注，生成json文件以完成工人属性、行为状态标注数据集的构建；将临边作业原图像数据集和工人属性、行为状态标注数据集统称为工人属性、行为状态图像数据集；

S2：载入构建好的工人属性、行为状态图像数据集对网络模型进行训练，在原始目标检测Fast-RCNN的框架前加入骨骼关键点识别，采用Openpose的骨骼关键点识别网络，利用MobileNetV2轻型卷积神经网络替换原VGG-19网络，用于对左右踝骨和骶骨的识别，对关键点实现连线以构成三角形；完成工人行为状态提取模型的搭建；

S3：将所采集的施工临边作业图输入训练好的模型中，利用模型提取工人属性、行为状态。

进一步，工人行为状态提取与分类采用三点骨骼连接形状提取，三点骨骼包括左右踝骨和骶骨，根据三点骨骼连线形成的三角形特征进行行为特征提取；工人行为状态分类包括：站立、行走、倚靠、攀爬、蹲坐，当左右踝骨点几乎重合且与骶骨相距较大时，提取为站立状态；当骶骨连接两边接近相等且远大于第三边，同时三角形所在平面与参照地面垂直时，提取为行走状态；当骶骨连接两边接近相等且远大于第三边，同时三角形所在平面与参照地面不垂直时，提取为倚靠状态；当骶骨连接两边相差较大时，提取为攀爬状态，当三角形所在平面几乎与参照地面平行时，提取为蹲坐状态。

本发明的有益效果：

1.本发明能够实现施工临边作业险兆的识别与推理。与现有技术相比，识别对象更加明确，即在事故发生的险兆阶段进行感知；检测精度更高，在视觉类人解析层面，将视觉内容自动解析成符合人类认知的自然语言描述，通过对自然语义的判别，缓解了单凭视觉技术的误报率高的问题。检测范围更广，实现临边场景内各要素的融合感知，推动施工现场复杂语义的概念识别。

2.本发明结合工人的行为状态进行险兆推理，通过三点骨骼成形对行为状态进行感知，将工人临边作业的常见行为状态囊括于识别模型，提高了检测精度，丰富了检测手段。

3.本发明可结合施工现场的监控系统，实现临边坠落险兆预警的硬件开发。

附图说明

图1为本发明实施例提供的一种面向险兆推理的工人临边坠落智能识别方法流程图；

图2为本发明实施例提供的由临边坠落险兆知识规则元素构成的知识图谱；

图3为本发明实施例提供的临边危险区域提取训练流程图；

图4为本发明实施例提供的临边危险区域提取结果示意图；

图5为本发明实施例提供的工人行为状态提取训练流程图；

图6为本发明实施例提供的工人行为状态提取结果示意图；

图7中，7a和7b为本发明实施例提供的语义推理结果示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例仅用于解释本发明，不作为对本发明的限定。

图1为本发明实施例提供的一种面向险兆推理的工人临边坠落智能识别系统，识别系统是由施工临边作业图像采集单元、语义数据库模型、临边危险区域提取模型、工人行为状态提取模型和语义推理模型级联而成。

施工临边作业图像采集单元用于采集施工临边作业图像；并分别输入临边危险区域提取模型、工人行为状态提取模型。

临边危险区域提取模型、工人行为状态提取模型分别利用特征提取网络，对输入的施工临边作业图像进行特征提取。更具体地，临边危险区域提取模型包括临边区域空间范围划分模块和临边危险区域特征提取模块，利用临边区域空间范围划分模块对输入的施工临边作业图像进行临边区域空间范围划分，即划分出危险区域和非危险区域；利用临边危险区域特征提取模块提取危险区域及危险区域内的客体，该客体为防护措施。

工人行为状态提取模型包括建筑工人属性提取模块和工人行为特征提取模块；建筑工人属性提取模块对输入的施工临边作业图像中工人属性进行提取，设置工人属性包括无安全帽无安全带、无安全帽有安全带、有安全帽无安全带、有安全帽有安全带；工人行为特征提取模块对输入的施工临边作业图像进行特征提取，特征即工人行为状态。

语义推理模型包括视觉坐标关系挖掘模块、视觉识别结果语义化模块和数据库语义推理模块。视觉坐标关系挖掘模块接收工人行为状态提取模型和临边危险区域提取模型输出的结果，并分别输出危险区域、客体、工人属性和工人行为状态的视觉边框坐标。并计算视觉边框坐标之间的交并比(Intersection over Union)；基于交并比获得危险区域、客体、工人属性和工人行为状态之间的空间位置关系。

视觉识别结果语义化模块根据交并比转换为语义表达；并将语义表达输入数据库语义推理模块；

数据库语义推理模块根据语义数据库模型内的临边坠落险兆知识规则，对视觉识别结果语义化模块输出的语义表达进行险兆推理，进而判断施工临边作业图像中是否出现险兆事件。

所述语义数据库模型是由临边坠落险兆知识规则元素构成的知识图谱，临边坠落险兆知识规则以临边事故致因理论和险兆理论(near-miss)为基础，知识图谱将作为险兆事件的判别依据。

由临边坠落险兆知识规则元素构成的知识图谱如图2所示，知识图谱是由主体类(即工人)、属性类、客体类、位置类和行为状态类构成，并由主体类、属性类、客体类、位置类和行为状态类排列组合获得语义信息元素。构建好的知识图谱可以通过neo4j图数据库进行表达。

所述主体类：工人，

所述属性类：无安全帽无安全带、无安全帽有安全带、有安全帽无安全带、有安全帽有安全带。

所述客体类：有防护措施、无防护措施

所述行为状态类：站立、行走、倚靠、攀爬、蹲坐。

所述位置类包括：非临边、楼层临边、楼梯侧边、沟槽临边、屋面临边和阳台临边。

由上述信息，neo4j图数据库可以表达出多种语义信息，例如，无安全帽无安全带的工人在无防护栏杆的楼层临边行走。

在本实施例中，险兆事件包括如下三大类：

第一大类：“(无安全帽无安全带/无安全帽有安全带/有安全帽有安全带/有安全帽无安全带)的(工人)在(无防护措施)的(楼梯临边/楼梯侧边/沟槽临边/屋面临边/阳台临边)(站立/行走/倚靠/攀爬/蹲坐)”；

第二大类：“(无安全帽无安全带/无安全帽有安全带)的(工人)在(有防护措施)的(楼梯临边/楼梯侧边/沟槽临边/屋面临边/阳台临边)(站立/行走/倚靠/攀爬/蹲坐)”；

第三大类：“(有安全帽无安全带/有安全帽有安全带)的(工人)在(有防护措施)的(楼梯临边/楼梯侧边/沟槽临边/屋面临边/阳台临边)(攀爬)”

将上述三大类均设置为临边坠落险兆知识规则中的险兆事件。

基于上述一种面向险兆推理的工人临边坠落智能识别系统，本申请还提出了一种面向险兆推理的工人临边坠落智能识别方法，包括如下步骤：

步骤1，采集施工临边作业图。本发明实施例中，可以通过网络检索、监控收集和实地采集等多种方式获取施工临边作业图像，并利用匀光处理和去噪处理方式增强所获取施工临边作业图像的数据质量。

步骤2，图3为本发明实施例提供的搭建临边危险区域提取模型并进行临边危险区域提取训练流程图，详细步骤如下：

S1：构建临边危险区域数据集

将施工临边区作业图像增广后以构建临边作业原图像数据集；利用labelme工具进行临边危险区域以及防护措施标注，生成json文件以完成临边危险区域标注数据集的构建。将临边作业原图像数据集和临边危险区域标注数据集统称为临边危险区域图像数据集。

S2：临边危险区域提取模型选定与训练

使用Mask-RCNN载入构建好的临边危险区域图像数据集对网络模型进行训练，将临边危险区域图像数据集按9:1划分为测试集和验证集，在完成一个批次的训练后对验证集进行训练效果验证，若效果不佳则调整模型参数进行重新训练。训练前设置批尺寸(Batch-size)为32，训练轮次为(Epoch)为150轮。训练过程中采用迁移学习训练方法(Transfer Learning)。初步训练模型的网络权重作为分类网络的初始权重，减少训练时长和内存消耗，提高算法在小数据集上分类精度；训练设置早停(Early Stopping)，当损失值收敛时，表示训练完全，即停止训练，避免训练过拟合。将最佳训练权重保存。

S3：将所采集的施工临边作业图输入训练好的模型中，利用模型提取临边危险区域，如图4所示临边坠落危险区域和防护措施。

步骤3，图5为本发明实施例提供的搭建工人行为状态提取模型并工人行为状态提取训练流程图；详细步骤如下：

S1：将施工临边区作业图像增广后以构建临边作业原图像数据集；利用labelme工具进行工人属性以及三点骨骼成形标注，生成json文件以完成工人属性、行为状态标注数据集的构建。将临边作业原图像数据集和工人属性、行为状态标注数据集统称为工人属性、行为状态图像数据集；

所述工人属性提取与分类对配备不同安全装备工人进行目标框定，框定结果包含以下类别：无安全帽无安全带工人、无安全帽有安全带工人、有安全帽无安全带工人、有安全帽有安全带工人。

所述工人行为特征提取与分类采用三点骨骼连接形状提取，三点骨骼包括左右踝骨和骶骨，根据三点骨骼连线形成的三角形特征进行行为特征提取；所述工人行为状态分类包括：站立、行走、倚靠、攀爬、蹲坐，当左右踝骨点几乎重合且与骶骨相距较大时，提取为站立状态；当骶骨连接两边接近相等且远大于第三边，同时三角形所在平面与参照地面垂直时，提取为行走状态；当骶骨连接两边接近相等且远大于第三边，同时三角形所在平面与参照地面不垂直时，提取为倚靠状态；当骶骨连接两边相差较大时，提取为攀爬状态，当三角形所在平面几乎与参照地面平行时，提取为蹲坐状态。

S2：工人行为状态提取模型选定与训练

载入构建好的工人属性、行为状态图像数据集对网络模型进行训练，在原始目标检测Fast-RCNN的框架前加入骨骼关键点识别，采用Openpose的骨骼关键点识别网络，利用MobileNetV2轻型卷积神经网络替换原VGG-19网络，用于对左右踝骨和骶骨的识别，对关键点实现连线以构成三角形。将工人属性、行为状态图像数据集按9:1划分为测试集和验证集，在完成一个批次的训练后对验证集进行训练效果验证，若效果不佳则调整模型参数进行重新训练。训练前设置批尺寸(Batch-size)为32，训练轮次为(Epoch)为200轮。训练设置早停(Early Stopping)，当损失值收敛时，表示训练完全，即停止训练，避免训练过拟合。将最佳训练权重保存。

S3：将所采集的施工临边作业图输入训练好的模型中，利用模型提取工人属性、行为状态，如图6所示的工人属性和三点骨骼连线成形的工人行为状态。

步骤4，图7为本发明实施例提供的语义推理结果示意图，详细步骤如下：

S1：视觉坐标关系挖掘

视觉坐标关系挖掘模块接收工人行为状态提取模型和临边危险区域提取模型输出的结果，并分别输出危险区域、客体、工人属性和工人行为状态的视觉边框坐标。并计算视觉边框坐标之间的交并比(Intersection over Union)；基于交并比获得危险区域、客体、工人属性和工人行为状态之间的空间位置关系；各对象视觉边框之间的关系包括内含、相离、相交。

步骤S2：视觉识别结果语义化

视觉识别结果语义化将多个对象像素坐标之间的关系转换为以节点和边为主的语义关系，识别对象以节点表示，坐标关系以边表示，各对象之间的关系对应为内部、外部、边缘。具体流程包括将视觉对象的标签数据转化为CSV格式，使用neo4j图数据库的LoadCSV指令导入CSV数据。

步骤S3：数据库语义推理

数据库语义推理对语义化的识别结果使用Cypher语言进行推理，以临边险兆事件知识图谱为标准，查询结果中是否出现临边险兆事件。对符合险兆知识规则的事件提前识别并在推理模型中以不同颜色标注出来，方便与非险兆知识规则的事件区分。

在本实施例中，步骤2和步骤3是可同时进行的，步骤的先后只是为了便于表述。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (9)

1.一种面向险兆推理的工人临边坠落智能识别系统，其特征在于，包括施工临边作业图像采集单元、语义数据库模型、临边危险区域提取模型、工人行为状态提取模型和语义推理模型级联而成；

所述施工临边作业图像采集单元用于采集施工临边作业图像；并分别输入临边危险区域提取模型、工人行为状态提取模型；

所述临边危险区域提取模型包括临边区域空间范围划分模块和临边危险区域特征提取模块，其中，利用临边区域空间范围划分模块对输入的施工临边作业图像进行临边区域空间范围划分，利用临边危险区域特征提取模块提取危险区域及危险区域内的客体；

所述工人行为状态提取模型包括建筑工人属性提取模块和工人行为特征提取模块；其中，建筑工人属性提取模块对输入的施工临边作业图像中工人的属性进行提取；工人行为特征提取模块对输入的施工临边作业图像进行特征提取，特征即工人行为状态；

所述语义推理模型包括视觉坐标关系挖掘模块、视觉识别结果语义化模块和数据库语义推理模块；视觉坐标关系挖掘模块接收工人行为状态提取模型和临边危险区域提取模型输出的结果，并分别输出危险区域、客体、工人属性和工人行为状态的视觉边框坐标；计算视觉边框坐标之间的交并比，基于交并比获得危险区域、客体、工人属性和工人行为状态之间的空间位置关系；所述视觉识别结果语义化模块根据交并比转换为语义表达；并将语义表达输入数据库语义推理模块；数据库语义推理模块根据语义数据库模型内的临边坠落险兆知识规则，对视觉识别结果语义化模块输出的语义表达进行险兆推理，进而判断施工临边作业图像中是否出现险兆事件；

所述语义数据库模型是由临边坠落险兆知识规则元素构成的知识图谱，临边坠落险兆知识规则以临边事故致因理论和险兆理论为基础，知识图谱将作为险兆事件的判别依据。

2.根据权利要求一种面向险兆推理的工人临边坠落智能识别系统，其特征在于，所述知识图谱是由主体类、属性类、客体类、位置类和行为状态类构成，并由主体类、属性类、客体类、位置类和行为状态类排列组合获得语义信息元素。

3.根据权利要求一种面向险兆推理的工人临边坠落智能识别系统，其特征在于，临边危险区域特征提取模块提取出的客体为防护措施。

4.根据权利要求一种面向险兆推理的工人临边坠落智能识别系统，其特征在于，建筑工人属性提取模块提取出的工人属性包括无安全帽无安全带、无安全帽有安全带、有安全帽无安全带、有安全帽有安全带。

5.根据权利要求一种面向险兆推理的工人临边坠落智能识别系统，其特征在于，所述险兆事件包括如下三大类：

第一大类：“无安全帽无安全带/无安全帽有安全带/有安全帽有安全带/有安全帽无安全带”的“工人”在“无防护措施”的“楼梯临边/楼梯侧边/沟槽临边/屋面临边/阳台临边”“站立/行走/倚靠/攀爬/蹲坐”；

第二大类：“无安全帽无安全带/无安全帽有安全带”的“工人”在“有防护措施”的“楼梯临边/楼梯侧边/沟槽临边/屋面临边/阳台临边”“站立/行走/倚靠/攀爬/蹲坐”；

第三大类：“有安全帽无安全带/有安全帽有安全带”的“工人”在“有防护措施”的“楼梯临边/楼梯侧边/沟槽临边/屋面临边/阳台临边”“攀爬”；

将上述三大类均设置为临边坠落险兆知识规则中的险兆事件。

6.一种面向险兆推理的工人临边坠落智能识别方法，其特征在于，包括如下步骤：

步骤1，采集施工临边作业图；

步骤2，搭建临边危险区域提取模型，利用所搭建的临边危险区域提取模型实现对施工临边作业图像进行临边危险区域及危险区域内客体提取；

步骤3，搭建工人行为状态提取模型，利用所搭建的工人行为状态提取模型实现对施工临边作业图进行工人属性、行为状态提取；

步骤4，基于工人行为状态提取模型和临边危险区域提取模型输出的结果，输出危险区域、客体、工人属性和工人行为状态的视觉边框坐标，计算视觉边框坐标之间的交并比；基于交并比获得危险区域、客体、工人属性和工人行为状态之间的空间位置关系，实现视觉坐标关系挖掘，并将视觉识别结果语义化；数据库语义推理对语义化的识别结果使用Cypher语言进行推理，以临边险兆事件知识图谱为标准，查询结果中是否出现临边险兆事件。

7.根据权利要求6所述的一种面向险兆推理的工人临边坠落智能识别方法，其特征在于，步骤2的过程如下：

S1：将施工临边区作业图像增广后以构建临边作业原图像数据集；利用labelme工具进行临边危险区域以及防护措施标注，生成json文件以完成临边危险区域标注数据集的构建。将临边作业原图像数据集和临边危险区域标注数据集统称为临边危险区域图像数据集；

S2：使用Mask-RCNN载入构建好的临边危险区域图像数据集对网络模型进行训练，完成临边危险区域提取模型的搭建；

S3：将所采集的施工临边作业图输入训练好的模型中，利用模型提取临边危险区域。

8.根据权利要求6所述的一种面向险兆推理的工人临边坠落智能识别方法，其特征在于，步骤3的过程如下：

S1：将施工临边区作业图像增广后以构建临边作业原图像数据集；利用labelme工具进行工人属性以及三点骨骼成形标注，生成json文件以完成工人属性、行为状态标注数据集的构建；将临边作业原图像数据集和工人属性、行为状态标注数据集统称为工人属性、行为状态图像数据集；

S2：载入构建好的工人属性、行为状态图像数据集对网络模型进行训练，在原始目标检测Fast-RCNN的框架前加入骨骼关键点识别，采用Openpose的骨骼关键点识别网络，利用MobileNetV2轻型卷积神经网络替换原VGG-19网络，用于对左右踝骨和骶骨的识别，对关键点实现连线以构成三角形；完成工人行为状态提取模型的搭建；

S3：将所采集的施工临边作业图输入训练好的模型中，利用模型提取工人属性、行为状态。

9.根据权利要求8所述的一种面向险兆推理的工人临边坠落智能识别方法，其特征在于，工人行为状态提取与分类采用三点骨骼连接形状提取，三点骨骼包括左右踝骨和骶骨，根据三点骨骼连线形成的三角形特征进行行为特征提取；工人行为状态分类包括：站立、行走、倚靠、攀爬、蹲坐，当左右踝骨点几乎重合且与骶骨相距较大时，提取为站立状态；当骶骨连接两边接近相等且远大于第三边，同时三角形所在平面与参照地面垂直时，提取为行走状态；当骶骨连接两边接近相等且远大于第三边，同时三角形所在平面与参照地面不垂直时，提取为倚靠状态；当骶骨连接两边相差较大时，提取为攀爬状态，当三角形所在平面几乎与参照地面平行时，提取为蹲坐状态。

Images