CN112149962A - 一种施工事故致因行为的风险定量评估方法及系统 - Google Patents
一种施工事故致因行为的风险定量评估方法及系统 Download PDFInfo
- Publication number
- CN112149962A CN112149962A CN202010891841.1A CN202010891841A CN112149962A CN 112149962 A CN112149962 A CN 112149962A CN 202010891841 A CN202010891841 A CN 202010891841A CN 112149962 A CN112149962 A CN 112149962A
- Authority
- CN
- China
- Prior art keywords
- model
- behavior
- risk
- construction
- operator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010276 construction Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000011158 quantitative evaluation Methods 0.000 title claims description 4
- 230000006399 behavior Effects 0.000 claims abstract description 117
- 230000009471 action Effects 0.000 claims abstract description 25
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 15
- 238000012546 transfer Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 13
- 230000009466 transformation Effects 0.000 claims abstract description 13
- 238000013135 deep learning Methods 0.000 claims abstract description 12
- 238000012502 risk assessment Methods 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims description 20
- 238000000354 decomposition reaction Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000004088 simulation Methods 0.000 claims description 10
- 230000001364 causal effect Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 7
- 238000003696 structure analysis method Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 9
- 238000005286 illumination Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000007726 management method Methods 0.000 description 5
- 201000001718 Roberts syndrome Diseases 0.000 description 4
- 208000012474 Roberts-SC phocomelia syndrome Diseases 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000009432 framing Methods 0.000 description 4
- 210000003141 lower extremity Anatomy 0.000 description 4
- 210000001364 upper extremity Anatomy 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 238000013024 troubleshooting Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003313 weakening effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013077 scoring method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
- G06Q50/265—Personal security, identity or safety
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/14—Force analysis or force optimisation, e.g. static or dynamic forces
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Primary Health Care (AREA)
- Development Economics (AREA)
- Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Quality & Reliability (AREA)
- Computer Security & Cryptography (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Operations Research (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种施工事故致因行为的风险定量评估方法及系统，其方法包括：建立基于系统动力学的隧道施工作业行为安全风险模型，获取施工事故的所有致因行为；基于深度学习的人体结构数字化表征模型，结合逆变换处理后的空间转移网络获取作业人员的人体骨骼关节点数据集；通过图卷积网络对所述人体骨骼关节点数据集进行特征提取，基于所述所有致因行为识别出所述作业人员的当前行为动作；基于贝叶斯网络对所述当前行为动作的风险等级进行定量评估。在本发明实施例中，通过结合深度学习方式可实现对复杂隧道施工行为的风险评估，具备较高的可靠性。
Description
技术领域
本发明涉及施工安全领域，尤其涉及一种施工事故致因行为的风险定量评估方法及系统。
背景技术
目前的隧道施工安全管理工作主要依赖于对作业人员的安全教育和管理员的日常巡视，虽然具备完善的规章制度，但管控成效难以提升，从而导致安全监管工作效率低下。由于作业人员的不规范行为无法被及时监测预警，使得安全事故屡屡发生，然而现有的风险评估技术多采用静态定性分析方法，流程较为复杂，且隐患排查指标不明确，难以适应于复杂的隧道施工风险分析。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种施工事故致因行为的风险定量评估方法及系统，通过结合深度学习方式可实现对复杂隧道施工行为的风险评估，具备较高的可靠性。
为了解决上述问题，本发明提出了一种施工事故致因行为的风险定量评估方法，所述方法包括：
建立基于系统动力学的隧道施工作业行为安全风险模型，获取施工事故的所有致因行为；
基于深度学习的人体结构数字化表征模型，结合逆变换处理后的空间转移网络获取作业人员的人体骨骼关节点数据集；
通过图卷积网络对所述人体骨骼关节点数据集进行特征提取，基于所述所有致因行为识别出所述作业人员的当前行为动作；
基于贝叶斯网络对所述当前行为动作的风险等级进行定量评估。
可选的，所述建立基于系统动力学的隧道施工作业行为安全风险模型，获取施工事故的所有致因行为包括：
利用风险分解结构分析方法获取隧道施工过程中的典型事故的影响因素，并基于所述影响因素构建施工行为风险影响体系；
基于所述施工行为风险影响体系确定模型边界条件，并结合所述模型边界条件建立系统动力学方程；
设置模型变量参数，并将所述模型变量参数与所述系统动力学方程进行融合，生成系统动力学模型；
利用系统动力学仿真软件建立针对所述系统动力学模型的仿真模拟环境，确定对施工事故造成影响的所有致因行为。
可选的，所述结合所述模型边界条件建立系统动力学方程包括：
基于所述模型边界条件，建立流位流率系；
对所述流位流率系进行反馈环分析，获取施工行为风险的主导反馈环；
联合所述主导反馈环与一阶子系统方程，建立系统动力学方程。
可选的，所述一阶子系统方程为：
LEV.K＝LEV.J+(DT)(RT.JK)
RT.JK＝CONST*DISC.K
DISC.K＝GL-LEV.K
其中，LEV为状态变量，DT为时间间隔，RT为速率变量，CONST为比例常数，DISC为偏差，GL为目标值，K表示当前时刻，J表示上一时刻。
可选的，所述基于深度学习的人体结构数字化表征模型，结合空间转移网络获取作业人员的人体骨骼关节点数据集包括：
通过摄像头采集作业人员的图像数据，并对所述图像数据进行预处理；
基于深度残差网络对预处理后的图像数据进行多区域特征提取，获取所述作业人员的各个区域定位信息；
搭建堆叠沙漏网络结构，并将所述各个区域定位信息导入所述堆叠沙漏网络结构进行多尺度特征提取，输出所述作业人员的各部分骨骼点信息；
基于逆变换处理后的空间转移网络对所述各部分骨骼点信息进行坐标映射，获取所述作业人员的人体骨骼关节点数据集。
可选的，所述逆变换处理后的空间转移网络包括：
[γ1 γ2]＝[θ1 θ2]-1
γ3＝-1×[γ1 γ2]θ3
其中，
为变换前的二维坐标，
为变换后的二维坐标，[γ1 γ2γ3]为映射参数矩阵[θ1 θ2 θ3]的逆变换矩阵。
可选的，所述图卷积网络为：
其中，vi为卷积居中的根顶点，Nk(vi)为vi的k阶邻域，vj为邻域中的子节点，W(L(vj))为权重向量，X(vj)为vj的输入特征，Y(vi)为根点vi的卷积输出特征，Anorm为参数矩阵。
可选的，所述通过图卷积网络对所述人体骨骼关节点数据集进行特征提取，基于所述所有致因行为识别出所述作业人员的当前行为动作包括：
对所述人体骨骼关节点数据集进行逐帧的时空卷积，获取所述作业人员的各个运动骨骼节点图；
基于设定的划分规则将所述各个运动骨骼节点图进行聚合，生成所述作业人员的行为分类结果；
基于结合所述所有致因行为所搭建的视觉监测系统，对所述行为分类结果进行识别匹配，并获取所述作业人员的当前行为动作。
另外，本发明实施例还提供了一种施工事故致因行为的风险定量评估系统，所述系统包括：
建立模块，用于建立基于系统动力学的隧道施工作业行为安全风险模型，获取施工事故的所有致因行为；
获取模块，用于基于深度学习的人体结构数字化表征模型，结合逆变换处理后的空间转移网络获取作业人员的人体骨骼关节点数据集；
识别模块，用于通过图卷积网络对所述人体骨骼关节点数据集进行特征提取，基于所述所有致因行为识别出所述作业人员的当前行为动作；
评估模块，用于基于贝叶斯网络对所述当前行为动作的风险等级进行定量评估。
可选的，所述建立模块包括：
体系构建单元，用于利用风险分解结构分析方法获取隧道施工过程中的典型事故的影响因素，并基于所述影响因素构建施工行为风险影响体系；
方程建立单元，用于基于所述施工行为风险影响体系确定模型边界条件，并结合所述模型边界条件建立系统动力学方程；
模型生成单元，用于设置模型变量参数，并将所述模型变量参数与所述系统动力学方程进行融合，生成系统动力学模型；
行为确定单元，用于利用系统动力学仿真软件建立针对所述系统动力学模型的仿真模拟环境，确定对施工事故造成影响的所有致因行为。
在本发明实施例中，通过将隧道施工过程中的行为安全问题引入系统动力学模型进行量化分析，可使得复杂隧道施工行为的隐患排查指标更加明确；通过结合深度学习方式可对复杂隧道施工过程中所出现的作业人员进行特征提取加速化，同时基于贝叶斯网络可更为准确地对该作业人员的行为动作进行风险评估，具备较高的可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例公开的一种施工事故致因行为的风险定量评估方法的流程示意图；
图2是本发明实施例公开的堆叠沙漏网络结构的内部组成示意图；
图3是本发明实施例公开的一种施工事故致因行为的风险定量评估系统的组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1是本发明实施例中的一种施工事故致因行为的风险定量评估方法的流程示意图，所述风险定量评估方法包括如下步骤：
S101、建立基于系统动力学的隧道施工作业行为安全风险模型，获取施工事故的所有致因行为；
本发明实施过程包括：
(1)利用风险分解结构分析方法获取隧道施工过程中的典型事故的影响因素，并基于所述影响因素构建施工行为风险影响体系；
具体的，基于工作分解结构的风险分解结构分析方法建立隧道施工过程与典型风险交叉的WBS-RBS风险矩阵，获取隧道施工过程中的典型事故的各个影响因素，并对所述各个影响因素进行归类，具体划分为瓦斯爆炸、塌方、涌水和岩爆这四个典型事故。
进一步说明为：通过工作分解结构WBS对整个隧道施工工程分解为更小、更易分析且相对独立的项目单元，并将其作为项目管理工作的对象，再通过项目管理将所有的项目单元组合以达到综合分析和控制的要求；而通过风险分解结构RBS将隧道施工工程中所存在的可能引起风险事件发生的风险因素进行细化和分解，以将风险因素具体化。根据所述WBS-RBS风险矩阵，对所述工作分解结构WBS下的所有节点逐一进行识别，以获取当前运作的项目单元，再根据该项目单元的实际施工状况判断所述风险分解结构RBS下的所有节点所对应的典型风险是否存在，并找出引起该典型风险发生的潜在风险因素，同时将该潜在风险因素列在两节点的交点处，以此构建出所述施工行为风险影响体系。
(2)基于所述施工行为风险影响体系确定模型边界条件，并结合所述模型边界条件建立系统动力学方程；
具体的，首先通过所述施工行为风险影响体系对施工行为与所对应的典型事故之间的因果关系进行分析，以确定模型边界条件；其次基于所述模型边界条件建立流位流率系，并对所述流位流率系进行反馈环分析，以获取施工行为风险的主导反馈环；最后联合所述主导反馈环与一阶子系统方程，建立系统动力学方程，其中所述一阶子系统方程为：
LEV.K＝LEV.J+(DT)(RT.JK)
RT.JK＝CONST*DISC.K
DISC.K＝GL-LEV.K
式中：LEV为状态变量，DT为时间间隔，RT为速率变量，CONST为比例常数，DISC为偏差，GL为目标值，K表示当前时刻，J表示上一时刻。
(3)设置模型变量参数，并将所述模型变量参数与所述系统动力学方程进行融合，生成系统动力学模型；
具体的，首先通过综合专家评分法、参数估计法和案例分析法对模型变量参数进行设置，其中所述模型变量参数包括各风险因素的权重和各风险因素的初始值；再利用对所述模型变量参数的回归分析，与所述系统动力学方程融合生成系统动力学模型。
(4)利用系统动力学仿真软件建立针对所述系统动力学模型的仿真模拟环境，确定对施工事故造成影响的所有致因行为。
具体的，利用VENSIM-PLE系统动力学仿真软件为所述系统动力学模型建立一个仿真模拟环境，同时针对不同的致因行为对该仿真模拟环境中所需要的仿真变量进行调整，再通过对比某个时间段内的仿真结果进行分析，可确定致因行为B对风险事故C的影响为：
其中，R为安全风险度，p(Bi)为发生致因行为Bi的概率，ci为风险事故Ci所产生的影响程度，λi为致因行为Bi对风险事故Ci的影响权重因子，且p(Bi)与ci的取值可根据国际隧道协会所建议的标准结合统计结果进行设定。
其次，通过设定一个判断阈值对上述所求解得到的安全风险度进行风险等级划分与致因行为筛选，将安全风险度超过该判断阈值的致因行为进行统计。
S102、基于深度学习的人体结构数字化表征模型，结合逆变换处理后的空间转移网络获取作业人员的人体骨骼关节点数据集；
本发明实施过程包括：
(1)通过摄像头采集作业人员的图像数据，并对所述图像数据进行预处理；
具体的，基于频域滤波增强原理对所述图像数据进行噪点消除，使得所述图像数据变得清晰化；同时通过光照传感器对隧道内的光照环境强度进行检测，针对隧道内光照环境的变化对所述图像数据进行光照补偿处理，包括在隧道内光照较弱的情况下对所述图像数据进行亮度增强，在室内光照较强的情况下对所述图像数据进行亮度削弱，其中对亮度的增强或削弱主要包含有亮度调整、色调调整和饱和度调整。需要说明的是，对检测到的光照环境强度设定有相对应的调整比例，光照补偿处理将按照设定的调整比例进行。
(2)基于深度残差网络对预处理后的图像数据进行多区域特征提取，获取所述作业人员的各个区域定位信息；
具体的，本发明实施例采用Resnet残差网络模型作为人体特征提取的基础网络结构，为提高Resnet残差网络模型对人体特征的表征程度，提出从如何提高对人体局部-整体的检测定位准确率入手来对Resnet残差网络模型的深度进行升级，即对Resnet残差网络模型中的目标损失函数进行改进，包括如下：
由于人体目标检测的关注点在于检测对象是否存在、检测对象的所属类别判定以及检测对象的所在区域判定，目标损失函数可相应由目标置信度损失Lconf(o,p)、目标类别损失Lcla(O,P)以及目标定位损失Lloc(μ,σ)这三部分所构成，此时通过引入权重因子参数λ1、λ2、λ3，获取改进后的目标损失函数为：
L(O,P,o,p,μ,σ)＝λ1Lconf(o,p)+λ2Lcla(O,P)+λ3Lloc(μ,σ)
其中，o为预测结果边框中整体目标存在与否的判断结果，p为预测结果边框中整体目标存在的概率，O为预测结果边框中任一类目标存在与否的判断结果，P为预测结果边框中任一类目标存在的概率，μ为预测结果的均值，σ为预测结果的方差。
式中：所述目标置信度损失Lconf(o,p)采用二值交叉熵损失表征为：
其中，oi为预测结果边框i中整体目标存在与否的判断结果，oi为0时表示目标不存在，oi为1时表示目标存在，pi为预测结果边框i中整体目标存在的概率，
为预测结果边框i中整体目标存在的真实概率。
式中：所述目标类别损失Lcla(O,P)采用二值交叉熵损失表征为：
其中，Oij为预测结果边框i中第j类目标存在与否的判断结果，Oij为0时表示第j类目标不存在，Oij为1时表示第j类目标存在，Pij为预测结果边框i中第j类目标存在的概率，
为预测结果边框i中整体目标存在的真实概率；需要说明的是，该预测结果边框i对应为所述作业人员的人体特征的位置框，第j类目标对应为所述作业人员的头部特征或者上肢特征或者下肢特征的位置框。
式中：所述目标定位损失Lloc(μ,σ)采用如下表征：
Lloc(μ,σ)＝mean(L),L＝{l1,…,lW×H×I}T
其中，W为输入图像的宽，H为输入图像的高，I为待检测位置框的标记号，i、j、k均为索引系数，对应着模型中所设定的预测框，L为所有预测结果误差输出向量，目标定位损失函数为L的均值，对每一个预测框输出的{x,y,w,h}预测结果，通过其均值与方差来表征损失结果lijk，Gt为待检测位置框的结果真实值，μt为模型的预测均值，σt为模型的预测方差。
需要说明的是，μt、σt是采用随机梯度下降法完成训练的，同时利用Sigmoid函数将二者的值转换到(0,1)范围内，用于表征待检测位置框的预测结果的可靠性，其求解过程包括：
其次，从所述预处理后的图像数据中抽取一小部分图像数据作为训练集，并将所述训练集导入所述Resnet残差网络模型中，结合反向传播算法对所述Resnet残差网络模型的学习参数进行更新，直至所述改进后的目标损失函数的变化量小于设定阈值时，可获取训练后的Resnet残差网络模型；
最后，将所述预处理后的图像数据中所剩下的所有图像数据作为测试集，并将所述测试集导入所述训练后的Resnet残差网络模型中，经过池化处理与上下采样过程可获取所述作业人员的各个区域定位信息，包括所述作业人员的头部特征框选、上肢特征框选、下肢特征框选和全身特征框选。
(3)搭建堆叠沙漏网络结构，并将所述各个区域定位信息导入所述堆叠沙漏网络结构进行多尺度特征提取，输出所述作业人员的各部分骨骼点信息；
具体的，图2示出了本发明实施例中的堆叠沙漏网络结构的内部组成示意图，当所述各个区域定位信息导入所述堆叠沙漏网络结构后，可将所述各个区域定位信息进行片区分配与片区内的特征提取，其中各个片区提取过程包括：利用Layer1a片区提取所述作业人员的全身特征，利用Layer2a片区提取所述作业人员的上肢特征，利用Layer3a片区提取所述作业人员的下肢特征，以及利用Layer4a片区提取所述作业人员的头部特征；
其次，结合各个片区的特征提取结果，输出所述作业人员的各部分骨骼点信息包括：利用Layer4b重构片区(Layer4b＝Layer7+Layer4a)完成对所述作业人员的头部特征检测结果的耦合，利用Layer3b重构片区(Layer3b＝Layer4b+Layer3a)完成对所述作业人员的下肢特征检测结果的耦合，利用Layer2b重构片区(Layer2b＝Layer3b+Layer2a)完成对所述作业人员的上肢特征检测结果的耦合，利用Layer1b重构片区(Layer1b＝Layer2b+Layer1a)完成对所述作业人员的全身特征检测结果的耦合。
(4)基于逆变换处理后的空间转移网络对所述各部分骨骼点信息进行坐标映射，获取所述作业人员的人体骨骼关节点数据集，其中所述逆变换处理后的空间转移网络包括：
[γ1 γ2]＝[θ1 θ2]-1
γ3＝-1×[γ1 γ2]θ3
式中：
为变换前的二维坐标，
为变换后的二维坐标，[γ1 γ2γ3]为映射参数矩阵[θ1 θ2 θ3]的逆变换矩阵。
S103、通过图卷积网络对所述人体骨骼关节点数据集进行特征提取，基于所述所有致因行为识别出所述作业人员的当前行为动作；
具体实施过程包括：
(1)对所述人体骨骼关节点数据集进行逐帧的时空卷积，获取所述作业人员的各个运动骨骼节点图；
具体的，依次从所述人体骨骼关节点数据集中抽取单帧数据输入，并基于该帧数据的特征所属，利用图卷积网络对该帧数据进行空域上的卷积，再将空域卷积结果作为输入特征值来执行时域上的卷积后，可输出所述作业人员的各个运动骨骼节点图。其中，所述图卷积网络为：
其中，vi为卷积居中的根顶点，Nk(vi)为vi的k阶邻域，vj为邻域中的子节点，W(L(vj))为权重向量，X(vj)为vj的输入特征，Y(vi)为根点vi的卷积输出特征，Anorm为参数矩阵(i行×j列)，A为邻接矩阵(i行×j列)。
(2)基于设定的划分规则将所述各个运动骨骼节点图进行聚合，生成所述作业人员的行为分类结果；
具体的，通过拟定不同的划分规则(重心距离划分、空间构型划分和四肢形态划分)，将所述各个运动骨骼节点图在满足上述各个划分规则的情况下进行关联子集结果的聚合，并基于聚合结果确定所述作业人员的行为分类结果，其中关联子集的聚合过程为：
Y′(vi)＝Fagg(Yp1(vi),Yp2(vi))|(p1,p2)∈{1,…,n}×{1,…,n}
其中，Yp1(vi)与Yp2(vi)为相关联的两个卷积输出特征，是由步骤(1)中所提供的公式而计算出来的，n为所述各个运动骨骼节点图的总数量，p1、p2分别为所述各个运动骨骼节点图中相关联的两个节点图的标记号。
(3)基于结合所述所有致因行为所搭建的视觉监测系统，对所述行为分类结果进行识别匹配，并获取所述作业人员的当前行为动作X，与此同时通过系统内部的分类器可输出所述当前行为动作X的置信度概率P(Xi)。
S104、基于贝叶斯网络对所述当前行为动作的风险等级进行定量评估。
在本发明实施例中，首先基于贝叶斯网络可计算出所述当前行为动作X产生风险的概率P为：
其中，T＝1代表所述当前行为动作X产生低风险，T＝2代表所述当前行为动作X产生中风险，T＝3代表所述当前行为动作X产生高风险，M(T)为相应风险等级下的模糊隶属度矩阵；
由于所述当前行为动作X产生风险的概率P为综合各个不同等级的风险因素所得的预测值，技术人员可根据该概率P重新定义所述当前行为动作X的风险度。
图3示出了本发明实施例中的一种施工事故致因行为的风险定量评估系统的组成示意图，所述系统包括：
建立模块201，用于建立基于系统动力学的隧道施工作业行为安全风险模型，获取施工事故的所有致因行为；
具体的，所述建立模块201包括体系构建单元、方程建立单元、模型生成单元和行为确定单元；其中，所述体系构建单元用于利用风险分解结构分析方法获取隧道施工过程中的典型事故的影响因素，并基于所述影响因素构建施工行为风险影响体系；所述方程建立单元用于基于所述施工行为风险影响体系确定模型边界条件，并结合所述模型边界条件建立系统动力学方程；所述模型生成单元用于设置模型变量参数，并将所述模型变量参数与所述系统动力学方程进行融合，生成系统动力学模型；所述行为确定单元用于利用系统动力学仿真软件建立针对所述系统动力学模型的仿真模拟环境，确定对施工事故造成影响的所有致因行为。
获取模块202，用于基于深度学习的人体结构数字化表征模型，结合逆变换处理后的空间转移网络获取作业人员的人体骨骼关节点数据集；
识别模块203，用于通过图卷积网络对所述人体骨骼关节点数据集进行特征提取，基于所述所有致因行为识别出所述作业人员的当前行为动作；
评估模块204，用于基于贝叶斯网络对所述当前行为动作的风险等级进行定量评估。
其中，所述系统被配置用于执行上述的施工事故致因行为的风险定量评估方法，针对所述系统中的各个模块的具体实施方式请参考图1所示出的方法流程图及具体实施内容，在此不再赘述。
在本发明实施例中，通过将隧道施工过程中的行为安全问题引入系统动力学模型进行量化分析，可使得复杂隧道施工行为的隐患排查指标更加明确；通过结合深度学习方式可对复杂隧道施工过程中所出现的作业人员进行特征提取加速化，同时基于贝叶斯网络可更为准确地对该作业人员的行为动作进行风险评估，具备较高的可靠性。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
以上对本发明实施例所提供的一种施工事故致因行为的风险定量评估方法及系统进行了详细介绍，本文中采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种施工事故致因行为的风险定量评估方法，其特征在于，所述方法包括：
建立基于系统动力学的隧道施工作业行为安全风险模型，获取施工事故的所有致因行为；
基于深度学习的人体结构数字化表征模型，结合逆变换处理后的空间转移网络获取作业人员的人体骨骼关节点数据集；
通过图卷积网络对所述人体骨骼关节点数据集进行特征提取，基于所述所有致因行为识别出所述作业人员的当前行为动作；
基于贝叶斯网络对所述当前行为动作的风险等级进行定量评估。
2.根据权利要求1所述的风险定量评估方法，其特征在于，所述建立基于系统动力学的隧道施工作业行为安全风险模型，获取施工事故的所有致因行为包括：
利用风险分解结构分析方法获取隧道施工过程中的典型事故的影响因素，并基于所述影响因素构建施工行为风险影响体系；
基于所述施工行为风险影响体系确定模型边界条件，并结合所述模型边界条件建立系统动力学方程；
设置模型变量参数，并将所述模型变量参数与所述系统动力学方程进行融合，生成系统动力学模型；
利用系统动力学仿真软件建立针对所述系统动力学模型的仿真模拟环境，确定对施工事故造成影响的所有致因行为。
3.根据权利要求2所述的风险定量评估方法，其特征在于，所述结合所述模型边界条件建立系统动力学方程包括：
基于所述模型边界条件，建立流位流率系；
对所述流位流率系进行反馈环分析，获取施工行为风险的主导反馈环；
联合所述主导反馈环与一阶子系统方程，建立系统动力学方程。
4.根据权利要求3所述的风险定量评估方法，其特征在于，所述一阶子系统方程为：
LEV.K＝LEV.J+(DT)(RT.JK)
RT.JK＝CONST*DISC.K
DISC.K＝GL-LEV.K
其中，LEV为状态变量，DT为时间间隔，RT为速率变量，CONST为比例常数，DISC为偏差，GL为目标值，K表示当前时刻，J表示上一时刻。
5.根据权利要求1所述的风险定量评估方法，其特征在于，所述基于深度学习的人体结构数字化表征模型，结合空间转移网络获取作业人员的人体骨骼关节点数据集包括：
通过摄像头采集作业人员的图像数据，并对所述图像数据进行预处理；
基于深度残差网络对预处理后的图像数据进行多区域特征提取，获取所述作业人员的各个区域定位信息；
搭建堆叠沙漏网络结构，并将所述各个区域定位信息导入所述堆叠沙漏网络结构进行多尺度特征提取，输出所述作业人员的各部分骨骼点信息；
基于逆变换处理后的空间转移网络对所述各部分骨骼点信息进行坐标映射，获取所述作业人员的人体骨骼关节点数据集。
6.根据权利要求5所述的风险定量评估方法，其特征在于，所述逆变换处理后的空间转移网络包括：
[γ1 γ2]＝[θ1 θ2]-1
γ3＝-1×[γ1 γ2]θ3
其中，
为变换前的二维坐标，
为变换后的二维坐标，[γ1 γ2 γ3]为映射参数矩阵[θ1 θ2 θ3]的逆变换矩阵。
7.根据权利要求1所述的风险定量评估方法，其特征在于，所述图卷积网络为：
其中，vi为卷积居中的根顶点，Nk(vi)为vi的k阶邻域，vj为邻域中的子节点，W(L(vj))为权重向量，X(vj)为vj的输入特征，Y(vi)为根点vi的卷积输出特征，Anorm为参数矩阵。
8.根据权利要求7所述的风险定量评估方法，其特征在于，所述通过图卷积网络对所述人体骨骼关节点数据集进行特征提取，基于所述所有致因行为识别出所述作业人员的当前行为动作包括：
对所述人体骨骼关节点数据集进行逐帧的时空卷积，获取所述作业人员的各个运动骨骼节点图；
基于设定的划分规则将所述各个运动骨骼节点图进行聚合，生成所述作业人员的行为分类结果；
基于结合所述所有致因行为所搭建的视觉监测系统，对所述行为分类结果进行识别匹配，并获取所述作业人员的当前行为动作。
9.一种施工事故致因行为的风险定量评估系统，其特征在于，所述系统包括：
建立模块，用于建立基于系统动力学的隧道施工作业行为安全风险模型，获取施工事故的所有致因行为；
获取模块，用于基于深度学习的人体结构数字化表征模型，结合逆变换处理后的空间转移网络获取作业人员的人体骨骼关节点数据集；
识别模块，用于通过图卷积网络对所述人体骨骼关节点数据集进行特征提取，基于所述所有致因行为识别出所述作业人员的当前行为动作；
评估模块，用于基于贝叶斯网络对所述当前行为动作的风险等级进行定量评估。
10.根据权利要求9所述的风险定量评估系统，其特征在于，所述建立模块包括：
体系构建单元，用于利用风险分解结构分析方法获取隧道施工过程中的典型事故的影响因素，并基于所述影响因素构建施工行为风险影响体系；
方程建立单元，用于基于所述施工行为风险影响体系确定模型边界条件，并结合所述模型边界条件建立系统动力学方程；
模型生成单元，用于设置模型变量参数，并将所述模型变量参数与所述系统动力学方程进行融合，生成系统动力学模型；
行为确定单元，用于利用系统动力学仿真软件建立针对所述系统动力学模型的仿真模拟环境，确定对施工事故造成影响的所有致因行为。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010891841.1A CN112149962B (zh) | 2020-08-28 | 2020-08-28 | 一种施工事故致因行为的风险定量评估方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010891841.1A CN112149962B (zh) | 2020-08-28 | 2020-08-28 | 一种施工事故致因行为的风险定量评估方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112149962A true CN112149962A (zh) | 2020-12-29 |
| CN112149962B CN112149962B (zh) | 2023-08-22 |
Family
ID=73889625
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010891841.1A Active CN112149962B (zh) | 2020-08-28 | 2020-08-28 | 一种施工事故致因行为的风险定量评估方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112149962B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113127606A (zh) * | 2021-06-18 | 2021-07-16 | 西南交通大学 | 基于知识图谱的施工行为安全风险分析与危险点识别方法 |
| CN113537051A (zh) * | 2021-07-14 | 2021-10-22 | 安徽炬视科技有限公司 | 一种复杂大场景下的海上人员安全作业监控算法 |
| CN113569323A (zh) * | 2021-08-03 | 2021-10-29 | 清华大学 | 实现规划情景模拟的国土空间规划系统动力学建模方法 |
| CN114996830A (zh) * | 2022-08-03 | 2022-09-02 | 华中科技大学 | 盾构隧道下穿既有隧道的可视化安全评估方法及设备 |
| CN115775092A (zh) * | 2022-11-11 | 2023-03-10 | 中电建铁路建设投资集团有限公司 | 基于数字孪生技术的施工过程安全风险管控系统 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103077447A (zh) * | 2013-01-24 | 2013-05-01 | 华中科技大学 | 一种基于贝叶斯网络的地铁施工安全管理决策方法 |
| KR20160031924A (ko) * | 2014-09-15 | 2016-03-23 | 박종면 | 무교좌 및 무조인트 교량의 시공방법 |
| WO2017133009A1 (zh) * | 2016-02-04 | 2017-08-10 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
| US20170344919A1 (en) * | 2016-05-24 | 2017-11-30 | Lumo BodyTech, Inc | System and method for ergonomic monitoring in an industrial environment |
| CN108197824A (zh) * | 2018-01-29 | 2018-06-22 | 河海大学 | 一种高坝服役安全空间警戒域诊断方法 |
| WO2018120964A1 (zh) * | 2016-12-30 | 2018-07-05 | 山东大学 | 一种基于深度信息和骨骼信息的姿势矫正方法 |
| CN109448291A (zh) * | 2018-11-22 | 2019-03-08 | 广东点讯智能科技有限公司 | 一种应用于建筑工地的行为视频监控系统 |
| US20190147538A1 (en) * | 2017-11-16 | 2019-05-16 | International Business Machines Corporation | Cognitive approach to identifying environmental risk from incomplete telematics data and claim data |
| EP3518076A1 (en) * | 2018-01-24 | 2019-07-31 | C.R.F. Società Consortile per Azioni | System and method for ergonomic analysis, in particular of a worker |
| US20200000414A1 (en) * | 2018-06-27 | 2020-01-02 | JointAction Pty Ltd | Monitors for movements of workers |
| CN111079481A (zh) * | 2018-10-22 | 2020-04-28 | 西安邮电大学 | 一种基于二维骨架信息的攻击性行为识别方法 |
| CN111144263A (zh) * | 2019-12-20 | 2020-05-12 | 山东大学 | 一种建筑工人高坠事故预警方法及装置 |
| AU2020100705A4 (en) * | 2020-05-05 | 2020-06-18 | Chang, Jiaying Miss | A helmet detection method with lightweight backbone based on yolov3 network |
| CN111553229A (zh) * | 2020-04-21 | 2020-08-18 | 清华大学 | 基于三维骨骼与lstm的工人动作识别方法及装置 |
| WO2020165854A1 (en) * | 2019-02-15 | 2020-08-20 | Integra Srl | System and method for detecting and evaluating risk factors for the protection of the health of workers |
-
2020
- 2020-08-28 CN CN202010891841.1A patent/CN112149962B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103077447A (zh) * | 2013-01-24 | 2013-05-01 | 华中科技大学 | 一种基于贝叶斯网络的地铁施工安全管理决策方法 |
| KR20160031924A (ko) * | 2014-09-15 | 2016-03-23 | 박종면 | 무교좌 및 무조인트 교량의 시공방법 |
| WO2017133009A1 (zh) * | 2016-02-04 | 2017-08-10 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
| US20170344919A1 (en) * | 2016-05-24 | 2017-11-30 | Lumo BodyTech, Inc | System and method for ergonomic monitoring in an industrial environment |
| WO2018120964A1 (zh) * | 2016-12-30 | 2018-07-05 | 山东大学 | 一种基于深度信息和骨骼信息的姿势矫正方法 |
| US20190147538A1 (en) * | 2017-11-16 | 2019-05-16 | International Business Machines Corporation | Cognitive approach to identifying environmental risk from incomplete telematics data and claim data |
| EP3518076A1 (en) * | 2018-01-24 | 2019-07-31 | C.R.F. Società Consortile per Azioni | System and method for ergonomic analysis, in particular of a worker |
| CN108197824A (zh) * | 2018-01-29 | 2018-06-22 | 河海大学 | 一种高坝服役安全空间警戒域诊断方法 |
| US20200000414A1 (en) * | 2018-06-27 | 2020-01-02 | JointAction Pty Ltd | Monitors for movements of workers |
| CN111079481A (zh) * | 2018-10-22 | 2020-04-28 | 西安邮电大学 | 一种基于二维骨架信息的攻击性行为识别方法 |
| CN109448291A (zh) * | 2018-11-22 | 2019-03-08 | 广东点讯智能科技有限公司 | 一种应用于建筑工地的行为视频监控系统 |
| WO2020165854A1 (en) * | 2019-02-15 | 2020-08-20 | Integra Srl | System and method for detecting and evaluating risk factors for the protection of the health of workers |
| CN111144263A (zh) * | 2019-12-20 | 2020-05-12 | 山东大学 | 一种建筑工人高坠事故预警方法及装置 |
| CN111553229A (zh) * | 2020-04-21 | 2020-08-18 | 清华大学 | 基于三维骨骼与lstm的工人动作识别方法及装置 |
| AU2020100705A4 (en) * | 2020-05-05 | 2020-06-18 | Chang, Jiaying Miss | A helmet detection method with lightweight backbone based on yolov3 network |
Non-Patent Citations (5)
| Title |
|---|
| DACID HILLSON ET AL.: "《Managing project risks using a cross risk breakdown matrix》", 《RISK MANAGEMENT》, pages 61 - 76 * |
| 吴健中;王浣尘;苏懋康;: "系统动力学的建模", 系统工程, no. 02, pages 40 - 50 * |
| 李存斌;陆龚曙;: "工程项目风险元传递的系统动力学模型", 系统工程理论与实践, no. 12, pages 143 - 151 * |
| 束景晓: "《连续桥梁工期间风险评估研究》", 《中国优秀硕士论文全文数据库》, pages 1 - 10 * |
| 王伟 等: "《基于BIM与机器视觉技术结合的建筑施工危险区域入侵预警研究》", 《安全与环境工程》, pages 196 - 203 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113127606A (zh) * | 2021-06-18 | 2021-07-16 | 西南交通大学 | 基于知识图谱的施工行为安全风险分析与危险点识别方法 |
| CN113127606B (zh) * | 2021-06-18 | 2021-08-31 | 西南交通大学 | 基于知识图谱的施工行为安全风险分析与危险点识别方法 |
| CN113537051A (zh) * | 2021-07-14 | 2021-10-22 | 安徽炬视科技有限公司 | 一种复杂大场景下的海上人员安全作业监控算法 |
| CN113569323A (zh) * | 2021-08-03 | 2021-10-29 | 清华大学 | 实现规划情景模拟的国土空间规划系统动力学建模方法 |
| CN114996830A (zh) * | 2022-08-03 | 2022-09-02 | 华中科技大学 | 盾构隧道下穿既有隧道的可视化安全评估方法及设备 |
| CN115775092A (zh) * | 2022-11-11 | 2023-03-10 | 中电建铁路建设投资集团有限公司 | 基于数字孪生技术的施工过程安全风险管控系统 |
| CN115775092B (zh) * | 2022-11-11 | 2023-12-22 | 中电建铁路建设投资集团有限公司 | 基于数字孪生技术的施工过程安全风险管控系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112149962B (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112149962B (zh) | 一种施工事故致因行为的风险定量评估方法及系统 | |
| US11581130B2 (en) | Internal thermal fault diagnosis method of oil-immersed transformer based on deep convolutional neural network and image segmentation | |
| CN111353413B (zh) | 一种输电设备低漏报率缺陷识别方法 | |
| CN107636691A (zh) | 用于识别图像中的文本的方法和设备 | |
| CN112464911A (zh) | 基于改进YOLOv3-tiny的交通标志检测与识别方法 | |
| CN111046787A (zh) | 一种基于改进YOLO v3模型的行人检测方法 | |
| CN109711283A (zh) | 一种联合双字典和误差矩阵的遮挡表情识别算法 | |
| NL2029214B1 (en) | Target re-indentification method and system based on non-supervised pyramid similarity learning | |
| CN111862065B (zh) | 基于多任务深度卷积神经网络的输电线路诊断方法和系统 | |
| CN105741267A (zh) | 聚类引导深度神经网络分类的多源图像变化检测方法 | |
| CN112417981B (zh) | 基于改进FasterR-CNN的复杂战场环境目标高效识别方法 | |
| KR20190078899A (ko) | 계층적 시각 특징을 이용한 시각 질의 응답 장치 및 방법 | |
| CN113537277A (zh) | 确定分类的解释 | |
| CN112560948A (zh) | 数据偏差下的眼底图分类方法及成像方法 | |
| CN116702090A (zh) | 一种多模态数据融合与不确定估计的水位预测方法及系统 | |
| CN114241425B (zh) | 垃圾检测模型的训练方法、装置、存储介质及设备 | |
| CN117765480B (zh) | 一种道路沿线野生动物迁徙预警方法及系统 | |
| CN111310647A (zh) | 自动识别跌倒模型的生成方法和装置 | |
| CN113095160B (zh) | 基于人工智能和5g的电力系统人员安全行为识别方法及系统 | |
| CN116884192A (zh) | 一种电力生产作业风险预警方法、系统和设备 | |
| CN113158835A (zh) | 一种基于深度学习的交通事故智能检测方法 | |
| CN117475253A (zh) | 一种模型训练方法、装置、电子设备及存储介质 | |
| CN109636194B (zh) | 一种输变电项目重大变动多源协同检测方法与系统 | |
| CN116704208A (zh) | 基于特征关系的局部可解释方法 | |
| CN114708501A (zh) | 基于条件对抗网络的遥感影像建筑物变化检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |