CN111753805B - 安全帽佩戴检测方法和装置 - Google Patents
安全帽佩戴检测方法和装置 Download PDFInfo
- Publication number
- CN111753805B CN111753805B CN202010649142.6A CN202010649142A CN111753805B CN 111753805 B CN111753805 B CN 111753805B CN 202010649142 A CN202010649142 A CN 202010649142A CN 111753805 B CN111753805 B CN 111753805B
- Authority
- CN
- China
- Prior art keywords
- data set
- scene data
- helmet
- original
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 claims abstract description 73
- 238000012549 training Methods 0.000 claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 47
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 230000001629 suppression Effects 0.000 claims abstract description 10
- 230000005764 inhibitory process Effects 0.000 claims abstract description 8
- 238000004590 computer program Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010276 construction Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种安全帽佩戴检测方法和装置，所述方法包括以下步骤：获取原始的佩戴安全帽场景数据集，并对原始的佩戴安全帽场景数据集进行增强处理；通过利用不同特征提取网络的神经网络对原始的佩戴安全帽场景数据集和增强后的佩戴安全帽场景数据集进行训练，以得到多个第一模型；获取原始的未佩戴安全帽场景数据集，并对原始的未佩戴安全帽场景数据集进行增强处理；以一个第一模型作为预训练模型，对增强后的未佩戴安全帽场景数据集进行训练，以得到第二模型；对多个第一模型和第二模型进行不区分类别的非极大值抑制处理；将非极大值抑制处理后的多个第一模型和第二模型进行融合，以得到目标模型；通过目标模型进行安全帽佩戴检测。
Description
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种安全帽佩戴检测方法、一种安全帽佩戴检测装置、一种计算机设备、一种非临时性计算机可读存储介质和一种计算机程序产品。
背景技术
现如今，生产安全成为了各企业最为重视的一环，比如在建筑工地、矿区等施工场景，会有许多类似于高空坠物、头部触电和高空跌落等安全风险。对于工作在生产一线的员工来说，安全帽成为了保障自身安全的第一道防线。然而与越来越现代化的生产水平不同，企业的安全防护措施依然还处于较为落后的阶段，仍有许多通过原始的人工监管方式进行安防监管。及时检测员工在工作时是否佩戴安全帽，可以快速及时的发现安全隐患，有效的起到监管作用，保障了企业和个人的生命和财产安全。近年来，凭借着深度学习的不断发展与成熟，尤其在与计算机视觉相结合的方向上取得了跨越式的进展。同时，硬件设备和电子技术领域的不断发展，从而推进了监控设备与计算机视觉相结合，再利用目标检测技术，使监控系统智能化成为了可能。
目前已经有许多学者对安全帽检测进行了一系列的研究。刘晓慧等人提出的方案通过肤色检测的方法定位到人脸，然后将脸部以上区域截取下来，然后利用提取到的安全帽的Hu矩特征向量，通过支持向量机模型实现对安全帽的检测。Park等人提出的方案通过方向梯度直方图提取人体的特征来检测人体，然后采用颜色直方图对人体区域检测安全帽。贾峻苏等人提出的方案采用可变形部件模型，将梯度方向直方图、颜色特征和基于块的局部二值模式直方图进行组合而成的特征向量，再使用支持向量机来进行安全帽的佩戴检测。李美才等人提出的方案首先构建安全帽的标准图像，然后分别提取了四个方向特征，最后使用高斯函数对这些特征的分布建模，将局部图像分为安全帽和非安全帽。何慧敏等人提出的方案使用卷积神经网络实现行人检测，然后对行人区域做HSV(色调、饱和度、明度)颜色空间变换，提出符合安全帽颜色的区域块，再对图像做圆Hough变换，检测区域图像中是否包含圆，从而检测是否佩戴安全帽。电子科技大学提出的方案通过YOLO V3卷积神经网络算法实现端到端的安全帽和人脸实时检测，采用了通道剪枝和量化的方法对模型进行了压缩，更加有利于模型在SoC系统上的集成。除以上研究成果，还有一些如基于Faster R-CNN等技术的检测方法，准确率在逐步提高，但是依旧有受背景色干扰大、计算复杂、时间复杂度高等问题。同时在实际的生成环境中，安全帽的颜色较多、背景颜色干扰大和人员姿态多变，使得检测精度不高。
发明内容
本发明为解决上述技术问题，提供了一种安全帽佩戴检测方法和装置，能够适用于对多种复杂场景的检测，准确度较高、鲁棒性较强。
本发明采用的技术方案如下：
一种安全帽佩戴检测方法，包括以下步骤：获取原始的佩戴安全帽场景数据集，并对所述原始的佩戴安全帽场景数据集进行增强处理；通过利用不同特征提取网络的神经网络对所述原始的佩戴安全帽场景数据集和增强后的佩戴安全帽场景数据集进行训练，以得到多个第一模型；获取原始的未佩戴安全帽场景数据集，并对所述原始的未佩戴安全帽场景数据集进行增强处理；以一个所述第一模型作为预训练模型，对增强后的未佩戴安全帽场景数据集进行训练，以得到第二模型；对所述多个第一模型和所述第二模型进行不区分类别的非极大值抑制处理；将非极大值抑制处理后的多个第一模型和第二模型进行融合，以得到目标模型；通过所述目标模型进行安全帽佩戴检测。
其中，通过在线数据增强对所述原始的佩戴安全帽场景数据集进行随机换通道、改变图片对比度、改变图片色调处理。
所述未佩戴安全帽场景数据集为教室场景数据集，其中，对原始的教室场景数据集进行图片亮度增强处理。
所述神经网络为Cascade RCNN，所述不同特征提取网络包括ResNet-50、ResNeXt-101、CBNet，并加入可变形卷积。
通过利用不同特征提取网络的神经网络对所述原始的佩戴安全帽场景数据集和增强后的佩戴安全帽场景数据集进行训练，以得到多个第一模型，包括：将任一数据集的图像输入普通卷积替换为可变形卷积的ResNet-50、ResNeXt-101或CBNet，经过三、四、五个阶段分别输出Fd_3、Fd_4、Fd_5；设计RPN网络B0，并将Fd_i(i＝3,4,5)输入B0，在Fd_i的每一层上分别进行RPN操作，对于某一层的Fd_i，在特征图的每一个点上放置n个anchor，利用RPN网络中两条分支，一条分支利用softmax分类anchor获得正类anchor和负类anchor，另外一条用于计算对于所有anchor的检测框回归偏移量，以获得精确的检测框ROI，最后通过Proposal层综合正类anchor和对应检测框ROI，同时剔除小于限定大小和超出边界的检测框ROI，RPN最终输出N个检测框ROI；设计Cascade RCNN网络的头结构h1，将上述输出的ROI和原始的特征图Fd_i一起送入h1结构，对ROI进行ROI Align操作，ROI Align的尺寸大小是7×7×256，分类分支采用两个1024的全连接层输出分类结果C1，回归分支采用两个7×7×1024的卷积层和1个1024的全连接层输出检测框回归结果B1；设计相同的头结构h2，将B1和原始的特征图Fd_i送入h2结构，输出分类结果C2和回归结果B2；设计相同结构的h3，将B2和原始的特征图Fd_i送入h3结构，输出分类结果C3和回归结果B3。
通过利用不同特征提取网络的神经网络对所述原始的佩戴安全帽场景数据集和增强后的佩戴安全帽场景数据集进行训练，以得到多个第一模型，还包括：
训练网络时的分类损失Lcls使用交叉熵损失，对于每一个ROI，经过头结构hi后得到分类结果Ci(i＝1,2,3)：
其中，h(x)表示hi中的分类分支Ci，输出M+1维向量，将ROI预测为M+1中的一个类别，N代表当前hi阶段中ROI个数，y对应类别标签，y的类别标签由ROI与对应的标签的IoU大小决定：
h1、h2和h3中的IoU阈值u分别设置为u1、u2和u3，x是ROI，gy是目标x的类别标签，IoU阈值u定义了检测器的质量；
训练网络时的回归损失Lloc使用平滑的L1损失，x是ROI，b是对ROI的预测坐标，g是标签坐标值，f表示回归器：
b＝(bx,by,bw,bh)
为保证回归操作对尺度、位置的不变性，Lloc操作对应的向量Δ＝(δx,δy,δw,δh)：
并对Δ做正则化操作：
δ′x＝(δx-ux)/σx；
检测网络中每个hi(i＝1,2,3)的总损失：
L(xt,g)＝Lcls(ht(xt),yt)+λ[yt≥1]Lloc(ft(xt,bt),g)
bt＝ft-1(xt-1,bt-1)
其中，T表示Cascade RCNN叠加的总分支数，t表示当前的分支，Cascade RCNN中每个分支ft通过各个分支上的训练数据bt优化，bt来源于b1经过之前所有分支输出后的结果，λ为加权系数，[yt≥1]表示只在正样本中计算回归损失，yt是xt按照上式和ut计算出来的label；
利用随机梯度下降对误差求偏导更新网络权值，共训练m个epoch，初始学习率为ε1，参考框的比率设置为[r1,r2,r3,…rn]，训练完成后得到所述第一模型。
一种安全帽佩戴检测装置，包括：第一处理模块，所述第一处理模块用于获取原始的佩戴安全帽场景数据集，并对所述原始的佩戴安全帽场景数据集进行增强处理；第一训练模块，所述第一训练模块用于通过利用不同特征提取网络的神经网络对所述原始的佩戴安全帽场景数据集和增强后的佩戴安全帽场景数据集进行训练，以得到多个第一模型；第二处理模块，所述第二处理模块用于获取原始的未佩戴安全帽场景数据集，并对所述原始的未佩戴安全帽场景数据集进行增强处理；第二训练模块，所述第二训练模块用于以一个所述第一模型作为预训练模型，对增强后的未佩戴安全帽场景数据集进行训练，以得到第二模型；第三处理模块，所述第三处理模块用于对所述多个第一模型和所述第二模型进行不区分类别的非极大值抑制处理；融合模块，所述融合模块用于将非极大值抑制处理后的多个第一模型和第二模型进行融合，以得到目标模型；检测模块，所述检测模块用于通过所述目标模型进行安全帽佩戴检测。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现上述安全帽佩戴检测方法。
一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述安全帽佩戴检测方法。
一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行上述安全帽佩戴检测方法。
本发明的有益效果：
本发明通过对佩戴安全帽场景数据集进行增强处理，能够减小安全帽与人脸类别之间的数量不平衡，通过对未佩戴安全帽场景数据集进行增强处理，能够使检测网络适应该类负样本；通过对原始的和增强后的佩戴安全帽场景数据集统一为一个整体分别训练多个第一模型，能够充分提取图像特征；对未佩戴安全帽场景数据集进行增强后，通过一个第一模型训练后的权重作为预训练模型，直接得到第二模型，能够提高检测网络对未佩戴安全帽场景的鲁棒性，减少误检和漏检；通过不区分类别的非极大值抑制处理，能够有效减少同一个目标上同时出现人脸和安全帽的检测框；通过多个模型的融合，能够提高检测网络的精确度和鲁棒性。综上，本发明的安全帽佩戴检测方法能够适用于对多种复杂场景的检测，准确度较高、鲁棒性较强。
附图说明
图1为本发明实施例的安全帽佩戴检测方法的流程图；
图2为本发明一个实施例的用于进行安全帽佩戴检测的目标模型的训练流程架构示意图；
图3为本发明一个实施例的可变形卷积示意图；
图4为本发明一个实施例的RPN(Region ProposalNetwork，区域生成网络)网络结构示意图；
图5为本发明实施例的安全帽佩戴检测装置的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例的安全帽佩戴检测方法包括以下步骤：
S1，获取原始的佩戴安全帽场景数据集，并对原始的佩戴安全帽场景数据集进行增强处理。
在本发明的一个实施例中，佩戴安全帽场景数据集中可包括大量的佩戴安全帽场景图片数据，涉及多类目标，包括不同安全帽颜色、不同施工背景、不同人员姿态等，同时涉及同一类目标中不同场景，包括目标重叠场景、面部遮挡场景、光线较差场景等。
在本发明的一个实施例中，可通过在线数据增强对原始的佩戴安全帽场景数据集进行随机换通道、改变图片对比度、改变图片色调处理。
S2，通过利用不同特征提取网络的神经网络对原始的佩戴安全帽场景数据集和增强后的佩戴安全帽场景数据集进行训练，以得到多个第一模型。
在本发明的一个实施例中，神经网络为Cascade RCNN，不同特征提取网络包括ResNet-50、ResNeXt-101、CBNet，并加入可变形卷积，如图3所示。
具体地，可将任一数据集的图像输入普通卷积替换为可变形卷积的ResNet-50、ResNeXt-101或CBNet，即ResNet-50、ResNeXt-101或CBNet中每一个3×3的普通卷积用可变形卷积代替，经过三、四、五个阶段分别输出Fd_3、Fd_4、Fd_5。设计RPN网络B0，如图4所示，并将Fd_i(i＝3,4,5)输入B0，在Fd_i的每一层上分别进行RPN操作，对于某一层的Fd_i，在特征图的每一个点上放置n个anchor，本发明具体实施例中n设置为5，利用RPN网络中两条分支，一条分支利用softmax分类anchor获得正类anchor和负类anchor，另外一条用于计算对于所有anchor的检测框回归偏移量，以获得精确的检测框ROI，最后通过Proposal层综合正类anchor和对应检测框ROI，同时剔除小于限定大小和超出边界的检测框ROI，RPN最终输出N个检测框ROI，本发明实具体施例中N设置为2000。设计Cascade RCNN网络的头结构h1，将上述输出的ROI和原始的特征图Fd_i一起送入h1结构，对ROI进行ROI Align操作，ROI Align的尺寸大小是7×7×256，分类分支采用两个1024的全连接层输出分类结果C1，回归分支采用两个7×7×1024的卷积层和1个1024的全连接层输出检测框回归结果B1。设计相同的头结构h2，将B1和原始的特征图Fd_i送入h2结构，输出分类结果C2和回归结果B2。设计相同结构的h3，将B2和原始的特征图Fd_i送入h3结构，输出分类结果C3和回归结果B3。
训练网络时的分类损失Lcls使用交叉熵损失，对于每一个ROI，经过头结构hi后得到分类结果Ci(i＝1,2,3)：
其中，h(x)表示hi中的分类分支Ci，输出M+1维向量，将ROI预测为M+1中的一个类别，N代表当前hi阶段中ROI个数，y对应类别标签，y的类别标签由ROI与对应的标签的IoU大小决定：
h1、h2和h3中的IoU阈值u分别设置为u1、u2和u3，x是ROI，gy是目标x的类别标签，IoU阈值u定义了检测器的质量；
训练网络时的回归损失Lloc使用平滑的L1损失，x是ROI，b是对ROI的预测坐标，g是标签坐标值，f表示回归器：
b＝(bx,by,bw,bh) (4)
为保证回归操作对尺度、位置的不变性，Lloc操作对应的向量Δ＝(δx,δy,δw,δh)：
并对Δ做正则化操作：
δ′x＝(δx-ux)/σx (6)
检测网络中每个hi(i＝1,2,3)的总损失：
L(xt,g)＝Lcls(ht(xt),yt)+λ[yt≥1]Lloc(ft(xt,bt),g) (7)
bt＝ft-1(xt-1,bt-1) (9)
其中，T表示Cascade RCNN叠加的总分支数，t表示当前的分支，Cascade RCNN中每个分支ft通过各个分支上的训练数据bt优化，bt来源于b1经过之前所有分支输出后的结果，λ为加权系数，[yt≥1]表示只在正样本中计算回归损失，yt是xt按照公式(2)和ut计算出来的label；
利用随机梯度下降对误差求偏导更新网络权值，共训练m个epoch，初始学习率为ε1，参考框的比率设置为[r1,r2,r3,…rn]，训练完成后得到第一模型。在本发明的一个具体实施例中，m设置为50，初始学习率ε1为0.002，参考框的比率设置为[0.6,0.8,1.0,1.2,1.4]。
图2中以训练得到三个第一模型M1、M2和M3为例，以上述训练流程依次训练得到M1、M2和M3，其中，M1对应的特征提取网络为ResNet-50，然后，将ResNet-50更换为ResNeXt-101，其他主要参数保持不变，重新训练得到M2，再将ResNeXt-101更换为CBNet，CBNet中是两个级联的ResNeXt-101，重新训练得到M3。
S3，获取原始的未佩戴安全帽场景数据集，并对原始的未佩戴安全帽场景数据集进行增强处理。
在本发明的一个实施例中，未佩戴安全帽场景数据集可为教室场景数据集，便于获取且未佩戴安全帽的特征明显。
由于教室场景具有目标数量多、目标框小、场景偏暗且场景中的人均未佩戴安全帽，即都是person标签，所以会非常影响整体数据集中目标的检测。为了能够使得检测图片时，做到不漏检和不误检，可对原始的教室场景数据集进行图片亮度增强处理。
S4，以一个第一模型作为预训练模型，对增强后的未佩戴安全帽场景数据集进行训练，以得到第二模型。
在本发明的一个实施例中，可以以第一模型M3作为预训练模型，微调一定数量的epoch，得到第二模型M4。在本发明的一个具体实施例中，微调的epoch数量为10。
S5，对多个第一模型和第二模型进行不区分类别的非极大值抑制处理。
对于每一个模型，非极大值抑制NMS在进行检测框筛选的时候，本来是针对不同类别各自筛选，但是这会导致对于一个带安全帽的人，可能既有人脸的检测框又有安全帽的检测框，因此在本发明的一个实施例中，可将所有的类一起进行非极大值抑制处理。
S6，将非极大值抑制处理后的多个第一模型和第二模型进行融合，以得到目标模型。
S7，通过目标模型进行安全帽佩戴检测。
根据本发明实施例的安全帽佩戴检测方法，通过对佩戴安全帽场景数据集进行增强处理，能够减小安全帽与人脸类别之间的数量不平衡，通过对未佩戴安全帽场景数据集进行增强处理，能够使检测网络适应该类负样本；通过对原始的和增强后的佩戴安全帽场景数据集统一为一个整体分别训练多个第一模型，能够充分提取图像特征；对未佩戴安全帽场景数据集进行增强后，通过一个第一模型训练后的权重作为预训练模型，直接得到第二模型，能够提高检测网络对未佩戴安全帽场景的鲁棒性，减少误检和漏检；通过不区分类别的非极大值抑制处理，能够有效减少同一个目标上同时出现人脸和安全帽的检测框；通过多个模型的融合，能够提高检测网络的精确度和鲁棒性。综上，本发明实施例的安全帽佩戴检测方法能够适用于对多种复杂场景的检测，准确度较高、鲁棒性较强。
对应上述实施例的安全帽佩戴检测方法，本发明还提出一种安全帽佩戴检测装置。
如图5所示，本发明实施例的安全帽佩戴检测装置包括第一处理模块10、第一训练模块20、第二处理模块30、第二训练模块40、第三处理模块50、融合模块60和检测模块70。其中，第一处理模块10用于获取原始的佩戴安全帽场景数据集，并对原始的佩戴安全帽场景数据集进行增强处理；第一训练模块20用于通过利用不同特征提取网络的神经网络对原始的佩戴安全帽场景数据集和增强后的佩戴安全帽场景数据集进行训练，以得到多个第一模型；第二处理模块30用于获取原始的未佩戴安全帽场景数据集，并对原始的未佩戴安全帽场景数据集进行增强处理；第二训练模块40用于以一个第一模型作为预训练模型，对增强后的未佩戴安全帽场景数据集进行训练，以得到第二模型；第三处理模块50用于对多个第一模型和第二模型进行不区分类别的非极大值抑制处理；融合模块60用于将非极大值抑制处理后的多个第一模型和第二模型进行融合，以得到目标模型；检测模块70用于通过目标模型进行安全帽佩戴检测。
本发明实施例的安全帽佩戴检测装置更具体的实施方式可参照上述安全帽佩戴检测方法的实施例，在此不再赘述。
根据本发明实施例的安全帽佩戴检测装置，能够适用于对多种复杂场景的检测，准确度较高、鲁棒性较强。
对应上述实施例，本发明还提出一种计算机设备。
本发明实施例的计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行该计算机程序时，可实现根据本发明上述实施例所述的安全帽佩戴检测方法。
根据本发明实施例的计算机设备，处理器执行存储在存储器上的计算机程序时，可进行安全帽佩戴检测，能够适用于对多种复杂场景的检测，准确度较高、鲁棒性较强。
对应上述实施例，本发明还提出一种非临时性计算机可读存储介质。
本发明实施例的非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现根据本发明上述实施例所述的安全帽佩戴检测方法。
根据本发明实施例的非临时性计算机可读存储介质，处理器执行存储在其上的计算机程序时，可进行安全帽佩戴检测，能够适用于对多种复杂场景的检测，准确度较高、鲁棒性较强。
对应上述实施例，本发明还提出一种计算机程序产品。
当本发明实施例的计算机程序产品中的指令由处理器执行时，可执行根据本发明上述实施例所述的安全帽佩戴检测方法。
根据本发明实施例的计算机程序产品，处理器执行其中的指令时，可进行安全帽佩戴检测，能够适用于对多种复杂场景的检测，准确度较高、鲁棒性较强。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (8)
1.一种安全帽佩戴检测方法，其特征在于，包括以下步骤：
获取原始的佩戴安全帽场景数据集，并对所述原始的佩戴安全帽场景数据集进行增强处理；
通过利用不同特征提取网络的神经网络对所述原始的佩戴安全帽场景数据集和增强后的佩戴安全帽场景数据集进行训练，以得到多个第一模型，所述神经网络为CascadeRCNN，所述不同特征提取网络包括ResNet-50、ResNeXt-101、CBNet，并加入可变形卷积；
获取原始的未佩戴安全帽场景数据集，并对所述原始的未佩戴安全帽场景数据集进行增强处理；
以一个所述第一模型作为预训练模型，对增强后的未佩戴安全帽场景数据集进行训练，以得到第二模型；
对所述多个第一模型和所述第二模型进行不区分类别的非极大值抑制处理；
将非极大值抑制处理后的多个第一模型和第二模型进行融合，以得到目标模型；
通过所述目标模型进行安全帽佩戴检测。
2.根据权利要求1所述的安全帽佩戴检测方法，其特征在于，其中，通过在线数据增强对所述原始的佩戴安全帽场景数据集进行随机换通道、改变图片对比度、改变图片色调处理。
3.根据权利要求1或2所述的安全帽佩戴检测方法，其特征在于，所述未佩戴安全帽场景数据集为教室场景数据集，其中，对原始的教室场景数据集进行图片亮度增强处理。
4.根据权利要求3所述的安全帽佩戴检测方法，其特征在于，通过利用不同特征提取网络的神经网络对所述原始的佩戴安全帽场景数据集和增强后的佩戴安全帽场景数据集进行训练，以得到多个第一模型，包括：
将任一数据集的图像输入普通卷积替换为可变形卷积的ResNet-50、ResNeXt-101或CBNet，经过三、四、五个阶段分别输出Fd_3、Fd_4、Fd_5；
设计RPN网络B0，并将Fd_i(i＝3,4,5)输入B0，在Fd_i的每一层上分别进行RPN操作，对于某一层的Fd_i，在特征图的每一个点上放置n个anchor，利用RPN网络中两条分支，一条分支利用softmax分类anchor获得正类anchor和负类anchor，另外一条用于计算对于所有anchor的检测框回归偏移量，以获得精确的检测框ROI，最后通过Proposal层综合正类anchor和对应检测框ROI，同时剔除小于限定大小和超出边界的检测框ROI，RPN最终输出N个检测框ROI；
设计Cascade RCNN网络的头结构h1，将上述输出的ROI和原始的特征图Fd_i一起送入h1结构，对ROI进行ROI Align操作，ROI Align的尺寸大小是7×7×256，分类分支采用两个1024的全连接层输出分类结果C1，回归分支采用两个7×7×1024的卷积层和1个1024的全连接层输出检测框回归结果B1；
设计相同的头结构h2，将B1和原始的特征图Fd_i送入h2结构，输出分类结果C2和回归结果B2；
设计相同结构的h3，将B2和原始的特征图Fd_i送入h3结构，输出分类结果C3和回归结果B3。
5.根据权利要求4所述的安全帽佩戴检测方法，其特征在于，通过利用不同特征提取网络的神经网络对所述原始的佩戴安全帽场景数据集和增强后的佩戴安全帽场景数据集进行训练，以得到多个第一模型，还包括：
训练网络时的分类损失Lcls使用交叉熵损失，对于每一个ROI，经过头结构hi后得到分类结果Ci(i＝1,2,3)：
其中，h(x)表示hi中的分类分支Ci，输出M+1维向量，将ROI预测为M+1中的一个类别，N代表当前hi阶段中ROI个数，y对应类别标签，y的类别标签由ROI与对应的标签的IoU大小决定：
h1、h2和h3中的IoU阈值u分别设置为u1、u2和u3，x是ROI，gy是目标x的类别标签，IoU阈值u定义了检测器的质量；
训练网络时的回归损失Lloc使用平滑的L1损失，x是ROI，b是对ROI的预测坐标，g是标签坐标值，f表示回归器：
b＝(bx,by,bw,bh)
为保证回归操作对尺度、位置的不变性，Lloc操作对应的向量Δ＝(δx,δy,δw,δh)：
并对Δ做正则化操作：
δx′＝(δx-ux)/σx；
检测网络中每个hi(i＝1,2,3)的总损失：
L(xt,g)＝Lcls(ht(xt),yt)+λ[yt≥1]Lloc(ft(xt,bt),g)
f(x,b)＝fTofT-1oL of1(x,b)
bt＝ft-1(xt-1,bt-1)
其中，T表示Cascade RCNN叠加的总分支数，t表示当前的分支，Cascade RCNN中每个分支ft通过各个分支上的训练数据bt优化，bt来源于b1经过之前所有分支输出后的结果，λ为加权系数，[yt≥1]表示只在正样本中计算回归损失，yt是xt按照上式和ut计算出来的label；
利用随机梯度下降对误差求偏导更新网络权值，共训练m个epoch，初始学习率为ε1，参考框的比率设置为[r1,r2,r3,L rn]，训练完成后得到所述第一模型。
6.一种安全帽佩戴检测装置，其特征在于，包括：
第一处理模块，所述第一处理模块用于获取原始的佩戴安全帽场景数据集，并对所述原始的佩戴安全帽场景数据集进行增强处理；
第一训练模块，所述第一训练模块用于通过利用不同特征提取网络的神经网络对所述原始的佩戴安全帽场景数据集和增强后的佩戴安全帽场景数据集进行训练，以得到多个第一模型，所述神经网络为Cascade RCNN，所述不同特征提取网络包括ResNet-50、ResNeXt-101、CBNet，并加入可变形卷积；
第二处理模块，所述第二处理模块用于获取原始的未佩戴安全帽场景数据集，并对所述原始的未佩戴安全帽场景数据集进行增强处理；
第二训练模块，所述第二训练模块用于以一个所述第一模型作为预训练模型，对增强后的未佩戴安全帽场景数据集进行训练，以得到第二模型；
第三处理模块，所述第三处理模块用于对所述多个第一模型和所述第二模型进行不区分类别的非极大值抑制处理；
融合模块，所述融合模块用于将非极大值抑制处理后的多个第一模型和第二模型进行融合，以得到目标模型；
检测模块，所述检测模块用于通过所述目标模型进行安全帽佩戴检测。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现根据权利要求1-5中任一项所述的安全帽佩戴检测方法。
8.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现根据权利要求1-5中任一项所述的安全帽佩戴检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010649142.6A CN111753805B (zh) | 2020-07-08 | 2020-07-08 | 安全帽佩戴检测方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010649142.6A CN111753805B (zh) | 2020-07-08 | 2020-07-08 | 安全帽佩戴检测方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111753805A CN111753805A (zh) | 2020-10-09 |
| CN111753805B true CN111753805B (zh) | 2024-06-07 |
Family
ID=72680157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010649142.6A Active CN111753805B (zh) | 2020-07-08 | 2020-07-08 | 安全帽佩戴检测方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111753805B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112232199A (zh) * | 2020-10-15 | 2021-01-15 | 燕山大学 | 基于深度学习的佩戴口罩检测方法 |
| CN112163572A (zh) * | 2020-10-30 | 2021-01-01 | 国网北京市电力公司 | 识别对象的方法和装置 |
| CN112508090A (zh) * | 2020-12-04 | 2021-03-16 | 重庆大学 | 一种外包装缺陷检测方法 |
| CN112598055B (zh) * | 2020-12-21 | 2022-06-17 | 电子科技大学 | 头盔佩戴检测方法、计算机可读存储介质和电子设备 |
| CN112907561A (zh) * | 2021-03-16 | 2021-06-04 | 中科海拓(无锡)科技有限公司 | 一种基于深度学习的笔记本外观瑕疵检测方法 |
| CN112907560A (zh) * | 2021-03-16 | 2021-06-04 | 中科海拓(无锡)科技有限公司 | 一种基于深度学习的笔记本外观瑕疵分割方法 |
| CN113361425A (zh) * | 2021-06-11 | 2021-09-07 | 珠海路讯科技有限公司 | 一种基于深度学习的检测工人是否佩戴安全帽的方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109816012A (zh) * | 2019-01-22 | 2019-05-28 | 南京邮电大学 | 一种融合上下文信息的多尺度目标检测方法 |
| CN110070033A (zh) * | 2019-04-19 | 2019-07-30 | 山东大学 | 一种电力领域危险工作区域内安全帽佩戴状态检测方法 |
| CN110363162A (zh) * | 2019-07-18 | 2019-10-22 | 北京工业大学 | 一种聚焦关键区域的深度学习目标检测方法 |
| CN110399905A (zh) * | 2019-07-03 | 2019-11-01 | 常州大学 | 施工场景中安全帽佩戴情况的检测及描述方法 |
| CN110728223A (zh) * | 2019-10-08 | 2020-01-24 | 济南东朔微电子有限公司 | 一种基于深度学习的安全帽佩戴识别方法 |
| CN111091069A (zh) * | 2019-11-27 | 2020-05-01 | 云南电网有限责任公司电力科学研究院 | 一种盲图像质量评价引导的电网目标检测方法及系统 |
| CN111210443A (zh) * | 2020-01-03 | 2020-05-29 | 吉林大学 | 基于嵌入平衡的可变形卷积混合任务级联语义分割方法 |
| CN111241959A (zh) * | 2020-01-06 | 2020-06-05 | 重庆大学 | 一种通过工地视频流检测未佩戴安全帽人员的方法 |
| AU2020100705A4 (en) * | 2020-05-05 | 2020-06-18 | Chang, Jiaying Miss | A helmet detection method with lightweight backbone based on yolov3 network |
| CN111325279A (zh) * | 2020-02-26 | 2020-06-23 | 福州大学 | 一种融合视觉关系的行人与随身敏感物品跟踪方法 |
-
2020
- 2020-07-08 CN CN202010649142.6A patent/CN111753805B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109816012A (zh) * | 2019-01-22 | 2019-05-28 | 南京邮电大学 | 一种融合上下文信息的多尺度目标检测方法 |
| CN110070033A (zh) * | 2019-04-19 | 2019-07-30 | 山东大学 | 一种电力领域危险工作区域内安全帽佩戴状态检测方法 |
| CN110399905A (zh) * | 2019-07-03 | 2019-11-01 | 常州大学 | 施工场景中安全帽佩戴情况的检测及描述方法 |
| CN110363162A (zh) * | 2019-07-18 | 2019-10-22 | 北京工业大学 | 一种聚焦关键区域的深度学习目标检测方法 |
| CN110728223A (zh) * | 2019-10-08 | 2020-01-24 | 济南东朔微电子有限公司 | 一种基于深度学习的安全帽佩戴识别方法 |
| CN111091069A (zh) * | 2019-11-27 | 2020-05-01 | 云南电网有限责任公司电力科学研究院 | 一种盲图像质量评价引导的电网目标检测方法及系统 |
| CN111210443A (zh) * | 2020-01-03 | 2020-05-29 | 吉林大学 | 基于嵌入平衡的可变形卷积混合任务级联语义分割方法 |
| CN111241959A (zh) * | 2020-01-06 | 2020-06-05 | 重庆大学 | 一种通过工地视频流检测未佩戴安全帽人员的方法 |
| CN111325279A (zh) * | 2020-02-26 | 2020-06-23 | 福州大学 | 一种融合视觉关系的行人与随身敏感物品跟踪方法 |
| AU2020100705A4 (en) * | 2020-05-05 | 2020-06-18 | Chang, Jiaying Miss | A helmet detection method with lightweight backbone based on yolov3 network |
Non-Patent Citations (5)
| Title |
|---|
| Cascade R-CNN: Delving into High Quality Object Detection;Zhaowei Cai, Nuno Vasconcelos;《 Computer Vision and Pattern Recognition》;1-9 * |
| Helmet Detection Based On Improved YOLO V3 Deep Model;Fan Wu等;《 2019 IEEE 16th International Conference on Networking, Sensing and Control (ICNSC)》;363-368 * |
| 一种基于安全帽佩戴检测的图像描述方法研究;徐守坤;倪楚涵;吉晨晨;李宁;;小型微型计算机系统(04);812-819 * |
| 基于YOLOv3的施工场景安全帽佩戴的图像描述;徐守坤;倪楚涵;吉晨晨;李宁;;计算机科学(08);233-240 * |
| 基于改进Mask R-CNN模型的电力场景目标检测方法;孔英会;王维维;张珂;戚银城;;科学技术与工程(08);3134-3142 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111753805A (zh) | 2020-10-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111753805B (zh) | 安全帽佩戴检测方法和装置 | |
| Jaisakthi et al. | Grape leaf disease identification using machine learning techniques | |
| Zhou et al. | Wheat ears counting in field conditions based on multi-feature optimization and TWSVM | |
| CN103942577B (zh) | 视频监控中基于自建立样本库及混合特征的身份识别方法 | |
| Yossy et al. | Mango fruit sortation system using neural network and computer vision | |
| CN110490212A (zh) | 钼靶影像处理设备、方法和装置 | |
| CN106778609A (zh) | 一种电力施工现场人员制服穿着识别方法 | |
| CN110232380A (zh) | 基于Mask R-CNN神经网络的火灾夜间场景复原方法 | |
| CN108932479A (zh) | 一种人体异常行为检测方法 | |
| CN108665487A (zh) | 基于红外和可见光融合的变电站作业对象和目标定位方法 | |
| Mishra et al. | A Deep Learning-Based Novel Approach for Weed Growth Estimation. | |
| CN109978918A (zh) | 一种轨迹追踪方法、装置和存储介质 | |
| CN104992223A (zh) | 基于深度学习的密集人数估计方法 | |
| Patil et al. | Fggan: A cascaded unpaired learning for background estimation and foreground segmentation | |
| Hernández-Rabadán et al. | Integrating SOMs and a Bayesian classifier for segmenting diseased plants in uncontrolled environments | |
| CN113344475A (zh) | 基于序列模态分解的变压器套管缺陷识别方法及系统 | |
| May et al. | Automated ripeness assessment of oil palm fruit using RGB and fuzzy logic technique | |
| Pandey et al. | Non-destructive quality grading of mango (Mangifera Indica L) based on CIELab colour model and size | |
| Almero et al. | An aquaculture-based binary classifier for fish detection using multilayer artificial neural network | |
| CN116543241B (zh) | 泄露气体云团的检测方法、装置、存储介质和电子设备 | |
| Pramunendar et al. | A Robust Image Enhancement Techniques for Underwater Fish Classification in Marine Environment. | |
| CN109035223A (zh) | 一种用于卫星遥感图像可用度的智能评估方法 | |
| CN113269103B (zh) | 基于空间图卷积网络的异常行为检测方法、系统、存储介质和设备 | |
| Wang et al. | An edge detection method by combining fuzzy logic and neural network | |
| Tosawadi et al. | On the use of class activation map on rice blast disease identification and localization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |