CN111814762A - 头盔佩戴检测方法和装置 - Google Patents

头盔佩戴检测方法和装置 Download PDF

Info

Publication number
CN111814762A
CN111814762A CN202010859405.6A CN202010859405A CN111814762A CN 111814762 A CN111814762 A CN 111814762A CN 202010859405 A CN202010859405 A CN 202010859405A CN 111814762 A CN111814762 A CN 111814762A
Authority
CN
China
Prior art keywords
helmet
wearing
person
image
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010859405.6A
Other languages
English (en)
Inventor
陈海波
罗志鹏
高春洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyan Technology Beijing Co ltd
Original Assignee
Shenyan Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyan Technology Beijing Co ltd filed Critical Shenyan Technology Beijing Co ltd
Priority to CN202010859405.6A priority Critical patent/CN111814762A/zh
Publication of CN111814762A publication Critical patent/CN111814762A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种头盔佩戴检测方法和装置，所述方法包括：采集交通视频，并提取和处理交通视频中的多个图像；获取每个图像中一个或多个人员头部信息并进行相应标注，得到训练用数据集，其中，人员头部信息包括佩戴头盔的人员头部信息和未佩戴头盔的人员头部信息；构建头盔佩戴检测网络，并通过训练用数据集对头盔佩戴检测网络进行训练，得到头盔佩戴检测模型；获取待检测图像，并通过头盔佩戴检测模型对待检测图像进行检测，得到佩戴头盔或未佩戴头盔的检测结果；对检测结果为未佩戴头盔的图像中的人脸进行识别，得到未佩戴头盔的人员身份信息。本发明能够方便、快速、准确地进行头盔佩戴检测，并能够自动实现未佩戴头盔人员身份信息的识别。

Description

头盔佩戴检测方法和装置
技术领域
本发明涉及目标检测技术领域，具体涉及一种头盔佩戴检测方法、一种头盔佩戴检测装置、一种计算机设备、一种非临时性计算机可读存储介质和一种计算机程序产品。
背景技术
截止2019年，全国机动车保有量达3.48亿辆，其中摩托车保有量达6765万辆。相关研究表明，在涉及摩托车的道路交通事故中，头部受伤致死的比例占到该类事故死亡总数的80％以上。有关研究结果表明，当事故发生时，骑行头盔可吸收大部分撞击力，起到缓冲、减震的保护作用，可使受伤者的比例下降70％，死亡率下降40％，不戴头盔头部损伤率是戴头盔的2.5倍，致命伤不戴头盔是戴头盔的1.5倍，头盔对于电动自行车驾驶人来说，相当于轿车驾驶人所系的安全带，是骑行者遇到危险时的最后一道防线，正确佩戴安全头盔、规范使用安全带能够将交通事故死亡风险大幅降低，对保护群众生命安全具有重要作用。根据《中华人民共和国道路交通安全法实施条例》，机动车行驶时，驾驶人、乘坐人员应当按规定使用安全带，摩托车驾驶人及乘坐人员应当按规定戴安全头盔。
2020年4月，公安部交管局要求各地加强宣传引导，增强群众佩戴安全头盔、使用安全带意识；联合行业主管部门、行业协会推广“买电动自行车送头盔”、“买保险送头盔”模式，组织快递、外卖、出租车、网约车等重点行业示范引领，切实配齐用好安全头盔、安全带。公安部交管局提醒广大驾驶人、乘车人，为了您和家人的安全，无论是驾乘摩托车还是电动自行车，无论是在车辆前排还是车辆后排，请您正确佩戴安全头盔、规范使用安全带。目前，各地交管部门正在大力宣传“一盔一带”行动，并对未佩戴头盔行为进行处罚。然而，对于“一盔一带”宣传工作的工作量很大，目前主要靠交管人员的人工排查，这种方式不仅浪费人力，还容易造成交通的拥堵。因此，有必要提出一种能够方便、快速、准确地进行头盔佩戴检测的策略。
发明内容
本发明为解决上述技术问题，提供了一种头盔佩戴检测方法和装置，能够方便、快速、准确地进行头盔佩戴检测，并能够自动实现未佩戴头盔人员身份信息的识别，大大减小了交管人员的工作量，并有助于缓解交通压力。
本发明采用的技术方案如下：
一种头盔佩戴检测方法，包括以下步骤：采集交通视频，并提取和处理所述交通视频中的多个图像；获取每个所述图像中一个或多个人员头部信息并进行相应标注，得到训练用数据集，其中，所述人员头部信息包括佩戴头盔的人员头部信息和未佩戴头盔的人员头部信息；构建头盔佩戴检测网络，并通过所述训练用数据集对所述头盔佩戴检测网络进行训练，得到头盔佩戴检测模型；获取待检测图像，并通过所述头盔佩戴检测模型对所述待检测图像进行检测，得到佩戴头盔或未佩戴头盔的检测结果；对检测结果为未佩戴头盔的图像中的人脸进行识别，得到未佩戴头盔的人员身份信息。
所述的头盔佩戴检测方法还包括：存储未佩戴头盔的检测结果及对应的图像、人员身份信息。
所述交通视频为交通监控系统中通过监控摄像头拍摄得到的视频，其中，提取和处理所述交通视频中的多个图像，具体包括：将所述交通视频按照预设帧率进行跳帧处理以提取出多个图像；清洗掉所述多个图像中不包含人员头部的图像；对清洗后的图像进行去重处理，获取每个所述图像中一个或多个人员头部信息并进行相应标注，具体包括：标注出去重处理后的图像中佩戴头盔的类别及人员头部坐标或未佩戴头盔的类别及人员头部坐标。
构建头盔佩戴检测网络，并通过所述训练用数据集对所述头盔佩戴检测网络进行训练，具体包括：基于Pytorch框架构建头盔佩戴检测网络结构；将所述训练用数据集划分为验证集和训练集；通过所述验证集和所述训练集对所述头盔佩戴检测网络进行训练。
所述检测结果包括是否佩戴头盔及人员头部坐标。
对检测结果为未佩戴头盔的图像中的人脸进行识别，具体包括：根据所述检测结果中的人员头部坐标对检测结果为未佩戴头盔的图像进行裁剪，得到一个或多个人员头部区域；通过人脸识别算法对所述人员头部区域进行人脸识别。
一种头盔佩戴检测装置，包括：采集模块，所述采集模块用于采集交通视频，并提取和处理所述交通视频中的多个图像；获取模块，所述获取模块用于获取每个所述图像中一个或多个人员头部信息并进行相应标注，得到训练用数据集，其中，所述人员头部信息包括佩戴头盔的人员头部信息和未佩戴头盔的人员头部信息；训练模块，所述训练模块用于构建头盔佩戴检测网络，并通过所述训练用数据集对所述头盔佩戴检测网络进行训练，得到头盔佩戴检测模型；检测模块，所述检测模块用于获取待检测图像，并通过所述头盔佩戴检测模型对所述待检测图像进行检测，得到佩戴头盔或未佩戴头盔的检测结果；识别模块，所述识别模块用于对检测结果为未佩戴头盔的图像中的人脸进行识别，得到未佩戴头盔的人员身份信息。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现上述头盔佩戴检测方法。
一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述头盔佩戴检测方法。
一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行上述头盔佩戴检测方法。
本发明的有益效果：
本发明通过采集交通视频，提取和处理交通视频中的多个图像，并获取每个图像中一个或多个人员头部信息并进行相应标注，以及构建头盔佩戴检测网络，并通过训练用数据集对头盔佩戴检测网络进行训练，得到头盔佩戴检测模型，并通过头盔佩戴检测模型对待检测图像进行检测，得到佩戴头盔或未佩戴头盔的检测结果，此外还对检测结果为未佩戴头盔的图像中的人脸进行识别，得到未佩戴头盔的人员身份信息，由此，能够方便、快速、准确地进行头盔佩戴检测，并能够自动实现未佩戴头盔人员身份信息的识别，大大减小了交管人员的工作量，并有助于缓解交通压力。
附图说明
图1为本发明实施例的头盔佩戴检测方法的流程图；
图2为本发明一个实施例的头盔佩戴检测方法的流程图；
图3为本发明实施例头盔佩戴检测装置的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例的头盔佩戴检测方法包括以下步骤：
S1，采集交通视频，并提取和处理交通视频中的多个图像。
其中，交通视频为交通监控系统中通过监控摄像头拍摄得到的视频。在本发明的一个实施例中，可将交通视频上传至服务器，经服务器对视频进行跳帧处理、数据清洗和去重操作。具体地，可将交通视频按照预设帧率进行跳帧处理以提取出多个图像，然后清洗掉多个图像中不包含人员头部的图像，再通过计算图像的md5值对清洗后的图像进行去重处理，降低数据冗余度。
S2，获取每个图像中一个或多个人员头部信息并进行相应标注，得到训练用数据集，其中，人员头部信息包括佩戴头盔的人员头部信息和未佩戴头盔的人员头部信息。
在本发明的一个实施例中，可标注出去重处理后的图像中所有佩戴头盔的类别及人员头部坐标或未佩戴头盔的类别及人员头部坐标。具体地，可利用标注工具，如labelImg、yolo_mark等对是否佩戴头盔这两种类别进行标注。
S3，构建头盔佩戴检测网络，并通过训练用数据集对头盔佩戴检测网络进行训练，得到头盔佩戴检测模型。
在本发明的一个实施例中，可基于Pytorch框架构建头盔佩戴检测网络结构，将训练用数据集划分为验证集和训练集，并通过验证集和训练集对头盔佩戴检测网络进行训练。
具体地，可将上述训练用数据集按照2：8的比例进行划分，其中20％作为验证集，80％作为训练集。基于Pytorch框架构建的头盔佩戴检测网络结构主要包含三个部分，分别为backbone、neck和head三个部分。具体每个部分的网络结构可根据实际情况采用不同数量的卷积层、batchnorm层、激活层等网络层进行搭建，也可采用现有的网络结构，如FPN，Bottleneck，SPP等网络块。其中backbone部分主要负责特征提取，包括语义特征、全局特征等；neck部分负责特征重组，重组不同层的特征，实现网络的多尺度；head部分负责目标检测，根据数据集中的目标类别以及其他信息搭建。然后，可利用k-means方法计算得到相当数量的anchor(锚点)，根据以上划分的数据集，搭建起数据加载器，并在模型训练过程中为模型提供输入数据。进而，基于所搭建的数据加载器，按照批次读取数据并送入上述头盔佩戴检测网络结构中，根据得到的预测结果以及相应的真实标注信息计算卷积神经网络的损失，并通过反向传播算法对卷积神经网络参数进行修正。利用所搭建的数据加载器，循环上述计算过程，不断修正卷积神经网络的参数，直至卷积神经网络学会预测图像中目标的位置以及类别属性，保存训练得到的参数。
S4，获取待检测图像，并通过头盔佩戴检测模型对待检测图像进行检测，得到佩戴头盔或未佩戴头盔的检测结果。
其中，待检测图像也可为依步骤S1中所述的方式从视频中提取的图像。
检测结果包括是否佩戴头盔及人员头部坐标。在本发明的一个实施例中，实际输出的检测结果可以包括对待检测图像中的头部位置进行标记后的图像，标记后的图像中，佩戴头盔和未佩戴头盔的人员头部可采用不同颜色的标记，例如佩戴头盔的人员头部用红色方框标记，未佩戴头盔的人员头部用绿色方框标记，同时还可在方框处显示是否佩戴头盔的文字标注，例如佩戴头盔的人员头部的方框处显示helmet，未佩戴头盔的人员头部的方框处显示no_helmet。
S5，对检测结果为未佩戴头盔的图像中的人脸进行识别，得到未佩戴头盔的人员身份信息。
在本发明的一个实施例中，可根据检测结果中的人员头部坐标对检测结果为未佩戴头盔的图像进行裁剪，得到一个或多个人员头部区域，然后通过人脸识别算法对人员头部区域进行人脸识别。在本发明的一个实施例中，人脸识别算法可以为MTCNN(Multi-taskconvolutional neural network，多任务卷积神经网络)、PFLD等。在识别到人脸后，可结合人脸信息库得到相应的人员身份信息。
进一步地，如图2所示，本发明实施例的头盔佩戴检测方法还可包括：
S6，存储未佩戴头盔的检测结果及对应的图像、人员身份信息。
通过将未佩戴头盔的图像、未佩戴头盔的头部位置标记、人员身份信息等存储到数据库，便于相关部门如交管部门进行读取。
根据本发明实施例的头盔佩戴检测方法，通过采集交通视频，提取和处理交通视频中的多个图像，并获取每个图像中一个或多个人员头部信息并进行相应标注，以及构建头盔佩戴检测网络，并通过训练用数据集对头盔佩戴检测网络进行训练，得到头盔佩戴检测模型，并通过头盔佩戴检测模型对待检测图像进行检测，得到佩戴头盔或未佩戴头盔的检测结果，此外还对检测结果为未佩戴头盔的图像中的人脸进行识别，得到未佩戴头盔的人员身份信息，由此，能够方便、快速、准确地进行头盔佩戴检测，并能够自动实现未佩戴头盔人员身份信息的识别，大大减小了交管人员的工作量，并有助于缓解交通压力。
对应上述实施例的头盔佩戴检测方法，本发明还提出一种头盔佩戴检测装置。
如图3所示，本发明实施例的头盔佩戴检测装置，包括采集模块10、获取模块20、训练模块30、检测模块40和识别模块50。其中，采集模块10用于采集交通视频，并提取和处理交通视频中的多个图像；获取模块20用于获取每个图像中一个或多个人员头部信息并进行相应标注，得到训练用数据集，其中，人员头部信息包括佩戴头盔的人员头部信息和未佩戴头盔的人员头部信息；训练模块30用于构建头盔佩戴检测网络，并通过训练用数据集对头盔佩戴检测网络进行训练，得到头盔佩戴检测模型；检测模块40用于获取待检测图像，并通过头盔佩戴检测模型对待检测图像进行检测，得到佩戴头盔或未佩戴头盔的检测结果；识别模块50用于对检测结果为未佩戴头盔的图像中的人脸进行识别，得到未佩戴头盔的人员身份信息。
其中，交通视频为交通监控系统中通过监控摄像头拍摄得到的视频。在本发明的一个实施例中，采集模块10可位于服务器中，采集模块10可对采集到的视频进行跳帧处理、数据清洗和去重操作。具体地，可将交通视频按照预设帧率进行跳帧处理以提取出多个图像，然后清洗掉多个图像中不包含人员头部的图像，再通过计算图像的md5值对清洗后的图像进行去重处理，降低数据冗余度。
在本发明的一个实施例中，获取模块20可标注出去重处理后的图像中所有佩戴头盔的类别及人员头部坐标或未佩戴头盔的类别及人员头部坐标。具体地，可利用标注工具，如labelImg、yolo_mark等对是否佩戴头盔这两种类别进行标注。
在本发明的一个实施例中，训练模块30可基于Pytorch框架构建头盔佩戴检测网络结构，将训练用数据集划分为验证集和训练集，并通过验证集和训练集对头盔佩戴检测网络进行训练。
具体地，训练模块30可将上述训练用数据集按照2：8的比例进行划分，其中20％作为验证集，80％作为训练集。训练模块30基于Pytorch框架构建的头盔佩戴检测网络结构主要包含三个部分，分别为backbone、neck和head三个部分。具体每个部分的网络结构可根据实际情况采用不同数量的卷积层、batchnorm层、激活层等网络层进行搭建，也可采用现有的网络结构，如FPN，Bottleneck，SPP等网络块。其中backbone部分主要负责特征提取，包括语义特征、全局特征等；neck部分负责特征重组，重组不同层的特征，实现网络的多尺度；head部分负责目标检测，根据数据集中的目标类别以及其他信息搭建。然后，训练模块30可利用k-means方法计算得到相当数量的anchor(锚点)，根据以上划分的数据集，搭建起数据加载器，并在模型训练过程中为模型提供输入数据。进而，训练模块30基于所搭建的数据加载器，按照批次读取数据并送入上述头盔佩戴检测网络结构中，根据得到的预测结果以及相应的真实标注信息计算卷积神经网络的损失，并通过反向传播算法对卷积神经网络参数进行修正。训练模块30利用所搭建的数据加载器，循环上述计算过程，不断修正卷积神经网络的参数，直至卷积神经网络学会预测图像中目标的位置以及类别属性，保存训练得到的参数。
其中，检测结果包括是否佩戴头盔及人员头部坐标。在本发明的一个实施例中，检测模块40实际输出的检测结果可以包括对待检测图像中的头部位置进行标记后的图像，标记后的图像中，佩戴头盔和未佩戴头盔的人员头部可采用不同颜色的标记，例如佩戴头盔的人员头部用红色方框标记，未佩戴头盔的人员头部用绿色方框标记，同时还可在方框处显示是否佩戴头盔的文字标注，例如佩戴头盔的人员头部的方框处显示helmet，未佩戴头盔的人员头部的方框处显示no_helmet。
在本发明的一个实施例中，识别模块50可根据检测结果中的人员头部坐标对检测结果为未佩戴头盔的图像进行裁剪，得到一个或多个人员头部区域，然后通过人脸识别算法对人员头部区域进行人脸识别。在本发明的一个实施例中，人脸识别算法可以为MTCNN(Multi-task convolutional neural network，多任务卷积神经网络)、PFLD等。在识别到人脸后，可结合人脸信息库得到相应的人员身份信息。
进一步地，本发明实施例的头盔佩戴检测装置还可包括存储模块，存储模块用于存储未佩戴头盔的检测结果及对应的图像、人员身份信息。通过将未佩戴头盔的图像、未佩戴头盔的头部位置标记、人员身份信息等存储到数据库，便于相关部门如交管部门进行读取。
根据本发明实施例的头盔佩戴检测装置，通过采集交通视频，提取和处理交通视频中的多个图像，并获取每个图像中一个或多个人员头部信息并进行相应标注，以及构建头盔佩戴检测网络，并通过训练用数据集对头盔佩戴检测网络进行训练，得到头盔佩戴检测模型，并通过头盔佩戴检测模型对待检测图像进行检测，得到佩戴头盔或未佩戴头盔的检测结果，此外还对检测结果为未佩戴头盔的图像中的人脸进行识别，得到未佩戴头盔的人员身份信息，由此，能够方便、快速、准确地进行头盔佩戴检测，并能够自动实现未佩戴头盔人员身份信息的识别，大大减小了交管人员的工作量，并有助于缓解交通压力。
对应上述实施例，本发明还提出一种计算机设备。
本发明实施例的计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行该计算机程序时，可实现根据本发明上述实施例所述的头盔佩戴检测方法。
根据本发明实施例的计算机设备，处理器执行存储在存储器上的计算机程序时，通过采集交通视频，提取和处理交通视频中的多个图像，并获取每个图像中一个或多个人员头部信息并进行相应标注，以及构建头盔佩戴检测网络，并通过训练用数据集对头盔佩戴检测网络进行训练，得到头盔佩戴检测模型，并通过头盔佩戴检测模型对待检测图像进行检测，得到佩戴头盔或未佩戴头盔的检测结果，此外还对检测结果为未佩戴头盔的图像中的人脸进行识别，得到未佩戴头盔的人员身份信息，由此，能够方便、快速、准确地进行头盔佩戴检测，并能够自动实现未佩戴头盔人员身份信息的识别，大大减小了交管人员的工作量，并有助于缓解交通压力。
对应上述实施例，本发明还提出一种非临时性计算机可读存储介质。
本发明实施例的非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时可实现根据本发明上述实施例所述的头盔佩戴检测方法。
根据本发明实施例的非临时性计算机可读存储介质，处理器执行存储在其上的计算机程序时，通过采集交通视频，提取和处理交通视频中的多个图像，并获取每个图像中一个或多个人员头部信息并进行相应标注，以及构建头盔佩戴检测网络，并通过训练用数据集对头盔佩戴检测网络进行训练，得到头盔佩戴检测模型，并通过头盔佩戴检测模型对待检测图像进行检测，得到佩戴头盔或未佩戴头盔的检测结果，此外还对检测结果为未佩戴头盔的图像中的人脸进行识别，得到未佩戴头盔的人员身份信息，由此，能够方便、快速、准确地进行头盔佩戴检测，并能够自动实现未佩戴头盔人员身份信息的识别，大大减小了交管人员的工作量，并有助于缓解交通压力。
对应上述实施例，本发明还提出一种计算机程序产品。
当本发明实施例的计算机程序产品中的指令由处理器执行时，可执行根据本发明上述实施例所述的头盔佩戴检测方法。
根据本发明实施例的计算机程序产品，处理器执行其中的指令时，通过采集交通视频，提取和处理交通视频中的多个图像，并获取每个图像中一个或多个人员头部信息并进行相应标注，以及构建头盔佩戴检测网络，并通过训练用数据集对头盔佩戴检测网络进行训练，得到头盔佩戴检测模型，并通过头盔佩戴检测模型对待检测图像进行检测，得到佩戴头盔或未佩戴头盔的检测结果，此外还对检测结果为未佩戴头盔的图像中的人脸进行识别，得到未佩戴头盔的人员身份信息，由此，能够方便、快速、准确地进行头盔佩戴检测，并能够自动实现未佩戴头盔人员身份信息的识别，大大减小了交管人员的工作量，并有助于缓解交通压力。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种头盔佩戴检测方法，其特征在于，包括以下步骤：
采集交通视频，并提取和处理所述交通视频中的多个图像；
获取每个所述图像中一个或多个人员头部信息并进行相应标注，得到训练用数据集，其中，所述人员头部信息包括佩戴头盔的人员头部信息和未佩戴头盔的人员头部信息；
构建头盔佩戴检测网络，并通过所述训练用数据集对所述头盔佩戴检测网络进行训练，得到头盔佩戴检测模型；
获取待检测图像，并通过所述头盔佩戴检测模型对所述待检测图像进行检测，得到佩戴头盔或未佩戴头盔的检测结果；
对检测结果为未佩戴头盔的图像中的人脸进行识别，得到未佩戴头盔的人员身份信息。
2.根据权利要求1所述的头盔佩戴检测方法，其特征在于，还包括：
存储未佩戴头盔的检测结果及对应的图像、人员身份信息。
3.根据权利要求1或2所述的头盔佩戴检测方法，其特征在于，所述交通视频为交通监控系统中通过监控摄像头拍摄得到的视频，其中，提取和处理所述交通视频中的多个图像，具体包括：
将所述交通视频按照预设帧率进行跳帧处理以提取出多个图像；
清洗掉所述多个图像中不包含人员头部的图像；
对清洗后的图像进行去重处理，
获取每个所述图像中一个或多个人员头部信息并进行相应标注，具体包括：
标注出去重处理后的图像中佩戴头盔的类别及人员头部坐标或未佩戴头盔的类别及人员头部坐标。
4.根据权利要求3所述的头盔佩戴检测方法，其特征在于，构建头盔佩戴检测网络，并通过所述训练用数据集对所述头盔佩戴检测网络进行训练，具体包括：
基于Pytorch框架构建头盔佩戴检测网络结构；
将所述训练用数据集划分为验证集和训练集；
通过所述验证集和所述训练集对所述头盔佩戴检测网络进行训练。
5.根据权利要求4所述的头盔佩戴检测方法，其特征在于，所述检测结果包括是否佩戴头盔及人员头部坐标。
6.根据权利要求5所述的头盔佩戴检测方法，其特征在于，对检测结果为未佩戴头盔的图像中的人脸进行识别，具体包括：
根据所述检测结果中的人员头部坐标对检测结果为未佩戴头盔的图像进行裁剪，得到一个或多个人员头部区域；
通过人脸识别算法对所述人员头部区域进行人脸识别。
7.一种头盔佩戴检测装置，其特征在于，包括：
采集模块，所述采集模块用于采集交通视频，并提取和处理所述交通视频中的多个图像；
获取模块，所述获取模块用于获取每个所述图像中一个或多个人员头部信息并进行相应标注，得到训练用数据集，其中，所述人员头部信息包括佩戴头盔的人员头部信息和未佩戴头盔的人员头部信息；
训练模块，所述训练模块用于构建头盔佩戴检测网络，并通过所述训练用数据集对所述头盔佩戴检测网络进行训练，得到头盔佩戴检测模型；
检测模块，所述检测模块用于获取待检测图像，并通过所述头盔佩戴检测模型对所述待检测图像进行检测，得到佩戴头盔或未佩戴头盔的检测结果；
识别模块，所述识别模块用于对检测结果为未佩戴头盔的图像中的人脸进行识别，得到未佩戴头盔的人员身份信息。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现根据权利要求1-6中任一项所述的头盔佩戴检测方法。
9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现根据权利要求1-6中任一项所述的头盔佩戴检测方法。
10.一种计算机程序产品，其特征在于，当所述计算机程序产品中的指令由处理器执行时，执行根据权利要求1-6中任一项所述的头盔佩戴检测方法。
CN202010859405.6A 2020-08-24 2020-08-24 头盔佩戴检测方法和装置 Pending CN111814762A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010859405.6A CN111814762A (zh) 2020-08-24 2020-08-24 头盔佩戴检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010859405.6A CN111814762A (zh) 2020-08-24 2020-08-24 头盔佩戴检测方法和装置

Publications (1)

Publication Number Publication Date
CN111814762A true CN111814762A (zh) 2020-10-23

Family

ID=72860501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010859405.6A Pending CN111814762A (zh) 2020-08-24 2020-08-24 头盔佩戴检测方法和装置

Country Status (1)

Country Link
CN (1) CN111814762A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070074A (zh) * 2020-11-12 2020-12-11 中电科新型智慧城市研究院有限公司 物体检测方法、装置、终端设备和存储介质
CN112651344A (zh) * 2020-12-29 2021-04-13 哈尔滨理工大学 一种基于YOLOv4的摩托车头盔佩戴检测方法
CN112668475A (zh) * 2020-12-28 2021-04-16 苏州科达科技股份有限公司 一种人员身份识别方法、装置、设备及可读存储介质
CN112926540A (zh) * 2021-04-08 2021-06-08 天津天地伟业智能安全防范科技有限公司 一种二轮车佩戴头盔的检测方法、装置及电子设备
CN112966810A (zh) * 2021-02-02 2021-06-15 西北大学 基于改进YOLOv5s的头盔检测方法、装置、电子设备和存储介质
CN113283296A (zh) * 2021-04-20 2021-08-20 晋城鸿智纳米光机电研究院有限公司 安全帽佩戴检测方法、电子装置及存储介质
CN116136611A (zh) * 2023-04-17 2023-05-19 浙江口碑网络技术有限公司 头盔佩戴检测方法、装置、电子设备与存储介质

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504369A (zh) * 2014-12-12 2015-04-08 无锡北邮感知技术产业研究院有限公司 一种安全帽佩戴情况检测方法
CN108319926A (zh) * 2018-02-12 2018-07-24 安徽金禾软件股份有限公司 一种工地现场的安全帽佩戴检测系统及检测方法
CN108537256A (zh) * 2018-03-26 2018-09-14 北京智芯原动科技有限公司 一种安全帽佩戴识别方法及装置
CN109558783A (zh) * 2018-09-20 2019-04-02 中建科技有限公司深圳分公司 一种用于建筑施工现场的违规检测方法、系统及设备
CN109753898A (zh) * 2018-12-21 2019-05-14 中国三峡建设管理有限公司 一种安全帽识别方法及装置
CN110119686A (zh) * 2019-04-17 2019-08-13 电子科技大学 一种基于卷积神经网络的安全帽实时检测方法
CN110163836A (zh) * 2018-11-14 2019-08-23 宁波大学 基于深度学习用于高空巡检下的挖掘机检测方法
WO2019175686A1 (en) * 2018-03-12 2019-09-19 Ratti Jayant On-demand artificial intelligence and roadway stewardship system
CN110309718A (zh) * 2019-05-27 2019-10-08 安徽继远软件有限公司 一种电网作业人员安全帽佩戴检测方法
KR102041734B1 (ko) * 2018-12-13 2019-11-27 유니셈(주) 딥 러닝 기반 교통 위반 단속 시스템 및 방법
CN110619314A (zh) * 2019-09-24 2019-12-27 杭州宇泛智能科技有限公司 安全帽检测方法、装置及电子设备
CN110738127A (zh) * 2019-09-19 2020-01-31 福建师范大学福清分校 基于无监督深度学习神经网络算法的安全帽识别方法
CN110866479A (zh) * 2019-11-07 2020-03-06 北京文安智能技术股份有限公司 一种检测摩托车驾驶员未戴头盔的方法、装置及系统
CN111104974A (zh) * 2019-12-09 2020-05-05 紫光云(南京)数字技术有限公司 基于深度学习的安全帽佩戴识别方法
CN111191586A (zh) * 2019-12-30 2020-05-22 安徽小眯当家信息技术有限公司 一种施工现场人员安全帽佩戴情况巡检方法及系统
CN111241959A (zh) * 2020-01-06 2020-06-05 重庆大学 一种通过工地视频流检测未佩戴安全帽人员的方法
CN111310723A (zh) * 2020-03-12 2020-06-19 智洋创新科技股份有限公司 基于深度学习技术的变电站人员穿戴规范分析方法
CN111310653A (zh) * 2020-02-13 2020-06-19 上海眼控科技股份有限公司 佩戴头盔的检测方法、装置、计算机设备和存储介质
CN111553199A (zh) * 2020-04-07 2020-08-18 厦门大学 一种基于计算机视觉的机动车交通违法行为自动检测技术

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504369A (zh) * 2014-12-12 2015-04-08 无锡北邮感知技术产业研究院有限公司 一种安全帽佩戴情况检测方法
CN108319926A (zh) * 2018-02-12 2018-07-24 安徽金禾软件股份有限公司 一种工地现场的安全帽佩戴检测系统及检测方法
WO2019175686A1 (en) * 2018-03-12 2019-09-19 Ratti Jayant On-demand artificial intelligence and roadway stewardship system
CN108537256A (zh) * 2018-03-26 2018-09-14 北京智芯原动科技有限公司 一种安全帽佩戴识别方法及装置
CN109558783A (zh) * 2018-09-20 2019-04-02 中建科技有限公司深圳分公司 一种用于建筑施工现场的违规检测方法、系统及设备
CN110163836A (zh) * 2018-11-14 2019-08-23 宁波大学 基于深度学习用于高空巡检下的挖掘机检测方法
KR102041734B1 (ko) * 2018-12-13 2019-11-27 유니셈(주) 딥 러닝 기반 교통 위반 단속 시스템 및 방법
CN109753898A (zh) * 2018-12-21 2019-05-14 中国三峡建设管理有限公司 一种安全帽识别方法及装置
CN110119686A (zh) * 2019-04-17 2019-08-13 电子科技大学 一种基于卷积神经网络的安全帽实时检测方法
CN110309718A (zh) * 2019-05-27 2019-10-08 安徽继远软件有限公司 一种电网作业人员安全帽佩戴检测方法
CN110738127A (zh) * 2019-09-19 2020-01-31 福建师范大学福清分校 基于无监督深度学习神经网络算法的安全帽识别方法
CN110619314A (zh) * 2019-09-24 2019-12-27 杭州宇泛智能科技有限公司 安全帽检测方法、装置及电子设备
CN110866479A (zh) * 2019-11-07 2020-03-06 北京文安智能技术股份有限公司 一种检测摩托车驾驶员未戴头盔的方法、装置及系统
CN111104974A (zh) * 2019-12-09 2020-05-05 紫光云(南京)数字技术有限公司 基于深度学习的安全帽佩戴识别方法
CN111191586A (zh) * 2019-12-30 2020-05-22 安徽小眯当家信息技术有限公司 一种施工现场人员安全帽佩戴情况巡检方法及系统
CN111241959A (zh) * 2020-01-06 2020-06-05 重庆大学 一种通过工地视频流检测未佩戴安全帽人员的方法
CN111310653A (zh) * 2020-02-13 2020-06-19 上海眼控科技股份有限公司 佩戴头盔的检测方法、装置、计算机设备和存储介质
CN111310723A (zh) * 2020-03-12 2020-06-19 智洋创新科技股份有限公司 基于深度学习技术的变电站人员穿戴规范分析方法
CN111553199A (zh) * 2020-04-07 2020-08-18 厦门大学 一种基于计算机视觉的机动车交通违法行为自动检测技术

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
B. YOGAMEENA 等: "Deep learning-based helmet wear analysis of a motorcycle rider for intelligent surveillance system", 《IET INTELLIGENT TRANSPORT SYSTEMS》, vol. 33, no. 7, pages 1190 - 1198, XP006081839, DOI: 10.1049/iet-its.2018.5241 *
FELIX WILHELM SIEBERT 等: "Detecting motorcycle helmet use with deep learning", 《ACCIDENT ANALYSIS AND PREVENTION》, pages 1 - 11 *
XITIAN LONG 等: "Safety Helmet Wearing Detection Based On Deep Learning", 《2019 IEEE 3RD INFORMATION TECHNOLOGY, NETWORKING, ELECTRONIC AND AUTOMATION CONTROL CONFERENCE (ITNEC 2019)》, pages 2495 - 2499 *
张传金 等: "基于深度学习的头盔佩戴自动检测", 《电脑编程技巧与维护》, pages 126 - 130 *
贾峻苏 等: "基于可变形部件模型的安全头盔佩戴检测", 《计算机应用研究》, vol. 33, no. 3, pages 953 - 956 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070074A (zh) * 2020-11-12 2020-12-11 中电科新型智慧城市研究院有限公司 物体检测方法、装置、终端设备和存储介质
CN112070074B (zh) * 2020-11-12 2021-02-05 中电科新型智慧城市研究院有限公司 物体检测方法、装置、终端设备和存储介质
CN112668475A (zh) * 2020-12-28 2021-04-16 苏州科达科技股份有限公司 一种人员身份识别方法、装置、设备及可读存储介质
CN112668475B (zh) * 2020-12-28 2022-07-15 苏州科达科技股份有限公司 一种人员身份识别方法、装置、设备及可读存储介质
CN112651344A (zh) * 2020-12-29 2021-04-13 哈尔滨理工大学 一种基于YOLOv4的摩托车头盔佩戴检测方法
CN112966810A (zh) * 2021-02-02 2021-06-15 西北大学 基于改进YOLOv5s的头盔检测方法、装置、电子设备和存储介质
CN112966810B (zh) * 2021-02-02 2023-07-11 西北大学 基于改进YOLOv5s的头盔检测方法、装置、电子设备和存储介质
CN112926540A (zh) * 2021-04-08 2021-06-08 天津天地伟业智能安全防范科技有限公司 一种二轮车佩戴头盔的检测方法、装置及电子设备
CN113283296A (zh) * 2021-04-20 2021-08-20 晋城鸿智纳米光机电研究院有限公司 安全帽佩戴检测方法、电子装置及存储介质
CN116136611A (zh) * 2023-04-17 2023-05-19 浙江口碑网络技术有限公司 头盔佩戴检测方法、装置、电子设备与存储介质

Similar Documents

Publication Publication Date Title
CN111814762A (zh) 头盔佩戴检测方法和装置
Kumar et al. Driver drowsiness monitoring system using visual behaviour and machine learning
CN103956028B (zh) 一种汽车多元驾驶安全防护方法
CN109800633B (zh) 一种非机动车交通违法判断方法、装置和电子设备
CN103042922B (zh) 确定基于车辆驾驶状态信息的驾驶集中度的系统和方法
CN107585160B (zh) 车辆危险警示干预系统
CN103700220A (zh) 一种疲劳驾驶监控装置
CN103310202A (zh) 一种保障驾驶安全的系统及其方法
US11417108B2 (en) Two-wheel vehicle riding person number determination method, two-wheel vehicle riding person number determination system, two-wheel vehicle riding person number determination apparatus, and program
CN110103822A (zh) 一种驾驶行为习惯智能检测及安全驾驶评分的装置和方法
US11335190B2 (en) Storage system for vehicle
SE1450193A1 (sv) Förarstöd
CN105608903A (zh) 交通违章检测的方法及系统
CN108045227A (zh) 一种用于驾驶安全的智能预警方法
CN108053669A (zh) 一种智能车载管理器
CN108230717B (zh) 一种智能交通管理系统
CN112395976A (zh) 一种摩托车载人识别方法、装置、设备及存储介质
US20220019766A1 (en) Automomous validation of proper mask wearing
CN114926824A (zh) 一种不良驾驶行为判别方法
Chinthalachervu et al. Driver drowsiness detection and monitoring system using machine learning
CN114841483A (zh) 一种物流货运车辆的安全监控方法及系统
KR101077094B1 (ko) 차량 위험운전 판단 시스템 및 방법
CN114565887A (zh) 一种基于安全帽佩戴识别的叉车安全作业检测方法
Avupati et al. Traffic Rules Violation Detection using YOLO and HAAR Cascade
CN112232158B (zh) 一种基于驾驶行为特征的替训作弊查证系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination