CN106781286A - 一种疲劳驾驶检测方法及系统 - Google Patents

一种疲劳驾驶检测方法及系统 Download PDF

Info

Publication number
CN106781286A
CN106781286A CN201710073088.3A CN201710073088A CN106781286A CN 106781286 A CN106781286 A CN 106781286A CN 201710073088 A CN201710073088 A CN 201710073088A CN 106781286 A CN106781286 A CN 106781286A
Authority
CN
China
Prior art keywords
key point
human face
face region
shape
point shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710073088.3A
Other languages
English (en)
Inventor
刘鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kai Yi (shenzhen) Technology Co Ltd
Original Assignee
Kai Yi (shenzhen) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kai Yi (shenzhen) Technology Co Ltd filed Critical Kai Yi (shenzhen) Technology Co Ltd
Priority to CN201710073088.3A priority Critical patent/CN106781286A/zh
Publication of CN106781286A publication Critical patent/CN106781286A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明提供一种疲劳驾驶检测方法及系统，该方法包括第一步：输入采集的驾驶员视频图像，利用决策树分类器对视频图像进行人脸检测获取人脸区域；第二步：利用平均脸各个人脸区域的初始关键点形状，从初始关键点形状开始,进行每个关键点相对于当前形状偏差的迭代运算；第三步：提取关键点的形状对应的关键点位置处的纹理特征，利用预设分类器判断纹理特征是否为预设的佩戴眼镜的状态，并根据判断结果检测驾驶员疲劳状态。本发明的有益效果是：本发明首先通过人脸检测技术获取人脸区域，然后基于此区域定位和追踪到人脸关键点，再根据眼睛周围区域的纹理特征判别司机是否戴了墨镜，进而防止因驾驶员佩戴墨镜导致误判降低疲劳驾驶检测的准确性。

Description

一种疲劳驾驶检测方法及系统
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种疲劳驾驶检测方法及系统。
背景技术
为了降低因疲劳驾驶导致的交通事故发生率，疲劳驾驶预警系统广泛应用于驾驶领域。疲劳驾驶预警系统利用驾驶员的面部特征、眼部信号、头部运动性等推断驾驶员的疲劳状态，并进行报警提示和采取相应措施的装置。然而当驾驶员佩戴墨镜后则会降低疲劳驾驶预警系统判断的准确率，进而产生误报。
当前的疲劳驾驶预警系统一般包括红外照明元件、滤光元件及摄像头，通过摄像头获取红外图像保证即使在夜间光线较差的情况下，也能获得较清晰的人脸图像，从而判断驾驶员的疲劳状态。然而，当驾驶员佩戴墨镜后，现有的疲劳驾驶预警系统无法准确判断驾驶员的疲劳状态。因为利用波长较短的红外线光源检测照射时佩戴的墨镜直接影响对人眼状态的获取或者不能穿透墨镜，而利用波长较长的红外线光源长时间照射人眼将会造成白内障等眼部疾病。
发明内容
本发明提供了一种疲劳驾驶检测方法，包括如下步骤：
第一步：输入采集的驾驶员视频图像，利用决策树分类器对视频图像进行人脸检测获取人脸区域；
第二步：利用平均脸各个人脸区域的初始关键点形状，从初始关键点形状开始,进行每个关键点相对于当前形状偏差的迭代运算,用迭代的偏差结果更新关键点形状直至确定人脸区域内关键点的形状；
第三步：提取关键点的形状对应的关键点位置处的纹理特征，利用预设分类器判断纹理特征是否为预设的佩戴眼镜的状态，并根据判断结果检测驾驶员疲劳状态。
作为本发明的进一步改进，在所述第一步中包括如下步骤：
样本采集步骤：确定样本集；
决策树生成步骤：初始化样本集中各个样本的权重，生成一个决策树；
级联步骤：更新样本权重，迭代决策树最终生成决策树分类器。
作为本发明的进一步改进，在所述第二步中，将各个人脸区域进行归一化为预设的分辨率，利用关键点检测技术确定平均脸及各个人脸区域的初始关键点形状。
作为本发明的进一步改进，在所述第二步中，包括如下步骤：
特征提取步骤：基于目标人脸区域的初始关键点，提取目标人脸区域的初始关键点形状处的纹理特征；
回归步骤：计算目标人脸区域与初始关键点的偏差，利用预设的回归器及目标人脸的初始关键点形状处的纹理特征计算每个关键点的偏差,并以此结果更新目标人脸关键点形状；
迭代步骤：计算即要更新后的目标人脸关键点形状与上一次关键点形状结果的偏差，直至最后确定人脸区域的关键点形状。
作为本发明的进一步改进，在所述特征提取步骤中，基于目标人脸区域的初始关键点，提取目标人脸区域的初始关键点形状处的SIFT特征。
本发明还提供了一种疲劳驾驶检测系统，包括：
人脸检测模块：用于输入采集的驾驶员视频图像，利用决策树分类器对视频图像进行人脸检测获取人脸区域；
关键点检测与追踪模块：用于利用平均脸各个人脸区域的初始关键点形状，从初始关键点形状开始,进行每个关键点相对于当前形状偏差的迭代运算,用迭代的偏差结果更新关键点形状直至确定人脸区域内关键点的形状；
墨镜识别模块：提取关键点的形状对应的关键点位置处的纹理特征，利用预设分类器判断纹理特征是否为预设的佩戴眼镜的状态，并根据判断结果检测驾驶员疲劳状态。
作为本发明的进一步改进，在所述人脸检测模块中包括：
样本采集模块：用于确定样本集；
决策树生成模块：用于初始化样本集中各个样本的权重，生成一个决策树；
级联模块：用于更新样本权重，迭代决策树最终生成决策树分类器。
作为本发明的进一步改进，在关键点追踪模块中包括：
预处理模块：用于将各个人脸区域进行归一化为预设的分辨率。
作为本发明的进一步改进，所述关键点追踪模块包括：
特征提取模块：用于基于目标人脸区域的初始关键点，提取目标人脸区域的初始关键点形状处的纹理特征；
回归模块：用于计算目标人脸区域与初始关键点的偏差，利用预设的回归器及目标人脸的初始关键点形状处的纹理特征计算每个关键点的偏差,并以此结果更新目标人脸关键点形状；
迭代模块：用于计算即要更新后的目标人脸关键点形状与上一次关键点形状结果的偏差，直至最后确定人脸区域的关键点形状。
作为本发明的进一步改进，在所述特征提取模块中，基于目标人脸区域的初始关键点，提取目标人脸区域的初始关键点形状处的SIFT特征。
本发明的有益效果是：本发明首先通过人脸检测技术获取人脸区域，然后基于此区域定位和追踪到人脸关键点，再根据眼睛周围区域的纹理特征判别司机是否戴了墨镜，进而防止因驾驶员佩戴墨镜导致误判降低疲劳驾驶检测的准确性。
附图说明
图1是本发明的方法流程图。
图2是本发明的一实施例流程图。
具体实施方式
如图1所示，本发明公开了一种疲劳驾驶检测方法，包括如下步骤：
S101：输入采集的驾驶员视频图像，利用决策树分类器对视频图像进行人脸检测获取人脸区域；
视频图像中每个视频帧图像包括人脸区域，也包括非人脸区域，为了加快对人脸关键点区域的检测，首先需要对视频图像进行人脸区域检测。该步骤中从视频图像中识别人脸所在的区域，一般可用矩形框等进行标记，这种标记的人脸区域并不是精确的人脸轮廓曲线。
S102：利用平均脸各个人脸区域的初始关键点形状，从初始关键点形状开始,进行每个关键点相对于当前形状偏差的迭代运算,用迭代的偏差结果更新关键点形状直至确定人脸区域内关键点的形状；
S103：提取关键点的形状对应的关键点位置处的纹理特征，利用预设分类器判断纹理特征是否为预设的佩戴眼镜的状态，并根据判断结果检测驾驶员疲劳状态。
本发明通过计算平均脸及各个人脸区域的初始关键点的偏差，实现对人脸关键点的校正，进而提取人脸关键点位置处的像素特征，从而判断驾驶员是否佩戴眼镜。
步骤S101包括：
样本采集步骤：确定样本集；
决策树生成步骤：初始化样本集中各个样本的权重，生成一个决策树；
级联步骤：更新样本权重，迭代决策树最终生成决策树分类器。
具体实施时，可按照如下步骤进行：
对于一个训练集{Is,cs}，为Is图像集，cs{-1,1}图像为是否为人脸的标注集，-1表示不是人脸，1代表人脸，其中s＝1,2,3…，n,s为图像样本的个数。
(1)首先初始化每个训练样本的权重Ws；
(2)对于每一个k＝1,2,3，…，K决策树，
<a>.以最小化基于权重的最小二乘误差WMSE，训练决策树Tk
其中，Δ和xk是决策树中的每个节点中标注分别是-1和1的训练集的集合，和是两个集合的基于权重的标注真值的均值。
<b>更新每个样本的权重
<c>归一化权重，使所有权重的和为1，
(3)输出级联决策树。
pixel intensity(I；i1,i2)＝0如果I(i1)<＝I(i2)；
pixel intensity(I；i1,i2)＝1如果I(i1)>I(i2)；
其中,i1、i2分别是归一化后的像素位置，I(＊)表示像素亮度。
所述根据各个人脸区域获取平均脸，利用关键点检测技术确定平均脸及各个人脸区域的初始关键点形状还包括：将各个人脸区域进行归一化为预设的分辨率。
具体实施时，为了便于管理首先将各个人脸区域范围的图像进行归一处理，可选的将所有的人脸区域归一化为统一的分辨率，如50*50。
如图2所示，步骤S102包括：
S201：基于目标人脸区域的初始关键点，提取目标人脸区域的初始关键点形状处的纹理特征；
S202：计算目标人脸区域与初始关键点的偏差，利用预设的回归器及目标人脸的初始关键点形状处的纹理特征计算每个关键点的偏差,并以此结果更新目标人脸关键点形状；
S203：迭代步骤：计算即要更新后的目标人脸关键点形状与上一次关键点形状结果的偏差，直至最后确定人脸区域的关键点形状。
具体实施时，可选的提取目标人脸区域的初始关键点形状处的SIFT特征。
本发明还公开了一种疲劳驾驶检测系统，包括：
人脸检测模块：用于输入采集的驾驶员视频图像，利用决策树分类器对视频图像进行人脸检测获取人脸区域；
关键点检测与追踪模块：用于利用平均脸各个人脸区域的初始关键点形状，从初始关键点形状开始,进行每个关键点相对于当前形状偏差的迭代运算,用迭代的偏差结果更新关键点形状直至确定人脸区域内关键点的形状；
墨镜识别模块：提取关键点的形状对应的关键点位置处的纹理特征，利用预设分类器判断纹理特征是否为预设的佩戴眼镜的状态，并根据判断结果检测驾驶员疲劳状态。
在所述人脸检测模块中包括：
样本采集模块：用于确定样本集；
决策树生成模块：用于初始化样本集中各个样本的权重，生成一个决策树；
级联模块：用于更新样本权重，迭代决策树最终生成决策树分类器。
在关键点追踪模块中包括：
预处理模块：用于将各个人脸区域进行归一化为预设的分辨率。
所述关键点追踪模块包括：
特征提取模块：用于基于目标人脸区域的初始关键点，提取目标人脸区域的初始关键点形状处的纹理特征；
回归模块：用于计算目标人脸区域与初始关键点的偏差，利用预设的回归器及目标人脸的初始关键点形状处的纹理特征计算每个关键点的偏差,并以此结果更新目标人脸关键点形状；
迭代模块：用于计算即要更新后的目标人脸关键点形状与上一次关键点形状结果的偏差，直至最后确定人脸区域的关键点形状。
在所述特征提取模块中，基于目标人脸区域的初始关键点，提取目标人脸区域的初始关键点形状处的SIFT特征。
检测驾驶员眼镜状态一般利用红外线光源，一般利用的是波长1.5微米的红外线光源，长时间的话会造成白内障等眼部疾病，但是选用波长较大的红外线光源，带来了一个问题就是有些材质的墨镜穿不透，这样在图像上就看不清眼睛的状态，无法判断疲劳状态。因此本发明要解决的问题就是判断司机是否戴了墨镜，如果判断结果是戴墨镜的话，就不进入眼睛状态的检测模块，防止可能的虚报警。
本发明首先通过人脸检测技术获取人脸区域，然后基于此区域定位和追踪到人脸关键点，再根据眼睛周围区域的纹理特征判别司机是否戴了墨镜，进而防止因驾驶员佩戴墨镜导致误判降低疲劳驾驶检测的准确性。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种疲劳驾驶检测方法，其特征在于，包括如下步骤：
第一步：输入采集的驾驶员视频图像，利用决策树分类器对视频图像进行人脸检测获取人脸区域；
第二步：利用平均脸各个人脸区域的初始关键点形状，从初始关键点形状开始,进行每个关键点相对于当前形状偏差的迭代运算,用迭代的偏差结果更新关键点形状直至确定人脸区域内关键点的形状；
第三步：提取关键点的形状对应的关键点位置处的纹理特征，利用预设分类器判断纹理特征是否为预设的佩戴眼镜的状态，并根据判断结果检测驾驶员疲劳状态。
2.根据权利要求1所述的疲劳驾驶检测方法，其特征在于，在所述第一步中包括如下步骤：
样本采集步骤：确定样本集；
决策树生成步骤：初始化样本集中各个样本的权重，生成一个决策树；
级联步骤：更新样本权重，迭代决策树最终生成决策树分类器。
3.根据权利要求1所述的疲劳驾驶检测方法，其特征在于，在所述第二步中，将各个人脸区域进行归一化为预设的分辨率，利用关键点检测技术确定平均脸及各个人脸区域的初始关键点形状。
4.根据权利要求1所述的疲劳驾驶检测方法，其特征在于，在所述第二步中，包括如下步骤：
特征提取步骤：基于目标人脸区域的初始关键点，提取目标人脸区域的初始关键点形状处的纹理特征；
回归步骤：计算目标人脸区域与初始关键点的偏差，利用预设的回归器及目标人脸的初始关键点形状处的纹理特征计算每个关键点的偏差,并以此结果更新目标人脸关键点形状；
迭代步骤：计算即要更新后的目标人脸关键点形状与上一次关键点形状结果的偏差，直至最后确定人脸区域的关键点形状。
5.根据权利要求4所述的疲劳驾驶检测方法，其特征在于，在所述特征提取步骤中，基于目标人脸区域的初始关键点，提取目标人脸区域的初始关键点形状处的SIFT特征。
6.一种疲劳驾驶检测系统，其特征在于，包括：
人脸检测模块：用于输入采集的驾驶员视频图像，利用决策树分类器对视频图像进行人脸检测获取人脸区域；
关键点检测与追踪模块：用于利用平均脸各个人脸区域的初始关键点形状，从初始关键点形状开始,进行每个关键点相对于当前形状偏差的迭代运算,用迭代的偏差结果更新关键点形状直至确定人脸区域内关键点的形状；
墨镜识别模块：提取关键点的形状对应的关键点位置处的纹理特征，利用预设分类器判断纹理特征是否为预设的佩戴眼镜的状态，并根据判断结果检测驾驶员疲劳状态。
7.根据权利要求6所述的疲劳驾驶检测系统，其特征在于，在所述人脸检测模块中包括：
样本采集模块：用于确定样本集；
决策树生成模块：用于初始化样本集中各个样本的权重，生成一个决策树；
级联模块：用于更新样本权重，迭代决策树最终生成决策树分类器。
8.根据权利要求6所述的疲劳驾驶检测系统，其特征在于，在关键点追踪模块中包括：
预处理模块：用于将各个人脸区域进行归一化为预设的分辨率。
9.根据权利要求6所述的疲劳驾驶检测系统，其特征在于，所述关键点追踪模块包括：
特征提取模块：用于基于目标人脸区域的初始关键点，提取目标人脸区域的初始关键点形状处的纹理特征；
回归模块：用于计算目标人脸区域与初始关键点的偏差，利用预设的回归器及目标人脸的初始关键点形状处的纹理特征计算每个关键点的偏差,并以此结果更新目标人脸关键点形状；
迭代模块：用于计算即要更新后的目标人脸关键点形状与上一次关键点形状结果的偏差，直至最后确定人脸区域的关键点形状。
10.根据权利要求6所述的疲劳驾驶检测系统，其特征在于，在所述特征提取模块中，基于目标人脸区域的初始关键点，提取目标人脸区域的初始关键点形状处的SIFT特征。
CN201710073088.3A 2017-02-10 2017-02-10 一种疲劳驾驶检测方法及系统 Pending CN106781286A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710073088.3A CN106781286A (zh) 2017-02-10 2017-02-10 一种疲劳驾驶检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710073088.3A CN106781286A (zh) 2017-02-10 2017-02-10 一种疲劳驾驶检测方法及系统

Publications (1)

Publication Number Publication Date
CN106781286A true CN106781286A (zh) 2017-05-31

Family

ID=58956906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710073088.3A Pending CN106781286A (zh) 2017-02-10 2017-02-10 一种疲劳驾驶检测方法及系统

Country Status (1)

Country Link
CN (1) CN106781286A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818310A (zh) * 2017-11-03 2018-03-20 电子科技大学 一种基于视线的驾驶员注意力检测方法
CN107862285A (zh) * 2017-11-07 2018-03-30 哈尔滨工业大学深圳研究生院 一种人脸对齐方法
WO2020024395A1 (zh) * 2018-08-02 2020-02-06 平安科技（深圳）有限公司 疲劳驾驶检测方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050039765A (ko) * 2005-02-21 2005-04-29 주식회사 아이티펌 얼굴 윤곽 및 특징 추출 방법
CN103310204A (zh) * 2013-06-28 2013-09-18 中国科学院自动化研究所 基于增量主成分分析的特征与模型互匹配人脸跟踪方法
CN104361716A (zh) * 2014-10-31 2015-02-18 新疆宏开电子系统集成有限公司 实时检测疲劳并提醒的方法
CN104881955A (zh) * 2015-06-16 2015-09-02 华中科技大学 一种驾驶员疲劳驾驶检测方法及系统
CN105844252A (zh) * 2016-04-01 2016-08-10 南昌大学 一种面部关键部位的疲劳检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050039765A (ko) * 2005-02-21 2005-04-29 주식회사 아이티펌 얼굴 윤곽 및 특징 추출 방법
CN103310204A (zh) * 2013-06-28 2013-09-18 中国科学院自动化研究所 基于增量主成分分析的特征与模型互匹配人脸跟踪方法
CN104361716A (zh) * 2014-10-31 2015-02-18 新疆宏开电子系统集成有限公司 实时检测疲劳并提醒的方法
CN104881955A (zh) * 2015-06-16 2015-09-02 华中科技大学 一种驾驶员疲劳驾驶检测方法及系统
CN105844252A (zh) * 2016-04-01 2016-08-10 南昌大学 一种面部关键部位的疲劳检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张君昌等: "基于改进Adaboost算法的人脸检测", 《计算机仿真》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818310A (zh) * 2017-11-03 2018-03-20 电子科技大学 一种基于视线的驾驶员注意力检测方法
CN107818310B (zh) * 2017-11-03 2021-08-06 电子科技大学 一种基于视线的驾驶员注意力检测方法
CN107862285A (zh) * 2017-11-07 2018-03-30 哈尔滨工业大学深圳研究生院 一种人脸对齐方法
WO2020024395A1 (zh) * 2018-08-02 2020-02-06 平安科技（深圳）有限公司 疲劳驾驶检测方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
US20220079472A1 (en) Deep-learning-based fall detection based on human keypoints
JP6442942B2 (ja) ドライバ状態判定装置
US20190122082A1 (en) Intelligent content displays
US8398239B2 (en) Wearable eye tracking system
CN104127302B (zh) 一种视障人士行路安全导航方法
US11330200B2 (en) Parallax correction using cameras of different modalities
CN109477951A (zh) 在保护隐私的同时识别人及/或识别并量化疼痛、疲劳、情绪及意图的系统及方法
CN106909879A (zh) 一种疲劳驾驶检测方法及系统
CN106781286A (zh) 一种疲劳驾驶检测方法及系统
CN106840409A (zh) 一种基于modis的森林火灾火点检测方法
US10891479B2 (en) Image processing method and system for iris recognition
WO2018171490A1 (zh) 虹膜识别系统及虹膜图像采集方法
KR102469720B1 (ko) 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법
JP2008146356A (ja) 視線方向推定装置及び視線方向推定方法
US11375133B2 (en) Automatic exposure module for an image acquisition system
US20220004609A1 (en) Authentication device, authentication method, and recording medium
US11475641B2 (en) Computer vision cameras for IR light detection
KR101454644B1 (ko) 보행자 추적기를 이용한 서성거림을 탐지하는 방법
CN104417489B (zh) 一种汽车安全带检测方法及汽车安全带检测装置
CN109034038A (zh) 一种基于多特征融合的火灾识别装置
KR20060126352A (ko) 홍채 반사 영상 기반 졸음 감지 장치 및 방법
WO2020217812A1 (ja) 被写体の状態を認識する画像処理装置及びその方法
CN103942527A (zh) 利用眼镜分类器的眼睛离开道路分类
GB2589080A (en) Surveillance system
US9842406B2 (en) System and method for determining colors of foreground, and computer readable recording medium therefor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531