CN105894732A - 一种疲劳驾驶监测系统 - Google Patents
一种疲劳驾驶监测系统 Download PDFInfo
- Publication number
- CN105894732A CN105894732A CN201410604159.4A CN201410604159A CN105894732A CN 105894732 A CN105894732 A CN 105894732A CN 201410604159 A CN201410604159 A CN 201410604159A CN 105894732 A CN105894732 A CN 105894732A
- Authority
- CN
- China
- Prior art keywords
- video
- signal processor
- driver
- monitoring system
- outfan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 210000001508 eye Anatomy 0.000 description 27
- 210000003128 head Anatomy 0.000 description 13
- 238000000034 method Methods 0.000 description 12
- 206010048232 Yawning Diseases 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 210000000744 eyelid Anatomy 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 150000001875 compounds Chemical class 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 3
- 230000007935 neutral effect Effects 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000000994 depressogenic effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241001282135 Poromitra oscitans Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007634 remodeling Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种疲劳驾驶监测系统，包括：视频采集装置、视频输入装置、控制器、信号检测装置、信号处理器、视频输出装置、显示装置和预警装置，所述视频采集装置的输出端连接所述视频输入装置，所述视频输入装置的输出端连接所述信号处理器和视频输出装置，所述信号检测装置的输出端连接信号处理器，所述信号处理器的输出端连接所述控制器、显示装置和预警装置，所述控制器的输入端连接所述信号处理器，所述控制器的输出端连接所述视频输入装置和视频输出装置。本发明实施例中通过对驾驶员头部信息和车辆动作相结合的检测方式对驾驶员的疲劳状态进行检测，使得监测结果准确，降低虚假报警，提高报警准确率。
Description
技术领域
本发明涉及一种监测系统，具体涉及一种疲劳驾驶监测系统。
背景技术
汽车的发展极大地促进了交通的发展和人们的生活，近年来我国的汽车工业飞速发展，我国已成为世界第一的汽车生产和销售大国，年销售汽车超过一千七百万辆，汽车保有量也早已超过一亿辆。
但是汽车也给人们带来诸多的烦恼，突出的就是交通事故，由于我国道路交通状况不是很好，加之汽车拥有量激增是近年来才出现的，因此驾驶员的基本状况不是很好，导致了我国交通事故量非常大。据统计，我国是世界上交通事故死亡人数最多的国家，二十世纪八十年代末中国交通事故年死亡人数首次超过五万人，中国(不包括港澳台地区)每年交通事故数十万起，因交通事故死亡人数万人，已经连续十余年居世界第一。2009年，中国汽车保有量约占世界汽车保有量的百分之三，但交通事故死亡人数却占世界的百分之十六。2010年，全国共接报道路交通事故3906164起，其中，涉及人员伤亡的道路交通事故219521起，造成65225人死亡、254075人受伤，直接财产损失9.3亿。据统计驾驶员是道路交通安全最重要的影响因素。2004年因驾驶员因素导致的交通事故占总数的89.8％，造成的死亡人数、受伤人数分别占到了总数的87.4％和90.6％。影响安全的驾驶员状态包括酒驾，疲劳驾驶，不良驾驶习惯，和特殊情绪状态(如激动，悲伤，情绪低落等)。这些极大的影响着交通安全。但是汽车也给人们带来诸多的烦恼，突出的就是交通事故，由于我国道路交通状况不是很好，加之汽车拥有量激增是近年来才出现的，因此驾驶员的基本状况不是很好，导致了我国交通事故量非常大。影响安全的驾驶员状态包括酒驾，疲劳驾驶，不良驾驶习惯，和特殊情绪状态(如激动，悲伤，情绪低落等)。
目前，对于酒驾已有相应的检测手段，不良驾驶习惯可以靠加强培训和测试予以改正，对于驾驶员疲劳状态和情绪状态的检测准确率不高，容易发生误报警现象。目前驾驶员疲劳检测研究方法可以分成两大类：a)根据车辆的行为表现间接判断驾驶员是否产生疲劳。在这类技术中，通过传感器获取车辆在行驶过程中的各种参数，根据车辆行驶过程中的异常情况，如车辆是否超过道路标志线、速度是否超速、车辆之间的距离是否太近等，判断驾驶员是否有疲劳产生。b)从驾驶员自身特征出发，通过某种设备获取驾驶员的生理参数特征或者视觉特征，利用驾驶员在正常状态和疲劳状态的特征模式不同，采用相应的模式识别技术分类进行判别，从而检测到是否有疲劳产生。
发明内容
本发明根据上述存在的技术问题，提供一种疲劳驾驶监测系统，解决由于驾驶员情绪波动导致预警不准确的问题。
本发明采用的解决方案是：一种疲劳驾驶监测系统，包括：视频采集装置、视频输入装置、控制器、信号检测装置、信号处理器、视频输出装置、显示装置和预警装置，所述视频采集装置的输出端连接所述视频输入装置，所述视频输入装置的输出端连接所述信号处理器和视频输出装置，所述信号检测装置的输出端连接信号处理器，所述信号处理器的输出端连接所述控制器、显示装置和预警装置，所述控制器的输入端连接所述信号处理器，所述控制器的输出端连接所述视频输入装置和视频输出装置。
进一步地的技术方案为：所述信号检测装置还包括：
位置传感器，所述位置传感器设置在刹车和方向盘上，所述位置传感器的输出端连接所述信号处理器。
进一步地，所述视频采集装置采用摄像头或数码相机。
进一步地，所述控制器为CPLD/FPGA。
进一步地，所述预警装置为蜂鸣器和LED灯。
本发明的优点是：本发明实施例中通过视觉检测对驾驶员头部信息和车辆动作相结合的检测方式对驾驶员的疲劳状态进行检测，通过对驾驶员头部及面部状态获取驾驶员是否处于疲劳状态，进一步通过车辆的刹车及方向盘的运动情况对驾驶员是否疲劳进行验证，使得监测结果准确，降低虚假报警，提高报警准确率。
附图说明
图1是本发明的一种疲劳驾驶监测系统结构图。
具体实施方式
参见图1，是本发明的一种疲劳驾驶监测系统结构图。
如图1所示，一种疲劳驾驶监测系统，包括：视频采集装置、视频输入装置、控制器、信号检测装置、信号处理器、视频输出装置、显示装置和预警装置，所述视频采集装置的输出端连接所述视频输入装置，所述视频输入装置的输出端连接所述信号处理器和视频输出装置，所述信号检测装置的输出端连接信号处理器，所述信号处理器的输出端连接所述控制器、显示装置和预警装置，所述控制器的输入端连接所述信号处理器，所述控制器的输出端连接所述视频输入装置和视频输出装置。
本发明通过对视觉检测和车辆状态相结合的方式进行疲劳识别，视觉检测的主要原理是首先通过摄像头实时地采集驾驶室内监控的驾驶员视频图像，通过Hopfield神经网络对驾驶员进行快速人脸识别，然后通过基于投影和分块复杂度的眼睛定位方法及基于颜色和纹理复合特征的双状态人眼跟踪算法对驾驶员进行眼睛定位及跟踪；然后通一系列算法提取PERCLOS、AECS、NodFreq、YawnFreq等驾驶员疲劳评价参数，用模糊神经网络技术，将驾驶员疲劳评价参数进行有机融合，提出了驾驶员疲劳状态识别标准：根据检测系统输出的疲劳结果给出对应报警信息。具体识别方法如下：
1.人脸识别：
用Hopfield神经网络对驾驶员进行快速人脸识别。
2.眼睛定位和跟踪：
通过基于投影和分块复杂度的眼睛定位方法及基于颜色和纹理复合特征的双状态人眼跟踪算法对驾驶员进行眼睛定位及跟踪。
3.提取PERCLOS参数：
PERCLOS(percentage of eyelid closure over the pupil over time)是在单位时间里眼睛闭合时间所占的百比率。PERCLOS的测量方法是：用摄像机抓取驾驶员的脸部图像，通过图像处理方法得到眼睛图像，经过图像分析和识别的手段确定眼睛是睁开还是闭合的。定义眼睛瞳孔开度大于20％是睁开；而瞳孔开度等于20％或更小为闭合。眼睛闭开比是当测量时间内眼睛闭合的时间与眼睛睁开的时间之比。眼睛睁开是通过眼睛图像像素的模板比较得出的；同样眼睛闭合也是通过眼睛图像的像素模板比较得出的。时间是通过每帧图像处理的时间计算出的。
4.AECS参数：
AverageEyeClosureSpeed的缩写，即眼皮的平均闭合速度。根据Wierwilie和Ellsworth在1994年的研究，清醒的司机一般有正常的面部表情，快速的眨眼，短暂的视线注视。相反，疲劳的司机则有较少的面部表情，缓慢的眼皮运动，更长的眼皮闭合以及视线停留。正常的人眼闭合时间只要0.17秒，而疲劳时人眼闭合时间长达1.68秒，差十倍之多。
实验表明，虽然PERCLOS和AECS两个参数都用作驾驶员疲劳检测，但是这两个参数还是有显著的不同。正常(非疲劳状态)的驾驶员的PERCLOS值应该低于30％，而AECS值应该低于0.17秒。如果一个驾驶员的PERCLOS值大于30％并且AECS值大于0.17秒，我们就认为驾驶员处于疲劳状态。
5.NodFreq参数和YawnFreq参数：
YawnFreq表示打哈欠的频率；odFreq表示点头的频率，这两个参数的精确检测分别涉及到人脸表情识别以及头部三维姿态的评估。考虑到精确检测上述两个参数牵涉到内容多，算法步骤复杂，计算量大，我们采用了一些简化的检测方法。实验表明，这些简化方法对于我们的应用来说，也有不错的效果。
我们知道，一个哈欠动作包括一次嘴巴张开和一次嘴巴闭合。因此，可以认为当嘴巴张开程度超过一定范围的时候，哈欠就实际发生了。嘴巴张开的程度可以用嘴巴的宽高比来表达。如果该值比较大，则说明嘴巴是闭合状态；如果该值比较小，则说明嘴巴处于张开状态，如果该值由大到小变化，说明嘴巴在进行一次张开动作；反之，则说明嘴巴在进行一次闭合动作。记录下该值随时间的变化规律，就可对人的疲劳状况进行判定。需要注意的是，虽然一次哈欠对应嘴巴的一次张开和一次闭合，但在实际操作时却应该以嘴巴的闭合动作来判定一次哈欠的发生。
点头动作可以通过检测人脸的位置得到。记录脸的垂直位置随时间的变化规律，将数据绘制成一条曲线，水平坐标是时间，垂直坐标是人脸的垂直位置。如果该曲线在某个位置出现了一次峰值则说明在该时间头部经历了一次抬头的动作。如果在某个时间段出现了多个峰值，超过了一定的值，说明该时间段内频繁的发生低头、抬头的动作，我们可以认为已经检测到驾驶员在打吨，这时，疲劳实际己经发生了。
进一步地，所述视频采集装置采用摄像头或数码相机。
本发明实施例中所述的疲劳驾驶监测系统设置在汽车驾驶室中，其中所述视频采集装置的监测点正对驾驶员头部，通过汽车内部的电源对摄像头或数码相机进行供电。
进一步地，所述控制器采用CPLD/FPGA。
本发明采用可编程逻辑控制器对监测系统的视频输入装置和视频输出装置进行控制，并将控制命令发送到数字信号处理器中，对显示装置和预警装置进行控制，操作控制简单方便。
所述预警装置可以是蜂鸣器、马达、LED灯或者同时采用其中的几种装置进行声光报警，对驾驶员进行提醒。优选的，所述预警装置为LED灯和蜂鸣器的组合。
汽车在行驶的过程中，视频采集装置对驾驶员的头部信息进行图像采集，通过视频输入接口接入到视频A/D转换器中，视频A/D转换器将视频采集装置的模拟信号转换为数字信号后传送到数字信号处理器上，所述数字信号处理器接收到视频A/D转换器的数字信号，通过对驾驶员头部的动作和面部表情进行分析，得到驾驶员的状态信息，并发送到控制器中，并将分析结果显示出来，当分析结果为驾驶员疲劳驾驶时，启动报警装置进行报警，提醒驾驶员已经进入疲劳驾驶状态，及时采取措施避免疲劳驾驶。
本发明实施例中，可以用以眼部动作特征为主的身体运动特征来表征驾驶员的生理参数和行为特征。所述驾驶员头部的动作和面部表情的检测主要是对驾驶员的头部动作、嘴部和眼睛状态的检测，通过对驾驶员是否点头、打哈欠及眼睛是否闭合的检测，判断驾驶员在驾驶过程中是否处于疲劳状态。
本发明实施例中，对摄像机采集的图像进行分析时，还可以通过对驾驶员脸部的温度分布进行分析，判断驾驶员的情绪状态，通过与上述检测结果综合进行分析，提高疲劳驾驶检测的准确度。
进一步地技术方案为：所述信号检测装置还包括：位置传感器，所述位置传感器设置在刹车和方向盘上，所述位置传感器的输出端连接所述信号处理器。
本发明实施例中，通过对刹车和方向盘动作进行检测，判断驾驶员直接输出的动作信息，通过对驾驶员使用刹车和方向盘的状态判断驾驶员的疲劳和情绪信息，提高检测准确度。
本发明实施例中通过视觉检测对驾驶员头部信息和车辆动作相结合的检测方式对驾驶员的疲劳状态进行检测，首先通过摄像头实时地采集驾驶室内监控的驾驶员视频图像，通过Hopfield神经网络对驾驶员进行快速人脸识别，然后通过基于投影和分块复杂度的眼睛定位方法及基于颜色和纹理复合特征的双状态人眼跟踪算法对驾驶员进行眼睛定位及跟踪；获取疲劳参数信息，用模糊神经网络技术，将其与驾驶员疲劳评价参数进行有机融合，根据检测系统输出的疲劳结果给出对应报警信息。
以上对本发明所提供的一种疲劳驾驶监测系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
上面结合附图对本发明优选实施方式作了详细说明，但是本发明不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。不脱离本发明的构思和范围可以做出许多其他改变和改型。应当理解，本发明不限于特定的实施方式，本发明的范围由所附权利要求限定。
Claims (5)
1.一种疲劳驾驶监测系统，其特征在于，包括：视频采集装置、视频输入装置、控制器、信号检测装置、信号处理器、视频输出装置、显示装置和预警装置，所述视频采集装置的输出端连接所述视频输入装置，所述视频输入装置的输出端连接所述信号处理器和视频输出装置，所述信号检测装置的输出端连接信号处理器，所述信号处理器的输出端连接所述控制器、显示装置和预警装置，所述控制器的输入端连接所述信号处理器，所述控制器的输出端连接所述视频输入装置和视频输出装置。
2.根据权利要求1所述的一种疲劳驾驶监测系统，其特征在于，所述信号检测装置还包括：
位置传感器，所述位置传感器设置在刹车和方向盘上，所述位置传感器的输出端连接所述信号处理器。
3.根据权利要求1所述的一种疲劳驾驶监测系统，其特征在于，所述视频采集装置采用摄像头或数码相机。
4.根据权利要求1所述的一种疲劳驾驶监测系统，其特征在于，所述控制器为CPLD/FPGA。
5.根据权利要求1所述的一种疲劳驾驶监测系统，其特征在于，所述预警装置为蜂鸣器和LED灯。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410604159.4A CN105894732A (zh) | 2014-10-28 | 2014-10-28 | 一种疲劳驾驶监测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410604159.4A CN105894732A (zh) | 2014-10-28 | 2014-10-28 | 一种疲劳驾驶监测系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105894732A true CN105894732A (zh) | 2016-08-24 |
Family
ID=56697825
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410604159.4A Pending CN105894732A (zh) | 2014-10-28 | 2014-10-28 | 一种疲劳驾驶监测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105894732A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107862296A (zh) * | 2017-11-20 | 2018-03-30 | 深圳市深视创新科技有限公司 | 驾驶员行为的监控方法及系统、计算机可读存储介质 |
| CN113080971A (zh) * | 2021-04-12 | 2021-07-09 | 北京交通大学 | 一种通过检测眨眼信号判断疲劳状态的方法和系统 |
| CN113892917A (zh) * | 2021-09-26 | 2022-01-07 | 东风汽车集团股份有限公司 | 一种疲劳驾驶的检测方法和装置 |
| US11246797B2 (en) | 2017-05-27 | 2022-02-15 | Boe Technology Group Co., Ltd. | Massage glove and vehicle-mounted massage device |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1936988A (zh) * | 2006-09-01 | 2007-03-28 | 王焕一 | 驾驶员瞌睡报警记录的方法及装置 |
| CN101030316A (zh) * | 2007-04-17 | 2007-09-05 | 北京中星微电子有限公司 | 一种汽车安全驾驶监控系统和方法 |
| CN202257856U (zh) * | 2011-10-12 | 2012-05-30 | 四川科泰智能电子有限公司 | 驾驶员疲劳驾驶监控装置 |
| CN102881116A (zh) * | 2011-07-13 | 2013-01-16 | 上海库源电气科技有限公司 | 一种疲劳驾驶预警系统及方法 |
| JP2013232143A (ja) * | 2012-05-01 | 2013-11-14 | Original Soft:Kk | 居眠り防止装置 |
-
2014
- 2014-10-28 CN CN201410604159.4A patent/CN105894732A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1936988A (zh) * | 2006-09-01 | 2007-03-28 | 王焕一 | 驾驶员瞌睡报警记录的方法及装置 |
| CN101030316A (zh) * | 2007-04-17 | 2007-09-05 | 北京中星微电子有限公司 | 一种汽车安全驾驶监控系统和方法 |
| CN102881116A (zh) * | 2011-07-13 | 2013-01-16 | 上海库源电气科技有限公司 | 一种疲劳驾驶预警系统及方法 |
| CN202257856U (zh) * | 2011-10-12 | 2012-05-30 | 四川科泰智能电子有限公司 | 驾驶员疲劳驾驶监控装置 |
| JP2013232143A (ja) * | 2012-05-01 | 2013-11-14 | Original Soft:Kk | 居眠り防止装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11246797B2 (en) | 2017-05-27 | 2022-02-15 | Boe Technology Group Co., Ltd. | Massage glove and vehicle-mounted massage device |
| CN107862296A (zh) * | 2017-11-20 | 2018-03-30 | 深圳市深视创新科技有限公司 | 驾驶员行为的监控方法及系统、计算机可读存储介质 |
| CN113080971A (zh) * | 2021-04-12 | 2021-07-09 | 北京交通大学 | 一种通过检测眨眼信号判断疲劳状态的方法和系统 |
| CN113892917A (zh) * | 2021-09-26 | 2022-01-07 | 东风汽车集团股份有限公司 | 一种疲劳驾驶的检测方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103974656B (zh) | 瞌睡检测方法和设备 | |
| CN104637246B (zh) | 一种驾驶员多种行为预警系统及危险评估方法 | |
| CN100462047C (zh) | 基于全方位计算机视觉的安全驾驶辅助装置 | |
| CN101593425B (zh) | 一种基于机器视觉的疲劳驾驶监控方法及系统 | |
| CN108446600A (zh) | 一种车辆驾驶员疲劳监测预警系统及方法 | |
| CN104224204B (zh) | 一种基于红外检测技术的驾驶员疲劳检测系统 | |
| CN105404862A (zh) | 一种基于手部跟踪的安全驾驶检测方法 | |
| CN103714660A (zh) | 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统 | |
| CN106128032A (zh) | 一种疲劳状态监测及预警方法及其系统 | |
| CN101877051A (zh) | 驾驶人注意力状态监测方法和装置 | |
| CN104809480A (zh) | 一种基于分类回归树和AdaBoost的眼底图像视网膜血管分割方法 | |
| CN109543577A (zh) | 一种基于面部表情特征的疲劳驾驶检测预警方法 | |
| Huang et al. | P-FDCN based eye state analysis for fatigue detection | |
| CN104881956A (zh) | 一种疲劳驾驶预警系统 | |
| CN105894732A (zh) | 一种疲劳驾驶监测系统 | |
| CN110472511A (zh) | 一种基于计算机视觉的驾驶员状态监测装置 | |
| Tang et al. | Real-time image-based driver fatigue detection and monitoring system for monitoring driver vigilance | |
| CN112528843A (zh) | 一种融合面部特征的机动车驾驶人疲劳检测方法 | |
| CN105912984A (zh) | 一种融合多态信息的辅助驾驶方法 | |
| Chen | Research on driver fatigue detection strategy based on human eye state | |
| CN108537138A (zh) | 一种基于机器视觉的眼睛闭合度计算方法 | |
| Al Redhaei et al. | Realtime driver drowsiness detection using machine learning | |
| Du et al. | Driver fatigue detection based on eye state analysis | |
| Suhaiman et al. | Development of an intelligent drowsiness detection system for drivers using image processing technique | |
| CN112528767A (zh) | 基于机器视觉的施工机械操作员疲劳作业检测系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160824 |