CN103871052A - 一种基于直线检测的安全带检测算法 - Google Patents

一种基于直线检测的安全带检测算法 Download PDF

Info

Publication number
CN103871052A
CN103871052A CN201410060096.0A CN201410060096A CN103871052A CN 103871052 A CN103871052 A CN 103871052A CN 201410060096 A CN201410060096 A CN 201410060096A CN 103871052 A CN103871052 A CN 103871052A
Authority
CN
China
Prior art keywords
surveyed area
canny
point
pixel coordinate
safety belt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410060096.0A
Other languages
English (en)
Inventor
孔德兴
吴法
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HANGZHOU OSHI IMAGE TECHNOLOGY Co Ltd
Original Assignee
HANGZHOU OSHI IMAGE TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HANGZHOU OSHI IMAGE TECHNOLOGY Co Ltd filed Critical HANGZHOU OSHI IMAGE TECHNOLOGY Co Ltd
Priority to CN201410060096.0A priority Critical patent/CN103871052A/zh
Publication of CN103871052A publication Critical patent/CN103871052A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及智能交通系统,旨在提供一种基于直线检测的安全带检测算法。该种基于直线检测的安全带检测算法包括步骤:选取检测区域:对检测区域作区域对比度拉伸:Canny边缘检测与筛选;概率hough变换检测直线;判断直线段是否满足判定条件。本发明能有效利用现有卡口系统设备,在不增加任何硬件设备的前提下,直接从卡口图片中检测是否有未系安全带的违章行为,此方法简单、执行效率高,适合快速筛选出能迅速判定的已系安全带的图片。

Description

一种基于直线检测的安全带检测算法
技术领域
本发明是关于智能交通系统,特别涉及一种基于直线检测的安全带检测算法。 
背景技术
智能交通系统,IntelligentTransportationSystem,简称ITS,是未来交通系统的发展方向,也是目前世界交通运输领域的前沿研究课题。随着计算机视觉技术、嵌入式技术、网络通信技术的发展,研究车辆违章行为自动检测系统已经成为当前智能交通中的一个研究热点。 
作为保障司机安全驾驶和降低交通事故中死伤率的一项重要措施,交管部门严格要求汽车司机在行驶过程中佩戴安全带,2013年10月28日颁布的《中华人民共和国道路交通安全法》第五十一条规定:机动车行驶时,驾驶人、乘坐人员应当按规定使用安全带,y托车驾驶人及乘坐人员应当按规定戴安全头盔。因此用于检测安全带佩戴情况的方法,具体广阔的应用前景,且能填补该领域的技术空白。 
发明内容
本发明的主要目的在于克服现有技术中的不足,提供一种能在卡口图片中检测未系安全带的违章行为的方法。为解决上述技术问题,本发明的解决方案是: 
提供一种基于直线检测的安全带检测算法,包括以下步骤: 
(1)选取检测区域; 
(2)对检测区域作区域对比度拉伸: 
(3)Canny边缘检测与筛选; 
(4)概率hough变换检测直线; 
(5)判断直线段是否满足判定条件; 
所述步骤(1)的具体过程,按如下步骤处理: 
步骤A:通过卡口系统拍摄汽车在行驶中的卡口图片,然后在拍摄的卡口图片中,定位出前车窗右上角点位置: 
步骤B:以前车窗右上角点为基准,在卡口图片中选取出检测区域,检测区域是指包含安全带信息的区域; 
所述步骤(2)的具体过程:以检测区域内的所有点为中心点,截取60像素×60像素的区块,对每一区块RGB三通道分别作以下操作: 
步骤a:按公式
Figure BDA0000468407510000021
计算区块均值,其中,I(x,y)为卡口图片在像素坐标(x,y)处的灰度,Ω(x0,y0)为以像素坐标(x0,y0)为中心的区域,SΩ(x0,y0)为区域Ω(x0,y0)内的像素点个数,
Figure BDA0000468407510000022
为在Ω(x0,y0)区域内的求和符号, 
Figure BDA0000468407510000023
代表点在像素坐标(x0,y0)处的均值,(x,y)表示当前点像素坐标,(x0,y0)表示当前区块中心点的像素坐标: 
步骤b:按公式 σ ( x 0 , y 0 ) = Σ x ∈ Ω ( x 0 , y 0 ) I ( x , y ) 2 / S Ω ( x 0 , y 0 ) - I ‾ ( x 0 , y 0 ) 2 计算区块方差,其中,σ(x0,y0)表示点在像素坐标(x0,y0)处的方差; 
步骤c:按公式 u ( x 0 , y 0 ) = I 0 + ( I ( x 0 , y 0 ) - I ‾ ( x 0 , y 0 ) ) σ 0 + ϵ σ ( x 0 , y 0 ) + ϵ 计算u(x0,y0),其中I0,σ0为期望在像素坐标(x0,y0)处得到的区域均值和标准差,I(x0,y0)为卡口图片在像素坐标(x0,y0)处的灰度,u(x0,y0)为得到的卡口图片在像素坐标(x0,y0)处的灰度,ε为正参数,取值范围在0~1之间; 
步骤d:用u(x0,y0)替换区块中心点值; 
所述步骤(3)的具体过程,按如下步骤处理: 
步骤C:将检测区域按公式g=(R′+G′+B′)/3转为灰度图,其中R’、G’、B’为区域拉伸后的通道值; 
步骤D:将Canny算子作用于灰度图,得到检测区域的Canny图; 
步骤E:将步骤(1)中的检测区域由RGB图转化为GRAY图,利用Sobel算子,计算梯度角: 
步骤F:在步骤D中得到的Canny图中,保留在45度或者225度方向上存在连续两个点的Canny点: 
步骤G:在步骤F处理后的Canny图中,选取梯度方向满足下式的点: 
sin(θ-45)<0.1,其中θ为梯度角,sin表示正三角函数符号: 
所述步骤(4)的具体过程:在步骤(3)处理后的Canny图中,用概率hough变换提取所有直线段: 
所述步骤(5)的具体过程: 
步骤H:将步骤(4)中得到的直线段做两两比较,计算相对较短线段的中心到相对较长线段的距离,以及两线段间的夹角: 
步骤I:若满足条件:两线段夹角为0度且两线段距离小于安全带宽度,则判定为安全带的两条平行线,说明系了安全带;若不满足上述条件,则判定为未系安全带。 
本发明的原理:通过前车窗右上角点,定位安全带搜索区域,对搜索区域做对比度拉伸,增强安全带信息,再通过Canny边缘检测,概率hough变换检测直线段提取安全带边缘信息;在提取直线段前,对Canny图中点作了筛选,可剔除大部分干扰信息,缩小检索范围。 
本发明的有益效果是: 
能有效利用现有卡口系统设备,在不增加任何硬件设备的前提下,直接从卡口图片中检测是否有未系安全带的违章行为,此方法简单、执行效率高,适合快速筛选出能迅速判定的已系安全带的图片。 
附图说明
图1为本发明的流程图。 
图2为Canny图筛选后的效果图。 
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述: 
如图1所示流程图,一种基于直线检测的安全带检测算法,主要针对大多数安全带边缘是两条平行线段的特征,将Canny边缘提取,作为hough直线检测的输入,是成熟的直线段检测算法,包括以下步骤: 
(1)选取检测区域; 
(2)对检测区域作区域对比度拉伸: 
(3)Canny边缘检测与筛选; 
(4)概率hough变换检测直线; 
(5)判断直线段是否满足判定条件。 
所述步骤(1)的具体过程,按如下步骤处理: 
步骤A:通过卡口系统拍摄汽车在行驶中的卡口图片,然后在拍摄的卡口图片中,定位出前车窗右上角点位置,记为(Xc,Yc),此位置用来大致确定检测区域的范围,故不需要很精确的位置信息。 
步骤B:以前车窗右上角点为基准,选取检测区域,检测区域以包含安全带信息即可,例如可以选取以下四个点作为检测区域的四个顶点位置:(Xc-100,Yc),(Xc+40,Yc),(Xc-100,Yc+200),(Xc+40,Yc+200);检测区域需包含安全带的信息,此处选取的140像索×200像索区域能包含安全带的清晰边缘。 
所述步骤(2)的具体过程:以检测区域内的所有点为中心点,截取60像素×60像素的区块,对每一区块RGB三通道分别作以下操作: 
步骤a:按公式
Figure BDA0000468407510000041
计算区块均值,其中,I(x,y)为卡口图片在像素坐标(x,y)处的灰度,Ω(x0,y0)为以像素坐标(x0,y0)为中心的区域,SΩ(x0,y0)为区域Ω(x0,y0)内的像素点个数,
Figure BDA0000468407510000042
为在Ω(x0,y0)区域内的求和符号, 
Figure BDA0000468407510000043
代表点在像素坐标(x0,y0)处的均值,(x,y)表示当前像素点像素坐标,(x0,y0)表示当前区块中心点的像素坐标: 
步骤b:按公式 σ ( x 0 , y 0 ) = Σ x ∈ Ω ( x 0 , y 0 ) I ( x , y ) 2 / S Ω ( x 0 , y 0 ) - I ‾ ( x 0 , y 0 ) 2 计算区块方差,其中,σ(x0,y0)表示点在像素坐标(x0,y0)处的方差。 
步骤c:按公式 u ( x 0 , y 0 ) = I 0 + ( I ( x 0 , y 0 ) - I ‾ ( x 0 , y 0 ) ) σ 0 + ϵ σ ( x 0 , y 0 ) + ϵ 计算u(x0,y0),其中I0,σ0为期望在像素坐标(x0,y0)处得到的区域均值和标准差,I0,σ0这两个值代表拉伸后的图像均值和方差,即每个区块会被拉伸到统的均值和方差,具体值可根据需要自行设定,I(x0,y0)为卡口图片在像素坐标(x,y)处的灰度,u(x0,y0)为按公式得到的卡口图片在像素坐标(x0,y0)处的灰度,为正参数,取值范围在0~1之间,用于光滑区域的正则化。 
步骤d:用u(x0,y0)替换区块中心点值。 
由于后续算法并不需要色彩信息,故将区域拉伸分别作用于RGB三通道,且限定在检测区域内做拉伸,可避免引入区域外对比度的干扰。 
所述步骤(3)的具体过程,按如下步骤处理: 
步骤C:将检测区域按公式g=(R′+G′+B′)/3转为灰度图,其中R’、G’、B’为区域拉伸后的通道值。 
步骤D:将Canny算子作用于灰度图,得到检测区域的Canny图: 
步骤E:将步骤(1)中的检测区域由RGB图转化为GRAY图,利用Sobel算子,计算梯度角。 
步骤F:在步骤D中得到的Canny图中,保留在45度或者225度方向上存在连续两个点的Canny点:如图2所示,判断点沿45度或者225度方向,即1、2两个方向上存在Canny点,则保留,由于图片中的直线会不可避免的产生偏移,即3、4、5、6方向的情况,故如果满足上述4个方向的情况,则也保留判断点:不符合上述情况的判断点,均舍弃。 
步骤G:在步骤F处理后的Canny图中,选取梯度方向满足下式的点: 
sin(θ-45)<0.1,其中θ为梯度角,sin表示正三角函数符号。 
所述步骤(4)的具体过程:将概率hough变换作用于步骤(3)处理后的Canny图,提取所有直线段,概率hough变换中得到的是直线段的起止位置。 
所述步骤(5)的具体过程: 
步骤H:将步骤(4)中得到的直线段做两两比较,计算相对较短线段的中心到相对较长线段的距离,以及两线段间的夹角。 
步骤I:若满足条件:两线段夹角为0度且两线段距离小于安全带宽度,则判定为安全带的两条平行线,说明系了安全带。在判定时,如果两线段夹角为0度,说明两线段平行,再判断两平行线间距离,距离可根据具体图片中安全带宽度来定。如果安全带发生扭转,致使安全带边缘不平行,则可适当放宽此条件来判断。 
若不满足上述条件,则判定为未系安全带。 
实现表明,本发明最大的优点是速度快,能够快速筛选出明显的已系安全带的图片;但同时引入的问题:需设置的参数多,对不同的参数组能检测出不同情况的安全带,如放宽直线长度的约束可以检测到被部分遮挡的样本,放宽平行约束可以检测到扭转的安全带等,这既是弊也是利。 
最后,需要注意的是,以上列举的仅是本发明的具体实施例。显然,本发明不限于以上实施例,还可以有很多变形。本领域的普通技术人员能从本发明公开的内容中直接导出或联想到的所有变形,均应认为是本发明的保护范围。 

Claims (1)

1.一种基于直线检测的安全带检测算法,其特征在于,包括以下步骤: 
(1)选取检测区域: 
(2)对检测区域作区域对比度拉伸: 
(3)Canny边缘检测与筛选: 
(4)概率hough变换检测直线; 
(5)判断直线段是否满足判定条件; 
所述步骤(1)的具体过程,按如下步骤处理: 
步骤A:通过卡口系统拍摄汽车在行驶中的卡口图片,然后在拍摄的卡口图片中,定位出前车窗右上角点位置; 
步骤B:以前车窗右上角点为基准,在卡口图片中选取出检测区域,检测区域是指包含安全带信息的区域; 
所述步骤(2)的具体过程:以检测区域内的所有点为中心点,截取60像素×60像素的区块,对每一区块RGB三通道分别作以下操作: 
步骤a:按公式
Figure FDA0000468407500000011
计算区块均值,其中,I(x,y)为卡口图片在像素坐标(x,y)处的灰度,Ω(x0,y0)为以像素坐标(x0,y0)为中心的区域,SΩ(x0,y0)为区域Ω(x0,y0)内的像素点个数,
Figure FDA0000468407500000012
为在Ω(x0,y0)区域内的求和符号, 
Figure FDA0000468407500000013
代表点在像素坐标(x0,y0)处的均值,(x,y)表示当前点像素坐标,(x0,y0)表示当前区块中心点的像素坐标; 
步骤b:按公式
Figure FDA0000468407500000014
计算区块方差,其中,σ(x0,y0)表示点在像索坐标(x0,y0)处的方差; 
步骤c:按公式
Figure FDA0000468407500000015
计算u(x0,y0),其中I0,σ0为期望在像素坐标(x0,y0)处得到的区域均值和标准差,I(x0,y0)为卡口图片在像素坐标(x0,y0)处的灰度,u(x0,y0)为得到的卡口图片在像素坐标(x0,y0)处的灰度,ε为正参数,取值范围在0~1之间; 
步骤d:用u(x0,y0)替换区块中心点值; 
所述步骤(3)的具体过程,按如下步骤处理: 
步骤C:将检测区域按公式g=(R′+G′+B′)/3转为灰度图,其中R’、G’、B’为区域拉伸后的通道值: 
步骤D:将Canny算子作用于灰度图,得到检测区域的Canny图; 
步骤E:将步骤(1)中的检测区域由RGB图转化为GRAY图,利用Sobel算子,计算梯度角: 
步骤F:在步骤D中得到的Canny图中,保留在45度或者225度方向上存在连续两个点的Canny点: 
步骤G:在步骤F处理后的Canny图中,选取梯度方向满足下式的点: 
sin(θ-45)<0.1,其中0为梯度角,sin表示正三角函数符号; 
所述步骤(4)的具体过程:在步骤(3)处理后的Canny图中,用概率hough变换提取所有直线段; 
所述步骤(5)的具体过程: 
步骤H:将步骤(4)中得到的直线段做两两比较,计算相对较短线段的中心到相对较长线段的距离,以及两线段间的夹角: 
步骤I:若满足条件:两线段夹角为0度且两线段距离小于安全带宽度,则判定为安全带的两条平行线,说明系了安全带;若不满足上述条件,则判定为未系安全带。 
CN201410060096.0A 2014-02-21 2014-02-21 一种基于直线检测的安全带检测算法 Pending CN103871052A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410060096.0A CN103871052A (zh) 2014-02-21 2014-02-21 一种基于直线检测的安全带检测算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410060096.0A CN103871052A (zh) 2014-02-21 2014-02-21 一种基于直线检测的安全带检测算法

Publications (1)

Publication Number Publication Date
CN103871052A true CN103871052A (zh) 2014-06-18

Family

ID=50909557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410060096.0A Pending CN103871052A (zh) 2014-02-21 2014-02-21 一种基于直线检测的安全带检测算法

Country Status (1)

Country Link
CN (1) CN103871052A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104112141A (zh) * 2014-06-29 2014-10-22 中南大学 一种基于公路监控设备的货车安全带系挂状态的检测方法
CN104331687A (zh) * 2014-10-30 2015-02-04 安徽国华光电技术有限公司 一种基于车载式视频分析的未系安全带行为检测方法
CN104361317A (zh) * 2014-10-30 2015-02-18 安徽国华光电技术有限公司 一种卡口式视频分析未系安全带行为检测系统及其方法
CN104408456A (zh) * 2014-10-28 2015-03-11 沈阳建筑大学 一种基于动态阈值区间的Hough变换直线检测方法
CN105373779A (zh) * 2015-11-10 2016-03-02 北京汉王智通科技有限公司 一种车辆安全带智能检测方法及智能检测系统
CN105564368A (zh) * 2015-12-25 2016-05-11 杭州职业技术学院 座椅安全带三维系检机构
CN107909563A (zh) * 2017-10-09 2018-04-13 常熟理工学院 一种基于模板的快速Hough变换直线检测方法
CN108182376A (zh) * 2017-11-15 2018-06-19 浙江工业大学 一种基于车窗角点检测的车窗定位方法
CN109977910A (zh) * 2019-04-04 2019-07-05 厦门商集网络科技有限责任公司 基于彩色线段的票据快速定位方法及其系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5379353A (en) * 1988-05-09 1995-01-03 Honda Giken Kogyo Kabushiki Kaisha Apparatus and method for controlling a moving vehicle utilizing a digital differential analysis circuit
CN103150556A (zh) * 2013-02-20 2013-06-12 西安理工大学 用于道路交通监控的安全带自动检测方法
CN103522982A (zh) * 2013-10-25 2014-01-22 公安部第三研究所 基于图像分析的车辆安全带检测方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5379353A (en) * 1988-05-09 1995-01-03 Honda Giken Kogyo Kabushiki Kaisha Apparatus and method for controlling a moving vehicle utilizing a digital differential analysis circuit
CN103150556A (zh) * 2013-02-20 2013-06-12 西安理工大学 用于道路交通监控的安全带自动检测方法
CN103522982A (zh) * 2013-10-25 2014-01-22 公安部第三研究所 基于图像分析的车辆安全带检测方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JAMES D. FAHNESTOCK 等: "Spatially variant contrast enhancement using local range modification", 《OPTICAL ENGINEERING》, vol. 22, no. 3, 1 June 1983 (1983-06-01), pages 378 - 381, XP 001376176 *
WEI LI 等: "Seatbelt detection based on cascade Adaboost classifier", 《CONFERENCE:2013 6TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING》, 31 December 2013 (2013-12-31), pages 783 - 787, XP 032569455, DOI: doi:10.1109/CISP.2013.6745271 *
孙曼利: "基于高分辨率图像的机场区域检测和毁伤识别研究", 《中国优秀硕士学位论文全文数据库•信息科技辑》 *
马银平 等: "基于局部均值和标准差的图像增强算法", 《计算机工程》, vol. 35, no. 22, 30 November 2009 (2009-11-30), pages 205 - 206 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104112141A (zh) * 2014-06-29 2014-10-22 中南大学 一种基于公路监控设备的货车安全带系挂状态的检测方法
CN104408456A (zh) * 2014-10-28 2015-03-11 沈阳建筑大学 一种基于动态阈值区间的Hough变换直线检测方法
CN104331687B (zh) * 2014-10-30 2017-10-13 安徽国华光电技术有限公司 一种基于车载式视频分析的未系安全带行为检测方法
CN104361317A (zh) * 2014-10-30 2015-02-18 安徽国华光电技术有限公司 一种卡口式视频分析未系安全带行为检测系统及其方法
CN104331687A (zh) * 2014-10-30 2015-02-04 安徽国华光电技术有限公司 一种基于车载式视频分析的未系安全带行为检测方法
CN104361317B (zh) * 2014-10-30 2017-11-24 安徽国华光电技术有限公司 一种卡口式视频分析未系安全带行为检测系统及其方法
CN105373779A (zh) * 2015-11-10 2016-03-02 北京汉王智通科技有限公司 一种车辆安全带智能检测方法及智能检测系统
CN105373779B (zh) * 2015-11-10 2018-09-28 北京数字智通科技有限公司 一种车辆安全带智能检测方法及智能检测系统
CN105564368A (zh) * 2015-12-25 2016-05-11 杭州职业技术学院 座椅安全带三维系检机构
CN105564368B (zh) * 2015-12-25 2017-10-20 杭州职业技术学院 座椅安全带三维系检机构
CN107909563A (zh) * 2017-10-09 2018-04-13 常熟理工学院 一种基于模板的快速Hough变换直线检测方法
CN107909563B (zh) * 2017-10-09 2020-03-31 常熟理工学院 一种基于模板的快速Hough变换直线检测方法
CN108182376A (zh) * 2017-11-15 2018-06-19 浙江工业大学 一种基于车窗角点检测的车窗定位方法
CN108182376B (zh) * 2017-11-15 2020-12-08 浙江工业大学 一种基于车窗角点检测的车窗定位方法
CN109977910A (zh) * 2019-04-04 2019-07-05 厦门商集网络科技有限责任公司 基于彩色线段的票据快速定位方法及其系统

Similar Documents

Publication Publication Date Title
CN103871052A (zh) 一种基于直线检测的安全带检测算法
CN103150556B (zh) 用于道路交通监控的安全带自动检测方法
CN104021378B (zh) 基于时空关联与先验知识的交通信号灯实时识别方法
CN103324930B (zh) 一种基于灰度直方图二值化的车牌字符分割方法
CN104008645B (zh) 一种适用于城市道路车道线预测及预警方法
US20150248771A1 (en) Apparatus and Method for Recognizing Lane
CN103870806A (zh) 一种结合方向盘检测的安全带检测方法
CN102968646B (zh) 一种基于机器学习的车牌检测方法
US20150248837A1 (en) System and Method for Warning Lane Departure
CN202084185U (zh) 一种交通标志自动识别装置
CN103198315A (zh) 基于字符轮廓和模板匹配的车牌字符分割算法
US20160148063A1 (en) Traffic light detection
Guo et al. Image-based seat belt detection
CN104417490B (zh) 一种汽车安全带检测方法及装置
CN102880863B (zh) 一种基于可变形部件模型的车牌及驾驶员人脸定位方法
CN104680124A (zh) 检测行人的影像处理装置及其方法
CN104881661B (zh) 基于结构相似度的车辆检测方法
CN104766046A (zh) 一种利用交通标识颜色及形状特征进行检测与识别算法
CN104715244A (zh) 一种基于肤色分割和机器学习的多视角人脸检测方法
CN110210451A (zh) 一种斑马线检测方法
CN106446792A (zh) 一种道路交通辅助驾驶环境下的行人检测特征提取方法
CN104112141A (zh) 一种基于公路监控设备的货车安全带系挂状态的检测方法
CN106600955A (zh) 检测交通状态的方法、装置和电子设备
CN104732211A (zh) 一种基于自适应阈值的交通标志检测方法
CN103021179B (zh) 基于实时监控视频中的安全带检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20140618