CN104573618A - 使用拍摄单元的车道检测方法和系统 - Google Patents

使用拍摄单元的车道检测方法和系统 Download PDF

Info

Publication number
CN104573618A
CN104573618A CN201410269971.6A CN201410269971A CN104573618A CN 104573618 A CN104573618 A CN 104573618A CN 201410269971 A CN201410269971 A CN 201410269971A CN 104573618 A CN104573618 A CN 104573618A
Authority
CN
China
Prior art keywords
pixel
track
lane detection
brightness value
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410269971.6A
Other languages
English (en)
Inventor
郑承焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HL Mando Corp
Original Assignee
Mando Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mando Corp filed Critical Mando Corp
Publication of CN104573618A publication Critical patent/CN104573618A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Abstract

使用拍摄单元的车道检测方法和系统。该车道检测方法包括:使用设置在车辆中的拍摄单元获取车辆前面的图像;从所获取的图像中检测正边缘,在正边缘中,右像素的亮度值比左像素的亮度值高;从所获取的图像中检测负边缘,在负边缘中,左像素的亮度值比右像素的亮度值高;通过在正边缘的右侧将像素扩展与车道的宽度相对应的长度来产生第一扩展图像;通过在负边缘的左侧将像素扩展与车道的宽度相对应的长度来产生第二扩展图像;及通过将第一扩展图像和第二扩展图像组合来检测车道。

Description

使用拍摄单元的车道检测方法和系统
技术领域
本发明涉及一种使用拍摄单元的车道检测方法和系统,更具体地,涉及一种可以基于设置在车辆中的拍摄单元有效地检测车道的车道检测方法和系统。
背景技术
近年来,已经对诸如无人驾驶、巡航等的用于车辆的驾驶辅助系统进行了研究和开发。因而,为此需要检测在道路上所画的车道,并且还对检测车道的各种方法进行了研究。
传统上,可将车道检测方法划分成基于模型的检测方法、基于特征点的检测方法和基于面积的检测方法。在这些方法中,基于特征点的检测方法由于其简单的检测方法而被最广泛地应用。
在基于特征点的检测方法中,按如下方式执行车道检测:在图像的关注区(ROI:Region Of Interest)内检测对象的边缘,并且仅提取检测到的边缘中的与车道相对应的边缘。
在这种情况下,在现有方法中,在检测边缘时,在ROI内对诸如Sobel、Robert等的掩模执行卷积运算,并且卷积运算的结果的绝对值超出特定界限的点被认为是边缘。
然而,在这样的现有方法中,计算处理是复杂的,并且在最终检测结果中发生错误的可能性很高。这很可能引起车祸,从而导致安全性下降。
因此,需要一种解决上述问题的方法。
相关技术包括韩国专利公开公布No.10-2005-00430006。
发明内容
本发明致力于一种可有效地执行车道检测并且提供准确的检测结果的使用拍摄单元的车道检测方法和系统。
本发明公开的技术目的不限于以上公开,对于本领域普通技术人员而言基于下面的描述其它目的可变得明显。
根据本发明的一个方面,提供了一种车道检测方法,所述车道检测方法包括以下步骤:使用设置在车辆中的拍摄单元获取车辆前面的图像;从所获取的图像中检测正边缘(P.E.),在所述正边缘中,右像素的亮度值比左像素的亮度值高;从所获取的图像中检测负边缘(N.E.),在所述负边缘中,左像素的亮度值比右像素的亮度值高;通过在所述正边缘(P.E.)的右侧将像素扩展与车道的宽度相对应的长度来产生第一扩展图像;通过在所述负边缘(N.E.)的左侧将所述像素扩展与车道的宽度相对应的长度来产生第二扩展图像;以及通过将所述第一扩展图像和所述第二扩展图像组合来检测所述车道。
这里,在产生所述第一扩展图像的步骤和产生所述第二扩展图像的步骤之前,所述车道检测方法还可以包括:计算与车道的宽度相对应的像素数。
另外,计算与车道的宽度相对应的像素数的步骤可以使用设置在所述车辆中的拍摄单元的高度和所述拍摄单元相对水平面的倾斜度。
根据本发明的一个方面,提供了一种车道检测系统,所述车道检测系统包括:拍摄单元,其设置在车辆中以获取所述车辆前面的图像;边缘检测单元,其从所述车辆前面的所述图像中检测正边缘(P.E.)和负边缘(N.E.),在所述正边缘中,右像素的亮度值比左像素的亮度值高,在所述负边缘中,左像素的亮度值比右像素的亮度值高;边缘扩展单元,其通过在所述正边缘(P.E.)的右侧将像素扩展与车道的宽度相对应的长度来产生第一扩展图像,并且通过在所述负边缘(N.E.)的左侧将像素扩展与车道的宽度相对应的长度来产生第二扩展图像;以及车道检测单元,其通过将所述第一扩展图像和所述第二扩展图像组合来检测所述车道。
这里,所述车道检测系统还可以包括:像素计算单元,其计算与车道的宽度相对应的像素数。
附图说明
通过参照附图详细地描述本发明的示例性实施方式,本发明的以上和其它目的、特征和优点对于本领域普通技术人员而言将变得明显,图中:
图1是示出根据本发明的实施方式的车道检测方法的各个步骤的流程图;
图2是根据本发明的实施方式的用于执行车道检测方法的系统配置图;
图3是示出根据本发明的实施方式的车道检测方法中的拍摄车辆前面的图像的情况的示图;
图4是示出根据本发明的实施方式的车道检测方法中的检测正边缘的情况的示图;
图5是示出根据本发明的实施方式的车道检测方法中的检测负边缘的情况的示图;
图6是示出根据本发明的实施方式的车道检测方法中的正边缘和负边缘的检测原理的图;
图7是示出根据本发明的实施方式的车道检测方法中的通过在正边缘的右侧将像素扩展与车道的宽度相对应的长度来产生第一扩展图像的情况的示图;
图8是示出根据本发明的实施方式的车道检测方法中的通过在负边缘的左侧将像素扩展与车道的宽度相对应的长度来产生第二扩展图像的情况的示图;以及
图9是示出根据本发明的实施方式的车道检测方法中的最终检测车道的情况的示图。
具体实施方式
下面将参照附图详细描述本发明的示例性实施方式。尽管结合本发明的示例性实施方式示出和描述了本发明,对本领域技术人员清楚的是,在不脱离本发明的精神和范围的情况下可以进行各种修改。
下面,将参照附图详细描述根据本发明的示例性实施方式的使用拍摄单元的车道检测方法和系统。
图1是示出根据本发明的实施方式的车道检测方法的各个步骤的流程图,并且图2是根据本发明的实施方式的用于执行车道检测方法的系统配置图。
如图1所示,根据本发明的实施方式的车道检测方法包括:S10,使用设置在车辆中的拍摄单元获取车辆前面的图像;S20,从所获取的图像中检测正边缘,在所述正边缘中,右像素的亮度值比左像素的亮度值高;S30,从所获取的图像中检测负边缘,在所述负边缘中,左像素的亮度值比右像素的亮度值高;S40,通过在正边缘的右侧将像素扩展与车道的宽度相对应的长度来产生第一扩展图像;S50,通过在负边缘的左侧将像素扩展与车道的宽度相对应的长度来产生第二扩展图像;以及S60,通过将第一扩展图像和第二扩展图像组合来检测车道。
另外,如图2所示,用于执行车道检测方法的各个步骤的根据本发明的实施方式的车道检测系统包括:拍摄单元,其设置在车辆中以获取车辆前面的图像;边缘检测单元,其从车辆前面的图像中检测正边缘和负边缘,在所述正边缘中,右像素的亮度值比左像素的亮度值高,在所述负边缘中,左像素的亮度值比右像素的亮度值高;边缘扩展单元,其通过在正边缘的右侧将像素扩展与车道的宽度相对应的长度来产生第一扩展图像,并且通过在负边缘的左侧将像素扩展与车道的宽度相对应的长度来产生第二扩展图像;以及车道检测单元,其通过将第一扩展图像和第二扩展图像组合来检测车道。
下面,将详细描述根据本发明的实施方式的上述车道检测方法的各个步骤。
图3是示出根据本发明的实施方式的车道检测方法中的拍摄车辆前面的图像的情况的示图。
如图3所示,首先,执行使用设置在车辆中的拍摄单元获取车辆前面的图像P的步骤。可以使用诸如车载摄像头等的各种拍摄装置作为拍摄单元,拍摄单元的类型不受限制。
在本发明的本实施方式中,使用安装在车辆前部的摄像头,并且可以提前测量摄像头相对于路面的高度以及摄像头相对于水平面的倾斜度。
使用这样的拍摄单元获取车辆前面的图像P,并且从所拍摄的图像P中提取关注区(ROI)。车道L被包括在相应的图像中。
图4是示出根据本发明的实施方式的车道检测方法中的检测正边缘(P.E.)的情况的示图,并且图5是示出根据本发明的实施方式的车道检测方法中的检测负边缘(N.E.)的情况的示图。
如图4和图5所示,分别执行以下步骤:从在获取车辆前面的图像的步骤中获取的图像中检测正边缘(P.E.),在所述正边缘中,右像素的亮度值比左像素的亮度值高;从在获取车辆前面的图像的步骤中获取的图像中检测负边缘(N.E.),在所述负边缘中,左像素的亮度值比右像素的亮度值高。
可以确认的是,所获取图像的车道L比周围道路表面的纯色具有更亮的颜色。这里,在车道L的两个边缘中的左边缘的情况下,针对左边缘,右像素的亮度值比左像素的亮度值高,在车道L的两个边缘中的右边缘的情况下,左像素的亮度值比右像素的亮度值高。这里,右侧比左侧亮的边缘被限定为正边缘(P.E.),并且左侧比右侧亮的边缘被限定为负边缘(N.E.)。
图6是示出根据本发明的实施方式的车道检测方法中的正边缘和负边缘的检测原理的示图。
如图6所示,可以使用诸如[-101;-202;-101]的掩模来检测车道的正边缘,并且可以使用诸如[10-1;20-2;10-1]的掩模来检测负边缘。
即,车道L的正边缘和负边缘的亮度值具有比相邻道路侧上的亮度值高的值,然而,亮度值的改变值的方向彼此相反。
当以这样的方式使用两个掩模获取两个边缘图像时,分别在正边缘的右区域和负边缘的左区域中存在相应的车道。
图7是示出根据本发明的实施方式的车道检测方法中的通过在正边缘(P.E.)的右侧将像素扩展与车道L的宽度d相对应的长度来产生第一扩展图像的情况的示图,并且图8是示出根据本发明的实施方式的车道检测方法中的通过在负边缘(N.E.)的左侧将像素扩展与车道L的宽度d相对应的长度来产生第二扩展图像的情况的示图。
在如上所述地检测到正边缘(P.E.)和负边缘(N.E.)之后,分别执行以下步骤:通过在正边缘(P.E.)的右侧将像素扩展与车道P的宽度d相对应的长度来产生第一扩展图像,并通过在负边缘(N.E.)的左侧将像素扩展与车道P的宽度d相对应的长度来产生第二扩展图像。
即,当各个车道L的正边缘(P.E.)在右方向上被扩展了与车道L的宽度d相对应的像素数并且负边缘(N.E.)在左方向上被扩展了与车道L的宽度d相对应的像素数时,具有扩展的正边缘(P.E.)和负边缘(N.E.)中的每一个的图像包括所有车道。
为此,在产生第一扩展图像和产生第二扩展图像之前,还可以包括计算与车道的宽度相对应的像素数的步骤。另外,在根据本发明的实施方式的车道检测系统中,还可以包括像素计算单元,该像素计算单元计算与车道的宽度相对应的像素数。
在计算与车道的宽度相对应的像素数的步骤中,可以使用车辆中设置的拍摄单元的高度和该拍摄单元相对水平面的倾斜度来计算与车道的宽度相对应的像素数。因此,通过向产生第一扩展图像和产生第二扩展图像的步骤应用计算像素数的步骤,像素可以被扩展。
图9是示出根据本发明的实施方式的车道检测方法中的最终检测车道的情况的示图。
如图9所示,为了检测车道L,执行通过将第一扩展图像和第二扩展图像组合来检测车道的步骤。在检测车道L中,通过将在产生第一扩展图像和产生第二扩展图像的步骤中获取的两个图像组合,可以最终检测到车道L。在这种情况下,通过从各图像执行与(AND)运算,可以检测各车道的像素。
如上所述,在根据本发明的实施方式的使用拍摄单元的车道检测方法和系统中,可以有效地执行车道检测。
另外,可以实现高精度的车道检测结果,从而提高安全性。
另外,可以将这种检测结果应用于诸如车道保持辅助系统(LKAS)的高级驾驶员辅助系统(ADAS)。
另外,即使在检测和去除了车道之后确定路面的状态中,也可应用根据本发明的实施方式的使用拍摄单元的车道检测方法和系统。
对于本领域技术人员明细的是,可以在不脱离本发明的精神或范围的情况下对本发明的上述示例性实施方式进行各种修改。因此,本发明意在覆盖落入在所附权利要求及其等同物的范围内的所有这种修改。

Claims (5)

1.一种车道检测方法,该车道检测方法包括以下步骤:
使用设置在车辆中的拍摄单元获取(S10)所述车辆前面的图像;
从所获取的图像中检测(S20)正边缘(P.E.),在所述正边缘中,右像素的亮度值比左像素的亮度值高;
从所获取的图像中检测(S30)负边缘(N.E.),在所述负边缘中,左像素的亮度值比右像素的亮度值高;
通过在所述正边缘(P.E.)的右侧将像素扩展与车道的宽度相对应的长度来产生(S40)第一扩展图像;
通过在所述负边缘(N.E.)的左侧将所述像素扩展与车道的宽度相对应的长度来产生(S50)第二扩展图像;以及
通过将所述第一扩展图像和所述第二扩展图像组合来检测(S60)所述车道。
2.根据权利要求1所述的车道检测方法,该车道检测方法在产生(S40)所述第一扩展图像的步骤和产生(S50)所述第二扩展图像的步骤之前还包括:
计算与车道的宽度相对应的像素数。
3.根据权利要求2所述的车道检测方法,其中,计算与车道的宽度相对应的像素数的步骤使用设置在所述车辆中的所述拍摄单元的高度和所述拍摄单元相对于水平面的倾斜度。
4.一种车道检测系统,所述车道检测系统包括:
拍摄单元(10),其设置在车辆中以获取所述车辆前面的图像;
边缘检测单元(20),其从所述车辆前面的所述图像中检测正边缘(P.E.)和负边缘(N.E.),在所述正边缘中,右像素的亮度值比左像素的亮度值高,在所述负边缘中,左像素的亮度值比右像素的亮度值高;
边缘扩展单元(30),其通过在所述正边缘(P.E.)的右侧将像素扩展与车道的宽度相对应的长度来产生第一扩展图像,并且通过在所述负边缘(N.E.)的左侧将像素扩展与车道的宽度相对应的长度来产生第二扩展图像;以及
车道检测单元(40),其通过将所述第一扩展图像和所述第二扩展图像组合来检测所述车道。
5.根据权利要求4所述的车道检测系统,所述车道检测系统还包括:
像素计算单元(50),其计算与车道的宽度相对应的像素数。
CN201410269971.6A 2013-10-11 2014-06-17 使用拍摄单元的车道检测方法和系统 Pending CN104573618A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20130121019A KR20150042417A (ko) 2013-10-11 2013-10-11 촬영부를 이용한 차선검출방법 및 차선검출시스템
KR10-2013-0121019 2013-10-11

Publications (1)

Publication Number Publication Date
CN104573618A true CN104573618A (zh) 2015-04-29

Family

ID=52738111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410269971.6A Pending CN104573618A (zh) 2013-10-11 2014-06-17 使用拍摄单元的车道检测方法和系统

Country Status (4)

Country Link
US (1) US9519833B2 (zh)
KR (1) KR20150042417A (zh)
CN (1) CN104573618A (zh)
DE (1) DE102014009139A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020205346A1 (de) 2020-04-28 2021-10-28 Zf Friedrichshafen Ag Computerimplementiertes Verfahren und Computerprogrammprodukt zum Erkennen einer Fahrspur in Nachtaufnahmen und Steuergerät für ein Fahrzeug zum Regeln und/oder Steuern eines automatisierten Betriebs des Fahrzeuges
CN113516712A (zh) * 2021-04-27 2021-10-19 北京车和家信息技术有限公司 目标位置确定方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100054538A1 (en) * 2007-01-23 2010-03-04 Valeo Schalter Und Sensoren Gmbh Method and system for universal lane boundary detection
US20100110193A1 (en) * 2007-01-12 2010-05-06 Sachio Kobayashi Lane recognition device, vehicle, lane recognition method, and lane recognition program
CN102521589A (zh) * 2011-11-18 2012-06-27 深圳市宝捷信科技有限公司 一种车道线检测的方法及系统
CN102668540A (zh) * 2009-12-25 2012-09-12 株式会社理光 成像设备、车载成像系统、路面外观检测方法以及目标检测设备
CN103295420A (zh) * 2013-01-30 2013-09-11 吉林大学 一种车道线识别的方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0827127B1 (en) * 1996-08-28 2006-10-04 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus, and method therefor
KR20050043006A (ko) 2003-11-04 2005-05-11 현대자동차주식회사 차선 검출 방법
US20050125121A1 (en) * 2003-11-28 2005-06-09 Denso Corporation Vehicle driving assisting apparatus
JP4616046B2 (ja) * 2005-03-22 2011-01-19 本田技研工業株式会社 車両用画像処理システム、車両用画像処理方法、車両用画像処理プログラム、及び車両
JP4937030B2 (ja) * 2007-07-24 2012-05-23 ルネサスエレクトロニクス株式会社 車両用画像処理装置
JP4744537B2 (ja) * 2008-02-05 2011-08-10 日立オートモティブシステムズ株式会社 走行レーン検出装置
JP4710981B2 (ja) * 2009-01-23 2011-06-29 トヨタ自動車株式会社 区画線認識装置、及び当該装置で用いられる区画線認識方法
KR101163446B1 (ko) * 2009-03-18 2012-07-18 기아자동차주식회사 가상 차선을 이용하는 차선 이탈 경보 방법 및 그에 따른 시스템
JP5276637B2 (ja) * 2010-09-08 2013-08-28 富士重工業株式会社 車線推定装置
JP5260696B2 (ja) * 2011-03-10 2013-08-14 株式会社デンソー エッジ点抽出装置、車線検出装置、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100110193A1 (en) * 2007-01-12 2010-05-06 Sachio Kobayashi Lane recognition device, vehicle, lane recognition method, and lane recognition program
US20100054538A1 (en) * 2007-01-23 2010-03-04 Valeo Schalter Und Sensoren Gmbh Method and system for universal lane boundary detection
CN102668540A (zh) * 2009-12-25 2012-09-12 株式会社理光 成像设备、车载成像系统、路面外观检测方法以及目标检测设备
CN102521589A (zh) * 2011-11-18 2012-06-27 深圳市宝捷信科技有限公司 一种车道线检测的方法及系统
CN103295420A (zh) * 2013-01-30 2013-09-11 吉林大学 一种车道线识别的方法

Also Published As

Publication number Publication date
DE102014009139A1 (de) 2015-04-16
US9519833B2 (en) 2016-12-13
KR20150042417A (ko) 2015-04-21
US20150104072A1 (en) 2015-04-16

Similar Documents

Publication Publication Date Title
JP6896044B2 (ja) 道路の垂直輪郭検出
US20200265550A1 (en) Dense structure from motion
US10043082B2 (en) Image processing method for detecting objects using relative motion
US20190205671A1 (en) Hazard detection from a camera in a scene with moving shadows
Yamaguchi et al. Vehicle ego-motion estimation and moving object detection using a monocular camera
CN104204721B (zh) 单个相机距离估计
CN102622767B (zh) 双目非标定空间定位方法
US20070127778A1 (en) Object detecting system and object detecting method
CN102609941A (zh) 基于ToF深度相机的三维注册方法
CN107103627A (zh) 一种基于车道线的汽车全景摄像头外部参数标定方法
CN101894380B (zh) 一种全景视频中目标物体的自动跟踪方法
US10984263B2 (en) Detection and validation of objects from sequential images of a camera by using homographies
JP5548212B2 (ja) 横断歩道標示検出方法および横断歩道標示検出装置
JP2014009975A (ja) ステレオカメラ
JP2014183322A (ja) 交差点認識装置及びコンピュータが実行可能なプログラム
JP2007316856A (ja) 移動体検出装置、コンピュータプログラム及び移動体検出方法
CN104573618A (zh) 使用拍摄单元的车道检测方法和系统
Ke et al. Roadway surveillance video camera calibration using standard shipping container
Yang Estimation of vehicle's lateral position via the Lucas-Kanade optical flow method
CN108376384A (zh) 视差图的矫正方法、装置及存储介质
CN109345576B (zh) 车辆行驶速度鉴定方法及系统
JP2020135866A (ja) オブジェクト検出方法、検出装置及び電子機器
Fangfang et al. Real-time lane detection for intelligent vehicles based on monocular vision
KR20150050233A (ko) 차선 검출 장치
JP2020166758A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150429

RJ01 Rejection of invention patent application after publication