CN103101496B - 利用图像的泊车引导系统及该泊车引导方法 - Google Patents

利用图像的泊车引导系统及该泊车引导方法 Download PDF

Info

Publication number
CN103101496B
CN103101496B CN201210456135.XA CN201210456135A CN103101496B CN 103101496 B CN103101496 B CN 103101496B CN 201210456135 A CN201210456135 A CN 201210456135A CN 103101496 B CN103101496 B CN 103101496B
Authority
CN
China
Prior art keywords
image
parking guidance
parking
angle
actual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210456135.XA
Other languages
English (en)
Other versions
CN103101496A (zh
Inventor
黄圣庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Mobis Co Ltd
Original Assignee
Hyundai Mobis Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Mobis Co Ltd filed Critical Hyundai Mobis Co Ltd
Publication of CN103101496A publication Critical patent/CN103101496A/zh
Application granted granted Critical
Publication of CN103101496B publication Critical patent/CN103101496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/06Automatic manoeuvring for parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02Rear-view mirror arrangements
    • B60R1/08Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system

Abstract

本发明提出一种利用图像的泊车引导系统及该泊车引导方法,是将直观动态地表达车辆的方向盘转向角度变化量的泊车引导图形覆盖在所述前后方图像上,并通过显示画面提供给驾驶者。根据本发明提出的车引导系统及该泊车引导方法,除通过显示画面向驾驶者提供预测移动轨迹之外,还可以根据转向角信息的变动量提供距离和角度信息而提升驾驶者的泊车便利性。

Description

利用图像的泊车引导系统及该泊车引导方法
技术领域
本发明涉及利用图像的泊车引导系统及该泊车引导方法,具体为泊车空间的距离和角度指示线与方向盘的转向方向联动显示而方便驾驶者泊车的利用图像的泊车引导系统及该泊车引导方法。
背景技术
随着车辆在实际生活中用途范围的扩大,方便驾驶者的各种便利设施也逐步得到改善,如车道偏离警示装置、嗜睡驾驶警示装置、通过确保安全距离以防止碰撞的装置、监测靠近车辆周围的障碍物的装置、利用GPS接收器告知当前位置的交通信息的导航仪、控制CD、DVD、收音机或TV等的AV系统等都已适用于实际车辆上。
作为涉及车辆泊车的便利设施有一种车辆倒车停车时显示后方图像的后方摄像头和显示倒车预测轨迹而帮助泊车更加便利的泊车引导系统(Parking Guide System:PGS)。该泊车引导系统是车辆倒车停车时通过后方摄像头直接显示后方的图像之外,还显示车辆的移动轨迹,使驾驶者倒车停车更加方便。
但是,传统的泊车引导系统利用转向角数据只检测车辆的旋转半径,并在显示器上只显示预测移动轨迹。就是说,不提供距离和角度(倒车角度)信息,只显示预测移动轨迹而不能为倒车泊车提供充分的信息。随之对向驾驶者提供距离和角度(倒车角度)信息以提升驾驶者泊车便利性的泊车引导方案的需求也应运而生。
发明内容
本发明的目的在于提供一种可提供距离和角度信息的利用图像的泊车引导系统。本发明另一目的在于提供一种利用图像的泊车引导方法。
本发明提出的利用图像的泊车引导系统,包括:摄像头部,生成拍摄驾驶者拟泊车的实际泊车区域的前后方图像;图像处理部,接收为在所述实际泊车区域泊车所需的所述车辆的方向盘转向角度值和所述前后方图像的输入,将直观地表达所述车辆的方向盘转向角度值变化量的泊车引导图形覆盖在所述前后方图像上;显示部,显示由所述泊车引导图形覆盖的所述前后方图像。
本发明提出的利用图像的泊车引导方法,其实施步骤包括:获取通过所述车辆上安装的摄像头拍摄的驾驶者拟泊车的实际泊车区域的前后方图像;将以直观动态方式表达在所述实际泊车区域泊车所需的所述车辆的方向盘转向角度变化量的泊车引导图形覆盖在所述前后方图像上;由所述泊车向导图形覆盖的所述前后方图像通过显示画面显示。
本发明的优点在于:
根据本发明,在显示画面上不但显示预测移动轨迹,还会根据转向角信息的变动量向驾驶者提供距离和角度(倒车角度)信息而提升驾驶者的泊车便利性。
附图说明
图1是本发明一个实施例的利用图像的泊车引导系统的整体结构图。
图2至图12是根据图1中图示的图像处理部的图像处理结果在显示画面上显示的泊车引导例示画面图示。
图13是本发明一个实施例的泊车引导方法的顺序图。
具体实施方式
下面参照附图,对发明优选实施例详细进行描述。说明内容和各附图中的实际同一个构件是尽量用同一个符号表示,不再重复说明。而且说明本发明时,若对有关的公知功能或者结构的具体说明使本发明宗旨变得模糊则省略该说明。
图1是本发明一个实施例的利用图像的泊车引导系统的整体结构图。参照图1,本发明一个实施例的利用图像的泊车引导系统100是在拍摄实际泊车区域的前后方图像上显示将车辆方向盘的转向角度变化量以直观的动态方式表达的泊车引导图形,为驾驶者泊车提供便利。为此,如图1所示,本发明一个实施例的利用图像的泊车引导系统100包括摄像头110、方向盘120、转向盘角速度传感器130、电子控制装置140(Electronic control unit)、存储器150、图像处理部160及显示部170。
摄像头110包括易于拍摄车辆前方的车体例如安装于车辆的前方保险杠等输出拍摄车辆前方存在的实际泊车区域的前方图像的前方摄像头;安装于易于拍摄车辆后方的车体如车辆后方保险杠输出拍摄车辆后方存在的实际泊车区域的后方图像的后方摄像头。本发明适用于前方泊车和后方泊车,并不限定只能适用于某一种泊车方式。但是,为方便理解,假设本发明适用于后方泊车来进行说明,因此,所述摄像头110被称为后方摄像头,被后方摄像头110获取的后方图像传递于图像处理部160。关于图像处理部160在下述内容中详细进行说明。
转向盘角速度传感器130可以安装于构成方向盘120的特定位置如方向盘120的下端部。所述转向盘角速度传感器130检测转向角度的变化量,将检测到的转向角度值的变化量传递到电子控制装置140。所述转向盘角速度传感器130除了转向角度的变化量之外还检测出所述方向盘120的转向速度的变化量和转向方向的变化量传递到所述电子控制装置140。
电子控制装置140从所述转向盘角速度传感器130接收转向角度值,参照存储器150检索与所述接收的转向角度值对应的泊车引导图形图像。就是说,电子控制装置140将所述转向角度值识别成所述存储器150的地址,控制所述存储器150将储存于所述地址的泊车引导图形图像传递到图像处理部160。
存储器150储存在后方图像上覆盖的多个泊车引导图形图像。储存于所述存储器150的各泊车引导图形图像是由:显示由所述图像处理部处理的(或覆盖的)最终图像的以显示画面的下方中心点为准延长的多个角度指示线图形;与所述多个角度指示线中的某一个角度指示线重叠且将所述转向角度的变化量按照所述多个角度指示线的排列旋转移动的箭头图形;在所述前后方图像上显示的与所述实际泊车区域重叠的泊车引导框线图形;以及为直观地表达从所述车辆的当前位置到与所述泊车引导框线重叠的所述实际泊车区域的距离而显示多个等位线图形及距离和角度的文字图形构成。所述图形图像是按照方向盘的当前转向角度值合成而形成一个泊车引导图形图像,所形成的泊车引导图形图像覆盖在所述后方图像上。
图像处理部160是从后方摄像头110接收后方图像,从根据所述电子控制装置的控制传递的所述存储器150接收泊车引导图形图像,将接收的泊车引导图形图像和所述后方图像覆盖,并将覆盖的图像信息转换成可在所述显示部170处理的图像数据。
显示部170从其结构上可直观地表达由泊车引导图形图像覆盖的后方图像,可以由将所述图像处理部输出的图像数据转换成驱动信号的驱动器,以及响应从该驱动器输出的驱动信号显示图像的LCD显示器实现。
下面对于图1中图示的图像处理部实施的图像处理过程详细进行描述。图2至图12是根据图1中图示的图像处理部的图像处理结果显示于显示画面上的泊车引导例示画面的图示,是在直角泊车模式下的泊车引导例示画面的图示,但并不限于此。
首先,如图2,是根据泊车位置选定过程的泊车引导画面图示,通过图像处理部160,泊车引导框线21、22被覆盖在后方图像上而在显示画面的左/右侧分别显示泊车引导框线21、22。图2中,以驾驶者拟实际泊车的实际泊车区域显示在左侧为例显示。驾驶者移动车辆,使左侧泊车引导框线21与实际泊车区域重叠,而实际泊车区域与泊车引导框线21、22完全重叠则完成泊车位置的选定。
泊车位置的选定完成之后,如图3所示,通过图像处理部的图像处理,在后方图像上覆盖显示由距离和角度线31、32形成的泊车引导图形。就是说,以所述显示画面的下方中心点为基准延长的多个角度指示线31覆盖在后方图像上。而且与所述多个角度指示线中的某一个角度指示线重叠,并按照所述多个角度指示线的排列旋转移动所述转向角度变化量的箭头图像32覆盖于后方图像。还有,为直观地显示从所述车辆的当前位置到与所述泊车引导框线重叠的所述实际泊车区域的距离,多个等位线33图像覆盖在所述后方图像上显示。而且基于所述多个等位线33,表示从所述车辆的当前位置到所述实际泊车区域的距离、角度和方向盘(驾驶盘)转向方向的引导提示信息(2.2M, -50°,“方向盘向左转动”)以数值或者文字形态图形图像覆盖在所述后方图像上显示。现阶段和此后阶段显示的引导提示信息是,实际泊车空间在左侧则覆盖在右侧显示,实际泊车空间在右侧则覆盖在左右侧显示。图3中,实际泊车区域在左侧,因此如“方向盘向左转动”34的引导转向方向的引导提示信息覆盖在后方图像上右侧显示。另一方面,图3中图示的角度指示线和等位线如图4所示,不是全屏显示,可以只在显示画面的一部分上显示。
泊车位置选定以及画面上指示线的显示完成之后,如图5所示,实施方向盘转向引导步骤。具体地说,方向盘发生转向角度的变化量,则罗盘形态的箭头32以中心点为准旋转移动。同时,与实际泊车区域重叠的所述泊车引导框线的一部分面积被填充特定颜色。被填充特定颜色的一部分面积的大小如图6、图7及图8所示,随着方向盘的转向角度变量化的增加相应地扩大。
然后如图9所示,被填充特定颜色的所述一部分面积的大小变得与所述泊车引导框线的总面积大小相同之后,为后方泊车指示车辆出发的引导提示信息覆盖在后方图像上显示。例如,“方向盘向左转动”的引导提示被引导提示“GO!”替代而显示向设定泊车位置的泊车空间进入的指示提示信息。
然后按照图9所示的指示进入提示信息,车辆开始行驶进入,则如图10所示,指示进入提示信息变更为引导进入提示信息而覆盖在后方图像上显示。例如显示指示继续进入的文字图像“CONTINUE(2M)”以及表示从当前进入的位置到实际泊车区域的距离的数字图像,车辆开始倒车进入则箭头会消失。此时,与图6至图8中显示的方式类似,也可以随着车辆倒车进入,从当前车辆的位置至实际泊车区域的距离变化量被填充特定颜色,或者图6至图8中被填充的颜色消失。
然后如图10所示,与实际泊车区域重叠的泊车引导框的整面被填充特定颜色或者相反地特定颜色完全消失,则显示提示已完成进入的告知提示信息(“STOP”),并完成泊车引导。然后驾驶者驾驶车辆向后方直行进入而完成实际泊车。
图13是本发明一个实施例的泊车引导方法的顺序图。参照图13,首先获取通过所述车辆上安装的摄像头拍摄所述驾驶者拟泊车的实际泊车区域的后方图像(S310)。
然后,将以直观动态方式表达在所述实际泊车区域泊车而所需的所述车辆的方向盘转向角度的变化量的泊车引导图形覆盖在所述后方图像上(S320)。
然后,由所述泊车引导图形覆盖的所述前后方图像通过显示画面提供于驾驶者(S30)。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所述的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例所述技术方案的范围。本发明的保护范围应根据下述的权利要求范围进行解释,而且在其同等范围内的所有技术方案应都属于本发明的权利要求范围。

Claims (6)

1.一种利用图像的泊车引导方法,其特征在于,所述的泊车引导方法的实施步骤包括:
获取通过车辆上安装的摄像头拍摄的驾驶者拟泊车的实际泊车区域的前后方图像;
将以直观动态方式表达在实际泊车区域泊车所需的车辆的方向盘转向角度变化量的泊车引导图形覆盖在所述前后方图像上;
由所述泊车引导图形覆盖的前后方图像通过显示画面显示;
将所述泊车引导图形覆盖在所述的前后方图像的步骤包括以下步骤:
将包含以显示画面的下方中心点为准延长的多个角度指示线的泊车引导图形覆盖在所述前后方图像上;
将与所述多个角度指示线中的某一个角度指示线重叠且包含将所述转向角度的变化量沿所述多个角度指示线的排列旋转移动的箭头的所述泊车引导图形覆盖在前后方图像上。
2.根据权利要求1所述的利用图像的泊车引导方法,其特征在于,
将所述的泊车引导图形覆盖在所述的后方图像上的步骤包括以下步骤:
覆盖包含所述前后方图像上显示的与所述实际泊车区域重叠的泊车引导框线的所述泊车引导图形;
将与所述的实际泊车区域重叠的所述泊车引导框线的一部分面积用特定颜色填充;
根据方向盘的转向角度变化量调整被填充所述特定颜色的所述一部分面积的大小。
3.根据权利要求2所述的利用图像的泊车引导方法,其特征在于,
调节填充所述特定颜色的所述一部分面积大小的步骤还包括以下步骤:
填充所述特定颜色的所述一部分面积的大小随着所述方向盘的转向角度的变化量,变得与所述泊车引导框线的总面积大小相同时,将包含向驾驶者为泊车指示车辆出发的引导提示信息的所述泊车引导图形覆盖在所述前后方图像上。
4.根据权利要求2所述的利用图像的泊车引导方法,其特征在于,
将所述的泊车引导图形覆盖在所述前后方图像上的步骤包括以下步骤:
为直观地表达从所述车辆当前位置到与所述泊车引导框线重叠的所述实际泊车区域的距离,将包含多个等位线的所述泊车引导图形覆盖在所述前后方图像上;
基于所述的多个等位线,将包含表示从所述车辆当前位置到所述实际泊车区域的距离的引导提示信息的所述泊车引导图形覆盖在所述的前后方图像上。
5.根据权利要求2所述的利用图像的泊车引导方法,其特征在于,
其实施步骤还包括:根据与所述实际泊车区域重叠的所述泊车引导框线在所述显示画面上显示的位置,将包含引导方向盘转向方向的引导提示信息的所述泊车引导图形覆盖在所述前后方图像上。
6.一种利用图像的泊车引导系统,其特征在于,包括:
摄像头部,生成拍摄驾驶者拟泊车的实际泊车区域的前后方图像;
图像处理部,接收为在所述实际泊车区域泊车所需的车辆的方向盘转向角度值和所述前后方图像的输入,将直观地表达所述车辆的方向盘转向角度值变化量的泊车引导图形覆盖在所述前后方图像上;
显示部,显示由所述泊车引导图形覆盖的所述前后方图像;
所述图像处理部,
将包含以显示画面的下方中心点为准延长的多个角度指示线的泊车引导图形覆盖在所述前后方图像上;
将与所述多个角度指示线中的某一个角度指示线重叠且包含将所述转向角度的变化量沿所述多个角度指示线的排列旋转移动的箭头的所述泊车引导图形覆盖在前后方图像上。
CN201210456135.XA 2011-11-14 2012-11-14 利用图像的泊车引导系统及该泊车引导方法 Active CN103101496B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110118162A KR101818540B1 (ko) 2011-11-14 2011-11-14 영상을 이용한 주차 지원 시스템 및 이의 주차 지원 방법
KR10-2011-0118162 2011-11-14

Publications (2)

Publication Number Publication Date
CN103101496A CN103101496A (zh) 2013-05-15
CN103101496B true CN103101496B (zh) 2017-03-01

Family

ID=48309800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210456135.XA Active CN103101496B (zh) 2011-11-14 2012-11-14 利用图像的泊车引导系统及该泊车引导方法

Country Status (2)

Country Link
KR (1) KR101818540B1 (zh)
CN (1) CN103101496B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103487795B (zh) * 2013-09-29 2015-12-02 惠州市德赛西威汽车电子股份有限公司 一种泊车辅助用倒车雷达显示方法及其系统
CN104512463B (zh) * 2013-10-04 2017-04-26 本田技研工业株式会社 停车辅助装置
US11528413B2 (en) * 2016-08-22 2022-12-13 Sony Corporation Image processing apparatus and image processing method to generate and display an image based on a vehicle movement
KR102639080B1 (ko) * 2018-08-31 2024-02-22 현대자동차주식회사 이중주차를 위한 가이드 제공 방법 및 장치
CN109501796B (zh) * 2018-10-23 2020-12-18 江苏大学 一种智能方向盘泊车辅助交互方法及其装置
CN111613093B (zh) * 2020-06-22 2023-05-12 云南昆船智能装备有限公司 一种光学投影辅助停车入库系统及实现方法
CN112644479B (zh) * 2021-01-07 2022-05-13 广州小鹏自动驾驶科技有限公司 一种泊车控制方法和装置
CN117284278A (zh) * 2022-06-17 2023-12-26 魔门塔(苏州)科技有限公司 泊车交互方法、装置、存储介质、电子设备及车辆

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1959346A (zh) * 2005-10-31 2007-05-09 爱信精机株式会社 驻车目标位置设定装置以及具有该装置的车辆
DE102008049113A1 (de) * 2008-09-26 2009-05-14 Daimler Ag Verfahren und Vorrichtung zur Unterstützung eines Einparkvorgangs

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3508665B2 (ja) * 1999-12-24 2004-03-22 株式会社豊田自動織機 操舵支援装置
JP2005112267A (ja) * 2003-10-10 2005-04-28 Nissan Motor Co Ltd 車両用後退支援装置および車両用後退支援方法
KR101039986B1 (ko) * 2005-02-03 2011-06-09 주식회사 현대오토넷 주차보조 영상시스템
JP2007008197A (ja) * 2005-06-28 2007-01-18 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP4853712B2 (ja) * 2006-12-28 2012-01-11 アイシン精機株式会社 駐車支援装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1959346A (zh) * 2005-10-31 2007-05-09 爱信精机株式会社 驻车目标位置设定装置以及具有该装置的车辆
DE102008049113A1 (de) * 2008-09-26 2009-05-14 Daimler Ag Verfahren und Vorrichtung zur Unterstützung eines Einparkvorgangs

Also Published As

Publication number Publication date
CN103101496A (zh) 2013-05-15
KR101818540B1 (ko) 2018-02-21
KR20130052855A (ko) 2013-05-23

Similar Documents

Publication Publication Date Title
CN103101496B (zh) 利用图像的泊车引导系统及该泊车引导方法
US10144289B2 (en) Display apparatus and method for controlling the same
US10406979B2 (en) User interface apparatus for vehicle and vehicle
US10614617B2 (en) Systems and methods for driver assistance
CN1987357B (zh) 基于全方位计算机视觉的智能停车辅助装置
EP2786917B1 (en) Birds-eye view parking assist system and method
EP2981077B1 (en) Periphery monitoring device and program
US20180130351A1 (en) Vehicle control device mounted at vehicle and method for controlling vehicle
US8626427B2 (en) User interface method for terminal for vehicle and apparatus thereof
US9751454B2 (en) Control of vehicle exterior lights based on vehicle location and/or planned route information
US20130124082A1 (en) Navigation system and displaying method thereof
US10296008B2 (en) Vehicle and method of controlling the vehicle based on a height of cargo
CN107972661A (zh) 驻车辅助系统及其控制方法
KR102464607B1 (ko) 차량 및 그 제어 방법
JP5964332B2 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
WO2011058822A1 (ja) 車両周囲表示装置、車両周囲表示方法
CN107021094A (zh) 用于辅助导航车辆通过交通的系统和方法
JP2008302711A (ja) 発進支援装置
JP5735658B2 (ja) 表示装置及び表示方法
JP4936060B2 (ja) 車両用走行支援装置
JP2008230560A (ja) 駐車支援装置、駐車支援制御方法、及び、駐車支援プログラム
JP5813250B2 (ja) 表示装置、制御方法、プログラム、及び記憶媒体
CN112585958A (zh) 用于产生车辆的以图像信息来纹理化的周围环境地图的方法和装置以及包括这种装置的车辆
WO2014076841A1 (ja) 表示装置、制御方法、プログラム、及び記憶媒体
JP2009090927A (ja) 情報管理サーバ、駐車支援装置、駐車支援装置を備えたナビゲーション装置、情報管理方法、駐車支援方法、情報管理プログラム、駐車支援プログラム、および記録媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant