CN114510055B - 一种构建后方车道线的方法 - Google Patents
一种构建后方车道线的方法 Download PDFInfo
- Publication number
- CN114510055B CN114510055B CN202210152859.9A CN202210152859A CN114510055B CN 114510055 B CN114510055 B CN 114510055B CN 202210152859 A CN202210152859 A CN 202210152859A CN 114510055 B CN114510055 B CN 114510055B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- lane line
- rear lane
- target position
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000003068 static effect Effects 0.000 claims description 19
- 238000009499 grossing Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Signal Processing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种构建后方车道线的方法,涉及驾驶辅助技术领域,通过利用车辆上的视频采集终端,获取车道信息,从而使得即使车辆无定位信号,依旧能够依靠车辆自身建立离线车道地图,如果是车队,则能够依靠前车建立离线车道地图,方便进行车队管理,通过前车构建的离线车道地图为后方车辆提供车道信息;通过前车能够管理车队后方车辆是否在正确跟踪,便于实时监测;当只有本车时,则可以检测后方其他车辆是否是在跟踪本车,判断是否会发生碰撞等事故,避免发生车辆碰撞的风险,本发明通过一个较低的成本构建后方车道环境,从而实现实时建图,同时调整构建的后方道路的长短,且能够构建各种形状的复杂道路,提高了构建后方复杂环境的能力。
Description
技术领域
本发明涉及驾驶辅助技术领域,具体是一种构建后方车道线的方法。
背景技术
摄像机的标定在机器视觉领域是必不可少的技术。尤其在车载领域高级驾驶辅助系统,包括车辆检测、行人检测、盲区检测、车道线检测等都需要标定才能实现;
现有技术方案大都是在车辆的后玻璃上粘贴一个额外的摄像头来检测后方车道线,这样的解决方案首先是成本比较高,同时检测的距离有限,且性能还容易受到天气质量以及被后方车辆遮挡的影响,不足以弥补远距离车道线检测的缺陷,例如:车队管理以及后方场景环境的构建,为此,现提供一种构建后方车道线的方法。
发明内容
本发明的目的在于提供一种构建后方车道线的方法。
本发明的目的可以通过以下技术方案实现:一种构建后方车道线的方法,包括以下步骤:
步骤一:通过安装在车辆上的视频采集终端,获取车辆所在环境的道路信息,并对所获得的道路信息进行存储;
步骤二:根据所获取到的道路信息,建立后方车道线,并对后方车道线进行拼接;
步骤三:根据车辆在后方车道线上的位姿进行坐标转换,并更新后方车道线的环境;
步骤四:将构建好的后方车道线与环境进行匹配,并对后方车辆做出路径规划。
进一步的,视频采集终端安装在车辆的前方,实时获取车辆前方的道路信息,所述视频采集终端获取车辆前方的道路信息的过程包括:
通过视频采集终端实时获取车辆前方的视频,并按照车辆所行驶的里程距离,周期性的将所获取到的车辆前方的视频进行保存;并根据视频采集终端上传的视频,构建车辆的后方车道线。
进一步的,所述后方车道线的构建过程包括:
以车辆所在位置为原点,构建平面坐标系;
根据所获得的视频,对视频中的车道进行识别,将车辆所在的车道进行标记,根据所标记的车道,获得车道的曲率和曲率变化率,实时获取车辆在行驶过程中的航向角以及车辆在车道内的横向偏移量,获得后方车道线的方程,并获得在平面坐标系内生成车辆的后方车道线。
进一步的,车道的曲率和曲率变化率为常规量,即不会随着坐标系而发生变化。
进一步的,随着车辆的移动,每隔一段时间,则获得一段新的视频,从而对车道的曲率和曲率变化率进行不断更新,再结合实时获取的车辆在行驶过程中的航向角以及车辆在车道内的横向偏移量,并生成新的后方车道线,获得新的后方车道线方程。
进一步的,将获得的新的每段后方车道线进行拼接,并对拼接处做光滑处理,包括:
将生成的多段后方车道线的连接点进行标记,获得连接点的坐标以及在连接点处的车辆的航向角以及车辆在车道内的横向偏移量;
根据连接点处的车道线的曲率以及曲率变化率获得A1和B1;
获得满足后方车道线的连接点处的方程,然后对后方车道线方程进行求导,则获得求导后的后方车道线方程;
将连接点处的坐标代入至求导后的后方车道线方程,即可获得车辆的航向角以及车辆在车道内的横向偏移量,完成连接点处的光滑处理,并获得完整的后方车道线。
进一步的,在获得完整的后方车道线后,则根据车辆在车道线内的位姿,获得车辆前方的环境数据,所述环境数据包括位于车道线内的静态目标位置和动态目标位置;将静态目标位置和动态目标位置的坐标进行标记;
根据所获得的静态目标位置和动态目标位置,对后方车道线内的环境进行更新,并根据更新后的后方车道线内的环境进行路径规划。
进一步的,所述路径规划的过程包括:
将所获得的静态目标位置和动态目标位置在平面坐标系内进行标记;
根据平面坐标系中静态目标位置和动态目标位置,对车辆的行驶路径进行调整,使得车辆对静态目标位置和动态目标位置进行规避。
与现有技术相比,本发明的有益效果是:通过利用车辆上的视频采集终端,获取车道信息,从而使得即使车辆无定位信号,依旧能够依靠车辆自身建立离线车道地图,如果是车队,则能够依靠前车建立离线车道地图,方便进行车队管理,通过前车构建的离线车道地图为后方车辆提供车道信息;通过前车能够管理车队后方车辆是否在正确跟踪,便于实时监测;当只有本车时,则可以检测后方其他车辆是否是在跟踪本车,判断是否会发生碰撞等事故,避免发生车辆碰撞的风险,本发明通过一个较低的成本构建后方车道环境,从而实现实时建图,同时调整构建的后方道路的长短,且能够构建各种形状的复杂道路,提高了构建后方复杂环境的能力,同时本发明可以依据每个解决方案的不同自主选择构建不同距离的后方车道线,理论上是可以无线延伸。
附图说明
图1为本发明的流程图。
具体实施方式
如图1所示,一种构建后方车道线的方法,包括以下步骤:
步骤一:通过安装在车辆上的视频采集终端,获取车辆所在环境的道路信息,并对所获得的道路信息进行存储;
步骤二:根据所获取到的道路信息,建立后方车道线,并对后方车道线进行拼接;
步骤三:根据车辆在后方车道线上的位姿进行坐标转换,并更新后方车道线的环境;
步骤四:将构建好的后方车道线与环境进行匹配,并对后方车辆做出路径规划。
在具体实施过程中,视频采集终端安装在车辆的前方,实时获取车辆前方的道路信息,所述视频采集终端获取车辆前方的道路信息的具体过程包括:
通过视频采集终端实时获取车辆前方的视频,并按照车辆所行驶的里程距离,周期性的将所获取到的车辆前方的视频进行保存;需要进一步说明的是,在具体实施过程,车辆每行驶一段距离,则将所获取到的车辆前方的视频进行上传,并保存,从而保证视频采集终端的内存空间不被占用;
举例说明:车辆在车道上行驶时,通过车辆的里程表记录车辆的行驶距离,车辆每行驶50米距离,则将视频采集终端所获取的车辆行驶的这50米距离内的视频数据进行上传,然后获取新的视频,以此类推。
根据视频采集终端上传的视频,构建车辆的后方车道线,所述后方车道线的构建过程具体包括:
以车辆所在位置为原点,构建平面坐标系,平面坐标系的横轴为x轴,纵轴为y轴;
根据所获得的视频,获得车辆前方的车道的曲率和曲率变化率,并将曲率和曲率变化率分别标记为c1和c2;需要进一步说明的是,在具体实施过程中,曲率和曲率变化率为常规量,即不会随着坐标系而发生变化;
实时获取车辆在行驶过程中的航向角以及车辆在车道内的横向偏移量,并分别将车辆在行驶过程中的航向角以及车辆在车道内的横向偏移量标记为C和D;
根据所获得的视频,对视频中的车道进行识别,并将车辆所在的车道进行标记,根据所标记的车道,生成车辆的后方车道线;
则所形成的后方车道线的方程为y=A*x3+B*x2+C*x+D;
其中A=c2/6;
B=0.5*c1;
需要进一步说明的是,在具体实施过程中,随着车辆的移动,每隔一段时间,则获得一段新的视频,从而对后方车道线的曲率和曲率变化率进行不断更新,进而获得新的A和B,并将所获得的新的A和B的值代入至后方车道线的方程内,再结合实时获取的车辆在行驶过程中的航向角以及车辆在车道内的横向偏移量,并生成新的后方车道线,获得新的后方车道线方程;
需要进一步说明的是,在具体实施过程中,通过车辆在行驶过程中的航向角以及车辆在车道内的横向偏移量,从而能够使得车辆在不同形状的车道内,均能构建出相应的后方车道线,如“S”弯道路。
需要进一步说明的是,在具体实施过程中,将获得的每段后方车道线进行拼接,并对拼接处做光滑处理,具体过程包括:
将生成的多段后方车道线的连接点进行标记,并通过旋转和平移的方法将多段后方车道线进行拼接:
设连接点的坐标为(x1,y1);
在连接点处的车辆的航向角以及车辆在车道内的横向偏移量分别为C和D;
且根据连接点处的车道线的曲率以及曲率变化率获得A1和B1;
则获得后方车道线的连接点处的方程满足:
y=A*x3+B*x2+C*x+D;
y=A1*x3+B1*x2+C*x+D;
对后方车道线方程进行求导,则获得求导后的后方车道线方程为:
y=3A*x2+2B*x+C
y=3A1*x2+2B1*x+C;
将连接点处的坐标(x1,y1)代入至上述方程,即可获得C的值,再将C和连接点坐标(x1,y1)代入至y=A1*x3+B1*x2+C*x+D,获得D的值,完成连接点处的光滑处理,从而获得完整的后方车道线。
需要进一步说明的是,在具体实施过程中,通过利用前车上的视频采集终端,获取车辆前方的车道信息,从而使得即使车辆无定位信号,依旧能够依靠前车建立离线车道地图,在具体实施过程中,如果是车队,则能够方便进行车队管理,通过前车构建的离线车道地图为后方车辆提供车道信息;
通过前车能够根据,管理车队后方车辆是否在正确跟踪,便于实时监测;
如果只有一个车辆,则可以检测后方其他车辆是否是在跟踪本车,判断是否会发生碰撞等事故,避免发生车辆碰撞的风险;
需要进一步说明的是,在具体实施过程中,在获得完整的后方车道线后,则根据车辆在车道线内的位姿,获得车辆前方的环境数据,所述环境数据包括位于车道线内的静态目标位置和动态目标位置;将静态目标位置和动态目标位置的坐标进行标记;
根据所获得的静态目标位置和动态目标位置,对后方车道线内的环境进行更新,并根据更新后的后方车道线内的环境进行路径规划;
所述路径规划的过程具体包括:
将所获得的静态目标位置和动态目标位置在平面坐标系内进行标记;
根据平面坐标系中静态目标位置和动态目标位置,对车辆的行驶路径进行调整,使得车辆对静态目标位置和动态目标位置进行规避;
需要进一步说明的是,在具体实施过程中,静态目标包括位于车道上的相对于道路静止的障碍物,如石头、路障、栏杆等;所述动态目标包括位于车道上的相当于道路在移动的障碍物,如行人、车辆等;
需要进一步说明的是,在具体实施过程中,对车辆的行驶路径的调整方式包括临时变换车道、减速以及停车等。
以上实施例仅用以说明本发明的技术方法而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方法进行修改或等同替换,而不脱离本发明技术方法的精神和范围。
Claims (1)
1.一种构建后方车道线的方法,其特征在于,包括以下步骤:
步骤一:通过安装在车辆上的视频采集终端,获取车辆所在环境的道路信息,并对所获得的道路信息进行存储;
步骤二:根据所获取到的道路信息,建立后方车道线,并对后方车道线进行拼接;
步骤三:根据车辆在后方车道线上的位姿进行坐标转换,并更新后方车道线的环境;
步骤四:将构建好的后方车道线与环境进行匹配,并对后方车辆做出路径规划;
视频采集终端安装在车辆的前方,实时获取车辆前方的道路信息,所述视频采集终端获取车辆前方的道路信息的过程包括:
通过视频采集终端实时获取车辆前方的视频,并按照车辆所行驶的里程距离,周期性的将所获取到的车辆前方的视频进行保存;并根据视频采集终端上传的视频,构建车辆的后方车道线;
所述后方车道线的构建过程包括:
以车辆所在位置为原点,构建平面坐标系,平面坐标系的横轴为x轴,纵轴为y轴;
根据所获得的视频,获得车辆前方的车道的曲率和曲率变化率,并将曲率和曲率变化率分别标记为c1和c2;曲率和曲率变化率为常规量,即不会随着坐标系而发生变化;
实时获取车辆在行驶过程中的航向角以及车辆在车道内的横向偏移量,并分别将车辆在行驶过程中的航向角以及车辆在车道内的横向偏移量标记为C和D;
根据所获得的视频,对视频中的车道进行识别,并将车辆所在的车道进行标记,根据所标记的车道,生成车辆的后方车道线;
则所形成的后方车道线的方程为y=A*x3+B*x2+C*x+D;
其中A=c2/6;
B=0.5*c1;
随着车辆的移动,每隔一段时间,则获得一段新的视频,从而对后方车道线的曲率和曲率变化率进行不断更新,进而获得新的A和B,并将所获得的新的A和B的值代入至后方车道线的方程内,再结合实时获取的车辆在行驶过程中的航向角以及车辆在车道内的横向偏移量,并生成新的后方车道线,获得新的后方车道线方程;
将获得的每段后方车道线进行拼接,并对拼接处做光滑处理,具体过程包括:
将生成的多段后方车道线的连接点进行标记,并通过旋转和平移的方法将多段后方车道线进行拼接:
设连接点的坐标为(x1,y1);
在连接点处的车辆的航向角以及车辆在车道内的横向偏移量分别为C和D;
且根据连接点处的车道线的曲率以及曲率变化率获得A1和B1;
则获得后方车道线的连接点处的方程满足:
y=A*x3+B*x2+C*x+D;
y=A1*x3+B1*x2+C*x+D;
对后方车道线方程进行求导,则获得求导后的后方车道线方程为:
y=3A*x2+2B*x+C
y=3A1*x2+2B1*x+C;
将连接点处的坐标(x1,y1)代入至上述方程,即可获得C的值,再将C和连接点坐标(x1,y1)代入至y=A1*x3+B1*x2+C*x+D,获得D的值,完成连接点处的光滑处理,从而获得完整的后方车道线;
在获得完整的后方车道线后,则根据车辆在车道线内的位姿,获得车辆前方的环境数据,所述环境数据包括位于车道线内的静态目标位置和动态目标位置;将静态目标位置和动态目标位置的坐标进行标记;
根据所获得的静态目标位置和动态目标位置,对后方车道线内的环境进行更新,并根据更新后的后方车道线内的环境进行路径规划;
所述路径规划的过程包括:
将所获得的静态目标位置和动态目标位置在平面坐标系内进行标记;
根据平面坐标系中静态目标位置和动态目标位置,对车辆的行驶路径进行调整,使得车辆对静态目标位置和动态目标位置进行规避。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210152859.9A CN114510055B (zh) | 2022-02-18 | 2022-02-18 | 一种构建后方车道线的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210152859.9A CN114510055B (zh) | 2022-02-18 | 2022-02-18 | 一种构建后方车道线的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114510055A CN114510055A (zh) | 2022-05-17 |
CN114510055B true CN114510055B (zh) | 2022-11-08 |
Family
ID=81551602
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210152859.9A Active CN114510055B (zh) | 2022-02-18 | 2022-02-18 | 一种构建后方车道线的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114510055B (zh) |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109084782B (zh) * | 2017-06-13 | 2024-03-12 | 蔚来(安徽)控股有限公司 | 基于摄像头传感器的车道线地图构建方法以及构建系统 |
CN109683617B (zh) * | 2018-12-27 | 2022-06-28 | 潍柴动力股份有限公司 | 一种自动驾驶方法、装置及电子设备 |
EP3889722A4 (en) * | 2018-12-29 | 2022-02-09 | Great Wall Motor Company Limited | METHOD AND SYSTEM FOR GENERATING A DYNAMIC TARGET LINE DURING AUTOMATIC DRIVING OF A VEHICLE, AND VEHICLE |
CN109920246B (zh) * | 2019-02-22 | 2022-02-11 | 重庆邮电大学 | 一种基于v2x通信与双目视觉的协同局部路径规划方法 |
CN110174113B (zh) * | 2019-04-28 | 2023-05-16 | 福瑞泰克智能系统有限公司 | 一种车辆行驶车道的定位方法、装置及终端 |
CN110345952A (zh) * | 2019-07-09 | 2019-10-18 | 同济人工智能研究院(苏州)有限公司 | 一种序列化车道线地图构建方法及构建系统 |
CN111319615B (zh) * | 2020-03-16 | 2021-02-26 | 湖北亿咖通科技有限公司 | 智能代客泊车方法、计算机可读存储介质及电子设备 |
CN113494917A (zh) * | 2020-04-07 | 2021-10-12 | 上汽通用汽车有限公司 | 地图构建方法及系统、制定导航策略的方法以及存储介质 |
CN113705271A (zh) * | 2020-05-20 | 2021-11-26 | 蘑菇车联信息科技有限公司 | 一种高精地图车道生成方法及装置 |
CN113947891A (zh) * | 2020-07-15 | 2022-01-18 | 天津港(集团)有限公司 | 一种基于车路协同港口行驶环境重建系统 |
CN113836251A (zh) * | 2021-09-17 | 2021-12-24 | 中国第一汽车股份有限公司 | 一种认知地图构建方法、装置、设备及介质 |
CN113721637B (zh) * | 2021-11-02 | 2022-05-03 | 武汉理工大学 | 智能车动态避障路径连续规划方法、系统及存储介质 |
CN113942503B (zh) * | 2021-12-02 | 2023-06-27 | 天津天瞳威势电子科技有限公司 | 一种车道保持方法和装置 |
-
2022
- 2022-02-18 CN CN202210152859.9A patent/CN114510055B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN114510055A (zh) | 2022-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109920246B (zh) | 一种基于v2x通信与双目视觉的协同局部路径规划方法 | |
US10628690B2 (en) | Systems and methods for automated detection of trailer properties | |
CN106909152B (zh) | 一种车用环境感知系统及汽车 | |
CN110763246A (zh) | 自动驾驶车辆路径规划方法、装置、车辆及存储介质 | |
EP3842754A1 (en) | System and method of detecting change in object for updating high-definition map | |
CN105676253A (zh) | 一种自动驾驶中基于城市道路标线地图的纵向定位系统及其方法 | |
CN102208011B (zh) | 图像处理系统及车辆控制系统 | |
JP2021508815A (ja) | 妨害物体の検出に基づいて高精細度マップを補正するためのシステムおよび方法 | |
US10885358B2 (en) | Method for detecting traffic signs | |
CN212220188U (zh) | 地下停车场融合定位系统 | |
CN112339748B (zh) | 自动泊车中通过环境扫描修正车辆位姿信息的方法及装置 | |
JP7190261B2 (ja) | 位置推定装置 | |
CN107977654B (zh) | 一种道路区域检测方法、装置及终端 | |
CN108491782A (zh) | 一种基于行车图像采集的车辆识别方法 | |
US10554951B2 (en) | Method and apparatus for the autocalibration of a vehicle camera system | |
CN113885062A (zh) | 基于v2x的数据采集融合设备、方法和系统 | |
CN114492679B (zh) | 一种车辆数据处理方法、装置、电子设备及介质 | |
CN110780287A (zh) | 基于单目相机的测距方法及测距系统 | |
CN111323027A (zh) | 一种基于激光雷达与环视相机融合制作高精度地图方法及装置 | |
CN112985425A (zh) | 基于异构感知数据融合的车辆定位方法、装置及系统 | |
CN110515376B (zh) | 一种航迹推演校正的评价方法、终端和存储介质 | |
CN111776942A (zh) | 轮胎吊行驶控制系统、方法、装置和计算机设备 | |
CN114841188A (zh) | 一种基于二维码的车辆融合定位方法及装置 | |
CN114563795A (zh) | 基于激光里程计和标签融合算法的定位追踪方法及系统 | |
CN113884090A (zh) | 智能平台车环境感知系统及其数据融合方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |