CN105575119B - 路况气候深度学习及识别方法和装置 - Google Patents

路况气候深度学习及识别方法和装置 Download PDF

Info

Publication number
CN105575119B
CN105575119B CN201511005782.9A CN201511005782A CN105575119B CN 105575119 B CN105575119 B CN 105575119B CN 201511005782 A CN201511005782 A CN 201511005782A CN 105575119 B CN105575119 B CN 105575119B
Authority
CN
China
Prior art keywords
road conditions
vehicle
conditions weather
weather
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201511005782.9A
Other languages
English (en)
Other versions
CN105575119A (zh
Inventor
田雨农
吴子章
周秀田
于维双
陆振波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Roiland Technology Co Ltd
Original Assignee
Dalian Roiland Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Roiland Technology Co Ltd filed Critical Dalian Roiland Technology Co Ltd
Priority to CN201511005782.9A priority Critical patent/CN105575119B/zh
Publication of CN105575119A publication Critical patent/CN105575119A/zh
Application granted granted Critical
Publication of CN105575119B publication Critical patent/CN105575119B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Abstract

路况气候深度学习及识别方法和装置,属于路况气候识别领域,用于解决车辆快速、高精度对路况气候的识别问题,技术要点是:包括:车载视觉传感器,其采集路况气候场景图像,并将图像数据发送至云端服务器;所述云端服务器将接收的路况气候场景图像数据分发给CNNs学习模型,训练得到深度图像特征分类器;所述深度图像特征分类器被发送至车载识别终端以识别车载视觉传感器新采集到的路况气候场景图像所反应的路况气候场景。效果是:可实现云端学习、终端识别的快速、高精度识别效果。

Description

路况气候深度学习及识别方法和装置
技术领域
本发明属于路况气候识别领域,涉及一种对于路况气候识别的方法和装置。
背景技术
近年来4G车联网引起了许多汽车企业与科技公司的重视,使得众多科研机构与企业研发中心都投入巨大的精力来研发相关产品。尤其在汽车的辅助驾驶与车载娱乐方面,更是吸引了一大批初创公司与科研人员的青睐。目前依托4G车联网,可以将车载传感器采集得到的信息传给远程的服务器端处理,这样降低了车载终端的处理压力,同时可以实时地从服务端获取其他有用信息给车载终端,以帮助驾驶人员更安全便利地享受驾驶的乐趣。但是,目前的汽车辅助驾驶或主动驾驶乃至无人驾驶中,还不能很好的分辨路况气候信息(雨天路况、雪天路况、晴天路况、夜晚路况等),这样使得在不同路况气候下的辅助驾驶或主动驾驶等都存在一定的风险。
发明内容
为了解决快速、高精度对路况气候的识别问题,本发明提出了一种路况气候深度学习及识别方法和装置,可实现云端学习、终端识别的快速、高精度识别效果。
为了实现上述目的,本发明的技术方案是:一种路况气候深度学习及识别方法,包括:
S1.车载视觉传感器采集路况气候场景图像,并将图像数据发送至云端服务器;
S2.云端服务器将接收的路况气候场景图像数据分发给CNNs学习模型,训练得到深度图像特征分类器;
S3.深度图像特征分类器发送至车载识别终端以识别车载视觉传感器新采集到的路况气候场景图像所反应的路况气候场景。
进一步的,所述方法还包括:
S4.车载识别终端场景识别失败,则将车载视觉传感器当前采集的路况气候场景图像数据标记并传输至云端服务器,云端服务器将接收的路况气候场景图像数据分发给CNNs学习模型,训练得到新的深度图像特征分类器,该新的深度图像特征分类器发送至车载识别终端并替换在先深度图像特征分类器。
进一步的,所述的各数据的传输使用车联网4G通信模块实现。
进一步的,车载识别终端识别出当前路况气候,则将识别信息发送至控制终端,由控制终端提示车主当前路况气候。
进一步的,所述提示可为语音提示、屏幕显示提示中的任意种或其组合。
进一步的,所述的路况气候包括雨天、雪天、晴天、黑天种的任意种或其组合。
本发明还涉及一种路况气候深度学习及识别装置,包括:车载视觉传感器,其采集路况气候场景图像,并将图像数据发送至云端服务器;所述云端服务器将接收的路况气候场景图像数据分发给CNNs学习模型,训练得到深度图像特征分类器;所述深度图像特征分类器被发送至车载识别终端以识别车载视觉传感器新采集到的路况气候场景图像所反应的路况气候场景。
进一步的,所述系统中的车载识别终端场景识别失败,则将车载视觉传感器当前采集的路况气候场景图像数据标记并传输至云端服务器,云端服务器将接收的路况气候场景图像数据分发给CNNs学习模型,训练得到新的深度图像特征分类器,该新的深度图像特征分类器发送至车载识别终端并替换在先深度图像特征分类器。
进一步的,所述的各数据的传输使用车联网4G通信模块实现。
进一步的,车载识别终端识别出当前路况气候,则将识别信息发送至控制终端,由控制终端提示车主当前路况气候。
有益效果:本发明实现了车载拍摄的气候场景图像的学习与训练,并得到深度图像特征分类器,其应用于车载识别终端,直接对路况气候场景识别,即实现了一种云端学习,终端识别的学习与识别路况气候的模式,该种模式降低了车载终端终端的数据处理压力,且得到了一种便捷、快速和高精度的识别方法。其高精度的识别效果来自于使用CNNs学习训练深度图像特征分类器,而将深度图像特征分类器发送至终端,在终端直接识别,则产生了便捷和快速的优点。
附图说明
图1为本发明实施例6中的学习方法的流程图;
图2为本发明实施例6中的识别方法的流程图。
具体实施方式
实施例1:一种路况气候深度学习及识别方法,包括:S1.车载视觉传感器采集路况气候场景图像,并将图像数据发送至云端服务器;S2.云端服务器将接收的路况气候场景图像数据分发给CNNs学习模型,进行分布式并行计算,训练得到深度图像特征分类器,由于车载视觉传感器传给云端服务器的数据量非常大,普通的服务器很难具备这样的计算能力,所以需要许多服务器联合起来,也就是进行分布式并行计算,从而解决数据量过大难以计算的问题。S3.深度图像特征分类器发送至车载识别终端以识别车载视觉传感器新采集到的路况气候场景图像所反应的路况气候场景。所述的路况气候优选包括雨天、雪天、晴天、黑天种的任意种或其组合,还可以是其它本领域技术人员可列举或可由训练识别的路况气候。
该技术方案中,实现了车载拍摄的气候场景图像的学习与训练,并得到深度图像特征分类器,其应用于车载识别终端,直接对路况气候场景识别,即实现了一种云端学习,终端识别的学习与识别路况气候的模式,该种模式降低了车载终端终端的数据处理压力,且得到了一种便捷、快速和高精度的识别方法。其高精度的识别效果来自于使用CNNs学习训练深度图像特征分类器,而将深度图像特征分类器发送至终端,在终端直接识别,则产生了便捷和快速的优点。
实施例2:具有与实施例1相同的技术方案,更为具体的是:所述方法还包括:S4.车载识别终端场景识别失败,则将车载视觉传感器当前采集的路况气候场景图像数据标记并传输至云端服务器,云端服务器将接收的路况气候场景图像数据分发给CNNs学习模型,训练得到新的深度图像特征分类器,该新的深度图像特征分类器发送至车载识别终端并替换在先深度图像特征分类器。
该种技术方案,使得学习与识别处于交替且不间断的状态,实时更新深度训练分类器,逐步强化分类器可识别的路况场景数量与能力,将海量车辆路况图像采集作为持续学习的来源,实时将识别作为一种学习的数据支持,使得该方法的实现,可以持续更新,并不断完善。
此外,当车载终端的深度图像特征分类器具有很高的识别能力时,还可相应地减少给云端服务器传送数据的比例。相交于现有的实时要么完全依靠云端服务器或者完全依靠车载终端实现的学习与识别的方法,该手段在数据传输、学习精度、识别速度方法均具有突出的效果。
作为实施例1和2的优选技术方案,所述的各数据的传输使用车联网4G通信模块实现。还可以由其它通讯手段实现数据传输。
该技术方案中对数据传输方式进行了进一步限定,4G车联网给车辆的所带来的通信便利非常可观,使用该种技术手段实现,以配合学习和识别步骤,在传输速度和识别速度上,都具有了一定的保障。而4G技术与云计算的协同配合,使得自动驾驶、辅助驾驶、主动驾驶的改进具有了进一步的技术支持,而本技术方案可以解决对于路况气候的高精度、快速识别,特别为自动驾驶提供了基础数据支持,比如,识别出路况场景时,自动驾驶中会依此制定或改变驾驶策略。
实施例3:具有与实施例1或2相同的技术方案,更为具体的是:车载识别终端识别出当前路况气候,则将识别信息发送至控制终端,由控制终端提示车主当前路况气候。其一优选方案是:所述提示可为语音提示、屏幕显示提示中的任意种或其组合。该种技术方案的实现,使得对于司机可给予提示,便于司机主动掌握当前行驶过程中的路况实时气候,指定相应的行车安排与策略。
实施例4:一种路况气候深度学习及识别装置,包括车载视觉传感器,其采集路况气候场景图像,并将图像数据发送至云端服务器;深度学习与训练单元,云端服务器将接收的路况气候场景图像数据分发给CNNs学习模型,进行分布式并行计算,分布式并行计算的目的是增强计算能力并提高计算速度,从而能够很快的得出所需结果,训练得到深度图像特征分类器;识别单元,深度图像特征分类器发送至车载识别终端以识别车载视觉传感器新采集到的路况气候场景图像所反应的路况气候场景。
实施例5:具有与实施例4相同的技术方案,更为具体的是:所述系统中的车载识别终端场景识别失败,则将车载视觉传感器当前采集的路况气候场景图像数据标记并传输至云端服务器,云端服务器将接收的路况气候场景图像数据分发给CNNs学习模型,训练得到新的深度图像特征分类器,该新的深度图像特征分类器发送至车载识别终端并替换在先深度图像特征分类器。
作为优选的技术方案,所述的各数据的传输使用车联网4G通信模块实现。车载识别终端识别出当前路况气候,则将识别信息发送至控制终端,由控制终端提示车主当前路况气候。
实施例6:具有与实施例1-5中所提及的种路况气候深度学习及识别方法及装置相同的技术方案,其利用4G车联网将车载终端数据传给云服务器,对路况场景进行深度学习,从而能够识别不同路况气候类型的主动驾驶技术,以提升主动驾驶的适应能力,降低其在不同路况气候变幻时的驾驶风险。
本实施例在基于4G车联网的基础上,通过将车载视觉传感器采集到的视频图片信息传给云端服务器,利用服务器端并行处理能力进行图像场景的深度学习,并且将具有一定场景识别能力的图像特征分类器反馈给车载终端进行实验识别与预过滤,当车载终端的图像特征分类器具有很高的识别能力时,将相应地减少给云端服务器传送数据的比例。
由于本实施例针对不同的气候条件下的路况气候信息进行场景识别,使用普通的模式识别与图像处理手段难以对复杂的雨天、雪天、晴天、黑天等气候信息进行相对准确的识别。故此本实施例在云端服务器利用分布式与多GPU加速的方式部署实现了深度4G车联网模块,发送给云端服务器。然后,云端服务器将图片信息分发给CNNs学习模型,进行分布式并行计算,以训练出具有足够识别精度的深度图像特征分类器,具体如图(1)所示。
同时将训练出的深度图像特征分类器传给车载识别终端,以便对路况场景进行识别。当路况场景识别成功后,会给控制终端发送相应的提示信息,比如雨雪天气需要减速慢行等。如果场景识别失败,表明未能识别出路况气候类型,那么就会将相应的图像进行标记,并且传递给4G车联网模块,最终反馈给云端服务器,进行强化训练,最终将训练后能够识别该场景的深度图像特征分类器再传递给4G车联网模块,最终替换终端识别模块上的深度图像特征分类器,以便提高其场景识别能力。这样,随着主动驾驶汽车行进的里程数的增加,其场景识别能力也在不断的增强。
另外,本实施例利用多辆主动驾驶汽车终端搜集的路况信息进行有监督的深度CNNs学习,这样采集的信息更加丰富,具体流程如图(2)所示。
本实施例中所述的方法及装置,其效果是:
1、本实施例基于4G车联网,通过将车载视觉传感器采集到的视频图片信息传给云端服务器,利用服务器端并行处理能力进行图像场景的深度学习,将云端服务器与车载传感器连接构成在线的深度学习训练系统,使得深度学习的样本搜集变得更加实时有效。
2、本实施例利用有监督的CNNs针对不同的气候条件下的路况气候信息进行场景训练,使得终端识别系统能够有效识别复杂的雨天、雪天、晴天、黑天等气候信息。
3、本实施例同时将训练出的深度图像特征分类器传给车载识别终端,以便对路况场景进行识别。当路况场景识别成功后,会给控制终端发送相应的提示信息,比如雨雪天气需要减速慢行等,减轻了主动驾驶的风险。
4、本实施例在场景识别失败的时候,将相应的图像进行标记,并且传递给4G车联网模块,最终反馈给云端服务器,进行强化训练,最终将训练后能够识别该场景的深度图像特征分类器再传递给4G车联网模块,最终替换终端识别模块上的深度图像特征分类器,以便提高其场景识别能力。
5、本实施例利用多辆主动驾驶汽车终端搜集的路况信息进行有监督的深度CNNs学习,这样采集的信息更加丰富,提高了样本搜集多样性与深度图像特征分类器的适应性。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种路况气候深度学习及识别方法,其特征在于:包括
S1.车载视觉传感器采集路况气候场景图像,并将图像数据发送至云端服务器;
S2.云端服务器将接收的路况气候场景图像数据分发给CNNs学习模型,训练得到深度图像特征分类器;
S3.深度图像特征分类器发送至车载识别终端以识别车载视觉传感器新采集到的路况气候场景图像所反应的路况气候场景;
S4.车载识别终端场景识别失败,则将车载视觉传感器当前采集的路况气候场景图像数据标记并传输至云端服务器,云端服务器将接收的路况气候场景图像数据分发给CNNs学习模型,训练得到新的深度图像特征分类器,该新的深度图像特征分类器发送至车载识别终端并替换在先深度图像特征分类器。
2.如权利要求1所述的路况气候深度学习及识别方法,其特征在于,所述的各数据的传输使用车联网4G通信模块实现。
3.如权利要求1所述的路况气候深度学习及识别方法,其特征在于,车载识别终端识别出当前路况气候,则将识别信息发送至控制终端,由控制终端提示车主当前路况气候。
4.如权利要求3所述的路况气候深度学习及识别方法,其特征在于,所述提示可为语音提示、屏幕显示提示中的任意种或其组合。
5.如权利要求1所述的路况气候深度学习及识别方法,其特征在于,所述的路况气候包括雨天、雪天、晴天、黑天中 的任意种或其组合。
6.一种路况气候深度学习及识别装置,其特征在于,包括车载视觉传感器,其采集路况气候场景图像,并将图像数据发送至云端服务器;所述云端服务器将接收的路况气候场景图像数据分发给CNNs学习模型,训练得到深度图像特征分类器;所述深度图像特征分类器被发送至车载识别终端以识别车载视觉传感器新采集到的路况气候场景图像所反应的路况气候场景;所述车载识别终端场景识别失败,则将车载视觉传感器当前采集的路况气候场景图像数据标记并传输至云端服务器,云端服务器将接收的路况气候场景图像数据分发给CNNs学习模型,训练得到新的深度图像特征分类器,该新的深度图像特征分类器发送至车载识别终端并替换在先深度图像特征分类器。
7.如权利要求6所述的路况气候深度学习及识别装置,其特征在于,所述的各数据的传输使用车联网4G通信模块实现。
8.如权利要求6或7所述的路况气候深度学习及识别装置,其特征在于,车载识别终端识别出当前路况气候,则将识别信息发送至控制终端,由控制终端提示车主当前路况气候。
CN201511005782.9A 2015-12-29 2015-12-29 路况气候深度学习及识别方法和装置 Active CN105575119B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511005782.9A CN105575119B (zh) 2015-12-29 2015-12-29 路况气候深度学习及识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511005782.9A CN105575119B (zh) 2015-12-29 2015-12-29 路况气候深度学习及识别方法和装置

Publications (2)

Publication Number Publication Date
CN105575119A CN105575119A (zh) 2016-05-11
CN105575119B true CN105575119B (zh) 2018-06-19

Family

ID=55885194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511005782.9A Active CN105575119B (zh) 2015-12-29 2015-12-29 路况气候深度学习及识别方法和装置

Country Status (1)

Country Link
CN (1) CN105575119B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180314971A1 (en) * 2017-04-26 2018-11-01 Midea Group Co., Ltd. Training Machine Learning Models On A Large-Scale Distributed System Using A Job Server
CN106990714A (zh) * 2017-06-05 2017-07-28 李德毅 基于深度学习的适配控制方法与装置
CN107270925B (zh) * 2017-07-27 2021-02-05 三星电子(中国)研发中心 一种用户车辆导航系统、装置及方法
CN107451611A (zh) * 2017-07-28 2017-12-08 深圳普思英察科技有限公司 一种新能源无人车车载深度学习模型更新方法
CN107316035A (zh) * 2017-08-07 2017-11-03 北京中星微电子有限公司 基于深度学习神经网络的对象识别方法及装置
CN107609502A (zh) * 2017-09-05 2018-01-19 百度在线网络技术(北京)有限公司 用于控制无人驾驶车辆的方法和装置
CN107886136A (zh) * 2017-12-18 2018-04-06 南京云计趟信息技术有限公司 一种基于深度学习技术识别货物介质种类的方法
CN110096937A (zh) * 2018-01-31 2019-08-06 北京四维图新科技股份有限公司 一种用于辅助车辆自动驾驶的图像识别的方法及装置
CN108550301A (zh) * 2018-04-23 2018-09-18 济南浪潮高新科技投资发展有限公司 一种基于深度学习的道路驾驶技能考试自动打分的方法和装置
CN108921013B (zh) * 2018-05-16 2020-08-18 浙江零跑科技有限公司 一种基于深度神经网络的视觉场景识别系统及方法
CN109255288A (zh) * 2018-07-23 2019-01-22 深圳市科思创动科技有限公司 一种路面破损检测方法、装置及终端设备
CN109407679B (zh) * 2018-12-28 2022-12-23 百度在线网络技术(北京)有限公司 用于控制无人驾驶汽车的方法和装置
CN110186471A (zh) * 2019-05-06 2019-08-30 平安科技(深圳)有限公司 基于历史视频的导航方法、装置、计算机设备及存储介质
CN110443197A (zh) * 2019-08-05 2019-11-12 珠海格力电器股份有限公司 一种视觉场景智能理解方法及系统
CN110705370B (zh) * 2019-09-06 2023-08-18 中国平安财产保险股份有限公司 基于深度学习的路况识别方法、装置、设备及存储介质
CN112650220B (zh) * 2020-12-04 2022-03-25 东风汽车集团有限公司 一种车辆自动驾驶方法、车载控制器及系统
CN112396042A (zh) * 2021-01-20 2021-02-23 鹏城实验室 实时更新的目标检测方法及系统、计算机可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100946749B1 (ko) * 2008-03-19 2010-03-11 정양권 영상인식 및 이미지의 학습 방법을 기반한 안개 감지 방법및 그 시스템
CN102685516A (zh) * 2011-03-07 2012-09-19 李慧盈 立体视觉主动安全辅助驾驶方法
CN104346622A (zh) * 2013-07-31 2015-02-11 富士通株式会社 卷积神经网络分类器及其分类方法和训练方法
US9978014B2 (en) * 2013-12-18 2018-05-22 Intel Corporation Reconfigurable processing unit
CN105021528A (zh) * 2015-07-15 2015-11-04 安徽皖通科技股份有限公司 一种基于视频的道路气象检测装置

Also Published As

Publication number Publication date
CN105575119A (zh) 2016-05-11

Similar Documents

Publication Publication Date Title
CN105575119B (zh) 路况气候深度学习及识别方法和装置
CN108216229B (zh) 交通工具、道路线检测和驾驶控制方法及装置
CN108303103A (zh) 目标车道的确定方法和装置
CN104508719B (zh) 驾驶辅助系统以及驾驶辅助方法
CN112818910B (zh) 车辆挡位控制方法、装置、计算机设备和存储介质
CN105318888A (zh) 基于无人机感知的无人驾驶车辆路径规划方法
CN110264586A (zh) L3级自动驾驶系统道路驾驶数据采集、分析及上传方法
WO2020042348A1 (zh) 自动驾驶导航地图的生成方法、系统、车载终端及服务器
CN105930819A (zh) 基于单目视觉和gps组合导航系统的实时城区交通灯识别系统
CN105844257A (zh) 基于机器视觉雾天行车错失道路标志牌的预警系统及方法
CN107229690A (zh) 基于路侧传感器的高精度动态地图数据处理系统及方法
CN105956626A (zh) 基于深度学习的对车牌位置不敏感的车牌识别方法
CN109537488A (zh) 一种自动驾驶车路协同标识牌、自动驾驶系统及控制方法
CN104900112B (zh) 车辆驾驶教学智能辅助指导方法及系统
CN103226354A (zh) 基于光电导航的无人驾驶道路识别系统
CN110782673A (zh) 一种基于无人机拍摄云端计算的车辆违章识别检测系统
CN105844998A (zh) 一种电子教练教考系统
CN112629874B (zh) 一种智能网联汽车交通标志感知能力测试装置
CN109815831A (zh) 一种车辆朝向获取方法及相关装置
CN107591013A (zh) 一种同行路线上不同车辆位置信息实时共享方法和系统
CN111209880A (zh) 车辆行为识别方法、装置
CN110901638B (zh) 驾驶辅助方法及系统
CN205845332U (zh) 一种车辆定位装置
EP4047317A3 (en) Map updating method and apparatus, device, server, and storage medium
CN112885134A (zh) 一种基于大数据的智慧城市交通管理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant