CN106476810A - 基于ar增强现实和大数据的驾驶辅助系统 - Google Patents

基于ar增强现实和大数据的驾驶辅助系统 Download PDF

Info

Publication number
CN106476810A
CN106476810A CN201610969018.1A CN201610969018A CN106476810A CN 106476810 A CN106476810 A CN 106476810A CN 201610969018 A CN201610969018 A CN 201610969018A CN 106476810 A CN106476810 A CN 106476810A
Authority
CN
China
Prior art keywords
vehicle
described
data
driver
according
Prior art date
Application number
CN201610969018.1A
Other languages
English (en)
Inventor
童培诚
段会锋
Original Assignee
大连文森特软件科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大连文森特软件科技有限公司 filed Critical 大连文森特软件科技有限公司
Priority to CN201610969018.1A priority Critical patent/CN106476810A/zh
Publication of CN106476810A publication Critical patent/CN106476810A/zh

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42Image sensing, e.g. optical camera

Abstract

本发明公开了一种基于AR增强现实和大数据的驾驶辅助系统,包括:采集驾驶员动作细节的采集单元;根据所述采集部传输的动作细节数据,生成当前车辆I行驶的预判数据的处理单元;获取车辆I位置的定位单元;向外部发送所述的预判数据和车辆I位置信息的通信单元;周边车辆II的通信单元接收所述的预判数据和车辆位置信息,根据所述的车辆位置信息选取其阈值距离范围内的车辆的预判数据;根据所述的预判数据,控制本车的投影单元在车内特定位置投射所述阈值距离范围内预判数据对应的提示信息和对应车辆特征信息,给予当前驾驶者辅助。

Description

基于AR増强现实和大数据的驾驶辅助系统

技术领域

[0001] 本发明涉及一种驾驶辅助系统,尤其涉及一种能够基于驾驶细节采集和AR增强现实的驾驶辅助系统。背景技术

[0002] —直以来,驾驶员对其它车辆的判断都是基于周边车辆的指示灯和驾驶员自身经验来确定,除去驾驶员的注意力和主观因素导致的判断失误导致安全隐患之外,周边车辆没有在动作之前给出相应的指示灯也是一个重要的安全隐患。

[0003] 在我国的交通事故中,由不当并线造成的剐蹭等轻微事故占有绝大部分比例,单次事故的直接危害虽然较小,但是事故间接造成的拥堵却导致了很大的损失。

[0004] AR增强显示技术,能够在人眼的正常视野范围内,通过互联网技术,获得周边目标的信息,并将周边的目标的信息在显示在特定的显示界面上,增加特定范围内的人群交互。

[0005] 显示界面在现阶段主要是眼镜一类的贴近使用者眼球的显示设备,另一类则手机的显示屏。随着车辆内部投影技术的发展,已经出现将车辆自身参数比如当前速度、档位等信息投影在车辆前风挡上的技术,如果将二者技术融合,将开辟AR技术的新的应用领域。发明内容

[0006] 本发明针对以上问题的提出,而研制的一种基于AR增强现实和大数据的驾驶辅助系统,包括:

[0007] 采集驾驶员动作细节的采集单元;

[0008] 根据所述采集部传输的动作细节数据,生成当前车辆I行驶的预判数据的处理单元;

[0009] 获取车辆I位置的定位单元;

[0010] 获取车辆I规划行驶路线的路径规划单元;

[0011] 向外部发送所述的预判数据、车辆I位置信息以及根据当前车辆所处规划行驶路线的位置的通信单元;

[0012] 远程数据中心,该中心接收特定范围内全部车辆通信单元上传的数据,通过基于蜂窝网络想车辆I所在的蜂窝的其它车辆发送所述的信息;同时,调取车辆信息库中存储的车辆的违章信息、危险驾驶记录发送至蜂窝中的其它周边车辆II;

[0013] 同时,统计蜂窝网络中每个蜂窝中的车辆密度,同时根据蜂窝内车辆的路径计算系统覆盖区域内不同蜂窝区域中道路的未来时段的车辆密度,将车辆密度信息通过广播向系统内的全部车辆发送,全部车辆的通信单元接收后,路径规划单元更新所述的规划行驶路线;

[0014] 周边车辆II的通信单元接收所述的预判数据和车辆位置信息,根据所述的车辆位置信息选取其阈值距离范围内的车辆的预判数据;

[0015] 根据所述的预判数据,控制本车的投影单元在车内特定位置投射所述阈值距离范围内预判数据对应的提示信息和对应车辆特征信息,给予当前驾驶者辅助。

[0016] 所述的处理单元还接入所述周边车辆II的控制总线,当处理单元根据所述的预判数据判定车辆I将影响本车的运行,且本车驾驶员未作出相应的规避操作时,通过所述的控制总线控制车辆刹车自动刹停。

[0017]作为优选的实施方式,所述的采集单元至少包括:分别获取驾驶员眼睛位置变化的第I传感器模块、获取驾驶员右脚姿态的第2传感器模块以及获取驾驶员手臂姿态的第3传感器模块。

[0018] 更进一步的,所述的第2传感器模块包括分别设置在油门踏板和刹车踏板垂线方向的对射开关I和对射开关II和设置在所述踏板的侧面的对射开关阵列,该阵列包括至少一列成直线排列的多个对射开关II I;

[0019] 工作时,当对射开关I或对射开关II被阻断时,判定驾驶员意图加速和刹车;

[0020] 对射开关阵列通过检测阵列中对射开关III被阻断的个数和位置,判定驾驶员踩踏踏板的时机。

[0021] 更进一步的,所述的第3传感器模块为设置在驾驶员上方顶棚的视频监控模块,该模块实时采集驾驶员两臂的视频图像传输至所述的处理单元;

[0022] 处理单元判定视频图像中手臂的位置或一段时间内手臂位置变化达到设定位置时,给出当前驾驶员转向意图。

[0023] 更进一步的,所述的第I传感器模块监测驾驶员眼动数据;

[0024] 所述的处理单元根据该眼动数据,结合所述的转向意图和踩踏踏板的时机,判定当前驾驶员的真实意图,并得到所述车辆的预判数据。

[0025] 更进一步的,所述的预判数据至少包括:周边车辆是否并线,并根据并线与否,设定多个反应并线紧急程度的等级;前车是否减速,并根据减速与否,设定多个减速紧急程度等级。

[0026]作为优选的实施方式,所述的车辆特征信息至少包含车辆I的性能信息,包括当前速度和发动机性能信息;

[0027]周边车辆II根据所述车辆I速度和发动机性能,以及本车的性能给出当前车辆超越目标车辆即车辆I的时间。

附图说明

[0028] 为了更清楚的说明本发明的实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

[0029]图1为本发明的系统模块图

具体实施方式

[0030] 为使本发明的实施例的目的、技术方案和优点更加清楚,下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚完整的描述:

[0031]如图1所示:一种基于AR增强现实和大数据的驾驶辅助系统,主要包括:用于采集驾驶员动作细节的采集单元,作为后续判断流程的动作细节数据。

[0032] 根据所述采集部传输的动作细节数据,生成当前车辆I行驶的预判数据的处理单元。生成预判数据后,即可向周边车辆发送所述的预判数据,作为周边车辆判定当前车辆进一步动作的可靠依据。

[0033] 相应的,车辆I上还设有获取当前位置的定位单元,以及路径路径规划单元,比如导航设备,结合所述的定位单元,即可获知当前车辆I所处位置,比如距离规划路径中下一个弯角的一定距离时,系统开始重点监控驾驶员行为。同时,可在周边影响车辆,比如车辆I 后方和侧后方的车辆的投影单元上显示车辆I的部分行驶路径,方便其它周边影响车辆的驾驶员提前准备。[〇〇34] 关于显示图形部分,可以在车辆I的实体图像的背部对应的区域显示转向箭头和当前路街名称、简单示意图和转向目标路街的名称、简单示意图。

[0035] 以及向外部发送所述的预判数据和车辆I位置信息的通信单元。

[0036] 远程数据中心,用于接收特定范围内全部车辆通信单元上传的数据,通过基于蜂窝网络想车辆I所在的蜂窝的其它车辆发送所述的信息;同时,调取车辆信息库中存储的车辆的违章信息、危险驾驶记录发送至蜂窝中的其它周边车辆II。

[0037] 同时,统计蜂窝网络中每个蜂窝中的车辆密度,同时根据蜂窝内车辆的路径计算系统覆盖区域内不同蜂窝区域中道路的未来时段的车辆密度,将车辆密度信息通过广播向系统内的全部车辆发送,全部车辆的通信单元接收后,路径规划单元更新所述的规划行驶路线。

[0038] 其它车辆,尤其是周边车辆II的通信单元接收所述的预判数据和车辆位置信息, 根据所述的车辆位置信息选取其阈值距离范围内的车辆的预判数据,由自身的处理单元, 控制本车的投影单元在车内特定位置投射所述阈值距离范围内预判数据对应的提示信息和对应车辆特征信息,给予当前驾驶者辅助。

[0039] 其它车辆II在接收到车辆I的违章信息和危险驾驶记录时,通过投影单元在风挡或者侧面玻璃车辆I的对应位置对车辆I进行标识,比如将车辆I的影响范围进行标红,这样突出显示存在危险驾驶风险的车辆,避免此类车辆突发危险驾驶的行为,尽力避免剐蹭事故。

[0040] 作为优选的实施方式,所述的预判数据至少包括:周边车辆是否并线,并根据并线与否,设定多个反应并线紧急程度的等级;前车是否减速,并根据减速与否,设定多个减速紧急程度等级。

[0041] 在屏幕上可以在实体车辆的基础上,显示车辆的预判信息,比如通过虚拟的车辆框架图表示下一阶段的车辆位置,并通过箭头等标志物在车辆风挡或者侧方玻璃上表示车辆的行进方向。

[0042] 为了能够精确的获知当前车辆的精确的预判数据,作为优选的实施方式,作为所述的采集单元至少包括:分别获取驾驶员眼睛位置变化的第1传感器模块、获取驾驶员右脚姿态的第2传感器模块以及获取驾驶员手臂姿态的第3传感器模块。

[0043] 更进一步的,考虑到车辆踏板区域的光照条件较差,很难采用视频分析,来获知驾驶员右脚的位置,就很难获得驾驶员意图,成熟的驾驶员在决定踩下刹车之前通常会将右脚放置在刹车位置的上方(同样的,踩下油门区域),这种情况,尤其在前方车辆动作无法直观判断时,驾驶员会提前采取类似动作,即可作为检测手段。

[0044]作为优选的实施方式,所述的第2传感器模块包括分别设置在油门踏板和刹车踏板垂线方向的对射开关I和对射开关II和设置在所述踏板的侧面的对射开关阵列,该阵列包括至少一列成直线排列的多个对射开关III;工作时,当对射开关I或对射开关II被阻断时,判定驾驶员意图加速和刹车;对射开关阵列通过检测阵列中对射开关III被阻断的个数和位置,判定驾驶员踩踏踏板的时机。

[0045]比如,当驾驶员的右脚位于刹车踏板上方时,所述的对射开关II被阻断,即发出信号,表明驾驶员意图踩下油门加速行驶,此时,所述的对射开关III继续监测,检测驾驶员右脚是否有踩下的趋势,同时作为可选的方案,油门踩下的幅度也作为车辆加速度的判定数据,输出至其它车辆的通信单元。

[0046]同样的,如果直接使用方向盘的转动数据作为车辆转向/并线的数据,往往会错失最佳的判断时机,导致无法给出其它车辆显示和反应时间。

[0047] 故作为优选的实施方式,第3传感器模块为设置在驾驶员上方顶棚的视频监控模块,该模块实时采集驾驶员两臂的视频图像传输至所述的处理单元;处理单元判定视频图像中手臂的位置或一段时间内手臂位置变化达到设定位置时,给出当前驾驶员转向意图。

[0048] 通常的,有些方向盘具有一定的旋转虚量,即在小角度转动方向盘时,转向传感器并不输出转向数据,而在虚量范围内,驾驶员通常会产生停顿,等待观察进一步路况(比如等侧方车辆通过时,再做出进一步动作)再实施具体的并线/转向动作。

[0049]另一种驾驶转向习惯也广泛存在驾驶员中,即正常直线行驶时,驾驶动作比较懒散,与即将并线的驾驶动作有着明显的区别,故通过采集驾驶员双臂的动作和位置,也可以作为判定,比如当左右臂处于方向盘两侧的3点和9点位置时,即可判定当前驾驶员即将完成转向动作,即可通过上述系统完成向周边车辆的通知。

[0050] 考虑到,驾驶员在并线过程的最开始,首先需要通过眼睛观察目标车道/弯角位置,观察的同时会伴有转头动作,考虑到车内光影条件变化较大,采集头部的朝向变化较为困难,故为了进一步精确反应驾驶员的驾驶动作,作为优选的实施方式,系统还设有重点监控驾驶员眼部的第I传感器模块监测驾驶员眼动数据;

[0051] 所述的处理单元根据该眼动数据,结合所述的转向意图和踩踏踏板的时机,判定当前驾驶员的真实意图,并得到所述车辆的预判数据。

[0052]作为优选的实施方式,所述的车辆特征信息至少包含车辆I的性能信息,包括当前速度和发动机性能信息;周边车辆11根据所述车辆I速度和发动机性能,以及本车的性能给出当前车辆超越目标车辆即车辆I的时间和超车建议。比如,踩下油门后,本车超越目标车辆的时间和对应的距离,以及同样时间内,超越目标车辆的形式距离,当二者的距离差超过阈值时,不建议超车。

[0053] 作为另一个较佳的实施方式,所述的处理单元还接入所述周边车辆II的控制总线,当处理单元根据所述的预判数据判定车辆I将影响本车的运行,且本车驾驶员未作出相应的规避操作时,通过所述的控制总线控制车辆刹车自动刹停,进行紧急制动。同时,可以根据自身的主动传感器,完成自动或者半自动驾驶。

[0054]以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于AR增强现实和大数据的驾驶辅助系统,其特征在于包括:采集驾驶员动作细节的采集单元;根据所述采集部传输的动作细节数据,生成当前车辆I行驶的预判数据的处理单元;获取车辆I位置的定位单元;获取车辆I规划行驶路线的路径规划单元;向外部发送所述的预判数据、车辆I位置信息以及根据当前车辆所处规划行驶路线的 位置的通信单元;远程数据中心,该中心接收特定范围内全部车辆通信单元上传的数据,通过基于蜂窝 网络想车辆I所在的蜂窝的其它车辆发送所述的信息;调取车辆信息库中存储的车辆的违 章信息、危险驾驶记录发送至蜂窝中的其它周边车辆II;同时,统计蜂窝网络中每个蜂窝中的车辆密度,同时根据蜂窝内车辆的路径计算系统 覆盖区域内不同蜂窝区域中道路的未来时段的车辆密度,将车辆密度信息通过广播向系统 内的全部车辆发送,全部车辆的通信单元接收后,路径规划单元更新所述的规划行驶路线; 周边车辆II的通信单元接收所述的预判数据和车辆位置信息,根据所述的车辆位置信 息选取其阈值距离范围内的车辆的预判数据;根据所述的预判数据,控制本车的投影单元在车内特定位置投射所述阈值距离范围内 预判数据对应的提示信息和对应车辆特征信息,给予当前驾驶者辅助;所述的处理单元还接入所述周边车辆II的控制总线,当处理单元根据所述的预判数据 判定车辆I将影响本车的运行,且本车驾驶员未作出相应的规避操作时,通过所述的控制总 线控制车辆刹车自动刹停。
2.根据权利要求1所述的基于AR增强现实和大数据的驾驶辅助系统,其特征还在于所 述的采集单元至少包括:分别获取驾驶员眼睛位置变化的第1传感器模块、获取驾驶员右脚 姿态的第2传感器模块以及获取驾驶员手臂姿态的第3传感器模块。
3.根据权利要求2所述的基于AR增强现实和大数据的驾驶辅助系统,其特征还在于:所 述的第2传感器模块包括分别设置在油门踏板和刹车踏板垂线方向的对射开关I和对射开 关II和设置在所述踏板的侧面的对射开关阵列,该阵列包括至少一列成直线排列的多个对 射开关III;工作时,当对射开关I或对射开关II被阻断时,判定驾驶员意图加速和刹车;对射开关阵列通过检测阵列中对射开关III被阻断的个数和位置,判定驾驶员踩踏踏 板的时机。
4.根据权利要求3所述的基于AR增强现实和大数据的驾驶辅助系统,其特征还在于所 述的第3传感器模块为设置在驾驶员上方顶棚的视频监控模块,该模块实时采集驾驶员两 臂的视频图像传输至所述的处理单元;处理单元判定视频图像中手臂的位置或一段时间内手臂位置变化达到设定位置时,给 出当前驾驶员转向意图。
5.根据权利要求4所述的基于AR增强现实和大数据的驾驶辅助系统,其特征还在于所 述的第1传感器模块监测驾驶员眼动数据;所述的处理单元根据该眼动数据,结合所述的转向意图和踩踏踏板的时机,判定当前 驾驶员的真实意图,并得到所述车辆的预判数据。
6.根据权利要求1或5所述的基于AR增强现实和大数据的驾驶辅助系统,其特征还在于所述的预判数据至少包括: 周边车辆是否并线,并根据并线与否,设定多个反应并线紧急程度的等级; 前车是否减速,并根据减速与否,设定多个减速紧急程度等级。
7.根据权利要求1所述的基于AR增强现实和大数据的驾驶辅助系统,其特征还在于所述的车辆特征信息至少包含车辆I的性能信息,包括当前速度和发动机性能信息; 周边车辆II根据所述车辆I速度和发动机性能,以及本车的性能给出当前车辆超越目标车辆即车辆I的时间和超车建议。
CN201610969018.1A 2016-11-04 2016-11-04 基于ar增强现实和大数据的驾驶辅助系统 CN106476810A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610969018.1A CN106476810A (zh) 2016-11-04 2016-11-04 基于ar增强现实和大数据的驾驶辅助系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610969018.1A CN106476810A (zh) 2016-11-04 2016-11-04 基于ar增强现实和大数据的驾驶辅助系统

Publications (1)

Publication Number Publication Date
CN106476810A true CN106476810A (zh) 2017-03-08

Family

ID=58271595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610969018.1A CN106476810A (zh) 2016-11-04 2016-11-04 基于ar增强现实和大数据的驾驶辅助系统

Country Status (1)

Country Link
CN (1) CN106476810A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2216764A1 (en) * 2007-12-05 2010-08-11 Bosch Corporation Vehicle information display device
CN101813492A (zh) * 2010-04-19 2010-08-25 清华大学 车辆导航系统及方法
US20150081202A1 (en) * 2013-09-19 2015-03-19 Volvo Car Corporation Arrangement in a vehicle for providing vehicle driver support, a vehicle, and a method for providing vehicle driver support
CN104952249A (zh) * 2015-06-10 2015-09-30 浙江吉利汽车研究院有限公司 基于车联网的驾驶行为纠正方法及装置
CN105197011A (zh) * 2014-06-13 2015-12-30 现代摩比斯株式会社 车辆用驾驶员危险指数管理系统及其方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2216764A1 (en) * 2007-12-05 2010-08-11 Bosch Corporation Vehicle information display device
CN101813492A (zh) * 2010-04-19 2010-08-25 清华大学 车辆导航系统及方法
US20150081202A1 (en) * 2013-09-19 2015-03-19 Volvo Car Corporation Arrangement in a vehicle for providing vehicle driver support, a vehicle, and a method for providing vehicle driver support
CN105197011A (zh) * 2014-06-13 2015-12-30 现代摩比斯株式会社 车辆用驾驶员危险指数管理系统及其方法
CN104952249A (zh) * 2015-06-10 2015-09-30 浙江吉利汽车研究院有限公司 基于车联网的驾驶行为纠正方法及装置

Similar Documents

Publication Publication Date Title
US10657825B2 (en) Vehicle operation assistance
US9933784B1 (en) Augmented trajectories for autonomous vehicles
EP2979914B1 (en) Vehicle control apparatus and vehicle control method
US9786178B1 (en) Vehicle pedestrian safety system and methods of use and manufacture thereof
US10210772B2 (en) Traffic information system
CN105620489B (zh) 驾驶辅助系统及车辆实时预警提醒方法
US10286905B2 (en) Driver assistance apparatus and control method for the same
US9159235B2 (en) Method of operating a driver assistance system of a motor vehicle
CN104751669B (zh) 一种基于车联网的智能驾驶辅助系统及方法
CN105151043B (zh) 一种无人驾驶汽车紧急避让的方法
US9723243B2 (en) User interface method for terminal for vehicle and apparatus thereof
US9747730B2 (en) Driver measurement and incentive system for improving fuel-efficiency
CN105139677B (zh) 基于车路协同的无控交叉口车辆通行引导系统及其引导方法
US8849494B1 (en) Data selection by an autonomous vehicle for trajectory modification
US9495874B1 (en) Automated system and method for modeling the behavior of vehicles and other agents
CN103129466B (zh) 在全挡风玻璃平视显示器上的驾驶操纵辅助
US10229461B2 (en) Continuous identity monitoring for classifying driving data for driving performance analysis
CN106781824A (zh) 一种基于车辆安全控制的智能驾驶训练系统及方法
US20150039350A1 (en) Vehicle operations monitoring
US10643469B2 (en) Traffic intersection driving assistance method and system
CN106379319B (zh) 一种汽车辅助驾驶系统及控制方法
CN102785661B (zh) 车道偏离控制系统及方法
CN104210489B (zh) 车路协同环境下车辆与行人碰撞规避方法与系统
CN102991504B (zh) 一种对驾驶员换道安全性进行判断并预警的方法
CN104477167B (zh) 一种智能驾驶系统及其控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170308