CN111183466B - 周围状况的显示方法以及显示装置 - Google Patents

周围状况的显示方法以及显示装置 Download PDF

Info

Publication number
CN111183466B
CN111183466B CN201780093521.8A CN201780093521A CN111183466B CN 111183466 B CN111183466 B CN 111183466B CN 201780093521 A CN201780093521 A CN 201780093521A CN 111183466 B CN111183466 B CN 111183466B
Authority
CN
China
Prior art keywords
display
host vehicle
attention object
vehicle
displaying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780093521.8A
Other languages
English (en)
Other versions
CN111183466A (zh
Inventor
草柳佳纪
渡边省吾
柳拓良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renault SAS
Nissan Motor Co Ltd
Original Assignee
Renault SAS
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault SAS, Nissan Motor Co Ltd filed Critical Renault SAS
Publication of CN111183466A publication Critical patent/CN111183466A/zh
Application granted granted Critical
Publication of CN111183466B publication Critical patent/CN111183466B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B60K35/10—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60K35/28—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B60K2360/162—
    • B60K2360/175—
    • B60K2360/179—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects

Abstract

检测具有自动驾驶功能的本车辆的周围状况，显示检测到的所述周围状况的显示方法，在具有规定的显示框、将该显示框内的指示位置与注意对象的运动联动来显示的变动显示条中，将指示位置移动到所述变动显示条的端点为止的时刻，显示作为通过所述自动驾驶功能切换本车辆的行动的定时。

Description

周围状况的显示方法以及显示装置
技术领域
本发明涉及检测本车辆的周围的状况，显示检测到的状况的周围状况的显示方法以及显示装置。
背景技术
作为对乘员通知自动驾驶行驶时的模式变更的技术，例如已知专利文献1中公开的技术。在专利文献1中，计算直至自动驾驶导致的行驶控制被切换的所需时间，通过在画面上进行数值显示，通知切换的定时。
现有技术文献
专利文献
专利文献1:日本专利特开2016－130971号公报
发明内容
在上述专利文献1中，以数值显示自动驾驶导致的行驶控制被切换的定时，所以在乘员瞬间观察数值显示，并以乘员自身的感觉倒数时，与画面上显示的倒数显示之间产生背离。因此，有乘员不能适当地识别车辆的行动被切换的定时的可能性。
本发明是为了解决这样的现有的课题而完成的，其目的是提供能够适当地通知行动因自动驾驶被切换的定时的周围状况的显示方法以及周围状况的显示装置。
本发明的一个方式，以具有规定的显示框，变动该显示框内的指示位置而进行显示的变动显示条来显示通过自动驾驶功能本车辆的行动被切换的定时。
发明的效果
按照本发明的一个方式，能够适当地通知自动驾驶导致的行动被切换的定时。
附图说明
图1是表示本发明的实施方式的显示装置的结构的方框图。
图2A是表示本车辆从高速道路的加速车道汇流至行驶车道，进入其它车辆的后方的状况的第1显示例。
图2B是表示本车辆从高速道路的加速车道汇流至行驶车道，进入其它车辆的后方的状况的第2显示例。
图3A是表示本车辆从高速道路的加速车道汇流至行驶车道，进入其它车辆的前方的状况的第1显示例。
图3B是表示本车辆从高速道路的加速车道汇流至行驶车道，进入其它车辆的前方的状况的第2显示例。
图4A是本车辆等待人行横道的行人通过的状况的第1显示例。
图4B是本车辆等待人行横道的行人通过的状况的第2显示例。
图5A是本车辆等待人行横道的二人的行人通过的状况的第1显示例。
图5B是本车辆等待人行横道的二人的行人通过的状况的第2显示例。
图6A是本车辆在交叉路口左转弯时，等待从从右侧接近的其它车辆的通过的状况的第1显示例。
图6B是本车辆在交叉路口左转弯时，等待从右侧接近的其它车辆的通过的状况的第2显示例。
图7A是本车辆在交叉路口右转弯时，等待从右侧以及左侧接近的其它车辆的通过的状况的第1显示例。
图7B是本车辆在交叉路口右转弯时，等待从右侧以及左侧接近的其它车辆的通过的状况的第2显示例。
图8A是本车辆在交叉路口右转弯时，等待对面车辆的通过的状况的第1显示例。
图8B是本车辆在交叉路口右转弯时，等待对面车辆的通过的状况的第2显示例。
图8C是本车辆在交叉路口右转弯时，等待对面车辆的通过的状况的第3显示例。
图9是表示片段显示器的说明图。
图10A是表示实施方式的显示装置的处理步骤的流程图的第1分图。
图10B是表示实施方式的显示装置的处理步骤的流程图的第2分图。
图10C是表示实施方式的显示装置的处理步骤的流程图的第3分图。
具体实施方式
以下，参照附图说明本发明的实施方式。
[实施方式的结构说明]
图1是表示本发明的实施方式的显示装置的结构的方框图。该显示装置被安装在具有自动驾驶功能的车辆上。而且，本实施方式中的自动驾驶是指，例如，刹车，油门，转向等促动器中，至少无驾驶员操作地控制油门的状态。因此，即使其它的促动器通过驾驶员的操作而动作也没关系。
如图1所示，显示装置包括：显示控制器1、显示图像的显示器2、地图数据库3、GPS装置4(Global Positioning System)、LRF5(Laser Range Finder，激光测距仪)、摄像机6、转向角传感器7、以及车速传感器8。
显示控制器1包括：场景确定电路11、端点设定电路12、障碍物位置检测电路13、变动显示条描绘电路14、HMI显示电路15、图像合成电路16。
GPS装置4检测车辆的当前位置，将检测到的位置信息输出到场景确定电路11。地图数据库3存储包含车辆的周边的三维地图数据。地图数据被输出到场景确定电路11。
LRF5向对象物照射红外线激光，通过其反射光的强度测量至对象物的距离。通过LRF5的测量，可以获取至对象物的距离作为点云信息，将该点云信息输出到场景确定电路11。而且，除了LRF5以外，还可以使用利用了超声波的间隙声纳、毫米波雷达、摄像机、路车间通信、车车间通信等检测对象物。LRF5的输出数据被输出到障碍物位置检测电路13。
摄像机6包括：前摄像机6a、后摄像机6b、右摄像机6c、左摄像机6d，拍摄车辆的前后、左右的各方向的图像。各摄像机6(6a～6d)是具有CCD、CMOS等摄像元件的摄像机。将拍摄的图像数据输出到障碍物位置检测电路13。
转向角传感器7测量车辆的转向角，将检测到的转向角输出到场景确定电路11。而且，车速传感器8从车轮的转速检测车辆的速度，将检测到的速度输出到场景确定电路11。
显示器2可以使用液晶显示器等的图像监视器。进一步，可以采用设置了图9所示那样的多个发光二极管61的片段显示器、抬头显示器等各种显示方法。
场景确定电路11确定以自动驾驶方式行驶的车辆的行动被切换的状况。“行动被切换”是指，从停止开始出发、加速、减速、右转弯、左转弯、打方向盘(高速的汇流)等行动。作为行动被切换具体的状况，例如举出：向高速道路的切入、车道变更、等待人行横道的行人、在交叉路口的左转弯、右转弯、等待对面车辆的发车等模式。场景确定电路11根据三维地图数据、车辆的当前位置数据、转向角数据、车速数据，确定上述的各行动的切换。将行动变化的模式输出到端点设定电路12。
障碍物位置检测电路13根据LRF5的检测数据以及各摄像机6(6a～6d)拍摄的图像，检测本车辆周围存在的其它车辆、行人、动物等障碍物的位置。例如，在交叉路口本车辆停止中，检测从左侧或者右侧接近的其它车辆。而且，检测从前方迎面而来的对面车辆。进而，检测在车辆周边步行中的行人，动物等障碍物。将检测到的障碍物的位置信息输出到端点设定电路12以及变动显示条描绘电路14。
端点设定电路12在以自动驾驶方式行驶的车辆的行动被切换的状况中，显示车辆及其周围图像(俯瞰图像、鸟瞰图像)时，设定在该周围图像中显示的变动显示条的起点、终点两个端点。
变动显示条描绘电路14根据端点设定电路12中设定的端点、以及车辆与障碍物的位置关系、相对速度，在图像上描绘变动显示条。例如如图4A的符号Q3等所示，变动显示条为在固定的方向(图中为横方向)上长的长方形，使指示点(指示位置)变动，显示以自动驾驶方式控制的车辆的行动被切换的定时。即，变动显示条具有将本车辆的行动变化的定时与本车辆的周围状况联动来显示的功能。
在变动显示条描绘电路14中，根据周围图像与本车辆的当前位置、障碍物的位置，在周围图像上描绘变动显示条。在本实施方式中，在显示框全体的区域中以着色的区域表示指示点。例如，在显示框全体中，通过使以红色显示的区域变动，显示本车辆变更行动时的定时。
HMI显示电路15生成以自动驾驶方式行驶时的、表示与自动驾驶有关的信息的各种图像，输出到图像合成电路16。
图像合成电路16在描绘了变动显示条的周围图像中，合成由HMI显示电路15设定的与自动驾驶有关的图像，显示在显示器2上。
而且，上述的显示控制器1能够使用具有CPU(中央处理装置)、存储器，以及输入输出单元的微计算机实现。将用于使微计算机具有作为显示控制器1的功能的计算机程序(显示程序)安装在微计算机中执行。由此，微计算机具有作为显示控制器1具有的多个信息处理电路(11～16)的功能。而且，这里，示出通过软件实现显示控制器1的例子，但是当然还能够准备专用的硬件，构成显示控制器1。而且，也可以通过单独的硬件构成显示控制器1中包含的多个电路。进而，显示控制器1也可以与车辆有关的其它控制中使用的电子控制单元(ECU)兼用。而且，除了图1所示的LRF5、摄像机6、显示器2以外，也可以不安装在车辆上，而设为通过与基站的通信获取各种数据的结构。
[变动显示条的显示例]
接着，说明在周围图像中显示的变动显示条的具体的显示例。
(1)汇流到高速道路的行驶车道的情况
图2A、图2B、图3A、图3B是表示作为本车辆V1的行动被切换状况，本车辆V1从高速道路的加速车道L1汇流至行驶车道L2的状况的图。图2A、图3A所示，在行驶车道L2的、比本车辆V1后方的其它车辆V2正在行驶。在汇流中，有本车辆V1进入到其它车辆V2的后方的情况、以及进入到前方的情况2种。图2A、图2B表示进入到后方的情况，图3A、图3B表示进入到前方的情况。进入到前方或者后方的判断，通过本车辆V1与其它车辆V2的相对速度决定。
如图2A、图2B所示，在进入到其它车辆V2的后方的情况下，在本车辆V1的周围的周围图像中，显示将从本车辆V1的后端起规定的距离的后方的位置设为变动显示条的一个端点q1，将本车辆V1的后端位置设为另一个端点q2的变动显示条Q1。这时，显示位置在与图像上的行驶道路不重复的位置，并且，设为与本车辆V1的行进方向平行的方向。而且，至端点q1的距离设定为距本车辆V1的任意的距离。
变动显示条Q1将其它车辆V2的前端位置设为指示点q3，将端点q2作为起点而将至指示点q3的区域着色。这时，指示点q3附近设为渐变显示。在变动显示条Q1中被显示的着色区域表示本车辆V1与其它车辆V2的相对距离。如图2B所示，在其它车辆V2接近本车辆V1时，指示点q3接近端点q2，着色区域减少。如图2B所示，通过变动显示条Q1的着色区域消失，本车辆V1的乘员可以识别其它车辆V2超车本车辆V1的定时。因此，乘员可以感觉性地识别本车辆V1车道变更至行驶车道L2的定时(本车辆V1的行动被切换的定时)，可以对本车辆V1进行从加速车道L1进入到行驶车道L2的动作做好思想准备。
而且，变动显示条Q1的端点q2根据本车辆V1的行驶在画面上移动。在图2A、图2B的例子中，变动显示条Q1的显示位置移动，使得本车辆V1的后端部与端点q2一致。
另一方面，如图3A、图3B所示，本车辆V1进入到其它车辆V2的前方的情况下，在本车辆V1的周围图像中，显示具有端点q1、q2的变动显示条Q2。指示点q4表示其它车辆V2的前端位置，将端点q1作为起点而将至指示点q4的区域着色。由于着色区域的起点为端点q1，乘员可以识别汇流至其它车辆V2的前方。进而，如图3B所示，随着本车辆V1与其它车辆V2的车间距离扩大，指示点q4的位置接近端点q1，着色区域减少。乘员观察着色区域的减少，可以感觉性地识别本车辆V1车道变更至行驶车道L2的定时，可以对本车辆V1进行从加速车道L1进入到行驶车道L2的动作做好思想准备。
(2)在交叉路口等待人行横道的行人通过后开始行驶的情况
图4A、图4B是表示作为本车辆V1的行动被切换状况，本车辆V1在交叉路口51的停止线停止，在前方的人行横道31上行人21从图中右向左步行的状况的图。
在该情况下，在行人21在人行横道31上通过完的时刻，本车辆V1开始行驶。如图4A所示，显示本车辆V1的前方图像的、将人行横道31的两端设为端点q11、q12的变动显示条Q3。变动显示条Q3相对于人行横道31平行地显示。
然后，将人行横道31的左侧的端点q12设为起点，将至表示行人21的位置的指示点q13设为着色区域。如图4B所示，由于行人21在人行横道31步行，变动显示条Q3的指示点q13从右向左移动，在到达了端点q12的时刻本车辆V1开始行驶。即，变动显示条Q3中显示的指示点q13的从端点q12开始的长度，根据本车辆V1和注意对象的位置进行设定。乘员通过着色区域的变化，可以感觉性地识别本车辆V1开始行驶的定时(本车辆V1的行动被切换的定时)。因此，乘员可以对于本车辆V1从停止切换到出发做好思想准备。
图5A、图5B是表示在前方的人行横道31上，行进方向不同的两个行人22、23在步行的状况的图。
在该情况下，在两个行人22、23都通过完人行横道31的时刻，本车辆V1开始行驶。如图5A所示，显示本车辆V1的前方图像的、将人行横道31的两端设为端点q21、q22的变动显示条Q4。变动显示条Q4相对于人行横道31平行地显示。
然后，将人行横道31的左侧的端点q22设为起点，将直至表示行人22的位置的指示点q24设为着色区域。进而，将右侧的端点q21设为起点，将直至表示行人23的位置的指示点q23设为着色区域。
如图5B所示，由于行人22、23在人行横道31上步行，变动显示条Q4的指示点q24从右向左移动，指示点q23从左向右移动。在指示点q24到达端点q22，并且指示点q23到达端点q21的时刻，本车辆V1开始行驶。乘员通过着色区域的变化，可以识别本车辆V1开始行驶的定时。因此，乘员可以对本车辆V1从停止切换到出发做好思想准备。
(3)在交叉路口等待来自右方向的通过车辆的通过后开始左转弯的情况
图6A、图6B是表示作为本车辆V1的行动被切换状况，本车辆V1在交叉路口51左转弯的状况的图。
在该情况下，在从交叉路口51的右方向接近的其它车辆V11通过了交叉路口51的时刻，本车辆V1开始行驶。如图6A所示，显示将周围图像上的本车辆V1的位置设为一个端点q32，将右方向的规定位置设为另一个端点q31的变动显示条Q5。变动显示条Q5与其它车辆V11的行进方向平行地显示。
然后，将变动显示条Q5的端点q32设为起点，将至表示其它车辆V11的位置的指示点q33设为着色区域。如图6B所示，随着其它车辆V11接近交叉路口51，变动显示条Q5的指示点q33从右向左移动，在到达了端点q32的时刻，本车辆V1开始行驶。乘员通过着色区域的变化，本车辆V1可以识别开始行驶的定时，可以对本车辆V1从停止切换到出发做好思想准备。
而且，图6A、6B所示的从左侧接近的其它车辆V12不成为本车辆V1左转弯的障碍，所以不作为注意对象进行识别。
(4)在交叉路口等待来自左右方向的通过车辆的通过后右转弯、直行的情况
图7A，图7B是表示作为本车辆V1的行动被切换状况，本车辆V1在交叉路口51，等待左右方向的其它车辆的通过后右转弯、直行的状况的图。
在该情况下，在从交叉路口51的右方向接近的其它车辆V11、以及从左方向接近的其它车辆V12都通过了交叉路口51的时刻，本车辆V1开始行驶(右转弯、直行)。如图7A所示，显示将周围图像上的左方向的规定位置设为一个端点q42，将右方向的规定位置设为另一个端点q41的变动显示条Q6。变动显示条Q6与其它车辆V11、V12的行进方向平行地显示。
然后，将变动显示条Q6的表示本车辆V1的位置的点q45设为起点，将至表示其它车辆V11的位置的指示点q43设为着色区域。进而，将至表示其它车辆V12的位置的指示点q44设为着色区域。如图7B所示，随着其它车辆V11、V12接近交叉路口51，变动显示条Q6的指示点q43从右向左移动，并且，指示点q44从左向右移动，在达到了点q45的时刻本车辆V1开始行驶。乘员通过着色区域的变化，可以识别本车辆V1开始行驶的定时，可以对本车辆V1从停止切换到出发做好思想准备。
(5)在交叉路口等待对面车辆的通过后右转弯的情况
图8A、图8B、图8C是表示作为本车辆V1的行动被切换状况，本车辆V1在交叉路口51等待对面车辆的通过后进行右转弯的状况的图。
在该情况下，在从交叉路口51的前方接近的对面车辆V21通过了交叉路口51的时刻，本车辆V1开始行驶(右转弯)。如图8A所示，显示将周围图像上的本车辆V1的前端位置设为一个端点q52，将前方的规定位置设为另一个端点q51的变动显示条Q7。变动显示条Q7与对面车辆V21的行进方向平行地显示。
然后，将变动显示条Q7的表示本车辆V1的前端位置的端点q52设为起点，将至表示对面车辆V21的位置的指示点q53设为着色区域。如图8B所示，随着对面车辆V21接近交叉路口51，变动显示条Q7的指示点q53从上方向下方移动。如图8C所示，在对面车辆V21通过了交叉路口51的时刻，本车辆V1开始行驶。乘员通过着色区域的变化，可以识别本车辆V1开始行驶的定时，可以对本车辆V1从停止切换到出发做好思想准备。
而且，在上述的图6A、图6B、图7A、图7B、图8A～图8C中，示出车辆为左侧通行的例子。在右侧通行的情况下左右相反。
[本实施方式的作用的说明]
接着，参照图10A、图10B、图10C所示的流程图说明本实施方式的作用。该处理由图1所示的显示控制器1执行。首先，在步骤S11中，判断本车辆V1是否以自动驾驶方式在行驶中。在自动驾驶行驶中的情况下(步骤S11中“是”)，步骤S12中，判断本车辆V1是否减速或在停车。
在减速或者停车的情况下(步骤S12中“是”)，在步骤S13中，场景确定电路11根据地图数据确定本车辆V1的场景。进而，在步骤S14中，障碍物位置检测电路13检测本车辆V1的周围存在的其它车辆、行人、动物等障碍物。在检测到的障碍物中，确定成为车辆减速或者停车的原因的障碍物作为注意对象。
在步骤S15中，场景确定电路11根据地图数据以及车辆的当前位置数据，判断当前的场景是在交叉路口的停止、或是汇流/车道变更。
在为汇流/车道变更的情况下，在步骤S16中，障碍物位置检测电路13检测相邻车道、以及在相邻车道行驶的其它车辆。具体地说，如图2A、图3A所示，检测在行驶车道L2行驶的其它车辆V2。
在步骤S17中，如图2A、图2B所示，端点设定电路12以及变动显示条描绘电路14设定从其它车辆V2朝向本车辆V1的方向(图中纵方向)的变动显示条，进而，在步骤S18中，设定变动显示条的两个端点。具体地说，设定具有图2A、图2B所示的端点q1、q2的变动显示条Q1，显示在与图像上的车道不重复的位置。这时，设定为本车辆V1的后端与变动显示条的端点q1在车辆的行进方向上一致。在图3A、图3B所示的例子中也同样显示变动显示条Q2。
之后，在图10C的步骤S26中，确定注意对象的当前位置。具体地说，如图2A所示，在行驶车道L2上，确定在本车辆V1后方行驶的其它车辆V2作为注意对象。
在步骤S27中，变动显示条描绘电路14根据其它车辆V2(注意对象)的当前位置，使变动显示条Q1的指示点q3变动，使着色区域变动。如前述那样，本车辆的乘员观察变动显示条Q1或者Q2的着色区域的变化，从而可以识别本车辆V1进行车道变更的定时、以及进入到其它车辆V2的前方或者进入到后方。
在步骤S28中，判断其它车辆V2是否到达了变动显示条Q1的终点，在到达了终点的情况下，在步骤S29中，结束变动显示条的显示。
在步骤S30中，判断是否结束基于自动驾驶功能的行驶，在结束的情况下，结束本处理。
另一方面，在图10A的步骤S15的处理中判断为是“交叉路口”的情况下，在图10B的步骤S19中，判断注意对象是在人行横道步行中的行人或者是对面车辆。
在判断为行人的情况下，在步骤S20中，障碍物位置检测电路13检测人行横道的位置以及行人的位置。例如，如前述的图4A所示，检测本车辆V1的前方图像上的人行横道31以及行人21。
在步骤S21中，端点设定电路12以及变动显示条描绘电路14在相对人行横道31平行的方向上设定变动显示条的朝向，进而，在步骤S22中，根据人行横道31的两端位置设定变动显示条的端部。在图4A所示的例子中显示变动显示条Q3。进而，根据行人的步行方向，设定着色区域的起点。在图4A中，将端点q12设定为起点。
之后，在图10C的步骤S26中，确定注意对象的当前位置。具体地说，如图4A所示，确定在人行横道31步行的行人21作为注意对象。
在步骤S27中，变动显示条描绘电路14根据行人21(注意对象)的当前位置，变更变动显示条Q3的显示位置。具体地说，将指示点q13的显示位置从图4A变更到图4B。因此，乘员观察变动显示条Q3的着色区域的变化，可以识别本车辆V1开始行驶的定时。
而且，在图5A、图5B所示的例子中也同样，通过使变动显示条Q4的显示变动，可以识别本车辆V1开始行驶的定时。以下，与前述同样，实施步骤S28～S30的处理。
另一方面，在图10B所示的步骤S19的处理中判断为“对面车辆”的情况下，在步骤S23中，障碍物位置检测电路13检测交叉路口的位置以及对面车辆的位置。例如，如前述的图8A所示，在本车辆V1周围图像上的对面车道检测对面车辆V21。
在步骤S24中，端点设定电路12以及变动显示条描绘电路14在对于对面车辆V21的行驶方向平行的方向上设定变动显示条的朝向，进而，在步骤S25中，设定起点、终点，显示变动显示条Q7。
之后，在步骤S26中，确定注意对象的当前位置。具体地说，如图8A所示，确定对面车辆V21作为注意对象。
在步骤S27中，变动显示条描绘电路14根据对面车辆V21的当前位置，使在变动显示条Q7中显示的指示点q53变动。具体地说，按照图8A、图8B、图8C的顺序，使指示点q53变动。如前述那样，本车辆V1的乘员观察变动显示条Q7的着色区域的变化，可以识别本车辆V1开始行驶的定时。以下，与前述同样，实施步骤S28～S30的处理。
而且，在图10A、图10B、图10C中表示的流程图中，说明了图2A、图2B、图3A、图3B所示的车道变更、图4A、图4B、图5A、图5B所示的等待人行横道的行人通过、图8A、图8B、图8C所示的等待对面车辆的情况的处理，但是对于图6A、图6B所示那样在交叉路口左转弯的情况、图7A、图7B所示那样在交叉路口右转弯的情况，也通过与上述同样的处理，显示变动显示条，通过根据注意对象的移动使着色区域变化，能够表示本车辆V1的行动变化的定时。
[效果的说明]
在如上述那样构成的本实施方式中，得到以下所示的效果。
(1)通过本车辆V1具有的自动驾驶功能，将本车辆V1的行动被切换的定时，例如，车道变更的定时或在交叉路口发车的定时与本车辆V1的周围状况联动来显示，所以乘员可以感觉性地识别行动被切换的定时，可以抑制乘员感到的不适感。
(2)由于用对于全体显示框的指示点(指示位置)与周围状况联动而变化的变动显示条来显示本车辆V1的行动被切换的定时，所以可以得知直至本车辆V1的行动被切换的定时的周围状况的变化，可以适当地得知行动的切换的定时。
(3)根据本车辆V1与其它车辆等注意对象的相对距离，显示本车辆V1的行动被切换的定时，在注意对象成为切换本车辆V1的行动的触发的情况下，因为可以与注意对象的相对的位置关系匹配地显示行动被切换的定时，所以乘员可以更适当地得知行动被切换的定时。
(4)变动显示条上显示的指示点的、距端部的长度根据本车辆V1与注意对象的位置进行设定，所以在注意对象成为切换本车辆V1的行动的触发的情况下，因为可以与注意对象的相对的位置关系匹配地显示行动被切换的定时，所以乘员可以更适当地得知行动被切换的定时。
(5)因为使变动显示条运动与注意对象的移动方向相对应，所以在注意对象成为切换本车辆V1的行动的触发的情况下，可以与注意对象的移动方向匹配地显示切换的定时，所以乘员可以更适当地得知行动被切换的定时。
(6)因为使变动显示条的运动的方向与注意对象的移动方向一致，所以对于注意对象的移动方向可以无不适感地观察变动显示条的显示，所以乘员可以更适当地得知行动被切换的定时。
(7)因为使变动显示条的端部位置与注意对象的位置一致，所以可以使注意对象和变动显示条的显示容易地对应，所以乘员可以更适当地得知行动被切换的定时。
(8)通过将变动显示条渐变显示，可以将注意对象的当前位置在固定的范围内模糊地显示，即使在注意对象的移动中产生了变动的情况下，乘员可以适当地得知行动被切换的定时。
而且，在本实施方式的行动被切换的定时中，包含车辆出发的定时、车辆停车的定时、开始加速的定时、开始减速的定时、转向角变速的定时、转向角的角速度变化的定时、开始左右转弯的定时、结束左右转弯的定时、开始车道变更的定时、结束车道变更的定时等，只要是车辆的行动、行为变化的定时就包含在内。
以上，记载了本发明的实施方式，但是不应理解构成本公开的一部分的论述以及附图限定本发明。对于本领域的技术人员来说，从本公开明了各种代替实施的方式、实施例以及运用技术。
标号说明
1 显示控制器
2 显示器
3 地图数据库
4 GPS 装置
5 LRF
6 摄像机
7 转向角传感器
8 车速传感器
11 场景确定电路
12 端点设定电路
13 障碍物位置检测电路
14 变动显示条描绘电路
15 显示电路
16 图像合成电路

Claims (11)

1.一种周围状况的显示方法，其特征在于，
检测具有自动驾驶功能的本车辆的相邻车道上的后方的注意对象，
在显示器上显示所述本车辆和检测到的所述注意对象，
在所述显示器上显示具有规定的显示框的变动显示条，
在所述显示器上，将所述本车辆的后端位置设为所述变动显示条的端点，
使该显示框内的指示位置与所述注意对象的运动的方向上的所述注意对象的端部的位置在所述运动的方向中一致，从而与所述注意对象的运动联动来显示，
在所述本车辆进入所述注意对象的后方的情况下，将从所述指示位置至所述本车辆的所述后端位置为止的区域着色，
在所述变动显示条中，将所述指示位置移动到所述变动显示条的端点为止的时刻，显示作为通过所述自动驾驶功能切换本车辆的行动的定时。
2.如权利要求1所述的周围状况的显示方法，其特征在于，
将所述变动显示条的指示位置渐变显示。
3.一种周围状况的显示方法，其特征在于，
检测具有自动驾驶功能的本车辆的前方的注意对象，
在显示器上显示所述本车辆和检测到的所述注意对象，
在所述显示器上显示具有规定的显示框的变动显示条，
在所述显示器上，将所述本车辆的位置设为所述变动显示条的端点，
使该显示框内的指示位置与所述注意对象的运动的方向上的所述注意对象的端部的位置在所述运动的方向中一致，从而与所述注意对象的运动联动来显示，
在所述本车辆等待所述注意对象的通过的情况下，将从所述指示位置至所述本车辆的所述位置为止的区域着色，
在所述变动显示条中，将所述指示位置移动到所述变动显示条的端点为止的时刻，显示作为通过所述自动驾驶功能切换本车辆的行动的定时。
4.一种周围状况的显示方法，其特征在于，
检测具有自动驾驶功能的本车辆的前方的注意对象，
在显示器上显示所述本车辆和检测到的所述注意对象，
在所述显示器上显示具有规定的显示框的变动显示条，
在所述显示器上，将所述本车辆的前端位置设为所述变动显示条的端点，
使该显示框内的指示位置与所述注意对象的运动的方向上的所述注意对象的端部的位置在所述运动的方向中一致，从而与所述注意对象的运动联动来显示，
在所述本车辆等待所述注意对象的通过的情况下，将从所述指示位置至所述本车辆的所述前端位置为止的区域着色，
在所述变动显示条中，将所述指示位置移动到所述变动显示条的端点为止的时刻，显示作为通过所述自动驾驶功能切换本车辆的行动的定时。
5.如权利要求1、3、4的任意一项所述的周围状况的显示方法，其特征在于，
根据所述本车辆与所述注意对象的相对距离，使所述显示框内的指示位置变动。
6.如权利要求1、3、4的任意一项所述的周围状况的显示方法，其特征在于，
根据所述本车辆与所述注意对象的位置，设定从所述变动显示条的一方的端部至所述指示位置为止的长度。
7.如权利要求1、3、4的任意一项所述的周围状况的显示方法，其特征在于，
使所述变动显示条的运动与所述注意对象的移动方向对应。
8.如权利要求7所述的周围状况的显示方法，其特征在于，
使所述变动显示条的运动的方向与所述注意对象的移动方向一致。
9.一种周围状况的显示装置，其特征在于，
检测具有自动驾驶功能的本车辆的相邻车道上的后方的注意对象，
在显示器上显示所述本车辆和检测到的所述注意对象，
所述显示装置具有所述显示器，在所述显示器上显示具有规定的显示框的变动显示条，
在所述显示器上，将所述本车辆的后端位置设为所述变动显示条的端点，
使该显示框内的指示位置与所述注意对象的运动的方向上的所述注意对象的端部的位置在所述运动的方向中一致，从而与所述注意对象的运动联动来显示，
并且在所述本车辆进入所述注意对象的后方的情况下，将从所述指示位置至所述本车辆的所述后端位置为止的区域着色的变动显示条中，将所述指示位置移动到所述变动显示条的端点为止的时刻，显示作为通过所述自动驾驶功能切换本车辆的行动的定时。
10.一种周围状况的显示装置，其特征在于，
检测具有自动驾驶功能的本车辆的前方的注意对象，
在显示器上显示所述本车辆和检测到的所述注意对象，
所述显示装置具有所述显示器，在所述显示器上显示具有规定的显示框的变动显示条，
在所述显示器上，将所述本车辆的位置设为所述变动显示条的端点，
使该显示框内的指示位置与所述注意对象的运动的方向上的所述注意对象的端部的位置在所述运动的方向中一致，从而与所述注意对象的运动联动来显示，
并且在所述本车辆等待所述注意对象的通过的情况下，将从所述指示位置至所述本车辆的所述位置为止的区域着色的所述变动显示条中，将所述指示位置移动到所述变动显示条的端点为止的时刻，显示作为通过所述自动驾驶功能切换本车辆的行动的定时。
11.一种周围状况的显示装置，其特征在于，
检测具有自动驾驶功能的本车辆的前方的注意对象，
在显示器上显示所述本车辆和检测到的所述注意对象，
所述显示装置具有所述显示器，在所述显示器上显示具有规定的显示框的变动显示条，
在所述显示器上，将所述本车辆的前端位置设为所述变动显示条的端点，
使该显示框内的指示位置与所述注意对象的运动的方向上的所述注意对象的端部的位置在所述运动的方向中一致，从而与所述注意对象的运动联动来显示，
并且在所述本车辆等待所述注意对象的通过的情况下，将从所述指示位置至所述本车辆的所述前端位置为止的区域着色的所述变动显示条中，将所述指示位置移动到所述变动显示条的端点为止的时刻，显示作为通过所述自动驾驶功能切换本车辆的行动的定时。
CN201780093521.8A 2017-07-28 2017-07-28 周围状况的显示方法以及显示装置 Active CN111183466B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/027444 WO2019021458A1 (ja) 2017-07-28 2017-07-28 周囲状況の表示方法及び表示装置

Publications (2)

Publication Number Publication Date
CN111183466A CN111183466A (zh) 2020-05-19
CN111183466B true CN111183466B (zh) 2023-06-09

Family

ID=65039547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780093521.8A Active CN111183466B (zh) 2017-07-28 2017-07-28 周围状况的显示方法以及显示装置

Country Status (9)

Country Link
US (1) US11338824B2 (zh)
EP (1) EP3660811B1 (zh)
JP (1) JP6819786B2 (zh)
KR (1) KR102303362B1 (zh)
CN (1) CN111183466B (zh)
BR (1) BR112020001742A2 (zh)
CA (1) CA3071091A1 (zh)
RU (1) RU2737645C1 (zh)
WO (1) WO2019021458A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018204500A1 (de) * 2018-03-23 2019-09-26 Continental Automotive Gmbh System zur Erzeugung von Konfidenzwerten im Backend
JP7059975B2 (ja) * 2019-04-01 2022-04-26 株式会社デンソー 表示制御装置及び表示制御プログラム

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1576790A (zh) * 2003-07-30 2005-02-09 日本先锋公司 交通状况报知设备及其系统、方法、程序和记录介质
CN1865849A (zh) * 2005-05-20 2006-11-22 日产自动车株式会社 影像显示装置及影像显示方法
JP2007170864A (ja) * 2005-12-19 2007-07-05 Fujitsu Ten Ltd 車両走行支援装置，交通指示機の通行／停止指示状態予測方法および待ち時間予測方法ならびに車両走行支援システム
CN102265317A (zh) * 2008-12-26 2011-11-30 丰田自动车株式会社 驾驶辅助装置
CN104221066A (zh) * 2012-03-30 2014-12-17 丰田自动车株式会社 驾驶辅助装置
JP2015011458A (ja) * 2013-06-27 2015-01-19 株式会社デンソー 車両用情報提供装置
WO2015056427A1 (ja) * 2013-10-15 2015-04-23 株式会社デンソー 運転支援装置
CN104658293A (zh) * 2015-01-14 2015-05-27 张宏 车辆安全行驶预警系统
CN105091896A (zh) * 2015-08-06 2015-11-25 平安科技（深圳）有限公司 驾驶行为提醒方法、车辆及电子设备
WO2016092825A1 (ja) * 2014-12-12 2016-06-16 株式会社デンソー 車両用表示制御装置及び車両用表示制御方法
CN106029449A (zh) * 2014-02-14 2016-10-12 丰田自动车株式会社 驾驶辅助装置和方法
CN106323309A (zh) * 2015-06-30 2017-01-11 Lg电子株式会社 车辆驾驶辅助装置、车辆用显示装置以及车辆
CN106379324A (zh) * 2016-09-12 2017-02-08 深圳市元征科技股份有限公司 车辆并道提示方法及装置
CN106470877A (zh) * 2014-07-01 2017-03-01 日产自动车株式会社 车辆用显示装置以及车辆用显示方法
CN106952489A (zh) * 2015-11-11 2017-07-14 丰田自动车株式会社 驾驶辅助装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0670835B2 (ja) * 1987-11-06 1994-09-07 アルパイン株式会社 進行方向切替予告方法
JP4201155B2 (ja) * 2000-11-22 2008-12-24 道弘 観音寺 車間距離警報装置
JP3835681B2 (ja) * 2001-11-19 2006-10-18 マツダ株式会社 車両用走行支援装置
JP2007024599A (ja) * 2005-07-13 2007-02-01 Denso Corp 車載ナビゲーション装置
JP4774849B2 (ja) * 2005-07-27 2011-09-14 日産自動車株式会社 車両の障害物表示装置
JP2007176244A (ja) * 2005-12-27 2007-07-12 Aisin Seiki Co Ltd 駐車支援装置
JP4760517B2 (ja) * 2006-05-09 2011-08-31 住友電気工業株式会社 車両減速判定システム、車載装置、路側装置、コンピュータプログラム及び車両減速判定方法
JP2011103080A (ja) * 2009-11-11 2011-05-26 Fuji Heavy Ind Ltd 車両情報提示装置
CN202080195U (zh) * 2011-03-28 2011-12-21 刘熙来 汽车智能传感电子后视装置
EP2711909B1 (en) * 2011-05-20 2018-07-18 Honda Motor Co., Ltd. Lane change assistant information visualization system
JP5664790B2 (ja) * 2011-08-26 2015-02-04 トヨタ自動車株式会社 運転支援装置及び運転支援方法
JP6390323B2 (ja) * 2014-02-24 2018-09-19 日本精機株式会社 車両用情報提供装置
JP6537780B2 (ja) * 2014-04-09 2019-07-03 日立オートモティブシステムズ株式会社 走行制御装置、車載用表示装置、及び走行制御システム
JP6206378B2 (ja) * 2014-11-21 2017-10-04 トヨタ自動車株式会社 運転支援装置
JP6298772B2 (ja) 2015-01-14 2018-03-20 日立オートモティブシステムズ株式会社 車載用制御装置、自車位置姿勢特定装置、車載用表示装置
JP2016199204A (ja) * 2015-04-14 2016-12-01 トヨタ自動車株式会社 車両制御装置
WO2017064798A1 (ja) * 2015-10-15 2017-04-20 日産自動車株式会社 車線変更情報の提示制御方法および提示装置
JP6519435B2 (ja) * 2015-10-16 2019-05-29 株式会社デンソー 報知管理装置及び報知管理方法
JP6540453B2 (ja) * 2015-10-28 2019-07-10 株式会社デンソー 情報提示システム

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1576790A (zh) * 2003-07-30 2005-02-09 日本先锋公司 交通状况报知设备及其系统、方法、程序和记录介质
CN1865849A (zh) * 2005-05-20 2006-11-22 日产自动车株式会社 影像显示装置及影像显示方法
JP2007170864A (ja) * 2005-12-19 2007-07-05 Fujitsu Ten Ltd 車両走行支援装置，交通指示機の通行／停止指示状態予測方法および待ち時間予測方法ならびに車両走行支援システム
CN102265317A (zh) * 2008-12-26 2011-11-30 丰田自动车株式会社 驾驶辅助装置
CN104221066A (zh) * 2012-03-30 2014-12-17 丰田自动车株式会社 驾驶辅助装置
JP2015011458A (ja) * 2013-06-27 2015-01-19 株式会社デンソー 車両用情報提供装置
WO2015056427A1 (ja) * 2013-10-15 2015-04-23 株式会社デンソー 運転支援装置
CN106029449A (zh) * 2014-02-14 2016-10-12 丰田自动车株式会社 驾驶辅助装置和方法
CN106470877A (zh) * 2014-07-01 2017-03-01 日产自动车株式会社 车辆用显示装置以及车辆用显示方法
WO2016092825A1 (ja) * 2014-12-12 2016-06-16 株式会社デンソー 車両用表示制御装置及び車両用表示制御方法
CN104658293A (zh) * 2015-01-14 2015-05-27 张宏 车辆安全行驶预警系统
CN106323309A (zh) * 2015-06-30 2017-01-11 Lg电子株式会社 车辆驾驶辅助装置、车辆用显示装置以及车辆
CN105091896A (zh) * 2015-08-06 2015-11-25 平安科技（深圳）有限公司 驾驶行为提醒方法、车辆及电子设备
CN106952489A (zh) * 2015-11-11 2017-07-14 丰田自动车株式会社 驾驶辅助装置
CN106379324A (zh) * 2016-09-12 2017-02-08 深圳市元征科技股份有限公司 车辆并道提示方法及装置

Also Published As

Publication number Publication date
CN111183466A (zh) 2020-05-19
JPWO2019021458A1 (ja) 2020-09-03
BR112020001742A2 (pt) 2020-07-21
EP3660811B1 (en) 2023-07-19
EP3660811A4 (en) 2020-08-05
US11338824B2 (en) 2022-05-24
RU2737645C1 (ru) 2020-12-01
JP6819786B2 (ja) 2021-01-27
KR20200026287A (ko) 2020-03-10
WO2019021458A1 (ja) 2019-01-31
KR102303362B1 (ko) 2021-09-23
EP3660811A1 (en) 2020-06-03
CA3071091A1 (en) 2019-01-31
US20200353948A1 (en) 2020-11-12

Similar Documents

Publication Publication Date Title
JP6725568B2 (ja) 車両制御装置、車両、車両制御方法およびプログラム
JP6566132B2 (ja) 物体検出方法及び物体検出装置
EP3950448B1 (en) Vehicle control method and vehicle control device
JP6680136B2 (ja) 車外表示処理装置及び車外表示システム
US20220130296A1 (en) Display control device and display control program product
JP6744064B2 (ja) 自動車用画像表示システム
JP7039940B2 (ja) 車両制御装置
JP2017102519A (ja) 運転支援装置
US20190135169A1 (en) Vehicle communication system using projected light
CN110497919B (zh) 自动车辆从自主模式转换到手动模式的物体位置历史回放
JP2015210644A (ja) 車両用表示システム
JP2020044988A (ja) 表示システム、表示方法、およびプログラム
US11850940B2 (en) Display control device and non-transitory computer-readable storage medium for display control on head-up display
CN111183466B (zh) 周围状况的显示方法以及显示装置
JP2016031603A (ja) 車両用表示システム
CN113401056A (zh) 显示控制装置、显示控制方法以及计算机可读取存储介质
JP7172730B2 (ja) 車両用表示制御装置、車両用表示制御方法、車両用表示制御プログラム
JP2020138609A (ja) 車両用表示制御装置、車両用表示制御方法、車両用表示制御プログラム
WO2024069690A1 (ja) 運転支援方法及び運転支援装置
WO2023194794A1 (ja) 情報提供装置及び情報提供方 法
WO2023194793A1 (ja) 情報提供装置及び情報提供方法
US20240085209A1 (en) Display control device and display control method
US20240109559A1 (en) Method and Control Device for the Situation-Dependent Determination of Observation Areas for Motor Vehicles Operated in an at Least Partially Autonomous Manner
WO2021015090A1 (ja) 制御装置
US20230064724A1 (en) Danger notification method, danger notification device, and non-transitory storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant