CN106233356A - 信息呈现装置以及信息呈现方法 - Google Patents

信息呈现装置以及信息呈现方法 Download PDF

Info

Publication number
CN106233356A
CN106233356A CN201480078131.XA CN201480078131A CN106233356A CN 106233356 A CN106233356 A CN 106233356A CN 201480078131 A CN201480078131 A CN 201480078131A CN 106233356 A CN106233356 A CN 106233356A
Authority
CN
China
Prior art keywords
information
behavior
beyond
driving
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480078131.XA
Other languages
English (en)
Other versions
CN106233356B (zh
Inventor
海老名亮彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of CN106233356A publication Critical patent/CN106233356A/zh
Application granted granted Critical
Publication of CN106233356B publication Critical patent/CN106233356B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0059Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097Predicting future conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/082Selecting or switching between different modes of propelling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0053Handover processes from vehicle to occupant
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0057Estimation of the time available or required for the handover
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/20Data confidence level

Abstract

信息呈现装置(100)包括:计算自动驾驶控制的系统自信度的系统自信度计算单元(13);对驾驶员呈现与是否可以进行驾驶以外的行为有关的信息的信息呈现单元(15);以及根据由系统自信度计算单元算出的系统自信度进行控制,以切换在信息呈现单元上呈现的信息的内容的信息呈现控制单元(14)。

Description

信息呈现装置以及信息呈现方法
技术领域
本发明涉及信息呈现装置以及信息呈现方法。
背景技术
以往,已知能够根据驾驶员的状态变更警报的输出定时的防止瞌睡装置以及方法(参照专利文献1)。在专利文献1中,在驾驶员的眼睛闭合的时间为第1阈值以上的情况下,将在检测到碰撞危险状态时输出的警报以比通常模式时早的定时输出。
现有技术文献
专利文献
专利文献1:日本专利特开2008-181327号
发明内容
但是,专利文献1是与驾驶员的防止瞌睡有关的技术,不是在自动地进行车辆的行驶控制的自动驾驶控制中,根据驾驶员有陷入的可能性的驾驶以外的行为来输出警报的技术。
本发明,是鉴于上述课题而完成的,目的是提供驾驶员感到的对于自动驾驶控制的放心感以及信赖感提高的信息呈现装置以及信息呈现方法。
本发明的一个方式的信息呈现装置包括:计算自动驾驶控制的系统自信度的系统自信度计算单元;将与可否进行驾驶以外的行为有关的信息对驾驶员呈现的信息呈现单元;根据由系统自信度计算单元算出的系统自信度进行控制,以切换在信息呈现单元上呈现的信息的内容的信息呈现控制单元。
附图说明
图1是表示实施方式的信息呈现装置100的结构的方框图。
图2(a)是表示传感器检测率和系统自信系数Sa的关系的一例的曲线图,图2(b)是表示CPU负载率和系统自信系数Sb的关系的一例的曲线图,图2(c)是表示轨迹目标值运算结果的准确率和系统自信系数Sc的关系的一例的曲线图。
图3是表示在图1的移交时间数据库17中存储的、每次驾驶以外的行为的移交时间TT的一例,是表示驾驶员可以进行的驾驶以外的行为的图。
图4是说明根据到达时间TR,挑选驾驶员可以进行的驾驶以外的行为的类型而对驾驶员呈现的信息呈现控制单元14的动作的图。
图5(a)是表示按照图4所示的到达时间TR挑选的、驾驶员可进行的驾驶以外的行为的显示例的图,图5(b)是表示按照图9所示的到达时间TR挑选的、驾驶员不可进行的驾驶以外的行为的显示例的图。
图6是表示在车厢内配置的信息呈现单元15的例子的外观图。
图7是表示使用了图1的信息呈现装置100的信息呈现方法的一例的流程图。
图8是表示第2实施方式的每一个驾驶以外的行为的移交时间TT的一例,是表示驾驶员不可进行的驾驶以外的行为的图。
图9是说明根据到达时间TR,挑选驾驶员不可进行的驾驶以外的行为的类型而对驾驶员呈现的信息呈现控制单元14的动作的图。
图10是表示第2实施方式的信息呈现方法的一例的流程图。
具体实施方式
以下,根据多个附图说明本发明的实施方式。对同一部件附加同一标号而省略再次的说明。
(第1实施方式)
[信息呈现装置的结构]
参照图1,说明第1实施方式的信息呈现装置100的结构。信息呈现装置100可以适用于可根据车辆的行驶状态以及车辆外部的状况,切换自动地进行车辆的行驶控制的自动驾驶控制、和驾驶员进行的手动驾驶控制的自动行驶车辆。在自动驾驶控制中,信息呈现装置100对驾驶员呈现与可否进行驾驶以外的行为有关的信息。
第1实施方式的信息呈现装置100呈现表示在自动驾驶控制中驾驶员可进行的驾驶以外的行为的信息。在驾驶以外的行为中预先决定多个类型。信息呈现装置100仅显示根据在自动驾驶控制中使用的控制系统以及车辆的周边环境而决定的、驾驶员可进行的类型。
例如,在不需要从自动驾驶控制向手动驾驶控制的切换的情况下,信息呈现装置100将全部的类型作为驾驶员可进行的驾驶以外的行为呈现给驾驶员。另一方面,在需要从自动驾驶控制向手动驾驶控制的切换的情况下,仅显示根据切换的紧急度决定的、驾驶员可进行的类型。
具体地说,图1所示的信息呈现装置100包括:周围风险检测单元11;微控制器12;以及信息呈现单元15。
周围风险检测单元11检测位于车辆的周边的、妨碍自动驾驶控制的要因作为周围风险。具体地说,周围风险检测单元11检测自动驾驶控制中的车辆被预想为不能继续自动驾驶控制的地图上的位置、或者成为不能继续自动驾驶控制的原因的障碍物。例如,周围风险检测单元11使用来自安装在车辆上的摄像机、激光雷达或者红外线传感器的传感器信息、或者GPS信息,检测在车辆行驶的车道上泊车的其它车辆、堵塞区间、或者闯入车辆行驶的车道的、或者有闯入的担忧的行人作为周围风险。
信息呈现单元15将与可否进行驾驶以外的行为有关的信息对驾驶员呈现。具体地说,如图6所示,信息呈现单元15是在仪表板32具有的显示器(21a、21b),在显示器(21a、21b)上,将后述的图3所示的图标的图像作为与可否进行驾驶以外的行为有关的信息进行显示。当然,信息呈现单元15也可以在挡风玻璃33或车内反光镜34的一部分上显示与驾驶以外的行为有关的信息。
微控制器12包括:CPU、存储器、以及输入输出单元。CPU通过执行预先安装的计算机程序,构成信息呈现装置100具有的多个信息处理单元。在由微控制器12构成的信息处理单元中包含到达时间计算单元18、系统自信度计算单元13和信息呈现控制单元14。微控制器12具有的存储器的一部分构成移交时间数据库17(数据存储单元)。而且,微控制器12也可以与车辆有关的其它控制(例如,自动驾驶控制)中使用的ECU兼用。
到达时间计算单元18计算直至车辆到达由周围风险检测单元11检测到的周围风险为止的到达时间TR。到达时间TR是从车辆的当前位置至到达周围风险为止的预想时间。由此,在到达时间计算单元18中输入与周围风险以及车辆的当前位置有关的信息,从这些信息运算到达时间TR。与周围风险有关的信息从周围风险检测单元11输入,与车辆的当前位置有关的信息从车载的导航系统输入。而且,周围风险检测单元11以及到达时间计算单元18构成估计车辆到达周围风险为止的到达时间的到达估计单元16。
例如,到达时间计算单元18按照(1)式运算到达时间TR。OBD表示从车辆至障碍物(其它车辆、行人等)的距离,LDD表示车辆从道路离开的距离,VLD表示至汽车专用道路的结束位置的距离,VL表示车辆的速度,TTC表示对于在前方行驶的其它车辆的碰撞余量时间(Time to Collision)。L1、L2、L3是与车辆的行驶状况(车辆的速度以及路面摩擦系数)以及车辆的种类相应变化的系数。例如,在从高速道路的收费站切换至手动驾驶的情况下,高速公路的结束位置表示收费站或者从收费站起前方规定的距离的位置。“Min”表示在之后接续的括弧内的数值中最小的数值。
T R = M i n { M i n ( L 1 × O B D , L 2 × L D D , L 3 × V L D ) V L , T T C } ... ( 1 )
系统自信度计算单元13由传感器检测率、CPU负载率、以及轨迹目标值运算结果的准确率中的至少1个,计算表示在自动驾驶控制中使用的控制系统的状态的系统自信度。
传感器检测率是当前的传感器能力相对传感器的最大能力的比例。传感器是在自动驾驶控制中使用的以车内外为测量对象的传感器。例如,在将从车辆前方最大200m作为检测范围的传感器仅能检测直至前方100m的情况下,传感器检测率为0.5。系统自信度计算单元13参照图2(a)所示的数据,由传感器检测率计算系统自信系数Sa。
CPU负载率是当前的运算处理能力相对CPU的最大运算处理能力的比例。CPU是用于自动驾驶控制的运算处理装置。系统自信度计算单元13参照图2(b)所示的数据,由CPU负载率计算系统自信系数Sb。
轨迹目标值运算结果的准确率表示自动驾驶控制的行驶轨迹相对导航系统表示的道路(目标值)的一致程度。例如,若由于夜间、坏天气(雨、强风)行驶轨迹从目标值较大地偏离,则准确率变小。另一方面,在白天,若行驶轨迹不大偏离目标值,则准确率变大。系统自信度计算单元13参照图2(c)所示的数据,由轨迹目标值运算结果的准确率计算系统自信系数Sc。
而且,系统自信系数(Sa、Sb、Sc)从规定的正数(下限值)至1之间间变动。图2(a)~图2(c)所示的数据被存储在系统自信度计算单元13可访问的存储器中。传感器检测率或者轨迹目标值运算结果的准确率越高,系统自信系数(Sa、Sc)越大,CPU负载率越高,系统自信系数(Sb)越小。
如(2)式那样,系统自信度计算单元13通过将系统自信系数(Sa、Sb、Sc)相乘,计算系统自信度(S)。
S=Sa×Sb×Sc×100(%)···(2)
移交时间数据库17对每个驾驶以外的行为存储进行驾驶以外的行为的驾驶员为了移交车辆的行驶控制所需要的移交时间TT。具体地说,如图3所示,对于每个预定的多个类型(A1~A5),存储移交时间TT。
移交时间TT是从驾驶员注意到应停止驾驶以外的行为开始,至停止驾驶以外的行为,以便能够进行本车辆的行驶控制为止所需要的时间。例如,从两手离开了方向盘的状态开始,至用两手握住方向盘为止,约所需要1秒左右。从将视点固定在便携终端装置等的状态至将视线朝向车辆的前方为止,约需要1秒左右。移交时间数据库17从身体的观点出发,对于每个驾驶以外的行为存储移交时间。
在图3的类型A1中使用视觉以及听觉,但不使用手(触觉)、嗅觉、味觉等感觉器官的行为,例如,视听车厢内设置的电视的行为属于类型A1。类型A1不使用手(触觉),也不伴随说话动作,所以在全部的类型(A1~A5)中被设定最短的移交时间。使用免提的头戴设备与其他人进行会话的行为,例如,打电话的行为、以及使用可穿戴终端等抬头显示器的行为属于类型A2。类型A2因为虽然不使用手(触觉),但还伴随说话的动作,所以设定次于类型A1的长的移交时间(TTa)。类型A3中包含使用视觉以及手(触觉)操作通信终端的行为,例如,包含上因特网,发邮件,打游戏的行为。类型A3因为使用手,所以设定次于类型A2的长的移交时间(TTb)。
读取用手拿着的书的行为属于类型A4。与其它的类型(A1~A3、A5)相比,读书的行为需要高度的集中力,所以设定次于类型A3的长的移交时间(TTc)。然后,使用手(触觉)、味觉、嗅觉的行为,即进行饮食的行为属于类型A5。为了从进行饮食的行为转移到驾驶行为,需要稳定饮食物以及餐具后置于车内,所以在全部的类型(A1~A5)中设定最长的移交时间(TTd)。而且,类型A1的移交时间,与到达时间的下限值(TRLL)相等。到达时间TR的上限值被设定为比移交时间(TTd)还长的值。而且,这里所述的类型(A1~A5)与移交时间TT的关系是一个例子,也可以根据与人的感觉器官不同的基准设定类型,也可以即使是相同的类型(A1~A5)也设定与图3不同的移交时间TT的顺序。
信息呈现控制单元14根据由到达估计单元16估计的到达时间TR、以及由系统自信度计算单元13算出的系统自信度S进行控制,以切换在信息呈现单元15上呈现的信息的内容。
具体地说,系统自信度S小于规定的阈值(Slimit)的情况下,从自动驾驶控制转移到手动驾驶控制的可能性高。由此,为了使驾驶员注意向手动驾驶的转移,信息呈现控制单元14对驾驶员呈现没有驾驶员可进行的驾驶以外的行为。另一方面,在系统自信度S为规定的阈值(Slimit)以上的情况下,从自动驾驶控制转移到手动驾驶控制的可能性低。由此,根据到达时间TR,挑选驾驶员可进行的驾驶以外的行为并呈现给驾驶员。例如,通过比较由到达时间计算单元18算出的到达时间TR和移交时间数据库17中存储的移交时间TT,决定驾驶员可进行的驾驶以外的行为。
信息呈现控制单元14使信息呈现单元15呈现表示移交时间TT为到达时间TR以下的驾驶以外的行为的信息,作为表示驾驶员可进行的驾驶以外的行为的信息。例如,如图4所示,在到达时间TR为移交时间TTc以上且移交时间TTd以下的情况下,移交时间TT为到达时间TR以下的驾驶以外的行为是属于类型A1~类型A4的行为。由此,使图4的类型A1~类型A4所示的图标的图像显示在信息呈现单元15上,作为表示驾驶员可进行的驾驶以外的行为的信息。例如,将罗列了图5(a)所示的多个图标的图像显示在图6的显示器(21a、21b)、挡风玻璃33、或者车内反光镜34上即可。通过看图标的图像,通过驾驶员可进行的驾驶以外的行为,驾驶员可以明白用于自动驾驶控制的系统的状态。
[信息呈现装置100的动作]
接着,参照图7,说明使用了图1的信息呈现装置100的信息呈现方法的一例。图7的流程图以微控制器确定的规定的周期被反复实施。
在步骤S01中,系统自信度计算单元13按照(2)式,由传感器检测率、CPU负载率、以及轨迹目标值运算结果的准确率计算系统自信度S。在步骤S03中,信息呈现控制单元14判断系统自信度S是否大于规定的阈值(Slimit)。
在系统自信度S大于规定的阈值(Slimit)的情况下(S03中为“是”),可以判断在系统的状态中有余量,从自动驾驶控制转移到手动驾驶控制的可能性低。因此,进至步骤S05,到达时间计算单元18计算直至车辆到达由周围风险检测单元11检测到的周围风险为止的到达时间TR。然后,进至步骤S07,信息呈现控制单元14使信息呈现单元15显示表示移交时间TT为到达时间TR以下的类型(A1~A5)的图标的图像。而且,在周围风险检测单元11不能检测周围风险的情况下,判断为周围风险不存在,设定到达时间的上限值(TRLL)。由此,在信息呈现单元15上显示的图像中,包含表示全部的类型(A1~A5)的图标。
另一方面,在系统自信度S为规定的阈值(Slimit)以下的情况下(S03中为“否”),系统的状态中没有余量,可以判断从自动驾驶控制转移到手动驾驶控制的可能性高。因此,进至步骤S09,信息呈现控制单元14将到达时间TR设定为下限值(TRLL)。由此,因为移交时间TT为到达时间(TRLL)以下的类型(A1~A5)不存在,所以表示驾驶员可进行的驾驶以外的行为的图标的图像不被显示(S11)。由此,可以对驾驶员广播没有驾驶员可进行的驾驶以外的行为。
如以上说明的那样,按照第1实施方式,得到以下的作用效果。
信息呈现控制单元14根据由系统自信度计算单元13算出的系统自信度S进行控制,以切换在信息呈现单元15上呈现的信息的内容。由此,驾驶员可以通过驾驶员有可能陷入的驾驶以外的行为了解用于自动驾驶控制的系统的状态。由此,减轻驾驶员对于自动驾驶的监视负担,驾驶员感到的对于自动驾驶控制的放心感以及信赖感提高。
信息呈现控制单元14使信息呈现单元15呈现表示驾驶员可进行的驾驶以外的行为的信息,作为与可否进行驾驶以外的行为有关的信息。由此,驾驶员可以通过驾驶员可进行的驾驶以外的行为了解用于自动驾驶控制的系统的状态。
系统自信度计算单元13根据自动驾驶控制使用的传感器的检测率、自动驾驶控制中使用的运算处理装置的负载率、以及轨迹目标值运算结果的准确率中的至少一个,计算系统自信度S。由此,可以正确地求自动驾驶控制中使用的控制系统的状态。
通过比较由到达估计单元16估计的到达时间TR和移交时间数据库17中存储的移交时间TT,信息呈现控制单元14决定对驾驶员呈现的信息。进行被呈现的驾驶以外的行为的驾驶员在从自动驾驶控制切换到手动驾驶控制之前,驾驶员可以移交车辆的行驶控制。由此,驾驶员感到的对于自动驾驶控制的放心感以及信赖感提高。
信息呈现控制单元14使信息呈现单元15呈现表示移交时间TT为到达时间TR以下的驾驶以外的行为的信息,作为表示驾驶员可进行的驾驶以外的行为的信息。进行移交时间TT为到达时间TR以下的驾驶以外的行为的驾驶员在从自动驾驶控制切换到手动驾驶控制之前,可以移交车辆的行驶控制。
(第2实施方式)
图1的信息呈现装置100也可以根据到达时间TR、以及系统自信度S呈现驾驶员不能进行的驾驶以外的行为,取代驾驶员可进行的驾驶以外的行为。
在第2实施方式中,信息呈现控制单元14使信息呈现单元15呈现表示驾驶员不能进行的驾驶以外的行为的信息,作为与可否进行驾驶以外的行为有关的信息。具体地说,信息呈现控制单元14使信息呈现单元15呈现表示移交时间TT长于到达时间TR的驾驶以外的行为的信息,作为表示驾驶员不能进行的驾驶以外的行为的信息。
如图8所示,信息呈现单元15显示的图标的图像是在图3的图标上重叠了表示禁止的标记的图像。即,通过对于表示驾驶以外的行为的图标重叠表示禁止的标记,成为表示驾驶员不能进行的驾驶以外的行为的图标。其中,在移交时间数据库17中存储的每一个驾驶以外的行为的移交时间TT也可以仍为图3那样。而且,属于各类型(B1~B5)的驾驶以外的行为也可以是与图3的类型(A1~A5)的驾驶以外的行为相同。
在系统自信度S小于规定的阈值(Slimit)的情况下,从自动驾驶控制转移到手动驾驶控制的可能性高。由此,为了使驾驶员注意至手动驾驶的转移,信息呈现控制单元14对驾驶员呈现不能进行属于全部的类型(B1~B5)的驾驶以外的行为。另一方面,在系统自信度S为规定的阈值(Slimit)以上的情况下,从自动驾驶控制转移到手动驾驶控制的可能性低。由此,根据到达时间TR,挑选驾驶员不能进行的驾驶以外的行为并对驾驶员呈现。例如,通过比较由到达时间计算单元18算出的到达时间TR和移交时间数据库17中存储的移交时间TT,决定驾驶员不能进行的驾驶以外的行为。
信息呈现控制单元14使信息呈现单元15呈现表示移交时间TT长于到达时间TR的驾驶以外的行为的信息,作为表示驾驶员不能进行的驾驶以外的行为的信息。例如,如图9所示,在到达时间TR为移交时间TTc以上移交时间TTd以下的情况下,移交时间TT长于到达时间TR的驾驶以外的行为是属于类型B5的行为。由此,使信息呈现单元15显示图9的类型B5所示的图标的图像,作为表示驾驶员不能进行的驾驶以外的行为的信息。例如,将图5(b)所示的那样的类型B5中表示的图标的图像显示在图6的显示器(21a、21b)、挡风玻璃33、或者车内反光镜34上。驾驶员通过看图标的图像,通过驾驶员不能进行的驾驶以外的行为,可以容易地了解用于自动驾驶控制的系统的状态。
参照图10,说明第2实施方式中的信息呈现装置100的动作。在系统自信度S大于规定的阈值(Slimit)的情况下(S03中为“是”),在步骤S17中,信息呈现控制单元14使信息呈现单元15显示表示移交时间TT长于到达时间TR的类型(B1~B5)的图标的图像。而且,周围风险检测单元11在不能检测周围风险的情况下,判断为不存在周围风险,设定到达时间的上限值(TRLL)。由此,在信息呈现单元15上不显示表示驾驶员不能进行的驾驶以外的行为的图标的图像。
另一方面,系统自信度S为规定的阈值(Slimit)以下的情况下(S03中为“否”),在步骤S09中,信息呈现控制单元14将到达时间TR设定为下限值(TRLL)。由此,在信息呈现单元15上显示的图像中,包含表示全部的类型(B1~B5)的图标。由此,可以对驾驶员呈现禁止全部的驾驶以外的行为的情况(S19)。
上述以外的信息呈现装置100的结构以及动作与第1实施方式相同,省略说明。
信息呈现控制单元14使信息呈现单元15呈现表示驾驶员不能进行的驾驶以外的行为的信息,作为与可否进行驾驶以外的行为有关的信息。由此,驾驶员可以通过驾驶员不能进行的驾驶以外的行为,了解用于自动驾驶控制的系统的状态。
信息呈现控制单元14使信息呈现单元15呈现移交时间TT长于到达时间TR的驾驶以外的行为的信息,作为表示驾驶员不能进行的驾驶以外的行为的信息。如果不使信息呈现单元15上呈现驾驶员正在进行的驾驶以外的行为,则驾驶员可以在从自动驾驶控制切换到手动驾驶控制之前,移交车辆的行驶控制。
以上,按照实施例说明了本发明的内容,但是不言而喻本领域的技术人员明白本发明不限于这些记载,能够有各种变形以及改良。
例如,信息呈现控制单元14可以同时使信息呈现单元15呈现表示驾驶员可进行的驾驶以外的行为的信息、和表示驾驶员不能进行的驾驶以外的行为的信息。在该情况下,移交时间数据库17同时存储表示图3以及图8所示的类型(A1~A5)以及类型(B1~B5)的图标的图像。信息呈现控制单元14将移交时间TT为到达时间TR以下的驾驶以外的行为作为驾驶员可进行的驾驶以外的行为,显示表示类型(A1~A5)的图标的图像,并且,将移交时间TT长于到达时间TR的驾驶以外的行为作为驾驶员不能进行的驾驶以外的行为,显示表示类型(B1~B5)的图标的图像即可。
标号说明
13 系统自信度计算单元
14 信息呈现控制单元
15 信息呈现单元
16 到达估计单元
17 移交时间数据库(数据存储单元)

Claims (8)

1.一种信息呈现装置,用于可以根据车辆的行驶状态以及车辆外部的状况,切换自动地进行所述车辆的行驶控制的自动驾驶控制和驾驶员进行的手动驾驶控制的自动行驶车辆,其特征在于,包括:
系统自信度计算单元,计算所述自动驾驶控制的系统自信度;
信息呈现单元,对所述驾驶员呈现与是否可以进行驾驶以外的行为有关的信息;以及
信息呈现控制单元,根据由所述系统自信度计算单元算出的系统自信度进行控制,以切换在所述信息呈现单元上呈现的所述信息的内容。
2.如权利要求1所述的信息呈现装置,其特征在于,
所述信息呈现控制单元使所述信息呈现单元呈现表示驾驶员可进行的驾驶以外的行为的信息,作为与是否可以进行所述驾驶以外的行为有关的信息。
3.如权利要求1或2所述的信息呈现装置,其特征在于,
所述信息呈现控制单元使所述信息呈现单元呈现表示驾驶员不能进行的驾驶以外的行为的信息,作为与是否可以进行所述驾驶以外的行为有关的信息。
4.如权利要求1至3的任意一项所述的信息呈现装置,其特征在于,
所述系统自信度计算单元根据所述自动驾驶控制使用的传感器的检测率、用于所述自动驾驶控制的运算处理装置的负载率、以及轨迹目标值运算结果的准确率中的至少一个,计算所述系统自信度。
5.如权利要求1至4的任意一项所述的信息呈现装置,其特征在于,还包括:
到达估计单元,估计直至所述车辆到达周围风险为止的到达时间;以及
数据存储单元,对于每个所述驾驶以外的行为,存储正在进行驾驶以外的行为的所述驾驶员为了移交所述车辆的行驶控制所需要的移交时间,
所述信息呈现控制单元通过比较由所述到达估计单元估计的到达时间和所述数据存储单元中存储的移交时间,决定对所述驾驶员呈现的所述信息。
6.如权利要求5所述的信息呈现装置,其特征在于,
所述信息呈现控制单元使所述信息呈现单元呈现表示所述移交时间为所述到达时间以下的所述驾驶以外的行为的信息,作为表示所述驾驶员可进行的驾驶以外的行为的信息。
7.如权利要求5或6所述的信息呈现装置,其特征在于,
所述信息呈现控制单元使所述信息呈现单元呈现表示所述移交时间长于所述到达时间的所述驾驶以外的行为的信息,作为表示所述驾驶员不能进行的驾驶以外的行为的信息。
8.一种信息呈现方法,适用于自动行驶车辆,所述自动行驶车辆可以根据车辆的行驶状态以及车辆外部的状况,切换自动地进行所述车辆的行驶控制的自动驾驶控制和驾驶员进行的手动驾驶控制,所述方法包括以下步骤:
计算所述自动驾驶控制的系统自信度;
对所述驾驶员呈现与是否可以进行驾驶以外的行为有关的信息;以及
根据算出的系统自信度进行控制,以切换呈现的所述信息的内容。
CN201480078131.XA 2014-04-25 2014-04-25 信息呈现装置以及信息呈现方法 Active CN106233356B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/061732 WO2015162784A1 (ja) 2014-04-25 2014-04-25 情報呈示装置及び情報呈示方法

Publications (2)

Publication Number Publication Date
CN106233356A true CN106233356A (zh) 2016-12-14
CN106233356B CN106233356B (zh) 2018-11-13

Family

ID=54331971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480078131.XA Active CN106233356B (zh) 2014-04-25 2014-04-25 信息呈现装置以及信息呈现方法

Country Status (8)

Country Link
US (1) US10001777B2 (zh)
EP (1) EP3136366B1 (zh)
JP (1) JP6330903B2 (zh)
CN (1) CN106233356B (zh)
BR (1) BR112016024955B1 (zh)
MX (1) MX367069B (zh)
RU (1) RU2669501C2 (zh)
WO (1) WO2015162784A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107421752A (zh) * 2017-07-13 2017-12-01 同济大学 一种智能汽车测试场景加速重构方法
CN110235190A (zh) * 2017-01-31 2019-09-13 三菱电机株式会社 自动驾驶控制装置
CN110462699A (zh) * 2017-03-21 2019-11-15 株式会社电装 车辆用显示控制装置以及车辆用显示单元
CN110914883A (zh) * 2017-07-20 2020-03-24 日产自动车株式会社 车辆行驶控制方法及车辆行驶控制装置

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112014006588T5 (de) * 2014-04-14 2017-03-23 Mitsubishi Electric Corporation Anzeigesteuervorrichtung, Anzeigesteuerverfahren und Anzeigesteuerprogramm
JP6330601B2 (ja) * 2014-09-18 2018-05-30 株式会社デンソー 運転負荷推定装置、運転負荷推定方法
DE102015209476A1 (de) * 2015-05-22 2016-11-24 Robert Bosch Gmbh Systemgrenzen einer automatischen Steuerung
JP6439591B2 (ja) * 2015-05-31 2018-12-19 株式会社デンソー 走行制御装置、走行制御方法
JP2017024549A (ja) * 2015-07-22 2017-02-02 株式会社デンソー 自動運転用告知装置
CN108349505B (zh) * 2015-10-30 2021-02-09 三菱电机株式会社 车辆信息显示控制装置及自动驾驶信息的显示方法
JP6636337B2 (ja) * 2016-01-07 2020-01-29 株式会社デンソーアイティーラボラトリ 警報装置、警報方法、及びプログラム
US9989963B2 (en) 2016-02-25 2018-06-05 Ford Global Technologies, Llc Autonomous confidence control
JP6917708B2 (ja) * 2016-02-29 2021-08-11 株式会社デンソー 運転者監視システム
CN107179767B (zh) * 2016-03-10 2021-10-08 松下电器(美国)知识产权公司 驾驶控制装置、驾驶控制方法以及非瞬时性记录介质
JP6508095B2 (ja) 2016-03-11 2019-05-08 トヨタ自動車株式会社 車両の自動運転制御システム
US9581460B1 (en) 2016-03-29 2017-02-28 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method transitioning between driving states during navigation for highly automated vechicle
US20170329332A1 (en) * 2016-05-10 2017-11-16 Uber Technologies, Inc. Control system to adjust operation of an autonomous vehicle based on a probability of interference by a dynamic object
JP6778872B2 (ja) * 2016-06-28 2020-11-04 パナソニックIpマネジメント株式会社 運転支援装置及び運転支援方法
US10260898B2 (en) 2016-07-12 2019-04-16 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method of determining an optimized route for a highly automated vehicle
US9827811B1 (en) 2016-07-14 2017-11-28 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicular haptic feedback system and method
US10272783B2 (en) 2016-07-15 2019-04-30 Toyota Motor Engineering & Manufacturing North America, Inc. Driver and vehicle responsibility matrix
JP2018147247A (ja) * 2017-03-06 2018-09-20 オムロン株式会社 運転者身体コンディション回復支援装置、方法およびプログラム
US10795356B2 (en) * 2017-08-31 2020-10-06 Uatc, Llc Systems and methods for determining when to release control of an autonomous vehicle
DE102018207869A1 (de) * 2018-05-18 2019-11-21 Volkswagen Aktiengesellschaft Verfahren und System zur Bereitstellung einer Automatisierungsfunktion für ein Fahrzeug
JP7151495B2 (ja) 2019-01-16 2022-10-12 トヨタ自動車株式会社 自動運転システム
US11485368B2 (en) * 2019-06-27 2022-11-01 Intuition Robotics, Ltd. System and method for real-time customization of presentation features of a vehicle
US11618455B2 (en) * 2019-08-01 2023-04-04 Toyota Motor North America, Inc. Driving data used to improve infrastructure

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10309961A (ja) * 1997-05-12 1998-11-24 Toyota Motor Corp 自動走行車両制御装置
JPH11306490A (ja) * 1998-04-23 1999-11-05 Pub Works Res Inst Ministry Of Constr ダイナミックにチャネルを配分する車両通信システムおよび方法
EP1061340A2 (en) * 1999-06-07 2000-12-20 Kabushiki Kaisha Tokai-Rika-Denki-Seisakusho Vehicle-mounted display system and display method
JP2004314869A (ja) * 2003-04-18 2004-11-11 Toyota Motor Corp 情報提供装置
JP2007010441A (ja) * 2005-06-30 2007-01-18 Sanyo Electric Co Ltd ナビゲーション装置
EP2314489A1 (de) * 2009-10-22 2011-04-27 Audi AG Verfahren zur Steuerung des Betriebs eines vollautomatischen, zur unabhängigen Fahrzeugführung ausgebildeten Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug
CN102753417A (zh) * 2009-10-10 2012-10-24 戴姆勒股份公司 用于在无需使用者动作的自主驾驶运行中使汽车自动运行的方法和装置
DE102011055495A1 (de) * 2011-11-18 2013-05-23 Continental Teves Ag & Co. Ohg Verfahren zum Betrieb eines Fahrerassistenzsystems eines Fahrzeugs
CN103204166A (zh) * 2011-11-17 2013-07-17 通用汽车环球科技运作有限责任公司 用于闭环驾驶员注意力管理的系统和方法
WO2013171970A1 (ja) * 2012-05-18 2013-11-21 日産自動車株式会社 車両用走行支援装置
CN103538540A (zh) * 2012-06-22 2014-01-29 通用汽车环球科技运作有限责任公司 用于车辆的警告系统及方法
CN103661396A (zh) * 2012-08-30 2014-03-26 罗伯特·博世有限公司 交互式的注意力提高

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4400624B2 (ja) 2007-01-24 2010-01-20 トヨタ自動車株式会社 居眠り防止装置及び方法
DE102008043738A1 (de) * 2008-11-14 2010-05-20 Robert Bosch Gmbh Steuereinrichtung für ein Fahrzeug und Verfahren zur Einparkunterstützung
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
DE102012201513A1 (de) 2012-02-02 2013-08-08 Bayerische Motoren Werke Aktiengesellschaft Warneinrichtung in einem Kraftfahrzeug zum Warnen eines Fahrzeugführers
US8718861B1 (en) * 2012-04-11 2014-05-06 Google Inc. Determining when to drive autonomously
US8676431B1 (en) * 2013-03-12 2014-03-18 Google Inc. User interface for displaying object-based indications in an autonomous driving system

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10309961A (ja) * 1997-05-12 1998-11-24 Toyota Motor Corp 自動走行車両制御装置
JPH11306490A (ja) * 1998-04-23 1999-11-05 Pub Works Res Inst Ministry Of Constr ダイナミックにチャネルを配分する車両通信システムおよび方法
EP1061340A2 (en) * 1999-06-07 2000-12-20 Kabushiki Kaisha Tokai-Rika-Denki-Seisakusho Vehicle-mounted display system and display method
JP2004314869A (ja) * 2003-04-18 2004-11-11 Toyota Motor Corp 情報提供装置
JP2007010441A (ja) * 2005-06-30 2007-01-18 Sanyo Electric Co Ltd ナビゲーション装置
CN102753417A (zh) * 2009-10-10 2012-10-24 戴姆勒股份公司 用于在无需使用者动作的自主驾驶运行中使汽车自动运行的方法和装置
EP2314489A1 (de) * 2009-10-22 2011-04-27 Audi AG Verfahren zur Steuerung des Betriebs eines vollautomatischen, zur unabhängigen Fahrzeugführung ausgebildeten Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug
CN103204166A (zh) * 2011-11-17 2013-07-17 通用汽车环球科技运作有限责任公司 用于闭环驾驶员注意力管理的系统和方法
DE102011055495A1 (de) * 2011-11-18 2013-05-23 Continental Teves Ag & Co. Ohg Verfahren zum Betrieb eines Fahrerassistenzsystems eines Fahrzeugs
WO2013171970A1 (ja) * 2012-05-18 2013-11-21 日産自動車株式会社 車両用走行支援装置
CN103538540A (zh) * 2012-06-22 2014-01-29 通用汽车环球科技运作有限责任公司 用于车辆的警告系统及方法
CN103661396A (zh) * 2012-08-30 2014-03-26 罗伯特·博世有限公司 交互式的注意力提高

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110235190A (zh) * 2017-01-31 2019-09-13 三菱电机株式会社 自动驾驶控制装置
CN110462699A (zh) * 2017-03-21 2019-11-15 株式会社电装 车辆用显示控制装置以及车辆用显示单元
CN110462699B (zh) * 2017-03-21 2022-01-07 株式会社电装 车辆用显示控制装置以及车辆用显示单元
CN107421752A (zh) * 2017-07-13 2017-12-01 同济大学 一种智能汽车测试场景加速重构方法
CN107421752B (zh) * 2017-07-13 2019-06-11 同济大学 一种智能汽车测试场景加速重构方法
CN110914883A (zh) * 2017-07-20 2020-03-24 日产自动车株式会社 车辆行驶控制方法及车辆行驶控制装置
US11155274B2 (en) 2017-07-20 2021-10-26 Nissan Motor Co., Ltd. Vehicle travel control method and vehicle travel control device

Also Published As

Publication number Publication date
RU2669501C2 (ru) 2018-10-11
MX367069B (es) 2019-08-05
US20170038774A1 (en) 2017-02-09
US10001777B2 (en) 2018-06-19
RU2016145607A3 (zh) 2018-05-25
CN106233356B (zh) 2018-11-13
RU2016145607A (ru) 2018-05-25
WO2015162784A1 (ja) 2015-10-29
BR112016024955A2 (pt) 2017-08-15
EP3136366B1 (en) 2019-03-13
BR112016024955B1 (pt) 2022-01-04
JP6330903B2 (ja) 2018-05-30
EP3136366A1 (en) 2017-03-01
MX2016013762A (es) 2017-02-02
EP3136366A4 (en) 2017-05-17
JPWO2015162784A1 (ja) 2017-04-13

Similar Documents

Publication Publication Date Title
CN106233356A (zh) 信息呈现装置以及信息呈现方法
US7711485B2 (en) Merge support system
US20160101785A1 (en) Driving characteristics diagnosis device, driving characteristics diagnosis system, driving characteristics diagnosis method, information output device, and information output method
US10260898B2 (en) Apparatus and method of determining an optimized route for a highly automated vehicle
US20200286183A1 (en) Information processing apparatus, and information processing method, and program
US20100073503A1 (en) Image processing apparatus and image processing method
US20180229654A1 (en) Sensing application use while driving
US10282985B2 (en) Method and system for enabling a vehicle to discard non-pertinent road sign information
KR101601553B1 (ko) 차량의 주행 제어 시스템 및 주행 제어 시스템에서 속도 설정 모드를 변경하는 방법
CN112339622B (zh) 一种座椅的调整方法、装置及车载系统
US20210370954A1 (en) Monitoring and scoring passenger attention
CN112041201B (zh) 用于控制对车辆特征的访问的方法、系统和介质
JP6930274B2 (ja) デジタルサイネージ制御装置、デジタルサイネージ制御方法、プログラム、記録媒体
JP2019036048A (ja) 情報提供装置、情報提供方法、プログラム、記録媒体
US20190202291A1 (en) Vehicle operation system and non-transitory tangible computer readable storage medium
CN112141010B (zh) 一种控制方法、装置、电子设备及存储介质
US10676104B2 (en) Driving assist device
US11148684B2 (en) Vehicle control device
US11594201B2 (en) Vehicle, display method, and program
US20230134362A1 (en) Questionnaire apparatus, questionnaire method, and non-transitory computer-readable storage medium
JP2019096107A (ja) 運転支援装置
WO2024079942A1 (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
US10930250B2 (en) Information control apparatus
JP2024040363A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2021033318A (ja) 運転行動判定装置、方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant