CN110228407A - 显示系统以及车载系统 - Google Patents

显示系统以及车载系统 Download PDF

Info

Publication number
CN110228407A
CN110228407A CN201910161556.1A CN201910161556A CN110228407A CN 110228407 A CN110228407 A CN 110228407A CN 201910161556 A CN201910161556 A CN 201910161556A CN 110228407 A CN110228407 A CN 110228407A
Authority
CN
China
Prior art keywords
display
vehicle
character image
information
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910161556.1A
Other languages
English (en)
Other versions
CN110228407B (zh
Inventor
齐藤正树
冈本进一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Publication of CN110228407A publication Critical patent/CN110228407A/zh
Application granted granted Critical
Publication of CN110228407B publication Critical patent/CN110228407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/2661Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic mounted on parts having other functions
    • B60Q1/268Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic mounted on parts having other functions on windscreens or windows
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/2692Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic retractable lights
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/503Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text
    • B60Q1/5035Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text electronic displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/543Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for indicating other states or conditions of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/545Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for indicating other traffic conditions, e.g. fog, heavy traffic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/547Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for issuing requests to other traffic participants; for confirming to other traffic participants they can proceed, e.g. they can overtake
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/549Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for expressing greetings, gratitude or emotions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/334Projection means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55Remote control arrangements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/213Virtual instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/40Welcome lights, i.e. specific or existing exterior lamps to assist leaving or approaching the vehicle
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0154Head-up displays characterised by mechanical features with movable elements
    • G02B2027/0156Head-up displays characterised by mechanical features with movable elements with optionally usable elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Vehicle Waterproofing, Decoration, And Sanitation Devices (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Instrument Panels (AREA)

Abstract

本发明的目的是提供能够进行容易理解的显示的显示系统以及车载系统(1)。显示系统、车载系统的特征在于,具备:显示装置(21),设置在车辆(V),并能够在从该车辆(V)的外部能够目视的位置显示表示人物的人物图像(100);以及控制装置,获取表示车辆(V)的周边情况的周边情况信息,并基于该已获取的周边情况信息,来控制显示装置(21),并进行使人物图像(100)显示的面向外部的显示处理。其结果,显示系统、车载系统实现能够进行容易理解的显示的效果。

Description

显示系统以及车载系统
技术领域
本发明涉及显示系统以及车载系统。
背景技术
作为搭载于车辆的现有的显示系统,例如在专利文献1中公开了一种显示驾驶移动体的驾驶员让出道路的意思的显示装置。该显示装置具备显示部以及显示开关。显示部被配设为表示让出道路的意思的显示通过发光部的发光能够从该移动体的前方识别。显示开关被设置为驾驶员能够操作且能够切换该发光部的发光。
现有技术文献
专利文献
专利文献1:日本特开2001-334867号公报
发明内容
发明欲解决的技术问题
然而,上述专利文献1中公开的显示装置例如在对车辆外部人物的显示方面存在进一步改善的余地。
本发明是鉴于上述情况而完成的,其目的在于提供一种能够进行容易理解的显示的显示系统以及车载系统。
用于解决问题的技术手段
为了实现上述目的,本发明所涉及的显示系统的特征在于,具备:显示装置,所述显示装置设置在车辆,并能够在从该车辆的外部能够目视的位置显示表示人物的人物图像;以及控制装置,所述控制装置能够基于表示所述车辆的周边情况的周边情况信息,来控制所述显示装置,并执行使所述人物图像显示的面向外部的显示处理。
另外,在上述的显示系统中,可以是,所述控制装置能够根据所述周边情况信息,来执行将所述人物图像所表示的人物的表情或姿势变更的所述面向外部的显示处理。
另外,在上述的显示系统中,可以是,所述显示装置具有显示面,所述显示面在设置于所述车辆且至少透射可见光区域成分的光的挡风玻璃显示所述人物图像。
另外,在上述的显示系统中,可以是,所述显示装置具有能够在显示位置和从所述显示位置退避的退避位置移动的显示面,所述显示位置是在与挡风玻璃在所述车辆的内部对置的位置显示所述人物图像的位置,所述挡风玻璃设置于所述车辆且至少透射可见光区域成分的光。
另外,在上述的显示系统中,可以是,所述显示装置具有显示面,所述显示面在设置于所述车辆且至少遮挡可见光区域成分的光的车体部件显示所述人物图像。
另外,在上述的显示系统中,可以是,所述显示装置能够在从所述车辆的内部也能够目视的位置显示所述人物图像,所述控制装置能够基于表示所述车辆的内部情况的内部情况信息,来控制所述显示装置,并执行使所述人物图像显示的面向内部的显示处理。
为了实现上述目的,本发明所涉及的车载系统的特征在于,具备:显示装置,所述显示装置设置在车辆,且能够在从该车辆的外部能够目视的位置显示表示人物的人物图像;检测装置,所述检测装置检测表示所述车辆的周边情况的周边情况信息;以及控制装置,所述控制装置能够基于利用所述检测装置检测出的所述周边情况信息,来控制所述显示装置,并执行使所述人物图像显示的面向外部的显示处理。
发明效果
本发明所涉及的显示系统以及车载系统中,控制装置基于周边情况信息来控制显示装置,并执行面向外部的显示处理,从而能够进行使用人物图像的显示。其结果,显示系统以及车载系统实现能够进行容易理解的显示的效果。
附图说明
图1是表示实施方式所涉及的车载系统的概要构成的框图。
图2是表示实施方式所涉及的显示系统所具备的显示装置的一例的示意性剖视图。
图3是表示实施方式所涉及的显示系统所进行的显示方案的一例的示意图。
图4是表示实施方式所涉及的显示系统所进行的显示方案的一例的示意图。
图5是表示实施方式所涉及的显示系统所进行的显示方案的一例的示意图。
图6是表示实施方式所涉及的显示系统所进行的显示方案的一例的示意图。
图7是表示实施方式所涉及的显示系统所进行的显示方案的一例的示意图。
图8是表示实施方式所涉及的车载系统的控制的一例的流程图。
图9是表示变形例所涉及的显示系统所具备的显示装置的一例的示意性剖视图。
图10是表示变形例所涉及的显示系统所具备的显示装置的一例的示意性剖视图。
图11是表示变形例所涉及的显示系统所具备的显示装置的一例的示意性剖视图。
符号说明
1 车载系统
12 检测装置
13、22 控制装置
13a、22a 获取部
13b 行动确定部
13c 行驶控制部
20 显示系统
21、221、321、421 显示装置
21a、221a、321a、421a 显示面
22c 显示控制部
100、100A、100B、100C、100D 人物图像
BP 车体部件
V 车辆
WS 挡风玻璃
具体实施方式
以下,基于附图详细说明本发明所涉及的实施方式。需要说明的是,本发明不限于该实施方式。另外,在下述实施方式中的构成要素中,包含本领域技术人员能够容易置换的要素或实质上相同的要素。
[实施方式]
图1所示的本实施方式的显示系统20应用于车辆V,是用于进行各种显示的系统。应用显示系统20的车辆V可以是电动车辆(EV(Electric Vehicle))、混合动力车辆(HEV(Hybrid Electric Vehicle))、插电式混合动力车辆(PHEV(Plug-in Hybrid ElectricVehicle))、汽油车辆、柴油车辆等使用电动机或发动机作为驱动源的任何一种车辆。另外,该车辆V的驾驶可以是驾驶员进行的手动驾驶、半自动驾驶、完全自动驾驶等中的任意驾驶形式。此外,该车辆V可以是由所谓的个人拥有的私家汽车、租赁汽车、共享汽车、公共汽车、出租车、拼车中的任何一个。
在以下的说明中,作为一个例子,以车辆V为能够自动驾驶(半自动驾驶、完全自动驾驶)的车辆的情况进行说明。此处,显示系统20构成搭载于车辆V的车载系统1的一部分。车辆系统1在实现车辆V的所谓自动驾驶的基础上,使用人物图像100(参照图3等)来实现对车辆V的外部的人物直观地容易理解的显示。车载系统1通过将图1所示的构成要素搭载于车辆V从而实现。以下,参照图1对车载系统1的各构成进行详细说明。
需要说明的是,在图1所示的车载系统1中,用于电力供给、控制信号、各种信息等的收发的各构成要素间的连接方式若无特殊说明,可以是经由电线、光纤等布线材料的有线连接(例如,也包含经由光纤的光通信等)、无线通信、非接触供电等的无线连接中的任意一种。
具体而言,车载系统1具备自动驾驶系统10以及显示系统20。
首先,对自动驾驶系统10进行说明。自动驾驶系统10是实现车辆V中的自动驾驶的系统。自动驾驶系统10通过将图1所示的构成要素搭载于车辆V从而实现。具体而言,自动驾驶系统10具备行驶系统致动器11、检测装置12以及控制装置13。
行驶系统致动器11是用于使车辆V行驶的各种设备。行驶系统致动器11典型地被构成为包含:行驶用动力传动系统、转向装置、控制装置等。行驶用动力传动系统是用于使车辆V行驶的驱动装置。转向装置是进行车辆V转向的装置。制动装置是进行车辆V制动的装置。
检测装置12检测各种信息。检测装置12例如检测车辆状态信息、周边情况信息、内部情况信息等。车辆状态信息是表示车辆V的行驶状态的信息。周边情况信息是表示车辆V的周边情况的信息。内部情况信息是表示车辆V的内部情况的信息。车辆状态信息例如可以包含:车辆V的车速信息、加速度(车辆前后方向加速度、车辆宽度方向加速度、车辆侧倾方向加速度等)信息、转向角信息、加速踏板的操作量(加速踩踏量)信息、制动踏板的操作量(制动踩踏量)信息、档位信息、各部的电流值/电压值信息、蓄电装置的蓄电量信息等。周边情况信息可以包含例如:拍摄车辆V的周边环境或车辆V的周边的人物、其他车辆、障碍物等的外部物体的周边图像信息、表示外部物体的有无、与该外部物体的相对距离、相对速度、TTC(Time-To-Collision:接触余裕时间)等的外部物体信息、车辆V所行驶的车道的白线信息、车辆V所行驶的行驶路径的交通信息、车辆V的当前位置(GPS信息)等。内部情况信息例如可以包含:拍摄车辆V的内部环境、车辆V的内部的人物、行李等内部物体的内部图像信息、表示该内部物体的有无、该内部物体的位置等的内部物体信息等。
图1所示的检测装置12作为一个例子,图示了被构成为包含:车辆状态检测部12a、通信模块12b、GPS接收器12c、外部摄像机12d、外部雷达/声纳12e、内部摄像机12f、内部雷达/声纳12g。车辆状态检测部12a检测包含车速信息、加速度信息、转向角信息、加速踏板的操作量信息、制动踏板的操作量信息、档位信息、电流值/电压值信息、蓄电量信息等在内的车辆状态信息。车辆状态检测部12a的构成例如包括:车速传感器、加速度传感器、转向角传感器、加速传感器、制动传感器、档位传感器、电流/电压计等的各种检测器、传感器。车辆状态检测部12a也可以包含控制车辆V中各部的ECU(Electronic Control Unit,电子控制单元)等处理器本身。通信模块12b在与其他车辆、路上设备、云设备、车辆V的外部的人所持的电子设备等车辆V的外部设备之间,通过无线通信相互收发信息。由此,通信模块12b例如检测包含周边图像信息、外部物体信息、交通信息、当前位置信息等在内的周边情况信息。通信模块12b例如通过广域无线、窄域无线等各种方式的无线通信与外部设备通信。此外,广域无线的方式例如是广播(AM、FM)、TV(UHF、4K、8K)、TEL、GPS、WiMAX(注册商标)等。另外,窄域无线的方式例如是ETC/DSRC、VICS(注册商标)、无线LAN、毫米波通信等。GPS接收器12c检测表示车辆V的当前位置的当前位置信息,以作为周边情况信息。GPS接收器12c通过接收从GPS卫星发送的电波,从而获取车辆V的GPS信息(经度纬度坐标),以作为当前位置信息。外部摄像机12d拍摄构成周边图像信息的车辆V的周边的图像、构成白线信息的车辆V的行驶路面的图像,以作为周边情况信息。外部雷达/声纳12e使用红外线、毫米波、超声波等,检测外部物体信息,以作为周边情况信息。内部摄像机12f拍摄构成内部图像信息的车辆V的内部的图像,以作为内部情况信息。内部雷达/声纳12g使用红外线、毫米波、超声波等,检测内部物体信息,以作为内部情况信息。
控制装置13统一控制自动驾驶系统10的各部。控制装置13也可以由统一控制车辆V的整体的电子控制单元来兼任。控制装置13执行用于实现车辆V的行驶的各种运算处理。控制装置13被构成为包含以公知的微型处理器为主体的电子电路,该电子电路包含:CPU(中央处理器:Central Processing Unit)、MPU(微处理单元:Micro Processing Unit)、ASIC(专用集成电路:Application Specific Integrated Circuit)、FPGA(现场可编程门阵列:Field Programmable Gate Array)等中央运算处理装置、ROM(只读存储器:ReadOnly Memory)、RAM(随机存取存储器:Random Access Memory)以及接口。控制装置13与行驶系统致动器11以及检测装置12电连接。控制装置13能够将各种检测信号或用于驱动各部的驱动信号等各种电信号在与各部之间相互收发。
具体而言,控制装置13在功能概念上被构成为包含:接口部13A、储存部13B以及处理部13C。接口部13A、储存部13B以及处理部13C能够在与电连接的各种设备之间相互收发各种信息。接口部13A是用于与行驶系统致动器11、检测装置12等的自动驾驶系统10的各部之间收发各种信息。另外,接口部13A被构成为也能够与显示系统20之间收发各种信息。接口部13A具有在与各部之间经由电线等而将信息进行有线通信的功能、在与各部之间经由无线通信单元等而将信息进行无线通信的功能等。储存部13B是自动驾驶系统的储存装置。储存部13B例如可以是硬盘、SSD(Solid State Drive:固态硬盘)、光盘等较大容量的储存装置、或者RAM、快闪存储器、NVSRAM(Non Volatile Static Random Access Memory:非易失性静态随机存取存储器)等能够重复写入数据的半导体储存器。存储部13B存储有在控制装置13中的各种处理所需要的条件、信息、在控制装置13中执行的各种程序、应用、控制数据等。存储部13B例如将地图信息、用于后述的行动预测等的行动预测信息等数据库化而储存,该地图信息表示在基于利用GPS接收器12c检测到的当前位置信息来确定车辆V的当前位置时参照的地图。另外,存储部13B例如也能够将检测装置12检测出的各种信息、利用后述的获取部13a获取到的各种信息暂时储存。存储部13B利用处理部13C等根据需要读取这些信息。处理部13C基于各种输入信号等执行储存在储存部13B的各种程序、通过该程序工作从而将输出信号输出到各部并执行用于实现各种功能的各种处理。
更详细而言,处理部13C在功能概念上被构成为包含获取部13a、行动确定部13b以及行驶控制部13c。
获取部13a是具有能够执行获取自动驾驶系统10的各种处理中使用的各种信息的功能的部分。获取部13a获取利用检测装置12检测出的车辆状态信息、周边情况信息、内部情况信息等。获取部13a也能够将已获取的各种信息储存在储存部13B中。
行动确定部13b是具有能够执行预测车辆V的周边的人物的行动并确定车辆V的行动的功能的部分。行动确定部13b例如被构成为能够执行使用各种公知的人工智能(Artificial Intelligence)技术、深度学习(Deep Learning)技术来预测车辆V的周边的人物的行动并确定车辆V的行动的处理。行动确定部13b例如基于储存在储存部13B中的行动预测信息等,来预测车辆V的周边的人物的行动并确定车辆V的行动。该行动预测信息是反映了利用人工智能技术、深度学习技术的各种手法与周边情况信息等对应地学习了该车辆V的周边的人物的行动的结果的信息。换言之,行动预测信息是为了基于周边情况信息等来预测车辆V的周边的人物的行动,而利用使用了人工智能技术、深度学习技术的各种手法来进行数据库化后的信息。行动确定部13b典型地作为车辆V的周边的人物而对行人等过路人、其他车辆的驾驶员的行动进行预测。行动确定部13b例如基于利用获取部13a获取到的周边情况信息中包含的周边图像信息、储存部13B中储存的行动预测信息等,来掌握车辆V的周边的环境,并预测其他车辆的驾驶员、过路人等的行动。更详细而言,行动确定部13b例如基于周边图像信息中所包含的过路人的表情、姿势以及上述行动预测信息,来预测该过路人的行动,从而预测该过路人在人行横道的横穿(参照后述的图3所示的过路人A等)。另外,例如,行动确定部13b基于周边图像信息中包含的其他车辆的驾驶员的表情、姿势以及上述行动预测信息,来预测该其他车辆的驾驶员的行动,从而推断该其他车辆在该交叉路口的横穿、等待(参照后述的图4所示的其他车辆B等)。例如,行动确定部13b基于周边图像信息中包含的过路人的表情、姿势以及上述行动预测信息,来预测该过路人的行动,并推断该过路人对车辆V的乘车意愿(参照后述的图6所示的过路人C等)。然后,行动确定部13b根据预测出的车辆V的周边的人物的行动来确定车辆V的行动。行动确定部13b例如在预测到过路人所进行的人行横道的横穿、其他车辆在交叉路口处的横穿、过路人对车辆V的乘车意愿等的情况下,确定进行“停车”来作为车辆V的行动。另外,行动确定部13b例如在预测到其他车辆在交叉路口等待等情况下,确定进行“通过交叉路口”来作为车辆V的行动。行动确定部13b例如在预测到从车辆V下车的乘客从车辆V离开的情况下,确定进行“出发”来作为车辆V的行动。
行驶控制部13c是具有能够执行如下处理的功能的部分:控制车辆V的各部的工作并控制各车辆V的行驶。行驶控制部13c基于利用获取部13a所获取的信息(车辆状态信息、周边装置信息、内部情况信息等)来控制行驶系统致动器11并执行与车辆V的行驶相关的各种处理。本实施方式的行驶控制部13c执行与车辆V的自动驾驶相关的各种处理并且使车辆V自动驾驶。行驶控制部13c所进行的车辆V的自动驾驶基于获取部13a所获取到的信息而优先于车辆V的驾驶员所进行的驾驶操作,或者自动地控制车辆V的行为,而不管驾驶员的驾驶操作如何。作为自动驾驶,包括一定程度上存在驾驶员的驾驶操作的半自动驾驶和不存在驾驶员的驾驶操作的完全自动驾驶。作为半自动驾驶,可以举出例如:车辆姿态稳定控制(VSC:Vehicle Stability Control)、恒速行驶/车辆间距离控制(ACC:Adaptive CruiseControl)、车道保持辅助(LKA:Lane Keeping Assist)等驾驶。作为完全自动驾驶,例如可以例举:使车辆V自动地行驶到目的地的驾驶、使多个车辆V自动地排列行驶的驾驶等。在完全自动驾驶的情况下,也可以存在驾驶员本身不在车辆V中的情况。而且,本实施方式的行驶控制部13c进行如下控制,即:将利用行动确定部13b根据车辆V的周边的人物的行动的预测结果而确定的车辆V的行动反映到该车辆V的行驶。换言之,行驶控制部13c也基于行动确定部13b所做出的车辆V的周边的人物的行动的预测结果来进行车辆V的自动驾驶。例如在利用行动确定部13b预测到过路人横穿人行横道、其他车辆在交叉路口横穿、过路人对车辆V的乘车意愿等并确定“停车”以作为车辆V的行动的情况下,行驶控制部13c使车辆V自动地停车。另外,例如在利用行动确定部13b预测到其他车辆在交叉路口等待并确定“通过交叉路口”以作为车辆V的行动的情况下,行驶控制部13c使该车辆V自动地通过交叉路口。另外,例如在利用行动确定部13b预测到从车辆V下车的乘客从车辆V离开并确定“出发”以作为车辆V的行动的情况下,行驶控制部13c使该车辆V自动地出发。
接着,对显示系统20进行说明。显示系统20用于使用人物图像100(参照图3等)向车辆V的外部的人物直观地进行容易理解的显示。显示系统20通过将图1所示的构成要素搭载于车辆V从而实现。具体而言,显示系统20具备显示装置21和控制装置22。
如图2、图3所示,显示装置21设置在车辆V,并且能够将人物图像100显示在从该车辆V的外部能够目视的位置。此处,人物图像100是表示人物的图像。人物图像100也可以是人物自身的实际图像、模仿人物的插图图像、所谓的虚拟形象(Avatar)图像等。本实施方式的显示装置21具有在车辆V的挡风玻璃WS显示人物图像100的显示面21a。挡风玻璃WS是至少透射可见光区域成分的光(可见光线)的光透射性透射部件。此处,可见光区域成分的光是指人能够视觉识别的可见光区域的波长成分的光,例如是波长360~830nm的范围的成分的光。此处,挡风玻璃WS设置在车辆V的车辆前后方向的前部,也称为所谓的前窗玻璃。挡风玻璃WS也作为划分车辆V的车内和车外的分隔壁而发挥功能。本实施方式的显示面21a通过将透明EL(Electronic Luminescent:电发光)、透明液晶等薄膜显示器夹在一对挡风玻璃WS之间作为中间膜而构成。显示面21a可以设置在挡风玻璃WS的整个表面,也可以设置在该挡风玻璃WS的一部分。此处,显示面21a设置在位于仪表板IP上方的挡风玻璃WS的大致整个表面,并显示表示大致等身大人物的人物图像100。仪表板IP是设置在车辆V的车内(内部)的内饰部件,并在车辆前后方向的前部侧沿与该车辆前后方向交叉的车辆宽度方向延伸设置。如上所述,本实施方式的显示装置21将人物图像100显示在设置于挡风玻璃WS的显示面21a,从而能够在不仅从车辆V的外部(车外)能够目视、从车辆V的内部(车内)也能够目视的位置显示人物图像100。
回到图1,控制装置22统一控制显示系统20的各部。控制装置22也可以由统一控制车辆V整体的电子控制单元来兼任。控制装置22执行用于实现显示系统20中的各种显示的各种运算处理。控制装置22被构成为包含以公知的微型处理器为主体的电子电路,该微型处理器包含CPU、MPU、ASIC、FPGA等中央运算处理装置、ROM、RAM以及接口。控制装置22与显示装置21电连接。控制装置22能够将各种检测信号、用于驱动各部的驱动信号等的各种电信号在与各部之间相互收发。
具体而言,控制装置22在功能概念上被构成为包含:接口部22A、储存部22B以及处理部22C。接口部22A、储存部22B以及处理部22C能够在电连接的各种设备之间相互收发各种信息。接口部22A是用于与显示装置21等显示系统20的各部之间收发各种信息的接口。另外,接口部22A被构成为也能够与自动驾驶系统10的控制装置13的接口部13A一起收发各种信息。接口部22A具有在与各部之间经由电线等将信息进行有线通信的功能、在与各部之间经由无线通信单元等将信息进行无线通信的功能等。储存部22B是显示系统的储存装置。储存部22B例如也可以是硬盘、SSD、光盘等较大容量的储存装置、或者RAM、快闪存储器、NVSRAM等能够重复写入数据的半导体储存器。存储部22B存储有在控制装置22中的各种处理所需要的条件、信息、在控制装置22中执行的各种程序、应用、控制数据等。储存部22B例如储存由显示装置21显示的人物图像100的图像信息、其他输出信息。另外,储存部22B例如将后述的意图生成等所使用的意图生成信息等数据库化而储存。另外,储存部22B例如也能够将由后述获取部22a所获取的各种信息暂时储存。储存部22B根据需要利用处理部22C等读取这些信息。处理部22C是基于各种输入信息等而执行储存在储存部22B中的各种程序,并且通过该程序的工作而执行用于向各部输出输出信号并实现各种功能的各种处理的部分。
更详细而言,处理部22C在功能概念上被构成为包含:获取部22a、意图形成部22b以及显示控制部22c。
获取部22a是具有能够执行如下处理的功能的部分:获取显示系统20的各种处理中使用的各种信息。获取部22a从控制装置13获取由检测装置12检测出的车辆状态信息、周边情况信息、内部情况信息等。换言之,获取部22a经由控制装置13来获取由检测装置12检测到的车辆状态信息、周边情况信息、内部情况信息等。另外,获取部22a也从控制装置13获取由行动确定部13b得到的行动确定结果信息。该行动确定结果信息是指与车辆V的行动的确定结果相关的信息,该信息与基于行动确定部13b的车辆V的周边的人物的行动的预测结果相对应。获取部22a也能够将已获取的各种信息储存在储存部22B中。
意图生成部22b是具有能够执行如下处理的功能的部分:生成利用人物图像100显示的显示内容。利用人物图像100显示的显示内容典型地是利用人物图像100所表示的人物来反映想向车辆V的周边的人物传达的“车辆V的乘客的意图”的内容。意图生成部22b例如被构成为能够执行如下处理:利用各种公知的人工智能技术、深度学习技术来生成与车辆V的乘客意图对应的显示内容。意图生成部22b例如基于储存在储存部22B中的意图生成信息等,来生成与车辆V的乘客的意图对应的人物图像100的显示内容。该意图生成信息是反映通过使用人工智能技术、深度学习技术的各种手法学习了与周边情况信息、基于行动确定部13b的行动确定结果信息等对应地想利用该人物图像100显示的显示内容后的结果的信息。换言之,意图生成信息是为了基于周边情况信息、行动确定结果信息等来生成与车辆V的乘客的意图对应的人物图像100的显示内容,而使用利用了人工智能技术、深度学习技术的各种手法而数据化的信息。意图生成部22b例如基于由获取部22a所获取的周边情况信息中包含的周边图像信息、行动确定结果信息、在储存部22B中储存的意图生成信息等,来生成显示内容,该显示内容表示按照与预测的车辆V的周边的人物的行动而确定的车辆V的行动相符的意图。
意图生成部22b例如通过改变人物图像100所表示的人物的表情或姿势,从而生成表示与已确定的车辆V的行动相符的各种意图的显示内容。意图生成部22b例如生成例如表示“让行”意图的显示内容的人物图像100(参照图3的人物图像100A等)、表示“感谢”的意图的显示内容的人物图像100(参照图5的人物图像100B等)、表示“欢迎”的意图的显示内容的人物图像100(参照图6的人物图像100C等)、表示“再见”的意图的显示内容的人物图像100(参照图7的人物图像100D等)来作为表示与车辆V的行动相符的各种意图的显示内容。
显示控制部22c具有能够控制显示装置21并执行显示处理的功能。本实施方式的显示控制部22c能够基于利用获取部22a获取到的周边情况信息,来控制显示装置21,并执行使人物图像100显示的面向外部的显示处理。本实施方式的显示控制部22c基于由意图生成部22b生成的与车辆V的乘客的意图对应的显示内容,来控制显示装置21,并执行使人物图像100显示的面向外部的显示处理。如上所述,该显示内容是由意图生成部22b根据周边情况信息中包含的周边图像信息、行动确定结果信息而生成的内容,也就是说,是基于利用获取部13a、22a所获取的周边情况信息的内容。本实施方式的显示控制部22c显示由意图生成部22b生成的显示内容的人物图像100,从而能够执行与周边情况信息等对应地改变该人物图像100所表示的人物的表情或姿势的面向外部的表示处理。
例如,如图3所示,意图生成部22b在基于行动确定部13b的行动确定结果信息而预测到过路人A横穿人行横道并确定了车辆V停车的情况下,生成表示“让行”意图的显示内容的人物图像100A。而且,显示控制部22c例如在执行利用行驶控制部13c使车辆V自动停车的处理之后,基于由意图生成部22b生成的显示内容,来控制显示装置21并执行面向外部的显示处理。由此,显示控制部22c将意图生成部22b生成的表示“让行”意图的显示内容的人物图像100A显示在显示面21a。
另外,如图4所示,例如意图生成部22b在基于行动确定部13b的行动确定结果信息而预测到其他车辆B在交叉路口横穿并确定车辆V停车的情况下,也生成表示“让行”意图的显示内容的人物图像100A。而且,显示控制部22c例如在执行利用行驶控制部13c使车辆V自动停车的处理之后,基于由意图生成部22b生成的显示内容,来控制显示装置21并执行面向外部的显示处理。由此,显示控制部22c将意图生成部22b生成的表示“让行”意图的显示内容的人物图像100A显示在显示面21a。另一方面,意图生成部22b例如在基于行动确定部13b的行动确定结果信息而预测到其他车辆B在交叉路口等待并确定车辆V通过交叉路口的情况下,如图5所示,生成表示“感谢”的意图的显示内容的人物图像100B。而且,显示控制部22c例如在执行利用行驶控制部13c使车辆V穿过该其他车辆B前方的处理之后,基于由意图生成部22b生成的显示内容,来控制显示装置21并执行面向外部的显示处理。由此,显示控制部22c将意图生成部22b生成的表示“感谢”的意图的显示内容的人物图像100B显示在显示面21a。
另外,如图6所示,例如意图生成部22b在基于行动确定部13b的行动确定结果信息而预测到过路人C向车辆V的乘车意愿并确定车辆V停车的情况下,生成表示“欢迎”的意图的显示内容的人物图像100C。而且,显示控制部22c例如在执行利用行驶控制部13c使车辆V自动停车的处理之后,基于由意图生成部22b生成的显示内容,控制显示装置21并执行面向外部的显示处理。由此,显示控制部22c将意图生成部22b生成的表示“欢迎”的意图的显示内容的人物图像100C显示在显示面21a。该情况下,显示控制部22c也可以在人物图像100C之外还在显示面21a配合显示“欢迎、**先生/女士”等补充、增强人物图像100C的显示内容的文字图像。另一方面,意图生成部22b例如在基于行动确定部13b的行动确定结果信息而预测到从车辆V下车的乘员从车辆V离开并确定车辆V出发的情况下,如图7所示,生成表示“再见”的意图的显示内容的人物图像100D。而且,显示控制部22c例如在执行利用行驶控制部13c使车辆V出发的处理之后,基于由意图生成部22b生成的显示内容,来控制显示装置21并执行面向外部的显示处理。由此,显示控制部22c使由意图生成部22b生成的表示“再见”的意图的显示内容的人物图像100D显示在显示面21a。该情况下,显示控制部22c也可以在人物图像100D之外还在显示面21a配合显示“再见、**先生/女士”等补充、增强人物图像100D的显示内容的文字图像。
接着,参照图8的流程图来说明车载系统中的控制的一个例子的概要。需要说明的是,这些控制流程,例如以每数ms到数十ms的控制周期(时钟单位)来重复执行。
首先,自动驾驶系统10的控制装置13的获取部13a获取由检测装置12检测出的车辆状态信息、周边情况信息、内部情况信息等(步骤ST1)。
接着,自动驾驶系统10的控制装置13的行动确定部13b基于在步骤ST1中由获取部13a获取的周边情况信息等,来掌握车辆V的周边的环境,并且预测车辆V的周边的人物的行动,并确定车辆V的行动(步骤ST2)。
接着,显示系统20的控制装置22的获取部22a从控制装置13获取由检测装置12检测出的车辆状态信息、周边情况信息、内部情况信息、在步骤ST2中由行动确定部13b确定的行动确定结果信息等。然后,显示系统20的控制装置22的意图生成部22b基于周边情况信息、行动确定结果信息等,生成表示与在步骤ST2中确定的车辆V的行动相符的意图的表示内容(步骤ST3)。
接着,显示系统20的控制装置22的显示控制部22c基于在步骤ST3中由意图生成部22b生成的显示内容,来控制显示装置21并执行面向外部的显示处理(步骤ST4)。由此,显示控制部22c使由意图生成部22b生成的显示内容的人物图像100显示在显示面21a,并结束当前的控制周期,进入到下一个控制周期。
需要说明的是,本实施方式的显示控制部22c也可以被构成为,在上述的面向外部的显示处理之外,还能够执行基于由获取部13a、22a获取的内部情况信息来控制显示装置21、并使人物图像100显示的面向内部的显示处理。该情况下,行动确定部13b例如被构成为与预测车辆V的周边的人物的行动同样地,能够基于由获取部13a获取的内部情况信息中包含的内部图像信息、在储存部13B中储存的行动预测信息等,来掌握车辆V的内部的环境,并且预测车辆V的内部的人物的行动。而且,意图生成部22b例如基于由获取部13a、22a获取的内部信息中包含的内部图像信息、与预测的行动相关的信息、在储存部22B中储存的意图生成信息等,来生成表示与预测的车辆V的内部的人物的行动相对应的意图的显示内容。而且,显示控制部22c基于由意图生成部22b生成的该显示内容,控制显示装置21,并执行使人物图像100显示的面向内部的显示处理。该显示内容如上所述,是利用意图生成部22b根据内部情况信息中包含的内部图像信息、与由此预测的行动相关的信息而生成的内容,也就是说,是基于由获取部13a、22a获取的内部情况信息的显示内容。此处,显示控制部22c显示由意图生成部22b生成的显示内容的人物图像100,从而能够根据内部情况信息等,执行改变该人物图像100所表示的人物的表情或姿势的面向内部的显示处理。例如,意图生成部22b在利用行动确定部13b预测到车辆V的内部的乘客下车的情况下,生成如图7所示的表示“再见”意图的显示内容的人物图像100D。而且,显示控制部22c例如在执行利用行驶控制部13c使车辆V停止的处理之后,基于由意图生成部22b生成的显示内容,控制显示装置21并执行面向内部的显示处理。由此,显示控制部22c将意图生成部22b生成的表示“再见”意图的显示内容的人物图像100D显示在显示面21a。
以上说明的车载系统1、显示系统20的显示控制部22c基于周边情况信息来控制显示装置21,并执行面向外部的显示处理,从而能够进行使用了人物图像100的显示。其结果,车载系统1、显示系统20例如与单纯地仅显示文字信息之类的情况等相比,能够对车辆V的外部的人物直观地进行容易理解的显示。由此,车载系统1、显示系统20例如即使在应用于能够执行驾驶员自身不在的完全自动驾驶的车辆V的情况下,也能够经由人物图像100而对车辆V的周边的人物传达“车辆V的乘客的意图”。因此,车载系统1、显示系统20例如能够提供使用了友好交流的交通环境,进而能够提供安全、安心的环境。
进一步,以上说明的车载系统1、显示系统20能够利用显示控制部22c而根据周边情况信息来改变人物图像100所表示的人物的表情或姿势,并在显示装置21上显示。其结果,车载系统1、显示系统20能够利用人物图像100所表示的人物的表情或姿势,更直观地进行容易理解的显示。
进一步地,以上说明的车载系统1、显示系统20的显示装置21具有在挡风玻璃WS显示人物图像100的显示面21a。其结果,车载系统1、显示系统20能够利用显示面21a以车辆V的外部的人物等容易目视的方式显示人物图像100。另外,例如车载系统1、显示系统20在显示面21a显示等身大的人物图像100,从而能够像存在驾驶员一样,直观地进行容易理解的显示。
而且,以上说明的车载系统1、显示系统20的显示装置21也兼用作在从车辆V内部也能够目视的位置显示人物图像100的装置。而且,车载系统1、显示系统20的显示控制部22c基于由获取部22a获取到的内部情况信息来控制显示装置21,并执行面向内部的显示处理,从而能够进行使用了人物图像100的显示。其结果,车载系统1、显示系统20对车辆V内部的人物等也能够直观地进行容易理解的显示。
需要说明的是,上述的本发明的实施方式所涉及的显示系统以及车载系统并不限定于上述实施方式,能够在专利权利要求的范围内进行各种变更。
以上说明的显示装置21不限于上述构成。例如,图9所示的变形例所涉及的显示装置221具有在车辆V的挡风玻璃WS显示人物图像100的显示面221a。本变形例的显示面221a通过将薄膜屏幕作为中间膜夹在一对挡风玻璃WS中间从而构成。构成为该薄膜屏幕的显示面221a利用显示控制部22c所进行的控制,而能够切换透射光的透明状态和光的透射率比该透明状态低的不透明状态。显示面221a在不进行人物图像100的显示的情况下设为透明状态,在进行人物图像100的显示的情况下设为不透明状态。而且,本变形例的显示装置221例如被构成为包含设置在仪表板IP内的投影机等投影装置221b。显示装置221对被设为不透明状态的显示面221a从投影设备221b投影表示人物图像100的投影光。其结果,显示装置221能够在该显示面221a显示人物图像100。即使在该情况下,车载系统1、显示系统20也能够利用显示面221a以车辆V的外部的人物容易目视的方式来显示人物图像100,从而能够直观地进行容易理解的显示。
另外,例如,图10所示的变形例所涉及的显示装置321在车辆V的内部与挡风玻璃WS对置的位置具有显示面321a。本变形例的显示面321a由液晶显示器、等离子显示器、有机EL显示器等图像显示装置321b构成。而且,包含显示面321a的图像显示装置321b被构成为能够通过显示控制装置22c的控制,而在显示位置和退避位置移动。此处,显示位置是指显示面321a在车辆V的内部与挡风玻璃WS对置的位置表示人物图像100的位置。另一方面,退避位置是指包含显示面321a的图像显示装置321b从显示装置退避后的位置,例如是收纳在仪表板IP内的位置。显示面321a在不进行人物图像100的显示的情况下设为退避位置,在进行人物图像100的显示的情况下设为显示位置。从而,显示装置321能够在显示面321a位于显示位置的状态下在该显示面321a显示人物图像100。即使在该情况下,车载系统1、显示系统20也能够利用显示面321a以车辆V的外部的人物容易目视的方式来显示人物图像100,并且能够直观地进行容易理解的显示。此外,该情况下,显示装置321也可以在图像显示装置321b的背面侧(与挡风玻璃WS相反的侧)具备与该图像显示装置321b不同的图像显示装置。而且,显示装置321也可以被构成为利用该别的图像显示装置来在从车辆V的内部也能够目视的位置显示人物图像100。
另外,例如,图11所示的变形例所涉及的显示装置421具有在车辆V的车体部件BP显示人物图像100的显示面421a。此处,车体部件BP是构成车辆V的车体的结构部件,并且是至少遮挡可见光区域成分的光(可见光)的不透光性(遮光性)部件。车体部件BP也作为划分车辆V的车内和车外的分隔壁而发挥功能。像上述那样,在车辆V是能够完全自动驾驶的车辆的情况下,也存在驾驶员自身不在该车辆V中的情况。该情况下,车辆V例如也存在如下情况,即:在能够使车辆V内外相互视觉识别的挡风玻璃WS等之外,在设置有该挡风玻璃WS的位置也使用车体部件BP。这种情况下,显示装置421例如也可以是对在车辆V的车辆前后方向的前部(例如上述实施方式中设置有挡风玻璃WS的位置)设置的车体部件BP设置显示面421a的构成。本变形例的显示面421a通过将透明EL、透明液晶等薄膜显示器作为中间膜而夹在车体部件BP和透明保护材料C之间从而构成。此处,透明保护部件C是设置在显示面421a的车体部件BP侧的相反侧,并且覆盖并保护该显示面421a的车体部件BP侧的相反侧的表面的部件。为了使显示在显示面421a的人物图像100能够从车辆V的外部目视,透明保护部件C利用至少透射可见光区域成分的光(可见光)的透光性透射部件来构成。其结果,显示装置421通过在设置于车体部件BP的该显示面421a显示人物图像100,从而能够在从车辆V的外部(车外)能够目视的位置显示人物图像100。即使在该情况下,车载系统1、显示系统20也能够利用显示面421a以车辆V的外部的人物容易目视的方式来显示人物图像100,能够直观地进行容易理解的显示。需要说明的是,设置显示面421a的车体部件BP不限于上述情况,也可以是构成所谓的门板等的结构部件等。
另外,显示装置也可以是使表示人物图像100的显示光在设置于挡风玻璃WS的显示面反射,并将人物图像100作为虚像而显示的所谓的平视显示器(HUD:Head-Up Display)型的装置。
在以上的说明中,作为一个例子,以车辆V为能够自动驾驶(半自动驾驶、完全自动驾驶)的车辆的情况进行说明,但是并不限于此。车辆V也可以是根据车辆V的驾驶员的驾驶操作来控制车辆V的行为的能够手动驾驶的车辆。
在以上的说明中,检测装置12以与显示系统20分别构成并且构成自动驾驶系统10的情况来图示,但是并不限于此。检测装置12也可以不经由自动驾驶系统10的控制装置13,而直接与显示系统20的接口部22A直接地连接,并构成为该显示系统20的一部分。换言之,显示系统20也可以是具备检测装置12自身的构成,获取部22a也可以不经由控制装置13而直接地从检测装置12获取车辆状态信息、周边情况信息、内部情况信息等。同样,行动确定部13b也可以构成为显示系统20的控制装置22的一部分。也就是说,显示系统20也可以是具备行动确定部13b的构成。
在以上的说明中,以挡风玻璃WS为所谓的前窗玻璃的情况进行说明,但是并不限于此。挡风玻璃WS也可以是在车辆V的前后方向的后部设置的后窗玻璃、在车辆V的侧部设置的侧窗玻璃等。也就是说,显示装置21、221也可以具有在车辆V的后窗玻璃、侧窗玻璃显示人物图像100的显示面21a、221a。
在以上的说明中,以显示控制部22c在面向外部的显示处理中根据周边情况信息等来改变人物图像100所表示的人物的表情或姿势的情况进行说明,但是并不限于此,除了变更人物的表情、姿势以外,例如也可以变更人物自身。
以上说明的控制装置13、22中,也可以是各部分分体构成,且该各部分能够相互收发电信号地连接从而构成,也可以是一部分的功能利用其他控制装置来实现。另外,以上说明的程序、应用、各种数据可以适当更新,也可以储存在经由任意网络与车载系统1连接的服务器。以上说明的程序、应用、各种数据例如也能够根据需要下载其全部或一部分。另外,例如,针对控制装置13、22所具备的处理功能,可以将其全部或任意一部分例如利用CPU以及在该CPU解释执行的程序来实现,另外,也可以作为利用有线逻辑的硬件来实现。

Claims (7)

1.一种显示系统,其特征在于,具备:
显示装置,所述显示装置设置在车辆,并能够在从该车辆的外部能够目视的位置显示表示人物的人物图像;以及
控制装置,所述控制装置能够基于表示所述车辆的周边情况的周边情况信息,来控制所述显示装置,并执行使所述人物图像显示的面向外部的显示处理。
2.如权利要求1所述的显示系统,其中,
所述控制装置能够根据所述周边情况信息,来执行将所述人物图像所表示的人物的表情或姿势变更的所述面向外部的显示处理。
3.如权利要求1或2所述的显示系统,其中,
所述显示装置具有显示面,所述显示面在设置于所述车辆且至少透射可见光区域成分的光的挡风玻璃显示所述人物图像。
4.如权利要求1或2所述的显示系统,其中,
所述显示装置具有能够在显示位置和从所述显示位置退避的退避位置之间移动的显示面,所述显示位置是在与挡风玻璃在所述车辆的内部对置的位置显示所述人物图像的位置,所述挡风玻璃设置于所述车辆且至少透射可见光区域成分的光。
5.如权利要求1或2所述的显示系统,其中,
所述显示装置具有显示面,所述显示面在设置于所述车辆且至少遮挡可见光区域成分的光的车体部件显示所述人物图像。
6.如权利要求1至5中任一项所述的显示装置,其中
所述显示装置能够在从所述车辆的内部也能够目视的位置显示所述人物图像,
所述控制装置能够基于表示所述车辆的内部情况的内部情况信息,来控制所述显示装置,并执行使所述人物图像显示的面向内部的显示处理。
7.一种车载系统,其特征在于,具备:
显示装置,所述显示装置设置在车辆,且能够在从该车辆的外部能够目视的位置显示表示人物的人物图像;
检测装置,所述检测装置检测表示所述车辆的周边情况的周边情况信息;以及
控制装置,所述控制装置能够基于利用所述检测装置检测出的所述周边情况信息,来控制所述显示装置,并执行使所述人物图像显示的面向外部的显示处理。
CN201910161556.1A 2018-03-05 2019-03-04 显示系统以及车载系统 Active CN110228407B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-038180 2018-03-05
JP2018038180A JP7005112B2 (ja) 2018-03-05 2018-03-05 表示システム、及び、車載システム

Publications (2)

Publication Number Publication Date
CN110228407A true CN110228407A (zh) 2019-09-13
CN110228407B CN110228407B (zh) 2022-12-13

Family

ID=65520119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910161556.1A Active CN110228407B (zh) 2018-03-05 2019-03-04 显示系统以及车载系统

Country Status (4)

Country Link
US (1) US10650675B2 (zh)
EP (1) EP3536554B1 (zh)
JP (1) JP7005112B2 (zh)
CN (1) CN110228407B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110933126A (zh) * 2018-09-19 2020-03-27 丰田自动车株式会社 信息提供装置、信息提供方法以及非暂时性存储介质
CN114056230A (zh) * 2020-08-03 2022-02-18 丰田自动车株式会社 控制装置、车辆、非临时性计算机可读介质以及控制方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11345277B2 (en) * 2018-10-16 2022-05-31 GM Global Technology Operations LLC Autonomous vehicle intent signaling
FR3103157B1 (fr) * 2019-11-20 2022-09-09 Lextan Véhicule pilotable à distance avec affichage amélioré.
DE102019219264A1 (de) * 2019-12-10 2021-06-10 Continental Automotive Gmbh Elektrooptische Anzeige für ein Kraftfahrzeug
US11679782B2 (en) * 2021-01-26 2023-06-20 Honda Research Institute Europe Gmbh Method, system and vehicle for assisting an operator of the vehicle in assessing a traffic situation with shared traffic space
KR20230008936A (ko) * 2021-07-07 2023-01-17 현대모비스 주식회사 차량의 주행상태 커뮤니케이션 장치 및 방법

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1940911A (zh) * 2005-09-30 2007-04-04 欧姆龙株式会社 信息处理装置和方法、信息处理系统、程序以及记录介质
JP2008081048A (ja) * 2006-09-28 2008-04-10 Yamaha Corp 車両用情報表示装置
JP2008132005A (ja) * 2006-11-27 2008-06-12 Nippon Seiki Co Ltd ヘッドアップディスプレイ装置
CN103963707A (zh) * 2012-07-26 2014-08-06 汽车云股份有限公司 车辆内容投影
DE102013216490A1 (de) * 2013-08-20 2015-02-26 Continental Automotive Gmbh System zur Bereitstellung eines Signals für ein Objekt in der Umgebung des Systems
US20150077235A1 (en) * 2013-09-17 2015-03-19 Toyota Motor Engineering & Manufacturing North America, Inc. Interactive vehicle window display system with user identification and image recording
US20150336502A1 (en) * 2014-05-22 2015-11-26 Applied Minds, Llc Communication between autonomous vehicle and external observers
DE102014221821A1 (de) * 2014-10-27 2016-04-28 Ford Global Technologies, Llc Verfahren und Vorrichtung zur Unterstützung des Betriebs eines zum autonomen Fahren ausgelegten Kraftfahrzeuges
US20170088039A1 (en) * 2015-09-30 2017-03-30 Nissan North America, Inc. Vehicle state indication system
US20170155867A1 (en) * 2014-05-16 2017-06-01 Ricoh Company, Ltd. Display device and vehicle
US20170227769A1 (en) * 2016-02-04 2017-08-10 Alpine Electronics, Inc. Head-up display apparatus
US20170243490A1 (en) * 2014-09-04 2017-08-24 Nokia Technologies Oy Apparatuses, Methods and Computer Programs for Controlling Road User Acknowledgement
US20170240098A1 (en) * 2016-02-22 2017-08-24 Uber Technologies, Inc. Lighting device for a vehicle

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0322036Y2 (zh) * 1986-11-12 1991-05-14
JP2001334867A (ja) 2000-05-25 2001-12-04 Yoshimitsu Takahara 進路を譲る意思の表示装置
JP4316960B2 (ja) * 2003-08-22 2009-08-19 株式会社半導体エネルギー研究所 装置
US20050099287A1 (en) * 2003-11-10 2005-05-12 Wen-Wei Su Indicator system for vehicles
JP4652849B2 (ja) * 2005-03-03 2011-03-16 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
US20070182664A1 (en) * 2006-02-09 2007-08-09 Tristram Himmele Head-worn assembly with removable display
US7659808B1 (en) * 2006-08-21 2010-02-09 Richard P Cooper Automotive messaging display unit
DE102010034853A1 (de) * 2010-08-18 2012-02-23 Gm Global Technology Operations Llc (N.D.Ges.D. Staates Delaware) Kraftfahrzeug mit Digitalprojektoren
US9340155B2 (en) 2013-09-17 2016-05-17 Toyota Motor Sales, U.S.A., Inc. Interactive vehicle window display system with user identification
US9451062B2 (en) * 2013-09-30 2016-09-20 Verizon Patent And Licensing Inc. Mobile device edge view display insert
DE102014118380A1 (de) * 2014-12-11 2016-06-16 Valeo Schalter Und Sensoren Gmbh Anzeigevorrichtung für ein Kraftfahrzeug mit Kraftsensor, Kraftfahrzeug sowie Verfahren
US11160479B2 (en) * 2015-04-23 2021-11-02 Sony Corporation Information processing device and control method
US10587542B2 (en) * 2015-11-13 2020-03-10 Sony Corporation Communication system and storage medium for transmitting physical expression information
US20170190286A1 (en) * 2016-01-03 2017-07-06 Edward Yavitz GPS Vehicle Speed and Velocity Change Indicator
CN105667387B (zh) * 2016-01-13 2017-12-26 京东方科技集团股份有限公司 车载通讯装置及方法、车辆
JP6593803B2 (ja) * 2017-03-10 2019-10-23 株式会社Subaru 画像表示装置
JP6445607B2 (ja) * 2017-03-15 2018-12-26 株式会社Subaru 車両の表示システム及び車両の表示システムの制御方法
JP6454368B2 (ja) * 2017-03-15 2019-01-16 株式会社Subaru 車両の表示システム及び車両の表示システムの制御方法
JP6554131B2 (ja) * 2017-03-15 2019-07-31 株式会社Subaru 車両の表示システム及び車両の表示システムの制御方法
JP6470335B2 (ja) * 2017-03-15 2019-02-13 株式会社Subaru 車両の表示システム及び車両の表示システムの制御方法
JP6655036B2 (ja) * 2017-03-15 2020-02-26 株式会社Subaru 車両の表示システム及び車両の表示システムの制御方法
JP6470334B2 (ja) * 2017-03-15 2019-02-13 株式会社Subaru 車両の表示システム及び車両の表示システムの制御方法
JP6453929B2 (ja) * 2017-03-15 2019-01-16 株式会社Subaru 車両の表示システム及び車両の表示システムの制御方法
US10183616B2 (en) * 2017-06-19 2019-01-22 Valeo North America, Inc. Display system to display outside the vehicle

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1940911A (zh) * 2005-09-30 2007-04-04 欧姆龙株式会社 信息处理装置和方法、信息处理系统、程序以及记录介质
JP2008081048A (ja) * 2006-09-28 2008-04-10 Yamaha Corp 車両用情報表示装置
JP2008132005A (ja) * 2006-11-27 2008-06-12 Nippon Seiki Co Ltd ヘッドアップディスプレイ装置
CN103963707A (zh) * 2012-07-26 2014-08-06 汽车云股份有限公司 车辆内容投影
DE102013216490A1 (de) * 2013-08-20 2015-02-26 Continental Automotive Gmbh System zur Bereitstellung eines Signals für ein Objekt in der Umgebung des Systems
US20150077235A1 (en) * 2013-09-17 2015-03-19 Toyota Motor Engineering & Manufacturing North America, Inc. Interactive vehicle window display system with user identification and image recording
US20170155867A1 (en) * 2014-05-16 2017-06-01 Ricoh Company, Ltd. Display device and vehicle
US20150336502A1 (en) * 2014-05-22 2015-11-26 Applied Minds, Llc Communication between autonomous vehicle and external observers
US20170243490A1 (en) * 2014-09-04 2017-08-24 Nokia Technologies Oy Apparatuses, Methods and Computer Programs for Controlling Road User Acknowledgement
DE102014221821A1 (de) * 2014-10-27 2016-04-28 Ford Global Technologies, Llc Verfahren und Vorrichtung zur Unterstützung des Betriebs eines zum autonomen Fahren ausgelegten Kraftfahrzeuges
US20170088039A1 (en) * 2015-09-30 2017-03-30 Nissan North America, Inc. Vehicle state indication system
US20170227769A1 (en) * 2016-02-04 2017-08-10 Alpine Electronics, Inc. Head-up display apparatus
US20170240098A1 (en) * 2016-02-22 2017-08-24 Uber Technologies, Inc. Lighting device for a vehicle

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110933126A (zh) * 2018-09-19 2020-03-27 丰田自动车株式会社 信息提供装置、信息提供方法以及非暂时性存储介质
CN114056230A (zh) * 2020-08-03 2022-02-18 丰田自动车株式会社 控制装置、车辆、非临时性计算机可读介质以及控制方法

Also Published As

Publication number Publication date
US20190272749A1 (en) 2019-09-05
JP2019151228A (ja) 2019-09-12
US10650675B2 (en) 2020-05-12
EP3536554A1 (en) 2019-09-11
JP7005112B2 (ja) 2022-01-21
EP3536554B1 (en) 2023-04-05
CN110228407B (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
CN110228407A (zh) 显示系统以及车载系统
CN110271552A (zh) 显示系统、显示方法及存储介质
US10460184B2 (en) Image information acquiring apparatus, vehicle, and control method thereof
CN110356402A (zh) 车辆控制装置、车辆控制方法及存储介质
CN109070891A (zh) 自动驾驶车辆的意图传信
CN108216032A (zh) 车辆用环视监控装置、车辆运行控制装置以及车辆
CN114641668A (zh) 拼车应用程序中的增强现实寻路
US20170132481A1 (en) Information display device mounted in vehicle including detector
CN105799710A (zh) 一种交互式的自主教练车系统
US11766937B2 (en) Display control method and display control device
TWI728117B (zh) 動態信息系統及動態信息系統的操作方法
CN111186373B (zh) 报告装置
US20190276044A1 (en) User interface apparatus for vehicle and vehicle including the same
US20180111554A1 (en) Vehicle communication and image projection systems
US20240062432A1 (en) Augmented reality (ar) service platform for providing ar service
US20200356090A1 (en) Client control for an autonomous vehicle ridesharing service
US20230391353A1 (en) Augmented reality notification system
JP2018024363A (ja) 車両用表示制御装置及び車両運転アシストシステム
CN112867652A (zh) 自动车辆的环境照明条件
US20230375362A1 (en) Reachability User Experience Interfaces for Autonomous Vehicles
WO2022060701A1 (en) External facing communications for autonomous vehicles
CN110462699A (zh) 车辆用显示控制装置以及车辆用显示单元
JP2023133049A (ja) 自律マシンシステム及びアプリケーションのための認知ベースの駐車支援
US20200372270A1 (en) In-vehicle system
US20220289231A1 (en) Control device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant