CN110312633A - 图像显示系统、图像显示方法以及程序 - Google Patents

图像显示系统、图像显示方法以及程序 Download PDF

Info

Publication number
CN110312633A
CN110312633A CN201880013053.3A CN201880013053A CN110312633A CN 110312633 A CN110312633 A CN 110312633A CN 201880013053 A CN201880013053 A CN 201880013053A CN 110312633 A CN110312633 A CN 110312633A
Authority
CN
China
Prior art keywords
vehicle
behavior
future
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880013053.3A
Other languages
English (en)
Other versions
CN110312633B (zh
Inventor
本村秀人
萨希姆·科尔科斯
村田久治
江村恒一
大馆江利子
辻胜长
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Automotive Systems Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN110312633A publication Critical patent/CN110312633A/zh
Application granted granted Critical
Publication of CN110312633B publication Critical patent/CN110312633B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816—Indicating performance data, e.g. occurrence of a malfunction
    • G07C5/0825—Indicating performance data, e.g. occurrence of a malfunction using optical means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/167—Vehicle dynamics information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/175—Autonomous driving
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B60K2360/1868—Displaying information according to relevancy according to driving situations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

图像显示系统具备第一处理部、第二处理部以及比较部。第一处理部获取车辆的行为估计结果，基于行为估计结果来生成车辆的经过规定时间后的将来的位置信息。第二处理部获取与车辆有关的当前的信息，基于获取到的信息来生成车辆及周围物体的当前的位置信息。比较部将车辆的将来的位置信息与车辆及周围物体的当前的位置信息进行比较，生成表示车辆及周围物体的当前的位置的当前图像数据和表示车辆及周围物体的将来的位置的将来图像数据。并且，比较部使基于当前图像数据的当前图像和基于将来图像数据的将来图像一起显示于通知装置。

Description

图像显示系统、图像显示方法以及程序
技术领域
本公开涉及一种显示与车辆的行为估计有关的信息的图像显示系统、图像显示方法以及程序。
背景技术
近年来，正在研究一种使在道路上行驶的汽车等车辆的驾驶自动化的技术。例如，在专利文献1中公开了一种车辆的行驶控制装置，在本车辆为自动转向控制的状态或自动加减速控制的状态的情况下，该行驶控制装置使驾驶员在视觉上识别出自动转向控制和自动加减速控制的动作状态。
现有技术文献
专利文献
专利文献1：日本特开2005-67483号公报
发明内容
本公开提供一种提供与车辆的将来的行为有关的信息的图像显示系统、图像显示方法以及程序。
本公开的一个方式所涉及的图像显示系统具备第一处理部、第二处理部以及比较部。第一处理部获取车辆的行为的估计结果即行为估计结果，基于所述行为估计结果来生成所述车辆的经过规定时间后的将来的位置信息。第二处理部获取与所述车辆有关的当前的信息，基于获取到的信息来生成所述车辆及所述车辆的周围物体的当前的位置信息。比较部将所述车辆的所述将来的位置信息与所述车辆及所述车辆的所述周围物体的所述当前的位置信息进行比较，生成表示所述车辆及所述车辆的所述周围物体的当前的位置的当前图像数据和表示所述车辆及所述车辆的所述周围物体的将来的位置的将来图像数据。所述比较部使基于所述当前图像数据的当前图像和基于所述将来图像数据的将来图像一起显示于显示装置。
本公开的一个方式所涉及的图像显示方法获取与车辆有关的当前的信息，基于获取到的信息来生成所述车辆及所述车辆的周围物体的当前的位置信息。并且，获取所述车辆的行为的估计结果即行为估计结果，基于所述行为估计结果来生成所述车辆的经过规定时间后的将来的位置信息。并且，将所述车辆的所述将来的位置信息与所述车辆及所述车辆的所述周围物体的所述当前的位置信息进行比较，生成表示所述车辆及所述车辆的所述周围物体的当前的位置的当前图像数据和表示所述车辆及所述车辆的所述周围物体的将来的位置的将来图像数据。并且，将基于所述当前图像数据的当前图像和基于所述将来图像数据的将来图像一起进行显示。
本公开的一个方式所涉及的程序是使计算机执行图像显示方法的程序，在所述图像显示方法中，获取与车辆有关的当前的信息，基于获取到的信息来生成所述车辆及所述车辆的周围物体的当前的位置信息，获取所述车辆的行为的估计结果即行为估计结果，基于所述行为估计结果来生成所述车辆的经过规定时间后的将来的位置信息。在所述图像显示方法中，还将所述车辆的将来的位置信息与所述车辆及所述车辆的所述周围物体的所述当前的位置信息进行比较，生成表示所述车辆及所述车辆的所述周围物体的当前的位置的当前图像数据和表示所述车辆及所述车辆的所述周围物体的将来的位置的将来图像数据。并且，在所述图像显示方法中，还将基于所述当前图像数据的当前图像和基于所述将来图像数据的将来图像一起进行显示。
此外，这些概括性的或具体的方式既可以利用系统、方法、集成电路、计算机程序或计算机可读的CD-ROM等(非暂时性的)记录介质来实现，也可以利用系统、方法、集成电路、计算机程序以及记录介质的任意的组合来实现。
根据本公开的图像显示系统等，能够提供与车辆的将来的行为有关的信息。
附图说明
图1是实施方式所涉及的图像显示系统及其周边的构成要素的一例的功能框图。
图2是示出车辆中的图1的通知装置的显示介质的一例的图。
图3是示出仅显示当前图像的情况下的通知装置的显示图像的一例的图。
图4是示出利用专用行为估计神经网络进行的行为估计的一例的图。
图5是示出图像显示系统及其周边的构成要素的动作流程的一例的流程图。
图6是示出显示当前图像和将来图像的情况下的通知装置的显示图像的一例的图。
图7是示出图像显示系统及其周边的构成要素的动作流程的其它例的流程图。
图8是示出行为估计结果为加速的情况下的通知装置的显示图像的一例的图。
图9是示出遵从车辆的驾驶员的指示的情况下的通知装置的显示图像的一例的图。
具体实施方式
在说明本公开的实施方式之前，简单地说明以往的装置的问题点。专利文献1的行驶控制装置使驾驶员在视觉上识别出自动转向控制和自动加减速控制的当前的动作状态。在自动驾驶时，驾驶员认识不到由车辆识别出行驶状态及周围的状况等的程度以及车辆想要实施的将来的行为，因此驾驶员有可能感到不安。
专利文献1中记载的行驶控制装置基于由车载的汽车导航装置的GPS(GlobalPositioning System：全球定位系统)定位得到的本车位置信息来进行行驶控制。在本发明的发明人们研究出的车辆的自动驾驶技术中，除了使用利用GPS进行的本车定位以外，还使用检测车辆的各操作的探测装置的检测结果以及摄像头、毫米波雷达、红外线传感器等车辆的周围环境的探测装置的检测结果。这种自动驾驶技术能够进行与车辆的状态及周围的状况相应的、复杂的车辆行为的控制。而且，在这种自动驾驶技术的研究中，旨在实现不仅能够进行辅助驾驶员的驾驶的部分自动驾驶，而且能够进行没有驾驶员的操作、判断等行为干预的完全自动驾驶。当在行为控制中对车辆依赖的比例变大时，对于驾驶员而言，与当前的车辆的状态有关的信息以及与当前的行为的下一个行为即将来的车辆的行为有关的信息中未知的信息的比例变多，驾驶员有时感到不安。因此，本发明的发明人们研究提供与车辆的将来的行为有关的信息以抑制驾驶员的不安，并发现了如权利要求书和以下的说明所记载的那样的技术。
以下，参照附图来说明实施方式所涉及的图像显示系统等。此外，以下要说明的实施方式表示概括性的或具体的例子。以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置和连接方式、步骤(工序)以及步骤的顺序等是一例，主旨并非在于限定本公开。另外，将以下的实施方式的构成要素中的未记载于表示最上位概念的独立权利要求中的构成要素设为任意的构成要素来进行说明。另外，在以下的实施方式的说明中，有时使用大致平行、大致正交那样的带有“大致”的表达。例如，大致平行不仅意味着完全平行，也意味着实质上平行，即、例如包括几％左右的差异。其它带有“大致”的表达也同样如此。
[实施方式]
[1.图像显示系统的结构]
参照图1来说明实施方式所涉及的图像显示系统100的结构。此外，图1是实施方式所涉及的图像显示系统100及其周边的构成要素的功能框图的一例。在本实施方式中，图像显示系统100例如搭载于能够在道路上行驶的汽车、卡车、公共汽车等车辆1。图像显示系统100构成自动驾驶控制系统10的一部分，该自动驾驶控制系统10控制车辆1的驾驶的全部或一部分，使得不需要由车辆1的驾驶员进行的操作。此外，图像显示系统100的搭载对象并不限定于车辆1，也可以是飞机、船舶、无人输送机等任何移动体。本实施方式所涉及的图像显示系统100使显示装置显示车辆1及其周围的当前的状态和通过由自动驾驶控制系统10进行的行为而产生的车辆1及其周围的将来的状态。
如图1所示，车辆1具备车辆控制部2、操作系统检测部3、输入部4、信息通知部5、状态检测部6、存储部7、自动驾驶控制系统10以及图像显示系统100。自动驾驶控制系统10控制车辆1的自动驾驶。自动驾驶控制系统10具备学习部11、行为估计部12以及自动驾驶评价部13。图像显示系统100计算车辆1及其周围的当前的状态和车辆1及其周围的将来的状态并使这些状态显示于信息通知部5。图像显示系统100构成自动驾驶评价部13的一部分，包括第一处理部100a、第二处理部100b以及比较部100c。此外，图像显示系统100也可以与自动驾驶评价部13相分别地设置。自动驾驶控制系统10的构成要素、图像显示系统100的构成要素以及后述的状态检测部6的构成要素等既可以由专用的硬件构成，也可以通过执行适于各构成要素的软件程序来实现。各构成要素也可以通过由CPU(Central ProcessingUnit：中央处理单元)或处理器等程序执行部读出硬盘或半导体存储器等记录介质中记录的软件程序并执行该软件程序来实现。
车辆控制部2控制车辆1的整体。例如，车辆控制部2既可以实现为LSI电路(LargeScale Integration：大规模集成电路)，也可以实现为控制车辆1的电子控制单元(Electronic Control Unit：ECU)的一部分。车辆控制部2基于从自动驾驶控制系统10等获取的信息来控制车辆1。车辆控制部2也可以包括自动驾驶控制系统10和图像显示系统100。
操作系统检测部3检测与对车辆1施加的操作相关联的信息。操作系统检测部3例如包括制动踏板传感器3a、加速踏板传感器3b、转向指示灯传感器3c、转向装置传感器3d等。制动踏板传感器3a检测车辆1的制动装置的制动强度。加速踏板传感器3b检测车辆1的加速踏板开度。转向指示灯传感器3c检测车辆1的转向指示灯的指示方向。转向装置传感器3d检测车辆1的转向装置的转向角。操作系统检测部3检测基于车辆1的驾驶员的操作的信息和基于自动驾驶控制系统10的操作的信息。操作系统检测部3的各传感器将检测结果输出到车辆控制部2，还将检测结果保存到存储部7中。
状态检测部6检测车辆1的行驶状态和车辆1的周围的状况。状态检测部6包括位置信息获取部6a、周围传感器6b、速度信息获取部6c、地图信息获取部6d以及外部环境信息获取部6e。
位置信息获取部6a根据利用车辆1所搭载的汽车导航装置得到的GPS定位结果等，来获取车辆1的位置信息。周围传感器6b检测车辆1的周围的状况。例如，周围传感器6b检测车辆1的周围存在的其它车辆的位置、车道位置信息等，还检测其它车辆是否为车辆1的先行车辆等其它车辆的位置的类别。例如，周围传感器6b也根据其它车辆的速度和车辆1的速度来检测两个车辆的碰撞预测时间(TTC：Time To Collision)。例如，周围传感器6b也检测车辆1的周围存在的障碍物的位置。这种周围传感器6b能够具备毫米波雷达、激光雷达、摄像头或它们的组合等。
速度信息获取部6c获取车辆1的行驶状态的信息。例如，速度信息获取部6c从未图示的车辆1的速度传感器等获取车辆1的速度和行驶方向等信息来作为上述信息。地图信息获取部6d获取表示车辆1的周围的状况的地图信息。地图信息获取部6d例如获取车辆1行驶的道路、道路中的与其它车辆合流的合流点、道路中的当前行驶中的车道、道路中的交叉路口的位置等地图信息来作为上述地图信息。外部环境信息获取部6e获取与车辆1的周围环境有关的信息、即外部环境信息。外部环境信息包含车辆1行驶的道路的拥堵信息、天气信息、事故经历信息等。外部环境信息获取部6e例如通过VICS(注册商标)(VehicleInformationand Communication System：道路交通信息通信系统)来获取拥堵信息，例如通过经由因特网等通信网络进行的通信来获取天气信息和事故经历信息。状态检测部6的各构成要素将检测结果输出到车辆控制部2，进一步地，将检测结果保存到存储部7中。
输入部4接受由车辆1的驾驶员进行的输入。输入部4例如既可以由配置于车辆1的转向装置的开关构成，也可以是配置在驾驶员的手能够到的位置的触摸面板。触摸面板是具备能够显示信息以及接受输入的液晶面板等面板的装置。输入部4将输入信息输出到车辆控制部2，进一步地，将输入信息保存到存储部7中。
信息通知部5基于获取到的信息来显示各种信息。信息通知部5具备获取信息的信息获取部5a和将获取到的信息显示为图像的通知装置5b。信息获取部5a从车辆控制部2等获取信息，并将获取到的信息显示于通知装置5b。信息获取部5a也获取来自操作系统检测部3的输出信息、来自输入部4的输出信息、来自状态检测部6的输出信息等，并将这些信息显示于通知装置5b。信息获取部5a也可以具有与上述的自动驾驶控制系统10等的构成要素相同的结构。
通知装置5b是显示与车辆1有关的信息的显示装置。通知装置5b可以是平视显示器(Head Up Display：HUD)、LCD(Liquid Crystal Display：液晶显示器)、有机或无机EL(Electro Luminescence：电致发光)显示器、HMD(Head-Mounted Display：头戴式显示器或Helmet-Mounted Display：头盔式显示器)、眼镜型显示器(Smart Glasses：智能眼镜)、其它专用的显示器。HUD例如既可以具有利用车辆1的挡风玻璃的结构，也可以是利用与挡风玻璃相分别地设置的玻璃面、塑料面(例如，组合器(combiner))等的结构。另外，挡风玻璃既可以是车辆1的前挡风玻璃，也可以是车辆1的侧窗玻璃或后挡风玻璃。
虽然并不限定于此，但在本实施方式中，如图2所示，通知装置5b将在车辆1的前方的仪表盘1a设置的玻璃A作为显示介质，来向玻璃A投影表示各种信息的图像。此外，图2是示出车辆1中的图1的通知装置5b的显示介质的一例的图。而且，通知装置5b如图3所示那样在玻璃A的表面上并排地显示当前图像B1和将来图像B2。当前图像B1显示车辆1的当前的状态，将来图像B2显示推测出的车辆1的将来的状态。此外，图3是示出通知装置5b的显示图像的一例的图。在获取不到车辆1的将来的状态的情况下，如图3所示，作为将来图像B2，不进行任何显示。在当前图像B1中能够显示速度、制动的强度、加速踏板开度、转向装置转向角等车辆1的当前的行驶状态、使车辆1进行的自动驾驶的状态以及在地图上显示当前的车辆1及其周围的车辆的鸟瞰图。在将来图像B2中能够显示车辆1的将来的行驶状态和在地图上显示将来的车辆1及其周围的车辆的鸟瞰图。在图3的例子中，在当前图像B1的鸟瞰图中显示有作为地图的道路、道路上的车辆1以及周围的车辆(车辆ID：v1～v3)。此外，车辆ID是针对周围的车辆设定的标识符。
返回到图1，存储部7可以是ROM(Read Only Memory：只读存储器)、RAM(RandomAccess Memory：随机存取存储器)、硬盘装置、SSD(Solid State Drive：固态驱动器)等存储装置。存储部7存储操作系统检测部3的检测结果、向输入部4输入的输入信息、状态检测部6的检测结果、利用自动驾驶控制系统10进行行为估计所用的知识(也称为机器学习数据)、在后述的机器学习中使用的神经网络等各种信息。另外，存储部7存储车辆1的当前时间点的行驶环境与车辆1接下来能够采取的行为的候选之间的对应关系。
自动驾驶控制系统10的学习部11构建用于进行与车辆1的特定的驾驶员对应的行为估计的机器学习数据。在本实施方式中，学习部11在机器学习中使用神经网络(以下，也称为NN)，但也可以使用其它机器学习方法。在此，神经网络是将脑神经系统设为模型的信息处理模型。神经网络由包括输入层和输出层的多个节点层构成。节点层中包括一个以上的节点。神经网络的模型信息表示构成神经网络的节点层的数量、各节点层中包括的节点数、神经网络的整体或各节点层的类别。在神经网络例如由输入层、中间层以及输出层这三个节点层构成的情况下，能够设为输入层的节点数例如是100，中间层的节点数例如是100，输出层的节点数例如是5。神经网络针对被输入到输入层的节点的信息依次进行从输入层向中间层的输出处理、中间层中的处理、从中间层向输出层的输出处理以及输出层中的处理，并输出与输入信息匹配的输出结果。此外，一个层的各节点与下一个层的各节点连接，对节点间的连接进行加权。一个层的节点的信息在被施加节点间的连接的加权之后，被输出到下一个层的节点。
学习部11根据车辆1的特定的驾驶员x的驾驶历史记录来构建驾驶员x的神经网络。或者，学习部11也可以根据车辆1的特定的驾驶员x的驾驶历史记录和驾驶员x以外的多个驾驶员的通用的驾驶历史记录来构建驾驶员x的神经网络。或者，学习部11也可以根据车辆1的特定的驾驶员x的行驶历史记录来构建驾驶员x的神经网络。或者，学习部11也可以根据车辆1的特定的驾驶员x的行驶历史记录和驾驶员x以外的多个驾驶员的通用的行驶历史记录来构建驾驶员x的神经网络。学习部11也可以利用以下事例中的至少一个事例来构建神经网络：使用特定的驾驶员x的驾驶历史记录的事例；使用特定的驾驶员x的驾驶历史记录和通用的驾驶历史记录的事例；使用特定的驾驶员x的行驶历史记录的事例；以及使用特定的驾驶员x的行驶历史记录和通用的行驶历史记录的事例。此外，多个驾驶员既可以是数量不确定的多个驾驶员，也可以不与车辆1关联。然后，学习部11将构建出的神经网络作为行为估计NN输出到行为估计部12。
将过去由车辆进行的行为分别与多个特征量(以下，也称为特征量集)建立对应来构成驾驶历史记录。与行为对应的特征量例如分别是表示从由车辆开始进行该行为的时间点到经过第一规定时间之前的时间点的期间的车辆的行驶状态的量。第一规定时间既可以是预先设定的时间，例如也可以是直到下一个行为开始为止的时间等。通用的驾驶历史记录是数量不确定的多个车辆的驾驶历史记录。例如，将行为以及与该行为对应的特征量集进行组合并存储于存储部7。特征量是与车辆的行为相关联的参数，例如表示车辆的同乘人员数、车辆的速度、转向装置的动态、制动踏板的程度、加速踏板的程度等。特征量例如是由操作系统检测部3和状态检测部6检测的车辆的行驶状态。
行驶历史记录是将过去由车辆进行的行为分别与多个环境参数(以下，也称为环境参数集)建立对应而构成的。与行为对应的环境参数例如分别是表示从由车辆进行了该行为的时间点到经过第一规定时间之前的时间点的期间的车辆1的周围状况、即环境的量。在通用的行驶历史记录的情况下，是数量不确定的多个车辆的行驶历史记录。例如，将行为以及与该行为对应的环境参数集进行组合并存储于存储部7。环境参数是与车辆的环境相关联的参数，例如表示以下信息：本车辆的信息；前方车辆、侧方车辆或后方车辆相对于本车辆的相对速度、车间距离、车头间距离等信息；合流车辆相对于本车辆的相对速度、车头间距离等信息；本车辆的位置信息等。环境参数例如是由状态检测部6检测的车辆的周围状况。
学习部11根据数量不确定的多个驾驶员的通用的驾驶历史记录和行驶历史记录中的至少一方构建通用的神经网络，来作为通用行为估计NN，并且，使用特定的驾驶员x的驾驶历史记录和行驶历史记录中的至少一方调整通用行为估计NN，来构建与驾驶员x对应的专用行为估计NN。例如，如表示利用专用行为估计NN进行的行为估计的一例的图4所示，在驾驶员x所搭乘的车辆1的自动驾驶期间，将在当前时间点得到的特征量集和环境参数集中的至少一方作为输入参数输入到专用行为估计NN，由此输出与驾驶员x的驾驶及所输入的信息对应的行为。该行为例如是在经过第一规定时间后驾驶员x能够采取的估计行为。在图4的例子中，车辆1的本车辆速度、其它车辆速度等输入参数被输入到专用行为估计NN，专用行为估计NN输出减速来作为估计行为。此外，专用行为估计NN也可以输出多个估计行为。
在通用行为估计NN的构建中，学习部11将任意的驾驶员的通用的驾驶历史记录和行驶历史记录中的至少一方中包含的多个特征量和环境参数中的至少一方作为输入参数输入到神经网络。并且，学习部11将神经网络的节点间的加权进行最优化，使得来自神经网络的输出同与该输入参数对应的教授数据即行为一致。通过这种加权的调整，学习部11使神经网络学习输入参数与教授数据的关系，来构建与任意的驾驶员对应的通用行为估计NN。
在专用行为估计NN的构建中，学习部11使用特定的驾驶员x的驾驶历史记录和行驶历史记录中的至少一方调整通用行为估计NN，来构建与驾驶员x对应的专用行为估计NN。学习部11将驾驶员x的驾驶历史记录和行驶历史记录中的至少一方中包含的特定的行为以及与该行为对应的特征量集和环境参数集中的至少一方输入到通用行为估计NN，由此调整通用行为估计NN的节点间的加权以获得作为教授数据的上述行为来作为输出。这样，在神经网络中，将调整节点间的加权也称为再学习。然后，将如上述那样进行了再学习的通用行为估计NN视为专用行为估计NN。不仅针对一个教授数据进行专用行为估计NN的再学习，还针对多个其它教授数据分别进行专用行为估计NN的再学习。也就是说，学习部11通过迁移学习来构建与特定的驾驶员x对应的专用的神经网络、即专用行为估计NN。
自动驾驶控制系统10的行为估计部12向由学习部11构建出的专用行为估计NN输入在当前时间点得到的特征量集和环境参数集中的至少一方来作为输入参数，由此输出与所输入的信息对应的行为来作为估计行为。也就是说，行为估计部12例如输出经过第一规定时间后的车辆1的行为的估计结果。行为估计部12将行为估计结果输出到自动驾驶评价部13。此外，行为估计部12构成为从操作系统检测部3和状态检测部6分别获取检测结果。
自动驾驶控制系统10的自动驾驶评价部13判定在车辆1的自动驾驶期间是否采用利用行为估计部12得到的行为估计结果。自动驾驶评价部13计算车辆1的当前的行为与行为估计部12的行为估计结果之间的变化量，基于该变化量来判定行为估计结果是否有效。中后文中叙述自动驾驶评价部13的详细内容。
图像显示系统100的第一处理部100a从行为估计部12获取行为估计结果。第一处理部100a基于获取到的行为估计结果来估计从当前时间点起经过第二规定时间后的车辆1的位置，并输出到图像显示系统100的比较部100c。具体地说，第一处理部100a估计经过第二规定时间前后的车辆1的位移。第二规定时间既可以与第一规定时间相同，也可以比第一规定时间长或短，还可以被任意地设定。例如，第二规定时间可以是1秒以上且10秒以下等几秒的时间。在车辆1的行为采用了行为估计结果的情况下，这种第一处理部100a估计在经过第二规定时间后车辆1发生的位移。在经过第二规定时间时没有完成估计出的行为的情况下，能够对估计出的行为的中途的车辆1的位移进行估计，在经过第二规定时间时完成了估计出的行为的情况下，能够对完成估计出的行为的车辆1的位移进行估计。此外，上述的车辆1的位移既可以是第二规定时间经过前后的车辆1的位置之间的位移，也可以是相对于在维持行为估计时的现有的行为的情况下经过第二规定时间后的车辆1的位置的相对位移。
图像显示系统100的第二处理部100b经由车辆控制部2获取状态检测部6的检测结果。第二处理部100b根据获取到的检测结果来获取与车辆1的当前位置和行驶状态以及车辆1的周围的车辆的当前的位置和行驶状态有关的信息，并将这些信息彼此关联。第二处理部100b也可以获取与处于车辆1的周围的车辆以外的物体的位置有关的信息，并将该信息与车辆1的位置相关联。第二处理部100b基于上述关联，例如生成如图3所示的将车辆1与其周围的车辆等周围物体的位置关系以地图上的鸟瞰图的方式表示的数据。第二处理部100b将车辆1及其周围的车辆等的位置关系以及车辆1及其周围的车辆的行驶状态输出到比较部100c。此时，第二处理部100b对车辆1的周围的车辆附加ID等标识符以能够识别各车辆。此外，也可以针对每个车辆预先设定ID。例如也可以利用外部环境信息获取部6e，通过经由因特网等通信网络进行的通信来获取这样的ID。
图像显示系统100的比较部100c将从第一处理部100a获取到的车辆1的位移信息与从第二处理部100b获取到的车辆1及其周围的车辆的当前的行驶状态及彼此的当前的位置关系等信息进行比较，计算车辆1及其周围的车辆等周围物体的将来的位置关系。具体地说，比较部100c生成将经过第二规定时间后的车辆1及其周围的车辆等的位置关系以地图上的鸟瞰图的方式表示的数据，来作为将来的位置关系的数据，并且，将该数据作为图像数据输出到通知装置5b。此时，比较部100c根据车辆1的位移信息以及车辆1的当前位置和速度，来计算经过第二规定时间后的车辆1的位置。另外，比较部100c根据周围的车辆1的当前位置和速度，来计算经过第二规定时间后的周围的车辆1的位置。另外，比较部100c向通知装置5b输出将车辆1及其周围的车辆等的当前的位置关系以地图上的鸟瞰图的方式表示的数据来作为图像数据。此外，也可以由第一处理部100a进行经过第二规定时间后的车辆1的位置的计算。
另外，比较部100c基于车辆1的行为估计结果和车辆1的当前的行驶状态，来计算经过第二规定时间后的将来的车辆1的行驶状态，并输出到通知装置5b。此时，比较部100c也可以仅输出速度、制动的强度、加速踏板开度、转向装置转向角等行驶状态的参数中的在经过第二规定时间的前后发生变化的参数。与行为对应的加速度、速度、转向装置转向角等参数既可以预先设定好，也可以根据特定的驾驶员的驾驶历史记录或多个驾驶员的驾驶历史记录来决定。
另外，第一处理部100a也可以随时间经过而输出经过第二规定时间后的车辆1的位移，第二处理部100b也可以随时间经过而输出车辆1及其周围的车辆等的当前的位置关系。而且，比较部100c也可以基于随时间经过而获取的信息，随时间经过而输出经过第二规定时间后的车辆1及其周围的车辆等的位置关系。
另外，自动驾驶评价部13计算车辆1的当前的行为与从行为估计部12输出的行为估计结果之间的变化量。例如，自动驾驶评价部13将变化量与阈值进行比较，在变化量为阈值以下的情况下、也就是车辆1的行为缓慢地变化的情况下，将行为估计结果设为有效。然后，自动驾驶评价部13将行为估计结果输出到车辆控制部2。并且，自动驾驶评价部13还可以将行为估计结果输出到信息通知部5的通知装置5b。其结果，车辆控制部2基于行为估计结果进行车辆1的控制，通知装置5b能够显示正在执行的行为。
另一方面，在上述变化量超过阈值的情况下、也就是车辆1的行为急剧地变化的情况下，自动驾驶评价部13将行为估计结果设为无效。然后，自动驾驶评价部13将表示行为估计结果无效的控制信号输出到学习部11。学习部11使专用行为估计NN进行再学习，使得不会根据与无效的行为估计结果对应的输入参数来输出行为估计结果。关于专用行为估计NN的再学习，既可以使专用行为估计NN自身进行再学习以使不会根据上述参数来输出行为估计结果，也可以是，在使通用行为估计NN进行再学习之后，使用特定的驾驶员的驾驶历史记录和行驶历史记录来从再学习后的通用行为估计NN构建专用行为估计NN。另外，由于车辆控制部2未接收行为估计结果，因此维持车辆1的现有的行为。此外，自动驾驶评价部13也可以将第二处理部100b的输出结果和比较部100c的输出结果使用于上述变化量的计算。
[2.图像显示系统的动作]
对实施方式所涉及的图像显示系统100及其周边的构成要素的动作的一例进行说明。在此，当参照图1时，自动驾驶控制系统10的学习部11在特定的驾驶员的专用行为估计NN的构建中构建与车辆1的行驶场景对应的专用行为估计NN。行驶场景包括车辆的行驶环境、行驶期间的天气、交通状况等要素。车辆的行驶环境表示市区、闲散地等道路环境。交通状况表示拥堵等交通流量。学习部11通过使用各种行驶场景中的车辆1的行驶历史记录进行的迁移学习，来构建与行驶场景对应的专用行为估计NN。由此，针对每个行驶场景构建专用行为估计NN。此外，与专用行为估计NN对应的行驶场景既可以由一个要素构成，也可以由多个要素的组合构成。
参照图5，示出了表示图像显示系统100及其周边的构成要素的动作流程的一例的流程图。在步骤S101中，在车辆1的自动驾驶期间，自动驾驶控制系统10的学习部11经由存储部7从状态检测部6获取车辆1的位置信息、车辆1的位置的地图信息、拥堵信息、天气信息等与车辆1及其周围的状况有关的信息。学习部11根据获取到的信息来确定与该信息对应的车辆1的行驶场景。此外，也可以是，与车辆1及其周围的状况有关的信息与车辆1的行驶场景预先被相对应地保存到存储部7中，学习部11基于存储部7中保存的信息来确定车辆1的行驶场景。
并且，在步骤S102中，学习部11从存储部7中保存的各种专用行为估计NN中选择与车辆1的特定的驾驶员x对应且与车辆1的行驶场景对应的专用行为估计NN。然后，学习部11将选择出的专用行为估计NN输出到行为估计部12。
接着，在步骤S103中，行为估计部12使用获取到的专用行为估计NN来进行从当前起经过第一规定时间后的车辆1的行为估计，也就是驾驶行动的预测。具体地说，行为估计部12将从状态检测部6获取到的与当前的车辆1的行驶状态及周围的状况有关的参数输入到专用行为估计NN，来获得车辆1的行为估计结果。然后，行为估计部12将车辆1的行为估计结果输出到自动驾驶评价部13，也就是图像显示系统100的第一处理部100a。
在步骤S104中，第一处理部100a基于获取到的行为估计结果来估计从当前时间点起经过第二规定时间后的车辆1的位置，并输出到图像显示系统100的比较部100c。虽然没有进行限定，但在本实施方式中，所估计的车辆1的位置是相对于在车辆1维持行为估计时的行为的情况下经过第二规定时间后的车辆1的位置的相对位移。此外，期望第二规定时间是第一规定时间以下的长度，并且期望是直到现有的行为完成为止的时间，以使在估计出的行为实际开始之前输出反映了行为估计结果的车辆1的估计位移。
另外，在步骤S105中，图像显示系统100的第二处理部100b基于从状态检测部6获取到的信息，来计算车辆1及其周围的车辆等周围物体的当前的位置关系以及车辆1及其周围的车辆的当前的行驶状态，并输出到比较部100c。此外，步骤S104和步骤S105的顺序并不限定于记载的顺序，这些步骤的顺序可以是相反的，也可以同时进行这些步骤。
接着，在步骤S106中，比较部100c基于从第一处理部100a获取到的车辆1的位移信息和从第二处理部100b获取到的车辆1及其周围的车辆的当前的行驶状态以及彼此的当前的位置关系等信息，来生成车辆1及其周围的车辆等周围物体的经过第二规定时间后的位置关系的图像数据，并输出到信息通知部5的通知装置5b。另外，比较部100c基于从第二处理部100b获取到的信息来生成车辆1及其周围的车辆等周围物体的当前的位置关系的图像数据，并输出到信息通知部5的通知装置5b。并且，比较部100c基于车辆1的估计行为和车辆1的当前的行驶状态来计算经过第二规定时间后的车辆1的行驶状态的参数的值，并将在经过第二规定时间的前后发生变化的参数值输出到通知装置5b。
另外，在步骤S107中，自动驾驶评价部13计算车辆1的当前的行为与从行为估计部12输出的行为估计结果之间的变化量，基于该变化量来判定行为估计结果是否有效。此外，在步骤S106和步骤S107的顺序并不限定于记载的顺序，这些步骤的顺序可以是相反的，也可以同时进行这些步骤。
在行为估计结果有效的情况下(在步骤S107中为“是”)，在步骤S108中，自动驾驶评价部13将行为估计结果输出到车辆控制部2以及信息通知部5的通知装置5b。进而，在步骤S109中，通知装置5b基于获取到的信息，例如如图6所示那样在玻璃A等显示介质上显示当前图像B1和将来图像B2。此外，图6是示出显示当前图像B1和将来图像B2的情况下的通知装置5b的显示图像的一例的图。
通知装置5b在当前图像B1中将车辆1的当前的行为显示于行为显示部B1a，将从比较部100c获取到的车辆1及其周围物体的当前的图像显示为鸟瞰图B1b。通知装置5b既可以将从自动驾驶评价部13获取的行为估计结果用作车辆1的当前的行为，也可以将经由信息获取部5a从车辆控制部2获取的当前也就是现有的行为信息用作车辆1的当前的行为。这种通知装置5b能够根据状况在行为显示部B1a中显示车辆1的现有的行为以及此后要实施的预定的行为即估计行为中的任意行为。例如，在图6中，作为当前的行为，显示“车道变更”，在鸟瞰图中，在多个车道的道路上显示有车辆1和周围的车辆(车辆ID为v1～v3)。
另外，通知装置5b在将来图像B2中将从比较部100c获取到的车辆1及其周围物体的经过第二规定时间后的图像显示为鸟瞰图B2b。另外，通知装置5b在将来图像B2中显示从比较部100c获取到的在经过第二规定时间的前后发生变化的参数值B2c。例如在图6中，作为参数值B2c，显示有经过第二规定时间后的车辆1的速度。另外，在鸟瞰图B2b中，在多个车道的道路上显示有经过第二规定时间的前后的车辆1和经过第二规定时间后的周围的车辆(车辆ID为v1～v3)。用虚线显示经过第二规定时间前的车辆1。此外，在鸟瞰图B2b中，作为用虚线显示的经过第二规定时间前的车辆1，既可以显示处于经过第二规定时间前的位置的车辆1，也可以显示在车辆1维持行为估计时的现有的行为的情况下经过第二规定时间后的车辆1。在前者的情况下，经过第二规定时间前的车辆1的位置不是准确的位置也无妨，可以是示出与周围的车辆的相对的位置关系的位置。在后者的情况下，驾驶员能够确认采用估计行为结果的情况下与不采用估计行为结果的情况下的车辆1的将来位置的差异。另外，车辆控制部2按照估计行为结果来控制车辆1。
在行为估计结果无效的情况下(在步骤S107中为“否”)，在步骤S110中，自动驾驶评价部13不将行为估计结果输出到车辆控制部2，而是将行为估计结果无效的控制信号输出到通知装置5b。接着，在步骤S111中，通知装置5b例如如图3所示那样在显示介质A上仅显示当前图像B1。这样，在不存在估计出的行为的情况下，通知装置5b仅显示当前图像B1。通知装置5b与步骤S108同样地显示当前图像B1，但行为被维持现状，因此既可以在行为显示部B1a中显示“维持现状”，也可以不显示行为显示部B1a。在如图3那样不显示行为显示部B1a的情况下，通知装置5b也可以基于由信息获取部5a从操作系统检测部3和状态检测部6获取的信息来显示与车辆1的行驶状态有关的参数值。另外，车辆控制部2按照现有的行为来控制车辆1。
这样，车辆1的驾驶员能够通过视觉观察当前图像B1和将来图像B2来在视觉上识别车辆1的当前的状况和车辆1的将来的状况。驾驶员能够基于车辆1的当前的状况和将来的状况来容易地判断是否接受了由自动驾驶控制系统10估计出的行为。例如，驾驶员能够在无法接受估计出的行为的情况下，选择其它行为来作为下一个行为，或者将自动驾驶切换为手动驾驶来使车辆1按照驾驶员的意图运行。
另外，在上述的例子中，由自动驾驶控制系统10进行的车辆1的行为控制没有受到车辆1的驾驶员的干预，但以下说明受到干预的情况下的例子。参照图7，示出表示图像显示系统100及其周边的构成要素的动作流程的其它例的流程图。
在步骤S201中，学习部11和行为估计部12进行图5的步骤S101～S103的处理，根据与车辆1及其周围的状况有关的信息来确定车辆1的行驶场景，使用与确定出的行驶场景对应的专用行为估计NN将车辆1的行为估计结果输出到图像显示系统100。例如，在本例中，行为估计部12向车辆1输出加速来作为接下来要实施的行为。
接着，在步骤S202中，图像显示系统100进行与图5的步骤S104～S109同样的处理，使通知装置5b显示当前图像B1和将来图像B2。例如，在本例中，如图8所示，通知装置5b在当前图像B1中的行为显示部B1a中显示“加速”，并且显示当前的鸟瞰图B1b，在将来图像B2中显示从当前时间点起经过第二规定时间后的鸟瞰图B2b，并且显示在经过第二规定时间的前后发生变化的参数值B2c即车辆1的速度。此外，图8是示出行为估计结果为加速的情况下的通知装置5b的显示图像的一例的图。
当车辆1的驾驶员经由输入部4进行用于指示行为的输入时(在步骤S203中为“是”)，图像显示系统100经由车辆控制部2获取所指示的行为信息。进而，图像显示系统100将所指示的行为设为估计行为来进行与图5的步骤S104～S109同样的处理，并使通知装置5b显示当前图像B1和将来图像B2(步骤S204)。
例如，在本例中，车辆1的驾驶员向输入部4输入行为“车道变更”。在该情况下，如图9所示，在当前图像B1中，在行为显示部B1a中显示“车道变更”，并显示车辆1及其周围物体的当前的鸟瞰图B1b。此外，图9是示出遵从了车辆1的驾驶员的指示的情况下的通知装置5b的显示图像的一例的图。另外，当前和当前时间点是紧接车辆1的驾驶员向输入部4输入了行为“车道变更”之后的时间点。在将来图像B2中，显示从当前时间点起经过第二规定时间后的车辆1及其周围物体的鸟瞰图B2b，并显示在经过第二规定时间的前后发生变化的参数值B2c，具体地说显示车辆1的速度。进而，自动驾驶评价部13将所指示的行为输出到车辆控制部2，车辆控制部2按照获取到的行为来控制车辆1(步骤S205)。
在车辆1的驾驶员未进行用于指示行为的输入的情况下(在步骤S203中为“否”)，自动驾驶评价部13将估计出的行为“加速”输出到车辆控制部2，车辆控制部2按照获取到的行为“加速”来控制车辆1(步骤S206)。在该情况下，图像显示系统100使基于行为“加速”生成的将来图像B2显示于通知装置5b，但在行为的变化微小的情况下，也可以不显示将来图像B2。
在继步骤S205之后的步骤S207中，自动驾驶控制系统10的学习部11从比较部100c等获取驾驶员的指示行为，将该驾驶员的指示行为设为正确标签来进行专用行为估计NN的再学习。具体地说，学习部11在由行为估计部12得到“加速”的行为估计结果时使用输入到专用行为估计NN的参数来调节专用行为估计NN的节点间的加权，以提高将这些参数输入到专用行为估计NN而得到的输出结果与正确标签“车道变更”的一致度。然后，学习部11将调节后的专用行为估计NN保存到存储部7中。
这样，在由车辆1的驾驶员指示了执行与自动驾驶控制系统10的行为估计结果不同的行为的情况下，图像显示系统100生成与所指示的行为对应的当前图像B1和将来图像B2。并且，自动驾驶控制系统10为了提高行为的估计精度而将所指示的行为视为正确的行为估计结果，来进行专用行为估计NN的再学习。此外，在专用行为估计NN的再学习中，既可以使专用行为估计NN自身进行再学习，也可以是，在使通用行为估计NN进行再学习之后，使用特定的驾驶员的驾驶历史记录和行驶历史记录来从再学习后的通用行为估计NN构建专用行为估计NN。
[3.效果等]
如上述那样，实施方式所涉及的图像显示系统100具备第一处理部100a、第二处理部100b以及比较部100c。第一处理部100a获取车辆1的行为的估计结果即行为估计结果，基于行为估计结果来生成车辆1的经过第二规定时间后的将来的位置信息。第二处理部100b获取与车辆1有关的当前的信息，基于获取到的信息来生成车辆1及车辆1的周围物体的当前的位置信息。比较部100c将车辆1的将来的位置信息与车辆1及车辆1的周围物体的当前的位置信息进行比较，生成表示车辆1及车辆1的周围物体的当前的位置的当前图像数据和表示车辆1及车辆1的周围物体的将来的位置的将来图像数据。并且，比较部100c使基于当前图像数据的当前图像B1和基于将来图像数据的将来图像B2一起显示于作为显示装置的通知装置5b。例如，车辆1的周围物体也可以是车辆1以外的车辆。
在上述结构中，在将来图像B2中显示反映了行为估计结果以及车辆1及车辆1的周围物体的当前的位置信息的、车辆1及车辆1的周围物体的将来的位置。在当前图像B1中显示反映了车辆1及车辆1的周围物体的当前的位置信息的车辆1及车辆1的周围物体的当前的位置。车辆1的驾驶员通过视觉观察一起显示的当前图像B1和将来图像B2，能够在视觉上识别自动驾驶期间的车辆1及其周围的状况的当前与将来的差异。由此，图像显示系统100能够提供与车辆1的将来的行为有关的信息，给予驾驶员安心感。
在实施方式所涉及的图像显示系统100中，比较部100c使当前图像B1和将来图像B2并排地显示于通知装置5b。在上述结构中，当前图像B1与将来图像B2以不重叠的方式并排地配置，因此车辆1的驾驶员能够容易地视觉识别当前图像B1与将来图像B2的差异。
在实施方式所涉及的图像显示系统100中，与车辆1有关的当前的信息也可以包含车辆1的位置信息和速度信息、车辆1的位置的地图信息以及车辆1的周围物体的位置信息和速度信息。而且，比较部100c在当前图像B1和将来图像B2中，在车辆1的位置的地图上显示车辆1及车辆1的周围物体。在上述结构中，车辆1及车辆1的周围物体被显示在车辆1的位置的地图上，因此车辆1的驾驶员能够将车辆1及车辆1的周围物体与道路等的状况一并进行视觉识别。由此，车辆1的驾驶员能够进一步依据现实来识别车辆1及车辆1的周围物体的状况。
在实施方式所涉及的图像显示系统100中，行为估计结果是利用机器学习、根据车辆1的周围的状况的信息和车辆1的行驶状态的信息中的至少一方估计出的结果。在上述结构中，利用机器学习估计出的行为能够成为基于驾驶员的经验得到的行为，能够成为与由驾驶员预测的行为接近的行为。也就是说，利用机器学习估计出的行为能够成为与驾驶员的感觉接近的行为。由此，能够形成反映了驾驶员的意图的将来图像B2。例如，机器学习可以是神经网络。
在实施方式所涉及的图像显示系统100中，比较部100c从车辆1获取车辆1的当前的速度信息和操作信息，使用行为估计结果以及车辆1的当前的速度信息和操作信息来计算表示车辆1的将来的行驶状态的参数值，并在将来图像B2中显示该参数值。在上述结构中，车辆1的驾驶员不仅能够根据将来图像B2来识别将来的车辆1的位置，还能够根据将来图像B2来识别车辆1的行驶状态，因此能够更加准确地识别车辆1的将来的行为。
实施方式所涉及的图像显示系统100从车辆1的驾驶员接受行为的指示，第一处理部100a将所指示的行为作为行为估计结果来进行处理。在上述结构中，在车辆1的驾驶员指示了意图进行的行为的情况下，图像显示系统100也能够向驾驶员提供与所指示的行为对应的车辆1及车辆1的周围物体的位置等。
另外，实施方式所涉及的图像显示方法也可以通过以下方法来实现。也就是说，在该图像显示方法中，获取与车辆有关的当前的信息，基于获取到的信息来生成所述车辆及所述车辆的周围物体的当前的位置信息。并且，获取所述车辆的行为的估计结果即行为估计结果，基于所述行为估计结果来生成所述车辆的经过规定时间后的将来的位置信息。进而，将所述车辆的所述将来的位置信息与所述车辆及所述车辆的所述周围物体的所述当前的位置信息进行比较，生成表示所述车辆及所述车辆的所述周围物体的当前的位置的当前图像数据和表示所述车辆及所述车辆的所述周围物体的将来的位置的将来图像数据。并且，将基于所述当前图像数据的当前图像和基于所述将来图像数据的将来图像一起显示。
此外，上述方法也可以通过MPU(Micro Processing Unit：微处理单元)、CPU、处理器、LSI等电路、IC卡或单个模块等实现。通过上述方法也能够获得与实施方式所涉及的图像显示系统100的效果相同的效果。
另外，实施方式中的处理也可以通过软件程序或由包括软件程序的数字信号来实现。例如，实施方式中的处理通过如下那样的程序来实现。也就是说，该程序是使计算机执行图像显示方法的程序，在该图像显示方法中，获取与车辆有关的当前的信息，基于获取到的信息来生成所述车辆及所述车辆的周围物体的当前的位置信息，获取所述车辆的行为的估计结果即行为估计结果，基于所述行为估计结果来生成所述车辆的经过规定时间后的将来的位置信息。在该图像显示方法中，还将所述车辆的将来的位置信息与所述车辆及所述车辆的所述周围物体的所述当前的位置信息进行比较，生成表示所述车辆及所述车辆的所述周围物体的当前的位置的当前图像数据和表示所述车辆及所述车辆的所述周围物体的将来的位置的将来图像数据。在该图像显示方法中，还使基于所述当前图像数据的当前图像和基于所述将来图像数据的将来图像一起显示。
此外，上述程序和包括上述程序的数字信号也可以记录于计算机可读记录介质，例如软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(注册商标)Disc)、半导体存储器等。
另外，上述程序和包括上述程序的数字信号也可以经由电通信线路、无线或有线通信线路以及以因特网为代表的网络、数据广播等进行传输。另外，上述程序和包括上述程序的数字信号也可以记录于记录介质来进行输送或经由网络等进行输送，由此由相独立的其它计算机系统来实施。
[其它]
如以上那样，对作为在本申请中公开的技术例示的实施方式进行了说明。然而，本公开的技术并不限定于这些实施方式，也能够应用于适当进行了变更、置换、追加、省略等而得到的实施方式的变形例或其它实施方式。另外，还能够将实施方式中说明的各构成要素进行组合来形成新的实施方式或变形例。
例如，代表性地，实施方式所涉及的图像显示系统等中包括的各处理部被实现为作为集成电路的LSI。这些处理部既可以分别单独地形成为一个芯片，也可以是以包含一部分或全部的处理部的方式形成一个芯片。另外，集成电路化并不限于LSI，也可以由专用电路或通用处理器来实现。也可以利用能够在制造LSI后进行编程的FPGA(FieldProgrammable Gate Array：现场可编程门阵列)、或能够对LSI内部的电路单元的连接、设定进行重构的可重构处理器。
此外，在实施方式中，各构成要素也可以由专用的硬件来构成，或通过执行适于各构成要素的软件程序来实现。各构成要素也可以通过由CPU或处理器等程序执行部读出硬盘或半导体存储器等记录介质中记录的软件程序并执行该软件程序来实现。
并且，本公开的技术既可以是上述程序，也可以是记录有上述程序的非暂时性的计算机可读记录介质。另外，上述程序能够经由因特网等传输介质来流通，这是不言而喻的。
另外，上述使用的序数、数量等数字均是为了具体地说明本公开的技术而例示的，本公开并不被所例示的数字限制。另外，构成要素间的连接关系是为了具体地说明本公开的技术的而例示的，实现本公开的功能的连接关系并不限定于此。
另外，块图中的功能块的分割是一例，也可以将多个功能块实现为一个功能块，或者将一个功能块分割为多个功能块，将一部分功能转移到其它功能块。另外，也可以由单个的硬件或软件同时或分时地对具有类似的功能的多个功能块的功能进行处理。
产业上的可利用性
本公开的图像显示系统等能够应用于对与车辆的驾驶有关的信息进行处理的装置或系统。
附图标记说明
1：车辆；5b：通知装置(显示装置)；100：图像显示系统；100a：第一处理部；100b：第二处理部；100c：比较部；B1：当前图像；B2：将来图像；1a：仪表盘；2：车辆控制部；3：操作系统检测部；3a：制动踏板传感器；3b：加速踏板传感器；3c：转向指示灯传感器；3d：转向装置传感器；4：输入部；5：信息通知部；5a：信息获取部；6：状态检测部；6a：位置信息获取部；6b：周围传感器；6c：速度信息获取部；6d：地图信息获取部；6e：外部环境信息获取部；7：存储部；10：自动驾驶控制系统；11：学习部；12：行为估计部；13：自动驾驶评价部；B1a：行为显示部；B1b：鸟瞰图；B2b：鸟瞰图；B2c：参数值。

Claims (8)

1.一种图像显示系统，具备：
第一处理部，其获取车辆的行为的估计结果即行为估计结果，基于所述行为估计结果来生成所述车辆的经过规定时间后的将来的位置信息；
第二处理部，其获取与所述车辆有关的当前的信息，基于获取到的信息来生成所述车辆及所述车辆的周围物体的当前的位置信息；以及
比较部，其将所述车辆的所述将来的位置信息与所述车辆及所述车辆的所述周围物体的所述当前的位置信息进行比较，生成表示所述车辆及所述车辆的所述周围物体的当前的位置的当前图像数据和表示所述车辆及所述车辆的所述周围物体的将来的位置的将来图像数据，
其中，所述比较部使基于所述当前图像数据的当前图像和基于所述将来图像数据的将来图像一起显示于显示装置。
2.根据权利要求1所述的图像显示系统，其特征在于，
所述比较部使所述当前图像和所述将来图像并排地显示于所述显示装置。
3.根据权利要求1或2所述的图像显示系统，其特征在于，
与所述车辆有关的所述当前的信息包含所述车辆的位置信息和速度信息、所述车辆的位置的地图信息以及所述车辆的所述周围物体的位置信息和速度信息，
所述比较部在所述当前图像和所述将来图像中的所述车辆的位置的地图上显示所述车辆及所述车辆的所述周围物体。
4.根据权利要求1～3中的任一项所述的图像显示系统，其特征在于，
所述行为估计结果是利用机器学习、根据所述车辆的周围状况的信息和所述车辆的行驶状态的信息中的至少一方估计出的结果。
5.根据权利要求1～4中的任一项所述的图像显示系统，其特征在于，
所述比较部从所述车辆获取所述车辆的当前的速度信息和操作信息，
所述比较部使用所述行为估计结果、所述车辆的所述当前的速度信息和操作信息，来计算表示所述车辆的将来的行驶状态的参数值，
所述比较部将所述参数值显示于所述将来图像。
6.根据权利要求1～5中的任一项所述的图像显示系统，其特征在于，
所述图像显示系统从所述车辆的驾驶员接受行为的指示，
所述第一处理部将所指示的行为设为行为估计结果来进行处理。
7.一种图像显示方法，在该图像显示方法中，
获取与车辆有关的当前的信息，基于获取到的信息来生成所述车辆及所述车辆的周围物体的当前的位置信息；
获取所述车辆的行为的估计结果即行为估计结果，基于所述行为估计结果来生成所述车辆的经过规定时间后的将来的位置信息；
将所述车辆的所述将来的位置信息与所述车辆及所述车辆的所述周围物体的所述当前的位置信息进行比较，生成表示所述车辆及所述车辆的所述周围物体的当前的位置的当前图像数据和表示所述车辆及所述车辆的所述周围物体的将来的位置的将来图像数据；以及
将基于所述当前图像数据的当前图像和基于所述将来图像数据的将来图像一起进行显示。
8.一种程序，用于使计算机执行图像显示方法，在该图像显示方法中，
获取与车辆有关的当前的信息，基于获取到的信息来生成所述车辆及所述车辆的周围物体的当前的位置信息；
获取所述车辆的行为的估计结果即行为估计结果，基于所述行为估计结果来生成所述车辆的经过规定时间后的将来的位置信息；
将所述车辆的将来的位置信息与所述车辆及所述车辆的所述周围物体的所述当前的位置信息进行比较，生成表示所述车辆及所述车辆的所述周围物体的当前的位置的当前图像数据和表示所述车辆及所述车辆的所述周围物体的将来的位置的将来图像数据；以及
将基于所述当前图像数据的当前图像和基于所述将来图像数据的将来图像一起进行显示。
CN201880013053.3A 2017-02-23 2018-02-16 图像显示系统、图像显示方法以及程序 Active CN110312633B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-032714 2017-02-23
JP2017032714A JP6846624B2 (ja) 2017-02-23 2017-02-23 画像表示システム、画像表示方法及びプログラム
PCT/JP2018/005419 WO2018155327A1 (ja) 2017-02-23 2018-02-16 画像表示システム、画像表示方法及びプログラム

Publications (2)

Publication Number Publication Date
CN110312633A true CN110312633A (zh) 2019-10-08
CN110312633B CN110312633B (zh) 2022-09-16

Family

ID=63253647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880013053.3A Active CN110312633B (zh) 2017-02-23 2018-02-16 图像显示系统、图像显示方法以及程序

Country Status (5)

Country Link
US (1) US10796507B2 (zh)
JP (1) JP6846624B2 (zh)
CN (1) CN110312633B (zh)
DE (1) DE112018000968B4 (zh)
WO (1) WO2018155327A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017208719A1 (ja) * 2016-06-02 2017-12-07 ソニー株式会社 表示制御装置及び表示制御方法、表示装置、並びに移動体装置
US10990102B2 (en) * 2017-06-14 2021-04-27 Motional Ad Llc Adaptive dynamic model for automated vehicle
CA3070672A1 (en) * 2017-07-27 2019-01-31 Nissan Motor Co., Ltd. Driving assistance method and driving assistance device
JP6915512B2 (ja) * 2017-11-28 2021-08-04 トヨタ自動車株式会社 サーバ装置、故障車両推定方法および故障車両推定プログラム
US10303045B1 (en) * 2017-12-20 2019-05-28 Micron Technology, Inc. Control of display device for autonomous vehicle
KR102384743B1 (ko) * 2018-01-09 2022-04-08 삼성전자주식회사 차량의 자율 주행을 위한 자율 주행 장치 및 그 제어 방법
JP6865717B2 (ja) 2018-07-18 2021-04-28 矢崎総業株式会社 バスバと電線との接続構造、及び、バスバモジュール
CN112639913B (zh) * 2018-09-06 2022-11-25 本田技研工业株式会社 车辆控制装置及其方法、自动驾驶车开发系统、存储介质
CN110968088B (zh) * 2018-09-30 2023-09-12 百度（美国）有限责任公司 车辆控制参数的确定方法、装置、车载控制器和无人车
JP7203563B2 (ja) 2018-10-29 2023-01-13 日立Astemo株式会社 移動体挙動予測装置
DE102019117689A1 (de) * 2019-07-01 2021-01-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Steuereinheit zur Darstellung einer Verkehrssituation durch Ausblenden von Verkehrsteilnehmer-Symbolen
JP6913716B2 (ja) * 2019-07-17 2021-08-04 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
KR20210124603A (ko) * 2020-04-06 2021-10-15 현대자동차주식회사 차량의 자율 주행 제어 장치, 그를 포함한 시스템 및 그 방법
WO2022034679A1 (ja) * 2020-08-14 2022-02-17 日本電気株式会社 挙動学習装置、挙動学習方法、挙動推定装置、挙動推定方法、及びコンピュータ読み取り可能な記録媒体

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005228139A (ja) * 2004-02-13 2005-08-25 Nissan Motor Co Ltd 車両用表示装置
JP2010000978A (ja) * 2008-06-23 2010-01-07 Nissan Motor Co Ltd 車載表示装置
US20100121576A1 (en) * 2007-07-12 2010-05-13 Toyota Jidosha Kabushiki Kaisha Host-vehicle risk acquisition
WO2011125135A1 (ja) * 2010-04-09 2011-10-13 株式会社 東芝 衝突回避支援装置
EP2412557A1 (en) * 2009-03-23 2012-02-01 Kabushiki Kaisha Toshiba Vehicluar display system, method of displaying and vehicle
US20130002874A1 (en) * 2010-03-17 2013-01-03 Honda Motor Co., Ltd. Surrounding area monitoring apparatus for vehicle
JP2013250961A (ja) * 2012-05-31 2013-12-12 Hyundai Motor Co Ltd 車両周辺の移動体感知装置及び方法
JP2014031112A (ja) * 2012-08-03 2014-02-20 Honda Motor Co Ltd 表示装置及び車両
JP2014071629A (ja) * 2012-09-28 2014-04-21 Aisin Aw Co Ltd 走行情報表示システム、走行情報表示方法、及び走行情報表示プログラム
CN103824476A (zh) * 2010-03-18 2014-05-28 富士通株式会社 车辆间隔管理装置、车辆间隔管理方法以及程序
CN104584100A (zh) * 2012-07-20 2015-04-29 丰田自动车株式会社 车辆周边监视装置、车辆周边监视系统
JP2015096946A (ja) * 2013-10-10 2015-05-21 パナソニックＩｐマネジメント株式会社 表示制御装置、表示制御プログラム、および表示制御方法
CN104903946A (zh) * 2013-01-09 2015-09-09 三菱电机株式会社 车辆周边显示装置
WO2016051586A1 (ja) * 2014-10-03 2016-04-07 三菱電機株式会社 表示制御装置
FR3029156A1 (fr) * 2014-11-27 2016-06-03 Peugeot Citroen Automobiles Sa Dispositif d’aide a la conduite permettant au conducteur d’un vehicule terrestre d’observer la zone situee devant le vehicule terrestre qui le precede
CN105825041A (zh) * 2015-01-23 2016-08-03 松下知识产权经营株式会社 图像处理装置、图像处理方法、图像显示装置
WO2016170786A1 (ja) * 2015-04-21 2016-10-27 パナソニックＩｐマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
KR20160136166A (ko) * 2015-05-19 2016-11-29 엘지이노텍 주식회사 디스플레이장치 및 이의 동작 방법
US20160347312A1 (en) * 2015-05-26 2016-12-01 Toyota Jidosha Kabushiki Kaisha Vehicle speed limiter system
JP2016216022A (ja) * 2015-04-21 2016-12-22 パナソニックＩｐマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム
WO2017002195A1 (ja) * 2015-06-30 2017-01-05 三菱電機株式会社 車両周辺監視装置及び運転支援システム
US20170039855A1 (en) * 2015-08-07 2017-02-09 Hitachi, Ltd. Vehicle Drive Control Apparatus and Speed Control Method

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005067483A (ja) 2003-08-26 2005-03-17 Fuji Heavy Ind Ltd 車両の走行制御装置
US7522998B2 (en) * 2004-11-05 2009-04-21 Johnson Controls Technology Company System and method for displaying vehicle location information
DE102006026572A1 (de) * 2006-06-06 2007-12-13 Claas Selbstfahrende Erntemaschinen Gmbh Verfahren und Vorrichtung zur Anzeige von Fahrzeugbewegungen
JP4900967B2 (ja) 2008-03-31 2012-03-21 株式会社エクォス・リサーチ 運転支援装置及び運転支援方法
JP5045812B2 (ja) * 2008-06-24 2012-10-10 トヨタ自動車株式会社 死角表示装置及び運転支援装置
US8384531B2 (en) * 2009-04-02 2013-02-26 GM Global Technology Operations LLC Recommended following distance on full-windshield head-up display
US9424468B2 (en) * 2010-09-08 2016-08-23 Toyota Jidosha Kabushiki Kaisha Moving object prediction device, hypothetical movable object prediction device, program, moving object prediction method and hypothetical movable object prediction method
DE102011121948A1 (de) * 2011-12-22 2013-06-27 Gm Global Technology Operations, Llc Vorausschau auf Aktionen eines autonomen Fahrsystems
DE102013110852A1 (de) * 2013-10-01 2015-04-16 Volkswagen Aktiengesellschaft Verfahren für ein Fahrerassistenzsystem eines Fahrzeugs
JP6257989B2 (ja) * 2013-10-08 2018-01-10 日産自動車株式会社 運転支援装置
WO2015104860A1 (ja) * 2014-01-10 2015-07-16 アイシン精機株式会社 画像表示制御装置および画像表示システム
EP2942765B1 (en) * 2014-05-07 2018-12-26 Honda Research Institute Europe GmbH Method and system for predictive lane change assistance, program software product and vehicle
JP6149824B2 (ja) * 2014-08-22 2017-06-21 トヨタ自動車株式会社 車載装置、車載装置の制御方法及び車載装置の制御プログラム
US10589751B2 (en) * 2014-12-31 2020-03-17 Robert Bosch Gmbh Autonomous maneuver notification for autonomous vehicles
JP2017004373A (ja) * 2015-06-12 2017-01-05 株式会社リコー 情報処理装置、情報処理プログラム、および情報処理システム
JP6350596B2 (ja) * 2015-08-07 2018-07-04 株式会社デンソー 表示システム
US10324463B1 (en) * 2016-01-22 2019-06-18 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation adjustment based upon route
US10048080B2 (en) * 2016-03-22 2018-08-14 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle virtual reality navigation system
US10011285B2 (en) * 2016-05-23 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Device, system, and method for pictorial language for autonomous vehicle
JP6661469B2 (ja) * 2016-05-26 2020-03-11 株式会社東芝 情報処理装置および情報処理方法
US10242579B2 (en) * 2016-06-13 2019-03-26 Honeywell International Inc. Systems and methods for situational awareness of current and future vehicle state
JP6796798B2 (ja) * 2017-01-23 2020-12-09 パナソニックＩｐマネジメント株式会社 イベント予測システム、イベント予測方法、プログラム、及び移動体
JP6639444B2 (ja) * 2017-06-07 2020-02-05 本田技研工業株式会社 情報提供装置及び情報提供方法
US20180362047A1 (en) * 2017-06-19 2018-12-20 Panasonic Intellectual Property Corporation Of America Information processing device and recording medium
JP6630976B2 (ja) * 2017-11-10 2020-01-15 本田技研工業株式会社 表示システム、表示方法、およびプログラム
JP7065656B2 (ja) * 2018-03-19 2022-05-12 本田技研工業株式会社 情報提示システム、情報提示方法、及びプログラム

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005228139A (ja) * 2004-02-13 2005-08-25 Nissan Motor Co Ltd 車両用表示装置
US20100121576A1 (en) * 2007-07-12 2010-05-13 Toyota Jidosha Kabushiki Kaisha Host-vehicle risk acquisition
JP2010000978A (ja) * 2008-06-23 2010-01-07 Nissan Motor Co Ltd 車載表示装置
EP2412557A1 (en) * 2009-03-23 2012-02-01 Kabushiki Kaisha Toshiba Vehicluar display system, method of displaying and vehicle
US20130002874A1 (en) * 2010-03-17 2013-01-03 Honda Motor Co., Ltd. Surrounding area monitoring apparatus for vehicle
CN103824476A (zh) * 2010-03-18 2014-05-28 富士通株式会社 车辆间隔管理装置、车辆间隔管理方法以及程序
WO2011125135A1 (ja) * 2010-04-09 2011-10-13 株式会社 東芝 衝突回避支援装置
JP2013250961A (ja) * 2012-05-31 2013-12-12 Hyundai Motor Co Ltd 車両周辺の移動体感知装置及び方法
CN104584100A (zh) * 2012-07-20 2015-04-29 丰田自动车株式会社 车辆周边监视装置、车辆周边监视系统
JP2014031112A (ja) * 2012-08-03 2014-02-20 Honda Motor Co Ltd 表示装置及び車両
JP2014071629A (ja) * 2012-09-28 2014-04-21 Aisin Aw Co Ltd 走行情報表示システム、走行情報表示方法、及び走行情報表示プログラム
CN104903946A (zh) * 2013-01-09 2015-09-09 三菱电机株式会社 车辆周边显示装置
JP2015096946A (ja) * 2013-10-10 2015-05-21 パナソニックＩｐマネジメント株式会社 表示制御装置、表示制御プログラム、および表示制御方法
WO2016051586A1 (ja) * 2014-10-03 2016-04-07 三菱電機株式会社 表示制御装置
FR3029156A1 (fr) * 2014-11-27 2016-06-03 Peugeot Citroen Automobiles Sa Dispositif d’aide a la conduite permettant au conducteur d’un vehicule terrestre d’observer la zone situee devant le vehicule terrestre qui le precede
CN105825041A (zh) * 2015-01-23 2016-08-03 松下知识产权经营株式会社 图像处理装置、图像处理方法、图像显示装置
WO2016170786A1 (ja) * 2015-04-21 2016-10-27 パナソニックＩｐマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
JP2016216022A (ja) * 2015-04-21 2016-12-22 パナソニックＩｐマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、運転制御装置、車両、運転支援プログラム
KR20160136166A (ko) * 2015-05-19 2016-11-29 엘지이노텍 주식회사 디스플레이장치 및 이의 동작 방법
US20160347312A1 (en) * 2015-05-26 2016-12-01 Toyota Jidosha Kabushiki Kaisha Vehicle speed limiter system
WO2017002195A1 (ja) * 2015-06-30 2017-01-05 三菱電機株式会社 車両周辺監視装置及び運転支援システム
US20170039855A1 (en) * 2015-08-07 2017-02-09 Hitachi, Ltd. Vehicle Drive Control Apparatus and Speed Control Method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周等: "遥操作机器人预测显示的研究和实现", 《自动化与仪表》 *

Also Published As

Publication number Publication date
JP6846624B2 (ja) 2021-03-24
DE112018000968B4 (de) 2023-10-05
DE112018000968T5 (de) 2019-11-07
CN110312633B (zh) 2022-09-16
US10796507B2 (en) 2020-10-06
WO2018155327A1 (ja) 2018-08-30
JP2018135075A (ja) 2018-08-30
US20190347879A1 (en) 2019-11-14

Similar Documents

Publication Publication Date Title
CN110312633A (zh) 图像显示系统、图像显示方法以及程序
US10850744B2 (en) System and method for dynamic in-vehicle virtual reality
US10198009B2 (en) Vehicle automation and operator engagment level prediction
CN110325422A (zh) 信息处理系统、信息处理方法、程序以及记录介质
US9715764B2 (en) System and method for dynamic in-vehicle virtual reality
CN104903172B (zh) 用于评估在交叉路口的碰撞风险的方法
DE102020100078A1 (de) Verbessern des autonomen fahrens mit empfehlung eines entfernten betrachters
CN110337394A (zh) 信息处理系统、信息处理方法、程序以及记录介质
DE102020103509A1 (de) Erkennung und vermeidung von kollisionsverhalten
CN111587197A (zh) 利用驾驶模式识别来调节电动车辆的动力总成
CN109760676A (zh) 显示系统、显示方法及存储介质
CN110271532A (zh) 车辆控制装置
CN109421742A (zh) 用于监测自主车辆的方法和设备
CN108137052A (zh) 驾驶控制装置、驾驶控制方法和程序
CN108137050A (zh) 驾驶控制装置、驾驶控制方法和程序
US11657318B2 (en) Assessing ride quality for autonomous vehicles
CN103144588A (zh) 全挡风玻璃显示器上的车辆假像
CN111275249A (zh) 基于dqn神经网络和高精度定位的驾驶行为优化方法
CN109890662A (zh) 车辆控制系统、车辆控制方法及车辆控制程序
CN110944896A (zh) 道路车辆和用于重新参与手动驾驶的方法
CN110281934A (zh) 车辆控制装置、车辆控制方法及存储介质
DE102021128156A1 (de) Augmented reality-fähige kommandozentrale für autonome fahrzeuge
CN117242460A (zh) 不安全驾驶场景的计算机化检测
CN112441016A (zh) 基于齿轮的车辆载荷推断系统
CN113924461A (zh) 用于目标引导至目标人员的方法、目标人员的电子设备和接送者的电子设备以及机动车

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240401

Address after: Kanagawa Prefecture, Japan

Patentee after: Panasonic Automotive Electronic Systems Co.,Ltd.

Country or region after: Japan

Address before: Osaka, Japan

Patentee before: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Country or region before: Japan

TR01 Transfer of patent right