CN110116729B - 乘员支援装置、乘员支援方法以及程序存储介质 - Google Patents

乘员支援装置、乘员支援方法以及程序存储介质 Download PDF

Info

Publication number
CN110116729B
CN110116729B CN201910088361.9A CN201910088361A CN110116729B CN 110116729 B CN110116729 B CN 110116729B CN 201910088361 A CN201910088361 A CN 201910088361A CN 110116729 B CN110116729 B CN 110116729B
Authority
CN
China
Prior art keywords
action
occupant
action item
item
items
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910088361.9A
Other languages
English (en)
Other versions
CN110116729A (zh
Inventor
佐佐木章
安藤荣祐
早岛美纱子
鬼头早纪
山下真央
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN110116729A publication Critical patent/CN110116729A/zh
Application granted granted Critical
Publication of CN110116729B publication Critical patent/CN110116729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/50—Instruments characterised by their means of attachment to or integration in the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/50—Instruments characterised by their means of attachment to or integration in the vehicle
    • B60K35/53—Movable instruments, e.g. slidable
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/182—Selecting between different operative modes, e.g. comfort and performance modes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/161—Explanation of functions, e.g. instructions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/175—Autonomous driving
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B60K2360/1868—Displaying information according to relevancy according to driving situations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/60—Structural details of dashboards or instruments
    • B60K2360/65—Features of dashboards
    • B60K2360/652—Crash protection features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/30—Auxiliary equipments
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Navigation (AREA)
  • Chair Legs, Seat Parts, And Backrests (AREA)
  • Seats For Vehicles (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供一种乘员支援装置、乘员支援方法以及程序存储介质，其中，所述乘员支援装置具备：通知部，设定在车辆到达目的地之前乘员应该执行的行动项目以及该行动项目的执行顺序，所述通知部基于已设定的执行顺序向乘员通知所述应该执行的行动项目的；动作掌握部，所述动作掌握部掌握执行所述行动项目的乘员的动作；以及动作支援部，所述动作支援部基于所述行动项目以及通过所述动作掌握部掌握的乘员的动作，对执行所述行动项目的乘员的动作进行支援。

Description

乘员支援装置、乘员支援方法以及程序存储介质
技术领域
本公开涉及对车厢内的乘员的行动进行支援的乘员支援装置、乘员支援方法以及程序存储介质。
背景技术
在日本特开2012-123534号公报所公开的技术中，提出了一种行动支援系统，其使用用户携带的便携终端或用户使用的搭载于汽车的车载终端等移动终端的位置信息，取得用户的行动模式信息或动作模式信息，并提供与所取得的行动模式信息或动作模式信息对应的服务信息。
在日本特开2012-123534号公报的行动支援系统中，针对每个目的地设定标准行动模式信息，当取得汽车的行动模式信息时，将与所取得的行动模式信息相应的标准行动模式信息的目的地相关的服务信息显示在车辆的移动终端上。
另外，在日本特开2012-123534号公报的行动支援系统中，取得用户的动作模式信息以及时刻，通过将服务信息显示于用户的便携终端，来支援用户的行动，所述服务信息对应于与所取得的动作模式信息以及时刻相应的标准行动模式信息。
然而，在自动驾驶模式中，通过设定目的地，进行车辆的转向控制、速度控制以及制动控制，车辆朝向已设定的目的地行驶。在以自动驾驶模式行驶的车辆中，车厢内的乘员从车辆的驾驶操作被解放。在使用了在这样的自动驾驶模式下行驶的车辆的汽车通勤等中，乘员由于从车辆的驾驶操作被解放，因此很有可能在车厢内无所事事地度过。因此，在以自动驾驶模式行驶的车辆中，希望以乘员能够有效地利用在车厢内度过的时间的方式进行支援。
发明内容
本公开提供一种乘员支援装置、乘员支援装方法以及程序存储介质，其在以自动驾驶模式行驶的车辆中能够使乘员有效地利用在车厢内度过的时间。
本公开的第一方式是乘员支援装置，具备：通知部，设定在车辆到达目的地之前乘员应该执行的行动项目以及该行动项目的执行顺序，所述通知部基于已设定的执行顺序向乘员通知所述应该执行的行动项目；动作掌握部，所述动作掌握部掌握执行所述行动项目的乘员的动作；动作支援部，所述动作支援部基于所述行动项目以及通过所述动作掌握部掌握的乘员的动作，对执行所述行动项目的乘员的动作进行支援。
在所述第一方式中，设定在车辆到达目的地之前乘员应该执行的行动项目以及该行动项目的执行顺序，通知部以已设定的执行顺序向乘员通知应该执行的行动项目。另外，动作掌握部掌握执行行动项目的乘员的动作，动作支援部基于乘员执行的行动项目以及执行行动项目的乘员的动作，对执行行动项目的乘员的动作进行支援。
由此，通过动作支援部支援乘员的动作，在车厢内的有限的空间中，乘员能够执行行动项目的动作，并且，在以自动驾驶模式朝向目的地行驶的车辆中，能够有效地利用时间。
本公开的第二方式的乘员支援装置为，在所述第一方式中，每当通知的所述行动项目的执行结束时，所述通知部通知接下来应该执行的行动项目。
在所述第二方式中，每当行动项目的执行结束时，通知部通知接下来应该执行的行动项目。因此，乘员能够有序且高效地执行已设定的行动项目的行动，能够更有效地利用时间。
本公开的第三方式的乘员支援装置为，在所述第一或第二方式中，所述通知部通过向显示介质的显示以及来自声音输出部的声音输出来通知所述行动项目。
在第三方式中，通知部通过向显示介质的显示以及来自声音输出部的声音输出来通知应该执行的行动项目。因此，乘员能够适当地掌握为了有效地利用时间而应该执行的行动(行动项目)。
本公开的第四方式的乘员支援装置为，在所述第一方式～第三方式中的任一方式，所述通知部还包括：接收部，所述接收部从乘员接收所述应该执行的行动项目的追加、删除以及执行顺序的各信息；以及行动设定部，所述行动设定部基于由所述接收部接收的所述信息来设定所述应该执行的行动项目以及该行动项目的执行顺序。
在第四方式中，接收部从乘员接收应该执行的行动项目的追加、删除以及执行顺序的各信息，行动设定部基于由接收部接收的信息来设定应该执行的行动项目以及该行动项目的执行顺序。由此，能够容易地与乘员的喜好相应地设定应该执行的行动项目以及执行顺序。
本公开的第五方式的乘员支援装置为，在所述第四方式中，具备取得部，所述取得部取得车辆到达所述目的地为止的所需时间，所述行动设定部以在车辆到达所述目的地之前所述行动项目结束的方式设定所述应该执行的行动项目。
在第五方式中，取得部取得车辆到达目的地为止的所需时间，行动设定部以在车辆到达目的地之前结束的方式设定应该执行的行动项目。由此，乘员能够更有效地利用车辆到达目的地之前的时间来执行行动项目。
本公开的第六方式的乘员支援装置为，在所述第四方式或第五方式中，所述接收部以对话形式接收应该执行的行动项目的追加、删除以及执行顺序的设定。
在本公开的第六方式的乘员支援装置中，接收部以对话形式接收应该执行的行动项目的追加、删除以及执行顺序的设定。由此，乘员能够容易地进行应该执行的行动项目的追加、删除以及执行顺序的设定。
本公开的第七方式的乘员支援装置为，在所述第一方式～第六方式中的任一方式，所述动作支援部包括对执行所述行动项目的乘员的动作进行辅助的机器人手臂。
在第七方式中，机器人手臂对执行行动项目的乘员的动作进行辅助。因此，乘员即使是在车厢内的有限的空间内也能够容易地执行行动项目。
本公开的第八方式的乘员支援装置为，在所述第七方式中，所述机器人手臂与所述行动项目以及通过所述动作掌握部掌握的乘员的动作配合地进行驱动。
在第八方式中，机器人手臂与由动作掌握部掌握的乘员的动作配合地进行驱动。因此，能够像人进行辅助那样辅助乘员的动作，乘员能够高效地执行行动项目，能够更有效地利用时间。
本公开的第九方式是一种乘员支援方法，包括：设定在车辆到达目的地之前乘员应该执行的行动项目以及该行动项目的执行顺序；基于已设定的执行顺序向乘员通知所述应该执行的行动项目；掌握执行所述行动项目的乘员的动作；以及基于所述行动项目以及已掌握的乘员的动作来支援执行所述行动项目的乘员的动作。
本公开的第十方式是一种程序存储介质，所述程序存储介质存储有使计算机执行乘员支援处理的程序的非易失性存储介质，所述乘员支援处理包括：设定在车辆到达目的地之前乘员应该执行的行动项目以及该行动项目的执行顺序；基于已设定的执行顺序向乘员通知所述应该执行的行动项目；掌握执行所述行动项目的乘员的动作；以及基于所述行动项目以及已掌握的乘员的动作来支援执行所述行动项目的乘员的动作。
如以上说明的那样，根据本公开，以自动驾驶模式行驶的车辆的乘员即使在空间有限的车厢内也能够有效地利用时间。
附图说明
根据以下附图对本公开的实施例进行详细说明。
图1是本实施方式的车辆的概略结构图。
图2是本实施方式的乘员支援装置的概略结构图。
图3是表示作为乘员支援处理的第一阶段的、行动项目的设定处理的概略的流程图。
图4是表示根据驾驶员的要求而变更的列表的流程的概略图。
图5是表示作为乘员支援处理的第二阶段的、对驾驶员的行动进行支援的支援处理的概略的流程图。
图6A是表示对驾驶员的行动支援状态的车辆的概略图。
图6B是表示对驾驶员的行动支援状态的车辆的概略图。
图6C是表示对驾驶员的行动支援状态的车辆的概略图。
图7是表示乘员支援装置的支援ECU的硬件结构的框图。
具体实施方式
以下，参照附图对本公开的实施方式的一例进行详细说明。
在图1中，作为本实施方式的乘员支援车辆的车辆10的主要部分通过从车宽方向外侧观察的概略图表示，在图2中，设置于车辆10的乘员支援装置12的概略结构通过框图表示。另外，在图1中，车辆前方通过箭头FR表示，上方通过箭头UP表示。
如图1所示，在本实施方式的车辆10中设置有驾驶支援装置14，车辆10能够在作为乘员的驾驶员D进行驾驶操作的手动驾驶模式下行驶、以及在驾驶支援装置14进行行驶控制的自动驾驶模式下行驶。另外，本实施方式的乘员支援装置12在以自动驾驶模式进行的行驶中的车厢16内，对驾驶员D的行动进行支援。
驾驶支援装置14具备车外监视装置(省略图示)，并且具备作为路径设定部及取得部的导航装置18。驾驶支援装置14的车外监视装置具备对包括本车辆的行进方向(车辆前方)在内的本车辆的周围进行拍摄的相机等多个拍摄部、以及对本车辆与周围的对象物(其他车辆、物、人等)的距离进行测算的毫米波雷达(或者超声波声纳)等测算部等(均省略图示)。车外监视装置根据由拍摄部拍摄到的影像以及测算部的测算结果，解析表示道路上的行车线等的白线、在道路上的本车辆的行驶位置、本车辆的周围的对象物、对象物的方向、对象物的相对移动方向、与对象物的距离、以及与对象物的相对速度等，生成以自动驾驶模式行驶时的行驶环境信息。
导航装置18取得GPS(Global Positioning System：全球定位系统)信息，并且取得本车辆的速度、加速度以及行驶距离等行驶信息，基于GPS信息以及行驶信息来确定本车辆的位置以及行进方向等。另外，导航装置18通过指定目的地，设定到目的地的行驶路径，并且计算从车辆10的当前位置到目的地所需的时间。
驾驶支援装置14在以自动驾驶模式使车辆10行驶时，基于由车外监视装置解析的行驶环境信息进行车辆10的转向控制、速度控制以及制动控制，使车辆10沿着行驶路径行驶。另外，驾驶支援装置14能够基于来自驾驶员D的要求等从自动驾驶模式切换为手动驾驶模式，车辆10通过切换为手动驾驶模式，从而通过乘员的方向盘(省略图示)操作等驾驶操作而行驶。
在车辆10的车厢16中设置有供驾驶员D就座的座椅20，座椅20设为通过未图示的致动器动作而绕上下方向旋转的旋转式。由此，在座椅20朝向车辆前方的驾驶位置，就座于座椅20的驾驶员D能够进行车辆10的驾驶操作。另外，座椅20被旋转而朝向车辆后方的旋转位置设为支援位置，通过将座椅20设为支援位置，能够在就座于座椅20的驾驶员D的前方确保比较大的空间。在车辆10中，通过以自动驾驶模式行驶，座椅20能够以朝向支援位置(车辆后方)的方式旋转。
乘员支援装置12具备构成动作支援部的供水罐22、排水罐24、浅底容器状的托盘(洗脸用托盘)26、以及大致平板状的桌子28等，供水罐22、排水罐24、托盘26以及桌子28配置于车辆10。托盘26以及桌子28分别能够在配置于车厢16内的支援位置与从车厢16内回缩的收纳位置(省略图示)之间移动。托盘26以及桌子28的支援位置为在座椅20的支援位置处就座于座椅20的驾驶员D的前侧。
桌子28配置于支援位置，由此能够用于驾驶员D的书写等。另外，在托盘26连接有供水罐22及排水罐24，托盘26配置于支援位置，通过打开未图示的水龙头，供水罐22的水从水龙头向托盘26内流下。另外，从水龙头流下的水被回收到托盘26中，并被收容在排水罐24中。由此，在车辆10中，通过将托盘26移动到支援位置，能够供驾驶员D洗脸等。
另外，乘员支援装置12具备作为构成通知部的声音输出部的扬声器30、作为与扬声器30一起构成通知部的显示部的显示器32、作为动作支援部的机器人手臂34、以及作为构成动作掌握部的摄像部的圆顶型的相机36。
扬声器30例如安装于车厢16的顶棚面。扬声器30具备麦克风(省略图示)，扬声器30发出与电信号相应的声音等声响，并且通过麦克风接收驾驶员D发出的声音等并转换为电信号。
显示器32使用有机EL面板或液晶面板，例如，配置在车厢16的顶棚，并且能够移动到向车厢16内突出的支援位置和从车厢16回缩的收纳位置(省略图示)。在支援位置，显示器32能够使显示图像被就座于设为支援位置的座椅20上的驾驶员D看到。
机器人手臂34具备左右一对手臂38(胳膊)。机器人手臂34(手臂38)安装于车厢16的顶棚面，机器人手臂34能够在顶棚面沿前后方向以及车宽方向(与车辆前方以及上方分别交叉的方向)移动。另外，机器人手臂34能够绕上下方向转动。机器人手臂34在各个手臂38上设置有多个致动器，通过驱动致动器，手臂38能够进行与人的胳膊相同的动作。另外，在手臂38的前端部设置有机械手(省略图示)，通过驱动致动器，机械手能够进行与人的手(以及手指)相同的动作。另外，机器人手臂34在动作停止时，收容于从车厢16内回缩的收纳位置(省略图示)。
相机36设置在车厢16的顶棚面上，能够从顶棚面侧在车厢16内绕上下方向拍摄大致整周(360°)。由此，相机36能够拍摄车厢16内的乘员的动作以及机器人手臂34的动作。
另外，在车辆10设置有收纳驾驶员D的衣服的服装箱40、以及保温并保存食品的保温箱42。服装箱40内的衣物及保温箱42内的食品由驾驶员D收容，能够通过机器人手臂34取出。
另一方面，如图2所示，在乘员支援装置12中设置有作为控制部的支援ECU44。支援ECU44与驾驶支援装置14的控制部(省略图示)电连接，与导航装置18电连接。此外，本实施方式中的电连接包括用于电力的供给等的电源线的连接、用于基于有线的电压信号或电流信号的传送的连接、以及经由有线或无线通信部的网络连接。
支援ECU44的硬件结构的框图示于图7。支援ECU44具有CPU(Central ProcessingUnit，中央处理单元：处理器)202、ROM(Read Only Memory，只读存储器)204、RAM(RandomAccess Memory，随机存取存储器)206，并且与存储部52连接。各结构经由总线208能够相互通信地连接。
CPU202是中央运算处理单元，执行各种程序，或控制各部分。即，CPU202从ROM204或存储部52读出程序，将RAM206作为作业区域来执行程序。CPU202根据ROM204或存储部52中记录的程序，进行乘员支援装置12所包括的各部分的控制以及各种运算处理。在本实施方式中，在ROM204或存储部52中存储有用于使用乘员支援装置12来进行乘员支援的乘员支援程序。
ROM204存储各种程序和各种数据。RAM 206作为工作区域临时存储程序或数据。
为了便于说明，以下将支援ECU44的CPU202执行记录在ROM204或存储部52中的乘员支援程序来执行乘员支援装置12的各功能的情况记载为支援ECU44控制乘员支援装置12。
座椅20(致动器)、扬声器30、显示器32、机器人手臂34(机器人手臂34的控制部)、相机36以及移动部46与支援ECU44电连接。支援ECU44通过使移动部46动作，使托盘26、桌子28以及显示器32分别在支援位置与收纳位置之间移动。另外，支援ECU44控制机器人手臂34在顶棚面上的移动以及手臂38的动作(致动器的驱动)。
另外，在车辆10设置有通信部48，通信部48与支援ECU44电连接。如图1所示，通信部48通过无线通信部与云50电连接，在云50中能够进行各种数据的取得、基于各种应用程序的处理。
支援ECU44使用AI(Artificial Intelligence：人工智能)技术，通过支援ECU44和扬声器30(包括麦克风)构成AI扬声器。支援ECU44从扬声器30发出声音(语言)，并且通过麦克风检测驾驶员D发出的声音(语言)。此时，支援ECU44使用云50，进行驾驶员D发出的声音内容的识别，生成规定内容的声音信号，并从扬声器30发出所生成的声音信号的声音。由此，支援ECU44能够与驾驶员D会话，支援ECU44与驾驶员D以对话形式进行各种信息的通知以及对驾驶员D的支援的设定等。
支援ECU44以在显示器32上显示与驾驶员D的对话中使用的信息图像等各种信息的方式进行控制。另外，支援ECU44通过针对相机36的拍摄图像以驾驶员D以及机器人手臂34等为对象物进行图像解析来提取对象物以及对象物的运动。支援ECU44通过使用AI技术，根据相机36的拍摄图像来识别驾驶员D以及机器人手臂34的动作(手臂38的运动)，控制机器人手臂34的动作以便辅助驾驶员D的动作。
另一方面，在乘员支援装置12中设置有存储部52，存储部52使用HDD(硬盘驱动器)或半导体存储器等非易失性的存储介质。存储部52与支援ECU44电连接，在存储部52中存储有支援ECU44取得的信息。
另外，以下作为存储在存储部52而记载的信息也可以存储在支援ECU44的ROM204中来代替存储部52。
另外，在存储部52中存储有车厢16内的驾驶员D的行动项目以及与行动项目相关的信息，行动项目是在车辆10到达目的地为止的期间驾驶员D有可能在车厢16内执行的行动，行动项目按每个目的地存储。
在存储部52中作为历史而存储有针对每个目的地已执行的行动项目，在历史中包括与行动项目相关的信息。在与行动项目相关的信息中，关于行动项目，包括作为从驾驶员D开始(执行)行动到结束为止的所需的时间的行动时间、行动项目的优先顺序、以及在多个行动项目之间的执行顺序。优先顺序设为基于根据历史而执行的频度的等级，关于优先顺序的等级，被执行的频度高的行动项目的等级变高。另外，在多个行动项目之间的执行顺序是与在多个行动项目之间先执行还是后执行的执行顺序相关的信息。
在此，支援ECU44在车辆10到达目的地为止的期间，设定一个或多个行动项目作为驾驶员D应该执行的行动项目。在已设定的行动项目中，应用存储在存储部52中的行动项目(过去执行的行动项目)、以及驾驶员D指定的行动项目。导航装置18计算车辆10到达目的地为止的所需时间，支援ECU44根据存储在存储部52中的每个目的地的行动项目、以及与行动项目相关的信息，按照优先顺序从高到低的顺序进行选择，并且选择设定为在所需时间内结束行动的执行。另外，针对应该执行的行动项目，支援ECU44包括执行顺序地进行设定(进行调度)。
针对应该执行的行动项目，支援ECU44将从每个目的地的历史得到的行动项目以及行动项目的执行顺序设定为初始列表，对初始列表从驾驶员D接收行动项目的追加、删除以及执行顺序的变更。支援ECU44通过使用了扬声器30以及设置于扬声器30的麦克风的对话形式从驾驶员D接收行动项目的追加、删除以及执行顺序的变更。支援ECU44基于从驾驶员D接收的行动项目的追加、删除以及执行顺序的变更，进行应该执行的行动项目以及行动项目的执行顺序的变更设定，设定应该执行的行动项目以及执行顺序。
当车辆10以自动驾驶模式开始朝向目的地行驶时，支援ECU44将已设定的行动项目依次通知给驾驶员D，促使驾驶员D执行行动项目。另外，支援ECU44根据相机36的拍摄图像检测执行行动项目的驾驶员D的动作，配合检测出的动作使机器人手臂34等动作，由此通过机器人手臂34等辅助驾驶员D的行动。
另外，支援ECU44从相机36的拍摄图像解析执行行动项目时的驾驶员D的动作，将解析结果存储在存储部52中，反映到接下来在驾驶员D执行同样的行动项目时的、驾驶员D的动作的预测以及机器人手臂34的动作控制中。另外，在解析结果等信息的存储中，也可以包括云50上的储存器。另外，在车辆10设置有未图示的小物件收纳部，在小物件收纳部中收容有在执行存储于存储部52的行动项目时驾驶员D所使用的小物件等。
以下，参照图3～图6说明乘员支援装置12对驾驶员D的行动支援。另外，在以下的说明中，作为目的地，应用驾驶员D的工作单位(公司)，对所谓的汽车通勤中的驾驶员D的行动支援进行说明。
在车辆10中，通过乘车的驾驶员D指定目的地，导航装置18设定行驶路径，并且计算到达目的地为止的所需时间。车辆10通过指示行驶开始，开始以自动驾驶模式朝向目的地行驶。另外，导航装置18在指定目的地时，通过指定作为到达期限的时刻，设定行驶路径，以便在指定的时刻之前(比指定的时刻提前)到达目的地。
支援ECU44在以自动驾驶模式的车辆行驶开始时，使座椅20旋转至支援位置。之后，执行图3的流程图，进行驾驶员D应该执行的行动项目以及行动项目的执行顺序的设定(调度)。另外，行动项目的设定例如也可以与在导航装置18中设定目的地同样地，在将座椅20设为驾驶位置的状态(驾驶员D朝向车辆前侧的状态)下进行。
图3是表示作为乘员支援处理的第一阶段的、通过乘员支援装置12进行的行动项目的设定处理的流程的流程图。支援ECU44的CPU202从ROM204或存储部52读出乘员支援程序，并且在RAM206中展开并执行，由此进行行动项目的设定处理。
在图3的流程图中，在步骤100中，将按每个目的地存储于存储部52的标准的行动项目的列表作为初始列表进行通知。初始列表设定为基于各行动项目中的动作时间以及优先顺序等而处于所需时间内。该初始列表的通知可以通过从扬声器30发出的声音来进行，但在本实施方式中，在显示器32上显示初始列表来进行。由此，如图4所示，关于以公司为目的地的通勤，在显示器32上显示作为存储在存储部52中的标准的行动项目的初始列表的列表60A。
在图3的流程图中，在接下来的步骤102中，通过从扬声器30发出的声音(语言)促使驾驶员D进行设定的确认，检测来自驾驶员D的基于声音的回答。在步骤104中，判定是否有变更。由此，若确认到驾驶员D要求变更，则在步骤104中判定为肯定，转移到步骤106。当驾驶员D通过声音指示变更内容时，在步骤106中，接收驾驶员D所发出的声音，接收变更内容，在步骤108中，基于接收的变更内容来变更行动项目的设定。另外，在步骤110中，通过将已变更的行动项目的列表显示在显示器32上，通知驾驶员D。
关于显示器32所显示的一个或多个设定项目，当驾驶员D通过声音来表明(传递)删除(本次不执行)的意思时，支援ECU44通过检测驾驶员D所发出的声音并识别检测出的声音的内容，来删除驾驶员D所指定的行动项目。例如，在早餐结束、也不需要剃须的情况下，驾驶员D通过声音来表明不需要“进餐(早餐)”和“剃须”的意思，由此从显示器32上显示的列表中删除“进餐(早餐)”和“剃须”。由此，图4的列表60A变更为列表60B而显示于显示器32。
另外，驾驶员D如果有想要执行的项目(行动项目)，则通过声音来表明该行动项目。由此，支援ECU44通过检测驾驶员D发出的声音并识别内容，将驾驶员D所表明的行动项目追加到显示器32所显示的列表中。例如，在驾驶员D要求追加“资料确认”的情况下，在显示器32所显示的行动项目的列表中追加“资料确认”。由此，图4的列表60B变更为列表60C而显示于显示器32。
另外，虽然在图3中省略了图示，但支援ECU44在追加行动项目的情况下，要求指定应该确保的时间作为行动时间，若驾驶员D向支援ECU44传达应该确保的时间，则支援ECU44确认是否在到目的地为止的所需时间内结束。
此时，若判断为在所需时间内难以结束列表上的全部行动项目，则向驾驶员D通知难以进行时间调整的意思，要求确认是否存在能够省略的行动项目。此时，例如，驾驶员D通过声音来传达也可以省略“新闻浏览”，由此支援ECU44删除“新闻浏览”。由此，图4的列表60C变更为列表60D并显示于显示器32。
这样，当决定了所需时间内的行动项目并在步骤104中作出否定判定时，在步骤112中，向驾驶员D进行执行顺序的确认要求。此时，如果驾驶员D想要变更执行顺序，则通过声音传达想要变更该执行顺序，由此在步骤114中作出肯定判定，转移到步骤116。
在步骤116中，从驾驶员D接收变更内容，在步骤118中，基于接收的变更内容来变更(调换)行动项目的顺序。在步骤120中，通过在显示器32上显示变更了顺序的列表来通知驾驶员D。
例如，驾驶员D在想要最初进行作为行动项目而追加的“资料确认”的情况下，通过声音表明该意思。支援ECU44通过识别声音来调换行动项目的顺序，以便最初执行“资料确认”。由此，图4的列表60D变更为列表60E而显示于显示器32。
这样，当对应该执行的行动项目设定顺序，且针对已设定的顺序得到驾驶员D的同意(无变更)时，在图3的步骤114中判定为否定，结束行动项目的设定处理。
图5是表示作为乘员支援处理的第二阶段的、乘客支援装置12对驾驶员的行动进行的支援处理的流程的流程图。支援ECU44的CPU202从ROM204或存储部52读出乘员支援程序，并且在RAM206中展开并执行，由此进行行动支援处理。
在图5的流程图中，在步骤130中，向驾驶员D通知作为应该执行的行动项目而设定的最初的行动项目。行动项目的通知可以从扬声器30发出声音，来促使驾驶员D执行行动项目，与此同时，也可以将执行的行动项目显示在显示器32上。
在接下来的步骤132中，执行与驾驶员D的动作配合的行动支援处理。行动支援处理通过相机36检测驾驶员D的动作，根据检测出的驾驶员D的动作来预测驾驶员D的意图或下一个动作而进行。另外，在行动支援处理中，驾驶员D也可以通过声音(语言)要求希望提供帮助的动作。当驾驶员D发出的声音被麦克风检测到时，支援ECU44使用云50识别驾驶员D要求的内容并设定需要帮助的动作，执行已设定的动作，由此进行与驾驶员D的要求相应的辅助。
例如，在行动项目为“资料确认”的情况下，如图6(A)所示，支援ECU44将桌子28配置于支援位置。由此，驾驶员D能够将资料等放置在桌子28上进行阅览。通过将桌子28配置于支援位置，驾驶员D能够使用桌子28进行笔记等的书写。另外，支援ECU44在根据由相机36拍摄到的驾驶员D的动作判断为需要照明时，点亮未图示的照明，对驾驶员D的手边或者桌子28进行照明。
在行动项目为“刷牙”或“洗脸”的情况下，如图6(B)所示，支援ECU44将托盘26配置于支援位置。由此，驾驶员D能够在“刷牙”或“洗脸”时使用水。另外，支援ECU44使用机器人手臂34从小物件收纳部取出镜子58而配置在驾驶员D的前方。由此，驾驶员D能够在“刷牙”以及“洗脸”时使用镜子58。
另外，在行动项目为“进餐”的情况下，将桌子28配置在支援位置，并且使用机器人手臂34进行从保温箱42取出食品(省略图示)并放置在桌子28上等支援。另外，在保温箱42中有饮料的情况下，支援ECU44使机器人手臂34动作而从保温箱42取出饮料，放置在桌子28上。
另外，在“新闻浏览”的情况下，支援ECU44经由通信部48与云50连接，获取驾驶员D所需的新闻、与驾驶员D的喜好相应的新闻，并将所取得的新闻显示于显示器32。此时，支援ECU44预先从驾驶员D取得想要取得的新闻的类型、关键词等，由此能够向驾驶员D提示驾驶员D所需的新闻、与驾驶员D的喜好相应的新闻。
另一方面，如图6(C)所示，在行动项目是穿上上衣62的“换衣服”的情况下，支援ECU44使机器人手臂34动作而从服装箱40取出上衣62。另外，支援ECU44以从驾驶员D的后背侧挂上上衣62的方式使机器人手臂34动作。此时，支援ECU44根据相机36的拍摄图像检测驾驶员D的动作和机器人手臂34的动作，与驾驶员D的动作配合地使机器人手臂34动作。由此，通过使驾驶员D的胳膊容易穿过上衣62的袖子，驾驶员D能够容易地穿上上衣62。
另一方面，在图5的流程图的步骤134中，确认执行过程中的行动项目(已通知的行动项目)是否结束。能够根据从相机36的拍摄图像检测出的驾驶员D的动作来确认行动项目是否结束。
当执行过程中的行动项目结束时，在步骤134中判定为肯定而转移到步骤136。在步骤136中，确认设定为应该执行的行动项目是否全部结束，在有剩余的行动项目的情况下，在步骤136中判定为否定，转移到步骤138，通知接下来应该执行的行动项目，敦促执行所通知的行动项目。另外，若全部的行动项目结束，则在步骤134中判定为肯定，结束驾驶员D的行动支援处理。
这样，支援ECU44设定在车辆10到达目的地之前驾驶员D应该执行的行动项目以及行动项目的执行顺序，以设定的执行顺序向驾驶员D通知已设定的行动项目。由此，驾驶员D能够适当地掌握应该执行的行动项目，能够有序地行动。
另外，支援ECU44根据相机36的拍摄图像掌握执行行动项目的驾驶员D的动作，与行动项目以及驾驶员D的动作配合，将托盘26或者桌子28配置在支援位置。另外，支援ECU44与驾驶员D执行的行动项目以及驾驶员D的动作配合而使机器人手臂34动作。由此，在空间有限的车厢16内，驾驶员D能够顺利地执行与行动项目对应的动作，能够有效地利用在以自动驾驶模式行驶的车辆10中度过的时间。
另外，每当驾驶员D结束行动项目的执行时，支援ECU44使用扬声器30以及显示器32来通知接下来应该执行的行动项目。由此，驾驶员D能够无延迟地开始接下来应该执行的行动项目，因此能够更有效地利用在以自动驾驶模式行驶的车辆10中度过的时间。
另外，支援ECU44通过从扬声器30发出的声音以及显示器32的显示向驾驶员D通知应该执行的行动项目。由此，驾驶员D能够适当地掌握为了利用时间而应该执行的行动项目，能够切实地执行行动项目。
另外，支援ECU44从驾驶员D接收应该执行的行动项目的追加、删除以及执行顺序，配合接收的追加以及删除来设定应该执行的行动项目，并且设定行动项目的执行顺序。由此，驾驶员D能够以需要的顺序设定需要的行动项目，能够在以自动驾驶模式行驶的车辆10中执行已设定的行动项目。而且，支援ECU44使用扬声器30及设置于扬声器30的麦克风，以与驾驶员D对话的形式接收应该执行的行动项目的追加、删除以及执行顺序。由此，驾驶员D能够容易地进行应该执行的行动项目的追加、删除以及执行顺序的设定。
另外，支援ECU44设定应该执行的行动项目，以便能够在由导航装置18计算出的所需时间内执行。由此，驾驶员D能够在车辆10到达目的地之前执行应该执行的行动项目。
而且，支援ECU44使用进行与人的胳膊、手相同的动作的机器人手臂34，辅助驾驶员D的动作。由此，驾驶员D感觉像被人帮助，因此能够容易且高效地执行行动项目，能够更有效地利用时间。
在以上说明的本实施方式中，说明了在车辆10到达目的地之前，已设定的行动项目结束的情况。但是，若驾驶员D为了执行行动项目而花费了比预定的行动时间长的时间，则有可能在车辆10到达目的地之前无法结束已设定的所有行动项目。
在此，在支援ECU44中，计算从行驶的车辆10的当前位置到目的地的所需时间，并将计算出的所需时间与到结束剩余的行动项目的执行为止的时间进行比较。由此，在预测为车辆10在预定的行动项目的执行结束之前到达目的地的情况下，向驾驶员D通知，促使驾驶员D加快行动项目的执行。另外，在预测为通过延后到作为到达目的地的到达期限而指定的时刻从而能够结束剩余的行动项目的执行的情况下，也可以以如下方式进行控制：使导航装置18检索迂回路径，将行驶路径变更为检索出的迂回路径，驾驶支援装置14使车辆10在变更后的行驶路径上行驶。由此，驾驶员D能够在到达目的地之前结束应该执行的行动项目。
另外，在本实施方式中，使用带麦克风的扬声器30和显示器32，支援ECU44以使用声音的对话形式，接收应该执行的行动项目的追加、删除以及执行顺序的变更等信息，但本公开不限于此。例如，也可以使用触摸式的显示器来代替显示器32，支援ECU44接收通过与在触摸式的显示器上显示的U/I(用户界面)对应的画面操作而输入的信息。
另外，在本实施方式中，根据存储在存储部52中的历史制作应该执行的行动项目的初始列表，根据来自驾驶员D的要求对制作出的初始列表进行变更等修正，由此设定驾驶员D应该执行的行动项目以及执行顺序。然而，本公开不限于此。例如，也可以使用AI扬声器技术，从驾驶员D接收应该执行的行动项目以及执行顺序，指定驾驶员D应该执行的行动项目以及执行顺序。此时，优选的是，支援ECU44针对从驾驶员D接收的应该执行的行动项目，判定能否在所需时间内结束执行，在预测为在所需时间内无法结束的情况下，以与驾驶员D对话的形式对应该执行的行动项目进行变更。
另外，在本实施方式中，将机器人手臂34设置为能够在车厢16的顶棚面移动，但本公开不限于此。机器人手臂例如也可以在驾驶员D就座的座椅20的座椅靠背的左右两侧配置手臂而构成。由此，能够从驾驶员D的后侧对驾驶员D的动作进行支援，作为驾驶员D的胳膊(手)的代替的动作控制变得容易。此时，更优选的是，手臂能够伸缩，由此，在驾驶员D就座的状态下，能够代替驾驶员D而取得手无法到达的位置的物体。
另外，在本实施方式中，使用托盘26、桌子28以及机器人手臂34对驾驶员D的动作进行支援，但本公开的动作支援部不限于此。本公开的动作支援部只要是在驾驶员D执行与行动项目对应的行动时进行驾驶员D所需的支援的装置即可。
另外，在上述实施方式中，CPU202读入程序而执行的乘员支援处理也可以由CPU以外的各种处理器执行。作为这种情况下的处理器，例示在FPGA(Field-Programmable GateArray：现场可编程门阵列)等的制造后能够变更电路结构的PLD(Programmable LogicDevice：可编程逻辑器件)、以及ASIC(Application Specific Integrated Circuit：专用集成电路)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。另外，也可以通过上述各种处理器中的一个来执行乘员支援处理，也可以通过同种或不同种类的两个以上的处理器的组合(例如，多个FPGA、以及CPU与FPGA的组合等)来执行。此外，上述各种处理器的硬件结构更具体而言是组合有半导体元件等电路元件的电路。
另外，在上述实施方式中，对乘员支援程序预先存储(安装)于ROM204或存储部52的方式进行了说明，但并不限定于此。程序也可以以记录在CD-ROM(Compact Disk ReadOnly Memory：只读光盘存储器)、DVD-ROM(Digital Versatile Disk Read Only Memory：数字通用磁盘只读存储器)、以及USB(Universal Serial Bus：通用串行总线)存储器等记录介质中的形态来提供。另外，程序也可以经由网络从外部装置下载。
此外，本公开能够在不脱离其主旨的范围内进行各种变更来实施。另外，本发明的权利范围当然不限定于上述实施方式。

Claims (10)

1.一种乘员支援装置，其中，具备：
相机；
处理器；以及
存储器，所述存储器存储有指令，通过利用所述处理器执行所述指令，从而使所述处理器进行如下处理：
设定在车辆到达目的地之前乘员执行的行动项目以及该行动项目的执行顺序，基于已设定的执行顺序向所述乘员通知已设定的行动项目；
判断为在所述车辆到达所述目的地之前无法结束已设定的全部所述行动项目；
要求所述乘员确认能够省略的所述行动项目；
从已设定的所述行动项目删除被确认的所述行动项目；
通过使用AI技术，根据由所述相机拍摄到的图像解析执行所述行动项目的所述乘员的动作；
通过使用AI技术及解析结果，预测执行所述行动项目的所述乘员的接下来的动作；
基于所述已设定的所述行动项目，对执行所述已设定的所述行动项目的所述乘员的被预测出的动作进行支援；
存储已执行的所述行动项目的历史、执行所述行动项目所需的时间、以及所述行动项目被执行的频度；以及
按照所述频度的顺序选择用于所述乘员执行的行动项目，以便在所述车辆到达所述目的地之前结束已设定的所述行动项目的执行。
2.根据权利要求1所述的乘员支援装置，其中，每当通知的所述行动项目的执行结束时，所述处理器通知接下来的行动项目。
3.根据权利要求1或2所述的乘员支援装置，其中，所述处理器通过向显示介质的显示以及来自声音输出部的声音输出来通知所述已设定的行动项目。
4.根据权利要求1或2所述的乘员支援装置，其中，所述处理器还构成为：
从所述乘员接收用于该乘员执行的行动项目的追加、删除以及执行顺序的各信息；以及
基于接收的所述信息来设定所述乘员执行的行动项目以及该行动项目的执行顺序。
5.根据权利要求4所述的乘员支援装置，其中，
所述处理器取得车辆到达所述目的地为止的所需时间，
所述处理器以在车辆到达所述目的地之前所述乘员执行的行动项目结束的方式设定所述乘员执行的行动项目。
6.根据权利要求5所述的乘员支援装置，其中，所述处理器以对话形式接收用于所述乘员执行的行动项目的追加、删除以及执行顺序的设定。
7.根据权利要求1或2所述的乘员支援装置，其中，所述乘员支援装置包括对执行所述已设定的所述行动项目的所述乘员的动作进行辅助的机器人手臂。
8.根据权利要求7所述的乘员支援装置，其中，所述机器人手臂与所述乘员执行的所述行动项目以及掌握的所述乘员的动作配合地被驱动。
9.一种乘员支援方法，其中，包括：
设定在车辆到达目的地之前乘员执行的行动项目以及该行动项目的执行顺序；
基于已设定的执行顺序向所述乘员通知已设定的行动项目；
判断为在所述车辆到达所述目的地之前无法结束已设定的全部所述行动项目；
要求所述乘员确认能够省略的所述行动项目；
从已设定的所述行动项目删除被确认的所述行动项目；
通过使用AI技术，根据由相机拍摄到的图像解析执行所述行动项目的所述乘员的动作；
通过使用AI技术及解析结果，预测执行所述行动项目的所述乘员的接下来的动作；
基于所述已设定的所述行动项目，对执行所述已设定的所述行动项目的所述乘员的被预测出的动作进行支援；
存储已执行的所述行动项目的历史、执行所述行动项目所需的时间、以及所述行动项目被执行的频度；以及
按照所述频度的顺序选择用于所述乘员执行的行动项目，以便在所述车辆到达所述目的地之前结束已设定的所述行动项目的执行。
10.一种程序存储介质，所述程序存储介质是存储有使计算机执行乘员支援处理的程序的非易失性存储介质，所述乘员支援处理包括：
设定在车辆到达目的地之前乘员执行的行动项目以及该行动项目的执行顺序；
基于已设定的执行顺序向所述乘员通知已设定的行动项目；
判断为在所述车辆到达所述目的地之前无法结束已设定的全部所述行动项目；
要求所述乘员确认能够省略的所述行动项目；
从已设定的所述行动项目删除被确认的所述行动项目；
通过使用AI技术，根据由相机拍摄到的图像解析执行所述行动项目的所述乘员的动作；
通过使用AI技术及解析结果，预测执行所述行动项目的所述乘员的接下来的动作；
基于所述已设定的所述行动项目，对执行所述已设定的所述行动项目的所述乘员的被预测出的动作进行支援；
存储已执行的所述行动项目的历史、执行所述行动项目所需的时间、以及所述行动项目被执行的频度；以及
按照所述频度的顺序选择用于所述乘员执行的行动项目，以便在所述车辆到达所述目的地之前结束已设定的所述行动项目的执行。
CN201910088361.9A 2018-02-06 2019-01-30 乘员支援装置、乘员支援方法以及程序存储介质 Active CN110116729B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018019561A JP7234496B2 (ja) 2018-02-06 2018-02-06 乗員支援装置
JP2018-019561 2018-02-06

Publications (2)

Publication Number Publication Date
CN110116729A CN110116729A (zh) 2019-08-13
CN110116729B true CN110116729B (zh) 2022-12-20

Family

ID=67475991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910088361.9A Active CN110116729B (zh) 2018-02-06 2019-01-30 乘员支援装置、乘员支援方法以及程序存储介质

Country Status (3)

Country Link
US (1) US11299170B2 (zh)
JP (1) JP7234496B2 (zh)
CN (1) CN110116729B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4005978A4 (en) 2019-07-25 2023-07-12 Tosoh Corporation HYDROPHOBIC ZEOLITE, PROCESS FOR PRODUCTION THEREOF AND USE THEREOF
DE102020001084A1 (de) 2020-02-20 2021-08-26 Daimler Ag Roboterarmvorrichtung zum Anordnen in einem Innenraum eines Kraftfahrzeugs, sowie Verfahren
US11772517B2 (en) 2020-11-09 2023-10-03 Ford Global Technologies, Llc Vehicular system capable of adjusting a passenger compartment from a child seat arrangement to a second arrangement
US11904732B2 (en) 2020-11-09 2024-02-20 Ford Global Technologies, Llc Vehicular system capable of adjusting a passenger compartment from a first arrangement to a child care arrangement
US11772519B2 (en) 2020-11-09 2023-10-03 Ford Global Technologies, Llc Vehicular system capable of adjusting a passenger compartment from a first arrangement to a child seat arrangement
US11772520B2 (en) 2020-11-09 2023-10-03 Ford Global Technologies, Llc Remote notification and adjustment of a passenger compartment arrangement
US11731535B2 (en) 2020-11-09 2023-08-22 Ford Global Technologies, Llc Vehicular system capable of adjusting a passenger compartment from a child care arrangement to a second arrangement

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001158308A (ja) * 1999-12-01 2001-06-12 Kyo Takahashi 目覚まし時計を装備した自動車
JP4506016B2 (ja) 2000-09-19 2010-07-21 トヨタ自動車株式会社 移動体搭載用ロボット及びこれを搭載した移動体
JP4557817B2 (ja) * 2005-06-17 2010-10-06 アイシン精機株式会社 運転支援装置
DE102006051922A1 (de) * 2006-11-03 2008-05-08 Robert Bosch Gmbh Fahrerinformations- und -dialogsystem
US7925438B2 (en) 2007-10-30 2011-04-12 Alpine Electronics, Inc. Method and apparatus for displaying route guidance list for navigation system
JP2010191630A (ja) 2009-02-17 2010-09-02 Fujitsu Ten Ltd 運転支援装置
US9009592B2 (en) * 2010-06-22 2015-04-14 Microsoft Technology Licensing, Llc Population of lists and tasks from captured voice and audio content
JP5587755B2 (ja) 2010-12-07 2014-09-10 株式会社日立製作所 行動支援システム
US20120254763A1 (en) 2011-04-01 2012-10-04 Ford Global Technologies, Llc Methods and systems for using and managing aggregated electronic calendars in a vehicle
US20130117060A1 (en) * 2011-11-08 2013-05-09 Matchware A/S System for Collaboration and Meeting Management
JP5919150B2 (ja) 2012-09-18 2016-05-18 ダイムラー・アクチェンゲゼルシャフトＤａｉｍｌｅｒ ＡＧ 運転支援装置
DE102012220131A1 (de) * 2012-11-06 2014-05-08 Robert Bosch Gmbh Verfahren zum Aktivieren einer Sprachinteraktion mit einem Insassen eines Fahrzeugs und Sprachinteraktionssystem für ein Fahrzeug
JP6284122B2 (ja) 2014-03-14 2018-02-28 株式会社日本総合研究所 移動経路店舗検索システム、その検索方法及び検索プログラム
GB2538339B (en) 2014-03-24 2017-05-24 British Airways Plc Travel environment control
CN104002818A (zh) * 2014-05-27 2014-08-27 昆山市智汽电子科技有限公司 一种集互动与自动为一体的车载系统
US10270609B2 (en) * 2015-02-24 2019-04-23 BrainofT Inc. Automatically learning and controlling connected devices
US9975243B2 (en) * 2015-08-31 2018-05-22 Avaya Inc. Movement and interaction verification
DE102015220237A1 (de) * 2015-10-16 2017-04-20 Zf Friedrichshafen Ag Fahrzeugsystem und Verfahren zur Aktivierung einer Selbstfahreinheit zum autonomen Fahren
US11205240B2 (en) * 2015-12-30 2021-12-21 Waymo Llc Autonomous vehicle services
DE102016100968A1 (de) * 2016-01-21 2017-07-27 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren und Vorrichtung zum Überwachen eines Fahrzeugführers
KR101834348B1 (ko) 2016-03-16 2018-03-05 엘지전자 주식회사 운전 보조 장치 및 그 제어 방법
DE102016211934B4 (de) 2016-06-30 2022-10-20 Audi Ag Kraftfahrzeug mit einem Fahrerassistenzsystem
US20190043001A1 (en) * 2017-08-02 2019-02-07 Microsoft Technology Licensing, Llc Systems and methods for scheduling en route product delivery

Also Published As

Publication number Publication date
US11299170B2 (en) 2022-04-12
JP2019137110A (ja) 2019-08-22
US20190241193A1 (en) 2019-08-08
CN110116729A (zh) 2019-08-13
JP7234496B2 (ja) 2023-03-08

Similar Documents

Publication Publication Date Title
CN110116729B (zh) 乘员支援装置、乘员支援方法以及程序存储介质
EP3232289B1 (en) Information presentation control method and autonomous vehicle, and autonomous-vehicle driving support system
JP6555599B2 (ja) 表示システム、表示方法、およびプログラム
US20230227053A1 (en) Methods and systems for increasing autonomous vehicle safety and flexibility using voice interaction
JP2015219811A (ja) 車両制御システム
CN110719865B (zh) 驾驶辅助方法、驾驶辅助程序以及车辆控制装置
JP6833120B2 (ja) 運転計画作成装置、遠隔運転サーバおよび運転計画作成方法
CN108981735B (zh) 信息处理装置以及信息处理方法
US10949886B2 (en) System and method for providing content to a user based on a predicted route identified from audio or images
JP2019131177A (ja) 複数のスレッドを使用して自動運転車両に用いられる基準線を生成するための方法及びシステム
CN111047891B (zh) 驾驶辅助装置、车辆、驾驶辅助系统、驾驶辅助方法及存储介质
JP2018163112A (ja) 自動駐車制御方法およびそれを利用した自動駐車制御装置、プログラム
CN111328385B (zh) 用于自动驾驶车辆的基于螺旋路径的三点转弯规划
CN111328313B (zh) 用于自动驾驶车辆的控制占主导的三点转弯规划
JP2011230549A (ja) 駐車支援装置
US20200070815A1 (en) Autonomous driving method and apparatus of vehicle, program and recording medium
JP2018147450A (ja) モード切替制御装置、モード切替制御システム、モード切替制御方法およびプログラム
JP6897481B2 (ja) 降車位置設定装置
JP2009059229A (ja) 操作支援方法及び操作支援システム
CN113135190A (zh) 自动驾驶辅助装置
JP2019117159A (ja) 車両
CN110825290B (zh) 用于自动驾驶车辆上的用户隐私保护的设计
CN113574575A (zh) 显示控制装置、显示控制方法以及程序
WO2021251468A1 (ja) 画像処理装置
CN111240315B (zh) 使用预定负载校准表确定自动驾驶车辆的车辆负载的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant