CN114253392A - 用于控制多个车载智能虚拟助手的虚拟对话代理 - Google Patents

用于控制多个车载智能虚拟助手的虚拟对话代理 Download PDF

Info

Publication number
CN114253392A
CN114253392A CN202111054451.XA CN202111054451A CN114253392A CN 114253392 A CN114253392 A CN 114253392A CN 202111054451 A CN202111054451 A CN 202111054451A CN 114253392 A CN114253392 A CN 114253392A
Authority
CN
China
Prior art keywords
information
person
vehicle
virtual assistant
intelligent virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111054451.XA
Other languages
English (en)
Inventor
S.马蒂
E.伯米斯特罗夫
P.塞沙德里
J.弗贝克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman International Industries Inc
Original Assignee
Harman International Industries Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman International Industries Inc filed Critical Harman International Industries Inc
Publication of CN114253392A publication Critical patent/CN114253392A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/507—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking specific to autonomous vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/32—Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/148—Instrument input by voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/164—Infotainment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/175—Autonomous driving
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Transportation (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种系统，包括：被配置用于与位于车辆中的第一人进行通信的内部双向通信系统；通信耦合到所述内部双向通信系统的面向内部的智能虚拟助手；被配置用于与位于所述车辆外的第二人进行通信的外部双向通信系统；通信耦合到所述外部双向通信系统的面向外部的智能虚拟助手；和控制在所述面向内部的智能虚拟助手和所述面向外部的智能虚拟助手之间交换的信息的对话代理。

Description

用于控制多个车载智能虚拟助手的虚拟对话代理
技术领域
本公开的实施方案总体涉及自主车辆，并且更具体地涉及用于控制多个车载智能虚拟助手的虚拟对话代理。
背景技术
自主车辆能够感测周围环境并在很少或没有人类输入的情况下移动，其目的是使旅行更安全、更简单。因此，自主车辆可能会变得越来越普遍。例如，自动驾驶汽车车队可能很快就会被用作自动约车服务，并且自动驾驶卡车可能会用于长途和其他拖运服务。
以前，传统(非自主)车辆的驾驶员与行人或骑自行车的人之间的沟通就像喊叫或进行眼神交流以及交换适当的手势(诸如点头、挥手等)一样简单。因为车辆的驾驶员全权负责传统车辆的驾驶和导航，所以驾驶员和行人之间的此类直接沟通足以保证车辆和行人之间的安全交流。然而，目前正在开发的自主车辆技术可能会使此类沟通变得更加困难，即使它们使驾驶和/或导航行为变得更加容易。
例如，随着车辆变得越来越自主和/或配备有可调节的自主技术，车内乘员的角色变成了副驾驶。也就是说，自主或半自主车辆的乘员不再单独地控制车辆，并且车辆的控制系统是控制一些车辆操作的共同负责代理。例如，在驾驶自动化级别3(有条件自动驾驶)和4(高度自动驾驶)时，车辆的控制系统可以控制大多数车辆转向、加速和导航操作，但在某些情况下可能依赖车辆乘员的输入或被车辆乘员的输入覆盖。因此，某些操作可能由车辆的控制系统负责，而更高级别的决策可能由车辆乘员负责(例如，“靠边停车”、“掉头；我需要回家”，等)。结果，行人不能通过简单地直接与驾驶员沟通来安全地与此类车辆互动，因为车辆的控制系统当前可能正在控制一些或全部车辆操作。
同样，自主或半自主车辆的乘员可能难以与车辆附近的行人沟通，例如在问路时。首先，4级(高度自动驾驶)或5级(完全自动驾驶)自主车辆的乘员可能面朝内就座，并且对于车辆周围环境的能见度很差，甚至难以发现行人。其次，自主或半自主车辆的一些或所有乘员可能处于无法被行人轻易看到的位置，诸如在远离车辆前挡风玻璃的乘客舱中。第三，车窗颜色可能会使车辆外的任何人都看不到或几乎看不到车辆的所有乘员。因此，自动或半自动车辆的乘员与附近行人之间的互动可能难以发起和执行。
鉴于上述情况，促进自主车辆与此类车辆外部的人之间的沟通的更有效技术将是有用的。
发明内容
各个实施方案阐述了一种用于调节多个车载智能虚拟助手的系统。所述系统包括被配置用于与位于车辆中的第一人进行通信的内部双向通信系统；通信耦合到所述内部双向通信系统的面向内部的智能虚拟助手；被配置用于与位于所述车辆外的第二人进行通信的外部双向通信系统；通信耦合到所述外部双向通信系统的面向外部的智能虚拟助手；和控制在所述面向内部的智能虚拟助手和所述面向外部的智能虚拟助手之间交换的信息的对话代理。
所公开实施方案的至少一项技术改进是促进自主或半自主车辆的乘员与车辆外的人之间的通信。所公开实施方案的另一技术改进是此类车辆外的人可以与车辆控制系统通信，而车辆的乘员同时与车辆控制系统通信而不会中断。所公开实施方案的进一步优点在于，可以在适当的时间以适当的形态向车辆乘员提供由面向外部的车载智能虚拟助手收集或接收到的信息。这些技术优点提供了优于现有技术方法的一个或多个技术进步。
附图说明
为了能够详细地理解一个或多个实施方案的上述特征，可通过参考某些特定实施方案来对以上简要概述的一个或多个实施方案进行更具体的描述，附图中示出了所述特定实施方案中的一些。然而，应当注意，附图仅示出典型的实施方案，并且因此不应被视为以任何方式限制其范围，因为所述各种实施方案的范围也涵盖其他实施方案。
图1是示出被配置为实现一个或多个实施方案的自主车辆的示意图；
图2是根据一个或多个实施方案的智能虚拟助手系统的示意图；
图3是示出根据一个或多个实施方案的智能虚拟助手系统的各个元件之间的交互的框图；
图4是根据一个或多个实施方案的由智能虚拟助手系统响应于事件而执行的事件和动作的时间线；以及
图5是根据一个或多个实施方案的用于控制由多个智能虚拟助手实现的对话的方法步骤的流程图。
为清楚起见，在适用情况下，已经使用相同的参考数字来指代附图中通用的相同元件。可预期的是，一个实施方案的特征可并入其他实施方案中，而无需进一步叙述。
具体实施方式
图1是示出被配置为实现一个或多个方面的自主车辆100的示意图。自主车辆100可以是任何计算机操作的车辆，诸如自主或自动驾驶汽车、卡车、公共汽车等。在图1所示的实施方案中，自主车辆100是包括自主车辆控制系统104的自动驾驶汽车。自主车辆100能够感测道路上和道路附近的周围环境，从而确定穿过所述环境的合适导航路径，并且在很少或没有人类输入的情况下移动。如本文所用，导航路径可包括但不限于任何街道、道路、车道、停车场汽车过道或其他适合自主车辆100行驶的路径。此外，在遵循导航路径时，自主车辆100被配置为经由自主车辆控制系统104和自主车辆传感器130保持目标车道位置和/或与导航路径上自主车辆100前面的车辆的目标跟随距离。因此，自主车辆100可以被配置为被配置为监控驾驶环境的任何自主或半自主车辆，包括3级(有条件自动驾驶)、4级(高度自动驾驶)或5级(完全自动驾驶)自主车辆。自主车辆100包括但不限于自主车辆控制系统104、智能虚拟助手系统120、自主车辆传感器130和自主车辆输出装置140。
自主车辆控制系统104是基于计算机的系统，其被配置为管理自主车辆100的整体操作和导航。自主车辆控制系统104可以包括任何技术上可行类型的计算机系统，但是在一些实施方案中，自主车辆控制系统104可以包括一个或多个计算装置。在操作中，自主车辆控制系统104被配置为接收来自自主车辆传感器130的传感器数据并处理该数据以识别自主车辆100的当前驾驶动作和导航路径。在本公开的上下文中，“驾驶动作”可以包括转弯、汇入、在车流中行驶、保持速度和车道位置、与其他车辆一起旅行、导航到指定位置和/或与车辆操作相关联的其他动作。
自主车辆控制系统104还可以被配置为处理来自自主车辆传感器130的传感器数据以识别与当前正在进行的驾驶动作相关联的潜在危险驾驶条件，诸如存在行人102、骑自行车的人(未示出)或任何其他位于或靠近自主车辆100的当前导航路径并可被自主车辆传感器130检测到的人。此类人在本文中统称为行人102。在一些实施方案中，自主车辆控制系统104被配置为基于人的当前速度、人的当前身体位置、人与人行横道的接近度和/或其他线索确定行人102、骑自行车的人或自主车辆100外的任何其他人可能移动到自主车辆100的当前导航路径中。例如，此类线索可以由自主车辆控制系统104经由计算机视觉和/或人工智能(AI)的应用来检测。
自主车辆传感器130可以包括但不限于不同传感器的阵列，这些传感器被配置为测量与自主车辆100周围的环境相关联的各种属性，包括但不限于自主车辆100当前占用的道路或导航路径和/或与此类道路或导航路径相邻的区域，诸如人行道或多车道公路或高速公路中的相邻的驾驶路线。自主车辆传感器130可以包括但不限于光学传感器(可见光或红外线)、声学传感器(诸如超声波传感器、主动声纳等)、雷达传感器、激光雷达传感器、深度传感器、立体成像传感器、地形测绘传感器、远程信息处理传感器、接收器和基于卫星的导航系统等。自主车辆传感器130被配置为从围绕自主车辆100的360°全景接收传感器数据，并将传感器数据传输到自主车辆控制系统104以进行处理。在一些实施方案中，自主车辆传感器130包括一个或多个外部传声器或传声器阵列132，其被配置为从自主车辆100周围接收音频信息，诸如行人102的口头话语。在一些实施方案中，自主车辆传感器130包括一个或多个外部相机或其他成像传感器，其被配置为从自主车辆100周围生成足够的成像信息，以实现对行人102的一种或多种身体姿势的检测，诸如挥手、指向、点头等。
在一些实施方案中，自主车辆传感器130还包括一名或多名乘员传感器134，用于可听和/或可视地监控自主车辆100的一名或多名乘员。在此类实施方案中，乘员传感器134可以包括一个或多个数码相机，其通过包括在智能虚拟助手系统120中的面向内部的智能虚拟助手实现姿势识别。此类数码相机使得能够检测自主车辆100的乘员(未示出)的特定身体部位(例如，手、手臂或头部)的位置。替代地或另外地，在一些实施方案中，乘员传感器134包括一个或多个内部传声器或传声器阵列，其被配置为从自主车辆100的乘客舱内接收音频信息，诸如自主车辆100的一名或多名乘员的口头话语。
替代地或另外地，在一些实施方案中，乘员传感器134包括一个或多个生理传感器，其被配置为测量或以其他方式监控自主车辆100的一名或多名乘员的行为、身体/健康状态、情绪状态和/或认知负荷。在此类实施方案中，此类生理传感器可包括一个或多个面向内部的雷达传感器、一个或多个面向内部的热传感器或热成像传感器、一个或多个超声波传感器、一个或多个皮肤电传导和/或皮肤电反应传感器(例如，设置在方向盘、扶手和/或自主车辆100的其他内表面上)、一个或多个神经活动和/或脑电图传感器(例如，嵌入方向盘、头枕和/或自主车辆100的其他内表面中)、基于激光和相机的非接触式生命体征传感器(例如，被配置用于经由反射光来检测振动)和/或被配置用于测量语音以外的声学输入(诸如车厢内的乘员的语音语调和/或声音事件)的一个或多个声学传感器。此类声学传感器使听觉场景分析能够由IVA 232和/或对话代理236执行。在一些实施方案中，包括在乘员传感器134中的生理传感器被配置为生成血液成分信息(经由诸如激光器的非接触式传感器)。
自主车辆输出装置140包括用于向自主车辆100的乘员提供信息的一个或多个装置(例如，面向内部的显示装置142和/或面向内部的扬声器144等)。面向内部的显示装置142可以向自主车辆100的一名或多名乘员显示来自包括在智能虚拟助手系统120中的面向内部的智能虚拟助手的文本信息，并且面向内部的扬声器144可以向自主车辆100的一名或多名乘员播放来自面向内部的智能虚拟助手的音频信息(例如，音频语音记录、文本到语音记录、语音邮件消息等)。
自主车辆输出装置140还包括用于向自主车辆100外的人提供信息的一个或多个装置(例如，面向外部的视听系统146、外部视觉投影系统等)。面向外部的视听系统146可以向自主车辆100外的一个或多个人显示文本和/或符号信息和/或播放音频信息。由面向外部的视听系统146提供给此类人的文本/符号和/或音频信息通常是由包括在智能虚拟助手系统120中的面向外部的智能虚拟助手生成的。在一些实施方案中，包括在面向外部的视听系统146中的音频输出装置被配置为将音频信息指向行人102或自主车辆100外的其他人的定向扬声器或扬声器阵列，诸如定向条形音箱。在此类实施方案中，指向自主车辆100外的人的音频信息呈窄声场或“音频聚光灯”的形式，其聚焦在目标人上，并且自主车辆100外的其他人较难听到。
智能虚拟助手系统120被配置为在车厢内对话(诸如在自主车辆100的乘员和面向内部的智能虚拟助理之间进行)和车厢外对话(诸如在自主车辆100外的人和面向外部的智能虚拟助手之间进行)之间调节信息流。因为面向内部的智能虚拟助手和面向外部的智能虚拟助手向自主车辆控制系统104提供输入，所以在一些实施方案中，智能虚拟助手系统120的功能可以并入自主车辆控制系统104、与自主车辆100相关联的信息娱乐系统(未示出)或独立的计算装置。出于描述的目的，智能虚拟助手系统120在本文中被描述为与自主车辆控制系统104分开的实体。下面结合图2描述智能虚拟助手系统120的一个实施方案。
图2是根据一个或多个实施方案的智能虚拟助手系统120的示意图。智能虚拟助手系统120包括内部双向通信系统210、外部双向通信系统220和通信耦合到内部双向通信系统210和外部双向通信系统220的计算装置250。智能虚拟助手系统120还包括面向内部的智能虚拟助手(IVA)232、面向外部的IVA 234和对话代理236，它们中的每一者都可以在计算装置250上执行和/或存储在计算装置250的存储器230中。
内部双向通信系统210包括用于从自主车辆100的一名或多名乘员接收信息的一个或多个传感器和/或输入装置，以及用于向自主车辆100的一名或多名乘员提供信息的一个或多个输出装置。在一些实施方案中，内部双向通信系统210包括面向内部的显示装置142和/或面向内部的扬声器144。外部双向通信系统220包括用于接收源自行人102或基于行人102的存在的信息的一个或多个传感器和用于向行人102提供信息的一个或多个输出装置。在一些实施方案中，外部双向通信系统220的传感器包括光学传感器，诸如一个或多个自主车辆传感器130、传声器132或传声器的定向阵列等。在一些实施方案中，外部双向通信系统220的输出装置包括面向外部的视听系统146和/或外部视觉投影系统，所述外部视觉投影系统被配置为将基于文本和/或符号的信息投影到自主车辆100外的表面(例如，人行道、道路、建筑物墙壁等)上。
计算装置250被配置为实现本文所述的本公开的至少一个方面。计算装置250可以是能够执行应用程序的任何类型的装置，所述应用程序包括与面向内部的IVA 232、面向外部的IVA 234和/或对话代理236相关联的指令。例如，但不限于，计算装置250可以是电子平板计算机、智能手机、膝上型计算机等。替代地，计算装置250可被实现为独立芯片(诸如微处理器)，或者被实现为更全面的解决方案的一部分，所述更全面的解决方案被实现为专用集成电路(ASIC)、片上系统(SoC)等。通常，计算装置250被配置为协调智能虚拟助手系统120的整体操作。在一些实施方案中，计算装置250被并入另一个计算装置控制的系统中或者是该系统的部件，所述系统诸如自主车辆控制系统104和/或自主车辆100的信息娱乐系统(未示出)。在图2所示的实施方案中，计算装置250被示为单个集成装置。在其他实施方案中，本文所述的计算装置250的一些或全部功能可以被实现为多个计算装置。如所示，计算装置250包括但不限于处理单元260、存储器230和数据库240。
处理单元260可被实现为中央处理单元(CPU)、图形处理单元(GPU)、ASIC、现场可编程门阵列(FPGA)、张量处理单元(TPU)和/或任何其他类型的处理单元，或不同处理单元的组合。通常，如本文所述，处理单元260可以是能够处理数据和/或执行软件应用以促进智能虚拟助手系统120的操作的任何技术上可行的硬件单元。处理单元260可以被物理地嵌入计算装置250中，可以是基于云的计算环境的一部分，和/或可以是智能虚拟助手系统120外的计算装置(诸如移动计算装置或可穿戴计算装置)的一部分。在一些实施方案中，处理单元260是包括在自主车辆100中的车载信息娱乐系统(未示出)的元件，或者是自主车辆控制系统104的元件。通常，处理单元260被配置为执行至少与面向内部的IVA 232、面向外部的IVA 234和/或对话代理236相关联的指令。
存储器230可包括随机存取存储器(RAM)模块、快闪存储器单元或任何其他类型的存储器单元或它们的组合，并且可包括单个存储器模块或存储器模块的集合。如所示，在一些实施方案中，面向内部的IVA 232、面向外部的IVA 234和/或对话代理236中的一些或全部可以在操作期间驻留在存储器230中。数据库240可以包括任何合适的非易失性数据存储装置，诸如电可擦除可编程只读存储器(EEPROM)、硬盘驱动器等。在一些实施方案中，数据库240存储用户特定信息，诸如与自主车辆100的特定用户的某些驾驶偏好和/或沟通偏好(口头和/或非口头)相关联的信息。
面向内部的IVA 232是智能代理或其他自主软件实体，其被编程、训练或以其他方式配置为朝着实现特定目标而行动。例如，面向内部的IVA 232通常被配置为接收和识别来自自主车辆100的乘员的语音、姿势、身体输入(例如，控制按钮选择、屏幕滑动等)和/或其他命令输入并适当地做出响应。此类命令输入可以与导航、信息娱乐选择、乘员问题等有关。此外，根据各种实施方案，面向内部的IVA 232被配置为从对话代理236接收特定信息并向其提供特定信息。例如，在一些实施方案中，面向内部的IVA 232接收与面向外部的IVA234和行人102之间的对话有关的信息。此类信息可以包括回答自主车辆100的乘员已经请求经由面向外部的IVA 234向行人102询问的问题的信息。替代地或另外地，此类信息可以包括行人102和面向外部的IVA 234之间已经发生或当前正在进行的对话的概要。替代地或另外地，此类信息可包括与自主车辆100的一名或多名乘员的行为、身体/健康状态、情绪状态和/或认知负荷有关的信息。
面向内部的IVA 232被配置为经由内部双向通信系统210从自主车辆100的一名或多名乘员接收信息以及向其提供信息。在一些实施方案中，从自主车辆100的一名或多名乘员接收到的信息可以处于多种形态。此类形态的示例包括自主车辆100的乘员的身体姿势(例如由包括在乘员传感器134中的数码相机检测到的)、来自自主车辆100的乘员的口头话语(例如由包括在乘员传感器134中的传声器检测到的)、由自主车辆100的乘员执行的身体输入(例如由机械控制按钮或基于屏幕的控制图标生成的)或由生理传感器生成的生理信息等。类似地，在一些实施方案中，提供给自主车辆100的一名或多名乘员的信息可以处于多种形态。此类形态的示例包括保存到与自主车辆100的乘员相关联的计算装置(例如，智能手机、电子平板计算机、自主车辆100的车辆信息娱乐系统等)的语音邮件消息、传输到此类计算装置的文本消息、由包括在内部双向通信系统210中的显示装置显示的文本消息、由此类显示装置播放的视频或录制的视频消息、由包括在内部双向通信系统210中的扬声器播放的音频消息，等等。
面向内部的IVA 232可以被实现为任何技术上可行的语音代理、智能虚拟助手或其他智能代理和/或是基于任何技术上可行的语音代理、智能虚拟助手或其他智能代理。因此，在一些实施方案中，面向内部的IVA 232的功能可以在包括在自主车辆100中的一个或多个计算装置内本地执行，并且在其他实施方案中，面向内部的IVA 232的某些部分可以被远程执行，诸如经由云计算平台。在后面的实施方案中，可以远程地执行计算密集型操作。
在实现方式中，面向外部的IVA 234可以大体类似于面向内部的IVA 232。因此，面向外部的IVA 234是智能代理或其他自主软件实体，其被编程、训练或以其他方式配置为朝着实现特定目标而行动。更具体地，面向外部的IVA 234被配置为监控与自主车辆100外的环境相关联的音频、视频和/或其他信息(诸如从基于雷达的系统、基于热成像的系统、基于激光的成像系统、基于激光雷达的成像系统、超声波传感器、主动声纳传感器等等接收到的信息)。此类监控可以包括检测一个或多个行人101以及基于适当的线索(诸如行人102的当前速度、行人102的当前身体位置、行人102与人行横道的接近度等)来确定此类行人可能会移动到自主车辆100的当前导航路径中。在此类实施方案中，面向外部的IVA 234可以被配置为识别指示一个或多个行人101的未来运动的肢体语言、靠近人行横道的行人101的位置等。在一些实施方案中，面向外部的IVA 234还被配置为在适当时与行人102互动。例如，在一些实施方案中，面向外部的IVA 234被配置为识别由行人102执行的一个或多个身体姿势(诸如挥手“先走”或点头、指向手势、竖起大拇指的姿势、手掌朝前“停下！”手势和/或类似姿势)、行人102的身体姿势(诸如行人面向哪里，他们是否萎靡呆滞，转过头等)和/或行人102的口头话语(诸如对经由外部双向通信系统220向行人102可听地或以文本形式提出的问题的口头回答)。
在一些实施方案中，面向外部的IVA 234被配置为从对话代理236接收特定信息以及向其提供特定信息。例如，在一些实施方案中，面向外部的IVA 234向对话代理236提供与面向外部的IVA 234和行人102之间的对话或其他互动有关的信息。此类信息可以包括由行人102执行的姿势的音频或文本描述；最近完成的与行人102的交流的音频或文本概要；从行人102口头接收到的信息的音频或文本表示；从行人102接收到的需要自主车辆100的乘员做出响应的问题的音频或文本表示；由于行人102的存在和/或行人102的动作，危险情况已经形成并且正在执行紧急制动或其他规避操纵的通知；与行人102相关联的生理信息(例如指示行人102不健康、不适、喘不过气来、跛行)等。
面向外部的IVA 234可以被实现为任何技术上可行的语音代理、智能虚拟助手或其他智能代理和/或是基于任何技术上可行的语音代理、智能虚拟助手或其他智能代理。因此，在一些实施方案中，面向外部的IVA 234的功能可以在包括在自主车辆100中的一个或多个计算装置内本地执行，并且在其他实施方案中，面向外部的IVA 234的某些部分可以被远程执行，诸如经由云计算平台。在后面的实施方案中，可以远程地执行计算密集型操作。
在实现方式中，对话代理236可以大体类似于面向内部的IVA232和/或面向外部的IVA 234。因此，对话代理236是智能代理或其他自主软件实体，其被编程、训练或以其他方式配置为朝着实现特定目标而行动。更具体地，对话代理236被配置为调节面向内部的IVA232和面向外部的IVA 234之间的信息流。例如，在一些实施方案中，对话代理236被配置为协调与面向内部的IVA 232相关联的对话和与面向外部的IVA 234相关联的对话。另外地或替代地，在一些实施方案中，对话代理236被配置为确定由面向内部的IVA 232接收到的信息和由面向外部的IVA 234接收到的信息的相对优先级。此外，在此类实施方案中，对话代理236被配置为基于此类相对优先级将来自面向内部的IVA 232的信息提供给面向外部的IVA 234，反之亦然。
在一些实施方案中，对话代理236还被配置为，当将从面向外部的IVA 234接收到的信息提供给面向内部的IVA 232时，将该信息的形态改变为不同的形态，反之亦然。例如，在一些实施方案中，经由内部双向通信系统210提供给自主车辆100的一名或多名乘员的第一信息是基于从面向外部的IVA 234接收到的第二信息。在此类实施方案中，以与第二信息的形态不同的形态提供第一信息。即，对话代理236将从面向外部的IVA 234接收到的信息的形态改变为不同的形态，以提供给自主车辆100的一名或多名乘员。因此，在一个此类实施方案中，由面向外部的IVA 234接收到的第二信息包括来自行人102的可听见的口头话语。面向外部的IVA 234向对话代理236传输口头话语的录音，然后对话代理236将口头话语的录音转换为文本(或生成口头话语的文本概要)并将文本(即，第一信息)提供给面向内部的IVA 232，以显示给自主车辆100的乘员。
在一些实施方案中，对话代理236被配置为启用IVA 232和IVA234之间的直接沟通模式，其中自主车辆100的乘员和行人102之间的沟通更直接。在一些实施方案中，来自和/或去往行人102的语音沟通是实时的，并且对话代理236、IVA 232和IVA 234本质上充当对讲机。在一些实施方案中，当IVA 234不能辨认和/或完全理解行人102的一个或多个口头话语和/或IVA 232不能辨认和/或完全理解乘员的一个或多个口头话语时，可以启用此类直接沟通模式。在一些实施方案中，当行人102说出诸如“救命”、“事故”或“紧急情况”之类的特定词语或短语和/或当行人102的语音语调被确定为害怕或焦急时，可以启用此类直接沟通模式。在一些实施方案中，在直接沟通模式中，在延迟之后以音频消息的形式向乘员提供口头话语或其他基于语音的消息。在一些实施方案中，对话代理236基于口头话语的优先级在适当的时间向乘员提供此类音频消息。在一些实施方案中，例如当IVA 232和/或IVA 234无法辨认一个或多个口头话语时，对话代理236实时或接近实时地向乘员提供此类音频消息。在一些实施方案中，对话代理236和IVA 234记录来自行人102的消息，该消息可以稍后使用IVA 232回放给自主车辆100的乘员。
图3是示出根据一个或多个实施方案的智能虚拟助手系统120的各个元件之间的交互的框图。在图3所示的实施方案中，面向内部的IVA 232、面向外部的IVA 234和对话代理236被表示为三个单独的实体。在其他实施方案中，面向内部的IVA 232、面向外部的IVA234和/或对话代理236的一些或全部功能可被组合到单个实体。
如所示，面向内部的IVA 232从内部双向通信系统210接收信息(诸如乘员语音命令和/或姿势)并向内部双向通信系统210提供信息(诸如用于向自主车辆100的一名或多名乘员显示和/或回放的信息)。类似地，面向外部的IVA 234从外部双向通信系统220接收信息(诸如来自行人102的口头话语和/或行人102的此类话语和/或姿势的文本表示)，并且将信息提供给外部双向通信系统220(诸如用于显示和/或回放给行人102)。
对话代理236从面向内部的IVA 232和面向外部的IVA 234接收信息并向其提供信息，诸如语音或视频记录或文本信息。在一些实施方案中，对话代理236确定正在向自主车辆100的乘员提供和正在向行人102提供的信息的相对优先级以及此类信息的合适形态。在此类实施方案中，对话代理被配置为控制对与面向内部的IVA 232相关联的对话和与面向外部的IVA 234相关联的对话的信息输入。例如，对话代理236可以确定由面向外部的IVA234接收到的信息(诸如针对行人102的乘员问题的回答)具有足够的优先级以中断在自主车辆100的乘员之间检测到的对话。在另一个示例中，对话代理236可以确定由面向外部的IVA 234接收到的信息的优先级低于此类对话的优先级，并延迟向自主车辆100的乘员提供信息和/或修改待提供给乘员的信息的形态。如上所述，在一些实施方案中，对话代理236还被配置为根据某些情况，诸如信息的优先级，修改待提供给自主车辆100的乘员和/或行人102的信息的当前形态。
在一些实施方案中，对话代理236被配置为至少部分地基于与自主车辆100的乘员和/或行人102相关联的生理信息来控制对与面向内部的IVA 232相关联的对话和与面向外部的IVA 234相关联的对话的信息输入。例如，对话代理236可以确定自主车辆100的乘员正在经受高水平的压力，因此对话代理236确定由行人102针对乘员的询问具有比在其他情况下低的优先级。在另一个示例中，对话代理236可以确定行人102正在或将要以比正常步速慢的速度穿过人行横道，并将此类信息提供给自主车辆100的乘员。
图4是根据一个或多个实施方案的由智能虚拟助手系统120响应于事件而执行的事件和动作的时间线400。在时间T1，自主车辆100遇到红灯，并且自主车辆100的乘员注意到在自主车辆100的右手侧有一长队在餐厅前等待的人。在时间T2，乘员向面向内部的IVA232询问餐厅的情况。在时间T3，因为对话代理确定没有更高优先级的信息要提供给乘员，所以乘员和面向内部的IVA 232之间的沟通不会被中断。因此，面向内部的IVA 232例如基于快速互联网搜索和当前位置信息回答乘员的问题。在时间T4，乘员向面向内部的IVA 232询问是否需要预订；面向内部的IVA 232解释了来自乘员的问题并且还将问题传达给对话代理236以供进一步考虑。在时间T5，面向内部的IVA 232对与在时间T4接收到的问题有关的信息执行互联网搜索。同时，对话代理236确定面向外部的IVA 234也可以尝试收集与在时间T4接收到的问题有关的信息，并且向面向外部的IVA 234提供适当的信息(例如，在时间T4接收到的问题的文本)。在时间T6，面向内部的IVA 232可听地(或替代地通过显示文本信息)回答来自乘员的问题，并且面向外部的IVA 234经由例如外部双向通信系统220向接近自主车辆100的一个或多个人询问与该问题有关的信息。在时间T7，面向内部的IVA 232接收到对在时间T6提供的答案的口头回应，而面向外部的IVA 234从接近自主车辆100的在时间T6被询问的人那里接收到口头回应。在时间T8，对话代理236接收到面向外部的IVA234在时间T7口头接收的信息以用于分析。同时，面向外部的IVA 234通过例如感谢该人提供信息继续与自主车辆100外的人对话。在时间T9，对话代理236确定由面向外部的IVA 234在时间T7接收到的信息与乘员问题有关，并且将此类信息(或其概要)提供给面向内部的IVA 232，由面向内部的IVA 232通知乘员。同时，在时间T9，自主车辆100外的人和面向外部的IVA 234之间的对话继续。在时间T10，面向内部的IVA 232接收到来自乘员的进一步指令，并且面向外部的IVA 234继续自主车辆100外的对话。在时间T11，面向内部的IVA 232确认从乘员接收到的指令，并且自主车辆100执行完成来自乘员的指令所需的驾驶操作。在时间T12，面向内部的IVA232基于自主车辆100外的一个或多个环境因素，诸如对乘员安全离开自主车辆100的可用时间的估计，向乘员提供附加提示或信息。在时间T13，乘员离开自主车辆100。
图5是根据各种实施方案的用于控制由多个智能虚拟助手实现的对话的方法步骤的流程图。尽管相对于图1至图4的系统描述了方法步骤，但是被配置为以任何顺序执行方法步骤的任何系统都落入各种实施方案的范围内。
如所示，方法500开始于步骤502，其中对话代理236从面向内部的IVA 232、面向外部的IVA 234，或者在一些实施方案中，从自主车辆控制系统104接收信息。此类信息可以包括在自主车辆100内检测到的或从行人102指向自主车辆100的口头话语的内容。替代地或另外地，在一些实施方案中，此类信息可以包括由自主车辆100的乘员(以下称为“乘员”)或行人102执行的特定身体姿势的通知。替代地或另外地，在一些实施方案中，此类信息可包括由自主车辆传感器130检测到并由自主车辆控制系统104感知到的道路危险信息，诸如行人102穿过自主车辆100的导航路径的可能性、紧急停车或其他规避操作的可能性、自主车辆控制系统104确定正在接近指定位置，诸如与乘员相关联的特定兴趣点、导航航点或目标，等等。
在步骤504中，对话代理236确定在步骤502中接收到的信息是否与乘员有关。如果是，方法500进行到步骤522；如果否，则方法500进行到步骤512。在一些实施方案中，对话代理236基于乘员的身份做出此类确定。在一些实施方案中，对话代理236基于自主车辆100内的当前对话和/或乘员向面向内部的IVA 232提出的问题做出关于来自行人的口头话语的此类确定。
在步骤512中，对话代理确定在步骤502中接收到的信息是否与行人102有关。如果是，方法500进行到步骤514；如果否，方法500返回到步骤502。在一些实施方案中，对话代理236基于乘员提出的问题做出此类确定。在一些实施方案中，对话代理236基于正处于距离行人102的阈值距离内的导航路径做出此类确定。在一些实施方案中，对话代理236基于行人102的位置做出此类确定。
在步骤514中，对话代理236经由面向外部的IVA 234向行人102提供有关信息。在一些实施方案中，对话代理236在向行人102提供有关信息之前修改有关信息的形态。因此，在一个此类实施方案中，由乘员口头提出的问题或命令被转换成显示给一个或多个行人的文本输出。在一些实施方案中，对话代理236在向行人102提供有关信息之前修改有关信息中的某些内容。例如，在提供给行人102之前，可以将乘员向面向内部的IVA 232提出的问题修改成更清楚、更礼貌等。
在响应于确定在步骤502中接收到的信息与乘员有关而执行的步骤522中，对话代理236确定当前是否要向乘员提供其他有关信息。如果是，方法500进行到步骤524；如果否，则方法500进行到步骤526。此类其他有关信息可包括尚未呈现给乘员的信息，诸如从行人102获得的信息、导航更新、回答来自乘员的较早问题的信息等。
在步骤524中，对话代理236确定待提供给乘员的有关信息的不同组的相对优先级。每组有关信息的优先级可以基于一个或多个因素，包括：该信息是否与安全问题相关；该信息是否是为回答乘员的问题而收集的；该信息是否与和乘员相关的站立兴趣点相关联；该信息是否是对来自乘员的信息的提示；如通过面向内部的IVA 232确定的自主车辆100中正在进行的当前活动(诸如对话)的优先级，等。
在步骤526中，对话代理236经由例如面向内部的IVA 232向一名或多名乘员提供最高优先级的有关信息。在一些实施方案中，对话代理236首先修改正呈现给一名或多名乘员的信息的形态。例如，在一个实施方案中，对话代理236将行人102的口头话语转换为文本概要，该文本概要经由内部双向通信系统210显示。在一些实施方案中，对话代理236还在步骤526中向一名或多名乘员呈现较低优先级的有关信息，但将此类信息的形态修改为较低的显著性，从而降低较低优先级的有关信息中断自主车辆100中当前对话或分散乘员对较高优先级信息的注意力的可能性。
在一些实施方案中，对话代理236还基于优先级确定与一名或多名乘员有关的特定信息的适当呈现时间和/或呈现形态。例如，在一些实施方案中，适当的呈现形态和/或呈现时间基于特定信息的优先级。因此，在特定信息包括重要的基于安全的信息的情况下，对话代理236确定特定信息的高优先级并选择最接近的呈现时间，从而用可听消息中断自主车辆100内的对话。在另一实例中，对话代理236确定特定信息的较低优先级，并且对话代理236选择不中断自主车辆100中的当前对话的特定信息的呈现时间和/或形态。
在步骤528中，对话代理236确定是否有剩余的有关信息要提供给一名或多名乘员。如果是，方法500进行到步骤532；如果否，方法500返回到步骤502。
在步骤532中，对话代理236确定是否已经从例如面向内部的IVA 232、面向外部的IVA 234和/或自主车辆控制系统104接收到附加信息。如果是，方法返回到步骤502并分析附加信息；如果否，则方法500返回到步骤526并且将最高优先级的剩余信息提供给一名或多名乘员。
总之，各种实施方案阐述了用于控制多个车载智能虚拟助手的系统和技术。在实施方案中，对话代理被配置为在自主车辆中使用以调节面向内部的智能虚拟助手和面向外部的智能虚拟助手之间的信息。来自一个智能虚拟助手的较高优先级信息可以被立即提供给另一个智能虚拟助手，而较低优先级的信息可以稍后或以不太突出的形态提供。
所公开实施方案的至少一项技术改进是促进自主或半自主车辆的乘员与车辆外的人之间的通信。所公开实施方案的另一技术改进是此类车辆外的人可以与车辆控制系统通信，而车辆的乘员同时与车辆控制系统通信而不会中断。所公开实施方案的进一步技术改进在于，可以在适当的时间以适当的形态向车辆乘员提供由面向外部的车载智能虚拟助手收集或接收到的信息。这些技术优点提供了优于现有技术方法的一个或多个技术进步。
1.在一些实施方案中，所述系统包括被配置用于与位于车辆中的第一人进行通信的内部双向通信系统，通信耦合到所述内部双向通信系统的面向内部的智能虚拟助手，被配置用于与位于所述车辆外的第二人进行通信的外部双向通信系统，通信耦合到所述外部双向通信系统的面向外部的智能虚拟助手，和控制在所述面向内部的智能虚拟助手和所述面向外部的智能虚拟助手之间交换的信息的对话代理。
2.如条款1所述的系统，其中所述内部双向通信系统包括以下各项中的至少一项：用于接收在所述车辆内生成的口头话语的传声器、用于在所述车辆内生成音频信息的扬声器、用于接收在所述车辆内生成的视觉信息的相机或用于在所述车辆内生成视觉信息的显示器；并且所述外部双向通信系统包括以下各项中的至少一项：用于接收在所述车辆外生成的口头话语的传声器、用于在所述车辆外生成音频信息的扬声器、用于接收在所述车辆外生成的视觉信息的相机、用于监控所述车辆外部环境的基于雷达的系统、用于监控所述车辆外部环境的基于热成像的系统、用于监控所述车辆外部环境的基于激光的成像系统、用于监控所述车辆外部环境的基于激光雷达的成像系统，用于监控所述车辆外部环境的超声波传感器、用于监控所述车辆外部环境的主动声纳传感器、用于在所述车辆外生成视觉信息的显示器或用于将视觉信息投影到车辆外的投影系统。
3.如条款1或2所述的系统，其中所述面向内部的智能虚拟助手被训练为向所述第一人呈现信息以及从所述第一人接收信息。
4.如条款1-3中任一项所述的系统，其中所述面向内部的智能虚拟助手被训练为经由以下各项中的至少一项来接收信息：来自所述第一人的语音命令、所述第一人的身体姿势或所述第一人的输入操作。
5.如条款1-4中任一项所述的系统，其中所述面向外部的智能虚拟助手被训练为向所述第二人呈现信息以及从所述第二人接收信息。
6.如条款1-5中任一项所述的系统，其中所述对话代理被配置为确定所述面向外部的智能虚拟助手接收到的信息的第一优先级，确定所述面向内部的智能虚拟助手接收到的信息的第二优先级，并基于所述第一优先级和所述第二优先级，选择特定信息并经由所述内部双向通信系统将所述特定信息提供给所述第一人。
7.如条款1-6中任一项所述的系统，其中所述面向内部的智能虚拟助手接收到的所述信息包括以下各项中的一项：包括所述第一人的对话的通知、所述第一人正在向所述面向内部的智能虚拟助手提出的问题的通知、所述第一人正在执行的特定身体姿势的指示或所述第一人正在说出的语音命令的指示。
8.如条款1-7中任一项所述的系统，其中所述面向外部的智能虚拟助手接收到的所述信息包括以下各项中的一项：所述第二人正在向所述面向外部的智能虚拟助手提出的问题的通知、所述第二人正在执行的特定身体姿势的指示或所述第二人正在说出的特定口头话语的指示。
9.如条款1-8中任一项所述的系统，其中所述对话代理还被配置为确定所述面向外部的智能虚拟助手接收到的所述信息包括待提供给所述第一人的信息，并且将待提供给所述第一人的所述信息包括在所述特定信息中。
10.如条款1-9中任一项所述的系统，其中所述对话代理还被配置为将所述面向外部的智能虚拟助手接收到的所述信息的形态从第一形态改变为第二形态，并且将所述面向外部的智能虚拟助手接收到的处于所述第二形态的所述信息包括在所述特定信息中。
11.在一些实施方案中，一种方法包括：确定车辆的面向外部的智能虚拟助手接收到的信息的第一优先级，确定所述车辆的面向内部的智能虚拟助手接收到的信息的第二优先级，并基于所述第一优先级和所述第二优先级，选择特定信息并通过内部双向通信系统将所述特定信息提供给位于车辆内的第一人。
12.如条款11所述的方法，其中所述面向内部的智能虚拟助手接收到的所述信息包括以下各项中的一项：包括所述第一人的对话的通知、所述第一人正在向所述面向内部的智能虚拟助手提出的问题的通知、所述第一人正在执行的特定身体姿势的指示或所述第一人正在说出的语音命令的指示。
13.如条款11或12所述的方法，其中所述面向外部的智能虚拟助手接收到的所述信息包括以下各项中的一项：位于所述车辆外的第二人正在向所述面向外部的智能虚拟助手提出的问题的通知、所述第二人正在执行的特定身体姿势的指示或所述第二人正在说出的特定口头话语的指示。
14.如条款11-13中任一项所述的方法，其还包括确定所述面向外部的智能虚拟助手接收到的所述信息包括待提供给所述第一人的信息，并且将待提供给所述第一人的所述信息包括在所述特定信息中。
15.如条款11-14中任一项所述的方法，其还包括将所述面向外部的智能虚拟助手接收到的所述信息的形态从第一形态改变为第二形态，并且将所述面向外部的智能虚拟助手接收到的处于所述第二形态的所述信息包括在所述特定信息中。
16.如条款11-15中任一项所述的方法，其中所述第一形态包括以下各项中的至少一项：所述第一人的身体姿势、来自所述第一人的口头话语或由所述第一人执行的身体输入。
17.在一些实施方案中，一种或多种非暂时性计算机可读介质存储指令，所述指令在由一个或多个处理器执行时致使所述一个或多个处理器执行以下步骤：确定车辆的面向外部的智能虚拟助手接收到的信息的第一优先级，确定所述车辆的面向内部的智能虚拟助手接收到的信息的第二优先级，以及基于所述第一优先级和所述第二优先级，选择特定信息并经由内部双向通信系统将所述特定信息提供给位于车辆中的第一人。
18.如条款17所述的一种或多种非暂时性计算机可读介质，其中所述指令在由所述一个或多个处理器执行时致使所述一个或多个处理器执行以下步骤：将所述面向外部的智能虚拟助手接收到的所述信息的形态从第一形态改变为第二形态，并且将所述面向外部的智能虚拟助手接收到的处于所述第二形态的所述信息包括在所述特定信息中。
19.如条款17或18所述的一种或多种非暂时性计算机可读介质，其中所述指令在由所述一个或多个处理器执行时致使所述一个或多个处理器执行以下步骤：基于所述特定信息的优先级确定所述特定信息的呈现时间，以及在所述呈现时间将所述特定信息提供给所述第一人。
20.如条款17-19中任一项所述的一种或多种非暂时性计算机可读介质，其中所述指令在由所述一个或多个处理器执行时致使所述一个或多个处理器执行以下步骤：基于所述特定信息的优先级确定所述特定信息的呈现形态，以及使用所述呈现形态将所述特定信息提供给所述第一人。
权利要求中任一项所述的权利要求要素中的任一个和/或本申请中描述的任何要素的呈任何形式的任何和所有组合均落入本发明和保护的预期范围内。
各种实施方案的描述已经呈现以用于说明目的，而并非意在穷举或限于所公开的实施方案。在不脱离所描述的实施方案的范围和精神的情况下，许多修改和变化对于本领域普通技术人员来说将是明显的。
本实施方案的各方面可体现为系统、方法或计算机程序产品。因此，本公开的各方面可以采用完全硬件实施方案、完全软件实施方案(包括固件、常驻软件、微代码等)或结合软件和硬件方面的实施方案的形式，它们在本文中可以统称为“模块”或“系统”。另外，本公开中描述的任何硬件和/或软件技术、过程、功能、部件、引擎、模块或系统可被实现为电路或电路的集合。此外，本公开的各方面可采用计算机程序产品的形式，所述计算机程序产品在其上实施有计算机可读程序代码的至少一种计算机可读介质中实施。
可利用至少一种计算机可读介质的任何组合。计算机可读介质可为计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、设备或装置或前述介质的任何合适组合。计算机可读存储介质的更具体示例(非详尽列表)将包括以下介质：具有至少一个导线的电气连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或快闪存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储装置、磁存储装置或前述介质的任何合适组合。在本文档的语境中，计算机可读存储介质可以是可含有或存储供指令执行系统、设备或装置使用或与其联用的程序的任何有形介质。
参考根据本公开的实施方案的方法、设备(系统)和计算机程序产品的流程图图解和/或框图来描述本公开的各方面。应理解，流程图图解和/或框图中的每个框以及流程图图解和/或框图中的框的组合能够通过计算机程序指令来实现。这些计算机程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以生成机器，使得经由计算机或其他可编程数据处理设备的处理器执行的指令能够实施流程图和/或框图的一个或多个框中指定的功能/动作。此类处理器可为但不限于通用处理器、专用处理器、应用特定处理器或现场可编程处理器或门阵列。
附图中的流程图和框图图示了根据本公开的各种实施方案的系统、方法和计算机程序产品的可能实现方式的体系架构、功能和操作。在这个方面，流程图或框图中的每个框可以表示代码的模块、区段或部分，所述代码包括用于实现所指定的逻辑功能的至少一个可执行指令。还应注意，在一些替代实现方式中，框中所提出的功能可不按附图中提出的顺序发生。例如，实际上依据所涉及的功能性，可基本上同时执行连续示出的两个框，或者有时可以相反的顺序执行所述框。还应当指出的是，框图和/或流程图图解的每个框以及框图和/或流程图图解中的框的组合可以由执行规定的功能或动作的基于专用硬件的系统或者专用硬件和计算机指令的组合来实现。
虽然前述内容针对本公开的实施方案，但是可在不脱离本公开的基本范围的情况下设计出本公开的其他和更多实施方案，且所述范围由所附权利要求确定。

Claims (20)

1.一种系统，其包括：
内部双向通信系统，其被配置用于与位于车辆中的第一人进行通信；
面向内部的智能虚拟助手，其通信耦合到所述内部双向通信系统；
外部双向通信系统，其被配置用于与位于所述车辆外的第二人进行通信；
面向外部的智能虚拟助手，其通信耦合到所述外部双向通信系统；和
对话代理，其控制在所述面向内部的智能虚拟助手和所述面向外部的智能虚拟助手之间交换的信息。
2.如权利要求1所述的系统，其中：
所述内部双向通信系统包括以下各项中的至少一项：用于接收在所述车辆内生成的口头话语的传声器、用于在所述车辆内生成音频信息的扬声器、用于接收在所述车辆内生成的视觉信息的相机或用于在所述车辆内生成视觉信息的显示器；并且
所述外部双向通信系统包括以下各项中的至少一项：用于接收在所述车辆外生成的口头话语的传声器、用于在所述车辆外生成音频信息的扬声器、用于接收在所述车辆外生成的视觉信息的相机、用于监控车辆外部环境的基于雷达的系统、用于监控所述车辆外部环境的基于热成像的系统、用于监控所述车辆外部环境的基于激光的成像系统、用于监控所述车辆外部环境的基于激光雷达的成像系统、用于监控所述车辆外部环境的超声波传感器、用于监控所述车辆外部环境的主动声纳传感器、用于在所述车辆外生成视觉信息的显示器或用于将视觉信息投影到车辆外的投影系统。
3.如权利要求1所述的系统，其中所述面向内部的智能虚拟助手被训练为向所述第一人呈现信息以及从所述第一人接收信息。
4.如权利要求3所述的系统，其中所述面向内部的智能虚拟助手被训练为经由以下各项中的至少一项来接收信息：来自所述第一人的语音命令、所述第一人的身体姿势或所述第一人的输入操作。
5.如权利要求1所述的系统，其中所述面向外部的智能虚拟助手被训练为向所述第二人呈现信息以及从所述第二人接收信息。
6.如权利要求1所述的系统，其中所述对话代理被配置为：
确定所述面向外部的智能虚拟助手接收到的信息的第一优先级；
确定所述面向内部的智能虚拟助手接收到的信息的第二优先级；并且
基于所述第一优先级和所述第二优先级，选择特定信息并经由所述内部双向通信系统将所述特定信息提供给所述第一人。
7.如权利要求6所述的系统，其中所述面向内部的智能虚拟助手接收到的所述信息包括以下各项中的一项：包括所述第一人的对话的通知、所述第一人正在向所述面向内部的智能虚拟助手提出的问题的通知、所述第一人正在执行的特定身体姿势的指示或所述第一人正在说出的语音命令的指示。
8.如权利要求6所述的系统，其中所述面向外部的智能虚拟助手接收到的所述信息包括以下各项中的一项：所述第二人正在向所述面向外部的智能虚拟助手提出的问题的通知、所述第二人正在执行的特定身体姿势的指示或所述第二人正在说出的特定口头话语的指示。
9.如权利要求6所述的系统，其中所述对话代理还被配置为：
确定所述面向外部的智能虚拟助手接收到的信息包括待提供给所述第一人的信息；并且
将待提供给所述第一人的信息包括在所述特定信息中。
10.如权利要求6所述的系统，其中所述对话代理还被配置为：
将所述面向外部的智能虚拟助手接收到的信息的形态从第一形态改变为第二形态；并且
将所述面向外部的智能虚拟助手接收到的处于所述第二形态的信息包括在所述特定信息中。
11.一种方法，其包括：
确定车辆的面向外部的智能虚拟助手接收到的信息的第一优先级；
确定所述车辆的面向内部的智能虚拟助手接收到的信息的第二优先级；以及
基于所述第一优先级和所述第二优先级，选择特定信息并经由内部双向通信系统将所述特定信息提供给位于所述车辆中的第一人。
12.如权利要求11所述的方法，其中所述面向内部的智能虚拟助手接收到的所述信息包括以下各项中的一项：包括所述第一人的对话的通知、所述第一人正在向所述面向内部的智能虚拟助手提出的问题的通知、所述第一人正在执行的特定身体姿势的指示或所述第一人正在说出的语音命令的指示。
13.如权利要求11所述的方法，其中所述面向外部的智能虚拟助手接收到的所述信息包括以下各项中的一项：位于所述车辆外的第二人正在向所述面向外部的智能虚拟助手提出的问题的通知、所述第二人正在执行的特定身体姿势的指示或所述第二人正在说出的特定口头话语的指示。
14.如权利要求11所述的方法，其还包括：
确定所述面向外部的智能虚拟助手接收到的信息包括待提供给所述第一人的信息；以及
将待提供给所述第一人的信息包括在所述特定信息中。
15.如权利要求11所述的方法，其还包括：
将所述面向外部的智能虚拟助手接收到的信息的形态从第一形态改变为第二形态；以及
将所述面向外部的智能虚拟助手接收到的处于所述第二形态的信息包括在所述特定信息中。
16.如权利要求15所述的方法，其中所述第一形态包括以下各项中的至少一项：所述第一人的身体姿势、来自所述第一人的口头话语或由所述第一人执行的身体输入。
17.一种或多种非暂时性计算机可读介质，所述一种或多种非暂时性计算机可读介质存储指令，所述指令在由一个或多个处理器执行时致使所述一个或多个处理器执行以下步骤：
确定车辆的面向外部的智能虚拟助手接收到的信息的第一优先级；
确定所述车辆的面向内部的智能虚拟助手接收到的信息的第二优先级；以及
基于所述第一优先级和所述第二优先级，选择特定信息并经由内部双向通信系统将所述特定信息提供给位于所述车辆中的第一人。
18.如权利要求17所述的一种或多种非暂时性计算机可读介质，其中所述指令在由所述一个或多个处理器执行时致使所述一个或多个处理器执行以下步骤：
将所述面向外部的智能虚拟助手接收到的信息的形态从第一形态改变为第二形态；以及
将所述面向外部的智能虚拟助手接收到的处于所述第二形态的信息包括在所述特定信息中。
19.如权利要求17所述的一种或多种非暂时性计算机可读介质，其中所述指令在由所述一个或多个处理器执行时致使所述一个或多个处理器执行以下步骤：
基于所述特定信息的优先级确定所述特定信息的呈现时间；以及
在所述呈现时间将所述特定信息提供给所述第一人。
20.如权利要求17所述的一种或多种非暂时性计算机可读介质，其中所述指令在由所述一个或多个处理器执行时致使所述一个或多个处理器执行以下步骤：
基于所述特定信息的优先级确定所述特定信息的呈现形态；以及
使用所述呈现形态将所述特定信息提供给所述第一人。
CN202111054451.XA 2020-09-10 2021-09-09 用于控制多个车载智能虚拟助手的虚拟对话代理 Pending CN114253392A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/017,612 2020-09-10
US17/017,612 US20220076670A1 (en) 2020-09-10 2020-09-10 Virtual conversation agent for controlling multiple vehicular intelligent virtual assistants

Publications (1)

Publication Number Publication Date
CN114253392A true CN114253392A (zh) 2022-03-29

Family

ID=80266877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111054451.XA Pending CN114253392A (zh) 2020-09-10 2021-09-09 用于控制多个车载智能虚拟助手的虚拟对话代理

Country Status (3)

Country Link
US (1) US20220076670A1 (zh)
CN (1) CN114253392A (zh)
DE (1) DE102021122168A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022130792A1 (de) 2022-11-22 2024-05-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines digitalen Assistenten eines Fahrzeugs, computerlesbares Medium, System, und Fahrzeug

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8355703B2 (en) * 2010-06-08 2013-01-15 At&T Intellectual Property I, L.P. Intelligent text message-to-speech system and method for visual voice mail
US9272658B2 (en) * 2014-06-24 2016-03-01 Google Inc. Attention and event management
US10419868B2 (en) * 2017-08-02 2019-09-17 Faurecia Automotive Seating, Llc Sound system
US11393238B1 (en) * 2017-12-11 2022-07-19 Zoox, Inc. Safety control system for vehicles with child car seats
US20200082188A1 (en) * 2018-09-07 2020-03-12 Gauss Moto, Inc. Methods and systems for real-time monitoring of vehicles
US11314976B2 (en) * 2019-03-15 2022-04-26 Lg Electronics Inc. Vehicle control device
WO2020222317A1 (ko) * 2019-04-29 2020-11-05 엘지전자 주식회사 전자 장치 및 전자 장치의 동작 방법
US11676236B2 (en) * 2019-07-22 2023-06-13 Pony Ai Inc. Systems and methods for autonomous passenger transport
DE102020110777A1 (de) * 2020-04-21 2021-10-21 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur Außenkommunikation eines Fahrzeugs
US11485308B2 (en) * 2020-06-29 2022-11-01 Nvidia Corporation In-cabin hazard prevention and safety control system for autonomous machine applications

Also Published As

Publication number Publication date
US20220076670A1 (en) 2022-03-10
DE102021122168A1 (de) 2022-03-10

Similar Documents

Publication Publication Date Title
US11670175B2 (en) Vehicle operation assistance
JP7352566B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US11709488B2 (en) Manual control re-engagement in an autonomous vehicle
JP7080598B2 (ja) 車両制御装置および車両制御方法
JP6353383B2 (ja) ドライバ支援システムの制御方法
US9786192B2 (en) Assessing driver readiness for transition between operational modes of an autonomous vehicle
EP3125211B1 (en) Information presentation device and information presentation method
WO2020054458A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
EP3675121B1 (en) Computer-implemented interaction with a user
US11577742B2 (en) Methods and systems for increasing autonomous vehicle safety and flexibility using voice interaction
JP6565408B2 (ja) 車両制御装置及び車両制御方法
US10720156B2 (en) Co-pilot and conversational companion
WO2019044427A1 (ja) 支援方法およびそれを利用した支援システム、支援装置
US10989554B2 (en) System and method for emotion navigation routing
JP2022503485A (ja) 車両の自動運転工程の際の運転者の注意および／または運転態勢を補助するための方法および装置
CN114253392A (zh) 用于控制多个车载智能虚拟助手的虚拟对话代理
KR20210072304A (ko) 문답형 공유제어시스템 및 이를 구비한 이동로봇
JP2007269310A (ja) 走行制御装置および方法、プログラム、並びに記録媒体
JP7238193B2 (ja) 車両制御装置および車両制御方法
WO2023035260A1 (zh) 提示车辆状态信息的方法及装置
KR102667424B1 (ko) 차량 내 제스처 입력을 이용한 제어 시스템
KR102047296B1 (ko) 부분자율주행차량 제어권 전환 알림 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination