CN113287117A - 交互系统和方法 - Google Patents

交互系统和方法 Download PDF

Info

Publication number
CN113287117A
CN113287117A CN201980087794.0A CN201980087794A CN113287117A CN 113287117 A CN113287117 A CN 113287117A CN 201980087794 A CN201980087794 A CN 201980087794A CN 113287117 A CN113287117 A CN 113287117A
Authority
CN
China
Prior art keywords
motor vehicle
occupant
adjusting
interior environment
occupants
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980087794.0A
Other languages
English (en)
Inventor
C·阿迪林
M·凯泽
J·沃特斯
R·M·波里卡诺
N·伦克
B·D·阮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sereni Run Co
Nuance Communications Inc
Original Assignee
Sereni Run Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sereni Run Co filed Critical Sereni Run Co
Publication of CN113287117A publication Critical patent/CN113287117A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/80—Circuits; Control arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00735—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
    • B60H1/00742—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models by detection of the vehicle occupants' presence; by detection of conditions relating to the body of occupants, e.g. using radiant heat detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/24—Energy storage means
    • B60W2710/242—Energy storage means for electrical energy
    • B60W2710/246—Temperature

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Thermal Sciences (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种方法、计算机程序产品和计算系统，用于：监测机动运载工具的内部环境；确定所述机动运载工具的内部环境内的乘员的个人状态；以及至少部分地基于所述乘员的个人状态来与所述乘员交互。

Description

交互系统和方法
技术领域
本发明涉及交互系统，并且更特别地，涉及供在机动运载工具内使用的交互系统。
背景技术
如今的消费电子装置的能力正在不断扩展。并且当这些消费电子装置与捕获音频的系统(诸如麦克风等)和捕获视频的系统(诸如照相机等)耦接时，这些消费电子装置可以允许用户例如使用他们的语音、面部和/或眼睛作为授予他们访问这些消费电子装置的“密码”。
此外，通过使用经由例如麦克风和照相机获得的这样的补充信息，可以根据这样的消费电子装置“听到”和“看到”的内容来改变/操纵这些消费电子装置起作用的方式。
发明内容
在一个实现中，在计算装置上执行计算机实现的方法，并且所述计算机实现的方法包括：监测机动运载工具的内部环境；确定所述机动运载工具的内部环境内的乘员的个人状态；以及至少部分地基于所述乘员的个人状态来与所述乘员交互。
可以包括以下特征中的一个或多个。所述乘员可以是所述机动运载工具的驾驶员。所述机动运载工具的内部环境内的乘员的个人状态可以包括以下中的一个或多个：所述机动运载工具的内部环境内的乘员的生理/身体/外部状态；以及所述机动运载工具的内部环境内的乘员的心理/情绪/内部状态。至少部分地基于所述乘员的个人状态来与所述乘员交互可以包括：物理地改变所述机动运载工具的内部环境。物理地改变所述机动运载工具的内部环境可以包括以下中的一个或多个：调整所述机动运载工具的内部环境的温度；调整所述机动运载工具的一个或多个窗；调整所述机动运载工具的天窗；调整所述机动运载工具的一个或多个内部灯；调整所述机动运载工具的娱乐系统；调整所述机动运载工具的座椅系统；以及调整机动运载工具的通风系统。至少部分地基于所述乘员的个人状态来与所述乘员交互可以包括以下中的一个或多个：触发声音警报；触发视觉警报；物理地吸引所述机动运载工具的内部环境内的乘员；以视觉方式吸引所述机动运载工具的内部环境内的乘员；以及以可听见方式吸引所述机动运载工具的内部环境内的乘员。至少部分地基于所述乘员的个人状态来与所述乘员交互可以包括：调整基于语音的通信系统吸引所述机动运载工具的内部环境内的乘员的方式。调整基于语音的通信系统吸引所述机动运载工具的内部环境内的乘员的方式可以包括以下中的一个或多个：调整所述基于语音的通信系统为了吸引所述机动运载工具的内部环境内的乘员所使用的言语的速度；调整所述基于语音的通信系统为了吸引所述机动运载工具的内部环境内的乘员所使用的言语的词汇；调整所述基于语音的通信系统为了吸引所述机动运载工具的内部环境内的乘员所使用的言语的量；调整所述基于语音的通信系统为了吸引所述机动运载工具的内部环境内的乘员所使用的言语的变调；以及调整所述基于语音的通信系统为了吸引所述机动运载工具的内部环境内的乘员所使用的言语的音色。
在另一实现中，计算机程序产品驻留在计算机可读介质上并且存储有多个指令。所述多个指令在被处理器执行时，使得所述处理器进行包括以下的操作：监测机动运载工具的内部环境；确定所述机动运载工具的内部环境内的乘员的个人状态；以及至少部分地基于所述乘员的个人状态来与所述乘员交互。
可以包括以下特征中的一个或多个。所述乘员可以是所述机动运载工具的驾驶员。所述机动运载工具的内部环境内的乘员的个人状态可以包括以下中的一个或多个：所述机动运载工具的内部环境内的乘员的生理/身体/外部状态；以及所述机动运载工具的内部环境内的乘员的心理/情绪/内部状态。至少部分地基于所述乘员的个人状态来与所述乘员交互可以包括：物理地改变所述机动运载工具的内部环境。物理地改变所述机动运载工具的内部环境可以包括以下中的一个或多个：调整所述机动运载工具的内部环境的温度；调整所述机动运载工具的一个或多个窗；调整所述机动运载工具的天窗；调整所述机动运载工具的一个或多个内部灯；调整所述机动运载工具的娱乐系统；调整所述机动运载工具的座椅系统；以及调整机动运载工具的通风系统。至少部分地基于所述乘员的个人状态来与所述乘员交互可以包括以下中的一个或多个：触发声音警报；触发视觉警报；物理地吸引所述机动运载工具的内部环境内的乘员；以视觉方式吸引所述机动运载工具的内部环境内的乘员；以及以可听见方式吸引所述机动运载工具的内部环境内的乘员。至少部分地基于所述乘员的个人状态来与所述乘员交互可以包括：调整基于语音的通信系统吸引所述机动运载工具的内部环境内的乘员的方式。调整基于语音的通信系统吸引所述机动运载工具的内部环境内的乘员的方式可以包括以下中的一个或多个：调整所述基于语音的通信系统为了吸引所述机动运载工具的内部环境内的乘员所使用的言语的速度；调整所述基于语音的通信系统为了吸引所述机动运载工具的内部环境内的乘员所使用的言语的词汇；调整所述基于语音的通信系统为了吸引所述机动运载工具的内部环境内的乘员所使用的言语的量；调整所述基于语音的通信系统为了吸引所述机动运载工具的内部环境内的乘员所使用的言语的变调；以及调整所述基于语音的通信系统为了吸引所述机动运载工具的内部环境内的乘员所使用的言语的音色。
在另一实现中，一种计算系统，包括处理器和存储器，所述处理器和存储器被配置为进行包括以下的操作：监测机动运载工具的内部环境；确定所述机动运载工具的内部环境内的乘员的个人状态；以及至少部分地基于所述乘员的个人状态来与所述乘员交互。
可以包括以下特征中的一个或多个。所述乘员可以是所述机动运载工具的驾驶员。所述机动运载工具的内部环境内的乘员的个人状态可以包括以下中的一个或多个：所述机动运载工具的内部环境内的乘员的生理/身体/外部状态；以及所述机动运载工具的内部环境内的乘员的心理/情绪/内部状态。至少部分地基于所述乘员的个人状态来与所述乘员交互可以包括：物理地改变所述机动运载工具的内部环境。物理地改变所述机动运载工具的内部环境可以包括以下中的一个或多个：调整所述机动运载工具的内部环境的温度；调整所述机动运载工具的一个或多个窗；调整所述机动运载工具的天窗；调整所述机动运载工具的一个或多个内部灯；调整所述机动运载工具的娱乐系统；调整所述机动运载工具的座椅系统；以及调整机动运载工具的通风系统。至少部分地基于所述乘员的个人状态来与所述乘员交互可以包括以下中的一个或多个：触发声音警报；触发视觉警报；物理地吸引所述机动运载工具的内部环境内的乘员；以视觉方式吸引所述机动运载工具的内部环境内的乘员；以及以可听见方式吸引所述机动运载工具的内部环境内的乘员。至少部分地基于所述乘员的个人状态来与所述乘员交互可以包括：调整基于语音的通信系统吸引所述机动运载工具的内部环境内的乘员的方式。调整基于语音的通信系统吸引所述机动运载工具的内部环境内的乘员的方式可以包括以下中的一个或多个：调整所述基于语音的通信系统为了吸引所述机动运载工具的内部环境内的乘员所使用的言语的速度；调整所述基于语音的通信系统为了吸引所述机动运载工具的内部环境内的乘员所使用的言语的词汇；调整所述基于语音的通信系统为了吸引所述机动运载工具的内部环境内的乘员所使用的言语的量；调整所述基于语音的通信系统为了吸引所述机动运载工具的内部环境内的乘员所使用的言语的变调；以及调整所述基于语音的通信系统为了吸引所述机动运载工具的内部环境内的乘员所使用的言语的音色。
在以下的附图和说明书中阐述了一个或多个实现的详情。根据说明书、附图和权利要求书，其它特征和优点将变得明显。
附图说明
图1是根据本发明实施例的执行交互处理的消费电子装置的示意图；
图2是并入了执行图1的交互处理的消费电子装置的机动运载工具的示意图；以及
图3是根据本发明实施例的图1的交互处理的流程图。
各个附图中的相同的附图标记表示相同的元件。
具体实施方式
系统概述
参考图1，示出交互处理10。交互处理10可以驻留在消费电子装置12上并且可以由消费电子装置12执行。消费电子装置12的示例可以包括但不限于运载工具电子系统。这样的运载工具电子系统的示例可以包括并入机动运载工具中的任何类型的信息娱乐/电子系统，诸如运载工具导航系统、运载工具音乐系统、运载工具视频系统、运载工具电话系统、运载工具气候控制系统和运载工具控制系统等。
交互处理10的指令集和子例程可以由消费电子装置12内所包括的一个或多个处理器(未示出)以及一个或多个存储器架构(未示出)执行，其中这些指令集和子例程可以存储在耦接至消费电子装置12的存储装置14上。存储装置14的示例可以包括但不限于：硬盘驱动器；随机存取存储器(RAM)；只读存储器(ROM)；以及所有形式的闪速存储装置。消费电子装置12可以执行操作系统，其示例可以包括但不限于Microsoft WindowsTM、AndroidTM、iOSTM、LinuxTM或自定义操作系统。
当被配置为运载工具信息娱乐系统时，消费电子装置12可被配置为执行用户(例如，用户16)可能感兴趣/对用户可能有用的各种不同功能。这样的功能的示例可以包括但不限于：无线电功能(例如，使得能够播放地面无线电台和卫星无线电台)；音频功能(例如，使得能够播放音频，其中该音频可以基于盘或本地存储在存储装置14上)；视频功能(例如，使得能够播放视频，其中该视频可以基于盘或本地存储在存储装置14上)；电话功能(例如，使得能够拨打和接听电话)；导航功能(例如，使得能够执行导航/引导功能)；以及通信功能(例如，使得能够发送和接收电子邮件/文本消息/即时消息)。
当被配置为运载工具信息娱乐系统时，消费电子装置12可以包括使得能够选择上述功能的多个按钮(例如，物理按钮或电子按钮)。例如，上述无线电功能可以经由“无线电”按钮18进行选择；上述音频功能可以经由“音频”按钮20进行选择；上述视频功能可以经由“视频”按钮22进行选择；上述电话功能可以经由“电话”按钮24进行选择；上述导航功能可以经由“导航”按钮26进行选择；以及上述通信功能可以经由“通信”按钮28进行选择。
当被配置为运载工具信息娱乐系统时，消费电子装置12可被配置为与一个或多个外部系统(例如，外部系统30)连接。外部系统30的示例可以包括但不限于：蜂窝电话；智能手机；平板计算装置；便携式计算装置；以及手持式娱乐装置(例如，诸如游戏装置等)。当与消费电子装置12连接时，外部系统30可以经由硬连线连接(例如，USB线缆32)可释放地耦接至消费电子装置12。可选地，外部系统30可以经由在外部系统30和消费电子装置12的天线36之间建立的无线通信信道34无线地耦接至消费电子装置12。无线通信信道34的示例可以包括但不限于蓝牙通信信道。如本领域已知，蓝牙是允许例如移动电话、计算机和个人数字助理使用短距离无线连接进行互连的电信行业规范。
消费电子装置12和/或外部系统30可被配置为无线地耦接至/访问外部网络(例如，网络38)。网络38的示例可以包括但不限于互联网、蜂窝网络、WiFi网络和/或基于云的计算平台。
如以上所论述的，消费电子装置12可被配置为执行用户(例如，用户16)可能感兴趣/对用户可能有用的各种不同功能。这些功能中的一些可以本地驻留在消费电子装置12上(由消费电子装置12提供)。另外/可选地，这些功能中的一些可以远程地驻留在外部系统30上(由外部系统30提供)。这种远程驻留功能的示例可以包括电话功能(例如，使得能够使用外部系统30经由消费电子装置12来拨打和接听电话)和通信功能(使得用户16能够使用外部系统30经由消费电子装置12来发送/接收电子邮件、发送/接收文本消息和/或发送/接收即时消息)。消费电子装置12还可以包括用于实现这些功能的使用的显示画面40以及一个或多个旋钮/拨盘42、44。
消费电子装置12可以包括麦克风组装件46和语音处理系统48(诸如可从马萨诸塞州伯灵顿市的Nuance Communications公司获得的麦克风组装件和语音处理系统等)。因此，消费电子装置12可被配置为接受由(在本示例中为)用户16说出和提供的口头命令(例如，口头命令50)。这些口头命令(例如，口头命令50)可被配置为允许用户16以无需动手的方式访问和控制上述功能。消费电子装置12还可以包括照相机组件52，该照相机组件52可被配置为捕获(在该示例中为)用户16的影像54，其中所捕获到的视频54可以由视频处理系统56处理。消费电子装置12还可以包括扬声器组件58，该扬声器组件58可以被配置为向(在该示例中为)用户16呈现音频60，其中音频60可以由消费电子装置12和/或外部系统30生成。
如以上所论述的，交互处理10可以驻留在消费电子装置12上并且可以由消费电子装置12执行，消费电子装置12的示例可以包括但不限于运载工具电子系统。例如，还参考图2至图3，消费电子装置12可以定位在机动运载工具100内(或是机动运载工具100的一部分)，其中运载工具100可以包括一个或多个乘员。对于该特定示例，运载工具100被示出为包括两个乘员，即(正在驾驶运载工具100的)用户16和乘客102。
交互处理
交互处理10可以监测200机动运载工具100的内部环境104(例如，通道隔间)，并且可以确定202机动运载工具100的内部环境104内的乘员(例如，用户16或乘客102)的个人状态。在确定202该个人状态时，交互处理10可以至少部分地基于乘员(例如，用户16或乘客102)的个人状态来与乘员(例如，用户16或乘客102)交互204。
针对机动运载工具100的内部环境104内的乘员(例如，用户16或乘客102)所确定的个人状态202的示例可以包括但不限于以下中的一个或多个：
·机动运载工具100的内部环境104内的乘员(例如，用户16或乘客102)的生理/身体/外部状态。例如，乘员(例如，用户16或乘客102)是否匆忙？乘员(例如，用户16或乘客102)是否困倦？乘员(例如，用户16或乘客102)是否有损伤？乘员(例如，用户16或乘客102)是否受伤？乘员(例如，用户16或乘客102)是否生病？乘员(例如，用户16或乘客102)是否遭遇医疗紧急情况？
·机动运载工具100的内部环境104内的乘员(例如，用户16或乘客102)的心理/情绪/内部状态。例如，乘员(例如，用户16或乘客102)是否紧张？乘员(例如，用户16或乘客102)是否生气？乘员(例如，用户16或乘客102)是否愉快？乘员(例如，用户16或乘客102)是否健谈？
另外，交互处理10可以使用各种方法来确定202机动运载工具100的内部环境104内的乘员(例如，用户16或乘客102)的个人状态(例如，生理/身体/外部状态、心理/情绪/内部状态)。
个人状态的音频指示
因此，交互处理10可以利用麦克风组件46和语音处理系统48来监测机动运载工具100的乘员(例如，用户16或乘客102)所说的词语/短语，以确定202乘员(例如，用户16或乘客102)的个人状态(例如，生理/身体/外部状态、心理/情绪/内部状态)。
例如：
·如果乘员(例如，用户16或乘客102)正在更快地说话，则这可以指示乘员(例如，用户16或乘客102)是仓促/匆忙/警觉的。
·如果乘员(例如，用户16或乘客102)正在以正常速度说话，则这可以指示乘员(例如，用户16或乘客102)是放松/平静的。
·如果乘员(例如，用户16或乘客102)正在更慢地说话，则这可以指示乘员(例如，用户16或乘客102)是困倦/疲惫的。
·如果乘员(例如，用户16或乘客102)正在打鼾/寂静无声，则这可以指示乘员(例如，用户16或乘客102)是睡着的。
·如果乘员(例如，用户16或乘客102)正在大声说话/喊叫，这可以指示乘员(例如，用户16或乘客102)是恼怒/紧张的。
·如果乘员(例如，用户16或乘客102)正在啰嗦，则这可以指示乘员(例如，用户16或乘客102)是愉快的/健谈的。
·如果乘员(例如，用户16或乘客102)说话含糊，则这可以指示乘员(例如，用户16或乘客102)受损伤。
·如果乘员(例如，用户16或乘客102)正使用大量上升变调，则这可以指示乘员(例如，用户16或乘客102)是不确定/困惑的。
个人状态的视频指示
此外，交互处理10可以利用照相机组件52和视频处理系统56来以视觉方式监测机动运载工具100的乘员(例如，用户16或乘客102)，以确定202个人状态(例如，生理/身体/外部状态、心理/情绪/内部状态)。
例如：
·如果乘员(例如，用户16或乘客102)具有过度警觉的面部表情(例如，完全睁开的眼睛、活跃的头部运动)，则这可以指示乘员(例如，用户16或乘客102)是仓促/匆忙/警觉的。
·如果乘员(例如，用户16或乘客102)具有正常的面部表情(例如，正常睁开的眼睛、典型的头部运动)，则这可以指示乘员(例如，用户16或乘客102)是放松/平静的。
·如果乘员(例如，用户16或乘客102)具有疲惫的面部表情(例如，部分闭合的眼睛、晃动的头部运动)，则这可以指示乘员(例如，用户16或乘客102)是困倦/疲惫的。
·如果乘员(例如，用户16或乘客102)具有熟睡的面部表情(例如，完全闭合的眼睛、歪着/倾斜的头部)，则这可以指示乘员(例如，用户16或乘客102)是睡着的。
·如果乘员(例如，用户16或乘客102)具有焦虑的面部表情(例如，皱眉、斜眉毛、猝然一动的头部运动)，则这可以指示乘员(例如，用户16或乘客102)是恼怒/紧张的。
·如果乘员(例如，用户16或乘客102)具有愉快的面部表情(例如，带有快活的头部运动的微笑)，则这可以指示乘员(例如，用户16或乘客102)是愉快的/健谈的。
·如果乘员(例如，用户16或乘客102)具有有损伤的面部表情(例如，部分闭合的眼睛、扩大的瞳孔)，则这可以指示乘员(例如，用户16或乘客102)有损伤。
·如果乘员(例如，用户16或乘客102)具有困惑的面部表情(例如，不同程度睁开的眼睛、歪着的头部)，则这可以指示乘员(例如，用户16或乘客102)是不确定/困惑的。
如以上所论述的，交互处理10可以利用音频信息和/或视频信息来确定202机动运载工具100的乘员(例如，用户16或乘客102)的个人状态(例如，生理/身体/外部状态、心理/情绪/内部状态)。一旦确定202了该个人状态(例如，生理/身体/外部状态、心理/情绪/内部状态)，交互处理10就可以至少部分地基于乘员(例如，用户16或乘客102)的个人状态来与乘员(例如，用户16或乘客102)交互204。
当至少部分地基于乘员(例如，用户16或乘客102)的个人状态(例如，生理/身体/外部状态、心理/情绪/内部状态)来与乘员(例如，用户16或乘客102)交互204时，交互处理10可以进行各种功能，这些功能的示例可以包括但不限于调整基于语音的通信系统(例如，语音处理系统48)吸引机动运载工具100的内部环境104内的乘员(例如，用户16或乘客102)的方式。
当调整206基于语音的通信系统(例如，语音处理系统48)吸引机动运载工具100的内部环境104内的乘员(例如，用户16或乘客102)的方式时，交互处理10可以定制与乘员(例如，用户16或乘客102)的交互以适应或影响乘员(例如，用户16或乘客102)的个人状态(例如，生理/身体/外部状态、心理/情绪/内部状态。
例如：
·交互处理10可以调整208基于语音的通信系统(例如，语音处理系统48)为了吸引机动运载工具100的内部环境104内的乘员(例如，用户16或乘客102)所使用的言语的速度。例如，如果机动运载工具100的内部环境104内的乘员(例如，用户16或乘客102)的个人状态指示他们是仓促的，则可以使用更快的速度。相反，如果机动运载工具100的内部环境104内的乘员(例如，用户16或乘客102)的个人状态指示他们是放松的，则可以使用更慢的速度。
·交互处理10可以调整210基于语音的通信系统(例如，语音处理系统48)为了吸引机动运载工具100的内部环境104内的乘员(例如，用户16或乘客102)所使用的言语的词汇。例如，如果机动运载工具100的内部环境104内的乘员(例如，用户16或乘客102)的个人状态指示他们是紧张的，则可以使用更正式或中立的词汇。相反，如果机动运载工具100的内部环境104内的乘员(例如，用户16或乘客102)的个人状态指示他们是放松的，则可以使用更非正式或口语的词汇。
·交互处理10可以调整212基于语音的通信系统(例如，语音处理系统48)为了吸引机动运载工具100的内部环境104内的乘员(例如，用户16或乘客102)所使用的言语的量。例如，如果机动运载工具100的内部环境104内的乘员(例如，用户16或乘客102)的个人状态指示他们是仓促的，则可以使用更少的词语/更短的句子。相反，如果机动运载工具100的内部环境104内的乘员(例如，用户16或乘客102)的个人状态指示他们是健谈的，则可以使用更多的词语/更长的句子。
·交互处理10可以调整214基于语音的通信系统(例如，语音处理系统48)为了吸引机动运载工具100的内部环境104内的乘员(例如，用户16或乘客102)所使用的言语的变调。例如，如果机动运载工具100的内部环境104内的乘员(例如，用户16或乘客102)的个人状态指示他们是恼怒的，则可以使用更加单调/平静的变调。相反，如果机动运载工具100的内部环境104内的乘员(例如，用户16或乘客102)的个人状态指示他们是愉快的，则可以使用更加多样化/生动的变调。
·交互处理10可以调整216基于语音的通信系统(例如，语音处理系统48)为了吸引机动运载工具100的内部环境104内的乘员(例如，用户16或乘客102)所使用的言语的音色。例如，如果机动运载工具100的内部环境104内的乘员(例如，用户16或乘客102)的个人状态指示他们是愉快的，则可以使用以明亮且紧的音色说出的言语。相反，如果机动运载工具100的内部环境104内的乘员(例如，用户16或乘客102)的个人状态指示他们是悲伤的，则可以使用以阴沉且气息音的音色说出的言语。
如以上所论述的，当至少部分地基于乘员(例如，用户16或乘客102)的个人状态(例如，生理/身体/外部状态、心理/情绪/内部状态)与乘员(例如，用户16或乘客102)交互204时，交互处理10可以进行各种功能，这些功能的另一示例可以包括但不限于物理地改变218机动运载工具100的内部环境104。
例如，在确定为正在驾驶机动运载工具100的乘员(例如，用户16)看起来有损伤和/或困倦的情况下，交互处理10可以采取补救措施并且可以物理地改变218机动运载工具100的内部环境104，以试图使乘员(例如，用户16)更加警觉。以下所述的补救措施中的一个或多个可以是：a)通过交互处理10自动启动的；或b)通过交互处理10提供给乘员(例如，用户16)并且仅在由乘员(例如，用户16)批准的情况下才启动的。
例如：
·交互处理10可以调整220机动运载工具100的内部环境104的温度。例如，在乘员(例如，用户16)看起来有损伤和/或困倦的情况下，交互处理10可以向接口系统64提供控制信号62，其中接口系统64可被配置为与机动运载工具100的气候控制系统(未示出)交互，使得例如，可以降低内部环境104内的温度以试图提高乘员(例如，用户16)的警觉性水平。
·交互处理10可以调整222机动运载工具100的一个或多个窗。例如，在乘员(例如，用户16)看起来有损伤和/或困倦的情况下，交互处理10可以向接口系统64提供控制信号62，其中接口系统64可被配置为与机动运载工具100的窗控制系统(未示出)交互，从而例如，可以使机动运载工具100的一个或多个窗(未示出)下降以试图提高乘员(例如，用户16)的警觉性水平。
·交互处理10可以调整224机动运载工具100的天窗。例如，在乘员(例如，用户16)看起来有损伤和/或困倦的情况下，交互处理10可以向接口系统64提供控制信号62，其中接口系统64可被配置为与机动运载工具100的天窗控制系统(未示出)交互，使得例如，可以打开机动运载工具100的天窗(未示出)以试图提高乘员(例如，用户16)的警觉性水平。
·交互处理10可以调整226机动运载工具100的一个或多个内部灯。例如，在乘员(例如，用户16)看起来有损伤和/或困倦的情况下，交互处理10可以向接口系统64提供控制信号62，其中接口系统64可被配置为与照明控制系统(未示出)交互，使得例如，可以使内部环境104变明亮以试图提高乘员(例如，用户16)的警觉性水平。
·交互处理10可以调整228机动运载工具100的娱乐系统。例如，在乘员(例如，用户16)看起来有损伤和/或困倦的情况下，交互处理10可以向接口系统64提供控制信号62，其中接口系统64可被配置为与机动运载工具100内的娱乐系统(例如，消费电子装置12)交互，使得例如，可以播放响亮的音乐。可选地，可以播放乘员(例如，用户16)(基于个人偏好)感到精力充沛的一种音乐(例如，古典音乐/摇滚音乐/重金属音乐)。还可选地，可以要求机动运载工具100的乘员(例如，用户16)参与合成会话(例如，交互处理10和乘员(例如，用户16)可以参与涉及语音识别、自然语言理解(NLU)、对话管理、自然语言生成(NLG)和语音合成的会话)，以试图提高乘员(例如，用户16)的警觉性水平。
·交互处理10可以调整230机动运载工具100的座椅系统。例如，在乘员(例如，用户16)看起来有损伤和/或困倦的情况下，交互处理10可以向接口系统64提供控制信号62，其中接口系统64可被配置为与机动运载工具100的座椅系统(未示出)交互，使得例如，驾驶员座椅可被调整成例如将乘员(例如，用户16)放置于更直立的驾驶位置，以试图提高乘员(例如，用户16)的警觉性水平。为了以这种方式配置交互处理10，由于这种交互的侵入性质，因而可能需要乘员(例如，用户16)的主动批准。
·交互处理10可以调整232机动运载工具的通风系统100。例如，在乘员(例如，用户16)看起来有损伤和/或困倦的情况下，交互处理10可以向接口系统64提供控制信号62，其中接口系统64可被配置为与机动运载工具100的通风系统(未示出)交互，使得例如，高速气流可被引导到乘员(例如，用户16)，以试图提高乘员(例如，用户16)的警觉性水平。
再次并且如以上所论述的，当至少部分地基于乘员(例如，用户16或乘客102)的个人状态(例如，生理/身体/外部状态、心理/情绪/内部状态)与乘员(例如，用户16或乘客102)交互204时，交互处理10可以进行各种功能。以下所述的功能中的一个或多个可以是：a)通过交互处理10自动启动的；或b)通过交互处理10提供给乘员(例如，用户16)并且仅在由乘员(例如，用户16)批准的情况下才启动的。这样的功能的示例可以包括但不限于：
·交互处理10触发234声音警报。例如，在乘员(例如，用户16)看起来有损伤和/或困倦的情况下，交互处理10可以(经由扬声器组件58)呈现声音警报，以试图提高乘员(例如，用户16)的警觉性水平。
·交互处理10触发236视觉警报。例如，在乘员(例如，用户16)看起来有损伤和/或困倦的情况下，交互处理10可以(经由显示屏40和/或内部照明系统(未示出))呈现视觉警报，以试图提高乘员(例如，用户16)的警觉性水平。
·交互处理10物理地吸引238机动运载工具100的内部环境104内的乘员(例如，用户16)。例如，在乘员(例如，用户16)看起来有损伤和/或困倦的情况下，交互处理10可以经由例如方向盘中的振动马达(未示出)、座椅(未示出)中的振动马达和/或水雾组件(未示出)来物理地吸引乘员(例如，用户16)，以试图提高乘员(例如，用户16)的警觉性水平。为了以这种方式配置交互处理10，由于这种交互的侵入性质，因而可能需要乘员(例如，用户16)的主动批准。
·交互处理10以视觉方式吸引240机动运载工具100的内部环境104内的乘员(例如，用户16)。例如，在乘员(例如，用户16)看起来有损伤和/或困倦的情况下，交互处理10可以经由例如显示屏40以视觉方式吸引乘员(例如，用户16)，以尝试提高乘员(例如，用户16)的警觉性水平，其中可能要求乘员(例如，用户16)按所限定的间隔触摸显示屏40以避免触发警报。为了以这种方式配置交互处理10，由于这种交互的侵入性质，因而可能需要乘员(例如，用户16)的主动批准。
·交互处理10以可听见方式吸引242机动运载工具100的内部环境104内的乘员(例如，用户16)。例如，在乘员(例如，用户16)看起来有损伤和/或困倦的情况下，交互处理10可以经由例如扬声器组件58和麦克风组件48以可听见方式吸引乘员(例如，用户16)，以试图提高乘员(例如，用户16)的警觉性水平，其中乘员(例如，用户16)可以利用基于语音的通信系统(例如，语音处理系统48)来使乘员(例如，用户16)参与合成会话(例如，交互处理10和乘员(例如，用户16)可以参与涉及语音识别、自然语言理解(NLU)、对话管理、自然语言生成(NLG)和语音合成的会话)以避免触发警报。
一般情况
如本领域技术人员将理解的，本发明可以体现为方法、系统或计算机程序产品。因此，本发明可以采取全硬件实施例、全软件实施例(包括固件、常驻软件、微代码等)或者组合了软件方面和硬件方面的实施例的形式，其中软件方面和硬件方面在本文中一般可被称为“电路”、“模块”或“系统”。此外，本发明可以采取计算机可用存储介质上的计算机程序产品的形式，该计算机程序产品具有体现在介质中的计算机可用程序代码。
可以利用任何合适的计算机可用或计算机可读介质。计算机可用或计算机可读介质可以例如是但不限于电子、磁、光、电磁、红外或半导体系统、设备、装置或传播介质。计算机可读介质的更具体示例(非详尽列表)可以包括以下：具有一个或多个线的电连接、便携式计算机软磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光存储装置、传输介质(诸如支持因特网或内联网的传输介质)或磁存储装置。计算机可用或计算机可读介质也可以是打印该程序的纸或其它合适介质，因为该程序可以经由例如纸或其它介质的光扫描以电子方式捕获，然后在必要时以适当的方式编译、解释或以其它方式处理，然后存储在计算机存储器中。在本文档的上下文中，计算机可用或计算机可读介质可以是任何介质，其可以包含、存储、通信、传播或传输程序，以供指令执行系统、设备或装置使用或与之相关使用。计算机可用介质可以在基带中或者作为载波的一部分而包括具有体现在其中的计算机可用程序代码的传播数据信号。计算机可用程序代码可以使用任何适当的介质(包括但不限于因特网、有线、光纤线缆、RF等)传输。
用于执行本发明的操作的计算机程序代码可以用诸如Java、Smalltalk、C++等的面向对象的编程语言来编写。然而，用于执行本发明的操作的计算机程序代码也可以用诸如“C”编程语言或类似编程语言等的传统过程编程语言来编写。程序代码可以完全在用户的计算机上，部分在用户的计算机上执行，作为独立的软件包而执行，部分在用户的计算机上执行，部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过局域网/广域网/因特网(例如，网络14)而连接至用户的计算机。
参考根据本发明的实施例的方法、设备(系统)和计算机程序产品的流程图和/或框图来描述本发明。应当理解，流程图和/或框图中的各框以及流程图和/或框图中的框的组合可以通过计算机程序指令来实现。这些计算机程序指令可被提供给通用计算机/专用计算机/其它可编程数据处理设备的处理器，使得经由计算机或其它可编程数据处理设备的处理器执行的指令创建用于实现流程图和/或框图的框中所指定的功能/动作的部件。
这些计算机程序指令也可以存储在计算机可读存储器中，该计算机可读存储器可以指示计算机或其它可编程数据处理设备以特定方式运行，使得计算机可读存储器中所存储的指令产生包括用于实现流程图和/或框图的框中所指定的功能/动作的指令部的制品。
计算机程序指令也可以加载到计算机或其它可编程数据处理设备上，以在计算机或其它可编程设备上进行一系列操作步骤，从而产生计算机实现处理，使得在计算机或其它可编程设备上执行的指令提供用于实现流程图和/或框图的框中所指定的功能/动作的步骤。
图中的流程图和框图可以示出根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这方面，流程图或框图中的各框可以表示代码的模块、段或部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。还应当注意，在一些可选实施中，框中提到的功能可能不符合图中提到的顺序。例如，顺序显示的两个框实际上可能基本上同时执行，或者这些框可能有时根据所涉及的功能以相反的顺序执行。还应当注意，框图和/或流程图中的各框以及框图和/或流程图中的框的组合可以通过进行指定功能或动作的基于硬件的专用系统、或者专用硬件和计算机指令的组合来实现。
这里使用的术语仅为了描述特定实施例，并且不旨在限制本发明。如这里所使用的，单数形式“a”、“an”和“the”也旨在包括复数形式，除非上下文另有明确指示。还应当理解，术语“包括(comprises/comprising)”在本说明书中使用时指定所述特征、整数、步骤、操作、元件和/或组件的存在，但不排除一个或多个其它特征、整数、步骤、操作、元件、组件和/或其组的存在或添加。
所附权利要求书中的所有部件或步骤加功能元件的相应结构、材料、动作和等同项旨在包括用于与具体要求保护的其它要求保护的元件相结合地执行功能的任何结构、材料或动作。本发明的描述是为了例示和描述的目的而提出的，但不旨在是详尽的或局限于采用所公开的形式的公开内容。对于本领域的普通技术人员来说，许多修改和变化将是明显的，而不背离本发明的范围和精神。选择和描述实施例，以最好地解释本发明的原理和实际应用，并且使本领域普通技术人员能够理解本发明的各种实施例以及适合预期的特定用途的各种修改。
描述了多种实现。因此，在详细描述了本申请的公开内容之后并参考其实施例，显然可以在不脱离所附权利要求书所限定的公开内容的范围的情况下进行修改和变化。

Claims (24)

1.一种计算机实现的方法，其在计算装置上执行，所述计算机实现的方法包括：
监测机动运载工具的内部环境；
确定所述机动运载工具的内部环境内的乘员的个人状态；以及
至少部分地基于所述乘员的个人状态来与所述乘员交互。
2.根据权利要求1所述的计算机实现的方法，其中，所述乘员是所述机动运载工具的驾驶员。
3.根据权利要求1所述的计算机实现的方法，其中，所述机动运载工具的内部环境内的乘员的个人状态包括以下中的一个或多个：
所述机动运载工具的内部环境内的乘员的生理/身体/外部状态；以及
所述机动运载工具的内部环境内的乘员的心理/情绪/内部状态。
4.根据权利要求1所述的计算机实现的方法，其中，至少部分地基于所述乘员的个人状态来与所述乘员交互包括：
物理地改变所述机动运载工具的内部环境。
5.根据权利要求4所述的计算机实现的方法，其中，物理地改变所述机动运载工具的内部环境包括以下中的一个或多个：
调整所述机动运载工具的内部环境的温度；
调整所述机动运载工具的一个或多个窗；
调整所述机动运载工具的天窗；
调整所述机动运载工具的一个或多个内部灯；
调整所述机动运载工具的娱乐系统；
调整所述机动运载工具的座椅系统；以及
调整机动运载工具的通风系统。
6.根据权利要求1所述的计算机实现的方法，其中，至少部分地基于所述乘员的个人状态来与所述乘员交互包括以下中的一个或多个：
触发声音警报；
触发视觉警报；
物理地吸引所述机动运载工具的内部环境内的乘员；
以视觉方式吸引所述机动运载工具的内部环境内的乘员；以及
以可听见方式吸引所述机动运载工具的内部环境内的乘员。
7.根据权利要求1所述的计算机实现的方法，其中，至少部分地基于所述乘员的个人状态来与所述乘员交互包括：
调整基于语音的通信系统吸引所述机动运载工具的内部环境内的乘员的方式。
8.根据权利要求7所述的计算机实现的方法，其中，调整基于语音的通信系统吸引所述机动运载工具的内部环境内的乘员的方式包括以下中的一个或多个：
调整所述基于语音的通信系统为了吸引所述机动运载工具的内部环境内的乘员所使用的言语的速度；
调整所述基于语音的通信系统为了吸引所述机动运载工具的内部环境内的乘员所使用的言语的词汇；
调整所述基于语音的通信系统为了吸引所述机动运载工具的内部环境内的乘员所使用的言语的量；
调整所述基于语音的通信系统为了吸引所述机动运载工具的内部环境内的乘员所使用的言语的变调；以及
调整所述基于语音的通信系统为了吸引所述机动运载工具的内部环境内的乘员所使用的言语的音色。
9.一种计算机程序产品，其驻留在存储有多个指令的计算机可读介质上，所述多个指令在被处理器执行时使得所述处理器进行包括以下的操作：
监测机动运载工具的内部环境；
确定所述机动运载工具的内部环境内的乘员的个人状态；以及
至少部分地基于所述乘员的个人状态来与所述乘员交互。
10.根据权利要求9所述的计算机程序产品，其中，所述乘员是所述机动运载工具的驾驶员。
11.根据权利要求9所述的计算机程序产品，其中，所述机动运载工具的内部环境内的乘员的个人状态包括以下中的一个或多个：
所述机动运载工具的内部环境内的乘员的生理/身体/外部状态；以及
所述机动运载工具的内部环境内的乘员的心理/情绪/内部状态。
12.根据权利要求9所述的计算机程序产品，其中，至少部分地基于所述乘员的个人状态来与所述乘员交互包括：
物理地改变所述机动运载工具的内部环境。
13.根据权利要求12所述的计算机程序产品，其中，物理地改变所述机动运载工具的内部环境包括以下中的一个或多个：
调整所述机动运载工具的内部环境的温度；
调整所述机动运载工具的一个或多个窗；
调整所述机动运载工具的天窗；
调整所述机动运载工具的一个或多个内部灯；
调整所述机动运载工具的娱乐系统；
调整所述机动运载工具的座椅系统；以及
调整机动运载工具的通风系统。
14.根据权利要求9所述的计算机程序产品，其中，至少部分地基于所述乘员的个人状态来与所述乘员交互包括以下中的一个或多个：
触发声音警报；
触发视觉警报；
物理地吸引所述机动运载工具的内部环境内的乘员；
以视觉方式吸引所述机动运载工具的内部环境内的乘员；以及
以可听见方式吸引所述机动运载工具的内部环境内的乘员。
15.根据权利要求9所述的计算机程序产品，其中，至少部分地基于所述乘员的个人状态来与所述乘员交互包括：
调整基于语音的通信系统吸引所述机动运载工具的内部环境内的乘员的方式。
16.根据权利要求15所述的计算机程序产品，其中，调整基于语音的通信系统吸引所述机动运载工具的内部环境内的乘员的方式包括以下中的一个或多个：
调整所述基于语音的通信系统为了吸引所述机动运载工具的内部环境内的乘员所使用的言语的速度；
调整所述基于语音的通信系统为了吸引所述机动运载工具的内部环境内的乘员所使用的言语的词汇；
调整所述基于语音的通信系统为了吸引所述机动运载工具的内部环境内的乘员所使用的言语的量；
调整所述基于语音的通信系统为了吸引所述机动运载工具的内部环境内的乘员所使用的言语的变调；以及
调整所述基于语音的通信系统为了吸引所述机动运载工具的内部环境内的乘员所使用的言语的音色。
17.一种计算系统，其包括处理器和存储器，所述处理器和存储器被配置为进行包括以下的操作：
监测机动运载工具的内部环境；
确定所述机动运载工具的内部环境内的乘员的个人状态；以及
至少部分地基于所述乘员的个人状态来与所述乘员交互。
18.根据权利要求17所述的计算系统，其中，所述乘员是所述机动运载工具的驾驶员。
19.根据权利要求17所述的计算系统，其中，所述机动运载工具的内部环境内的乘员的个人状态包括以下中的一个或多个：
所述机动运载工具的内部环境内的乘员的生理/身体/外部状态；以及
所述机动运载工具的内部环境内的乘员的心理/情绪/内部状态。
20.根据权利要求17所述的计算系统，其中，至少部分地基于所述乘员的个人状态来与所述乘员交互包括：
物理地改变所述机动运载工具的内部环境。
21.根据权利要求20所述的计算系统，其中，物理地改变所述机动运载工具的内部环境包括以下中的一个或多个：
调整所述机动运载工具的内部环境的温度；
调整所述机动运载工具的一个或多个窗；
调整所述机动运载工具的天窗；
调整所述机动运载工具的一个或多个内部灯；
调整所述机动运载工具的娱乐系统；
调整所述机动运载工具的座椅系统；以及
调整机动运载工具的通风系统。
22.根据权利要求17所述的计算系统，其中，至少部分地基于所述乘员的个人状态来与所述乘员交互包括以下中的一个或多个：
触发声音警报；
触发视觉警报；
物理地吸引所述机动运载工具的内部环境内的乘员；
以视觉方式吸引所述机动运载工具的内部环境内的乘员；以及
以可听见方式吸引所述机动运载工具的内部环境内的乘员。
23.根据权利要求17所述的计算系统，其中，至少部分地基于所述乘员的个人状态来与所述乘员交互包括：
调整基于语音的通信系统吸引所述机动运载工具的内部环境内的乘员的方式。
24.根据权利要求23所述的计算系统，其中，调整基于语音的通信系统吸引所述机动运载工具的内部环境内的乘员的方式包括以下中的一个或多个：
调整所述基于语音的通信系统为了吸引所述机动运载工具的内部环境内的乘员所使用的言语的速度；
调整所述基于语音的通信系统为了吸引所述机动运载工具的内部环境内的乘员所使用的言语的词汇；
调整所述基于语音的通信系统为了吸引所述机动运载工具的内部环境内的乘员所使用的言语的量；
调整所述基于语音的通信系统为了吸引所述机动运载工具的内部环境内的乘员所使用的言语的变调；以及
调整所述基于语音的通信系统为了吸引所述机动运载工具的内部环境内的乘员所使用的言语的音色。
CN201980087794.0A 2019-01-04 2019-12-20 交互系统和方法 Pending CN113287117A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962788401P 2019-01-04 2019-01-04
US62/788,401 2019-01-04
US16/405,737 US11170240B2 (en) 2019-01-04 2019-05-07 Interaction system and method
US16/405,737 2019-05-07
PCT/US2019/067770 WO2020142260A1 (en) 2019-01-04 2019-12-20 Interaction system and method

Publications (1)

Publication Number Publication Date
CN113287117A true CN113287117A (zh) 2021-08-20

Family

ID=71403993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980087794.0A Pending CN113287117A (zh) 2019-01-04 2019-12-20 交互系统和方法

Country Status (4)

Country Link
US (1) US11170240B2 (zh)
EP (1) EP3906504A4 (zh)
CN (1) CN113287117A (zh)
WO (1) WO2020142260A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12043265B2 (en) * 2020-12-22 2024-07-23 Subaru Corporation Safety drive assist apparatus
US20230095845A1 (en) * 2021-09-27 2023-03-30 Toyota Motor North America, Inc. Transport modifications for impaired occupants

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101669090A (zh) * 2007-04-26 2010-03-10 福特全球技术公司 情绪提示系统和方法
CN104354701A (zh) * 2014-10-29 2015-02-18 云南大学 一种人车交互的实现方法
US20150314791A1 (en) * 2014-04-30 2015-11-05 Ford Global Technologies, Llc Method and system for driver tailored interaction time alert
CN105700682A (zh) * 2016-01-08 2016-06-22 北京乐驾科技有限公司 基于视觉和语音的智能性别、情绪识别检测系统及方法
CN105895095A (zh) * 2015-02-12 2016-08-24 哈曼国际工业有限公司 自适应交互语音系统
CN106803423A (zh) * 2016-12-27 2017-06-06 智车优行科技（北京）有限公司 基于用户情绪状态的人机交互语音控制方法、装置及车辆
CN107107748A (zh) * 2014-12-30 2017-08-29 Tk控股公司 乘员监视系统和方法
CN108001451A (zh) * 2016-10-27 2018-05-08 福特全球技术公司 用于车辆对驾驶员状态进行自适应的设备和方法
CN108237976A (zh) * 2016-12-27 2018-07-03 广州市联奥信息科技有限公司 具备情绪表达能力的交互行车系统及方法
CN108873887A (zh) * 2017-05-16 2018-11-23 通用汽车环球科技运作有限责任公司 用于选择自主车辆中的驾驶模式的系统和方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5636545U (zh) * 1979-08-31 1981-04-08
DE4339113C2 (de) * 1993-11-16 1996-09-05 Daimler Benz Ag Sitzbelegungserkennungseinrichtung in einem Kraftfahrzeug
US9998697B2 (en) * 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
KR101298197B1 (ko) * 2013-02-18 2013-08-20 주식회사 자이언트스타 졸음 방지 기능을 구비하는 vsdt 룸 미러
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
US20150283914A1 (en) * 2014-04-04 2015-10-08 Ford Global Technologies, Llc Method and system for vehicle battery environment control
KR101659027B1 (ko) * 2014-05-15 2016-09-23 엘지전자 주식회사 이동 단말기 및 차량 제어 장치
US10532659B2 (en) 2014-12-30 2020-01-14 Joyson Safety Systems Acquisition Llc Occupant monitoring systems and methods
JP6515764B2 (ja) 2015-09-28 2019-05-22 株式会社デンソー 対話装置及び対話方法
US10884503B2 (en) * 2015-12-07 2021-01-05 Sri International VPA with integrated object recognition and facial expression recognition
US20170287476A1 (en) * 2016-03-31 2017-10-05 GM Global Technology Operations LLC Vehicle aware speech recognition systems and methods
US20180022357A1 (en) * 2016-07-19 2018-01-25 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Driving recorder system
KR20180059052A (ko) * 2016-11-25 2018-06-04 르노삼성자동차 주식회사 자동차 뒷좌석 모니터링 시스템
US10474423B2 (en) * 2017-06-14 2019-11-12 GM Global Technology Operations LLC Systems and methods for soundscape selection in autonomous vehicles
WO2019028798A1 (zh) * 2017-08-10 2019-02-14 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101669090A (zh) * 2007-04-26 2010-03-10 福特全球技术公司 情绪提示系统和方法
US20150314791A1 (en) * 2014-04-30 2015-11-05 Ford Global Technologies, Llc Method and system for driver tailored interaction time alert
CN104354701A (zh) * 2014-10-29 2015-02-18 云南大学 一种人车交互的实现方法
CN107107748A (zh) * 2014-12-30 2017-08-29 Tk控股公司 乘员监视系统和方法
CN105895095A (zh) * 2015-02-12 2016-08-24 哈曼国际工业有限公司 自适应交互语音系统
CN105700682A (zh) * 2016-01-08 2016-06-22 北京乐驾科技有限公司 基于视觉和语音的智能性别、情绪识别检测系统及方法
CN108001451A (zh) * 2016-10-27 2018-05-08 福特全球技术公司 用于车辆对驾驶员状态进行自适应的设备和方法
CN106803423A (zh) * 2016-12-27 2017-06-06 智车优行科技（北京）有限公司 基于用户情绪状态的人机交互语音控制方法、装置及车辆
CN108237976A (zh) * 2016-12-27 2018-07-03 广州市联奥信息科技有限公司 具备情绪表达能力的交互行车系统及方法
CN108873887A (zh) * 2017-05-16 2018-11-23 通用汽车环球科技运作有限责任公司 用于选择自主车辆中的驾驶模式的系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈森昌: "3D打印与创客", 武汉：华中科技大学出版社, pages: 84 *

Also Published As

Publication number Publication date
EP3906504A4 (en) 2023-02-22
WO2020142260A1 (en) 2020-07-09
US20200218914A1 (en) 2020-07-09
EP3906504A1 (en) 2021-11-10
US11170240B2 (en) 2021-11-09

Similar Documents

Publication Publication Date Title
CN110032660B (zh) 基于情绪来产生个性化音频内容
JP4946200B2 (ja) エージェント装置、プログラム、及びエージェント装置におけるキャラクタ表示方法
EP3373301A1 (en) Apparatus, robot, method and recording medium having program recorded thereon
EP3410433A1 (en) Information processing device, information processing method, and program
US11302325B2 (en) Automatic dialogue design
JP7130201B2 (ja) 装置及びプログラム等
CN113448433A (zh) 情绪响应型虚拟个人助理
US20240078731A1 (en) Avatar representation and audio generation
CN113287117A (zh) 交互系统和方法
US20200286452A1 (en) Agent device, agent device control method, and storage medium
JP2019045867A (ja) 音声制御方法、音声制御装置およびプログラム
US11275554B2 (en) Information processing apparatus, information processing method, and program
WO2019198299A1 (ja) 情報処理装置及び情報処理方法
KR20190115517A (ko) 인공지능 기반의 캐릭터 표시 장치 및 그 표시 방법
Yuksel et al. Designing mobile phones using silent speech input and auditory feedback
KR20200077936A (ko) 사용자 상태에 기초하여 반응을 제공하는 전자 장치 및 그의 동작 방법
WO2019054009A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20240078732A1 (en) Avatar facial expressions based on semantical context
JP2005189846A (ja) 音声制御スクリーンシステム
US12119021B1 (en) Situational awareness for head mounted devices
EP4428854A1 (en) Method for providing voice synthesis service and system therefor
US20240119930A1 (en) Artificial intelligence device and operating method thereof
US10885919B2 (en) Routing system and method
WO2023220194A1 (en) In-vehicle generation of routines using voice commands
JP2024159683A (ja) 電子機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination