CN109328155A - 状况感知个人助理 - Google Patents

状况感知个人助理 Download PDF

Info

Publication number
CN109328155A
CN109328155A CN201780037727.9A CN201780037727A CN109328155A CN 109328155 A CN109328155 A CN 109328155A CN 201780037727 A CN201780037727 A CN 201780037727A CN 109328155 A CN109328155 A CN 109328155A
Authority
CN
China
Prior art keywords
personal assistant
electronic personal
driver
driving condition
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780037727.9A
Other languages
English (en)
Inventor
T·H·朱
T·Z·埃拉巴迪
M·S·哈比卜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN109328155A publication Critical patent/CN109328155A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72463—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2520/105—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/724098—Interfacing with an on-board device of a vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Emergency Alarm Devices (AREA)
  • Telephone Function (AREA)
  • Organic Low-Molecular-Weight Compounds And Preparation Thereof (AREA)
  • Electrochromic Elements, Electrophoresis, Or Variable Reflection Or Absorption Elements (AREA)
  • Acyclic And Carbocyclic Compounds In Medicinal Compositions (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Adhesive Tapes (AREA)

Abstract

提供了用于基于与移动设备300相关联的状况更改电子个人助理106的行为的方法、系统、装置和计算机程序产品。利用多个传感器102A‑102C感测状况以生成传感器数据110A‑HOC。基于传感器数据计算状况分数。基于所计算的状况分数更改电子个人助理106的行为。在一个方面中，状况是驾驶员在道路上驾驶交通工具的驾驶状况。在这种情况下，基于传感器数据计算驾驶状况分数，并且基于所计算的驾驶状况分数更改电子个人助理的行为，诸如暂停电子个人助理与驾驶员的交互以避免驾驶员被分心。用户可以可选地向电子个人助理106口头地提供请求108。请求108还通过电子个人助理106被驾驶状况监控器302接收或者直接从用户接收。在正常情况下，电子个人助理106可以利用回答114口头地响应请求108。然而，状况分数112可以使电子个人助理106改变其行为。在这种情况下，电子个人助理106可以通过不和用户说话来暂停回答114(或其他交互)，和/或可以以另一方式更改其行为。暂停回答114可以至少持续直到驾驶状况监控器320确定电子个人助理可以恢复正常交互为止。

Description

状况感知个人助理
背景技术
“电子个人助理”或“智能个人助理”是在用户可以与之交互的用户设备(诸如移动电话)中执行的应用。用户可以和电子个人助理说话，并且电子个人助理可以通过语音向用户响应。电子个人助理被配置为通过处理用户请求(诸如执行任务和/或服务的请求)来提供一般的帮助。例如，电子个人助理可以被配置为回答问题、提出建议和/或执行动作。电子个人助理可以进一步被配置为基于来自用户的先前指令、移动设备的位置等独自大声说话来向用户提供信息。然而，在任何情况下，在用户需要集中精力于任务(诸如驾驶)的情况下和用户说话可能是令人分心的，并且甚至可能对用户是危险的。
发明内容
提供本发明内容部分是为了以简化形式介绍以下在具体实施方式中被进一步描述的概念的选择。本发明内容部分并非旨在标识所要求保护的主题内容的关键特征或基本特征，也不旨在限制所要求保护的主题内容的范围。
提供了用于基于状况更改电子个人助理的行为的方法、系统、装置和计算机程序产品。利用多个传感器来感测状况以生成传感器数据。基于传感器数据计算状况分数。基于所计算的状况分数更改电子个人助理的行为。在一个方面中，状况是驾驶员在道路上驾驶交通工具的驾驶状况。在这种情况下，基于传感器数据计算驾驶状况分数，并且基于所计算的驾驶状况分数更改电子个人助理的行为，诸如暂停由电子个人助理与驾驶员的交互以避免驾驶员被分心。
下面参照附图详细描述本发明的进一步特征和优点以及本发明的各种实施例的结构和操作。注意，本发明不限于本文所描述的具体实施例。本文所给出的这些实施例仅用于说明目的。基于本文所包含的教导，附加实施例对于相关领域的技术人员将是明显的。
附图说明
被并入本文并构成本说明书的一部分的附图图示了本申请的实施例，并且与本说明书一起进一步用于解释实施例的原理，并且使得相关领域的技术人员能够制造和使用这些实施例。
图1示出了根据示例实施例的状况感知系统的框图，其中传感器数据被状况监控器接收并处理以修改电子个人助理的行为。
图2示出了根据示例实施例的提供用于基于状况更改电子个人助理的行为的过程的流程图。
图3示出了根据示例实施例的在交通工具中被实现以用来防止电子个人助理使驾驶员分心的图1的状况感知系统的框图。
图4示出了根据示例实施例的在交通工具电子设备中被实现的基于交通工具的状况感知系统的框图。
图5示出了根据示例实施例的部分在交通工具电子设备中以及部分在移动用户设备中被实现的基于交通工具的状况感知系统的框图。
图6示出了根据示例实施例的在移动用户设备中被实现的基于交通工具的状况感知系统的框图。
图7示出了根据示例实施例的提供用于基于感测驾驶状况更改交通工具中的电子个人助理的行为的过程的流程图。
图8示出了根据示例实施例的用于感测与驾驶交通工具相关联的多个方面的多个传感器的框图。
图9示出了根据示例实施例的提供用于感测与驾驶交通工具相关联的多个方面的过程的流程图。
图10示出了根据示例实施例的状况监控器的框图。
图11示出了根据示例实施例的状况感知系统的另一框图。
图12示出了根据示例实施例的在交通工具中提供用于基于所感测的条件暂停和恢复由电子个人助理与驾驶员的交互的过程的流程图。
图13示出了根据示例实施例的用于更改电子个人助理的行为的过程。
图14示出了可以被用来实现实施例的示例计算设备的框图。
当结合附图时，本发明的特征和优点将从下面所阐述的详细描述中变得更加明显，其中相似的附图标记始终标识对应的元件。在附图中，相似的附图标记通常指示相同的、功能相似的和/或结构相似的元件。元件首先出现的附图由对应附图标记中最左边的数字指示。
具体实施方式
I.介绍
本说明书和附图公开了结合本发明的特征的一个或多个实施例。本发明的范围不限于所公开的实施例。所公开的实施例仅例示了本发明，并且所公开实施例的修改版本也被本发明所涵盖。本发明的实施例由所附的权利要求限定。
在说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用指示所描述的实施例可以包括特定的特征、结构或特性，但是每个实施例可能不一定包括特定的特征、结构或特性。此外，这样的措辞不一定指的是相同的实施例。此外，当结合实施例描述特定特征、结构或特性时，无论是否被明确描述，都认为结合其他实施例实现这种特征、结构或特性在本领域技术人员的知识范围内。
在讨论中，除非另有说明，否则修改本公开实施例的特征或多个特征的条件或关系特性的形容词(诸如“基本”和“关于”)被理解为意味着条件或特性被定义为对于其所预期的应用的实施例的操作在可接受的公差内。
许多示例性实施例被描述如下。注意，本文所提供的任何段/子段标题不旨在是限制性的。贯穿本文档描述了实施例，并且任何类型的实施例都可以被包括在任何段/子段中。此外，在任何段/子段中所公开的实施例可以任何方式与相同段/子段和/或不同段/子段中所描述的任何其他实施例组合。
II.用于对测试失败进行分段的示例性实施例
电子个人助理是在用户可以与之交互的用户设备(诸如移动电话)中执行的应用。用户可以和电子个人助理说话，并且电子个人助理可以用语音向用户回复。电子个人助理可以被配置为通过处理用户请求(诸如对信息的请求)来提供一般帮助，或者执行任务和/或服务。例如，电子个人助理可以被配置为回答问题、提出建议和/或执行动作。电子个人助理可以直接对用户请求做出响应，和/或可以基于各种因素(包括先前的指示、移动设备的位置等)独自大声说话来向用户提供信息。市场上可买到各种电子个人助理，包括由加利福尼亚州库比蒂诺的苹果公司提供的由加利福尼亚州山景城的谷歌公司提供的Google NowTM、由华盛顿州西雅图的亚马逊公司提供的Amazon EchoTM以及由华盛顿州雷德蒙德的微软公司提供的CortanaTM。
在正常操作期间，可以激活电子个人助理以与用户通信或以其他方式与用户交互。然而，可能存在期望电子个人助理更改其行为，偏离正常操作的情况。例如，在交通工具的驾驶员(例如，汽车或卡车的驾驶员、飞机的飞行员)与电子个人助理交互的传统驾驶状况下，立即处理驾驶员对电子个人助理的口头请求。这是部分因为电子个人助理缺乏对其周围环境的意识。然而，电子个人助理在驾驶员正在驾驶时与驾驶员说话可能是不期望的，特别是在不利条件下。这是因为电子个人助理的声音可能是令人分心的，并且因此对用户和交通工具的任何其他乘员都是危险的。
相应地，在实施例中，基于与移动设备相关联的情况来更改电子个人助理的行为。在实施例中，利用多个传感器来感测状况以生成传感器数据。基于传感器数据计算状况分数。根据所计算的状况分数来更改电子个人助理的行为。
例如，在驾驶状况的情况下，研究人员发现：当驾驶员与交互时，驾驶员会被分心，并且在交互结束后，驾驶员的分心状态会持续20秒以上。此外，已经观察到：在汽车中使用手机增加了汽车事故率，但是在汽车中具有乘客则降低事故率。对这些观察的一种解释是：人类乘客调节他们的语音，使得对话模式不在关键时间期间寻求驾驶员的关注。
在一个实施例中，电子个人助理如何/何时在交通工具中说话被更改，而不是电子个人助理所使用的实际单词被更改，诸如用以与乘客的语音模式类似。
在这样的交通工具实施例中，可以以各种方式捕获关于驾驶状况的数据，诸如通过交通工具上的传感器(例如，相机、RADAR、SONAR和/或LIDAR(光检测和测距))来确定附近其他交通工具和道路物体的位置和移动、在驾驶员和/或其他传感器上被训练以估计驾驶员的压力水平的摄像机、用来确定突然加速和减速的实时交通工具运动学测量和/或被配置为检测局部天气条件(诸如雾、雨、雪等)的传感器，这些形成关于直接周围环境的状况感知。通过这种感测提供的局部感知的水平与专注的乘客可以达到的水平相似。
相应地，当由于存在以下一个或多个条件而使得驾驶员分心不安全时，可以使电子个人助理等待与驾驶员交互(例如，答复驾驶员或发起对话)：嘈杂的环境噪声、强烈且快速变化的交通和/或道路条件、驾驶员的瞬时负面情绪状态(例如，突然的压力或混乱)、车速的突然变化和/或各种其他条件。
在驾驶状况中，当以语音或文本响应用户的请求(驾驶员或乘客)时，电子个人助理可以被配置为暂停交互(例如，停止说话)并等待，直到在恢复之前状况为可接受的平静为止。在实施例中，可以生成指示针对电子个人助理的说话或等待状态的标志。通过适当地延迟响应，电子个人助理不会增加驾驶员所面临的进一步混乱和杂乱。
在另一实施例中，电子个人助理可以向驾驶员提供主动协助。通过如上所述处理传感器数据，可以预测针对驾驶员的未来潜在负面状况，并且可以由电子个人助理预先警告驾驶员。例如，通过感测附近汽车的移动，可以预测汽车的轨迹，并且如果可能发生碰撞，电子个人助理可以警告驾驶员。
除了提供避免交通事故的指导外，电子个人助理还可以将从汽车的状态、当前汽车位置和驾驶员的个人信息(诸如驾驶员即将到来的约会和事件)中获得的信息进行组合以建议未来的计划。例如，如果交通工具燃料不足，则电子个人助理可以基于当前位置、交通条件和驾驶员的时间表建议方便的加油站。
相应地，在驾驶状况实施例中，状况感知系统被配置为估计通过局部驾驶状况而被施加于驾驶员的认知需求，并且基于状况感知系统的输出值，修改电子个人助理的语音用户界面。例如，繁忙的交通与其他驾驶员的攻击性和突发性驾驶行为要求驾驶员的全部注意力。在这种状况下，电子个人助理的语音接口可以被配置为在恢复与驾驶员的交互之前等待直到由驾驶任务要求的认知工作量减轻为止。
在实施例中，可以修改电子个人助理的用户界面，以将周围交通条件并入驾驶状况感知(DSA)系统中。DSA系统可以被配置为使用多维回归算法，诸如支持向量机、回归树、深度神经网络或考虑各种所感测的条件的通用模型，包括：(a)驾驶员的语音模式(例如，长停顿或暂停、不完整句子可以指示繁忙的交通状况)、(b)驾驶员的面部表情(例如，有压力的或紧张的面部表情可以指示繁忙的交通)、(c)驾驶员的驾驶行为(例如，突然转向或者加速和减速可以指示避让机动)、(d)传感器信号(例如，使用来自汽车传感器的可用信号，包括雷达、摄像机、声纳、IR(红外线)相机、惯性导航系统、LIDAR等)和/或(e)任何其他所感测的条件。
实施例可以以多种方式来实现。例如，图1示出了根据示例实施例的状况感知系统100的框图，其中传感器数据被处理以修改电子个人助理的行为。如图1所示，系统100包括第一至第三传感器102A-102C、状况监控器104和电子个人助理106。参照图2如下描述系统100。图2示出了根据示例实施例的提供用于基于感测状况来更改电子个人助理的行为的过程的流程图200。在实施例中，系统100可以执行流程图200。
流程图200从步骤202开始。在步骤202中，用多个传感器感测状况以生成传感器数据。如图2所示，传感器102A-102C可以被配置为感测状况的多个方面。所感测的状况可以是在包括移动设备或其他计算设备(其包括由用户使用的电子个人助理)的环境中发生的任何状况。示例可应用的状况包括：驾驶状况、飞行状况(例如，飞机上的飞行员)、划船状况、工作场所状况(例如，坐在台式计算机前的用户、用户操作机器等)、行走状况(例如，用户在步行中携带移动设备)、锻炼状况(例如，用户在跑步、健身房、徒步或攀登时携带移动设备)等。
传感器102A-102C各自是相同或不同类型的传感器设备。为了便于说明，在图1中示出了三个传感器102A-102C，但是在实施例中，系统100中可以存在任意数目的传感器，包括数十个、数百个、或者甚至更大数目的传感器。传感器102A-102C的示例包括：压力传感器(例如，气压、水压)、温度传感器(例如，家庭或其他建筑物温度、人体温度、发动机温度、环境温度)、超声波传感器、湿度传感器、气体传感器、光传感器、PIR(无源红外)传感器、噪声传感器、加速度传感器、运动传感器、位移传感器、生物特征传感器(例如，指纹传感器、心跳传感器、血压传感器、视网膜传感器、面部识别传感器、声音传感器)等。传感器102A-102C各自被配置为生成指示所感测的条件(例如，温度、压力、湿度等)的电信号，其分别被示出为传感器数据110A-110C。传感器102A-102C可以生成任何形式的传感器数据110A-110C，包括作为模拟电信号、数字电信号(例如，以电高点和电低点的形式承载数据)等，并且可以以无线或有线方式向状况监控器104提供传感器数据110A-110C。
在步骤204中，基于传感器数据计算状况分数。如图1所示，状况监控器104接收传感器数据(诸如传感器数据110A-110C)，并且被配置为基于所接收到的传感器数据生成状况分数112。状况监控器104可以以任何方式计算状况分数112，其可以考虑传感器数据110A-110C(和/或进一步的传感器数据)中的任意一个或多个传感器数据，可以以任何方式对每个所接收到的传感器数据进行加权，并且可以以任何方式组合可选加权的传感器数据(例如，根据任何方程式或公式)以生成状况分数112。
在步骤206中，基于所计算的状况分数来更改电子个人助理的行为。在实施例中，状况分数112被用来更改电子个人助理106的行为。例如，如图1所示，状况监控器104可以输出可以由电子个人助理106接收的状况分数112，并且电子个人助理106可以基于状况分数112的值来更改其行为(例如，功能/操作)。例如，电子个人助理106可以暂停正被执行的动作(例如，停止播放音乐、停止说话、停止显示消息、停止显示视频等)、可以开始动作(例如，开始播放音乐、开始说话、显示消息、显示视频等)和/或可以以另一方式更改行为。备选地，如下文进一步所描述的，代替输出状况分数112，状况监控器104可以代替地接收并保持电子个人助理106的输出不被提供给用户。
例如，如图1所示，用户可以可选地向电子个人助理106口头地提供请求108。请求108也通过电子个人助理106被状况监控器104接收(如图1所示)，或者直接从用户接收。在正常情况下，电子个人助理106可以用回答114口头地响应请求108。然而，状况分数112可以导致电子个人助理106改变其行为。在这种情况下，电子个人助理106可以通过不与用户说话来暂停回答114(或其他交互)，和/或可以以另一方式来更改其行为。暂停回答114可以至少持续到状况监控器104确定电子个人助理106可以恢复正常交互为止(例如，危险已经过去)。
当基于状况分数112的值确定状况以要求用户增加注意时(例如，当在感测到湍流期间驾驶飞机时)，可以做出这种行为的改变以避免用户分心。备选地，行为的改变可以是向用户提供信息以帮助用户处理状况的改变(例如，向用户提供在感测到血压增加期间减少活动以避免心脏病发作的指示)。
注意，图1的状况感知系统100可以以各种方式来配置，以监控各种类型的状况并相应地更改电子个人助理行为。例如，图3至图6示出了用于驾驶状况的系统100的示例配置。提供这些驾驶状况示例是为了说明的目的，并且不旨在是限制性的。图3至图6的实施例也可应用于本文其他地方所提到的或以其他方式已知的其他类型的状况，对于相关领域技术人员来说，这从本文的教导是明显的。图3至图6的描述如下。
图3示出了根据示例实施例的在交通工具300中被实现的状况感知系统100的框图。交通工具300可以是汽车、卡车、火车、船舶、飞机或其他类型的交通工具。如图3所示，在交通工具300中实现第一至第三传感器102A-102C、驾驶状况监控器302和电子个人助理106中的每一个。传感器102A-102C可以各自被安装在交通工具300中或上的任何地方。状况监控器302是被配置用于驾驶状况的状况监控器104的示例。状况监控器302和电子个人助理106可以在公共设备或电子设备中被实现，或者可以单独被实现。
例如，图4示出了根据示例实施例的在交通工具电子设备中被实现的系统100的框图。如图4所示，交通工具300包括一个或多个交通工具处理器电路402(例如，微处理器、CPU等)和一个或多个交通工具存储器设备404(例如，随机存取存储器、只读存储器等)。传感器102A-102C可以各自被安装在图4的交通工具300中或上的任何地方。驾驶状况监控器302和电子个人助理106可以是被存储在交通工具存储器设备404中并由交通工具处理器电路402执行的独立应用(或被组合在单个应用中)。在这样的实施例中，交通工具用户界面(例如，仪表板安装的显示器)可以为驾驶员提供对电子个人助理106的访问，并且电子个人助理106可以经由一个或多个车载扬声器和一个或多个麦克风与驾驶员通信。根据本文的实施例，由交通工具处理器电路402执行的驾驶状况监控器302可以监控传感器102A-102C，并且与电子个人助理106通信以更改电子个人助理106的行为。
图5示出了另一基于交通工具的实施例，其中系统100部分地在交通工具计算机中并且部分地在移动用户设备502中被实现。移动用户设备502是驾驶员可以运输进出交通工具300的移动设备。在图5中，传感器102A-102C可以各自被安装在图4的交通工具300中或上的任何地方。驾驶状况监控器302被存储在交通工具存储器设备404中，并由交通工具处理器电路402执行。电子个人助理106在移动用户设备502中被实现，并且可以经由移动用户设备502的麦克风和扬声器直接与用户交互，或者可以经由交通工具300的麦克风和扬声器与用户交互(例如，移动用户设备502可以经由有线或无线链路与交通工具300通信)。根据本文的实施例，驾驶状况监控器302可以监控传感器102A-102C，并且与移动用户设备502通信以更改电子个人助理106的行为。
图6示出了另一基于交通工具的实施例。在图5中，传感器102A-102C可以各自被安装在图4的交通工具300中或上的任何地方。在移动用户设备502中实现驾驶状况监控器302和电子个人助理106。在这样的实施例中，交通工具界面可以(例如，有线或无线地)与移动用户设备502交互，以便为驾驶员提供对电子个人助理106的访问，或者驾驶员可以直接与电子个人助理106通信。根据本文的实施例，移动用户设备502中的驾驶状况监控器302可以从传感器102A-102C接收传感器数据(例如，经由交通工具300的有线和/或无线接口)，并与移动用户设备502内部的电子个人助理106通信，以更改电子个人助理的行为。
移动用户设备502的示例包括移动计算机或移动计算设备(例如，设备、个人数字助理(PDA)、膝上型计算机、笔记本计算机、诸如Apple iPadTM的平板计算机、上网本等)、移动电话(例如，蜂窝电话、诸如Microsoft电话的智能电话、Apple iPhone、实现AndroidTM操作系统的手机、设备、设备等)或者可穿戴计算设备(例如，智能手表、包括诸如GlassTM的智能眼镜的头戴式设备等)。
图3至图6的驾驶状况监控器302可以以各种方式操作以执行其功能。例如，图7示出了根据示例实施例的提供用于基于感测驾驶状况更改交通工具中的电子个人助理的行为的过程的流程图700。流程图700描述如下。
流程图700从步骤702开始。在步骤702中，从多个传感器接收关于驾驶状况的传感器数据。如上所述且如图3至图6所示，传感器102A-102C感测驾驶状况的多个方面，并分别生成由驾驶状况监控器302接收的传感器数据110A-110C。所感测的驾驶状况发生在驾驶环境中，该驾驶环境包括载有由用户使用的电子个人助理的交通工具。在驾驶(或其他)状况下，可以存在各种类型的传感器。
例如，图8示出了根据示例实施例的用于感测与交通工具300相关联的多个方面的多个传感器802A-802C的框图。传感器802A-802C是传感器102A-102C的示例。尽管图8中示出了三个传感器802A-802C，但是可以存在任意数目的传感器以及传感器类型的组合。出于说明的目的，相对于图9描述图8。图9示出了根据示例实施例的提供用于感测与驾驶交通工具相关联的多个方面的过程的流程图900。在实施例中，传感器802A-802C可以根据流程图900进行操作。可以在实施例中以任何顺序执行流程图900的步骤中的任意一个或多个步骤。图8和流程图900描述如下。
在步骤902中，感测驾驶员的至少一个方面。在实施例中，传感器802A是驾驶员方面传感器802A，其被配置为感测驾驶员804(驾驶交通工具300的人)的多个方面。由驾驶员方面传感器802A生成的传感器数据可以被用来至少部分地确定驾驶状况，该驾驶状况相应地可以被用来更改驾驶员804的电子个人助理(例如，在驾驶员804的移动用户设备中或被集成到交通工具300中)的行为。
驾驶员方面传感器802A可以是能够感测驾驶员804的多个方面的任何类型的传感器。例如，驾驶员方面传感器802A可以是被配置为监控驾驶员804的语音模式的语音模式传感器(例如，与语音识别软件/硬件耦合的麦克风)。语音模式传感器可以监控驾驶员804的针对长停顿或停止、不完整句子或者繁忙或危险交通状况的其他指示的语音。在另一示例中，驾驶员方面传感器802A可以是被配置为监控驾驶员804的面部表情的面部传感器(例如，与面部识别软件/硬件耦合的指向驾驶员804的面部的相机)。例如，面部传感器可以监控驾驶员804面部以获得有压力的或紧张的面部表情或者可以指示繁忙或危险交通状况的其他表情。在另一示例中，驾驶员方面传感器802A可以是被配置为监控驾驶员804的驾驶行为的驾驶行为传感器(例如，与空间识别软件/硬件耦合的指向驾驶员804的手臂和/或腿的相机)。例如，驾驶行为传感器可以监控驾驶员804以获得突然转向、加速和/或减速，其可以指示驾驶员804所尝试的避让机动。
在步骤904中，感测交通工具的至少一个方面。在实施例中，传感器802B是被配置为感测交通工具300的多个方面的交通工具方面传感器802B。由交通工具方面传感器802B生成的传感器数据可以被用来至少部分地确定驾驶状况，该驾驶状况相应地可以被用来更改驾驶员804的电子个人助理的行为。
交通工具方面传感器802B可以是能够感测交通工具300的多个方面的任何类型的传感器。例如，交通工具方面传感器802A可以是交通工具运动监控传感器，包括一个或多个加速传感器、运动传感器、方向传感器、温度传感器、相机等。例如，交通工具方面传感器802B可以监控交通工具300以获得运动或方向的突然变化，包括转向、加速、减速、突然停止等，其可以指示驾驶员300、交通工具300的自动驾驶系统的避让动机和/或碰撞。
在步骤906中，感测道路的环境的至少一个方面。在实施例中，传感器802C是交通方面传感器802C，其被配置为感测道路806上的交通工具300周围的交通的多个方面。由交通方面传感器802C生成的传感器数据可以被用来至少部分地确定驾驶状况，该驾驶状况相应地可以被用来更改驾驶员804的电子个人助理的行为。
交通方面传感器802C可以是能够感测道路806上的交通的多个方面的任何类型的传感器。例如，交通工具方面传感器802A可以是交通工具/交通传感器，诸如雷达盘/天线、一个或多个相机、声纳发射器/接收器、一个或多个IR(红外线)相机、惯性导航系统、LIDAR系统(例如，激光和光电探测器)等。交通方面传感器802C可以感测道路806上的其他交通工具和/或障碍物(包括它们的位置和速度)，以在其他交通工具和/或障碍物等之间感测与交通工具300的可能的碰撞。
驾驶状况监控器302(图3-图6)可以根据流程图700(图7)的步骤702，以任意数目和组合从驾驶员方面传感器802A、交通工具方面传感器802B和/或交通方面传感器802C中的一个或多个接收传感器数据110A-110C。
返回到流程图700，在步骤704中，基于传感器数据计算驾驶状况分数。在实施例中，驾驶状况监控器302可以将驾驶状况分数112计算为指示实时交通危险水平的驾驶状况分数(例如，DSA得分)。例如，驾驶状况监控器302可以如图10所示进行配置。图10示出了根据示例实施例的图1的状况监控器104的框图。如图10所示，状况监控器104可以包括状况分数计算器1002和辅助行为修改器1004。在驾驶状况下，状况分数计算器1002可以被配置为执行步骤704以生成驾驶状况分数。112在其他状况下，状况分数计算器1002可以生成其他类型的状况分数，如本文其他地方所描述的并且如对于相关领域技术人员来说从本文的教导将是已知的。状况分数计算器1002可以根据任何合适的值系统生成状况分数112。
状况分数计算器1002可以以任何方式配置驾驶状况分数，包括用以具有两个界限之间的值，例如在0到1的范围内，其中0指示没有交通并且1指示最大繁忙交通条件。可以向电子个人助理106提供所计算的驾驶状况分数，或以其他方式被用来改变电子个人助理106的行为。
在实施例中，驾驶状况分数计算器1002可以基于由驾驶员方面传感器802A、交通工具方面传感器802B和/或交通方面传感器802C中的任何一个或多个生成的传感器数据(和/或进一步的传感器数据)来计算驾驶状况分数。状况分数计算器1002可以以任何方式计算状况分数112，包括以任何方式加权每个所接收到的传感器数据并以任何方式(例如，根据任何方程式或公式)组合加权的传感器数据以生成状况分数112。
例如，当状况分数计算器1002实现一般加法模型时，每个传感器数据输入由函数处理，并且所有函数的输出被相加以确定驾驶状况分数，诸如下面的方程式1所示：
分数＝f1(语音)+f2(面部图像)+f3(驾驶行为)+f4(交通工具传感器)+f5(交通)+f6(噪声) 方程式1
其中：
f1＝基于语音模式传感器数据的函数，
f2＝基于面部图像传感器数据的函数，
f3＝基于驾驶行为传感器数据的函数，
f4＝基于交通工具传感器数据的函数，
f5＝基于交通传感器数据的函数，以及
f6＝基于噪声传感器数据(例如，突然的嘈杂噪声等)的函数。
在实施例中，可以组合函数f1-f6中的任何一个或多个来确定驾驶状况分数。在实施例中，函数f1-f6可以各自使用训练数据集或以其他方式来确定。在进一步的实施例中，状况分数计算器1002可以实现用于基于传感器数据生成状况分数的其他技术，包括多维回归算法，诸如支持向量机、回归树、深度神经网络等。
在实施例中，状况分数112可以通过状况分数计算器1002定期地、在预定时间或在任何其他基础上进行计算。
返回参照流程图700(图7)，在步骤706中，基于所计算的驾驶状况分数来更改电子个人助理的行为。在实施例中，状况分数112被用来更改电子个人助理106的行为。例如，如图1、图3-图6和图10所示，状况监控器104/302输出状况分数112。电子个人助理106基于状况分数112的值接收并更改其行为(例如，功能/操作)。备选地，系统100可以如图10所示进行配置。在图10中，状况分数计算器1002可以生成状况分数112，但是不直接向电子个人助理106提供状况分数112，而是相反地向辅助行为修改器1004提供状况分数112，辅助行为修改器1004生成由电子个人助理106接收的行为更改指令1012，并指示电子个人助理更改一个或多个行为。
在另一实施例中，系统100可以如图11所示进行配置。在图11中，状况监控器104不向电子个人助理106提供状况分数112或行为更改指令1012。相反，电子个人助理106和状况监控器104都接收请求108。电子个人助理106基于请求108生成响应114(例如，针对用户准备的语音)，并且响应114被状况监控器104截取而不是被直接提供给用户。状况监控器104如本文所述生成状况分数，并且如果状况分数保证这种通过(例如，情况不危险)则向用户提供响应114，或者如果状况分数保证这种暂停(例如，确定状况是危险的)则暂停向用户提供响应114。
相应地，基于所接收的状况分数，电子个人助理106可以更改其行为。在驾驶状况实施例中，电子个人助理106可以根据图12进行操作。图12示出了根据示例实施例的提供用于基于所感测的条件由电子个人助理暂停和恢复交互的过程的流程图1200。流程图1200可以在流程图700(图7)的步骤706期间被执行，并且被描述如下。
流程图1200从步骤1202开始。在步骤1202中，当驾驶状况分数满足第一预定条件时，暂停电子个人助理与驾驶员的交互，以避免驾驶员被电子个人助理分心。如上所述，在实施例中，由于电子个人助理106接收到状况分数112或行为更改指令1012，或者由于状况监控器104扣留来自电子个人助理10的响应114，电子个人助理106的行为被更改。状况分数112或行为更改指令1012可以被配置为使电子个人助理106暂停与驾驶员的交互，或者可以从电子个人助理106扣留响应114以使交互暂停。这可以被执行以避免在繁忙或危险的驾驶状况期间使驾驶员分心。
例如，当状况分数112满足第一预定条件(例如，与第一预定阈值具有预定关系，诸如大于、等于或小于第一预定阈值，该预定关系可以通过将状况分数112与第一预定阈值进行比较来确定)时，由电子个人助理106与驾驶员的交互被暂停。在实施例中，当状况分数112的值大于预定阈值时，辅助行为修改器1004可以生成行为更改指令1012。在驾驶状况实施例中，第一阈值可以对应于繁忙交通的阈值水平，在高于该阈值水平的情况下，驾驶员的注意力应当集中在驾驶上。在另一实施例中，辅助行为修改器1004可以将状况分数112的值应用于指令表。该指令表列出了映射到对应状况分数/范围的多个行为更改指令。从与状况分数112的值相对应的指令表(例如，落入与指令相对应的特定范围内)中选择行为更改指令，并且所选择的指令被提供给电子个人助理106。所列出的指令中的一个或多个可以包括交互的暂停。在其他实施例中，辅助行为修改器1004可以以其他方式确定行为更改指令1012。
在流程图1200的步骤1204中，当驾驶状况分数满足第二条件时，恢复由电子个人助理与驾驶员的交互。在实施例中，状况分数112或行为更改指令1012可以被配置为使电子个人助理106恢复与驾驶员的交互，或者可以通过状况监控器104向电子个人助理106提供响应114以使交互恢复。这可以在驾驶条件已经改善到足以减少对用交互使驾驶员分心的担忧时被执行。
例如，当状况分数112满足第二预定条件时(例如，与第二预定阈值具有预定关系，诸如大于、等于小于第二预定阈值)，恢复由电子个人助理106与驾驶员的交互。在实施例中，当状况分数112的值小于第二预定阈值时，辅助行为修改器1004可以生成行为更改指令1012。该第二阈值可以与被用来暂停交互的第一阈值相同，或者第一和第二阈值可以彼此不同(例如，以提供滞后)。在驾驶状况实施例中，第二阈值可以对应于繁忙交通的阈值水平，在低于该阈值水平的情况下，驾驶员可以对电子个人助理106给予一些注意。在另一实施例中，辅助行为修改器1004可以将状况分数112的值应用于上述指令表，该指令表可以包括能够恢复交互的条目，并且可以提取用来提供的对应的指令。
如上所述，基于状况分数112，电子个人助理106可以暂停任何类型和数目的动作的执行(例如，停止播放音乐、停止说话、停止显示信息、停止显示视频等)。备选地，基于状况分数，电子个人助理106可以开始动作(例如，开始播放音乐、开始说话、显示消息、显示视频等)和/或可以另一方式更改行为。
在实施例中，流程图700(图7)的步骤706可以根据图13更改行为。图13示出了根据示例实施例的用于更改电子个人助理的行为的步骤1302。步骤1302被描述如下。在步骤1302中，执行以下中的至少一个：延迟与驾驶员的口头或视觉通信中的至少一个、向驾驶员提供口头或视觉辅助中的至少一个或者向驾驶员提供建议。
在实施例中，为了防止驾驶员分心，由电子个人助理106与驾驶员的口头或视觉(例如，文本、图像等)通信可以被延迟或暂停。例如，关于图10，电子个人助理106的语音接口1006可以接收状况分数112或行为更改指令1012。语音接口1006能够禁用和启用由电子个人助理106进行的语音通信。在接收到状况分数112或行为更改指令1012时，语音接口1006可以禁用由电子个人助理106进行的语音通信(直到由状况分数112的对应值/指令或行为更改指令1012重新启用)。
此外，根据步骤1302，在其他实施例中，电子个人助理106可以基于状况分数112或行为更改指令1012向驾驶员提供信息。例如，基于关于交通工具的状态、当前位置和驾驶员的个人信息(例如，即将到来的约会和事件)的传感器数据，电子个人助理106可以向驾驶员提供信息以建议未来的计划。例如，如果传感器检测到交通工具燃料不足或具有机械问题，则电子个人助理106可以基于当前位置、交通条件和驾驶员的时间表建议方便的服务站。
III.示例移动和固定设备实施例
传感器监控器104、电子个人助理106、交通工具处理器电路402、移动用户设备502、状况分数计算器1002、辅助行为修改器1004、语音接口1006、流程图200、流程图700、流程图1200和步骤1302可以以硬件或者硬件与软件和/或固件相结合来实现。例如，传感器监控器104、电子个人助理106、402、状况分数计算器1002、助理行为修改器1004、语音接口1006、流程图200、流程图700、流程图1200和/或步骤1302可以被实现为计算机程序代码/指令，其被配置为要在一个或多个处理器中被执行并且被存储在计算机可读存储介质中。备选地，传感器监控器104、电子个人助理106、交通工具处理器电路402、移动用户设备502、状况分数计算器1002、辅助行为修改器1004、语音接口1006、流程图200、流程图700、流程图1200和步骤1302可以被实现为硬件逻辑/电路。
例如，在实施例中，传感器监控器104、电子个人助理106、交通工具处理器电路402、移动用户设备502、状况分数计算器1002、辅助行为修改器1004、语音接口1006、流程图200、流程图700、流程图1200和步骤1302中的一个或多个可以以任何组合在片上系统(SoC)中被实现。SoC可以包括集成电路芯片，该集成电路芯片包括处理器(例如，中央处理单元(CPU)、微控制器、微处理器、数字信号处理器(DSP)等)、存储器、一个或多个通信接口和/或其他电路中的一个或多个，并且可以可选地执行所接收到的程序代码和/或包括嵌入式固件以执行功能。
图14示出了可以实现实施例的计算设备1400的示例性实现。例如，交通工具处理器电路402和移动用户设备502可以各自在类似于固定或移动计算机实施例中的计算设备1400的一个或多个计算设备中被实现，包括计算设备1400的一个或多个特征和/或备选特征。本文所提供的计算设备1400的描述是出于说明的目的而被提供的，并且不旨在是限制性的。如相关领域的技术人员所知，实施例可以在其他类型的计算机系统中被实现。
如图14所示，计算设备1400包括一个或多个处理器，被称为处理器电路1402、系统存储器1404和总线1406，总线1406将包括系统存储器1404的各种系统部件耦合至处理器电路1402。处理器电路1402是在一个或多个物理硬件电路器件元件和/或集成电路器件(半导体材料芯片或管芯)中被实现为中央处理单元(CPU)、微控制器、微处理器和/或其它物理硬件处理器电路的电学和/或光学电路。处理器电路1402可以执行被存储在计算机可读介质中的程序代码，诸如操作系统1430、应用程序1432、其他程序1434等的程序代码。总线1406表示任何几种类型的总线结构中的一种或多种，包括存储器总线或存储控制器、外围总线、加速图形端口以及使用各种总线架构中的任何总线架构的处理器或本地总线。系统存储器1404包括只读存储器(ROM)1408和随机存取存储器(RAM)1410。基本输入/输出系统1412(BIOS)被存储在ROM 1408中。
计算设备1400还具有以下驱动器中的一个或多个：用于从硬盘读取和写入硬盘的硬盘驱动器1414、用于从可移除磁盘1418读取或写入可移除磁盘1418的磁盘驱动器1416以及用于从可移除光盘1422(诸如CD ROM、DVD ROM或其他光学介质)读取和写入可移除光盘1422的光盘驱动器1420。硬盘驱动器1414、磁盘驱动器1416和光盘驱动器1420分别通过硬盘驱动器接口1424、磁盘驱动器接口1426和光学驱动器接口1428被连接至总线1406。这些驱动器及其相关联的计算机可读介质为计算机提供计算机可读指令、数据结构、程序模块和其他数据的非易失性存储。虽然描述了硬盘、可移除磁盘和可移除光盘，但是其他类型的基于硬件的计算机可读存储介质可以被用来存储数据，诸如闪存卡、数字视频盘、RAM、ROM和其他硬件存储介质。
许多程序模块可以被存储在硬盘、磁盘、光盘、ROM或RAM上。这些程序包括操作系统1430、一个或多个应用程序1432、其他程序1434和程序数据1436。应用程序1432或其他程序1434可以包括例如用于实现传感器监控器104、电子个人助理106、状况分数计算器1002、辅助行为修改器1004、语音接口1006、流程图200、流程图700、流程图1200和步骤1302(包括流程图200、700、1200的任何适当步骤)和/或本文所描述的其他实施例的计算机程序逻辑(例如，计算机程序代码或指令)。
用户可以通过诸如键盘1438和指向设备1440的输入设备向计算设备1400中输入命令和信息。其他输入设备(未被示出)可以包括麦克风、操纵杆、游戏板、卫星天线、扫描仪、触摸屏和/或触摸板、用来接收声音输入的声音识别系统、用来接收姿势输入的姿势识别系统等。这些和其他输入设备通常通过被耦合至总线1406的串行端口接口1442被连接至处理器电路1402，但是可以通过诸如并行端口、游戏端口或通用串行总线(USB)的其他接口而被连接。
显示屏幕1444还经由接口(诸如视频适配器1446)被连接至总线1406。显示屏幕1444可以位于计算设备1400的外部或者被并入计算设备1400中。显示屏幕1444可以显示信息以及作为用于接收用户命令和/或其他信息(例如，通过触摸、手指姿势、虚拟键盘等)的用户界面。除了显示屏幕1444之外，计算设备1400还可以包括其他外围输出设备(未被示出)，诸如扬声器和打印机。
计算设备1400通过适配器或网络接口1450、调制解调器1452或用于在网络上建立通信的其他装置而被连接至网络1448(例如，因特网)。调制解调器1452(其可以在内部或外部)可以经由串行端口接口1442被连接至总线1406(如图14所示)，或者可以使用包括并行接口的另一接口类型而被连接至总线1406。
如本文所用，术语“计算机程序介质”、“计算机可读介质”和“计算机可读存储介质”被用来表示物理硬件介质(诸如与硬盘驱动器1414相关联的硬盘、可移除磁盘1418、可移除光盘1422)、其他物理硬件介质(诸如RAM、ROM、闪存卡、数字视频盘、压缩盘、MEM、基于纳米技术的存储设备)以及其他类型的物理/有形硬件存储介质。这种计算机可读存储介质与通信介质区分开来并且不与通信介质重叠(不包括通信介质)。通信介质在诸如载波的经调制的数据信号中实施计算机可读指令、数据结构、程序模块或其他数据。术语“经调制的数据信号”是指其所具有的一种或多种特性以编码信号中的信息的方式进行设置或改变的信号。通过示例而非限制，通信介质包括无线介质(诸如声学、RF、红外和其他无线介质)以及有线介质。实施例还涉及与涉及计算机可读存储介质的实施例分离且不重叠的通信介质。
如上所述，计算机程序和模块(包括应用程序1432和其他程序1434)可以被存储在硬盘、磁盘、光盘、ROM、RAM或其他硬件存储介质上。也可以经由网络接口1450、串行端口接口1442或任何其他接口类型来接收这种计算机程序。当由应用执行或加载时，这种计算机程序支持计算设备1400实现本文所讨论的实施例的特征。相应地，这样的计算机程序表示计算设备1400的控制器。
实施例还涉及计算机程序产品，其包括被存储在任何计算机可读介质上的计算机代码或指令。这种计算机程序产品包括硬盘驱动器、光盘驱动器、存储器设备封装、便携式存储器棒、存储器卡和其他类型的物理存储硬件。
IV.进一步的示例实施例
在一个实施例中，至少一个计算设备中的方法包括：利用多个传感器感测状况以生成传感器数据；基于传感器数据计算状况分数；以及基于所计算的状况分数更改电子个人助理的行为。
在实施例中，状况是驾驶员在道路上驾驶交通工具的驾驶状况，所述计算包括基于传感器数据计算驾驶状况分数；并且所述更改包括：基于所计算的驾驶状况分数更改电子个人助理的行为。
在实施例中，感测包括：感测驾驶员的至少一个方面。
在实施例中，感测包括：感测交通工具的至少一个方面。
在实施例中，感测包括感测道路的环境的至少一个方面。
在实施例中，更改包括：在驾驶状况分数具有预定值的条件下，暂停由电子个人助理与驾驶员的交互，以避免驾驶员被电子个人助理分心。
在实施例中，暂停交互包括：延迟与驾驶员的口头或视觉通信中的至少一个。
在实施例中，更改包括：向驾驶员提供口头或视觉帮助中的至少一个。
在另一实施例中，至少一个计算设备包括：状况监控器，被配置为基于从感测状况的多个传感器接收的传感器数据计算状况分数；以及电子个人助理，被配置为基于所计算的状况分数更改行为。
在实施例中，状况是驾驶员在道路上驾驶交通工具的驾驶状况，并且状况监控器包括被配置为基于传感器数据计算驾驶状况分数的驾驶状况监控器。
在实施例中，传感器包括以下中的至少一个：被配置为感测驾驶员的至少一个方面的第一传感器；被配置为感测交通工具的至少一个方面的第二传感器；或者被配置为感测道路的环境的至少一个方面的第三传感器。
在实施例中，电子个人助理被配置为在驾驶状况分数具有预定值的条件下通过暂停由电子个人助理与驾驶员的交互来更改行为，从而避免驾驶员被电子个人助理分心。
在实施例中，至少一个计算设备还包括：实现驾驶状况监控器和电子个人助理的移动用户设备。
在实施例中，至少一个计算设备还包括：实现电子个人助理的移动用户设备，并且驾驶状况监控器由交通工具的处理器电路实现。
在实施例中，至少一个计算设备还包括：实现驾驶状况监控器和电子个人助理的交通工具的处理器。
在又一实施例中，计算设备包括：至少一个处理器电路；以及存储器，存储被配置为由至少一个处理器电路执行以执行操作的程序代码，该操作包括：基于从感测状况的多个传感器接收的传感器数据计算状况分数，并且基于所计算的状况分数引发电子个人助理的行为被更改。
在实施例中，状况是驾驶员在道路上驾驶交通工具的驾驶情况，所述计算包括：基于传感器数据计算驾驶状况分数；并且所述引发包括：基于所计算的驾驶状况分数，引发电子个人助理的行为被更改。
在实施例中，感测包括以下中的至少一个：感测驾驶员的至少一个方面；感测交通工具的至少一个方面；或者感测道路的环境的至少一个方面。
在实施例中，引发包括：在驾驶状况分数具有预定值的条件下引发电子个人助理暂停与驾驶员的交互，以避免驾驶员被电子个人助理分心。
在实施例中，引发电子个人助理暂停与驾驶员的交互包括：引发电子个人助理延迟与驾驶员的口头或视觉通信中的至少一个。
VI、结论
虽然上面已经描述了本发明的各种实施例，但是应当理解，它们只是通过示例而非限制的方式而被呈现的。相关领域的技术人员将理解，在不背离如所附权利要求中所定义的本发明的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。相应地，本发明的宽度和范围不应当受到任何上述示例性实施例的限制，而应当仅根据以下权利要求及其等同物来定义。

Claims (15)

1.一种在至少一个计算设备中的方法，包括：
利用多个传感器感测状况，以生成传感器数据；
基于所述传感器数据计算状况分数；以及
基于所计算的所述状况分数更改电子个人助理的行为。
2.根据权利要求1所述的方法，其中所述状况是驾驶员在道路上驾驶交通工具的驾驶状况，所述计算包括：
基于所述传感器数据计算驾驶状况分数；并且
所述更改包括：
基于所计算的所述驾驶状况分数更改所述电子个人助理的行为。
3.根据权利要求2所述的方法，其中所述感测包括：
感测所述驾驶员的至少一个方面。
4.根据权利要求2所述的方法，其中所述感测包括：
感测所述交通工具的至少一个方面。
5.根据权利要求2所述的方法，其中所述感测包括：
感测所述道路的环境的至少一个方面。
6.根据权利要求2所述的方法，其中所述更改包括：
在所述驾驶状况分数具有预定值的条件下，暂停由所述电子个人助理与所述驾驶员的交互，以避免所述驾驶员被所述电子个人助理分心。
7.根据权利要求6所述的方法，其中所述暂停交互包括：
延迟与所述驾驶员的口头或视觉通信中的至少一个。
8.根据权利要求2所述的方法，其中所述更改包括：
向所述驾驶员提供口头或视觉辅助中的至少一个。
9.至少一个计算设备，包括：
状况监控器，被配置为基于从感测状况的多个传感器所接收的传感器数据计算状况分数；以及
电子个人助理，被配置为基于所计算的所述状况分数更改行为。
10.根据权利要求9所述的至少一个计算设备，其中所述状况是驾驶员在道路上驾驶交通工具的驾驶状况，并且所述状况监控器包括驾驶状况监控器，所述驾驶状况监控器被配置为基于所述传感器数据计算驾驶状况分数。
11.根据权利要求10所述的至少一个计算设备，其中所述传感器包括以下中的至少之一：
被配置为感测所述驾驶员的至少一个方面的第一传感器；
被配置为感测所述交通工具的至少一个方面的第二传感器；或者
被配置为感测所述道路的环境的至少一个方面的第三传感器。
12.根据权利要求10所述的至少一个计算设备，其中所述电子个人助理被配置为：在所述驾驶状况分数具有预定值的条件下通过暂停由所述电子个人助理与所述驾驶员的交互来更改行为，从而避免所述驾驶员被所述电子个人助理分心。
13.根据权利要求10所述的至少一个计算设备，还包括：
移动用户设备，实现所述驾驶状况监控器和所述电子个人助理。
14.根据权利要求10所述的至少一个计算设备，还包括：
移动用户设备，实现所述电子个人助理；并且
所述驾驶状况监控器通过所述交通工具的处理器电路来实现。
15.一种包括其上记录有计算机程序逻辑的计算机可读介质的计算机程序产品，包括：
用于支持处理器执行根据权利要求1至8中任何一项所述的计算机程序逻辑装置。
CN201780037727.9A 2016-06-24 2017-06-20 状况感知个人助理 Pending CN109328155A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/192,880 US10474946B2 (en) 2016-06-24 2016-06-24 Situation aware personal assistant
US15/192,880 2016-06-24
PCT/US2017/038213 WO2017223013A1 (en) 2016-06-24 2017-06-20 Situation aware personal assistant

Publications (1)

Publication Number Publication Date
CN109328155A true CN109328155A (zh) 2019-02-12

Family

ID=59276847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780037727.9A Pending CN109328155A (zh) 2016-06-24 2017-06-20 状况感知个人助理

Country Status (17)

Country Link
US (2) US10474946B2 (zh)
EP (1) EP3475136A1 (zh)
JP (1) JP7195931B2 (zh)
KR (1) KR102606026B1 (zh)
CN (1) CN109328155A (zh)
AU (1) AU2017281436B2 (zh)
BR (1) BR112018074326A2 (zh)
CA (1) CA3023275A1 (zh)
CL (1) CL2018003615A1 (zh)
CO (1) CO2018013675A2 (zh)
IL (1) IL263759B (zh)
MX (1) MX2018015623A (zh)
PH (1) PH12018550195A1 (zh)
RU (1) RU2018145529A (zh)
SG (1) SG11201810890RA (zh)
WO (1) WO2017223013A1 (zh)
ZA (1) ZA201807409B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109995934A (zh) * 2019-02-27 2019-07-09 维沃移动通信有限公司 提示方法及终端设备
CN110059650A (zh) * 2019-04-24 2019-07-26 京东方科技集团股份有限公司 信息处理方法、装置、计算机存储介质及电子设备
CN111845762A (zh) * 2019-04-26 2020-10-30 哲内提 驾驶者注意力分散的确定

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474946B2 (en) * 2016-06-24 2019-11-12 Microsoft Technology Licensing, Llc Situation aware personal assistant
JP6558719B2 (ja) * 2017-03-29 2019-08-14 マツダ株式会社 車両運転支援システム及び車両運転支援方法
JP7145105B2 (ja) * 2019-03-04 2022-09-30 本田技研工業株式会社 車両制御システム、車両制御方法、およびプログラム
US10729368B1 (en) * 2019-07-25 2020-08-04 Facemetrics Limited Computer systems and computer-implemented methods for psychodiagnostics and psycho personality correction using electronic computing device
KR20210015428A (ko) 2019-08-02 2021-02-10 삼성전자주식회사 사용자 인터페이스를 제공하는 전자 장치 및 방법
KR20190099170A (ko) * 2019-08-06 2019-08-26 엘지전자 주식회사 지능형 단말의 주변 상황에 따른 알림 제공 방법 및 이를 위한 장치
US10992605B2 (en) 2019-09-09 2021-04-27 PAG Financial International LLC Systems and methods for operating a mobile application using a conversation interface
US11157167B2 (en) 2019-09-09 2021-10-26 PAG Financial International LLC Systems and methods for operating a mobile application using a communication tool
TWI815019B (zh) * 2019-10-04 2023-09-11 仁寶電腦工業股份有限公司 資訊推送系統、方法與紀錄媒體
JP2021144321A (ja) * 2020-03-10 2021-09-24 株式会社東海理化電機製作所 エージェントシステム、制御装置、およびコンピュータプログラム
CN112698872A (zh) * 2020-12-21 2021-04-23 北京百度网讯科技有限公司 语音数据处理的方法、装置、设备及存储介质
JP7447039B2 (ja) * 2021-03-10 2024-03-11 矢崎総業株式会社 車両用表示装置
US20230063708A1 (en) * 2021-08-27 2023-03-02 Nissan North America, Inc. Systems and methods for testing driver awareness within a vehicle and/or intervening during a possible crisis
DE102021126901A1 (de) 2021-10-17 2023-04-20 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Steuerung einer Sprachinteraktion in einem Fahrzeug

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040214615A1 (en) * 2003-04-09 2004-10-28 Volker Entenmann User interface and communications system for a motor vehicle and associated operating methods
CN1802273A (zh) * 2003-06-06 2006-07-12 沃尔沃技术公司 根据被解释的驾驶员活动控制车辆子系统的方法和装置
CN101074020A (zh) * 2006-05-19 2007-11-21 富士通株式会社 移动体的驾驶支持装置
CN101669090A (zh) * 2007-04-26 2010-03-10 福特全球技术公司 情绪提示系统和方法
US7711355B1 (en) * 1999-07-21 2010-05-04 Nokia Mobile Phones, Ltd. Device used in a vehicle which is controlled by vehicular operation to avoid dangerous vehicular operation
US20100128863A1 (en) * 2008-11-21 2010-05-27 Robert Bosch Gmbh Context aware voice communication proxy
US20130127614A1 (en) * 2011-11-22 2013-05-23 Verizon Corporate Services Group Inc. Method and system for providing notifications of a mobile device in motion to determine call treatment
US20130137404A1 (en) * 2011-11-30 2013-05-30 Juhang Kuo Method of responding to incoming calls and messages while driving
CN104797484A (zh) * 2012-12-27 2015-07-22 英特尔公司 用于定制内容的系统和方法
CN105280209A (zh) * 2014-07-01 2016-01-27 纬创资通股份有限公司 切换方法与计算机系统

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7257426B1 (en) 1999-05-26 2007-08-14 Johnson Controls Technology Company Wireless communications systems and method
JP4400951B2 (ja) * 1999-05-27 2010-01-20 富士通テン株式会社 車載用音声認識装置、及び車載用音声認識制御方法
JP2001191871A (ja) 2000-01-11 2001-07-17 Toyota Central Res & Dev Lab Inc 車載情報提示制御装置
US6580973B2 (en) 2000-10-14 2003-06-17 Robert H. Leivian Method of response synthesis in a driver assistance system
US20020151297A1 (en) 2000-10-14 2002-10-17 Donald Remboski Context aware wireless communication device and method
US6925425B2 (en) 2000-10-14 2005-08-02 Motorola, Inc. Method and apparatus for vehicle operator performance assessment and improvement
JP2002120656A (ja) 2000-10-16 2002-04-23 Mitsubishi Motors Corp 情報表示装置
US6774795B2 (en) 2001-06-30 2004-08-10 Koninklijke Philips Electroncs N.V. Electronic assistant incorporated in personal objects
US20030167167A1 (en) * 2002-02-26 2003-09-04 Li Gong Intelligent personal assistants
JP2004050975A (ja) * 2002-07-19 2004-02-19 Equos Research Co Ltd 車載装置、データ作成装置、及びデータ作成プログラム
US7188012B2 (en) 2004-08-24 2007-03-06 Ford Global Technologies, Llc Adaptive voice control and vehicle collision warning and countermeasure system
EP1827207A2 (en) 2004-10-04 2007-09-05 Cyberkinetics Neurotechnology Systems, Inc. Biological interface system
US20060149544A1 (en) * 2005-01-05 2006-07-06 At&T Corp. Error prediction in spoken dialog systems
US20060253166A1 (en) 2005-01-06 2006-11-09 Flaherty J C Patient training routine for biological interface system
ATE524784T1 (de) 2005-09-30 2011-09-15 Irobot Corp Begleitroboter für persönliche interaktion
US8849501B2 (en) * 2009-01-26 2014-09-30 Lytx, Inc. Driver risk assessment system and method employing selectively automatic event scoring
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US9587958B2 (en) 2007-01-23 2017-03-07 Visteon Global Technologies, Inc. Mobile device gateway systems and methods
CN100449577C (zh) 2007-02-01 2009-01-07 上海交通大学 交通协管辅助电子控制装置
JP4935392B2 (ja) 2007-02-07 2012-05-23 富士通株式会社 出力調停プログラム及び装置
JP2008233678A (ja) 2007-03-22 2008-10-02 Honda Motor Co Ltd 音声対話装置、音声対話方法、及び音声対話用プログラム
CN101295013A (zh) 2007-04-28 2008-10-29 佛山市顺德区顺达电脑厂有限公司 运用全球定位系统控制影音播放之系统及其方法
CA2689757A1 (en) 2007-07-18 2009-01-18 Steven C. Kays Adaptive electronic design
TWI314115B (en) 2007-09-27 2009-09-01 Ind Tech Res Inst Method and apparatus for predicting/alarming the moving of hidden objects
US10496753B2 (en) * 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8253564B2 (en) * 2009-02-19 2012-08-28 Panasonic Corporation Predicting a future location of a moving object observed by a surveillance device
US9615213B2 (en) * 2009-07-21 2017-04-04 Katasi Llc Method and system for controlling and modifying driving behaviors
US9688286B2 (en) * 2009-09-29 2017-06-27 Omnitracs, Llc System and method for integrating smartphone technology into a safety management platform to improve driver safety
US10553209B2 (en) * 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10679605B2 (en) * 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US8924218B2 (en) 2010-11-29 2014-12-30 Greg L. Corpier Automated personal assistance system
EP3858651A1 (en) 2011-08-29 2021-08-04 Automotive Coalition for Traffic Safety, Inc. System for non-invasive measurement of an analyte in a vehicle driver
EP2575128A3 (en) 2011-09-30 2013-08-14 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US20130204813A1 (en) 2012-01-20 2013-08-08 Fluential, Llc Self-learning, context aware virtual assistants, systems and methods
US9171085B2 (en) * 2012-03-07 2015-10-27 Ut-Battelle, Llc Personalized professional content recommendation
US9082239B2 (en) 2012-03-14 2015-07-14 Flextronics Ap, Llc Intelligent vehicle for assisting vehicle occupants
KR101711027B1 (ko) * 2012-04-25 2017-03-13 한국전자통신연구원 차량용 운전자 맞춤형 서비스 제공 방법 및 장치
US10417037B2 (en) * 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US20130325878A1 (en) * 2012-06-05 2013-12-05 Daniel de Lichana Community planning system with sensors and social media
EP2690847A1 (en) 2012-07-27 2014-01-29 Constantin Medien AG Virtual assistant for a telecommunication system
US9015099B2 (en) * 2012-08-14 2015-04-21 Sri International Method, system and device for inferring a mobile user's current context and proactively providing assistance
US9576574B2 (en) * 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9085303B2 (en) 2012-11-15 2015-07-21 Sri International Vehicle personal assistant
US9171092B2 (en) * 2012-12-07 2015-10-27 Empire Technology Development Llc Personal assistant context building
US9149236B2 (en) * 2013-02-04 2015-10-06 Intel Corporation Assessment and management of emotional state of a vehicle operator
DE212014000045U1 (de) 2013-02-07 2015-09-24 Apple Inc. Sprach-Trigger für einen digitalen Assistenten
US9223837B2 (en) 2013-03-14 2015-12-29 Toyota Motor Engineering & Manufacturing North America, Inc. Computer-based method and system for providing active and automatic personal assistance using an automobile or a portable electronic device
KR102057795B1 (ko) 2013-03-15 2019-12-19 애플 인크. 콘텍스트-민감성 방해 처리
US9729592B2 (en) * 2013-08-27 2017-08-08 Persais, Llc System and method for distributed virtual assistant platforms
US9266536B2 (en) 2014-01-17 2016-02-23 Fca Us Llc Adaptive cruise control system and method
US20150217188A1 (en) * 2014-02-06 2015-08-06 Physical Apps, Llc Physical interaction device for personal electronics and method for use
US9135803B1 (en) * 2014-04-17 2015-09-15 State Farm Mutual Automobile Insurance Company Advanced vehicle operator intelligence system
US9283847B2 (en) * 2014-05-05 2016-03-15 State Farm Mutual Automobile Insurance Company System and method to monitor and alert vehicle operator of impairment
US9734425B2 (en) * 2015-02-11 2017-08-15 Qualcomm Incorporated Environmental scene condition detection
US9715875B2 (en) * 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US20160014062A1 (en) 2014-07-08 2016-01-14 Rinkesh Patel System and method for blocking or delaying notifications on a mobile device while simultaneously allowing approved integrated functionality
FR3026542B1 (fr) * 2014-09-30 2017-12-29 Xbrainsoft Reconnaissance vocale perfectionnee
US10116748B2 (en) 2014-11-20 2018-10-30 Microsoft Technology Licensing, Llc Vehicle-based multi-modal interface
KR102383791B1 (ko) 2014-12-11 2022-04-08 삼성전자주식회사 전자 장치에서의 개인 비서 서비스 제공
US10399575B2 (en) * 2015-01-12 2019-09-03 Harman International Industries, Incorporated Cognitive load driving assistant
US11887164B2 (en) * 2015-05-26 2024-01-30 Microsoft Technology Licensing, Llc Personalized information from venues of interest
US9605970B1 (en) * 2015-09-03 2017-03-28 Harman International Industries, Incorporated Methods and systems for driver assistance
US10769189B2 (en) * 2015-11-13 2020-09-08 Microsoft Technology Licensing, Llc Computer speech recognition and semantic understanding from activity patterns
US10664741B2 (en) * 2016-01-14 2020-05-26 Samsung Electronics Co., Ltd. Selecting a behavior of a virtual agent
US10189479B2 (en) * 2016-04-06 2019-01-29 At&T Intellectual Property I, L.P. Methods and apparatus for vehicle operation analysis
US10409876B2 (en) * 2016-05-26 2019-09-10 Microsoft Technology Licensing, Llc. Intelligent capture, storage, and retrieval of information for task completion
US10474946B2 (en) * 2016-06-24 2019-11-12 Microsoft Technology Licensing, Llc Situation aware personal assistant
US20180285827A1 (en) * 2017-03-28 2018-10-04 Microsoft Technology Licensing, Llc Distinguishing events of users for efficient service content distribution
US10783149B2 (en) * 2017-08-02 2020-09-22 Microsoft Technology Licensing, Llc Dynamic productivity content rendering based upon user interaction patterns

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7711355B1 (en) * 1999-07-21 2010-05-04 Nokia Mobile Phones, Ltd. Device used in a vehicle which is controlled by vehicular operation to avoid dangerous vehicular operation
US20040214615A1 (en) * 2003-04-09 2004-10-28 Volker Entenmann User interface and communications system for a motor vehicle and associated operating methods
CN1802273A (zh) * 2003-06-06 2006-07-12 沃尔沃技术公司 根据被解释的驾驶员活动控制车辆子系统的方法和装置
CN101074020A (zh) * 2006-05-19 2007-11-21 富士通株式会社 移动体的驾驶支持装置
CN101669090A (zh) * 2007-04-26 2010-03-10 福特全球技术公司 情绪提示系统和方法
US20100128863A1 (en) * 2008-11-21 2010-05-27 Robert Bosch Gmbh Context aware voice communication proxy
US20130127614A1 (en) * 2011-11-22 2013-05-23 Verizon Corporate Services Group Inc. Method and system for providing notifications of a mobile device in motion to determine call treatment
US20130137404A1 (en) * 2011-11-30 2013-05-30 Juhang Kuo Method of responding to incoming calls and messages while driving
CN104797484A (zh) * 2012-12-27 2015-07-22 英特尔公司 用于定制内容的系统和方法
CN105280209A (zh) * 2014-07-01 2016-01-27 纬创资通股份有限公司 切换方法与计算机系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109995934A (zh) * 2019-02-27 2019-07-09 维沃移动通信有限公司 提示方法及终端设备
CN110059650A (zh) * 2019-04-24 2019-07-26 京东方科技集团股份有限公司 信息处理方法、装置、计算机存储介质及电子设备
CN111845762A (zh) * 2019-04-26 2020-10-30 哲内提 驾驶者注意力分散的确定

Also Published As

Publication number Publication date
IL263759A (en) 2019-01-31
JP7195931B2 (ja) 2022-12-26
US11636305B2 (en) 2023-04-25
AU2017281436B2 (en) 2022-12-15
KR20190022553A (ko) 2019-03-06
US20170372189A1 (en) 2017-12-28
JP2019527387A (ja) 2019-09-26
MX2018015623A (es) 2019-03-06
CA3023275A1 (en) 2017-12-28
US20200034683A1 (en) 2020-01-30
CO2018013675A2 (es) 2018-12-28
WO2017223013A1 (en) 2017-12-28
AU2017281436A1 (en) 2018-11-22
PH12018550195A1 (en) 2019-09-30
KR102606026B1 (ko) 2023-11-23
CL2018003615A1 (es) 2019-03-22
RU2018145529A (ru) 2020-06-22
EP3475136A1 (en) 2019-05-01
SG11201810890RA (en) 2019-01-30
US10474946B2 (en) 2019-11-12
ZA201807409B (en) 2020-01-29
IL263759B (en) 2022-05-01
BR112018074326A2 (pt) 2019-07-16

Similar Documents

Publication Publication Date Title
CN109328155A (zh) 状况感知个人助理
KR102451660B1 (ko) 다중 모드 대화 상호 작용에서 음성 언어 이해를 위한 눈 시선
US8914163B2 (en) System and method for incorporating gesture and voice recognition into a single system
US11302311B2 (en) Artificial intelligence apparatus for recognizing speech of user using personalized language model and method for the same
US11577379B2 (en) Robot and method for recognizing wake-up word thereof
US11031005B2 (en) Continuous topic detection and adaption in audio environments
US11495214B2 (en) Artificial intelligence device for providing voice recognition service and method of operating the same
US11211047B2 (en) Artificial intelligence device for learning deidentified speech signal and method therefor
CN105895095A (zh) 自适应交互语音系统
US10462281B2 (en) Technologies for user notification suppression
US20190051302A1 (en) Technologies for contextual natural language generation in a vehicle
US20200175970A1 (en) Feeling estimation device, feeling estimation method, and storage medium
US20200051566A1 (en) Artificial intelligence device for providing notification to user using audio data and method for the same
US20200058290A1 (en) Artificial intelligence apparatus for correcting synthesized speech and method thereof
US20170270916A1 (en) Voice interface for a vehicle
US11769508B2 (en) Artificial intelligence apparatus
JP6075577B2 (ja) 運転支援装置
US20210334461A1 (en) Artificial intelligence apparatus and method for generating named entity table
US11348585B2 (en) Artificial intelligence apparatus
WO2021176633A1 (ja) 運転者状態推定装置および運転者状態推定方法
JP2024073110A (ja) 制御方法及び情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1262688

Country of ref document: HK