CN110730950A - 基于车辆诊断数据的可动作事件确定 - Google Patents
基于车辆诊断数据的可动作事件确定 Download PDFInfo
- Publication number
- CN110730950A CN110730950A CN201780091951.6A CN201780091951A CN110730950A CN 110730950 A CN110730950 A CN 110730950A CN 201780091951 A CN201780091951 A CN 201780091951A CN 110730950 A CN110730950 A CN 110730950A
- Authority
- CN
- China
- Prior art keywords
- event
- vehicle
- data message
- component
- output interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009471 action Effects 0.000 claims abstract description 120
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims description 78
- 230000005236 sound signal Effects 0.000 claims description 20
- 238000004458 analytical method Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 6
- 238000012423 maintenance Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 238000002405 diagnostic procedure Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 11
- 230000004044 response Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000013475 authorization Methods 0.000 description 7
- 230000000670 limiting effect Effects 0.000 description 5
- 238000013515 script Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- IRLPACMLTUPBCL-KQYNXXCUSA-N 5'-adenylyl sulfate Chemical compound C1=NC=2C(N)=NC=NC=2N1[C@@H]1O[C@H](COP(O)(=O)OS(O)(=O)=O)[C@@H](O)[C@H]1O IRLPACMLTUPBCL-KQYNXXCUSA-N 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000010205 computational analysis Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0816—Indicating performance data, e.g. occurrence of a malfunction
- G07C5/0833—Indicating performance data, e.g. occurrence of a malfunction using audio means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0808—Diagnosing performance data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开一般地涉及用于确定与车辆相关联的可动作事件的系统和方法。该系统和方法可以基于车辆诊断数据确定事件,并且可以经由适当的接口将该事件报告给用户。该系统和方法还可以确定解决该事件的推荐动作,并且可以在用户批准后促进该动作的完成。
Description
背景技术
诸如汽车、卡车、公共汽车和摩托车的车辆的运行状态会随着时间或使用而恶化。车辆周围的状况也可能发生变化。
发明内容
根据本公开的方面,基于音频的车辆诊断系统可以在车辆环境中操作。该系统可以包括数据处理系统,该数据处理系统执行安装在车辆中的数字助理应用,并且具有事件确定组件、通知组件和直接动作应用编程接口(API)。该事件确定组件可以经由所述数据处理系统的接口,接收由与车辆相关联的多个传感器中的至少一个传感器感测到的车辆诊断数据。所述事件确定组件可以基于对所述车辆诊断数据的分析,识别与所述车辆相关联的触发事件。数字助理应用还可以包括通知组件以基于所述触发事件选择第一音频输出接口。数字助理应用还可以包括直接动作应用编程接口(API)以生成对应于所述触发事件的事件数据消息。该事件数据消息可以与所述第一音频输出接口兼容。该直接动作API还可以将所述事件数据消息从所述数字助理应用发送到所述第一音频输出接口,以使所述第一音频输出接口将与所述事件数据消息相关联的信息输出为音频输出。
根据本公开的方面,基于音频的车辆诊断方法可以包括由安装在车辆中的数据处理系统执行的数字助理应用的事件确定组件经由所述数据处理系统的接口,接收由所述车辆的多个传感器中的至少一个传感器感测到的车辆诊断数据。该方法可以包括由所述事件确定组件基于对所述车辆诊断数据的分析,识别与所述车辆相关联的触发事件。该方法可以包括由所述数字助理应用的通知组件基于所述触发事件选择第一音频输出接口。该方法可以包括所述数字助理应用的直接动作API生成对应于所述触发事件的事件数据消息。该事件数据消息可以与所述第一音频输出接口兼容。该方法可以包括由所述直接动作API将所述事件数据消息从所述数字助理应用发送到所述第一音频输出接口,以使所述第一音频输出接口将与所述事件数据消息相关联的信息输出为音频输出。
在下文中,详细讨论这些和其他方面以及实施方式。前述信息和以下详细描述包括各种方面和实施方式的示例性示例,并且提供用于理解所要求保护的方面和实施方式的性质和特征的概述或框架。附图提供了对各个方面和实施方式的说明和进一步理解,以及包含在本说明书中并构成本说明书的一部分。
附图说明
附图不旨在按比例绘制。各附图中相似的附图标记和名称指示相似的元件。为清楚起见,可以并非在每个附图中标记每个组件。在附图中:
图1示出了确定与车辆相关联的事件的示例系统。
图2示出了包括在图1的系统中的车辆的俯视图,包括车辆的内舱。
图3示出了使用图1示出的示例系统的示例的基于音频的车辆诊断方法。
图4是示例计算机系统的框图。
具体实施方式
以下是与用于确定与车辆相关联的事件的方法、装置和系统有关的各种概念以及其实施方式的更详细描述。可以以许多方式中的任何一种来实现上文介绍的和下文将更详细地讨论的各种概念。诸如汽车、卡车、公共汽车、摩托车、轮船、飞机或其他运输设备的车辆可以包括用于收集诊断数据的多个传感器。诊断数据可以被用于将故障情况报告给这种车辆的驾驶员。车辆可以包括用于报告这种信息的有限输出接口。结果,当向驾驶员报告故障情况时,例如通过点亮车辆控制台上的“检查发动机”灯,驾驶员可能不容易确定是什么原因导致了故障,或者应该采取什么动作来纠正故障。另外,诊断数据可能指示当前的故障状况,从而使驾驶员或其他用户几乎没有时间或没有时间采取动作来防止故障发生。
本公开一般地针对一种数据处理系统,其基于车辆诊断数据来确定与车辆相关联的可动作事件。数据处理系统可以汇总和处理来自多个传感器的数据,以确定和表征需要驾驶员注意的车辆事件,并可以推荐针对此类事件的纠正动作,并且在批准后,可以促进完成推荐的纠正动作。本公开的解决方案可以通过监视车辆的一个或多个状态并且仅在确定一个或多个车辆状态改变时才报告与车辆相关的事件来提高计算效率。通过在车辆内的计算设备上执行下文描述的至少一些计算,系统可以通过消除将诊断数据通过计算机网络传输到远程计算机的需求来减少带宽利用。在车辆本地的计算设备上执行至少一些计算还可以改善等待时间,因为车辆本地的计算设备与其他远程计算设备之间的网络连接可能不可靠。
本文描述的系统和方法可以包括安装在车辆中并且包括数字助理应用的数据处理系统。数字助理应用可以是促进数字助理应用与人类用户之间的双向对话的软件应用。可以使用自然语言例如英语或其他语言来进行对话。数字助理应用可以从与车辆关联的任何数量的传感器接收车辆诊断数据,并且可以处理诊断数据以确定应当报告给用户(例如,驾驶员或车辆所有者)的触发事件。数字助理应用可以选择用于报告触发事件的适当接口,并且可以生成与触发事件相对应并根据所选接口格式化的事件数据消息。例如,所选择的接口可以是车辆的内舱中的扬声器,并且数字助理应用可以将事件数据消息格式化为要通过扬声器播放的音频。然后,数字助理应用可以发送事件数据消息,以经由所选接口输出。数字助理应用还可以确定推荐的动作以解决触发事件,并且可以将推荐的动作通知用户。在收到用户的许可,数字助理应用可以促进完成该动作。例如,推荐动作可以是由机械师执行的维护活动,并且数字助理应用可以协助用户安排与本地机械师的预约。通过执行用于识别车辆内本地的触发事件和推荐动作所需的至少一部分计算分析,相对于要求由远离车辆的计算设备执行这些计算的替代方案,数字助理应用可以节省网络带宽、降低处理器利用率并且省电。
图1示出了确定与车辆相关联的事件的示例系统100。系统100可以包括至少一个数据处理系统102、一个或多个客户端设备128以及一个或多个车辆140。
数据处理系统102可以包括接口104。数据处理系统102可以包括自然语言处理器(NLP)组件106以解析基于音频的输入。数据处理系统102可以包括接口管理组件108,以检测和管理系统100中的其他设备的接口。数据处理系统102可以包括事件确定组件116,以确定与车辆140相关联的事件,以及响应于所确定的事件来采取推荐动作。数据处理系统102可以包括通知组件114,以选择通过其可以向用户通知事件或推荐动作的接口。数据处理系统102可以包括履行组件110,以在接收到来自用户的许可后促进完成推荐动作。数据处理系统102可以包括直接动作应用编程接口(API)112。数据处理系统102可以包括数据储存库118,数据处理系统102可以在其中存储参数120、策略122、响应数据124和模板126。客户端设备128和车辆140可以包括并执行数据处理系统102的任何组件的实例。客户端设备128和车辆140可以每个包括数据处理系统102的全部或一部分。
系统100还可以包括一个或多个客户端设备128。客户端设备128可以包括传感器130、扬声器132、接口104和换能器136。客户端设备128可以执行NLP组件106的实例。系统100还可以包括一个或多个数据提供者138。系统100可以包括一个或多个车辆140。车辆140可以包括传感器130、扬声器132、接口104和换能器136。车辆140可以执行NLP组件106的实例。车辆140还可以包括数字助理应用144。数字助理应用144可以包括数据处理系统102中所示的一个、一个以上或所有组件。可以在车辆140内本地地执行本文结合数据处理系统102描述的操作。
系统100的组件可以通过网络142进行通信。在一些实施方式中,一个或多个客户端设备128可以位于车辆140的实例内。例如,客户端设备128可以是驾驶车辆140的驾驶员的口袋中的移动电话。一个或多个客户端设备128可以远离车辆140。例如,在驾驶员停车并且携带移动电话离开车辆140之后,驾驶员的移动电话可以远离车辆140。
网络142可以包括诸如互联网、局域网、广域网、城域网或其他局域网的计算机网络、内联网、卫星网络、诸如语音或数据移动电话通信网络的其他计算机网络及其组合。数据处理系统102、客户端设备128和车辆140可以使用网络142来访问信息资源,诸如网页、网站、域名、统一资源定位符或数据提供者138。例如,数据处理系统102可以经由网络142访问数据提供者138,该数据提供者138提供特定位置的天气数据,诸如与车辆140相关联的位置。
网络142可以包括例如点对点网络、广播网络、广域网、局域网、电信网络、数据通信网络、计算机网络、ATM(异步传输模式)网络、SONET(同步光网络)网络、SDH(同步数字体系)网络、无线网络或有线网络及其组合。网络142可以包括无线链路,诸如红外信道或卫星频带。网络142的拓扑可以包括总线、星形或环形网络拓扑。网络142可以包括使用用于在移动设备之间进行通信的任何一种或多种协议的移动电话网络,包括高级移动电话协议(AMPS)、时分多址(TDMA)、码分多址(CDMA)、全球移动通信系统(GSM)、通用分组无线服务(GPRS)或通用移动电信系统(UMTS)。可以经由不同的协议传输不同类型的数据,或者可以经由不同的协议传输相同类型的数据。
客户端设备128和车辆140可以每个包括至少一个逻辑设备,诸如具有处理器的计算设备,经由网络142与数据处理系统102相互通信。客户端设备128和车辆140可以包括关于数据处理系统102描述的任何组件的实例。客户端设备128和车辆140可以包括数据处理系统102的实例。客户端设备128可以包括桌面型计算机、膝上型计算机、平板计算机、个人数字助理、智能电话、移动设备、便携式计算机、瘦客户端计算机、虚拟服务器、基于扬声器的数字助理或任何其他类型或形式的计算设备。车辆140可以包括手动或自动驾驶汽车、卡车、公共汽车、工业车辆、摩托车、轮船、飞机或其他运输机器。车辆140可以执行数据处理系统102或其任何组件的实例的一个或多个处理器。例如,数据处理系统102或其组件可以由数字助理应用144执行。用于执行数据处理系统102的处理器可以是车辆140的计算设备的组件,诸如车辆140的头部单元(head unit)。
客户端设备128和车辆140可以包括至少一个传感器130、至少一个换能器136、至少一个音频驱动器和至少一个扬声器132。传感器130可以包括麦克风或音频输入传感器。传感器130还可以包括GPS传感器、接近传感器、环境光传感器、温度传感器、运动传感器、加速度计或陀螺仪中的至少之一。该传感器130可以包括占用或重量传感器。传感器130还可以包括与车辆140的仪器相关联的传感器,诸如速度计、里程表、汽油表或与车辆140的功能相关联的任何其他传感器。换能器136可以将音频输入转换成电子信号。音频驱动器可以包括由客户端设备128或车辆140的一个或多个处理器执行的脚本或程序以控制扬声器132。扬声器132可以通过将电信号转换为可听波来渲染音频信号。
客户端设备128和车辆140可以与终端用户相关联,该终端用户将语音查询作为输入音频信号(例如经由传感器130、接口104或数字助理应用144)输入到客户端设备128或车辆140中,并且接收以可以(例如经由扬声器132)从数据处理系统102提供的计算机生成的语音形式的音频输出。车辆140或其组件的任何一个也可以生成对应于触发事件或动作数据消息的事件数据消息以执行预定功能或动作来解决触发事件。接口104可以接收数据消息或向数据处理系统102的直接动作API 112提供数据消息,并且实现系统100的组件之间的通信。客户端设备128和车辆140还可以包括用户接口,该用户接口使用户能够与系统100的组件进行交互。
数据处理系统102可以包括具有至少一个处理器的至少一个服务器。例如,数据处理系统102可以包括位于至少一个数据中心或服务器场中的多个服务器。数据处理系统102可以从音频输入信号确定请求和与该请求或命令相关联的触发关键字。基于请求或命令和触发关键字,数据处理系统102可以生成或选择响应数据。响应数据可以基于音频或基于文本。例如,响应数据可以包括一个或多个音频文件,这些音频文件在被渲染时经由扬声器132提供音频输出或声波。响应数据内的数据也可以被称为内容项。除了音频内容之外,响应数据还可以包括其他内容(例如,文本、视频或图像内容)。
数据处理系统102可以包括多个逻辑上分组的服务器,并且有助于分布式计算技术。服务器的逻辑组可以被称为数据中心、服务器场或机器场。服务器还可以在地理位置上分散。数据中心或机器场可以被管理为单个实体,或者机器场可以包括多个机器场。每个机器场内的服务器可以是异构的——一个或多个服务器或机器可以根据一种或多种操作系统平台操作。数据处理系统102可以包括存放在一个或多个高密度机架系统中的、数据中心中的服务器以及例如位于企业数据中心中的相关联的存储系统。以这种方式,具有整合的服务器的数据处理系统102可以通过在本地化的高性能网络上定位服务器和高性能存储系统,提高系统的可管理性、数据安全性、系统的物理安全性和系统性能。在一些实施方式中,集中化包括服务器和存储系统并且将它们与高级系统管理工具耦合在一起的所有或一些数据处理系统102组件允许更有效地利用服务器资源,从而节省了功率和处理需求并且减少了带宽使用。数据处理系统102的每个组件可以包括至少一个处理单元、服务器、虚拟服务器、电路、引擎、代理、设备或其他逻辑设备,诸如被配置为与数据储存库118以及其他计算设备通信的可编程逻辑阵列,以及脚本、程序或应用。
数据处理系统102可以包括数据储存库118。数据储存库118可以包括一个或多个本地或分布式数据库,并且可以包括数据库管理系统。数据储存库118可以包括计算机数据存储或存储器,并且可以存储一个或多个参数120、一个或多个策略122、响应数据124和模板126等。参数120、策略122和模板126可以包括诸如关于客户端设备128、数据处理系统102和车辆140之间的基于语音的会话的规则的信息。参数120、策略118和模板126还可以包括诸如规则的信息,以用于处理、分析或按优先排序来自传感器130的诊断数据以识别触发事件或推荐动作。响应数据124可以包括用于音频输出的内容项或与所识别的触发事件或推荐动作有关的相关元数据,以及可以是与客户端设备128的一个或多个通信会话的一部分的输入音频消息。
与数据处理系统102相关联的应用、脚本、程序或其他组件可以安装在客户端设备128或车辆140上。在一些实施方式中,该应用可以是或可以包括数字助理应用144。该应用可以使客户端设备128或车辆140将输入音频信号(和其他数据)传送到数据处理系统102的接口104。该应用可以使客户端设备128和车辆140驱动客户端设备128和车辆140的组件以渲染输出音频信号。
数据处理系统102的直接动作API 112可以生成事件数据消息。事件数据消息可以包括对应于车辆140的触发事件的数据、指令或其他信息。直接动作API 112可以基于对例如从传感器130接收的车辆诊断数据的分析来生成事件数据消息。直接动作API 112可以基于从系统100的其他组件诸如数据提供者138或客户端设备128接收的信息来生成事件数据消息。例如,事件数据消息可以是JSON格式的数据消息、XML格式的数据消息和音频数据消息、电子邮件数据消息、文本消息或用于移动计算设备的推送通知。
事件确定组件116可以处理传感器信息和其他信息以确定触发事件。触发事件可以对应于车辆140的组件的故障,以及事件确定组件116可以基于从传感器130接收的数据来确定故障已经发生。例如,传感器130可以对应于车辆140的引擎盖下的温度传感器,并且事件确定组件116可以确定从传感器130读出的温度指示发动机温度太高。基于该分析,事件确定组件116可以识别对应于发动机温度的触发事件。直接动作API 112可以生成事件数据消息,该事件数据消息包括与触发事件有关的信息,诸如,受影响的车辆的组件(即发动机)、触发事件的原因(即温度超出可接受范围),以及可能与触发事件相关联的其他参数(即,导致事件确定组件116确定触发事件的由传感器130测量的特定温度)。
事件确定组件116可以生成不一定与车辆140的组件的故障相对应的触发事件,但是仍然可以引起用户的注意。例如,传感器130可以包括用于确定车辆140的至少一个窗户的位置的传感器。事件确定组件116可以确定来自传感器130的输出指示至少一个窗口是打开的。事件确定组件116还可以从数据提供者138接收车辆140附近的位置的天气信息。在该示例中,事件确定组件116可以基于确定正在下雨或可能下雨以及车辆140的窗户打开来确定触发事件。然后,直接动作API 112可以生成事件数据消息,该事件数据消息包括指示窗打开并且在车辆140附近的位置正在下雨或可能下雨的信息。
直接动作API 112还可以以与至少一个输出接口兼容的方式,将事件数据消息发送到至少一个输出接口。例如,直接动作API 112可以将事件数据消息作为音频文件发送到车辆140内的扬声器132,以使扬声器132播放向用户通知触发事件的音频。通知组件114可以确定通过其发送事件数据消息的接口。例如,如果驾驶员正在使用车辆140,则通知组件114可以确定应当选择车辆140内的接口(例如,车辆140的扬声器132),以便可以向驾驶员立即通知触发事件。另一方面,如果车辆140被停放,则通知组件114可以确定应该选择不同的接口,诸如客户端设备128的扬声器132,使得在用户离开车辆时,用户具有更好的机会被成功通知触发事件。通知组件114可以确定将用于单个触发事件的多个接口。然后,直接动作API 112可以生成与每个所选接口相对应的事件数据消息,并且可以将事件数据消息发送到它们各自的所选接口。
事件确定组件116还可以确定触发事件的推荐动作。推荐的动作可以适合解决触发事件的任何动作。继续上述示例,其中,触发事件对应于当来自数据提供者138的信息指示很可能下雨时的时间,车辆140的窗口打开,事件确定组件116可以确定推荐的动作是关闭开着的车窗以防止雨水损坏车辆的内舱。在该示例中,直接动作API 112可以生成与推荐动作相对应的动作数据消息。动作数据消息可以包括与推荐动作有关的任何信息,诸如识别动作以及应当执行动作的时间。与事件数据消息一样,动作数据消息也可以以多种方式格式化,诸如JSON格式的消息或XML格式的消息,以及例如音频消息、视频消息、电子邮件消息、文本消息或用于移动计算设备的推送通知。事件确定组件116可以确定应该通过其向用户通知推荐动作的适当接口,直接动作API 112可以以与所选接口兼容的方式生成动作数据消息,并且直接动作API 112可以将动作数据消息发送到所选接口。
如上所述,事件数据消息或动作数据消息可以是包括与各个触发事件或推荐动作有关的属性的数据消息。这些属性可以包括例如车辆140的位置、客户端设备128的位置、与客户端设备128相关联的用户的授权级别、车辆标识符、接口标识符、车辆状态或请求状态。直接动作API 112可以从储存库118检索模板126,以确定在事件数据消息或动作数据消息中包括哪些字段或属性。直接动作API 112可以确定必要的参数,并且可以将信息打包成动作数据消息。直接动作API 112可以从储存库118检索内容以获得关于数据消息的属性的信息。
NLP组件106可以接收输入音频信号。数据处理系统102可以例如从客户端设备128或从车辆140接收输入音频信号。第一设备可以执行NLP组件106,并且NLP组件106可以从第二设备接收输入音频信号。例如,车辆140可以执行NLP组件106,并且可以从客户端设备128接收输入音频信号。
NLP组件106可以通过将输入音频信号与存储的代表性音频波形集进行比较并选择最接近的匹配,将输入音频信号转换为识别的文本。可以跨大的输入音频信号集生成代表性波形。在将输入音频信号转换成识别的文本之后,NLP组件106可以将文本与例如经由学习阶段与动作或输出音频信号相关联的词匹配。
NLP组件106可以从输入音频信号识别至少一个请求或命令,或者对应于该请求或命令的至少一个触发或热门关键字。该请求或命令可以指示输入音频信号的意图或主题。触发关键字可以指示可能采取的动作类型。例如,NLP组件106可以响应于锁定车门的推荐动作来解析输入音频信号以识别锁定车辆140的车门的请求。触发关键词可以包括指示要采取的动作的至少一个单词、短语、词根或部分单词,或派生词。例如,触发器关键字可以是“go”、“ok”、“hey”、“yes(是)”或“no(否)”。
NLP组件106可以允许用户在将动作数据消息发送到所选接口之后做出响应。例如,动作数据消息可以包括指示的动作以及执行该动作的授权请求。用户可以例如通过使用诸如“yes”或“no”的触发关键字中的一个来提供授权以自然语言执行要由NLP组件106处理的直接动作。再继续上文的示例,其中在车辆140附近可能下雨并且推荐的动作是关窗的时间期间,触发事件对应于车辆140的开窗,该动作数据消息可能包括执行该推荐动作的授权请求。用户可以通过说“yes”来授权要执行的推荐动作,并且可以通过说“no”来拒绝对推荐动作的授权。
例如,当用户授权推荐的动作时,履行组件110可以促进动作的完成。例如,履行组件110可以在接收到来自用户的授权后,与汽车的各种功能特征和组件进行通信以采取各种动作。再次继续上述示例,履行组件110可以在接收到来自用户的关闭打开的窗口的授权时,使车辆140的一个或多个打开的窗口关闭。履行组件110可以执行与车辆的组件不相关的动作。例如,对于与需要由训练有素的专业人员进行维护的更严重的故障状况相对应的触发事件,诸如发动机故障,推荐的动作可以是将车辆140带给机械师。如果用户授权该动作,则履行组件110可以自动安排与本地机械师的预约。履行组件110可以使用由一个或多个客户端设备128提供的信息来安排预约。例如,第一客户端设备128可以属于车辆140的所有者,而第二客户端设备128可以属于机械师。基于来自这些客户端设备128中的一个或两个的日历信息,履行组件110可以选择用于安排预约的方便时间。
图2示出了包括在图1的系统100中的车辆140的俯视图,包括车辆140的内舱。车辆140的内舱可以包括多个座椅200。每个座椅200可以包括一个或多个传感器130。在一些实施方式中,座椅200中的传感器130可以是重量或占用传感器。车辆140的内舱可以包括多个扬声器132。车辆140还包括数字助理应用144,其可以执行关于数据处理系统102或车辆140所描述的一个或多个组件,如上结合图1所讨论的。例如,数字助理应用144可以包括车辆140内的数据处理系统102的所有组件。
数字助理应用144可以确定车辆140内的客户端设备128的相对位置(或存在或不存在)。客户端设备128的位置或存在可以被合并到车辆140的状态的一个或多个属性中,该属性可以与生成事件数据消息或动作数据消息有关,以及用于选择通过传送这些数据消息的接口。例如,触发事件可能在数字助理应用144确定客户端设备128不在车辆140中的时间期间发生。因为当用户离开车辆时通过车辆的扬声器132传输的数据消息将不会成功地向用户通知触发事件,所以通知组件114可以选择不同的接口来传达该触发事件的事件数据消息。客户端设备128的位置或定位是相对位置,并且可以包括不同级别的分辨率。数字助理应用144可以使用占用传感器130确定用户在特定时间是否位于车辆140内来确定类似信息。
车辆140还包括位于发动机舱中的传感器130。图2中所示的传感器130的数量和位置仅是说明性的,而不是限制性的。在实践中,车辆140可以包括遍及车辆140设置的任意数量的传感器130,并且可以测量与确定的触发事件有关的任何类型的诊断数据。
数字助理应用144可以分析来自两个或更多个传感器的组合输出,以确定车辆状态或触发事件。组合多个传感器的输出可以允许更准确或更详细地确定触发事件。例如,第一传感器130可以是GPS接收器,而第二传感器130可以是速度计。数字助理应用144可以分析两个传感器的输出以准确地确定车辆140的状态。例如,GPS数据可以指示车辆正在行驶,而速度计数据指示车辆停止。数字助理应用144可以被配置为分析两种类型的数据以解决明显的不一致。例如,数字助理应用144可以从该数据中确定车辆140正被拖曳在平板卡车上。
在一些实施方式中,数字助理应用144可以使用从传感器130接收到的数据来做出关于尚未发生但将来可能发生的触发事件的预测。例如,数字助理应用144可以处理车速计数据以确定车辆通常多快加速和减速。因为减速速率可能影响轮胎和刹车片的功能寿命,数字助理应用144甚至可以在这种故障发生之前确定这类组件何时可能发生故障。数字助理应用144可以在故障发生之前生成与即将发生的故障相对应的触发事件。与此类事件相关的推荐动作可以是预防性维护动作,从而使用户有机会在某些类型的故障发生之前就进行预防。
图3示出了使用图1的系统100的示例基于音频的车辆诊断方法300。在下文中,参考图1中所示的一些组件来描述方法300。方法300可以包括接收诊断数据(框302)。方法300可以包括识别触发事件(框304)。方法300可以包括选择第一音频输出接口(框306)。方法300可以包括生成事件数据消息(框308)。方法300可以包括将事件数据消息发送到第一音频输出接口(框310)。
方法300可以包括接收诊断数据(框302)。在一些实施方式中,诊断数据可以由图1中所示的事件确定组件116接收。可以经由图1所示的数据处理系统102的接口例如接口104来接收诊断数据。诊断数据可以是可由任何数量的传感器130感测或确定的数据,传感器130可以安装在车辆140中或者可以被包含在远离车辆140的计算设备内。例如,即使客户端设备128不存在于车辆140内,也可以从由车辆140的驾驶员拥有或访问的客户端设备128的传感器130接收诊断数据。事件确定组件116还可以从诸如数据提供者138的外部源接收诊断数据。诊断数据可以包括用于或适合于确定车辆140的当前状态或与车辆140相关联的可动作事件的任何数据。因此,诊断数据可以包括与车辆140的功能组件(例如,发动机组件、车轮、轮胎、电子设备、仪器等)有关的数据,以及与车辆140内和周围的环境状况有关的数据。
方法300可以包括识别触发事件(框304)。触发事件可以包括车辆140的所有者或操作者希望被告知或采取行动的任何事件。事件确定组件116可以基于对诊断数据的分析来识别触发事件。触发事件可以对应于车辆140的组件的故障。例如,传感器130可以对应于车辆140的轮胎的气压传感器,以及事件确定组件116可以确定从传感器130读出的压力指示轮胎是扁平的或充气不足的。基于该分析,事件确定组件116可以识别与低轮胎压力相对应的触发事件。
事件确定组件116可以生成可能不对应于车辆140的组件的故障的触发事件。例如,传感器130可以包括用于确定车辆140的门是否被锁定的传感器。事件确定组件116可以确定来自传感器130的输出指示至少一个门被解锁。如果事件确定组件116还确定车辆未被占用(例如,基于来自占用或重量传感器130的数据),则事件确定组件116可以基于门的解锁状态来确定触发事件。
事件确定组件116还可以确定与触发事件相关联的优先级。例如,事件确定组件116可以确定与车辆140的重大故障(诸如发动机或变速器故障)有关的触发事件可以具有相对较高的优先级。事件确定组件116还可以确定与预防性维护相对应的触发事件可以具有相对较低的优先级。
方法300可以包括选择第一音频输出接口(框306)。通知组件114可以选择第一音频输出接口。通知组件114可以选择内置在车辆140中的音频输出接口,诸如扬声器132。例如,如果占用传感器数据指示用户在车辆内部,则通知组件114可以确定扬声器132是通过其将信息传达给用户的适当接口。选择音频输出接口可以在车辆使用时方便操作,因为驾驶员不必为了从音频输出接口接收信息而将视线从道路上移开。在用户不在车辆内的情况下,通知组件114可以选择不同的音频输出接口。例如,如果用户不在车辆140内,则通知组件114可以选择客户端设备128的扬声器132作为第一音频输出接口。
通知组件114还可以确定事件数据消息的通知时间。一般地,通知时间可以是应该向用户通知触发事件的时间。例如,对于非紧急触发事件,通知组件114可以选择通知时间作为用户的日历指示用户不忙的时间。因此,可以从当前时间延迟通知时间,以便不以与非紧急触发事件有关的信息来打扰用户。然而,如果触发事件是紧急事件或以其他方式被指示为高优先级,则通知组件114可以为通知时间选择更早的时间。
方法300可以包括生成事件数据消息(框308)。直接动作API 112可以生成事件数据消息。事件数据消息可以对应于所识别的触发事件。可以将事件数据消息格式化为与第一音频输出接口兼容的音频输出。例如,在一些实施方式中,事件数据消息可以是音频文件,诸如.wav或.mp3文件。一般地,事件数据消息可以包括与触发事件有关的任何信息,诸如触发事件的指示、触发事件发生的时间、车辆140的标识以及与触发事件相关联的任何参数,诸如其值在可接受范围之外的来自传感器130的读数。
方法300可以包括将事件数据消息发送到第一音频输出接口(框310)。直接动作API 112可以将事件数据消息从数据处理系统102传输到第一音频输出接口。直接动作API112可以延迟事件数据消息的传输直到由通知组件114选择的通知时间为止。将事件数据消息传送到第一音频输出接口可以使第一音频输出接口输出与事件数据消息相关的信息作为音频输出。通知组件114还可以选择应该通过其传送关于触发事件的信息的附加接口(其中一些可以是非音频接口)。直接动作API 112可以为每个选择的接口生成相应的事件数据消息,并且可以将事件数据消息发送到它们各自的接口。因此,可以经由一个以上的接口将触发事件通知给用户,以增加用户成功地接收到有关触发事件的信息的可能性。
图4是示例计算机系统400的框图。计算机系统或计算设备400可以包括或用于实现系统100或其组件,诸如数据处理系统102。计算系统400包括总线405或用于传送信息的其他通信组件以及耦合到总线405以处理信息的处理器410或处理电路。计算系统400还可以包括耦合到总线的一个或多个处理器410或处理电路以处理信息。计算系统400还包括主存储器415,诸如随机存取存储器(RAM)或其他动态存储设备,其耦合到总线405以存储信息,以及要由处理器410执行的指令。主存储器415可以是或包括数据储存库118。主存储器415还可以被用于在处理器410执行指令期间存储位置信息、临时变量或其他中间信息。计算系统400可以进一步包括只读存储器(ROM)420或者其他静态存储设备,其耦合到总线405以存储用于处理器410的静态信息和指令。存储设备425诸如固态设备、磁盘或光盘可以耦合到总线405以持久存储信息和指令。存储设备425可以包括数据储存库118或者是数据储存库118的一部分。
计算系统400可以经由总线405耦合到显示器435诸如液晶显示器或有源矩阵显示器以向用户显示信息。输入设备430诸如包括字母数字键和其他键的键盘可以耦合到总线405,用于将信息和命令选择传送到处理器410。输入设备430可以包括触摸屏显示器435。输入设备430还可以包括光标控制,诸如鼠标、轨迹球或光标方向键,用于将方向信息和命令选择传送到处理器410并用于控制显示器435上的光标移动。例如,显示器435可以是图1的数据处理系统102、客户端计算设备128或其他组件的一部分。
本文描述的过程、系统和方法可以由计算系统400响应于处理器410执行包含在主存储器415中的指令的布置来实现。这样的指令可以从另一计算机可读介质诸如存储设备425读入主存储器415中。执行包含在主存储器415中的指令的布置使得计算系统400执行本文描述的示例性过程。还可以采用多处理布置中的一个或多个处理器来执行包含在主存储器415中的指令。可以使用硬连线电路,代替软件指令或与软件指令连同本文所述的系统和方法结合。本文描述的系统和方法不限于硬件电路和软件的任何特定组合。
尽管图4中已经描述了示例计算系统,但是包括本说明书中描述的操作的主题可以以其他类型的数字电子电路,或者以计算机软件、固件或硬件包括本说明书中公开的结构及其结构等同物或者它们中的一个或多个的组合实现。
对于本文讨论的系统收集关于用户的个人信息或者可以利用个人信息的情况,可以向用户提供机会以控制程序或功能组件是否可以收集个人信息(例如,关于用户的社交网络、社交动作或活动、用户的偏好或用户的位置的信息)或控制是否或如何从内容服务器或其他数据处理系统接收可能与用户更相关的内容。另外,某些数据可以在存储或使用之前以一种或多种方式匿名化,以便在生成参数时移除个人可识别信息。例如,用户的身份可以匿名化,以便不能确定用户的个人可识别信息,或者可以概括获得位置信息的用户的地理位置(例如,到市、邮政编码或州级),以便不能确定用户的具体位置。因此,用户可以控制内容服务器如何收集并且使用关于他或她的信息。
本说明书中描述的主题和操作可以以数字电子电路,或者以计算机软件、固件或硬件包括本说明书中公开的结构及其结构等同物或者它们中的一个或多个的组合实现。本说明书中描述的主题可以实现为一个或多个计算机程序,例如编码在一个或多个计算机存储介质上的计算机程序指令的一个或多个电路,用于由数据处理装置执行或控制数据处理装置的操作。替选或附加地,程序指令可以编码在人工生成的传播信号上,例如,机器生成的电、光或电磁信号,其被生成以编码信息以便传输到合适的接收器装置以供数据处理装置执行。计算机存储介质可以是或可以被包括在计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备,或者它们的一个或多个的组合中。虽然计算机存储介质不是传播信号,但是计算机存储介质可以是以人工生成的传播信号编码的计算机程序指令的源或目的地。计算机存储介质也可以是或可以被包括在一个或多个单独的组件或介质(例如,多个CD、磁盘或其他存储设备)中。本说明书中描述的操作可以被实现为由数据处理装置对存储在一个或多个计算机可读存储设备上或从其他源接收的数据执行的操作。
术语“数据处理系统”“计算设备”“组件”或“数据处理装置”涵盖用于处理数据的各种装置、设备和机器,包括举例来说,可编程处理器、计算机、片上系统、或多个片上系统,或前述的组合。该装置可以包括专用逻辑电路,例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外,该装置还可以包括为所述的计算机程序创建执行环境的代码,例如,构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机或它们的一个或多个的组合的代码。装置和执行环境可以实现各种不同的计算模型基础结构,诸如web服务、分布式计算和网格计算基础结构。系统100的组件可以包括或共享一个或多个数据处理装置、系统、计算设备或处理器。
计算机程序(也称为程序、软件、软件应用、应用、脚本或代码)可以用任何形式的编程语言编写,包括编译或解释语言、声明或过程语言,并且可以以任何形式部署,包括作为独立程序或作为模块、组件、子例程、对象或适用于计算环境的其他单元。计算机程序可以对应于文件系统中的文件。计算机程序可以存储在保存其他程序或数据的文件的一部分(例如,存储在标记语言文档中的一个或多个脚本)中、存储在专用于所述的程序的单个文件中,或者存储在多个协调文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。可以部署计算机程序以在一个计算机上或在位于一个站点上或分布在多个站点上并通过通信网络互连的多个计算机上执行。
本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序(例如,数据处理系统102的组件)的一个或多个可编程处理器执行,以通过对输入数据进行操作并生成输出来执行动作。过程和逻辑流程也可以由专用逻辑电路执行,并且装置也可以实现为专用逻辑电路,例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。适用于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储器设备,包括例如半导体存储器设备,例如EPROM、EEPROM和闪存设备;磁盘,例如内部硬盘或可移动磁盘;磁光盘;和CD ROM和DVD-ROM磁盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
本文描述的主题可以在包括后端组件(例如作为数据服务器)或者包括中间件组件(例如应用服务器)或者包括前端组件(例如,具有通过其用户可以与本说明书中描述的主题的实施方式进行交互的图形用户界面或web浏览器的客户端计算机)或者一个或多个这样的后端、中间件或前端组件的组合的计算系统中实现。系统的组件可以通过任何形式或介质的数字数据通信(例如通信网络)互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)、网络间(例如,互联网)和对等网络(例如,ad hoc对等网络)。
诸如系统100或系统400的计算系统可以包括客户端和服务器。客户端和服务器通常彼此远离,并且通常通过通信网络(例如,网络142)进行交互。客户端和服务器的关系通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序而生成。在一些实施方式中,服务器将数据(例如,表示内容项的数据分组)发送到客户端设备(例如,为了向与客户端设备交互的用户显示数据或从其接收用户输入)。可以从服务器处的客户端设备接收在客户端设备处生成的数据(例如,用户交互的结果)(例如,由数据处理系统102从客户端计算设备128或车辆140接收)。
虽然在附图中以特定顺序描绘了操作,但是不需要以所示的特定顺序或按顺序执行这些操作,并且不需要执行所有示出的操作。本文描述的动作可以以不同的顺序执行。
各种系统组件的分离不需要在所有实施方式中均要求分离,并且所描述的程序组件可以包括在单个硬件或软件产品中。例如,NLP组件106和事件确定组件116可以是单个组件、应用或程序,或具有一个或多个处理电路的逻辑设备,或者数据处理系统102的一个或多个服务器的一部分。
现在已经描述了一些示例性实施方式,显而易见的是,前述内容是示例性的而非限制性的,已经通过示例呈现。特别地,尽管本文呈现的许多示例涉及方法动作或系统元件的特定组合,但是这些动作和那些元件可以以其他方式组合以实现相同的目标。结合一个实施方式讨论的动作、元件和特征不旨在从其他实施方式中的类似角色中排除。
本文使用的措辞和术语是出于描述的目的,不应当被视为限制。使用“包括”、“包含”、“具有”、“含有”、“涉及”、“特征在于”、“表征为”及其变形意味着涵盖其后列出的项、其等同物和附加项,以及由其后列出的项组成的替代实施方式。在一个实施方式中,本文描述的系统和方法包括一个、多于一个的每个组合或所有所描述的元件、动作或组件。
以单数形式提及的对本文的系统和方法的实施方式、元件或动作的任何引用也可以涵盖包括多个这些元件的实施方式,并且对本文的任何实施方式、元件或动作的以复数形式的任何引用也可以涵盖仅包括一个元件的实施方式。以单数或复数形式的引用并不旨在将当前公开的系统或方法、它们的组件、动作或元件限定到单个或多个配置。对基于任何信息、动作或元件的任何动作或元件的引用可以包括动作或元件至少部分地基于任何信息、动作或元件的实施方式。
本文公开的任何实施方式可以与任何其他实施方式或实施例组合,并且对“实施方式”、“一些实施方式”、“一个实施方式”等的引用不一定是相互排斥的并且旨在指示结合实施方式描述的特定特征、结构或特性可以包括在至少一个实施方式或实施例中。本文使用的这些术语不一定都指的是相同的实施方式。任何实施方式可以以与本文公开的方面和实施方式一致的任何方式包含或排他地与任何其他实施方式组合。
对“或”的引用可以被解释为包含性的,使得使用“或”描述的任何术语可以指示单个、多于一个和所描述的术语中的任何一个。对“A”和“B”中的至少一个的引用可以仅包括“A”、仅包括“B”、以及“A”和“B”。与“包括”或其他开放术语结合使用的此类引用可以包括另外的项。
在附图、详细说明或任何权利要求中的技术特征之后是附图标记的情况下,已经包括附图标记以增加附图、详细说明和权利要求的可懂度。因此,附图标记和它们的缺失都不会对任何权利要求要素的范围具有任何限制作用。
在不脱离其特性的情况下,本文描述的系统和方法可以以其他特定形式实现。前述实施方式是示例性的而不是限制所描述的系统和方法。因此,本文描述的系统和方法的范围由所附权利要求而不是前面的描述指示,并且在此涵盖在权利要求的等同物的含义和范围内的变化。
Claims (20)
1.一种在车辆环境中运行的基于音频的车辆诊断系统,包括:
数据处理系统,所述数据处理系统执行安装在车辆中的数字助理应用,并且具有事件确定组件、通知组件和直接动作应用编程接口API,所述数据处理系统用于:
由所述事件确定组件经由所述数据处理系统的接口接收由所述车辆的多个传感器中的至少一个传感器感测到的车辆诊断数据;
由所述事件确定组件基于对所述车辆诊断数据的分析来识别与所述车辆相关联的触发事件;
由所述通知组件基于所述触发事件来选择第一音频输出接口;以及
所述直接动作API用于:
生成对应于所述触发事件的事件数据消息,所述事件数据消息被格式化为与所述第一音频输出接口兼容的音频输出;以及
将所述事件数据消息从所述数字助理应用发送到所述第一音频输出接口,以使所述第一音频输出接口将与所述事件数据消息相关联的信息输出为音频输出。
2.如权利要求1所述的系统,其中:
所述事件确定组件确定与所述触发事件相关联的推荐动作;以及
所述直接动作API生成所述事件数据消息以包括对应于所述推荐动作的信息。
3.如权利要求2所述的系统,其中,所述事件确定组件部分地基于存储在远离所述车辆的计算设备上的信息来确定所述推荐动作。
4.如权利要求1所述的系统,包括:
所述数字助理应用包括自然语言处理器组件,所述自然语言处理器组件用于:
经由所述数据处理系统的接口接收输入音频信号;以及
解析所述输入音频信号以识别请求,其中,所述直接动作API基于所述请求生成动作数据消息,所述动作数据消息指示功能。
5.如权利要求1所述的系统,包括:
所述数字助理应用包括履行组件,其中:
所述直接动作API将动作数据消息发送到所述履行组件;以及
所述履行组件执行由所述动作数据消息指示的功能。
6.如权利要求1所述的系统,其中,所述第一音频输出接口包括所述车辆中包括的音频设备,所述车辆的音频设备被配置为将与所述事件数据消息相关联的信息输出为音频输出。
7.如权利要求1所述的系统,其中,所述第一音频输出接口包括移动计算设备的音频设备,所述移动计算设备的音频设备被配置为将与所述事件数据消息相关联的信息输出为音频输出。
8.如权利要求1所述的系统,其中:
所述通知组件被配置为选择第二输出接口;以及
所述直接动作API被配置为:
生成对应于所述触发事件的第二事件数据消息,所述第二事件数据消息基于所述第二输出接口被格式化;以及
将所述第二事件数据消息发送到所述第二输出接口,以使所述第二输出接口输出与所述第二事件数据消息相关联的信息。
9.如权利要求8所述的系统,其中,所述直接动作API将所述第二事件数据消息生成为文本消息、电子邮件和用于执行第二数字助理应用的移动计算设备的推送通知中的至少一个。
10.如权利要求1所述的系统,其中:
所述车辆诊断数据包括第一车辆诊断数据集合;
所述事件确定组件进一步被配置为:
接收由所述车辆的所述多个传感器中的至少一个传感器感测到的第二车辆诊断数据集合;
基于对所述车辆诊断数据的分析,识别与所述车辆相关联的第二触发事件;
所述通知组件进一步被配置为基于所述触发事件选择第二输出接口;以及
所述直接动作API进一步被配置为:
生成对应于所述第二触发事件的第二事件数据消息,所述第二事件数据消息基于所述第二输出接口被格式化;以及
将所述第二事件数据消息发送到所述第二输出接口,以使所述第二输出接口输出与所述第二事件数据消息相关联的信息。
11.如权利要求1所述的系统,其中,所述事件确定组件进一步被配置为:
确定所述车辆的第一车辆状态;
监视所述车辆诊断数据以确定所述车辆的状态变化;以及
基于所述车辆的状态变化来识别所述触发事件。
12.如权利要求1所述的系统,其中:
所述通知组件确定与所述事件数据消息相关联的通知时间;以及
所述直接动作API将所述事件数据消息发送到所述第一音频输出接口,以使所述第一音频输出接口在所述通知时间输出与所述事件数据消息相关联的信息。
13.如权利要求12所述的系统,其中:
所述事件确定组件确定与所述触发事件相关联的优先级;以及
所述通知组件部分地基于所述触发事件的所述优先级来确定所述通知时间。
14.如权利要求1所述的系统,其中,所述事件确定组件分析所述车辆诊断数据以预测所述车辆的未来维护活动,以及其中,与所述车辆相关联的所述触发事件对应于所述未来维护活动。
15.一种基于音频的车辆诊断方法,包括:
由安装在车辆中的数据处理系统执行的数字助理应用的事件确定组件经由所述数据处理系统的接口接收由与所述车辆相关联的多个传感器中的至少一个传感器感测到的车辆诊断数据;
由所述事件确定组件基于对所述车辆诊断数据的分析来识别与所述车辆相关联的触发事件;
由所述数字助理应用的通知组件基于所述触发事件来选择第一音频输出接口;以及
由所述数字助理应用的直接动作应用编程接口API生成对应于所述触发事件的事件数据消息,所述事件数据消息被格式化为与所述第一音频输出接口兼容的音频输出;以及
由所述直接动作API将所述事件数据消息从所述数字助理应用发送到所述第一音频输出接口,以使所述第一音频输出接口将与所述事件数据消息相关联的信息输出为音频输出。
16.如权利要求15所述的方法,包括:
由所述事件确定组件确定与所述触发事件相关联的推荐动作;以及
由所述直接动作API生成所述事件数据消息以包括对应于所述推荐动作的信息。
17.如权利要求16所述的方法,进一步包括:
由所述事件确定组件部分地基于存储在远离所述车辆的计算设备上的信息来确定所述推荐动作。
18.如权利要求15所述的方法,包括:
由自然语言处理器组件经由所述数据处理系统的接口接收输入音频信号;以及
由所述自然语言处理器组件解析所述输入音频信号以识别请求,其中,所述直接动作API基于所述请求生成动作数据消息,所述动作数据消息指示功能。
19.如权利要求15所述的方法,包括:
由所述直接动作API将动作数据消息发送到所述数字助理应用的履行组件;以及
由所述履行组件执行由所述动作数据消息指示的功能。
20.如权利要求15所述的方法,其中,所述第一音频输出接口包括所述车辆中包括的音频设备,所述车辆的音频设备被配置为将与所述事件数据消息相关联的信息输出为音频输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310518166.1A CN116661726A (zh) | 2017-10-03 | 2017-10-03 | 基于车辆诊断数据的可动作事件确定 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2017/054849 WO2019070233A1 (en) | 2017-10-03 | 2017-10-03 | ACTIONABLE EVENT DETERMINATION BASED ON VEHICLE DIAGNOSTIC DATA |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310518166.1A Division CN116661726A (zh) | 2017-10-03 | 2017-10-03 | 基于车辆诊断数据的可动作事件确定 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110730950A true CN110730950A (zh) | 2020-01-24 |
CN110730950B CN110730950B (zh) | 2023-05-12 |
Family
ID=60153453
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310518166.1A Pending CN116661726A (zh) | 2017-10-03 | 2017-10-03 | 基于车辆诊断数据的可动作事件确定 |
CN201780091951.6A Active CN110730950B (zh) | 2017-10-03 | 2017-10-03 | 基于车辆诊断数据的可动作事件确定 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310518166.1A Pending CN116661726A (zh) | 2017-10-03 | 2017-10-03 | 基于车辆诊断数据的可动作事件确定 |
Country Status (6)
Country | Link |
---|---|
US (3) | US11257308B2 (zh) |
EP (2) | EP3622384B1 (zh) |
JP (3) | JP6903770B2 (zh) |
KR (3) | KR102405256B1 (zh) |
CN (2) | CN116661726A (zh) |
WO (1) | WO2019070233A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3622384B1 (en) * | 2017-10-03 | 2023-04-19 | Google LLC | Actionable event determination based on vehicle diagnostic data |
US10789255B2 (en) * | 2018-03-27 | 2020-09-29 | Lenovo (Singapore) Pte. Ltd. | Presenting data chunks for a working memory event |
US11447097B1 (en) * | 2021-09-01 | 2022-09-20 | Omega Patents, L.L.C. | Control system with wireless control device authorization and related methods |
DE102022127303A1 (de) | 2022-10-18 | 2024-04-18 | Cariad Se | Computer-implementiertes Verfahren zum Identifizieren eines Defektes in einem Kraftfahrzeug |
CN116124499B (zh) * | 2022-11-25 | 2024-04-09 | 上海方酋机器人有限公司 | 一种基于运动车辆的煤炭采制方法、设备及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104149716A (zh) * | 2013-04-26 | 2014-11-19 | 福特全球技术公司 | 在线车辆诊断系统 |
US20150120083A1 (en) * | 2013-10-31 | 2015-04-30 | GM Global Technology Operations LLC | Methods, systems and apparatus for determining whether any vehicle events specified in notification preferences have occurred |
CN104590208A (zh) * | 2013-10-31 | 2015-05-06 | 通用汽车环球科技运作有限责任公司 | 用于提供车辆已被接近的通知的方法、系统和设备 |
US20170053460A1 (en) * | 2015-08-18 | 2017-02-23 | Carfit Corp. | Automotive activity monitor |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6382843A (ja) * | 1986-09-25 | 1988-04-13 | Mitsubishi Electric Corp | 自動車用電子装置の故障診断装置 |
US8019501B2 (en) * | 1995-06-07 | 2011-09-13 | Automotive Technologies International, Inc. | Vehicle diagnostic and prognostic methods and systems |
US5794164A (en) | 1995-11-29 | 1998-08-11 | Microsoft Corporation | Vehicle computer system |
JPH1024784A (ja) * | 1996-07-09 | 1998-01-27 | Hitachi Ltd | 車両及び車両カルテシステム並びに車両メインテナンス方法 |
JP2003317177A (ja) * | 2002-04-25 | 2003-11-07 | Aisin Aw Co Ltd | 車両監視装置、車両監視システム及び車両監視方法 |
US7356393B1 (en) * | 2002-11-18 | 2008-04-08 | Turfcentric, Inc. | Integrated system for routine maintenance of mechanized equipment |
JP2005219717A (ja) * | 2004-02-09 | 2005-08-18 | Hitachi Ltd | 車両・車載機器の異常診断装置 |
JP4515156B2 (ja) | 2004-05-26 | 2010-07-28 | 富士通テン株式会社 | 窓管理装置 |
JP2006194633A (ja) | 2005-01-11 | 2006-07-27 | Toyota Motor Corp | 車両用音声情報提供装置 |
JP4502900B2 (ja) | 2005-07-29 | 2010-07-14 | 日野自動車株式会社 | 自動車の故障診断方法 |
US20090174539A1 (en) | 2008-01-07 | 2009-07-09 | Paul Benyola | Uei fuel & driving monitor |
US20100152960A1 (en) * | 2008-12-17 | 2010-06-17 | General Motors Llc | On-line vehicle management system |
US8510234B2 (en) * | 2010-01-05 | 2013-08-13 | American Gnc Corporation | Embedded health monitoring system based upon Optimized Neuro Genetic Fast Estimator (ONGFE) |
GB201008710D0 (en) * | 2010-05-25 | 2010-07-07 | Jaguar Cars | Vehicle communications |
EP2393067A1 (en) * | 2010-06-04 | 2011-12-07 | BAE Systems Bofors AB | Condition based maintenance support schedule management |
US10665040B2 (en) * | 2010-08-27 | 2020-05-26 | Zonar Systems, Inc. | Method and apparatus for remote vehicle diagnosis |
JP2012129704A (ja) | 2010-12-14 | 2012-07-05 | Sumitomo Electric Ind Ltd | 故障検知装置、車両存在報知装置、及びプログラム |
US9073435B2 (en) | 2012-12-21 | 2015-07-07 | Toyota Motor Engineering & Manufacturing North America, Inc. | Vehicle display systems with visual warning management |
US9292077B2 (en) | 2013-01-04 | 2016-03-22 | Qualcomm Incorporated | Methods and apparatus for efficient service layer assistance for modem sleep operations |
US9780967B2 (en) * | 2013-03-14 | 2017-10-03 | Telogis, Inc. | System for performing vehicle diagnostic and prognostic analysis |
JP2014237383A (ja) | 2013-06-07 | 2014-12-18 | 三菱電機株式会社 | 車内消臭装置 |
KR102250136B1 (ko) | 2014-07-15 | 2021-05-10 | 한국전자통신연구원 | 차량 정비 서비스 제공 시스템 및 방법 |
US9440660B2 (en) * | 2014-07-22 | 2016-09-13 | Toyota Motor Engineering & Manufacturing North America, Inc. | Method for remote communication with and through a vehicle |
US9672665B1 (en) * | 2014-08-28 | 2017-06-06 | Allstate Insurance Company | Vehicle diagnostics |
EP3189501B1 (en) * | 2014-09-05 | 2023-04-26 | Vinli, Inc. | Vehicle information system |
KR20160043302A (ko) | 2014-10-13 | 2016-04-21 | 현대자동차주식회사 | 디스플레이 제어 장치 및 방법 |
GB2557073B (en) | 2015-04-20 | 2020-02-19 | Trakm8 Ltd | Monitoring the health of a vehicle battery |
JP6565571B2 (ja) | 2015-10-08 | 2019-08-28 | 日産自動車株式会社 | 車両診断システム及び方法 |
US20170330561A1 (en) | 2015-12-24 | 2017-11-16 | Intel Corporation | Nonlinguistic input for natural language generation |
US20190339688A1 (en) * | 2016-05-09 | 2019-11-07 | Strong Force Iot Portfolio 2016, Llc | Methods and systems for data collection, learning, and streaming of machine signals for analytics and maintenance using the industrial internet of things |
EP3622384B1 (en) * | 2017-10-03 | 2023-04-19 | Google LLC | Actionable event determination based on vehicle diagnostic data |
-
2017
- 2017-10-03 EP EP17787718.0A patent/EP3622384B1/en active Active
- 2017-10-03 KR KR1020227005791A patent/KR102405256B1/ko active IP Right Grant
- 2017-10-03 EP EP23160415.8A patent/EP4216050A1/en active Pending
- 2017-10-03 KR KR1020217024592A patent/KR102368004B1/ko active IP Right Grant
- 2017-10-03 US US16/463,007 patent/US11257308B2/en active Active
- 2017-10-03 WO PCT/US2017/054849 patent/WO2019070233A1/en unknown
- 2017-10-03 CN CN202310518166.1A patent/CN116661726A/zh active Pending
- 2017-10-03 JP JP2019568320A patent/JP6903770B2/ja active Active
- 2017-10-03 CN CN201780091951.6A patent/CN110730950B/zh active Active
- 2017-10-03 KR KR1020197036829A patent/KR102288877B1/ko active IP Right Grant
-
2021
- 2021-06-22 JP JP2021103123A patent/JP7164674B2/ja active Active
- 2021-12-29 US US17/564,383 patent/US11734968B2/en active Active
-
2022
- 2022-10-19 JP JP2022167764A patent/JP7481411B2/ja active Active
-
2023
- 2023-06-29 US US18/216,418 patent/US20230343155A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104149716A (zh) * | 2013-04-26 | 2014-11-19 | 福特全球技术公司 | 在线车辆诊断系统 |
US20150120083A1 (en) * | 2013-10-31 | 2015-04-30 | GM Global Technology Operations LLC | Methods, systems and apparatus for determining whether any vehicle events specified in notification preferences have occurred |
CN104590208A (zh) * | 2013-10-31 | 2015-05-06 | 通用汽车环球科技运作有限责任公司 | 用于提供车辆已被接近的通知的方法、系统和设备 |
US20170053460A1 (en) * | 2015-08-18 | 2017-02-23 | Carfit Corp. | Automotive activity monitor |
Also Published As
Publication number | Publication date |
---|---|
US20220122387A1 (en) | 2022-04-21 |
JP6903770B2 (ja) | 2021-07-14 |
US20190287323A1 (en) | 2019-09-19 |
KR20210099198A (ko) | 2021-08-11 |
JP2020530098A (ja) | 2020-10-15 |
CN110730950B (zh) | 2023-05-12 |
JP7164674B2 (ja) | 2022-11-01 |
KR102368004B1 (ko) | 2022-02-25 |
JP7481411B2 (ja) | 2024-05-10 |
KR20200007023A (ko) | 2020-01-21 |
KR102405256B1 (ko) | 2022-06-07 |
US11257308B2 (en) | 2022-02-22 |
JP2022183313A (ja) | 2022-12-08 |
US20230343155A1 (en) | 2023-10-26 |
EP4216050A1 (en) | 2023-07-26 |
CN116661726A (zh) | 2023-08-29 |
WO2019070233A1 (en) | 2019-04-11 |
KR20220025951A (ko) | 2022-03-03 |
EP3622384B1 (en) | 2023-04-19 |
JP2021144056A (ja) | 2021-09-24 |
US11734968B2 (en) | 2023-08-22 |
KR102288877B1 (ko) | 2021-08-11 |
EP3622384A1 (en) | 2020-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110730950B (zh) | 基于车辆诊断数据的可动作事件确定 | |
US11646029B2 (en) | Multiple digital assistant coordination in vehicular environments | |
JP7337901B2 (ja) | センサーベースの検証を用いた車両機能制御 | |
CN110710158B (zh) | 验证与数字助理应用交接的代理的操作状态 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |