CN104731854B - 语音识别查询响应系统 - Google Patents
语音识别查询响应系统 Download PDFInfo
- Publication number
- CN104731854B CN104731854B CN201410795293.7A CN201410795293A CN104731854B CN 104731854 B CN104731854 B CN 104731854B CN 201410795293 A CN201410795293 A CN 201410795293A CN 104731854 B CN104731854 B CN 104731854B
- Authority
- CN
- China
- Prior art keywords
- query
- vehicle
- computing system
- user
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004044 response Effects 0.000 title claims abstract description 193
- 238000003860 storage Methods 0.000 claims abstract description 37
- 230000006854 communication Effects 0.000 claims abstract description 29
- 238000004891 communication Methods 0.000 claims abstract description 29
- 230000003993 interaction Effects 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 58
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 claims description 2
- 239000000446 fuel Substances 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 8
- 230000003416 augmentation Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000002485 combustion reaction Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000007789 gas Substances 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000004378 air conditioning Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 238000004146 energy storage Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000009423 ventilation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000002528 anti-freeze Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 235000019504 cigarettes Nutrition 0.000 description 1
- 239000000567 combustion gas Substances 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000013529 heat transfer fluid Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
Landscapes
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Telephonic Communication Services (AREA)
- Navigation (AREA)
Abstract
本发明公开车载计算系统的实施方案,所述车载计算系统包括通信地连接到查询响应服务器的通信接口、处理器和存储装置。所述存储装置被配置来收集并存储车辆与用户互动数据,并且被配置来存储可由所述处理器执行来进行以下操作的指令:从用户接收语音查询;将所述语音查询转换成文本查询;将所述文本查询发送到查询响应服务器;从所述查询响应服务器接收结果,所述结果包括一个或多个占位符,所述占位符表示要从所述主机本地的存储装置检索的数据;用来自所述存储装置的信息替换所述一个或多个占位符以形成更新结果;以及向所述用户呈现所述更新结果。
Description
技术领域
本公开涉及用于接收查询并呈现对所接收的查询的响应的车载计算系统。
背景技术
车辆和车辆内的信息娱乐系统的复杂性随着时间推移继续增加。通常,用于车辆和信息娱乐系统操作的信息源在基于文本的手册中可见。然而,这类手册可能难以导航并且可能容易被放错地方。手册中的信息也可能是静态的,甚至在车龄和驾驶员行为改变时也保持不变。
发明内容
本发明公开车载计算系统的实施方案,所述车载计算系统包括通信地连接到查询响应服务器的通信接口、处理器和存储装置。所述存储装置被配置来收集并存储车辆与用户互动数据,并且被配置来存储可由所述处理器执行来进行以下操作的指令:从用户接收语音查询;将所述语音查询转换成文本查询;将所述文本查询发送到查询响应服务器;从所述查询响应服务器接收结果,所述结果包括一个或多个占位符,所述占位符表示要从所述主机本地的存储装置检索的数据;用来自所述存储装置的信息替换所述一个或多个占位符以形成更新结果;以及向所述用户呈现所述更新结果。
在额外或替代的实施方案中,一种车载计算系统包括:通信接口,其通信地连接到查询响应服务器;处理器;以及存储装置,所述存储装置被配置来收集并存储车辆与用户互动数据,并且被配置来存储可由所述处理器执行来进行以下操作的指令:从用户接收语音查询;将所述语音查询发送到语音识别服务器;从所述语音识别服务器接收文本查询;将所述文本查询发送到查询响应服务器;从所述查询响应服务器接收结果,所述结果请求包括在所述车辆与用户互动数据中的信息;将所述所请求信息发送到所述查询响应服务器;从所述查询响应服务器接收更新结果;以及向所述用户呈现所述更新结果。
在一个或多个实施方案中,一种主机中的方法包括:从用户接收语音查询;将所述语音命令转换成文本查询;将所述文本查询发送到查询响应服务器;从所述查询响应服务器接收结果,所述结果包括一个或多个占位符,所述占位符表示要从所述主机本地的存储装置检索的数据;用来自所述存储装置的信息替换所述一个或多个占位符以形成更新结果;以及向所述用户呈现所述更新结果。
附图说明
参考附图阅读以下对非限制性实施方案的描述,可以更好地理解本公开,其中以下:
图1是根据本公开的一个或多个实施方案的车厢的局部视图,所述车厢包括通信地连接到移动装置和穿戴式装置的车载计算系统;
图2示出根据本公开的一个或多个实施方案的车辆辅助系统的方框图;
图3示出根据本公开的一个或多个实施方案的车载计算系统的方框图;
图4是根据本公开的一个或多个实施方案的用于在主机处接收查询并且在主机处呈现对查询的响应的方法的流程图;
图5是根据本公开的一个或多个实施方案的用于确定对来自主机的查询的响应并且将响应提供给主机的方法的流程图;
图6A和图6B是根据本公开的一个或多个实施方案的用于在服务器系统中响应查询的方法的流程图;以及
图7A至图7C是根据本公开的一个或多个实施方案的用于在主机中响应查询的方法的流程图。
具体实施方式
车载计算系统可以连接到各种信息源(例如,传感器、装置等),以便在车辆状态、车辆环境、驾驶员信息和/或其它实时情境事件或条件的情境内组合并分析来自这些源的数据。然而,车载计算系统的用户可能具有与车辆或车辆系统的操作或状态有关的问题以及其它主题的问题。当用户是车辆的驾驶员时,经由语音输入向车载计算系统提出问题可能比其它类型的输入更少地分散注意力,并且当用户是车辆的驾驶员或乘客时更简单地提供。通过基于车载计算系统和/或查询响应服务器本地的信息定制对车辆和/或用户情境的响应,可以将相关内容提供给车载计算系统的用户,以便以有针对性的方式回答用户的查询。
图1示出车辆102的车厢100内部的示例性局部视图,驾驶员和/或一个或多个乘客可以坐在所述车厢中。图1的车辆102可以是包括驱动轮(未示出)和内燃机104的机动车辆。内燃机104可以包括一个或多个燃烧室,所述燃烧室可以经由进气通道接收进气并经由排气通道排放燃烧气体。车辆102可以是道路汽车,以及其它类型的车辆。在一些实施例中,车辆102可以包括混合动力推进系统,所述系统包括可操作来从车辆运动和/或发动机吸收能量并将所吸收的能量转化成适合由能量存储装置加以存储的能量形式的能量转化装置。车辆102可以包括全电动车辆,所述全电动车辆并入有燃料电池、太阳能捕获元件和/或用于给车辆供电的其它能量存储系统。
如所示,仪表板106可以包括可供车辆102的驾驶员(也称为用户)存取的各种显示器和控制件。例如,仪表板106可以包括车载计算系统109(例如信息娱乐系统)的触摸屏108、音频系统控制面板和仪表组110。虽然图1中所示的示例性系统包括可以经由车载计算系统109的用户界面(如触摸屏108)执行的音频系统控制件而无需单独的音频系统控制面板,但是在其它实施方案中,车辆可以包括音频系统控制面板,所述音频系统控制面板可以包括用于常规车辆音频系统(如收音机、光碟播放器、MP3播放器等)的控制件。音频系统控制件可以包括用于经由车辆扬声器系统的扬声器112控制音频输出的一个或多个方面的特征。例如,车载计算系统或音频系统控制件可以控制音频输出的音量、声音在车辆扬声器系统的单个扬声器之间的分布、音频信号的均衡化和/或音频输出的其它方面。在另外的实施例中,车载计算系统109可以基于直接经由触摸屏108接收的用户输入,或基于经由外部装置150和/或移动装置128接收的与用户有关的数据(如用户的身体状况和/或环境)来调整无线电台选择、播放列表选择、音频输入源(例如,来自收音机或CD或MP3)等。
在一些实施方案中,车载计算系统109的一个或多个硬件元件(如触摸屏108、显示屏、各种控制标度盘、旋钮和按钮、存储器、处理器和任何接口元件(例如,连接器或端口))可以形成安装在车辆的仪表板106中的整合式主机。所述主机可以固定地或可移除地附接在仪表板106中。在额外或替代的实施方案中,车载计算系统的一个或多个硬件元件可以是模块化的并且可以安装在车辆的多个位置中。
仪表组110可以包括如油表、转速表、速度表和里程表的各种仪表,以及指示器和警示灯。方向盘114可以在仪表组110下方从仪表板伸出。任选地,方向盘114可以包括控制件116,所述控制件可以结合触摸屏108来使用,以便导航车载计算系统的特征并且控制车载计算系统。除了图1中示出的部件之外,将了解,仪表板106可以包括额外部件,如车门和车窗控制件、点烟器(还可以用作低电压电源插座)、手套箱和/或其它适合的元件。在一个或多个实施方案中,可以使用触摸屏108执行经由气候控制系统通风孔118对车内气候(如车厢温度)的控制,并且因此仪表板106中可以不包括单独的气候控制界面。然而,在替代实施方案中,可以提供单独的气候控制界面。
车厢100可以包括用于监测车辆、用户和/或环境的一个或多个传感器。例如,车厢100可以包括一个或多个安装在座椅上的压力传感器120,所述压力传感器被配置来测量施加到座椅的压力来确定用户的存在。车厢100可以包括一个或多个车门传感器122,所述车门传感器被配置来监测车门活动,如车门的打开和/或关闭、车门的上锁、车门的车窗的操作和/或任何其它适合的车门活动事件。可以包括湿度传感器124,用来测量车厢的湿度含量。可以包括麦克风126,用来:接收语音命令形式的用户输入,允许用户进行电话呼叫,和/或测量车厢100内的环境噪声。要了解,图1中示出的传感器布置是示例性的,并且一个或多个额外或替代的传感器可以位于车辆的任何适合位置中。例如,额外传感器可以位于发动机舱中、车辆的外表面上和/或其它适合位置中,以用于提供与车辆的操作、车辆的环境条件、车辆的用户等有关的信息。还可以从车辆外部的/与车辆分开的传感器(即,不是车辆系统的一部分)接收与车辆的环境条件、车辆状态或车辆驾驶员有关的信息,如从连接到外部装置150和/或移动装置128的传感器接收。
车厢100还可以包括在行进前、行进期间和/或行进后存储在车辆中的一个或多个用户物品,如移动装置128。移动装置可以包括智能电话、平板计算机、笔记本计算机、便携式媒体播放器和/或任何适合的移动计算装置。移动装置128可以经由通信链路130连接到车载计算系统。通信链路130可以是有线的(例如,经由通用串行总线[USB]、移动高清链路[MHL]、高清多媒体接口[HDMI]等)或无线的(例如,经由蓝牙(BLUETOOTH)、WI-FI、近场通信[NFC]、蜂窝式连接等),并且被配置来在移动装置与车载计算系统之间提供双向通信。例如,通信链路130可以将来自各种车辆系统(如车辆音频系统、气候控制系统等)和触摸屏108的传感器和/或控制信号提供给移动装置128,并且可以将来自移动装置128的控制和/或显示信号提供给车载系统和触摸屏108。通信链路130还可以从车载电源提供电力给移动装置128,以便给移动装置的内部电池充电。
虽然移动装置128被示出为与车载计算系统在空间上分开并且经由大致上外部通信链路(例如,电缆或射频信号)予以连接,但是要了解,可以在仪表板106或车辆中的其它位置中形成狭槽132或其它存储结构,以便将移动装置保持在特定位置中。存储结构可以包括整合式连接器134,移动装置128可以附接到或“对接到”所述连接器,以便在移动装置与计算系统之间提供大致上内部通信链路。
车载计算系统109还可以通信地连接到额外装置,所述额外装置由用户操作,但位于车辆102外部,如一个或多个外部装置150。在所描述的实施方案中,外部装置150位于车辆102外,但是将了解,在替代实施方案中,外部装置可以位于车厢100内。外部装置可以包括服务器计算系统、个人计算系统、便携式电子装置、电子腕带、电子头带、便携式音乐播放器、电子活动追踪装置、计步器、智能手表、GPS系统等。外部装置150可以经由通信链路136连接到车载计算系统,所述通信链路可以是有线的或无线的(如参考通信链路130所论述),并且被配置来在外部装置与车载计算系统之间提供双向通信。例如,外部装置150可以包括一个或多个传感器,并且通信链路136可以将来自外部装置150的传感器输出传输到车载计算系统109和触摸屏108。外部装置150还可以存储和/或接收与情境数据、用户行为/偏好、操作规则等有关的信息,并且可以将这类信息从外部装置150传输到车载计算系统109和触摸屏108。
车载计算系统109可以:分析从外部装置150、移动装置128和/或其它输入源接收的输入,并且选择对各种车载系统(如气候控制系统或音频系统)的设置,经由触摸屏108和/或扬声器112提供输出,与移动装置128和/或外部装置150通信,和/或基于评估执行其它动作。在一些实施方案中,全部或部分评估可由移动装置128和/或外部装置150执行。
在一些实施方案中,外部装置150中的一个或多个可以经由移动装置128和/或外部装置150中的另一个来通信地间接连接到车载计算系统109。例如,通信链路136可以将外部装置150通信地连接到移动装置128,使得将来自外部装置150的输出中继传递到移动装置128。从外部装置150接收的数据随后可以在移动装置128处与移动装置128所收集的数据进行聚集,聚集数据随后经由通信链路130被传输到车载计算系统109和触摸屏108。类似的数据聚集可以发生在服务器系统处,并且随后经由通信链路136/130被传输到车载计算系统109和触摸屏108。
图2示出根据本公开的一个或多个实施方案的车辆辅助系统的示例性体系结构,所述车辆辅助系统包括查询响应服务器202和主机204。主机204可以是整合和/或安装在车辆内的车载计算系统(例如,信息娱乐系统)。例如,主机204可以是图1的车载计算系统109的实施例。主机204包括存储装置206,在一些实施方案中,所述存储装置用于存储车辆与用户互动数据208以及用于执行查询应用程序210的指令。在额外或替代的实施方案中,车辆与用户互动数据208可以存储在外部存储装置(例如,在查询响应服务器202内或与所述查询响应服务器通信地连接)上,和/或在被车辆外传输到主机204外部的存储装置之前暂时存储在存储装置206中。查询应用程序210可以接受语音输入、对主机204的触敏显示屏的触摸输入和/或任何其它适合的用户输入,以控制应用程序的用户界面并且提供对用户所提出的问题的响应。在接收语音输入(例如,对主机204的麦克风的语音输入)后,查询应用程序210可以捕获语音数据并且将语音数据(例如,原始语音数据或出于传送目的具有最小处理的语音数据)传递到车辆上语音识别客户端212或其它通信接口。语音数据随后可以被传输(例如,经由网络)到主机204外部的语音识别服务器214。虽然语音识别被描述为在车辆外和/或主机204外部执行,但是要了解,在一些实施方案中,可以在车辆上和/或主机204本地执行语音识别中的一些或全部。
响应于从主机204接收表示语音查询的语音数据,语音识别服务器将语音数据转换和/或转化成文本数据以形成文本查询。语音识别服务器214随后可以将形成文本查询的文本数据发送回主机204的查询应用程序210(例如,经由车辆上语音识别客户端212)。在接收文本查询后,查询应用程序210可以将文本查询转发到查询响应服务器202以用于处理。在一些实施方案中,查询应用程序可以将文本查询发送为与从语音识别服务器接收的文本数据相比未改变的一组文本数据,而在一些实施方案中,查询应用程序可以对文本数据执行预处理,以格式化用于查询响应服务器202的文本查询。
查询响应服务器202包括查询匹配引擎216,用来解析文本查询并且使文本查询与存储在匹配标记语言文件中的对应查询匹配,在一些实施方案中,所述匹配标记语言文件可以是AIML(人工智能标记语言)文件。匹配标记语言文件218包括每个支持的查询和针对每个查询的分配给那个查询的相关联响应,以及其它标记语言特征,如可扩展标记语言特征,包括用于显示响应和显示任何标记的指令。在一个实施例中,查询匹配引擎216和/或匹配标记语言文件218包括用于可以从主机接收的查询和响应的对话。可以基于模糊逻辑的应用来解译查询,以使查询的文本与匹配标记语言文件中的类似对话匹配。以这种方式,查询匹配引擎216可以接收自然语言查询并且使所述查询与如由匹配标记语言文件218指定的响应匹配。在一些实施例中,与车辆和/或与车辆情境相关的字词在模糊逻辑内可能比其它非车辆字词更重要。可以对应于响应类型的各种形式呈现响应。查询匹配引擎216可以实现分层算法,以便在匹配标记语言响应文件内搜索对问题的响应。因此,匹配标记语言引擎和匹配标记语言文件可以利用来找到用户查询(例如,如经由语音识别服务器转换成文本的)的情境答案和/或提问问题,使得用户可以改进查询。一些匹配标记语言文件可特定于某些车辆,而其它文件可以包括用于所有车辆/主机类型的信息。要了解,可以任何适合的方式组织匹配标记语言文件。
在一个实施例中,响应可以是完全预定义响应,所述完全预定义响应仅包括可以返回到主机并且向用户呈现的静态内容而没有额外信息。完全预定义响应的实施例可以是对与主机操作有关的查询的响应。例如,如果查询是“我如何使收音机静音?”,那么可以基于对应于主机的操作手册的静态信息知道响应。因此,对这个查询的预定义响应可以包括关于如何使收音机静音的指令(例如,“推动音量和静音控制旋钮以使收音机静音。”)而不需要来自查询响应服务器或主机的任何其它信息。对于完全预定义响应来说,查询匹配引擎216可以响应于评估响应并且确定服务器不需要提供用于响应的任何其它信息(例如,确定响应不包括指示将要添加信息的标记),而将响应直接发送到主机的查询应用程序。
响应替代地可以是部分预定义响应,所述部分预定义响应包括用于动态信息的一个或多个标记(本文也称为令牌或占位符),所述标记可以使用主机本地的信息填充。例如,查询可以包括以下问题:“我还剩下多少燃油续航力?”量化这个问题的答案必要的信息(例如,与剩余燃油量、估计燃油消耗率等相关的信息)可以存储在主机上和/或在主机上可利用。例如,部分预定义响应中所利用的信息可以是和/或依赖于主机可经由车辆传感器存取的实时数据。因此,对这个查询的响应可以包括一些预定义文本,以及可以由主机填充的用作信息的占位符的标记(例如,“你具有剩余燃油续航力<FUEL_RANGE>”,其中<FUEL_RANGE>是标记)。标记可以包括用于对应于所请求数据的特定传感器或特定存储位置的识别符。在这类示例性响应中,查询匹配引擎216可以评估响应并将响应直接发送到主机的查询应用程序,而不将任何信息添加到响应。在评估期间,查询匹配引擎216可以确定标记不对应于指示将要由查询响应服务器提供的信息的标记(例如,基于标记文本之前和之后的字符,如本实施例中的“<>”)。在于主机204处收到包括标记的响应后,查询应用程序210可以基于标记文本来请求来自一个或多个传感器和/或车辆与用户互动数据208中的特定存储位置的数据。当向用户呈现响应时,一些标记可以指示将要对数据执行来确定用以替换标记的结果的操作,如计算。例如,<FUEL_RANGE>标记可以指示燃油续航力将通过对数据(如当前燃油量和平均或估计燃油经济性)执行数学操作来计算。可以在主机204处和/或在服务器202处执行这个操作。在一些实施方案中,操作的一些部分可以在一个位置(例如,主机或其它车辆系统)中执行,而其它部分在不同位置(例如,车辆外部的服务器)中执行。
可以在匹配标记语言文件中定义的响应的另一个实施例是动态响应,所述动态响应利用查询响应服务器本地的数据或可由所述查询响应服务器存取的数据。例如,查询响应服务器202可以包括数据库和/或通信地连接到数据库,所述数据库包括聚集数据220。聚集数据220可以包括来自一个或多个主机的数据,所述数据以规则间隔(例如,每分钟一次、每五分钟一次、每小时一次等)收集并且存储在数据库中。例如,可以合并和聚集来自众多车辆的数据以形成聚集数据。虽然每台车辆可以规则间隔更新它自己的信息,但是聚集数据可以不同的间隔更新,例如像每5分钟到10分钟。以这种方式,聚集数据220可以是相对最新的(但对于来自车辆保有量的数据来说不是最新的),但是可能没有用于特定车辆的数据新,所述特定车辆如发起查询的车辆。
在一个实施例中,一些数据库可以被指定用于特定主机、车辆和/或用户,而其它数据库可以组合来自多个主机的信息,以提供与特定类型的车辆、主机、用户等相关的信息的集体视图。特定于特定主机、车辆和/或用户的数据库可以包括相应地指定数据库的识别符,而集体数据库可以包括与存储在所述集体数据中的信息类型相关的识别符和/或与所存储信息(例如,车辆类型、用户人口统计等)相关联的情境。
导致使用来自查询响应服务器的数据的动态响应的查询的实施例可以包括:“我如何才能提高我的汽油里程数?”这个查询可以与匹配标记语言文件218中的响应匹配,如“基于您的驾驶历史,您可以通过%%QUERY_MPG_FACTORS%%提高您的每加仑英里数。查询匹配引擎216可以解析响应并且将标记识别(例如,基于字符“%%”的存在和/或可识别的标记文本“QUERY_MPG_FACTORS)为可以基于存储在聚集数据220内的数据实现的信息。例如,基于标记的存在,查询匹配引擎216可以将标记的识别符发送到结果扩充引擎222,所述结果扩充引擎可以将标记和/或相关联的所请求信息识别转发到分析引擎224。分析引擎224可以识别由标记请求的信息并且查询用于对应数据的聚集数据。对于以上详述的示例性查询响应来说,特定于主机204所在的车辆的信息可以利用来提供与用户的驾驶倾向和车辆的状态相关的有针对性的信息。在额外或替代的实施方案中,可以从集体数据库获取信息,以使所述信息针对车辆类型和/或匹配驾驶员人口统计的用户。
响应于接收数据,分析引擎224可以将数据传递到结果扩充引擎222以用于插入匹配标记语言的文本响应中,以便形成更新响应或后处理响应。例如,后处理响应可以包括“基于您的驾驶历史,您可以通过更适度地加速并维持适当的轮胎压力来提高您的每加仑英里数”。填充标记的数据可以因此基于特定于生成原始查询的车辆(称为起源车辆)的数据,而且可以基于来自与起源车辆相同类型的车辆(例如,制造和型号、年份等)的其它驱动器的聚集数据。因此,可以用从聚集数据220接收的文本信息替换标记。在以上实施例中,响应可以基于由分析引擎做出的以下确定:起源车辆的当前压力小于阈值(所述阈值基于来自多个其它车辆的聚集数据),并且在过去所选持续时间中,起源车辆的车辆操作者已经以比阈值速率大的速率、比阈值时间长的时间踩下加速器踏板。
由匹配标记语言文件提供的响应的另一个实施例包括使用来自查询响应服务器的相关数据的动态响应。对于这类响应来说,可以从查询响应服务器获取其它信息以确定是使用定制的响应还是一个或多个预定义响应。这类响应可以因此包括处理的多个阶段和/或从服务器和/或主机的数据获取。导致使用相关数据的动态响应的示例性查询可以包括:“我如何配对我的蓝牙装置?”这个查询可以与“%%CORRELATE_BT_PAIR%%”响应或类似标记匹配。查询匹配引擎216可以识别标记并且将标记传递给结果扩充引擎222和/或分析引擎224,以获取与由主机的用户使用的电话的类型相关的信息。聚集数据220可以包括这类信息,并且电话的类型可以由分析引擎224检索。后处理响应可以包括“看起来您遇到了配对您的[电话]的问题。您想要听听特定于配对这个电话的步骤吗?”其中[电话]由用户正尝试配对的电话的特定制造和/或型号替换。因此,响应可以提示用户提供二次查询(例如,对由服务器提出的问题的响应)。取决于来自用户的二次查询(例如,用户肯定地响应还是否定地响应),可将不同的后续响应提供给特定于二次查询的用户。
在以上实施例中,用户可以任选地提供二次查询,所述二次查询请求服务器/主机提供配对电话的具体步骤。因此,服务器202可以检索步骤(例如,从聚集数据和/或匹配标记语言文件检索)、收集结果扩充引擎222中的步骤并将所收集的步骤发送回主机204。主机随后可以向用户呈现所有步骤或顺序地呈现每个步骤(例如,根据预定义时间间隔或响应于进行每个步骤的用户输入)。主机可以显示步骤(例如,当到达每个步骤时突出显示那个步骤)和/或输出音频,以便向用户可闻地读出步骤。在确定先前步骤已完成(例如,通过检测到用户使用通信地连接到主机204的一个或多个传感器执行特定步骤)后,主机可以进行到新步骤。
在一些实施例中,可以一起利用来自聚集数据220和车辆与用户互动数据208的信息来替换来自匹配标记语言文件的响应内的标记。例如,响应可以包括源自对从聚集数据220和车辆与用户互动数据208接收的数据执行操作的信息。可以将来自车辆与用户互动数据208的信息发送到分析引擎224和/或结果扩充引擎222以用于处理,或者可以将信息从聚集数据220发送(例如,经由结果扩充引擎222或直接从聚集数据220)到主机(例如,直接或经由服务器接口226发送到查询应用程序210)。
在额外或替代的实施例中,可以在匹配标记语言文件内使用多个标记,并且一个或多个标记可以指示对位于彼此不同的位置(例如,传感器或主机本地的和/或聚集数据220内的存储装置)中的信息的请求。例如,用户可以提供语音查询:“我可以在哪里加油?”。与语音查询相关联的语音数据可以被传输到语音识别服务器214并且对应于语音查询的文本查询被返回到主机204。文本查询随后可以被发送到查询匹配引擎216,所述查询匹配引擎存取匹配标记语言文件218以找到匹配响应。例如,用于“我可以在哪里加油?”的匹配标记语言文件可以包括对应于关于位置数据(例如,基于“哪里”疑问词)的查询或类似地格式化的查询的响应中的全部或子集。因此,包括用于“我可以在哪里加油?”的响应的匹配标记语言文件可以是与包括用于“我如何使收音机静音?”的响应的匹配标记语言文件不同的匹配标记语言文件,所述不同的匹配标记语言文件可以是包括关于主机204和/或车辆的操作的查询中的全部或子集的匹配标记语言文件。
在使查询“我可以在哪里加油?”与特定匹配标记语言文件条目匹配之后,可以将对应于那个条目的响应返回到查询匹配引擎。因为用于这个查询的响应可以依赖于不同信息(例如,瞬时燃油续航力、与优选加油站有关的历史数据、与车辆路线有关的导航数据等),所以响应可以包括多个标记,所述标记可以指向服务器202和/或主机204的不同区域。例如,响应可以包括用于与优选加油站和它们的位置相关的历史数据的标记,所述标记可以被传递到分析引擎224。标记还可以包括将要执行来基于当前或最后已知位置确定距每个加油站的距离的操作。响应可以包括用于车辆的燃油续航力的另一个标记,所述标记可以被传递到主机204的查询应用程序210和/或车辆与用户互动数据208。上述标记和/或额外标记之一可以指示将要对检索数据执行的操作。例如,标记可以指定过滤由分析引擎224找到的加油站,使得在更新结果中仅包括在由主机204指示的瞬时燃油续航力内的加油站,所述更新结果在结果扩充方框222处以公式表示并且被传递到查询应用程序210,以便向用户呈现。以这种方式,特定响应中可以包括多个标记,所述标记指示对数据的请求和/或将要由服务器202和/或主机204的任何适合的部件执行的操作。
虽然以上已描述在标记字符之间包括标签名的标记,但是要了解,标记可以具有任何适合的形式和/或结构。例如,标记可以包括多个标签名和/或组织结构以允许更复杂的标记。例如,标记可以指定与查询相关的信息,如“%%类别:MPG,类型:查询,属性:完全%%”。在以上实施例中,可以从标记的不同部分收集关于查询的信息,使得所述标记可以调用用于检索与标记相关的数据的一个或多个特定区块。
图3示出配置和/或整合在车辆301内的车载计算系统300的方框图。在一些实施方案中,车载计算系统300可以是图1的车载计算系统109的实施例。在一些实施例中,车载计算系统可以是车辆信息娱乐系统,所述车辆信息娱乐系统被配置来提供基于信息的媒体内容(音频和/或视觉媒体内容,包括娱乐内容、导航服务等)给车辆用户,以便增强操作者的车内体验。车辆信息娱乐系统可以包括或连接到各种车辆系统、子系统、硬件部件以及软件应用程序和系统,所述软件应用程序和系统被整合在或可整合到车辆301中,以便增强驾驶员和/或乘客的车内体验。
车载计算系统300可以包括一个或多个处理器,所述处理器包括操作系统处理器314和接口处理器320。操作系统处理器314可以在车载计算系统上执行操作系统,并且控制车载计算系统的输入/输出、显示、回放和其它操作。接口处理器320可以经由车内系统通信模块322与车辆控制系统330对接。
车内系统通信模块322可以输出数据到其它车辆系统331和车辆控制元件361,同时还例如通过车辆控制系统330接收从其它车辆部件和系统331、361输入的数据。当输出数据时,车内系统通信模块322可以经由总线提供信号,所述信号对应于车辆的任何状态、车辆环境或连接到车辆的任何其它信息源的输出。车辆数据输出可以包括例如:模拟信号(如当前速度)、由单个信息源(如时钟、温度计、如全球定位系统[GPS]传感器的位置传感器等)提供的数字信号、通过车辆数据网络(如:发动机控制器局域网[CAN]总线,可以通过这个总线来传达发动机相关信息;气候控制CAN总线,可以通过这个总线来传达气候控制相关信息;以及多媒体数据网络,通过这个网络在车辆中的多媒体部件之间传达多媒体数据)传播的数字信号。例如,车载计算系统可以从发动机CAN总线检索由车轮传感器估计的车辆的当前速度、经由车辆的电池和/或功率分布系统的车辆的功率状态、车辆的点火状态等。另外,在不脱离本公开的范围的情况下,也可以使用如以太网的其它对接装置。
车载计算系统300中可以包括非易失性存储装置308,用来以非易失性形式存储数据,所述数据如可由处理器314和320执行的指令。存储装置308可以存储应用程序数据,所述应用程序数据允许车载计算系统300运行用于连接到移动装置和/或穿戴式装置和/或与所述移动装置和/或穿戴式装置配对的应用程序。存储装置308可以另外或替代地存储应用程序数据,所述应用程序数据允许车载计算系统300运行用于接受用户查询和提供响应的应用程序,如关于图2所述的查询应用程序210。车载计算系统300可以还包括易失性存储器316。易失性存储器316可以是随机存取存储器(RAM)。如非易失性存储装置308的非暂时性存储装置和/或易失性存储器316可以存储指令和/或代码,所述指令和/或代码在由处理器(例如,操作系统处理器314和/或接口处理器320)执行时,控制车载计算系统300执行本公开中所述的动作中的一个或多个。
车载计算系统300中可以包括麦克风302,以从用户接收语音命令和/或语音查询和/或测量车辆中的环境噪声。语音处理单元304可以处理所接收的语音数据和/或所接收的语音数据可以被传输到对于车辆和/或车载计算系统300远程定位的外部语音识别服务器。在一些实施方案中,车载计算系统300还可以能够使用包括在车辆的音频系统332中的麦克风来接收语音命令/查询和样本环境车辆噪声。
车载计算系统300的传感器子系统310中可以包括一个或多个额外传感器。例如,传感器子系统310可以包括摄像头,如帮助用户停靠车辆的后视摄像头。车载计算系统300的传感器子系统310可以与各种车辆传感器通信且从各种车辆传感器接收输入,并且可以进一步接收用户输入。例如,由传感器子系统310接收的输入可以包括变速器齿轮位置、变速器离合器位置、油门踏板输入、刹车输入、变速器选择器位置、车辆速度、发动机速度、通过发动机的气流质量、环境温度、进气温度等,以及来自以下传感器的输入:气候控制系统传感器(如热传递流体温度、防冻剂温度、风扇速度、乘客舱温度、所需乘客舱温度、环境湿度等)、检测由用户发出的语音命令的音频传感器、从车辆的钥匙扣接收命令并且任选地追踪所述钥匙扣的地理位置/接近度的钥匙扣传感器等。虽然某些车辆系统传感器可以单独与传感器子系统310通信,但是其它传感器可以与传感器子系统310和车辆控制系统330两者通信,或可以经由车辆控制系统330与传感器子系统310间接通信。车载计算系统300的导航子系统311可以生成和/或接收如位置信息(例如,经由GPS传感器和/或来自传感器子系统310的其它传感器)、路线引导、交通信息、兴趣点(POI)识别的导航信息,和/或为驾驶员提供其它导航服务。
车载计算系统300的外部装置接口312可能可连接到位于车辆301外部的一个或多个外部装置340和/或与所述外部装置340通信。虽然外部装置被示出为位于车辆301外部,但是要了解,所述外部装置可以暂时放在车辆301中,如当用户在操作车辆301的同时操作外部装置时。例如,外部装置340不是与车辆301成整体。外部装置340可以包括移动装置342(例如,经由蓝牙连接加以连接)或替代的具备蓝牙功能的装置352。移动装置342可以是移动电话、智能电话、可以经由有线和/或无线通信与车载计算系统通信的穿戴式装置/传感器,或其它便携式电子装置。其它外部装置包括外部服务346,如图2的混聚服务器202和远程信息处理服务器204。例如,外部装置可以包括与车辆分开且位于车辆外部的车辆外装置。其它外部装置仍包括外部存储装置354,如固态驱动器、笔式驱动器、USB驱动器等。在不脱离本公开的范围的情况下,外部装置340可以与车载计算系统300无线通信或经由连接器通信。例如,外部装置340可经由网络360、通用串行总线(USB)连接、直接有线连接、直接无线连接和/或其它通信链路,通过外部装置接口312与车载计算系统300通信。外部装置接口312可以提供通信接口来允许车载计算系统与移动装置通信,这些移动装置与驾驶员的联系人相关联。例如,外部装置接口312可以允许建立电话呼叫和/或向与驾驶员的联系人相关联的移动装置发送(例如,经由蜂窝式通信网络)文本消息(例如,SMS、MMS等)。
一个或多个应用程序344可以在移动装置342上操作。作为实施例,移动装置应用程序344可以操作来聚集与用户与移动装置的互动有关的用户数据。例如,移动装置应用程序344可以聚集与以下各者有关的数据:用户在移动装置上听的音乐播放列表、电话呼叫日志(包括用户所接听的电话呼叫的频率和持续时间)、包括用户常去的位置和在每个位置所花费的时间量的位置信息等。所收集的数据可以由应用程序344经由网络360传递到外部装置接口312。另外,在移动装置342处可以经由外部装置接口312从车载计算系统300接收具体用户数据请求。具体数据请求可以包括用于确定以下各者的请求:用户地理上位于哪里、用户位置处的环境噪声级和/或音乐类型、用户位置处的环境天气条件(温度、湿度等)等。移动装置应用程序344可以将控制指令发送到移动装置342的部件(例如,麦克风等)或其它应用程序(例如,导航应用程序),以允许在移动装置上收集所请求数据。移动装置应用程序344随后可以将所收集信息中继传递回车载计算系统300。
同样地,一个或多个应用程序348可以在外部服务346上操作。作为实施例,外部服务应用程序348可以操作来聚集和/或分析来自多个数据源的数据。例如,外部服务应用程序348可以聚集来自用户的一个或多个社交媒体账户的数据、来自车载计算系统的数据(例如,传感器数据、日志文件、用户输入等)、来自互联网查询的数据(例如,天气数据、POI数据)等。所收集的数据可以被传输到另一个装置(如查询响应服务器)和/或由应用程序分析,以便确定驾驶员、车辆和环境的情境。
车辆控制系统330可以包括控制件,用来控制不同车载功能所涉及的各种车辆系统331的各方面。这些控制可以包括例如控制以下方面:用于向车辆乘员提供音频娱乐的车辆音频系统332的各方面、用于满足车辆乘员的车厢冷却或加热需要的气候控制系统334的各方面,以及用于允许车辆乘员与他人建立电信链接的电信系统336的各方面。
音频系统332可以包括一个或多个声学再现装置,包括电磁换能器,如用于向车辆的驾驶员和/或乘客提供音频输出的扬声器。例如,音频输出可以对应于提供对用户查询的可闻响应的文本转语音输出。车辆音频系统332可以是无源的或有源的(如通过包括功率放大器)。在一些实施例中,车载计算系统300可以是用于声学再现装置的仅有音频源,或者可以存在连接到音频再现系统的其它音频源(例如,如移动电话的外部装置)。任何这类外部装置与音频再现装置的连接可以是模拟的、数字的或模拟技术与数字技术的任何组合。
气候控制系统334可以被配置来在车辆301的车厢或乘客舱内提供舒适的环境。气候控制系统334包括允许受控制的通风的部件,如通气孔、加热器、空调、整合式加热器和空调系统等。链接到加热和空调设置的其它部件可以包括能够清洁挡风玻璃的挡风玻璃除霜系统和除雾系统和用于清洁通过新鲜空气入口进入乘客舱的外部空气的通风空气过滤器。
车辆控制系统330还可以包括控制件,所述控制件用来调整与发动机和/或车辆车厢内的辅助元件有关的各种车辆控制件361(或车辆系统控制元件)的设置,所述车辆控制件如方向盘控制器362(例如,安装在方向盘上的音频系统控制件、巡航控制件、挡风玻璃雨刷控制件、前大灯控制件、转向信号控制件等)、仪表板控制件、麦克风、加速器/煞车/离合器踏板、换档器、位于驾驶员或乘客车门中的车门/车窗控制件、座椅控制件、车厢灯控制件、音频系统控制件、车厢温度控制件等。控制信号还可以控制车辆音频系统332的一个或多个扬声器处的音频输出。例如,控制信号可以调整音频输出特性,如音量、均衡化、音频图像(例如,用来产生音频输出的音频信号的配置,所述音频输出在用户看来是源自一个或多个已定义位置)、在多个扬声器之间的音频分布等。同样地,控制信号可以控制气候控制系统334的通风孔、空调和/或加热器。例如,控制信号可以增加向车厢特定部分的冷却空气传送。
位于车辆外的控制元件(例如,用于安全系统的控制件)还可以如经由通信模块322连接到计算系统300。车辆控制系统的控制元件可以物理地和永久地位于车辆上和/或车辆中,以用于接收用户输入。除了从车载计算系统300接收控制指令之外,车辆控制系统330还可以从用户所操作的一个或多个外部装置340(如从移动装置342)接收输入。这允许基于从外部装置340接收的用户输入来控制车辆系统331和车辆控制件361的各方面。
车载计算系统300可以还包括天线306。天线306被展示为单天线,但是在一些实施方案中可以包括一个或多个天线。车载计算系统可以经由天线306获得宽带无线互联网接入,并且可以进一步接收如电台、电视、天气、交通等的广播信号。车载计算系统可以经由一个或多个天线306接收如GPS信号的定位信号。车载计算系统还可以经由RF,如经由天线306或经由红外或其它装置通过适当的接收装置来接收无线命令。在一些实施方案中,可以包括天线306来作为音频系统332或电信系统336的一部分。另外,天线306可以经由外部装置接口312向外部装置340(如向移动装置342)提供AM/FM电台信号。
车载计算系统300的一个或多个元件可由用户经由用户界面318加以控制。用户界面318可以包括呈现在触摸屏(如图1的触摸屏108)上的图形用户界面和/或用户致动按钮、开关、旋钮、标度盘、滑动条等。例如,用户致动元件可以包括方向盘控制件、车门和/或车窗控制件、仪表板控制件、音频系统设置、气候控制系统设置等等。用户还可以经由用户界面318与车载计算系统300和移动装置342的一个或多个应用程序互动。除了在用户界面318上接收用户的车辆设置偏好之外,还可以在用户界面318上向用户显示由车载控制系统选择的车辆设置。可以在用户界面的显示器上向用户显示通知和其它消息以及导航辅助。当由车载计算系统300执行查询应用程序(如图2的查询应用程序210)时,用户界面318还可以包括允许用户提出查询并接收响应的信息。
图4是用于在主机(例如,图2的主机204)处接收查询并且在所述主机处呈现对查询的响应的方法400。在402处,方法400任选地包括提示用户进行语音查询。例如,在主机上启动查询应用程序后,查询应用程序可以向用户输出请求来自用户的查询的视觉提示和/或可闻提示,如“请提问关于您的车辆的问题”或“今天我如何帮助您?”在404处,方法400包括从用户接收语音查询(例如,经由通信地连接到主机的麦克风接收的语音数据,所述语音数据包括由用户提出的查询)。
方法400包括将语音查询发送到语音识别服务器(例如,主机外部的语音识别服务器),以便转换成文本查询,如406处所示。主机随后可以从语音识别服务器接收文本查询,如408处所示,在410处,方法400包括将文本查询发送到查询响应服务器(例如,图2的查询响应服务器202)。虽然方法400涉及利用查询响应服务器来确定查询的响应,但是要了解,用来确定相关联响应的对文本查询的处理中的一些或全部可以在主机上执行和/或可以在将文本查询发送到查询响应服务器之前于主机上予以尝试。在412处,方法400包括确定是否从查询响应服务器接收用于查询的有效结果。如果并未接收用于查询的有效结果(例如,412处为“否”),那么方法400可以继续414以确认语音查询(例如,通过可闻地和/或在视觉上向用户重复问题)。如果在414处确认语音查询,那么方法400可以返回到404,以便任选地在向用户显示最后的查询不是有效的/没有被识别的指示之后从用户接收另一个语音查询。如果最后的查询不是有效的和/或没有被识别,那么可以提供这个错误的原因,如到服务器的连接性丢失、在匹配标记语言文件中缺乏用于语音查询的匹配等。
如果接收查询提交的有效结果(例如,412处为“是”),那么方法400包括在416处从查询响应服务器接收响应。在418处,方法400包括确定响应是否包括占位符(例如,具有标签和/或文本的标记,所述标签和/或文本可由主机识别为与将要由主机获取并插入的数据相关联)。例如,可以通过解析和/或另外分析来自查询响应服务器的响应,并且将响应的部分与所识别识别符(例如,传感器名称、存储器位置等)和/或所识别分隔符(例如,指示占位符的存在/指示文本与占位符之间的分隔的字符/符号/字符串)的表或列表进行比较来识别占位符。如果至少一个识别符和/或分隔符与识别符/分隔符的所识别列表/表匹配,那么可以确定响应包括占位符。如果响应包括占位符(例如,418处为“是”),那么方法400继续420以解析占位符并且继续422以提取由占位符请求和/或识别的数据。例如,占位符可以包括文本,所述文本可以转换成主机中的本地数据库的存储位置,所述本地数据库保存将要在占位符的位置中插入响应中的数据。在424处,方法400包括用所提取的数据替换占位符,以形成更新响应。在426处,方法400包括向用户呈现更新响应(例如,在视觉上和/或可闻地)。如果响应不包括占位符(例如,418处为“否”),那么方法直接继续426以向用户呈现响应。
如以上关于图4所述,主机可以将与来自用户的查询相关的信息发送到查询响应服务器,以便接收对查询的响应。图5是在查询响应服务器(例如,图2的查询响应服务器202)处确定查询响应的方法500的流程图。在502处,方法500包括从主机接收查询字符串。例如,查询字符串可以是表示在主机处接收的语音查询的文本字符串。在504处,方法500包括在匹配标记语言文件中搜索匹配查询字符串的响应。方法500包括在506处确定是否出现响应。如果没有出现响应(例如,506处为“否”),那么方法500包括返回空响应或不匹配指示符,如508处所示。方法随后继续522以将响应(例如,空响应或不匹配指示符)返回到主机。如果出现响应(例如,506处为“是”),那么方法500包括确定响应是否包括后处理标记,如510处所示。如果响应不包括后处理标记(例如,510处为“否”),那么在服务器处不需要进一步处理并且方法继续522以将响应返回到主机。
如果响应包括后处理器标记(例如,510处为“是”),那么方法继续512以解析并且处理标记。例如,标记的标签(例如,标记识别符之前和之后的字符)和/或识别符可以由服务器的查询匹配引擎评估,以便确定标记是否可由服务器填充,如514处所示。如果标记不可由服务器填充(例如,如果标记没有被识别为对应于由服务器检索的数据,514处为“否”),那么方法500继续522以将响应返回到主机。否则,如果标记可以由服务器填充(例如,514处为“是”),那么方法500包括在516处确定标记是否指示针对相关数据的请求。如以上关于图2所描述,针对相关数据的请求可以包括在依赖于呈现给用户的后续和/或明确查询的响应和/或从多个源组合的数据(例如,来自本地的和/或可由服务器直接存取的数据库的数据和本地的和/或可由主机直接存取的数据)中。如果标记不指示针对相关数据的请求(例如,516处为“否”),那么标记可以指示针对服务器查询的请求,以从查询响应服务器本地的数据库获取数据。因此,方法500继续518以查询服务器并且用查询结果替换标记。例如,这个响应可以对应于如以上关于图2所描述的利用聚集数据的动态响应。
如果标记指示针对相关数据的请求(例如,516处为“是”),那么方法500继续520以运行所请求相关并且用相关结果替换标记。在518处用查询结果或520处用相关结果替换标记后,方法500继续以在522处将响应返回到主机。
图6A和图6B是用于在服务器系统中响应查询的方法600的流程图。方法600包括在匹配标记语言文件中搜索匹配从主机的客户端接收的查询的响应,如以上更详细地描述。方法600可以包括基于所接收的标记类型来以不同方式处理标记,和用从查询或相关请求检索的数据替代从匹配标记语言文件返回的整个响应或所述响应的一部分。可以将要处理的语音数据发送到车辆外语音转文本引擎和/或语音识别服务器。随后可以文本形式返回语音输入,并且主机上的应用程序可以将文本发送到查询响应服务器,其中所述文本由匹配标记语言解析器解译。随后在用于云知道如何用相关数据替换的标签的云中处理解析器的输出。随后将最终字符串发送到主机应用程序,其中所述最终字符串针对其所属的响应类型被进一步解析并且格式化。搜索标签并且用必须源自车辆总线或主机的数据替换所述标签。
图7A至图7C是根据本公开的一个或多个实施方案的用于在主机中响应查询的方法700的流程图。流程图示意性地示出可以在查询辅助应用程序的用户界面中表示的元件,如发起查询序列的开始按钮702、返回到先前屏幕的后退按钮704和退出查询序列和/或查询辅助应用程序的关闭按钮706。方法700还包括识别可以包括在来自查询响应服务器的响应中的不同标签和/或标记,以便确定将要执行的响应替代的类型。
例如,标签“<>”可以指示对应于包含在“<”和“>”之间的识别符的传感器数据将被提取并且用来替换所述标签。标签“;;”可以指示响应包括帮助信息,所述“;;”用作指示帮助信息的步骤之间的中断的分隔符。例如,“;;”可以由主机解译为暂停,使得不向用户显示或可闻地呈现“;;”之后的步骤(例如,在被发送到主机本地或远程文本转语音转化单元之后),直到规定的时间为止和/或直到用户已经完成先前步骤为止。标签“?”可以指示需要更多信息来响应查询。例如,如果查询的仅一个字词由查询匹配引擎识别,并且那个字词对应于多个可能响应,那么“?”可以指示主机将提示用户以得到更多信息。要了解,以上所述示例性标签和相关联本质上是示例性的,并且可以利用任何适合的标签和标签与操作/指令的相关联。
已经出于说明和描述的目的呈现了实施方案描述。对实施方案的适合修改和变更可以根据以上描述来执行或可以从实践所述方法来获取。例如,除非另外指出,否则所描述方法中的一种或多种可以由适合的装置和/或装置组合(如参考图1和图2所描述的车载计算系统109和/或查询响应服务器202)来执行。作为另一个实施例,所描述方法(例如,图6A至图7C中所描述的方法)中的一种或多种可以通过结合一个或多个其它硬件装置(例如,麦克风302、天线306、车辆系统331和/或图3中示出的或本公开描述的任何其它适合的装置)使用车载计算系统的处理器(例如,图3的操作系统处理器314和/或接口处理器320)执行所存储的指令来执行。除了本申请中描述的次序之外,还可以按各种次序平行地和/或同时执行所描述方法和相关联的动作。所述系统本质上是示例性的,并且可以包括额外元件和/或省略元件。本公开的主题包括所公开的各种系统和配置以及其它特征、功能和/或性质的全部新颖和不明显的组合和子组合。
如本申请中所使用,应了解,以单数形式列举并且通过字词“一个”引出的元件或步骤并不排除多个所述元件或步骤,除非明确指出这种排除情况。另外,引用本发明的“一个实施方案”或“一个实施例”并非意图解释为排除也涵盖所述特征的其它实施方案的存在。术语“第一”、“第二”和“第三”等仅用作标签,并且并非意图对其对象强加数值要求或具体定位次序。要了解,以上所找述对系统的示例性查询、响应和其它输入与输出是示例性的,并且并非意图穷举。额外或替代短语、查询响应匹配、标记语法和其它特征可以由以上公开内容中所描述的系统和方法提供。以下权利要求书特别指出以上公开的主题,所述主题被认为是新颖和不明显的。
Claims (19)
1.一种车载计算系统,其包括:
通信接口,其通信地连接到查询响应服务器;
处理器;以及
存储装置,所述存储装置被配置来收集并存储车辆与用户互动数据,并且被配置来存储可由所述处理器执行来进行以下操作的指令:
从用户接收语音查询;
将所述语音查询转换成文本查询;
将所述文本查询发送到查询响应服务器;
在所述车载计算系统处从所述查询响应服务器接收结果,所述结果包括来自所述查询响应服务器的信息和一个或多个占位符,所述占位符表示要从所述车载计算系统本地的存储装置检索的额外信息;
用来自所述存储装置的信息替换所述一个或多个占位符以形成更新结果;以及
向所述用户呈现所述更新结果。
2.如权利要求1所述的车载计算系统,其还包括车内系统通信模块,所述车内系统通信模块被配置来经由所述车辆的控制器局域网(CAN)总线与一个或多个车辆系统通信,并且其中所述指令还可执行来用经由所述CAN总线接收的来自所述车辆的传感器的信息替换所述一个或多个占位符。
3.如权利要求1至2中任一项所述的车载计算系统,其中将所述语音查询转换成文本查询包括将所述语音查询发送到所述车辆外部的语音识别服务器。
4.一种车载计算系统,其包括:
通信接口,其通信地连接到查询响应服务器;
处理器;以及
存储装置,所述存储装置被配置来收集并存储车辆与用户互动数据,并且被配置来存储可由所述处理器执行来进行以下操作的指令:
从用户接收语音查询;
将所述语音查询发送到语音识别服务器;
从所述语音识别服务器接收文本查询;
将所述文本查询发送到查询响应服务器;
在所述车载计算系统处从所述查询响应服务器接收结果,所述结果包括来自所述查询响应服务器的信息和请求包括在所述车辆与用户互动数据中的额外信息;
将所述所请求的额外信息发送到所述查询响应服务器;
从所述查询响应服务器接收更新结果;以及
向所述用户呈现所述更新结果。
5.如权利要求4所述的车载计算系统,其还包括显示装置,并且其中向所述用户呈现所述更新结果包括向所述用户显示所述更新结果。
6.如权利要求4至5中任一项所述的车载计算系统,其中从所述查询响应服务器接收所述结果包括接收来自以下操作的结果:使所述文本查询与位于一个或多个人工智能标记语言(AIML)文件中的多个文本查询之一匹配,所述一个或多个人工智能标记语言(AIML)文件与一个或多个预定义响应相关联。
7.如权利要求6所述的车载计算系统,其中所述一个或多个预定义响应包括标记,所述标记用作由所述车载计算系统和所述查询响应服务器中的一个或多个检索的数据的占位符。
8.如权利要求7所述的车载计算系统,其中当识别存储在所述查询响应服务器本地的存储装置中的数据时,所述标记可由所述查询响应服务器识别。
9.如权利要求7所述的车载计算系统,其中当识别存储在所述车载计算系统本地的所述存储装置中的数据时,所述标记可由所述查询响应服务器识别。
10.如权利要求7所述的车载计算系统,其中当识别用于使所述查询响应服务器本地的存储装置和所述车载计算系统本地的所述存储装置中的一个或多个中的数据相关的相关请求时,所述标记可由所述查询响应服务器识别。
11.一种车载计算系统中的方法,所述方法包括:
从用户接收语音查询;
将所述语音查询转换成文本查询;
将所述文本查询发送到查询响应服务器;
在车载计算系统处从所述查询响应服务器接收结果,所述结果包括来自所述查询响应服务器的信息和一个或多个占位符,所述占位符表示要从所述车载计算系统本地的存储装置检索的用于所述文本查询的额外信息;
用来自所述存储装置的信息替换所述一个或多个占位符以形成更新结果;以及
向所述用户呈现所述更新结果。
12.如权利要求11所述的方法,其还包括提示所述用户进行所述语音查询。
13.如权利要求11至12中任一项所述的方法,其还包括确定来自所述查询响应服务器的所述结果是否是对应于对所述语音查询的响应的有效结果。
14.如权利要求11所述的方法,其还包括响应于确定来自所述查询响应服务器的所述结果不是有效结果而确认所述语音查询。
15.如权利要求11所述的方法,其还包括通过查询由所述占位符识别的传感器来提取由所述占位符请求的数据。
16.一种用于车载计算系统的方法,其包括:
将用于车辆的车辆信息记录在所述车辆上;
响应于语音请求,将所述语音请求和所述所记录的车辆信息的表示发送到远程服务器;
从所述远程服务器接收对所述语音请求的响应,所述响应包括标记和来自一个或多个其它车辆的聚集数据;
响应于所述标记而用从所述车辆上检索的额外信息更新所述响应;以及
在所述车辆中呈现所述更新响应。
17.如权利要求16所述的方法,其中所述更新包括用所述车辆上的数据根据由所述标记表示的公式来执行一个或多个计算。
18.如权利要求16所述的方法,其中所述更新包括用所述聚集数据车辆数据根据由所述标记表示的公式来执行一个或多个计算,所述更新在所述车辆中执行。
19.如权利要求17至18中一项或多项所述的方法,其中所述表示是呈人可读文本的形式。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361917883P | 2013-12-18 | 2013-12-18 | |
US61/917,883 | 2013-12-18 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104731854A CN104731854A (zh) | 2015-06-24 |
CN104731854B true CN104731854B (zh) | 2020-02-04 |
Family
ID=52133955
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410795293.7A Active CN104731854B (zh) | 2013-12-18 | 2014-12-18 | 语音识别查询响应系统 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9626966B2 (zh) |
EP (1) | EP2887348B1 (zh) |
JP (1) | JP6543460B2 (zh) |
CN (1) | CN104731854B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12002463B2 (en) | 2022-04-25 | 2024-06-04 | Google Llc | Systems and methods for voice-based initiation of custom device actions |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9516165B1 (en) * | 2014-03-26 | 2016-12-06 | West Corporation | IVR engagements and upfront background noise |
EP3056953A1 (de) * | 2015-02-11 | 2016-08-17 | Siemens Aktiengesellschaft | Autarkes Feldgerät der Automatisierungstechnik zur Fernüberwachung |
US9890576B2 (en) * | 2015-07-29 | 2018-02-13 | Ford Global Technologies, Llc | Active door operation based on voice commands |
US10162853B2 (en) * | 2015-12-08 | 2018-12-25 | Rovi Guides, Inc. | Systems and methods for generating smart responses for natural language queries |
DE102016200815A1 (de) * | 2015-12-15 | 2017-06-22 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zur Sprachsteuerung eines Kraftfahrzeugs |
JP6481643B2 (ja) * | 2016-03-08 | 2019-03-13 | トヨタ自動車株式会社 | 音声処理システムおよび音声処理方法 |
CN107452383B (zh) * | 2016-05-31 | 2021-10-26 | 华为终端有限公司 | 一种信息处理方法、服务器、终端及信息处理系统 |
US10650621B1 (en) | 2016-09-13 | 2020-05-12 | Iocurrents, Inc. | Interfacing with a vehicular controller area network |
US10474673B2 (en) * | 2017-03-28 | 2019-11-12 | Salesforce.Com, Inc. | Methods and apparatus for performing machine learning to improve capabilities of an artificial intelligence (AI) entity used for online communications |
US10652170B2 (en) | 2017-06-09 | 2020-05-12 | Google Llc | Modification of audio-based computer program output |
CN110192246B (zh) * | 2017-06-09 | 2023-11-21 | 谷歌有限责任公司 | 对基于音频的计算机程序输出的修改 |
US10038419B1 (en) * | 2017-07-06 | 2018-07-31 | Bose Corporation | Last mile equalization |
US11205421B2 (en) * | 2017-07-28 | 2021-12-21 | Cerence Operating Company | Selection system and method |
CN111279383A (zh) * | 2017-09-06 | 2020-06-12 | 兰迪斯+盖尔创新有限公司 | 话音激活的能量管理系统 |
US10492013B2 (en) * | 2017-09-14 | 2019-11-26 | GM Global Technology Operations LLC | Testing of vehicle system module using audio recognition |
EP3712563A4 (en) * | 2017-09-29 | 2021-08-25 | Pioneer Corporation | INFORMATION PROVISION SYSTEM, INFORMATION PROVISION PROCESS AND PROGRAM |
WO2019070230A1 (en) * | 2017-10-03 | 2019-04-11 | Google Llc | COORDINATION OF MULTIPLE DIGITAL ASSISTANT IN VEHICULAR ENVIRONMENTS |
US10997975B2 (en) * | 2018-02-20 | 2021-05-04 | Dsp Group Ltd. | Enhanced vehicle key |
KR20230051619A (ko) * | 2018-03-07 | 2023-04-18 | 구글 엘엘씨 | 사용자 지정 디바이스 액션들의 음성 기반 시작을 위한 시스템들 및 방법들 |
US11315552B1 (en) | 2018-03-23 | 2022-04-26 | Amazon Technologies, Inc. | Responding with unresponsive content |
US11544303B1 (en) * | 2018-03-23 | 2023-01-03 | Amazon Technologies, Inc. | Responding with unresponsive content |
US11854040B1 (en) | 2018-03-23 | 2023-12-26 | Amazon Technologies, Inc. | Responding with unresponsive content |
CN108665893A (zh) * | 2018-03-30 | 2018-10-16 | 斑马网络技术有限公司 | 车载声音反应系统及方法 |
CN108595701A (zh) * | 2018-05-09 | 2018-09-28 | 威马智慧出行科技(上海)有限公司 | 一种车辆问题信息反馈系统及其方法 |
JP7294775B2 (ja) * | 2018-05-24 | 2023-06-20 | トヨタ自動車株式会社 | 情報処理装置、プログラム、及び制御方法 |
EP3613037B1 (en) * | 2018-06-27 | 2020-10-21 | Google LLC | Rendering responses to a spoken utterance of a user utilizing a local text-response map |
CN109165274A (zh) * | 2018-07-16 | 2019-01-08 | 厦门快商通信息技术有限公司 | 一种在线自动客服方法、系统及电子设备 |
JP6731451B2 (ja) * | 2018-07-20 | 2020-07-29 | 本田技研工業株式会社 | 車両管理システム、車両管理プログラム及び車両管理方法 |
JP7142315B2 (ja) * | 2018-09-27 | 2022-09-27 | パナソニックIpマネジメント株式会社 | 説明支援装置および説明支援方法 |
CN111326137A (zh) * | 2018-12-13 | 2020-06-23 | 允匠智能科技(上海)有限公司 | 一种基于办公智能化的语音机器人交互系统 |
US11093691B1 (en) * | 2020-02-14 | 2021-08-17 | Capital One Services, Llc | System and method for establishing an interactive communication session |
CN111488446B (zh) * | 2020-04-14 | 2021-10-15 | 湖北亿咖通科技有限公司 | 车载语音对话方法、计算机存储介质及电子设备 |
CN111488445B (zh) * | 2020-04-14 | 2022-03-15 | 湖北亿咖通科技有限公司 | 车载语音对话方法、计算机存储介质及电子设备 |
DE102020003922A1 (de) | 2020-06-30 | 2021-12-30 | Daimler Ag | Sprachsteuerungssystem und Kraftfahrzeug |
CN111862979A (zh) * | 2020-08-03 | 2020-10-30 | 湖南行必达网联科技有限公司 | 卡车的智能语音控制系统和方法 |
CN112017646A (zh) * | 2020-08-21 | 2020-12-01 | 博泰车联网(南京)有限公司 | 一种语音处理方法、装置及计算机存储介质 |
CN113674742B (zh) * | 2021-08-18 | 2022-09-27 | 北京百度网讯科技有限公司 | 人机交互方法、装置、设备以及存储介质 |
CN114448951B (zh) * | 2022-04-07 | 2022-07-01 | 宁波均联智行科技股份有限公司 | 一种车辆自动取消静音方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6813341B1 (en) * | 2000-08-31 | 2004-11-02 | Ivoice, Inc. | Voice activated/voice responsive item locator |
CN101206651A (zh) * | 2006-12-21 | 2008-06-25 | 西门子(中国)有限公司 | 车辆信息语音查询系统及方法 |
CN101945304A (zh) * | 2010-07-08 | 2011-01-12 | 上海新干通通信设备有限公司 | 用于地铁无人驾驶的tetra无线车载终端 |
CN102118367A (zh) * | 2009-12-31 | 2011-07-06 | 上海博泰悦臻电子设备制造有限公司 | 基于车载设备的数据服务系统 |
CN102163080A (zh) * | 2010-02-24 | 2011-08-24 | 通用汽车环球科技运作有限责任公司 | 用于基于语音的菜单和内容导航服务的多模输入系统 |
CN102668519A (zh) * | 2009-10-09 | 2012-09-12 | 松下电器产业株式会社 | 车载装置 |
CN103428355A (zh) * | 2012-05-24 | 2013-12-04 | 上海博泰悦臻电子设备制造有限公司 | 基于移动终端的语音控制装置及其语音控制方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3715470B2 (ja) * | 1999-06-30 | 2005-11-09 | 株式会社東芝 | 応答生成装置、対話管理装置、応答生成方法および応答生成プログラムを格納するコンピュータ読み取り可能な記録媒体 |
TWI226593B (en) * | 2002-10-28 | 2005-01-11 | Sin Etke Technology Co Ltd | Message transmission method among vehicles and devices thereof |
JP4330924B2 (ja) * | 2003-05-14 | 2009-09-16 | 本田技研工業株式会社 | 対話型情報検索システム |
US7949529B2 (en) * | 2005-08-29 | 2011-05-24 | Voicebox Technologies, Inc. | Mobile systems and methods of supporting natural language human-machine interactions |
JP4188989B2 (ja) | 2006-09-15 | 2008-12-03 | 本田技研工業株式会社 | 音声認識装置、音声認識方法、及び音声認識プログラム |
US8423362B2 (en) | 2007-12-21 | 2013-04-16 | General Motors Llc | In-vehicle circumstantial speech recognition |
US20130275899A1 (en) * | 2010-01-18 | 2013-10-17 | Apple Inc. | Application Gateway for Providing Different User Interfaces for Limited Distraction and Non-Limited Distraction Contexts |
EP4318463A3 (en) * | 2009-12-23 | 2024-02-28 | Google LLC | Multi-modal input on an electronic device |
US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
US20110196602A1 (en) * | 2010-02-08 | 2011-08-11 | Navteq North America, Llc | Destination search in a navigation system using a spatial index structure |
US9263058B2 (en) | 2010-06-24 | 2016-02-16 | Honda Motor Co., Ltd. | Communication system and method between an on-vehicle voice recognition system and an off-vehicle voice recognition system |
JP2013242763A (ja) * | 2012-05-22 | 2013-12-05 | Clarion Co Ltd | 対話装置、対話システム、および対話制御方法 |
US20140122056A1 (en) * | 2012-10-26 | 2014-05-01 | Xiaojiang Duan | Chatbot system and method with enhanced user communication |
-
2014
- 2014-12-18 US US14/575,790 patent/US9626966B2/en active Active
- 2014-12-18 JP JP2014255936A patent/JP6543460B2/ja active Active
- 2014-12-18 CN CN201410795293.7A patent/CN104731854B/zh active Active
- 2014-12-18 EP EP14198873.3A patent/EP2887348B1/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6813341B1 (en) * | 2000-08-31 | 2004-11-02 | Ivoice, Inc. | Voice activated/voice responsive item locator |
CN101206651A (zh) * | 2006-12-21 | 2008-06-25 | 西门子(中国)有限公司 | 车辆信息语音查询系统及方法 |
CN102668519A (zh) * | 2009-10-09 | 2012-09-12 | 松下电器产业株式会社 | 车载装置 |
CN102118367A (zh) * | 2009-12-31 | 2011-07-06 | 上海博泰悦臻电子设备制造有限公司 | 基于车载设备的数据服务系统 |
CN102163080A (zh) * | 2010-02-24 | 2011-08-24 | 通用汽车环球科技运作有限责任公司 | 用于基于语音的菜单和内容导航服务的多模输入系统 |
CN101945304A (zh) * | 2010-07-08 | 2011-01-12 | 上海新干通通信设备有限公司 | 用于地铁无人驾驶的tetra无线车载终端 |
CN103428355A (zh) * | 2012-05-24 | 2013-12-04 | 上海博泰悦臻电子设备制造有限公司 | 基于移动终端的语音控制装置及其语音控制方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12002463B2 (en) | 2022-04-25 | 2024-06-04 | Google Llc | Systems and methods for voice-based initiation of custom device actions |
Also Published As
Publication number | Publication date |
---|---|
EP2887348A3 (en) | 2015-08-26 |
CN104731854A (zh) | 2015-06-24 |
EP2887348A2 (en) | 2015-06-24 |
JP6543460B2 (ja) | 2019-07-10 |
JP2015118709A (ja) | 2015-06-25 |
US20150170653A1 (en) | 2015-06-18 |
US9626966B2 (en) | 2017-04-18 |
EP2887348B1 (en) | 2022-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104731854B (zh) | 语音识别查询响应系统 | |
US11034362B2 (en) | Portable personalization | |
US10284651B2 (en) | Data aggregation and delivery | |
CN106663422B (zh) | 言语识别系统及其言语识别方法 | |
US9188449B2 (en) | Controlling in-vehicle computing system based on contextual data | |
US20170101054A1 (en) | Inter-vehicle communication for roadside assistance | |
CN104768130B (zh) | 车辆内通知呈现调度 | |
EP2925027B1 (en) | Selective message presentation by in-vehicle computing system | |
US20150191178A1 (en) | Automatic driver identification | |
CN104816687B (zh) | 车辆中的自动化驾驶者动作的系统和方法 | |
US20150178578A1 (en) | Vehicle behavior analysis | |
CN105365708A (zh) | 驾驶人状态指示符 | |
US20160214482A1 (en) | Personalized display system for integrating and varying car content, car content management method of personalized display system, and computer readable medium for performing car content management method | |
US20170206101A1 (en) | Operating system startup acceleration | |
KR20210084243A (ko) | 차량 텔레매틱스 유닛을 위한 안테나 시스템 | |
US11928390B2 (en) | Systems and methods for providing a personalized virtual personal assistant | |
WO2023126774A1 (en) | Methods and systems for personalized adas intervention | |
JP2021105636A (ja) | エージェントシステム、エージェント方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |