CN104750767A - 在车辆中向用户提供信息的方法及系统 - Google Patents

Abstract

本发明提供一种在车辆中向用户提供信息的方法和系统，其当检测到用户输入的部分识别时，使用部分识别结果、所收集的用户模式信息、和车辆信息更精确地估计和识别对于信息请求的用户输入。具体地，以车辆信息和用户模式信息分析用户输入信息，以便更精确地估计和识别用户输入，从而在车辆内增大用户输入的识别率并提供用户所请求的信息。

Description

在车辆中向用户提供信息的方法及系统

技术领域

本发明涉及提供信息的方法及系统，更具体地涉及响应于车辆中用户通过语音输入、手写和图像输入进行的信息请求，识别用户对信息的请求并提供信息的系统。

背景技术

如今，多媒体技术的发展演变为向驾驶者提供给信息娱乐(infortainment；信息和娱乐)的舒适的车辆和便利的车辆，这种车辆的发展带来了用于信息传输的技术的发展。此外，车辆的复杂性及其各种驾驶模式(pattern)要求驾驶者在驾驶时操纵更多数目的设备并需要来自车辆内部和外部的更多信息，并且提供给驾驶者各种类型的信息，诸如声音信息、文本信息、图形信息(graphical Information)和图像信息(image Information)。

车辆通常安装有为驾驶者方便性而设置的各种设备，诸如车辆音频/视频系统和提供地图信息和交通信息的车辆导航系统。近来，在车辆内安装有集成了音频设备、视频设备和导航系统的音频-视频-导航(AVN：Audio-Video-Navigation)系统，其包括与车辆的内部和外部通信的终端。这种AVN系统向驾驶者提供各种驾驶相关的信息、驾驶者所请求的位置和地图信息以及媒体信息，诸如车辆内以可听和可视化方式的音频和视频。

另一方面，在移动终端的辅助功能中，允许执行使用语音输入来完成的电话呼叫和执行移动终端的各种操作，诸如移动终端的各种功能控制和用户需要信息的提供的语音识别功能以往就已经为车辆研发出来了。语音识别是一种由机器即计算机来识别人类的语音信号并理解包含在语音信号中的语言信息，执行所要求的功能的技术。例如，当用户在移动终端的存储器中存储电话号码之后将语音输入输入到移动终端时，语音识别功能的拨电话号码的功能提取相应的电话号码，自动执行电话呼叫。

语音识别功能部分地应用于车辆。近来，随着驾驶信息需求的增加，语音识别模块变得与车辆终端相关联，允许车辆终端基于通过语音识别模块识别的驾驶者语音请求向驾驶者提供信息。然而，车辆的语音识别模块的语音识别精度仍不尽人意。由于驾驶者的语音识别甚至受到车辆的内部和外部环境的影响，因此驾驶者的语音可能不会被正确地识别，并因此可能难以提供驾驶者所请求的准确的信息。此外，现有的语音识别模块仅提供驾驶者请求的信息，而不是驾驶车辆时对驾驶者必需的有用的补充信息。

发明内容

本发明提供这样一种方法和系统，其在仅检测出用于执行信息请求的用户输入的部分识别的情况下，利用部分识别结果、所收集的用户模式信息，和车辆信息来更精确地估计和识别用于执行信息请求的用户输入。本发明还提供信息提供系统，其当生成用户的语音输入，从车辆获得所需信息时，或者当诸如手写或视频输入之类的各种类型的对信息的用户输入被输入时，使用由用户输入的数据、用户模式信息和车辆信息，提供用户请求的信息和补充信息。

根据本发明的一个方面，包括用于识别多媒体输入数据的多媒体识别系统的在车辆中提供信息的系统可包括：多媒体识别模块，其配置在车辆内并配置成传输多媒体输入数据；车辆信息传输器，其配置在车辆内并配置成传输车辆信息；多媒体识别服务器，其配置成经由多媒体中继服务器接收从多媒体识别模块传输而来的多媒体输入数据，提取可识别信息，并传递所提取的部分识别结果信息；用户模式收集服务器，其配置成收集和传递用户模式信息，该用户模式信息包括移动终端用户信息、车辆终端使用信息、或用户的消费模式信息；以及用户模式分析服务器，其配置成接收和分析部分识别结果信息、车辆信息和用户模式信息，来提取多媒体输入的最终识别结果并传输所提取的最终识别结果，以使所提取的最终识别结果可在车辆中使用。

因此，根据本发明的在车辆中提供信息的系统可配置成分析用户输入信息(例如，用户输入的部分识别信息)和车辆信息以及用户模式信息，用于更精确的估计和识别。因此，可改善用户输入的识别率，并且可在车辆内提供更精确的用户请求的信息。

附图说明

现在参考用附图说明的本发明某些示例性实施例详细描述本发明的上述和其他特征，这些附图在下文中仅作为例证而给出，因此并不限制本发明，其中：

图1是示出本发明的示例性实施例的系统的示例性框图；以及

图2是示出本发明的示例性实施例的识别用户对信息的输入请求的方法的示例性流程图。

应理解，附图并不一定按照比例绘制，它们只是呈现了示出本发明的基本原理的在某些程度上经简化了的各种特征的表示。本文所公开的本发明的具体设计特征，包括，例如具体尺寸、定位、位置和形状，将部分地由特定目的的应用和使用环境来确定。这些图形中，贯穿附图的多幅图形，相同的附图标记指代本发明的相同或等同部件。

具体实施方式

应理解，本文使用的术语“车辆”(vehicle)或“车辆的”(vehicular)或其它类似术语包括通常的机动车，例如，包括多功能运动车(SUV)在内的乘用车、公交车、卡车、各种商务车、包括各种船只和船舶的水运工具、飞行器等等，并且包括混合动力车、电动车、插入式混合电动车、氢动力车、燃料电池车和其它代用燃料车(例如，来源于石油以外的资源的燃料)。

虽然示例性实施例被描述为使用多个单元执行示例性进程，但是应该理解示例性进程也可以由一个或多个模块执行。此外，应该理解术语“控制器/控制单元”是指包括存储器和处理器的硬件装置。该存储器配置为存储上述模块，而处理器具体配置为执行上述模块，以便执行下面进一步描述的一个或多个进程。

此外，本发明的控制逻辑也可具体化为计算机可读介质上的非瞬时性计算机可读介质，该计算机可读介质包含由处理器、控制器/控制单元等执行的可执行程序指令。计算机可读介质的例子包括但不限于ROM、RAM、CD-ROM(只读光盘)，磁带、软盘、闪盘(flash drive)、智能卡和光学数据存储装置。计算机可读记录介质也可分布在连接网络(network coupled)的计算机系统中，以便例如通过远程服务器(telematics server)或控制器局域网(CAN：Controller Area Network)以分布形式存储和执行计算机可读介质。

本文使用的术语仅仅是为了说明示例性实施方式的目的而不是意在限制本发明。如本文所使用的，单数形式“一个、一种(a、an和the)”也意在包括复数形式，除非上下文中清楚指明。还可以理解的是，在说明书中使用的术语“包括(comprises和/或comprising)”是指存在所述特征、整数(Integer，整体)、步骤、操作、元件和/或部件，但是不排除存在或添加一个或多个其它特征、整数、步骤、操作、元件、部件和/或其群组。如本文所使用的，术语“和/或”包括一个或多个相关所列项目的任何和所有组合。

在下文中，将参考附图详细地描述本发明的示例性实施例。本发明的具体实施方式是为了解释本发明的原理和其实际应用之目的而提供的，从而使本领域其他技术人员能够理解本发明的各种示例性实施例以及适用于预期的特定用途的各种变形。具体实施方式不旨在穷尽或者限制本发明到所公开的精确实施例。变形和等同物对本领域的技术人员是显而易见的，并且其包括在所附权利要求的精神和范围内。

本发明涉及用于提供信息的系统，并且提供用于识别用户对信息的请求并响应于检测到经语音输入、手写和图像输入的用户请求，在车辆内向用户提供信息的系统。具体地，本发明提供这样一种系统，其配置成当仅检测到用户输入的部分识别时，使用部分识别结果、用户模式信息，和车辆信息更精确地估计和识别用户输入信息请求。

本发明为用于弥补现有用户输入识别技术，例如语音输入的缺点的技术，并通过收集移动终端的全球定位系统(GPS：Global PositioningSystem)信息、在移动终端中搜索到的信息，和信用卡交易信息来分析用户的行为，并且收集并分析用户输入数据(例如，多媒体输入数据)和车辆信息，以改善用户输入的最适当的识别结果的估计。

图1是示出本发明的示例性实施例的系统的示例性框图，图2是示出本发明的示例性实施例的识别用户对信息的输入请求的方法的示例性流程图。

在下文中，贯穿本具体实施方式章节，多媒体输入可为车辆1中关于对所需信息的请求的用户输入，即对信息请求的用户输入，其可为经诸如麦克风或语音识别模块的语音输入设备的语音输入、经手写输入设备或手写识别模块的手写输入或者经成像设备或图像识别模块的图像输入。因此，贯穿本具体实施方式章节，诸如语音输入、手写输入或图像输入之类的用户输入可被称为多媒体输入。此外，语音输入、手写输入或图像输入形式的用户输入数据输入可被称为输入数据，另外配置成识别多媒体输入的车辆1的诸如语音识别模块、手写识别模块，和图像识别模块之类的模块，可被称为多媒体识别模块11。

首先，本发明的示例性实施例的用于提供信息的系统可包括用于识别由用户输入的对于信息请求的多媒体输入数据的系统，即多媒体识别系统。此外，如图1所示，在该系统中，多媒体识别系统可包括配置在车辆1内的多媒体识别模块11和车辆信息传输器12，以及作为车辆1的外部系统的多媒体中继服务器21、多媒体识别服务器22、用户模式收集服务器23、和用户模式分析服务器24。除了多媒体识别系统之外，系统还可以包括车辆1外部的内容提供单元28以及车辆1内的信息输出单元13。这些各种单元和模块可通过具有处理器和存储器的控制器来执行。

如上所述，多媒体识别模块11可包括语音识别模块、手写识别模块和图像识别模块中的至少一个，并且可配置成当用户输入对于信息请求的多媒体输入(语音输入、手写输入，或图像输入)时，执行多媒体输入数据的初步识别。具体地，当多媒体输入数据被识别为大于参考值的识别值(例如，识别值≥参考值)时，车辆1的多媒体识别模块11可配置成将识别结果处理作为最终识别结果。

换句话说，可根据最终识别结果经信息输出单元13显示最终识别结果，并且可经由信息输出单元13诸如车辆1的扬声器或显示器显示所请求的信息。具体地，最终识别结果可为识别结果中的一个，或者为由用户从多个可能的识别结果的显示列表中选择的一个。

此外，当多媒体输入数据的部分识别被确定为小于参考值的识别值(例如，识别值＜参考值)时，由于可能无法从识别结果中确定所请求的信息，因此车辆1的多媒体识别模块11可配置成经由无线通信传输输出多媒体输入数据(例如，原始数据(raw data))。具体地，从车辆1的多媒体识别模块11传输而来的多媒体输入数据可在多媒体识别服务器22处接收，其中多媒体识别服务器22可配置成从多媒体输入数据即用户输入原始数据中提取可识别信息，经由用户模式收集服务器23将所提取的部分识别信息(例如，部分识别成功数据)传递到用户模式分析服务器24或将其直接传递到用户模式分析服务器24。

此外，配置在车辆1内的车辆信息传输器12可配置成经由无线通信将车辆信息，诸如车辆模型、车辆速度、当前位置和驾驶模式传输到用户模式分析服务器24。用户模式收集服务器23可配置成接收和收集移动终端2的用户模式，并从用户移动终端2或信用卡信息提供部3接收和收集信用卡交易。具体地，用户模式收集服务器23可配置成接收GPS信息作为移动终端2的位置信息和并接收搜索信息，诸如当用户从用户移动终端2通过移动终端2执行搜索时收集的搜索关键词。

用户模式收集服务器23可配置成从信用卡信息提供部3接收如下信息，诸如信用卡打折优惠信息和包括指示消费模式的信用卡支付信息在内的关于信用卡使用的信息(例如，信用卡交易信息，即消费者模式信息)。尽管通过用户模式收集服务器23收集的用户模式信息可以是例如关于移动终端2和信用卡的使用的信息，但该信息仅被描述作为用户模式信息的一个例子，而用户模式信息不限于关于移动终端2和信用卡的使用信息。换句话说，通过用户模式收集服务器23收集的用户模式信息可包括移动终端2和车辆终端的使用信息，即通过用户执行的车辆终端中的搜索信息，例如，当在网络的门户网站(portal site)执行搜索时所收集的诸如搜索过的关键词之类的信息的搜索历史记录或对于信息搜索的信息。

此外，通过用户模式收集服务器23收集的用户模式信息可包括通过用户的移动终端、车辆终端、社交网站(SNS)执行的信息搜索的历史记录、包括对于信息搜索的信息的SNS使用信息、关于由用户执行的股票搜索的信息、或者关于由用户执行的音乐搜索的信息，并且可在本发明的示例性实施例中采用各种用户模式收集来源，诸如移动终端2、信用卡信息提供部，和车辆终端。

用户模式收集服务器23可配置成将从多媒体识别服务器22、用户移动终端2，和信用卡信息提供部3收集的数据传递到用户模式分析服务器24。用户模式分析服务器24可配置成分析从用户模式收集服务器23传递而来的数据(例如，部分识别结果信息和用户模式信息)以及从车辆信息传输器12传递而来的车辆信息，并确定用户多媒体输入的最终识别结果，经由无线通信将最终结果传输到车辆1。然后，车辆1的多媒体识别模块11可配置成接收最终识别结果，来显示结果并完成用户多媒体输入的识别。然后可从车辆1的信息输出单元13输出用户所请求的信息。

在结果确定过程期间，用户模式分析服务器24可配置成分析部分识别结果信息、用户模式信息，和从车辆信息中提取的当前位置的周围环境信息，诸如车辆的当前位置或车辆当前位置附近的兴趣点(POI：point of interest)信息，来获得用户多媒体输入的最终识别结果。用户模式分析服务器24可配置成将所获得的最终识别结果传输到车辆1，并在数据库单元27中存储所收集的信息，诸如车辆信息、移动终端使用信息和信用卡交易信息，并且分析得到的结果信息。

此外，从用户模式分析服务器24传输到车辆1的最终识别结果可以是包括基于用户模式信息分析和获得的多个识别结果的列表形式的信息。具体地，车辆1可配置成以列表形式接收最终识别结果，并在信息输出单元13上显示该结果，其中可从上述列表选择结果以完成多媒体输入的识别。

例如，为了更精确地估计和分析用户多媒体输入，用户模式分析服务器24可配置成分析从车辆信息传输器12传递而来的车辆信息、经由用户模式收集服务器23传递而来的(或直接从多媒体识别服务器传递而来的)部分识别结果信息(例如，部分识别成功数据)、以及通过用户模式收集服务器23收集的用户模式信息。用户模式信息可包括作为移动终端使用信息的搜索信息和GPS信息以及消费模式信息(例如，信用卡交易信息)，诸如信用卡打折优惠信息和信用卡支付信息。

在本发明的示例性实施例的用于提供信息的系统中，用户模式分析服务器24可包括多媒体分析服务器26和基于位置的服务(LBS：location-based service)分析服务器25，其中多媒体分析服务器26配置成如上所述那样分析所收集的车辆信息、部分识别结果信息、和用户模式信息，诸如移动终端使用信息和消费模式信息(信用卡交易信息)，以便执行用户多媒体输入的识别并将估计得到的最终识别结果传输到车辆1，基于位置的服务(LBS)分析服务器25配置成分析所收集的车辆信息和所收集的用户模式信息，以便获得用于提供LBS的分析结果。

LBS分析服务器25可配置成分析所收集的车辆信息和消费模式，诸如用户模式信息，并将分析结果传递到作为关联服务提供部的服务器的内容提供部28。然后，内容提供部28可配置成生成基于从LBS分析服务器25传递而来的用户分析结果为个人即用户定制的个性化信息。该个性化信息可被传递到车辆1以便输出有用的信息给用户。具体地，个性化信息可以是对个人用户有用的定制信息，诸如关于优惠券、可打折加油站、餐馆的信息、以及通过车辆的当前位置和消费模式反映出的信息。

因此，用户模式分析服务器24与关联服务提供部的内容提供部28相关联地，可配置成将从车辆信息和用户模式信息获得的个性化信息传递到车辆1。可在数据库单元27中存储在上述过程期间收集的车辆信息和用户模式信息及其结果以及个性化信息。

尽管用户模式分析服务器24被描述为包括多媒体分析服务器26和LBS分析服务器25，但这仅仅是示例，用户模式分析服务器24不被限制为仅包括多媒体分析服务器26和LBS分析服务器25。例如，当在车辆终端或用户终端2和部件中执行股票搜索、音乐搜索等等时，除了LBS分析服务器25之外，还可以添加配置成收集和分析股票搜索、音乐搜索等等的单独的服务器。因此，通过服务器分析得到的结果可被传递到内容提供部28，以便当内容提供部28产生个性化信息并传输所产生的个性化信息时使用。

图2示出如上所述那样识别使用语音输入的用户输入的示例性方法。该方法可包括响应于检测到语音输入，通过控制器比较识别值和参考值；通过控制器提取关于车辆的当前位置的POI信息；通过控制器收集用户模式信息，诸如信用卡交易信息(例如消费模式信息)以及移动终端使用信息(例如，搜索信息等)；通过控制器在数据库单元27中存储和分析所收集的信息；通过控制器分析部分识别结果信息(例如，部分识别成功数据)和所收集的信息，来估计语音输入的内容并以列表形式将识别结果信息传输到车辆；以及通过控制器显示语音识别结果来完成语音识别过程。

作为语音识别的示例，当用户以口声(例如，经由麦克风)输入咖啡店名“星巴克”并且车辆1的多媒体识别模块11仅部分地识别出“星○○”的语音输入时，用户模式分析服务器24(多媒体分析服务器)能够分析车辆当前位置的POI信息以及用户的消费模式信息，以便将语音输入估计为“星巴克”。当咖啡店在车辆的附近区域且消费模式指示用户经常出入这类店铺时，语音输入可被估计为“星巴克”。

在另一个示例中，当存在用户搜索过“世宗文化会馆”的历史记录且车辆1的多媒体识别模块11部分地识别出语音输入为“○○○○会馆”时，用户模式分析服务器24能够根据用户终端使用信息将语音输入估计和识别为“世宗文化会馆”。因此，能够分析车辆信息和用户模式信息以及用户输入信息，并更精确地估计和识别用户输入。

参考示例性实施例已对本发明进行了详细描述。然而本领域技术人员应认识到在不背离本发明的原理和精神的情况下能够在这些实施例中做出修改，本发明的保护范围由所附权利要求及其等同形式来限定。

Claims (15)

1.一种在车辆中提供信息的系统，其包括用于识别多媒体输入数据的多媒体识别系统，所述多媒体识别系统包括：

存储器，其配置成存储程序指令；以及

处理器，其配置成执行所述程序指令，所述程序指令当被执行时配置成：

经由多媒体中继服务器接收所述多媒体输入数据；

接收车辆信息；

从所述多媒体输入数据提取可识别信息并且从所提取的可识别信息检测部分识别结果信息；

收集包括移动终端用户信息、车辆终端使用信息和消费模式信息的用户模式信息；以及

分析所述部分识别结果信息、所述车辆信息和所述用户模式信息，来提取所述多媒体输入数据的最终识别结果并传输所提取的最终识别结果。

2.根据权利要求1所述的系统，其中所述多媒体输入数据包括语音输入、手写输入和图像输入中的任一种，并且其中经由手写输入设备输入手写输入信息；以及经由成像设备输入图像输入信息。

3.根据权利要求1所述的系统，其中所述程序指令当被执行时还配置成，当所述多媒体输入数据被识别为大于参考值的识别值时，将识别结果处理作为最终识别结果，并且当所述多媒体输入数据被部分识别为小于参考值的识别值时，接收所述多媒体输入数据。

4.根据权利要求1所述的系统，其中所述程序指令当被执行时还配置成分析所收集的车辆信息和所收集的用户模式信息，以便提取用于提供基于位置的服务(LBS)的分析结果或用于提供个性化信息服务的分析结果，并将所述分析结果传递到内容提供部，该内容提供部基于所述分析结果产生作为个人用户的定制信息的个性化信息，并将所述个性化信息传递到所述车辆，以便输出。

5.根据权利要求4所述的系统，其中所述车辆信息包括所述车辆的当前位置信息和所述车辆的当前位置周围的信息，并且所述车辆的当前位置周围的兴趣点(POI)信息用于提取所述多媒体输入数据的最终识别结果。

6.根据权利要求4所述的系统，其中作为所述用户模式信息的移动终端用户信息包括移动终端的全球定位系统(GPS)位置信息和包括搜索关键词在内的所述移动终端中的搜索信息中的任一种。

7.根据权利要求4所述的系统，其中作为所述用户模式信息的车辆终端使用信息包含包括搜索关键词在内的车辆终端中的搜索信息。

8.根据权利要求4所述的系统，其中作为所述用户模式信息的消费模式信息包括从信用卡信息提供部提供的信用卡交易信息。

9.根据权利要求8所述的系统，其中所述消费模式信息还包括从信用卡信息提供部提供的信用卡打折优惠信息。

10.一种在车辆中提供信息的方法，其包括用于识别多媒体输入数据的多媒体识别系统，所述多媒体识别方法包括：

响应于检测到语音输入，通过控制器比较识别值和参考值；

通过所述控制器提取关于所述车辆的当前位置的兴趣点(POI)信息；

通过所述控制器收集用户模式信息和移动终端使用信息；

通过所述控制器在数据库单元中存储和分析所收集的信息；

通过所述控制器分析部分识别结果信息和所收集的信息，以便估计所述语音输入的内容并将识别结果信息作为列表输出；以及

通过所述控制器显示语音识别结果。

11.根据权利要求10所述的方法，其中所述移动终端用户信息包括移动终端的全球定位系统(GPS)位置信息和包括搜索关键词在内的所述移动终端中的搜索信息中的任一种。

12.根据权利要求10所述的方法，其中所述用户模式信息包括从信用卡信息提供部提供的信用卡交易信息。

13.一种非瞬时性计算机可读介质，其包括由控制器执行的程序指令，所述计算机可读介质包括：

响应于检测到语音输入，比较识别值和参考值的程序指令；

提取关于车辆的当前位置的兴趣点(POI)信息的程序指令；

收集用户模式信息和移动终端使用信息的程序指令；

在数据库单元中存储和分析所收集的信息的程序指令；

分析部分识别结果信息和所收集的信息，以便估计所述语音输入的内容并将识别结果信息作为列表输出的程序指令；以及

显示语音识别结果的程序指令。

14.根据权利要求13所述的非瞬时性计算机可读介质，其中所述移动终端用户信息包括移动终端的全球定位系统(GPS)位置信息和包括搜索关键词在内的所述移动终端中的搜索信息中的任一种。

15.根据权利要求13所述的非瞬时性计算机可读介质，其中所述用户模式信息包括从信用卡信息提供部提供的信用卡交易信息。