CN104951272B - 用于应用控制的将所接收的图形命令和文本命令转换为语音命令的方法和装置 - Google Patents

用于应用控制的将所接收的图形命令和文本命令转换为语音命令的方法和装置 Download PDF

Info

Publication number
CN104951272B
CN104951272B CN201510132083.4A CN201510132083A CN104951272B CN 104951272 B CN104951272 B CN 104951272B CN 201510132083 A CN201510132083 A CN 201510132083A CN 104951272 B CN104951272 B CN 104951272B
Authority
CN
China
Prior art keywords
electronic equipment
order
user
instruction
computer system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510132083.4A
Other languages
English (en)
Other versions
CN104951272A (zh
Inventor
R.A.赫拉巴克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN104951272A publication Critical patent/CN104951272A/zh
Application granted granted Critical
Publication of CN104951272B publication Critical patent/CN104951272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification
    • G10L17/22Interactive procedures; Man-machine interfaces
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10Transforming into visible information
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems

Abstract

本申请涉及用于应用控制的将所接收的图形命令和文本命令转换为语音命令的方法和装置。提供了一种从车辆车载计算机系统的传输通信的方法。该方法通过用户界面接收图形用户命令;将该用户命令转换成语音指令;并且使用机器到机器(M2M)通信将所述语音指令传输给电子设备。

Description

用于应用控制的将所接收的图形命令和文本命令转换为语音 命令的方法和装置
技术领域
本文描述的主题的实施例总体涉及从计算机系统到电子设备的通信传输。更具体地,所述主题的实施例都涉及将输入转换为语音命令以从计算机系统传输到电子设备。
背景技术
车载计算机系统具有与外部电子设备,例如智能电话,交互的能力,从而在车辆内提供扩展功能。更确切地说,电子设备可给车载计算机系统提供执行和操作驻留在该电子设备上的可下载的软件应用(即,app)的能力。目前的车内控制装置没有提供与安装在电子设备上的app交互的方式。不过,车载计算机系统包括自然语言引擎,该自然语言引擎能添加关键字,例如,app的名称,并将通用的触觉控制变成语音命令。而且,越来越多的电子设备支持通过语音识别(VR)的app控制。
因此,期望提供一种在车载计算机系统和外部电子设备之间的通信的方法。另外,其它可取的特征和特点将从下面的具体描述和所附的权利要求并结合附图以及前面的技术领域和背景技术而变得易于理解。
发明内容
一些实施例提供了用于从车载计算机系统传输通信的方法。该方法通过用户界面接收图形用户命令;将该用户命令转换成语音指令;并且使用机器到机器(M2M)通信将该语音指令传输给电子设备。
一些实施例提供了用于执行机器到机器通信的车载系统。该系统包括电子设备,其被构造成激活并操作多个应用,其中所述应用驻留在该电子设备上;以及车辆计算机系统,其与该电子设备通信地联接,所述车载计算机系统包括: 用户界面,其被构造成接收与该电子设备相关联的用户输入指令;命令转换模块,其被构造成将所接收的用户输入转换成言语命令;以通信模块,其被构造成传输所述言语命令。
一些实施例提供了非瞬态、计算机可读介质,其上包含指令,该指令在被处理器执行时执行一种方法。该方法将图形用户指令翻译为与语音识别(VR)技术兼容的形式,以得到VR指令;以及将该VR指令通过机器到机器(M2M)通信传输到能实现VR的电子设备。
提供这个发明内容是以简化形式介绍所选的概念,这些概念将在具体实施方式中被进一步描述。这个发明内容不是用来确认所要求保护的主题的关键特征或必要特征,也不是用来辅助确定所要求保护的主题的范围。
本申请还提供了如下方案:
方案1. 一种用于从车载计算机系统传输通信的方法,所述方法包括:
通过用户界面接收图形用户命令;
将所述用户命令转换成语音指令;以及
使用机器到机器(M2M)通信将所述语音指令传输给电子设备。
方案2. 如方案1所述的方法,还包括:
在传输所述语音指令之前,激活所述电子设备的语音识别(VR)能力。
方案3. 如方案1所述的方法,还包括:
在将所述语音指令传输到所述电子设备之后,
响应于所述语音指令接收数据;以及
基于所接收的数据执行操作。
方案4. 如方案1所述的方法,还包括:
建立到所述电子设备的通信链路;
通过该通信链路接收所述电子设备的可应用命令列表;
构建包括该可应用命令列表的菜单;以及
在所述用户界面上显示该材料;
其中所述接收步骤通过该菜单接收图形用户命令。
方案5. 如方案1所述的方法,还包括:
从所述电子设备获得多个图形元素;以及
在所述用户界面上显示该多个图形元素;
其中所述接收步骤通过所述多个图形元素接收所述图形用户命令。
方案6. 如方案5所述的方法,还包括:
通过在所述用户界面上显示的所述多个图形元素接收多个选择;以及
基于所述多个选择建立所述图形用户命令。
方案7. 如方案1所述的方法,其中所述图形用户命令包括激活驻留在所述电子设备上的应用的指令。
方案8. 如方案7所述的方法,其中所述图形用户命令包括使用所述被激活的应用执行操作的第二指令。
方案9. 一种用于执行机器到机器通信的车载系统,该系统包括:
电子设备,其被构造成激活和操作多个应用,其中所述应用驻留在所述电子设备上;以及
车载计算机系统,其被通信联接到所述电子设备,所述车载计算机系统包括:
用户界面,其被构造成接收与该电子设备相关联的用户输入指令;
命令转换模块,其被构造成将所接收的用户输入转换成言语命令;以及
通信模块,其被构造成传输所述言语命令。
方案10.如方案9所述的系统,其中所述电子设备被构造成:
接收所传输的言语命令;
使用言语识别算法解译所述言语命令;
执行所解译的言语命令;以及
传输由被执行的言语命令产生的数据。
方案11. 如方案10所述的系统,其中,所述车载计算机系统还包括应用对应物模块,其被构造成:
接收所传输的由被执行的言语命令所产生的数据;以及
基于所传输的数据显示输出。
方案12. 如方案9所述的系统,其中所述用户界面还被构造成:
从被通信联接的所述电子设备获得多个图形元素;
显示所述多个图形元素;以及
通过所述多个图形元素接收所述用户输入。
方案13. 如方案9所述的系统,其中,所述用户输入指令包括激活驻留在所述电子设备上的所述多个应用中的其中一个的命令。
方案14. 如方案13所述的系统,其中,所述用户输入包括使用驻留在所述电子设备上的所述多个应用中的被激活的应用执行操作的第二命令。
方案15. 如方案9所述的系统,其中,所述通信模块还被构造成在传输所述言语命令之前激活所述电子设备的言语识别能力。
方案16.一种非瞬态、计算机可读介质,其上包含指令,该指令在被处理器执行时执行一种方法,所述方法包括:
将图形用户指令翻译成与语音识别(VR)技术兼容的形式,以获得VR指令;以及
通过机器到机器(M2M)通信将所述VR指令传输到能实现VR的电子设备。
方案17. 如方案16所述的非瞬态计算机可读介质,其中所述方法还包括:
在传输所述VR指令之后,
从所述能实现VR的电子设备接收结果数据;以及
显示所述结果数据。
方案18. 如方案16所述的非瞬态计算机可读介质,其中所述方法还包括:
在翻译所述用户指令之前,
从所述能实现VR的电子设备获得多个图形元素;
通过用户界面将所述多个图形元素显示给用户;以及
通过所述多个图形元素接收所述用户指令。
方案19. 如方案16所述的非瞬态计算机可读介质,其中所述方法还包括:
将菜单选项显示给所述用户;
通过所述图形元素接收对所述菜单选项的多个选择;以及
基于所述多个选择建立所述VR指令。
方案20. 如方案16所述的非瞬态计算机可读介质,其中所述用户指令包括:
执行在所述能实现VR的电子设备上的软件应用的第一命令;以及
使用被执行的软件应用执行特定操作的第二命令。
附图说明
通过参照具体实施方式和权利要求,并结合附图进行考虑,可得到对本主题的更全面的理解,在各附图中相同的附图标记表示相似的元件。
图1是根据所公开的实施例的在车载计算机系统和电子设备之间传输通信的系统的简图;
图2是根据实施例的包括车载计算机系统的车辆的功能框图;
图3是说明了用于从车载计算机系统传输通信的过程的实施例的流程图;以及
图4是说明了用于在用户界面处接收图形用户命令的过程的实施例的流程图。
具体实施方式
下面的具体描述本质上仅仅是示例性的,并非用于限制本主题的实施例或者这些实施例的应用和使用。在本文使用时,词语“示例性”表示“用作示例、例子或说明”。本文描述的任何示例性的实施方式都不一定被理解为相比其它实施方式是优选的或有利的。而且,并不意在受在前面的技术领域、背景技术、发明内容或者后面的具体实施方式中出现的任何明示或暗示的理论的约束。
本文给出的主题是关于车载计算机系统用于执行与被通信联接的电子设备的机器到机器(M2M)通信的方法。车载计算机系统被构造成将所接收的用户输入转换成与语音识别(VR)技术兼容的命令,将VR命令传输到能实现VR或兼容VR的电子设备,并且使用所述VR命令在兼容性电子设备上激活并操作可下载的软件应用(即,app)。与被激活的app相关联的功能可通过该车载计算机系统被提供。
出于解释的目的,语音或言语识别可被定义为处理器或程序接收、理解、和实施口头命令的能力。当在本文中使用时,术语“语音识别”和“言语识别”可被互换地使用,并且代表任何兼容VR的技术。另外,术语“语音命令”、“语音指令”、“言语命令”、“言语指令”、和“VR命令”在本文中被可互换地使用。
现在参照附图,图1是根据所公开的实施例的在车载计算机系统104和电子设备106之间传输通信的系统100的简图。如所示,车辆102具有与电子设备106通信的车载计算机系统104。车辆102可以是数种不同类型的汽车(轿车、货车、卡车、摩托车、运动型多用途车、封闭厢式汽车等)、航空工具(例如飞机、直升机等)、水上工具(船、轮船、摩托艇等)、火车、全地形车辆(雪地汽车、四轮车等)、军用车辆(多用途轮式车辆、坦克、卡车等)、救援车(消防车、云梯消防车、警车、紧急医疗服务卡车和救护车等)、航天器、气垫船等中的任一种。
可使用任何数量(包括仅一个)的车辆102的车载电子控制模块来实施车载计算机系统104。车载计算机系统104包括各种不同的信息和/或娱乐(即,娱乐信息)系统部件,这些部件出于清楚原因没有在图1中示出,例如一个或多个端口(例如,USB端口)、一个或多个蓝牙界面、输入/输出设备、一个或多个显示器、一个或多个声音系统、一个或多个无线电系统、和导航系统。在一个实施例中,输入/输出设备、显示器、和声音系统一起提供该车辆内的人机界面(HMI)。
车载计算机系统104被构造成与电子设备106通信。电子设备106可通过任何类型的通信链路被通信地联接,通信链路包括但不限于有线通信链路,例如USB连接,或无线通信链路,例如蓝牙通信链路或WLAN通信链路等。电子设备106可以是消费者电子设备(例如便携式无线通信设备或智能手机),该设备可位于车载计算机系统104内与在车载计算机系统104的通信范围内。电子设备106通常被实施为个人计算设备,例如,但不限于: 智能手机、平板电脑、笔记本电脑、智能手表等。
在典型的操作期间,电子设备106可通过使用驻留在电子设备106上的可下载的软件应用(也称为app)连接到车载计算机系统104并为其提供扩展功能。在某些实施例中,车载计算机系统104从电子设备106接收图形元素(包括图像、菜单、用户可选择的选项等)以及相关联的数据(包括由用户输入产生的功能)。而且,车载计算机系统104可通过显示器将所接收的图形元素和数据展示给用户。在一些实施例中,车载计算机系统104从电子设备106接收与特定app相关联的可识别命令。在这种情形下,车载计算机系统104建立并提供所接收命令的菜单系统,而不是从电子设备106接收图形元素。
在某些实施例中,电子设备106也可通过通常与移动计算设备相关联的无线通信链路提供到车载计算机系统104的互联网路径。可使用任何已知的或后来开发的无线通信或无线电技术来实施用于实施这些无线通信链路的物理层。在一些实施例中,例如可使用下列中的一个或多个来实施该无线通信链路:专用短程通信(DSRC)技术、蜂窝无线电技术、基于卫星的技术、无线局域网络(WLAN)或WI-FI技术,例如在IEEE 802.x标准(例如,IEEE802.11或IEEE 802.16)中具体规定的那些、WIMAX、BLUETOOTH、近场通信(NFC)等,或者它们的改进。
图2是根据实施例的包括车载计算机系统202的车辆200的功能框图。应该指出,车载计算机系统202可由图1中描述的车载计算机系统104实施。在这方面,车载计算机系统202更具体地显示出车载计算机系统104的某些元件和部件。如所描述的,车载计算机系统202包括但不限于: 处理器架构204、系统存储器206、用户界面208、通信模块210、应用对应物模块212和命令转换模块214。车载计算机系统202的这些元件和特征可在操作上彼此关联、彼此联接或者以其它方式被构造成在需要时彼此协作以支持期望的功能——尤其是,将用户指令转换成语音命令以传输到语音识别(VR)兼容性(即、能实现VR的)电子设备,如本文所述。为了便于说明和清楚,这些元件和特征的各种物理的、电的、和逻辑的联接和互连没有描述在图2中。而且,应该意识到,车辆车载计算机系统202的实施例将包括其他的元件、模块、和特征,它们协作以支持期望的功能。为简单起见,图2仅描述了与下面要更具体地描述的技术有关的某些元件。
处理器架构204可用一个或多个通用目的处理器、内容可寻址存储器、数字信号处理器、专用集成电路、现场可编程门阵列、任何合适的可编程逻辑设备、离散的门或晶体管逻辑、离散的硬件部件、或者被设计成执行这里所描述的功能的任何组合来实施或执行。具体而言,处理器架构204可被实现为一个或多个微处理器、控制器、微控制器、或状态机。而且,处理器架构204可被实施为计算设备的组合,例如数字信号处理器和微处理器的组合、多个微处理器、与数字信号处理器芯联合的一个或多个微处理器、或者任何其它的此类构造。
系统存储器206可使用任意数量的设备、部件、或模块来实现,视本实施例的情况而定。而且,车辆车载计算机系统202可包括集成在其内的系统存储器206和/或与其操作联接的系统存储器206,视具体实施例的情况而定。实践中,系统存储器206可被实施为RAM存储器、闪存、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移除磁盘、或本领域已知的任何其他形式的存储介质。在某些实施例中,系统存储器206包括硬盘,其也可被用于支持车载计算机系统202的功能。系统存储器206可被联接到处理器架构204使得处理器架构204可从系统存储器206读取以及向系统存储器206写入信息。在另一变型中,系统存储器206可集成到处理器架构204。作为示例,处理器架构204和系统存储器106可存在于适当设计的专用集成电路(ASIC)中。
用户界面208可包括各种特征或与该特征协作以允许用户与车载计算机系统202交互。因此,用户界面208可包括各种人机界面,例如小键盘、按键、键盘、按钮、开关、旋钮、触摸板、操纵杆、定位设备、虚拟写字板、触屏、麦克风、或任何能够使用户选择选项、输入信息、或以其它方式控制车载计算机系统202的操作的设备、部件或功能。例如,用户界面208可由操作者操纵以选择图像捕获软件应用,并且通过该图像捕获软件应用为多个车载摄像机构造操作参数,如上面所述。
通信模块210被合适地构造成在车载计算机系统202和外部电子设备之间通信数据(见,例如图1)。如下面更具体地描述的,通信模块210所接收的数据包括但不限于: 从电子设备通信的用于通过车载计算机系统202的用户界面208显示的电子设备的可应用app命令的列表、与可应用app命令相关联的图形元素、和/或与特定的app相关联的数据,这包括各种菜单和功能。该通信模块所提供的数据可包括但不限于: 用户输入指令,这包括app执行命令和app操作命令(例如,菜单选择等)。
应用对应物模块212被合适地构造成基于从电子设备接收的数据通过车载计算机系统202产生图形界面。所产生的图形界面提供了用户与电子设备上的一个或多个app交互的结构。例如,用户可在车载计算机系统202上操纵所产生的图形界面以打开、操作、执行在该电子设备上的一个或多个app的命令或者以其它方式与这些app通信。在典型的操作期间,车载计算机系统202通过接收用户输入并且将其传输给电子设备以及从该电子设备接收数据并将其展示给用户来作为用户和电子设备之间的中间人。应用对应物模块212建立了界面以通过用户界面208接收图形用户命令、将该用户命令传输给电子设备、以及使用被传输的用户命令控制该电子设备上的app。应用对应物模块212使用从电子设备接收的数据建立该图形用户界面,其可包括图形元素和/或在构建的菜单中使用的可应用命令的列表。在一些实施例中,所建立的界面可包括与在该电子设备上通过车载计算机系统202正被访问的对应app的那些图形元素类似或一致的图形元素。在一些实施例中,所建立的界面可包括与该电子设备上正被访问的对应app的那些图形元素不同的图形元素。
命令转换模块214被构造成将所接收的用户输入指令转换为语音命令。所接收的用户命令是图形命令或文本命令,该命令是通过在图形用户界面上的选择而建立的,该界面可包括用户可选择的选项的菜单和子菜单。这种图形/文本命令被翻译成言语或语音指令,或者换句话说,被转换成与语音识别(VR)技术兼容的命令。命令转换模块214可利用本领域公知公用的言语合成技术中的任一种,来包括文本-言语的转换、字形-音位的转换等。
图3是说明用于从车载计算机系统传输通信的过程300的实施例的流程图。与过程300相关地被执行的各种任务可由软件、硬件、固件、或它们的任意组合来执行。为了说明目的,对过程300的下列描述可能涉及上面在图1-2中所提及的元件。1-2.实际上,过程300的多个部分可由所描述的系统的不同的元件执行。应该意识到,过程300可包括任意数量的额外的或替换的任务,在附图3中示出的任务不一定按照图示的顺序被执行,并且过程300可包含在更综合的程序或过程中,其具有未在本文中具体描述的额外功能。而且,在附图3中示出的任务中的一个或多个可从过程300的实施例被省略,只要所想要的整个功能保持完整。
为了方便描述以及清楚,这个示例假设过程300开始于通过用户界面接收图形用户命令(步骤302)。如关于车载计算机系统的应用对应物模块所描述的,过程300接收在用户界面处使用由电子设备提供的图形元素和/或由车载计算机系统构建的菜单输入的用户指令。在某些实施例中,用户命令包括激活(即,执行)电子设备上的软件应用的指令,并且在一些实施例中,该用户命令包括使用被激活的软件应用执行操作的第二指令。用户命令还可包括关于特定app的功能的其它指令,例如菜单选择、用户可选择的选项等。下面参照图4描述用于通过用户界面接收用户命令的一个合适的方法。
接着,过程300将图形/文本用户命令转换成语音指令(步骤304)。该过程利用本领域已知的转换技术,并且在该转换被执行后,人言语形式的语音指令就被建立。通常,过程300利用本领域熟知的言语合成技术,例如,文本-言语转换、字形-音位转换、文本-音位转换、字素-音位转换等。
在将图形用户命令转换成语音指令(步骤304)之后,过程300使用机器到机器(M2M)通信将该语音指令传输到电子设备(步骤306)。这里,语音指令主要是由计算机系统建立,并由该计算机系统传输到电子设备,以由该电子设备解译和执行。该传输可通过到具有语音识别(VR)能力的电子设备的有线或无线通信链路来执行。在一些实施例中,在传输语音指令之前,过程300可首先激活电子设备的语音识别(VR)能力,也称为言语识别能力。合适的电子设备具有接收和解译语音命令的能力,这包括执行和操作可下载的软件应用(即,app)的能力。
过程300此后响应于该语音指令来接收数据(步骤308)。一旦激活app的语音命令被传输后,该语音命令就被接收、解译和执行。该app打开并传输与该打开的app相关联的数据,包括该打开的app的图形元素,到车载计算机系统以进行显示。在一些实施例中,上述图形元素可匹配该电子设备上可见的与该app相关联的图形元素。不过,在一些实施例中,该图形元素可因该打开的app而不同于在该电子设备可见的图形元素,但这些图形元素仍与该app相关联。而且,该app被打开以执行一个或多个特定的功能。一旦该app已经被执行,额外的指令就可被接收、转换、并传输到该电子设备,在那里这些额外的指令被执行。该app执行了所命令的操作并且将产生的数据传输给车载计算机系统以展示给用户。从所命令的操作产生的数据取决于被操纵的特定的app。例如,当过程300执行并与社会媒体app交互时,所产生的数据可包括从用户联系人列表、时尚话题、私人或公众消息发送、搜索结果、和与该特定社会媒体app相关联的任何其它能力的新闻递送和/或实时更新列表。
在响应于语音指令接收数据(步骤308)之后,过程300基于所接收的数据执行操作(步骤310)。这里,过程300接收由该用户要求的信息并且通过车载计算机系统展示该数据。例如,关于导航app,过程300通过车载计算机系统接收并展示地图的视觉表示、路线指引、或者接收和展示该导航app的其它功能。在另一示例中,关于互联网收音机app,过程300根据之前输入的用户输入,通过该车载计算机系统接收和播放音乐。
大体上,过程300接收打算在电子设备上被使用的用户输入、将该用户输入翻译成与该电子设备兼容的言语命令、将该兼容的言语命令传输给该电子设备、并且基于所传输的言语命令从该电子设备接收和展示输出。例如,当使用基于互联网的收音机app时,过程300可接收执行指令、将该执行指令转换成语音命令以执行该收音机app,并且将该语音命令传输到电子设备,在那里该语音命令被解译并且此后该收音机app基于该解译的语音命令被执行。此后车载计算机系统接收和显示与该被执行的收音机app相关联的图形元素,以显示给用户。此后过程300可通过与该被执行的收音机app相关联的图形元素接收对应该收音机app的各种操作命令的额外指令,这些图形元素由车载计算机系统显示器显示。这些被接收的额外指令此后被转换成语音命令,并且被传输到该电子设备。该电子设备接收、解译、并执行该语音命令。在这个示例中,该额外语音命令与互联网无线电台app的额外功能相关联,这些功能可包括选择特定无线电台、艺术家、歌曲等。另外,电子设备将被执行的言语命令产生的数据传输给车载计算机系统。当被执行的言语命令是激活并操作互联网无线电台app时,这个数据可包括音乐数据。在其它的实施例中,由被执行的言语命令产生的数据可包括其它类型的数据,其中包括导航数据、社会媒体数据、和由驻留在该电子设备上的app的激活和操作产生的任何其它数据。
在另一示例中,当过程300在车载计算机系统的用户界面接收到命令时,导航app被打开。出于该示例的目的,该导航app驻留在与该车载计算机系统通信联接的电子设备上。所接收到的命令是打开,或者换句话说,是激活该导航app。过程300将所接收的执行命令转换成语音命令并且将该语音命令传输到该电子设备以进行解译和执行。一旦该导航app被激活,车载计算机系统就接收和显示与该被执行的导航app相关联的图形元素,以显示给用户。过程300此时可接收与该导航app的各种操作命令相对应的额外指令。这些被接收的额外指令被转换成语音命令,并且此后被传输到该电子设备。该电子设备接收、解译并执行该语音命令,该语音命令可包括与导航app相关联的标准操作,例如路线指引、在地图上标注等。
尽管之前的示例说明了使用与电子设备通信的车载计算机系统实时本发明,但是应该意识到,任何与电子设备通信的计算机系统都可被使用。这样的计算机系统可包括个人电脑(PC)、移动计算设备(例如,平板电脑、智能手机、个人数码助手等)、“智能”电视、“可穿戴设备”(例如,蓝牙耳机、智能手表)等。
图4是说明了用于在用户界面处接收用户命令的过程400的实施例的流程图。应该意识到,图4中描述的过程400代表了上面在图3的讨论中描述的步骤302的一个实施例,包括额外的细节。第一,过程400建立了与电子设备的连接(步骤402)。一般而言,用户将该电子设备连接到车载计算机系统,并且该连接可包括有线或无线通信链路。
在连接到该电子设备(步骤402)之后,过程400使用已建立的连接从该电子设备获得了多个图形元素(步骤404),并且过程400此后在该车载计算机系统的用户界面处显示该多个图形元素(步骤406)。所显示的图形元素可包括一个或多个图形用户界面,还包括图像、图标、超链接、菜单、用户可选择的选项、和其它被显示的特征,用户通过所述特征可与驻留在该电子设备上的app交互。不过,在某些实施例中,过程400从该电子设备接收了命令列表,并构建了菜单以显示给用户。该菜单或图形元素可反映显示在该电子设备的屏幕上的同样视觉品质中的一些,或者该菜单或图形元素可包括不同的视觉品质。
接着,过程400通过该多个图形元素接收多个选择(步骤408),并且基于该多个选择建立了用户命令(步骤410)。该多个选择可从与被接收的图形元素,或者基于所接收的可应用命令列表被构建的菜单交互的用户接收。一旦被接收,过程400就将该多个选择翻译或转换成语音命令以传输给该电子设备。例如,当过程400连接到电子设备以打开互联网收音机app并与之交互时,过程400可首先接收包括可获得的app的图形元素以进行选择和激活。过程400此后从用户接收选择,该选择指示要执行的特定的互联网收音机app。在打开所选择的互联网收音机app之后,过程400可接收图形元素,该图形元素包括用户可选择的无线电台、音乐流派、艺术家、歌曲等的菜单。过程400此后从用户接收一个或多个额外选择,这可包括例如第一选择是古典音乐流派并且然后第二选择是特定的古典音乐台。在这种情况下,过程400建立了用户指令以打开于该互联网收音机app,选择古典音乐流派,并选择特定的古典音乐台以播放音乐。使用三个所接收的选择建立了用户命令,并且过程400返回到图3所示的方法,并且将所建立的用户命令转换成语音命令以进行传输。
在另一示例中,当过程400连接到电子设备以打开互联网收音机app并与之交互时,过程400可首先接收包括可获得的app的可应用命令列表以进行选择和激活。过程400使用所接收的数据构建了菜单,并且将该菜单(包括可应用的选择/执行命令)显示给用户。过程400此后通过所构建的菜单从用户接收选择,该选择指示要执行的特定的导航app。在打开所选择的导航app之后,过程400可接收可应用到该导航app的另一命令列表,并且构建包括这些选择的另一菜单。这些选择可包括用户可选择的选项:路线指引、路线细节、观看大地图、交通信息等。过程400此后从用户接收一个或多个额外选择,这可包括例如第一选择是用于地图标注的第一路线并且然后第二选择是沿着之前所选的路线的交通信息。在这种情况下,过程400建立了用户指令以打开该导航app,选择特定的路线以进行地图标注,并且选择该特定路线的交通信息。这里再一次,使用三个所接收的选择建立了用户命令,并且过程400返回到图3所示的方法,并且将所建立的用户命令转换成语音命令以传输给该电子设备。
技艺和技术在本文中可能是在功能和/或逻辑框部件的方面以及参照可由不同的计算部件或设备执行的操作、处理任务、和功能的符号表示被描述的。这种操作、认为和功能有时被称为被计算机执行、计算、软件实施、或计算机实施。实践中,一个或多个处理器设备可通过在系统存储器中的存储器位置处操纵代表数据位的电信号,以及其它的信号处理来实现所描述的操作、任务和功能。数据位被维持的存储器位置是具有对应该数据位的特定电的、磁的、光的、或其它性质的物理位置。但是,应该意识到附图中示出的各种不同的框部件可以任何数量的构造成执行具体说明的功能的硬件、软件和/或固件部件实现。例如,系统或部件的一个实施例可采用各种集成电路部件,例如内存元件、数字信号处理元件、逻辑元件、查询表等,这可在一个或多个微处理器或其它控制设备的控制下执行多种功能。
当在软件或固件中实施时,本文描述的系统的各种元件基本上是执行各种任务的代码段或指令。程序或代码段可被存储在处理器可读的介质中或通过传输介质或通信路径由包含在载波中的计算机数据信号传输。“计算机可读介质”、“处理器可读介质”或“机器可读介质”可包括能存储或转移信息的任何介质。处理器可读介质的示例包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光学纤维介质、射频(RF)链接等。计算机数据信号可包括能通过传输介质,例如电子网络信道、光纤、空气、电磁路径、RF链接,传播的任何信号。代码段可通过计算机网络被下载,例如因特网、内联网、LAN等。
为了简要起见,与信号处理、数据传输、信号发送、网络控制和该系统(和该系统的各个操作部件)的其它功能方面有关的传统技术可能在本文中没有被具体描述。另外,在本文中包含的各个附图中示出的连接线被用于代表各种元件之间的示例功能关系和/或物理联接。应该注意到,在本主题的实施例中可存在许多替换的或附加的功能关系或物理连接。
本说明书中描述的功能单元中的一些已经被称为“模块”以更加格外地强调它们的实施独立性。例如,在本文中被称为模块的功能可被整体地或部分地实施为硬件电路,该硬件电路包括定做的VLSI电路或门阵列、非定制的半导体例如逻辑芯片、晶体管、或其它离散的部件。模块还可被实施在可编程硬件设备中,例如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等。
模块还可被实施在软件中以由各种类型的处理器执行。一个被标出的可执行代码的模块可例如包括一个或多个物理的或逻辑的计算机指令模块,这些模块可例如被组织为物体、程序或功能。不过,一个被标出的模块的可执行文件不一定被物理地定位在一起,而且可包括存储在不同的位置的离散的指令,这些指令在被逻辑地联合后构成了该模块并且实现了该模块的所述目的。
确切地说,可执行代码的模块可以是单个指令,或者多个指令,并且甚至可被分布在若干个不同的代码片段中、分布在不同的程序中、以及分布在若干存储器设备中。类似地,操作数据可以任何合适的形式被实施以及在任何合适类型的数据结构中被组织。操作数据可被集合为单个数据组,或者可被分布在不同的位置中,这包括分布在不同的存储设备上,并且可至少部分地仅作为电子信号存在于系统或网络上。
虽然已经在前面的具体描述中给出了至少一个示例性实施例,但应当意识到存在大量的变型。还应意识到,本文描述的一个或多个示例性实施例决不是用来限制所要求保护的主题的范围、应用性、或构造。更确切地说,前面的具体描述将给本领域技术人员提供用于实施所描述的一个或多个示例性实施例的方便的路线图。应该理解,在不脱离由权利要求限定的范围的情况下,可对元件的功能和布置进行各种改变,这包括在提交本专利申请时已知的等同方式和可预见的等同方式。

Claims (19)

1.一种用于从车载计算机系统传输通信的方法,所述方法包括:
建立到电子设备的通信链路,所述电子设备包括至少一个软件应用;
通过该通信链路接收所述电子设备的可应用命令列表,所述可应用命令列表包括用于所述至少一个软件应用的控制命令;
构建包括该可应用命令列表的菜单;
在所述车载计算机系统的用户界面上显示该菜单;
通过所述用户界面的所述菜单接收图形用户命令,所述图形用户命令包括用户选择的所述可应用命令列表中的至少一个命令;
将所述图形用户命令转换成语音指令;以及
使用机器到机器通信将所述语音指令传输给所述电子设备。
2.如权利要求1所述的方法,还包括:
在传输所述语音指令之前,激活所述电子设备的语音识别能力。
3.如权利要求1所述的方法,还包括:
在将所述语音指令传输到所述电子设备之后,
响应于所述语音指令接收数据;以及
基于所接收的数据执行操作。
4.如权利要求1所述的方法,还包括:
从所述电子设备获得多个图形元素;以及
在所述用户界面上显示该多个图形元素,所述菜单包括所述多个图形元素,并且所述多个图形元素代表所述可应用命令列表;
其中通过所述多个图形元素接收所述图形用户命令。
5.如权利要求4所述的方法,还包括:
通过在所述用户界面上显示的所述多个图形元素接收多个选择;以及
基于所述多个选择建立所述图形用户命令。
6.如权利要求1所述的方法,其中所述图形用户命令包括激活驻留在所述电子设备上的所述至少一个软件应用的指令。
7.如权利要求6所述的方法,其中所述图形用户命令包括使用被激活的所述至少一个软件应用执行操作的第二指令。
8.一种用于执行机器到机器通信的车载系统,该系统包括:
电子设备,其被构造成激活和操作多个软件应用,其中所述软件应用驻留在所述电子设备上;以及
车载计算机系统,其被通信联接到所述电子设备,所述车载计算机系统包括:
应用对应物模块,其被构造成:从所述电子设备接收与所述多个软件应用相关的数据;以及
产生图形界面以用于用户与驻留在所述电子设备上的所述多个软件应用的交互;
用户界面,其被构造成:显示所述图形界面;并且通过所述图形界面接收与驻留在该电子设备上的所述多个软件应用中的至少一个的控制相关联的用户输入指令;
命令转换模块,其被构造成将所接收的用户输入指令转换成与语音识别技术相兼容的言语命令;以及
通信模块,其被构造成向所述电子设备传输所述言语命令以由所述电子设备执行。
9.如权利要求8所述的系统,其中所述电子设备被构造成:
接收所传输的言语命令;
使用言语识别算法解译所述言语命令;
执行所解译的言语命令;以及
传输由被执行的言语命令产生的数据。
10.如权利要求9所述的系统,其中,所述车载计算机系统还包括应用对应物模块,其被构造成:
接收所传输的由被执行的言语命令所产生的数据;以及
基于所传输的数据显示输出。
11.如权利要求8所述的系统,其中所述用户界面还被构造成:
从被通信联接的所述电子设备获得多个图形元素;
显示所述多个图形元素;以及
通过所述多个图形元素接收所述用户输入。
12.如权利要求8所述的系统,其中,所述用户输入指令包括激活驻留在所述电子设备上的所述多个软件应用中的其中一个的命令。
13.如权利要求12所述的系统,其中,所述用户输入包括使用驻留在所述电子设备上的所述多个应用中的被激活的应用执行操作的第二命令。
14.如权利要求8所述的系统,其中,所述通信模块还被构造成在传输所述言语命令之前激活所述电子设备的言语识别能力。
15.一种用于车载计算机系统的非瞬态计算机可读介质,其上包含指令,该指令在被处理器执行时执行一种方法,所述方法包括:
建立所述车载计算机系统和包括至少一个软件应用的电子设备之间的通信链路;
由所述车载计算机系统通过所述通信链路接收用于所述至少一个软件应用的多个控制命令;
由所述车载计算机系统的用户界面展示与所述多个控制命令相关联的多个图形元素;
通过所述用户界面的所述多个图形元素接收图形用户命令,所述图形用户命令包括用户选择的所述多个控制命令中的至少一个;
将所述图形用户指令翻译成与语音识别技术兼容的形式,以获得语音识别指令;以及
通过机器到机器通信将所述语音识别指令传输到能实现语音识别的电子设备,所述电子设备包括所述能实现语音识别的电子设备。
16.如权利要求15所述的非瞬态计算机可读介质,其中所述方法还包括:
在传输所述语音识别指令之后,
从所述能实现语音识别的电子设备接收结果数据;以及
显示所述结果数据。
17.如权利要求15所述的非瞬态计算机可读介质,其中所述方法还包括:
在翻译所述图形用户指令之前,
从所述能实现语音识别的电子设备获得多个图形元素;
通过用户界面将所述多个图形元素显示给用户;以及
通过所述多个图形元素接收所述图形用户指令。
18.如权利要求17所述的非瞬态计算机可读介质,其中所述方法还包括:
将菜单选项显示给所述用户;
通过所述多个图形元素接收对所述菜单选项的多个选择;以及
基于所述多个选择建立所述语音识别指令。
19.如权利要求15所述的非瞬态计算机可读介质,其中所述用户指令包括:
执行在所述能实现语音识别的电子设备上的软件应用的第一命令,所述至少一个软件应用包括所述软件应用;以及
使用被执行的所述软件应用执行特定操作的第二命令。
CN201510132083.4A 2014-03-25 2015-03-25 用于应用控制的将所接收的图形命令和文本命令转换为语音命令的方法和装置 Active CN104951272B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/225238 2014-03-25
US14/225,238 US9368119B2 (en) 2014-03-25 2014-03-25 Methods and apparatus to convert received graphical and/or textual user commands into voice commands for application control

Publications (2)

Publication Number Publication Date
CN104951272A CN104951272A (zh) 2015-09-30
CN104951272B true CN104951272B (zh) 2018-12-14

Family

ID=54066936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510132083.4A Active CN104951272B (zh) 2014-03-25 2015-03-25 用于应用控制的将所接收的图形命令和文本命令转换为语音命令的方法和装置

Country Status (3)

Country Link
US (1) US9368119B2 (zh)
CN (1) CN104951272B (zh)
DE (1) DE102015103215A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10733235B2 (en) 2015-06-09 2020-08-04 Patricia Henery Aid for dyslexic readers
CN105912297A (zh) * 2016-04-15 2016-08-31 北京小米移动软件有限公司 输入模式的切换方法和装置
US11205421B2 (en) * 2017-07-28 2021-12-21 Cerence Operating Company Selection system and method
CN108597524B (zh) * 2018-05-02 2021-03-19 福建省汽车工业集团云度新能源汽车股份有限公司 一种汽车人声识别提示装置及方法
CN108880786A (zh) * 2018-05-29 2018-11-23 贵州黔驰信息股份有限公司 一种用于电网调度的控制指令传输方法
CN110795170A (zh) * 2018-08-02 2020-02-14 珠海金山办公软件有限公司 一种交互信息处理的方法、装置、计算机存储介质及终端
CN111292736A (zh) * 2018-12-06 2020-06-16 北京京东尚科信息技术有限公司 信息处理方法、系统、电子设备和计算机可读介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6240347B1 (en) * 1998-10-13 2001-05-29 Ford Global Technologies, Inc. Vehicle accessory control with integrated voice and manual activation
CN1762116A (zh) * 2003-03-17 2006-04-19 皇家飞利浦电子股份有限公司 用于遥控音频装置的方法
CN101217584A (zh) * 2008-01-18 2008-07-09 同济大学 可用于汽车的语音命令控制方法及系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5890122A (en) * 1993-02-08 1999-03-30 Microsoft Corporation Voice-controlled computer simulateously displaying application menu and list of available commands
US6499015B2 (en) * 1999-08-12 2002-12-24 International Business Machines Corporation Voice interaction method for a computer graphical user interface
KR100426335B1 (ko) * 2000-04-06 2004-04-03 주식회사 한스텝 어플리케이션 프로그램에 의한 완구 작동 시스템
US7027975B1 (en) * 2000-08-08 2006-04-11 Object Services And Consulting, Inc. Guided natural language interface system and method
US7099829B2 (en) * 2001-11-06 2006-08-29 International Business Machines Corporation Method of dynamically displaying speech recognition system information
US20080154602A1 (en) * 2004-05-05 2008-06-26 Omega Engineering, Inc. Speech generating means for use with signal sensors
US7443962B2 (en) * 2003-11-03 2008-10-28 Microsoft Corporation System and process for speaking in a two-way voice communication without talking using a set of speech selection menus
JP2007052397A (ja) * 2005-07-21 2007-03-01 Denso Corp 操作装置
US8977255B2 (en) * 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8099289B2 (en) * 2008-02-13 2012-01-17 Sensory, Inc. Voice interface and search for electronic devices including bluetooth headsets and remote systems
US8126435B2 (en) * 2008-05-30 2012-02-28 Hewlett-Packard Development Company, L.P. Techniques to manage vehicle communications
JP5548541B2 (ja) * 2010-07-13 2014-07-16 富士通テン株式会社 情報提供システムおよび車載装置
KR20120020853A (ko) * 2010-08-31 2012-03-08 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP5234160B2 (ja) * 2011-03-23 2013-07-10 株式会社デンソー 車両用装置および情報表示システム
US9295082B2 (en) * 2011-04-27 2016-03-22 At&T Mobility Ii Llc Distributed machine-to-machine connectivity
US9162574B2 (en) * 2011-12-20 2015-10-20 Cellco Partnership In-vehicle tablet
US8948352B2 (en) * 2012-05-21 2015-02-03 Ivy Corp. Multi-channel interactive message response system
US9058815B2 (en) * 2012-11-30 2015-06-16 General Electric Company System. apparatus, and method for interfacing workflow instructions
KR101399292B1 (ko) * 2012-12-07 2014-05-27 전남대학교산학협력단 Sns를 이용한 사물통신 시스템, 방법 및 그 사물통신 서버
KR102141116B1 (ko) * 2013-08-05 2020-08-04 삼성전자주식회사 음성 대화 서비스를 지원하는 인터페이스 장치 및 방법
US9396437B2 (en) * 2013-11-11 2016-07-19 Mera Software Services, Inc. Interface apparatus and method for providing interaction of a user with network entities

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6240347B1 (en) * 1998-10-13 2001-05-29 Ford Global Technologies, Inc. Vehicle accessory control with integrated voice and manual activation
CN1762116A (zh) * 2003-03-17 2006-04-19 皇家飞利浦电子股份有限公司 用于遥控音频装置的方法
CN101217584A (zh) * 2008-01-18 2008-07-09 同济大学 可用于汽车的语音命令控制方法及系统

Also Published As

Publication number Publication date
US20150279367A1 (en) 2015-10-01
US9368119B2 (en) 2016-06-14
DE102015103215A1 (de) 2015-10-01
CN104951272A (zh) 2015-09-30

Similar Documents

Publication Publication Date Title
CN104951272B (zh) 用于应用控制的将所接收的图形命令和文本命令转换为语音命令的方法和装置
US9696542B2 (en) Input device disposed in handle and vehicle including the same
US9736679B2 (en) System for controlling a vehicle computer using a mobile telephone
KR102388992B1 (ko) 단일 음향 모델 및 자동 악센트 검출로 텍스트 규칙 기반 멀티-악센트 음성 인식
CN105989841B (zh) 车载语音控制方法及装置
CN104011504B (zh) 用于基于待办事项的导航的方法、系统和设备
CN103617795A (zh) 一种车载语音识别控制方法及系统
CN102006373A (zh) 基于语音命令控制的车载服务系统及方法
CN106574846A (zh) 飞行器用的人机界面装置
US20130325474A1 (en) Speech recognition adaptation systems based on adaptation data
CN104691444A (zh) 一种基于电动汽车的车载终端和车载终端系统
JP2012213132A (ja) 車両用装置および情報表示システム
US20130325459A1 (en) Speech recognition adaptation systems based on adaptation data
CN102945120B (zh) 一种基于儿童应用中的人机交互辅助系统及交互方法
US20180009316A1 (en) Vehicle-user human-machine interface apparatus and systems
WO2022062491A1 (zh) 一种基于智能座舱的车载智能硬件管控方法和智能座舱
Landau et al. A system architecture for hands-free uav drone control using intuitive voice commands
CN112051748A (zh) 智能家居车载控制方法、装置、设备以及存储介质
US11270700B2 (en) Artificial intelligence device and method for recognizing speech with multiple languages
CN105711523B (zh) 车载智能终端、系统及信息共享方法
CN109840118A (zh) 车载软件系统
CN107478243A (zh) 导航方法、装置、设备及计算机可读存储介质
JP5986468B2 (ja) 表示制御装置、表示システム及び表示制御方法
CN111681658A (zh) 车载app的语音控制方法和装置
CN105984406A (zh) 车载终端数据处理、配置车载终端参数的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant