CN104050967A - 语音接口系统和方法 - Google Patents
语音接口系统和方法 Download PDFInfo
- Publication number
- CN104050967A CN104050967A CN201410089906.5A CN201410089906A CN104050967A CN 104050967 A CN104050967 A CN 104050967A CN 201410089906 A CN201410089906 A CN 201410089906A CN 104050967 A CN104050967 A CN 104050967A
- Authority
- CN
- China
- Prior art keywords
- data
- voice
- computing device
- user
- mobile computing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000004891 communication Methods 0.000 claims description 46
- 238000003058 natural language processing Methods 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 9
- 235000013305 food Nutrition 0.000 claims description 4
- 230000006855 networking Effects 0.000 claims description 2
- 230000015654 memory Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 230000000712 assembly Effects 0.000 description 7
- 238000000429 assembly Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000007906 compression Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000005674 electromagnetic induction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 240000004859 Gamochaeta purpurea Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 235000008429 bread Nutrition 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Telephonic Communication Services (AREA)
Abstract
描述了一种可以通过移动计算设备访问的语音控制的系统。用户可以使用自然语言发音通信请求。麦克风可以收集该发音并将其提供给移动计算设备。移动计算设备可以发送人类发音到语音接口系统。当执行请求时，语音接口系统可以利用用户偏好以提供个性化的用户体验。这里也描述了计算机实现的方法。
Description
技术领域
下面描述的系统和方法总体涉及话音识别的领域，并且，更具体地，涉及基于车辆的语音接口系统和方法。
背景技术
由于比如智能电话、平板电脑等等的移动计算设备变得越来越普遍存在并且它们的功能增加，用户经常在车辆中操作这样的个人设备。这些移动计算设备经常通过无线空中接口保持与数据网络的连接。一些具有图形用户界面的车辆提供了在乘客的移动计算设备和所述图形用户界面之间的数据连接，从而允许将通过蜂窝网络的无线空中接口接收的信息提供给车辆的图形用户界面。
发明内容
根据一个实施例，提供了一种语音控制的系统。该语音控制的系统包括被配置为存储用户偏好数据的用户偏好数据库和与该用户偏好数据库通信的语音接口计算系统。语音接口计算系统被配置成经由无线通信网络从移动计算设备接收音频数据，其中所述音频数据包含人类发音。语音接口计算系统也被配置成将音频数据发送给话音识别模块，从话音识别模块接收文本数据，将文本数据发送给自然语言处理模块，并从自然语言处理模块接收命令集。语音接口计算系统被进一步配置成基于所述命令集和存储在用户偏好数据库中的用户偏好数据来执行命令，其中，执行命令包括经由无线通信网络与远程应用程序通信和与移动计算设备通信。
根据另一个实施例，提供了一种方法，其包括由计算系统接收用户偏好数据，由计算系统从移动计算设备接收音频数据，其中所述音频数据包含人类发音；以及由计算系统发送音频数据到话音识别模块，以获得与该音频数据相关联的文本数据。该方法还包括由计算系统发送文本数据到自然语言处理单元；由计算系统从自然语言处理单元接收命令集，以及基于所述命令集和用户偏好数据执行命令。
根据又一个实施例，提供了一种系统，其包括被配置为存储用户偏好数据的用户偏好数据库和与该用户偏好数据库通信的语音接口计算系统。语音接口计算系统被配置成从连接到车载车辆网络的移动计算设备接收音频数据，其中所述音频数据包括所述车辆的乘客的自然语言人类发音。语音接口计算系统还被配置成与自然语言处理模块通信，该自然语言处理模块被配置成基于人类发音的意图将命令集发送到语音接口计算系统，基于所述命令集和存储在用户偏好数据库中的用户偏好数据执行命令，并使得经由移动计算设备将信息显示给车辆的乘客。
附图说明
参考下面的描述、所附权利要求和附图，将更好地理解各种实施例，附图中：
图1示出语音控制的系统的示例简化框图。
图2示出另一种语音控制的系统的示例框图。
图3示出利用语音接口系统的示例处理流程。
图4示出示例的语音控制的系统的示例消息顺序图。
具体实施方式
现在将描述本公开的各种非限制性实施例，以提供对这里公开的语音接口系统和方法的结构、功能和使用的原理的全面理解。这些非限制性实施例的一个或多个示例示于附图中。本领域的普通技术人员将会理解，这里具体描述并在附图中示出的系统和方法是非限制性实施例。结合一个非限制性实施例示出或描述的特征可以与其它非限制性实施例的特征相结合。这些修改和变型意图被包括在本公开的范围之内。
在整个说明书中对“各种实施例”、“一些实施例”、“一个实施例”、“一些示例实施例”、“一个示例实施例”或“一实施例”的引用是指结合任何实施例所描述的特定的特征、结构或特性被包括在至少一个实施例中。因此，在整个说明书中短语“在各实施例中”、“在一些实施例中”、“在一个实施例中”、“在一些示例实施例中”、“在一个示例实施例中”或“在一实施例中”的出现不一定都指相同的实施例。此外，特定特征、结构或特性可以以任何合适的方式组合在一个或多个实施例中。
在本公开中，对组件或模块的引用一般是指在逻辑上可以被组合在一起以执行一个功能或一组相关功能的项。相同的附图标记（如，例如108、208、308）通常用来指代相同或相似的部件。组件和模块可以在软件、硬件、或软件与硬件的组合中实现。术语“软件”被宽泛地使用以不仅包括可执行代码，还包括数据结构、数据商店、和任何电子格式的计算指令、固件和嵌入式软件。术语“信息”和“数据”被宽泛地使用，并且可以包括各种各样的电子信息，包括但不限于机器可执行或计算机可解释的指令；内容，如文本、视频数据和音频数据等；以及各种码或标志。当上下文允许时，术语“信息”、“数据”和“内容”有时可互换使用。
这里所论述的示例仅仅是示例，并被提供以协助对这里所描述的装置、设备、系统和方法的说明。除非特别指定为强制性的，则示于附图或以下讨论的特征或组件，均不应被视为对这些装置、设备、系统或方法的任何一个的任何具体实施是强制性的。为了便于阅读和清楚起见，某些组件、模块或方法可以连同具体的附图进行单独地描述。任何未明确描述的组件的组合或子组合不应当被理解为表明任何组合或子组合是不可能的。另外，对于所描述的任何方法，不管是否结合流程图来描述该方法，应理解，除非另有规定或根据上下文需要，在方法的执行中所执行的步骤的任何明示或暗示的顺序不意味着这些步骤必须以给出的顺序来执行，而是可以以不同的顺序或并行地执行。
车辆可包括一个或多个图形用户界面以呈现各种类型的信息给乘客车厢的乘员。示例信息可以包括导航信息、车载娱乐信息、车辆诊断信息、和通过与因特网或其它类型网络的无线连接而接收到的信息。一些车辆允许诸如智能电话、平板电脑等等的移动计算设备被连接到车载车辆网络，诸如通过通用串行总线（USB）、Wi-Fi、ZIGBEE、IEEE802.11x网络协议族之一或任何其它合适的无线或有线网络协议。通过这种连接，由移动计算设备接收到的信息可以被提供给车辆的图形用户界面，以使得它可以被乘客车厢的乘员观看或以其他方式由车辆使用。在一些实施例中，处于与车辆通信中的移动计算设备还可以执行软件应用程序，有时被称为“app”，其通过合适的无线通信协议与远程服务器进行通信。因此，在执行移动计算设备上的应用程序期间从远程服务器接收到的信息可以被传递到车辆的图形用户界面或提供给车辆。
这里所描述的系统和方法一般地提供用于允许车辆的乘员通过自然语言语音命令与车辆的图形用户界面进行交互的技术。在一些实施例中，车外（例如，基于云的）实时话音识别被用于解译车辆的乘员的自然语言命令，并转而根据乘员的偏好执行命令。其结果是，可为车辆的乘员提供基于与远程话音识别系统的自然语言通信的个性化或定制功能。
图1示出语音控制的系统的示例简化框图。移动计算设备108被示出为经由车载车辆网络（如在图4中示出的车载车辆网络454）与车辆110通信。移动计算设备108可以是能够进行网络通信的任何合适的设备，如智能电话、平板电脑、游戏系统、膝上型计算机等等。如下面更详细描述的，移动计算设备108可以通过使用任何合适的通信协议的任何合适类型的数据连接来与车辆110通信。在一些实施例中，例如，移动计算设备108通过有线连接与车辆110通信，而在其它实施例中，移动计算设备108通过无线连接与车辆110通信。在任何情况中，移动计算设备108也可以与语音接口系统100通信。在一些实施例中，语音接口系统100是比如通过移动计算设备108上的网络浏览器应用程序生成的命令经由基于网络的通信来访问的。在一些实施例中，语音接口系统100是经由安装在移动计算设备108上并且在移动计算设备108上执行的专门的应用程序来访问的。
车辆110可以包括能够接收由车辆的驾驶员或（多个）乘客所说的人类发音112的麦克风、或其它类型的音频转换器，驾驶员或（多个）乘客中的任何人在这里都被一般地称为“用户”。人类发音112又可以通过车载车辆网络的方式以电子音频文件的形式被提供给移动计算设备108。在一些实施例中，由车辆110接收到的音频在提供数据给移动计算设备108之前利用有损编解码器或其它数据压缩技术进行压缩。如将被理解的，除了其它好处之外，压缩音频文件还可以减少等待时间。
由用户所提供的人类发音112可以是自然语言格式，以使得不必要求用户说出特定的命令或短语以执行想要的功能。此外，人类发音112可以涉及各种各样的话题或命令。例如，人类发音112可以是基于目的地的请求，如“我饿了”或者“哪里是最近的意大利餐厅”。人类发音112也可以是与目的地和天气有关的请求，如“明天在我开户地方的天气会怎样？”人类发音112甚至可以涉及社交网络网站或其它类型的第三方应用程序，如“告诉我一些最近的状态更新。”人类发音112还可以涉及车内娱乐，如“播放我最喜爱的歌曲”或“是谁唱这首歌？”如可以理解的，大量其它类型的人类发音112可以被提供给车辆110，而不脱离本公开的范围。
仍然参照图1，一旦接收到人类发音112，移动计算设备108就可以将音频数据传递到语音接口系统100。音频数据可以通过比如例如蜂窝网络或WiFi网络之类的任何合适的无线空中接口进行传递。一旦从移动计算设备108接收到音频数据，语音接口系统100就可以通常确定用户的意图，然后基于用户的意图（并且如果可用，还基于用户的个人偏好）执行一个或多个命令。例如，为了执行该处理的各个方面，语音接口系统100可以与各种模块通信，其中一些可能是远离语音接口系统100的，并可经由应用程序编程接口（API）进行访问。
在图示的实施例中，语音接口系统100与话音识别模块104通信，该话音识别模块104通常用作将音频数据转换成文本数据。话音识别模块104可以利用常规的话音到文本处理算法，以将人类发音112转换成基于文本的格式。一旦已经由语音接口系统100从话音识别模块104接收了文本数据，该文本数据就可被提供给自然语言处理单元102，用于进一步处理。自然语言处理单元102可以被配置为利用自然语言理解（NLU）算法和技术来确定人类发音112的意图。在一些实施例中，自然语言处理单元102利用在题为“Lexical Acquisition Apparatus,Multi DialogueBehavior System,and Lexical Acquisition Program,”的美国专利申请公开号No.2010/0332231中描述的处理技术，所述美国申请的全部内容通过引用据此合并到本申请中。
仍然参照图1，自然语言处理单元102可以基于人类发音112的意图来确定通常满足用户的请求的命令集。该命令集可以被提供给语音接口系统100用于执行。在一些实施例中，对命令集中命令的执行可利用由语音接口系统100存储的或以其它方式对语音接口系统100可访问的各种用户偏好或个人数据，以个人化用户的体验。如下面更详细描述的，用户偏好可以包括，但不限于，餐饮偏好、导航偏好、预约数据、历史数据、无线电台偏好、娱乐偏好、气候控制偏好、温度设置偏好、座椅位置偏好，等等。在某些情况下，执行命令集中的命令可能需要与一个或多个应用程序114通信，如社交网络应用程序、网页搜索应用程序、日历应用程序、GPS应用程序，或者任何其它合适类型的应用程序、网站或网络可访问的数据。
基于与相关联的应用程序114的通信，可以从应用程序114之一或通过语音接口系统100的方式将与人类发音112有关的数据或信息提供给移动计算设备108。在任何情况下，一旦数据或信息已被移动计算设备108接收，其随后可使用车载车辆网络被发送给车辆110。然后车辆110可将该信息显示在图形用户显示器上或以其它方式使用该信息。
如将要理解的，图1所示的语音控制的系统的各种组件可以组合在一起。例如，在一些实施例中，话音识别模块104和/或自然语言处理单元102可以是语音接口系统100的一个组件。此外，在一些实施例中，话音识别模块104和自然语言处理单元102可以被结合并用作单个组件。
图2示出另一种语音控制的系统的示例框图。该语音控制的系统包括接收和处理来自移动计算设备208的音频内容的语音接口系统200。例如，语音接口系统200可以使用任何合适的基于处理器的设备或系统来提供，比如个人计算机、膝上型计算机、服务器、大型机、或多个计算机的集合（例如，网络）。语音接口系统200可以包括一个或多个处理器（例如，220）和一个或多个计算机存储器单元（例如，222）。为方便起见，只有一个处理器220和只有一个存储器单元222示于图2。处理器220可以执行存储在存储器单元222上的软件指令。处理器220可以被实现为具有一个或多个内核的集成电路（IC）。存储器单元222可以包括易失性和/或非易失性存储器单元。例如，易失性存储器单元可以包括随机存取存储器（RAM）。例如，非易失性存储器单元可以包括只读存储器（ROM），以及机械的非易失性存储器系统，诸如，例如，硬盘驱动器、光盘驱动器等。例如，RAM和/或ROM存储器单元可以被实现为分离的存储器IC。
存储器单元222可以存储可执行的软件和数据，使得当所述语音接口系统200的处理器220执行该软件时，可使得处理器220执行语音接口系统200的各种操作，比如从计算机设备接收信息，处理从计算机设备接收的命令，以及在用户数据库中存储和取得信息，这将在下面更详细地讨论。语音接口系统200所使用的数据可以来自各种来源，如来自数据库228或其它类型的电子数据商店。例如，数据库228可包括用户偏好数据库。存储在数据库228中的数据可以被存储在非易失性计算机存储器中，如硬盘驱动器、只读存储器（例如，ROM IC）、或其它类型的非易失性存储器。另外，例如，与数据库228相关联的数据可被存储在远程电子计算机系统上。
示出为用户设置218的用户偏好数据可由语音接口系统200从与计算设备216进行交互的用户来接收。在一些实施例中，通过经由所述计算设备216呈现给用户的网络入口来接收用户设置218。在一些实施例中，可以在允许用户提供用户设置给语音接口系统200的计算设备216上执行专门的应用程序。在一些实施例中，计算设备216是移动计算设备208中，但是本公开并不限于此。用户一般可以使用任何合适的计算设备216与语音接口系统200进行交互，使得可以存储用户的偏好，从而可以提供给用户个性化的语音交互体验，这将在下面更详细地描述。包括在用户设置218中的数据的类型可以改变，但示例包括最喜欢的餐厅、优选驾车路线、日历预约、联系人地址、社交网络信息、娱乐相关信息，等等。用户设置218也可例如包括图形显示偏好，比如在执行与语音接口系统200相关联的专门的应用程序时在移动计算设备208上显示的特定图标的顺序。
如图2所示，语音接口系统200可以包括多个计算机服务器。例如，语音接口系统200可以包括一个或多个网络服务器（例如，226）和应用服务器（例如，224）。为方便起见，只有一个网络服务器226和一个应用服务器224被示于图2，但应该认识到，本公开并不限于此。网络服务器226可以提供图形网络用户界面，系统的用户可以通过该界面与语音接口系统200进行交互。网络服务器226可以从客户端（比如移动计算设备208上的网络浏览器）接受诸如HTTP请求之类的请求，并与诸如网页（例如，HTML文档）和链接的对象（如图像等）之类的可选数据内容一起提供诸如HTTP响应之类的客户端响应。
应用服务器224可以为不使用网络浏览器与语音接口系统200通信的用户提供用户界面。这样的用户可以在他们的移动计算设备208上安装允许他们经由通信网络与应用服务器224通信的专用软件。例如，这样的软件可以诸如通过网络从语音接口系统200或其它软件应用程序供应商（即，AppleTM iStoreTM）下载到移动计算设备208。
虽然图2为了说明的目的示出了有限数量的元件，应理解，语音接口系统200按照所描述的实施例可以包括更多或更少的元件以及其它类型的元件。语音接口系统200的元件可以根据给定的一组设计参数的需要或性能约束，包括：实现为硬件组件（例如，计算设备、处理器、逻辑设备）的用于通信信息的物理或逻辑实体、由各种硬件组件执行的可执行计算机程序指令（例如，固件、软件）、或它们的组合。
如下面更详细描述的，语音接口系统200也可以与诸如话音识别（SR）模块204、自然语言处理模块202、和/或文本到话音（TTS）模块232之类的其它模块通信（或在某些情况下包括其它模块）。语音接口系统200还可以与一般地示为第三方应用程序214的各种其它基于计算机的系统通信。示例第三方应用程序214包括 等。例如，语音接口系统200可以使用任何合适类型的通信，诸如例如使用API协议，来与各种模块和应用程序通信。
语音接口系统200可以经由电子通信网络（未示出）与移动计算设备208通信。所述通信网络可以包括多个计算机和/或数据网络，包括因特网、局域网、广域网、GPRS网络等，并且可以包括有线和/或无线通信链路。与语音接口系统200进行通信的移动计算设备208可以是适合于在网络上进行无线通信的任何类型的客户端设备，诸如例如个人计算机、膝上型计算机、智能电话、个人数字助理（PDA）、组合移动电话/PDA，游戏设备、通讯设备、媒体播放器、寻呼机、平板电脑或上网本电脑。
一些移动计算设备208还可以支持包括因特网接入的无线广域网（WWAN）数据通信服务。WWAN数据通信服务的示例可以包括演进数据优化和仅演进数据（EV-DO）、演进数据和语音（EV-DV）、CDMA/1xRTT、具有通用分组无线业务系统的GSM（GSM/GPRS）、增强型数据速率全球演进（EDGE）、高速下行链路分组接入（HSDPA）、高速上行链路分组接入（HSUPA）、以及其它。移动计算设备208可以根据电气和电子工程师协会（IEEE）802.xx系列协议，如IEEE802.11a/b/g/n系列标准协议和变型（也称为“Wi-Fi”）、EEE802.16系列标准协议和变型（也称为“WiMAX的”）、IEEE802.20系列标准协议和变型等等来提供无线局域网（WLAN）数据通信功能。
在一些示例实施例中，移动计算设备208还可以被布置为根据短距离无线网络（比如根据特别兴趣小组（SIG）系列协议、规范、配置文件等等提供数据通信服务的无线个人区域网（PAN））来执行数据通信功能。短距离无线网络的其它示例可以采用红外（IR）技术或近场通信技术和协议，比如包括无源或有源的射频识别（RFID）协议和设备的电磁感应（EMI）技术。移动计算设备208也可以被配置为利用有线连接（比如例如通用串行总线（USB）连接之类）来执行数据通信功能。
移动计算设备208可以包含各种无线电元件，包括无线电处理器、一个或多个收发器、放大器、滤波器、开关等等，以提供语音和/或数据通信功能。可以理解，移动计算设备208可以根据利用不同的无线电元件来实现不同的通信技术的不同类型的无线网络系统来操作。移动计算设备208还可以包括用于支持不同类型连接的各种输入/输出（I/O）接口，比如串行连接端口、IR端口、接口、网络接口、Wi-Fi接口、WiMAX接口、蜂窝网络接口、无线网络接口卡（WNIC）、收发器等等。移动计算设备208可以包括一个或多个内部和/或外部天线以支持在多个频带或子带内操作，比如用于Wi-Fi和通信的ISM频带的2.4GHz范围；用于GSM、CDMA、TDMA、NAMPS、蜂窝和/或PCS通信的850MHz、900MHZ、1800MHz和1900MHz频带中的一个或多个；用于CDMA2000/EV-DO和/或WCDMA/JMTS通信的2100MHz频带；用于全球定位系统（GPS）操作的1575MHz频带，等等。
移动计算设备208可提供用于允许用户使用语音接口系统200来完成一个或多个特定任务的各种应用程序。应用程序可以包括，但不限于，网络浏览器应用程序（例如，INTERNET NETSCAPE ）、电话应用程序（例如，蜂窝、VoIP、PTT）、网络应用程序、通讯应用程序（例如，电子邮件、IM、SMS、MMS、Messenger）、联系人应用程序、日历应用程序，等等。根据所描述的实施例，移动计算设备208可以包括诸如系统程序和应用程序之类的各种软件程序以提供计算能力。系统程序可以包括，但不限于，操作系统（OS）、设备驱动程序、编程工具、实用程序、软件库、应用程序编程接口（API）等等。例如，示例性操作系统可以包括 等等。
移动计算设备208可以包括与诸如用于呈现用户界面的显示器和用于输入数据和/或命令的键盘之类的应用进行交互的各种组件。移动计算设备208可以包括与一个或多个应用一起使用的其它组件，如指示笔、触摸屏、按键（例如，输入键、预置和可编程热键）、按钮（例如，动作按钮、多向导航按钮，预置和可编程快捷按钮）、开关、麦克风、扬声器、音频耳机、相机等等。通过该界面，用户可以与移动计算设备208交互。
在一些示例操作条件中，移动计算设备208在诸如车辆的乘客厢之类的移动环境210内操作。移动计算设备208可以移动计算设备接口240通信。例如，移动计算设备接口240可以是无线接口（例如，使用WiFi、或ZIGBEE协议）或有线接口（例如，使用USB协议）。通常，移动计算设备接口240允许经由车载车辆网络在移动计算设备208和移动环境210的各种组件之间进行数据通信。示例组件包括，但不限于，扬声器242、音频压缩引擎244、麦克风246和图形显示器248。在一些实施例中，呈现在移动计算设备208的显示屏幕上的内容可被发送到移动环境210的图形显示器248。例如，图形显示器248可以是车辆“信息娱乐”系统的组件、头上显示器、或移动环境210中的用户可见的其它类型的显示器。
一般来说，语音接口系统200可以为移动环境210中的用户提供基于用户偏好的、移动计算设备208的受自然语言语音激活的操作。因此，个性化的体验被提供给与系统进行交互的用户。现在将更详细地描述图2所示的语音接口系统200的示例操作。移动计算设备208可以执行一般地在移动计算设备208和语音接口系统200之间建立通信信道的应用程序。通过移动计算设备接口240的方式，通过移动计算设备208接收的图形内容可被显示在图形显示器248上。一旦移动计算设备208与移动计算设备接口240和语音接口系统200两者通信，用户就可以通过说出自然语言句子格式的请求来利用该系统。
人类发音212由位于移动环境内的麦克风246接收。麦克风246将音频提供给音频压缩引擎244，如由SPEEX、OPUS等提供的压缩引擎。压缩的音频被诸如使用近场通信（NFC）或其它数据传输技术传给移动计算设备208。一旦接收到音频数据，移动计算设备208将该信息发送到语音接口系统200。然后，语音接口系统200使用任何合适的话音识别技术（例如，Dragon Naturally 等）来获得语音数据的文本记录。在图示的实施例中，经由API将音频数据提供给话音识别模块204，返回文本数据。然后，文本数据可以被传到本地或远程的自然语言处理模块202。自然语言处理模块202确定人类发音212的意图，如同在基于文本的数据中发现的。然后，基于所述意图，一个或多个命令（在这里称为命令集）被供给到语音接口系统200，所述命令如果由语音接口系统200执行，则将满足在人类发音212中所表达的意图。接着，基于从自然语言处理模块202接收到的命令集，语音接口系统200确定是否有任何用户设置218与该命令集相关。
举例来说，如果人类发音212是“附近是否有任何我喜欢的餐馆？”，则自然语言处理模块202可以发出诸如“生成5英里半径内的餐馆列表”和“交叉引用列表到用户设置中的优选餐馆”的命令。然后，语音接口系统200将诸如通过与通过至少一个第三方应用程序214可用的在线搜索工具进行通信来取得5英里半径内的餐馆列表。然后，语音接口系统200将附近餐馆的列表与用户在用户设置218中提供的餐馆名称进行比较。如果存在匹配，则语音接口系统200生成文本字符串，比如“一英里远处有Panera Bread公司，你愿意去那里吗？”，并把它提供给文本到发音模块232。一旦接收到相关的音频，它就被发送到移动环境210中的移动计算设备208。通过移动计算设备接口240的方式将相关的音频传给移动环境210中的扬声器242。在一些实施例中，地图或其它相关信息也可以显示在移动计算设备208和图形显示器248上。当听到问题时，用户可以回答由语音接口系统200提出的问题。然后，被示为图2中的人类发音212的答案被提供给语音接口系统200，进而，提供给自然语言处理模块202用于处理。例如，自然语言处理模块202可确定该用户确实想要在所建议的餐馆吃饭。同样地，自然语言处理模块202可以分配比如提供到所选餐馆的路线指引之类的适当命令到语音接口系统200。然后，路线指引可被发送到移动计算设备208以被显示在图形显示器248上。
图3示出这里所描述的利用语音接口系统的示例处理流程300。在302，接收用户偏好数据。在一些实施例中，从计算设备216（图2）接收用户偏好数据并且将其存储在数据库中，比如数据库228（图2）。用户偏好数据可以包括可由语音接口系统使用以向用户提供个性化的用户体验的任何类型的信息。在304，从移动计算设备接收人类发音。人类发音可以是音频数据的形式，比如压缩的音频波形。可以从移动计算设备通过诸如蜂窝或WIFI网络等等的合适的通信网络接收人类发音。
在306，人类发音被转换为文本。在一些实施例中，话音识别模块可用于将人类发音的说出的话翻译成文本。然后，在308，文本可被发送给自然语言处理单元。自然语言处理单元一般可以实现自然语言理解（NLU）功能来解释解译文本，以收集在304处接收的、在人类发音中表达的用户意图。基于在人类发音中表达的意图，自然语言处理单元可用识别一个命令集。在310，从自然语言处理单元接收命令集。该命令集可以包含能够被执行以基于在人类发音中表达的意图来执行处理的一个或多个命令。在312，基于该命令集和在302接收到的用户偏好数据执行动作。因此，由于所执行的特定动作是基于用户偏好数据的，所以可为语音接口系统的用户提供个性化的用户体验。
图4描绘了示例语音的控制系统的示例消息序列图。如图所示，语音控制的系统可包括处于与头部单元406通信中的麦克风446。麦克风446和头部单元406可以是车辆的组件。头部单元406可以包括图形显示器，以及相关的硬件和软件。移动计算设备408可以与头部单元406通过车载车辆网络454通信。在一些实施例中，例如，移动计算设备408可经由协议与头部单元406通信。移动计算设备408可经由通信网络450与语音接口系统400通信。在一些实施例中，语音接口系统400通常可被认为是“基于云”的服务，因为移动计算设备408可以通过网络通信将基于语音的处理卸载到语音接口系统400。与图2所示的实施例相似，语音接口系统400可以与诸如话音识别模块404、自然语言处理单元402、用户偏好数据库428和远程服务器414的各种实体、模块等通信。
在语音接口系统400的示例操作期间，麦克风446将包括作为音频数据的人类发音的消息460发送到头部单元406。头部单元406可以压缩该音频数据并将压缩的音频数据利用消息462发送给移动计算设备408。消息462可以通过车载车辆网络454进行发送。然后，移动计算设备408可以通过通信网络450发送消息464到语音接口系统400。一旦接收到包含在消息464中的音频数据，语音接口系统400就将包含该音频数据的消息466发送到话音识别。注意，消息466与消息序列图中的其它消息可以使用本领域中已知的任何合适的消息格式，如XML、JSON，等等。在任何情况下，话音识别模块404将音频数据转换成文本数据并在消息468中将该文本数据返回给语音接口系统400。语音接口系统400发送包含该文本数据的消息470到自然语言处理单元402。自然语言处理单元402确定在该基于文本的数据中所表达的意图，并提供命令集472给语音接口系统400。基于该命令集，语音接口系统400使用消息474查询用户偏好数据库428。来自用户偏好数据库428的返回消息476可以包括与该命令集相关联的偏好。如果没有可用的偏好，则在一些实施例中，语音接口系统400使用默认值来执行命令集。在任何情况下，一旦已经获得用户的偏好，消息478就被发送到远程服务器414以执行该命令。远程服务器414以消息480进行响应，该消息480可以通过语音接口系统400经由消息482提供给移动计算设备408。一旦接收了消息482，移动计算设备408可以通过车载车辆网络454的方式将消息484提供给头部单元406。然后，头部单元406将与最初由麦克风446接收的原始人类发音相关联的信息显示在图形显示器上。
一般地，对于本技术领域的普通技术人员之一来说，这里描述的至少一些实施例可以在软件、固件和/或硬件的许多不同的实施例中实现，这将是显而易见的。软件和固件代码可以由处理器或任何其它类似的计算设备来执行。可以被用于实现实施例的软件代码或专用控制硬件不是限制性的。例如，这里所描述的实施例可以使用任何合适的计算机软件语言类型，诸如，例如，传统的或面向对象的技术来在计算机软件中实现。这样的软件可以存储在任何类型的合适的计算机可读介质上，例如，例如，磁或光存储介质。可以不具体参照具体软件代码或专门的硬件组件地描述实施例的操作和行为。没有这样具体的参照是可行的，因为可以清楚地理解，本领域技术人员将能够基于本说明书，不作出更多理性思考并且无需过多实验地设计软件和控制硬件来实现所述实施例。
此外，这里描述的处理可以由诸如计算机或计算机系统和/或处理器的可编程设备执行。可以引起可编程设备执行处理的软件可以被存储在任何存储设备中，诸如，例如，计算机系统（非易失性）存储器、光盘、磁带或磁盘。此外，至少一些处理可以在制造计算机系统时被编程或存储在各种类型的计算机可读介质中。
还可以理解，可以使用存储在计算机可读介质上的、指导计算机系统执行处理步骤的指令来执行这里描述的处理的某些部分。计算机可读介质可以包括，例如，存储器设备，如软盘、光盘（CD）、数字多功能盘（DVD）、光盘驱动器或硬盘驱动器。计算机可读介质还可以包括物理的、虚拟的、永久的、临时的、半永久性，和/或半临时性的存储器存储。
“计算机”、“计算机系统”、“主机”、“服务器”或“处理器”可以是，例如但不限于：处理器、微型计算机、小型机、服务器、主机、膝上型计算机、个人数字助理（PDA）、无线电子邮件设备、蜂窝电话、寻呼机、处理器、传真机、扫描仪，或者配置为通过网络发送和/或接收数据的任何其它可编程设备。这里所公开的计算机系统和基于计算机的设备可以包括用于存储在获取、处理、和通信信息中使用的某些软件模块的存储器。可以理解，这样的存储器相对于所公开的实施例的操作可以是内部的或外部的。该存储器还可以包括任何用于存储软件的部件，包括硬盘、光盘、软盘、ROM（只读存储器）、RAM（随机存取存储器）、PROM（可编程ROM）、EEPROM（电可擦除PROM）和/或其它计算机可读介质。这里所使用的非临时性计算机可读介质包括所有的计算机可读介质，除了临时的、传播的信号。
在这里公开的各种实施例中，单个组件可以由多个组件代替，并且多个组件可以由单个组件代替，以执行给定的一种或多种功能。除非在这种替换是不可操作的地方，这样的替换是在所述实施例的预期范围内。计算机系统可以包括经由一条或多条数据总线与存储器（例如RAM或ROM）通信的一个或多个处理器。数据总线可以携带（多个）处理器和存储器之间的电信号。处理器和存储器可以包括传导电流的电路。诸如（多个）处理器和/或（多个）存储器电路的固态晶体管的该电路的各种组件的充电状态可以在电路的操作过程中改变。
一些附图可包括流程图。虽然这样的附图可以包括特定的逻辑流程，但是可以理解，逻辑流程仅仅提供一般功能的示例性实现。此外，除非另有指示，逻辑流程不一定必须按照所呈现的顺序被执行。此外，逻辑流程可以由硬件元件、通过计算机执行的软件元件、嵌入在硬件中的固件元件，或以上的任意组合来实现。
已经出于说明和描述的目的呈现了实施例和示例的上述描述。并不旨在穷尽或限制于所描述的形式。根据上述教导，许多修改是可能的。一些这样的修改的已讨论过，另一些将被本领域技术人员所理解。选择和描述所述实施例是为了最好地说明适合于预期的特定用途的各种实施例的原理。当然，其范围并不限于这里所阐述的示例，但可由本领域普通技术人员在任何数量的应用程序和等效设备中采用。据此，更确切地，是由所附的权利要求书限定本发明的范围。
Claims (20)
1.一种语音控制的系统，包括：
被配置为存储用户偏好数据的用户偏好数据库；以及
处于与该用户偏好数据库通信中的语音接口计算系统，该语音接口计算系统被配置成：
经由无线通信网络从移动计算设备接收音频数据，其中所述音频数据包含人类发音；
将音频数据发送给话音识别模块；
从话音识别模块接收文本数据；
将文本数据发送给自然语言处理模块；
从自然语言处理模块接收命令集；以及
基于所述命令集和存储在用户偏好数据库中的用户偏好数据来执行命令，其中，执行命令包括经由无线通信网络与远程应用程序通信和与移动计算设备通信。
2.根据权利要求1所述的语音控制的系统，其中，语音接口计算系统被配置成从用户计算设备接收用户偏好数据。
3.根据权利要求2所述的语音控制的系统，其中用户计算设备是移动计算设备。
4.根据权利要求3所述的语音控制的系统，其中命令集是基于人类发音的所确定意图。
5.根据权利要求1所述的语音控制的系统，其中用户偏好数据标识数用户餐饮偏好、用户导航偏好和用户目的地偏好中的任何一个或多个。
6.根据权利要求5所述的语音控制的系统，其中语音接口计算系统被配置成生成入口以接收用户餐饮偏好、用户导航偏好和用户目的地偏好中的至少一个。
7.根据权利要求1所述的语音控制的系统，其中语音接口计算系统被配置成确定用户偏好数据是否与命令集相关联：
基于从自然语音处理模块接收到的命令集，使得：
当用户偏好数据与命令集相关联时，基于相关联的用户偏好数据执行命令；以及
当用户偏好数据不与命令集相关联时，基于默认数据执行命令。
8.一种方法，包括：
由计算系统接收用户偏好数据；
由计算系统从移动计算设备接收音频数据，其中所述音频数据包含人类发音；
由计算系统发送音频数据到话音识别模块，以获得与该音频数据相关联的文本数据；
由计算系统发送文本数据到自然语言处理单元；
由计算系统从自然语言处理单元接收命令集；以及
基于所述命令集和用户偏好数据执行命令。
9.根据权利要求8所述的方法，其中由计算系统接收的音频数据是由被配置成耦接到车辆的麦克风捕获的。
10.根据权利要求9所述的方法，其中当从移动计算设备接收到音频数据时，该移动计算设备位于车辆的乘客厢内。
11.根据权利要求8所述的方法，其中命令集是基于人类发音的所确定意图。
12.根据权利要求8所述的方法，其中用户偏好数据标识数用户餐饮偏好、用户导航偏好和用户目的地偏好中的任何一个或多个。
13.一种系统，包括：
被配置为存储用户偏好数据的用户偏好数据库；
处于与该用户偏好数据库通信中的语音接口计算系统，该语音接口计算系统被配置成：
从连接到车载车辆网络的移动计算设备接收音频数据，其中所述音频数据包括所述车辆的乘客的自然语言人类发音；
与自然语言处理模块通信，该自然语言处理模块被配置成基于人类发音的意图将命令集发送到语音接口计算系统；
基于所述命令集和存储在用户偏好数据库中的用户偏好数据执行命令；以及
引起经由移动计算设备将信息显示给车辆的乘客。
14.根据权利要求13所述的系统，其中语音接口计算系统被配置成发送音频数据到话音识别模块并从话音识别模块接收文本数据。
15.根据权利要求14所述的系统，其中语音接口计算系统被配置成发送文本数据到自然语言处理模块。
16.根据权利要求13所述的系统，包含被配置成从在移动计算设备上执行的应用程序接收通信的应用服务器。
17.根据权利要求13所述的系统，包含被配置成从在移动计算设备上执行的网路浏览器接收通信的网路服务器。
18.根据权利要求13所述的系统，其中用户偏好数据包含由车辆的乘客提供用户偏好数据。
19.根据权利要求18所述的系统，其中语音接口计算系统被配置成从移动计算设备取得用户偏好数据。
20.根据权利要求19所述的系统，其中语音接口计算系统被配置成从移动计算设备取得日历预约数据。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/802,910 US9123345B2 (en) | 2013-03-14 | 2013-03-14 | Voice interface systems and methods |
| US13/802,910 | 2013-03-14 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104050967A true CN104050967A (zh) | 2014-09-17 |
Family
ID=51419237
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410089906.5A Pending CN104050967A (zh) | 2013-03-14 | 2014-03-12 | 语音接口系统和方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9123345B2 (zh) |
| JP (1) | JP2014179067A (zh) |
| CN (1) | CN104050967A (zh) |
| DE (1) | DE102014204108A1 (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016173446A1 (zh) * | 2015-04-30 | 2016-11-03 | 阿里巴巴集团控股有限公司 | 信息获取方法、装置和系统 |
| CN107146623A (zh) * | 2017-04-07 | 2017-09-08 | 百度在线网络技术（北京）有限公司 | 基于人工智能的语音识别方法、装置和系统 |
| CN107767865A (zh) * | 2016-08-19 | 2018-03-06 | 谷歌公司 | 语音动作偏置系统 |
| CN107850992A (zh) * | 2015-10-13 | 2018-03-27 | 谷歌有限责任公司 | 自动批量语音命令 |
| CN108399463A (zh) * | 2018-03-15 | 2018-08-14 | 奇瑞汽车股份有限公司 | 一种预约充电系统及充电方法 |
| CN110348002A (zh) * | 2018-04-05 | 2019-10-18 | 通用汽车环球科技运作有限责任公司 | 实现语音请求的系统和方法 |
| CN110753927A (zh) * | 2018-05-07 | 2020-02-04 | 谷歌有限责任公司 | 在计算设备之间同步访问控制 |
| CN112037790A (zh) * | 2020-08-10 | 2020-12-04 | 上汽大众汽车有限公司 | 基于车载语音识别系统控制第三方应用的方法、系统和车辆 |
| CN112513845A (zh) * | 2018-06-06 | 2021-03-16 | 亚马逊技术股份有限公司 | 与语音使能设备的暂时账户关联 |
| CN113581070A (zh) * | 2021-06-11 | 2021-11-02 | 广汽本田汽车有限公司 | 汽车提示音设置系统、方法、运行控制装置及存储介质 |
| WO2022193470A1 (zh) * | 2021-03-17 | 2022-09-22 | 博泰车联网科技(上海)股份有限公司 | 云平台的用户偏好查询方法、装置、存储介质和终端 |
Families Citing this family (108)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
| US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| US20120311585A1 (en) | 2011-06-03 | 2012-12-06 | Apple Inc. | Organizing task items that represent tasks to perform |
| US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
| US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
| US9961442B2 (en) | 2011-11-21 | 2018-05-01 | Zero Labs, Inc. | Engine for human language comprehension of intent and command execution |
| US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
| DE212014000045U1 (de) | 2013-02-07 | 2015-09-24 | Apple Inc. | Sprach-Trigger für einen digitalen Assistenten |
| US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
| US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
| US20140303982A1 (en) * | 2013-04-09 | 2014-10-09 | Yally Inc. | Phonetic conversation method and device using wired and wiress communication |
| DE112014002747T5 (de) | 2013-06-09 | 2016-03-03 | Apple Inc. | Vorrichtung, Verfahren und grafische Benutzerschnittstelle zum Ermöglichen einer Konversationspersistenz über zwei oder mehr Instanzen eines digitalen Assistenten |
| US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
| JP2015011170A (ja) * | 2013-06-28 | 2015-01-19 | 株式会社ＡＴＲ−Ｔｒｅｋ | ローカルな音声認識を行なう音声認識クライアント装置 |
| US10296160B2 (en) | 2013-12-06 | 2019-05-21 | Apple Inc. | Method for extracting salient dialog usage from live data |
| US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
| EP3149728B1 (en) | 2014-05-30 | 2019-01-16 | Apple Inc. | Multi-command single utterance input method |
| US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| US9509799B1 (en) * | 2014-06-04 | 2016-11-29 | Grandios Technologies, Llc | Providing status updates via a personal assistant |
| US8995972B1 (en) | 2014-06-05 | 2015-03-31 | Grandios Technologies, Llc | Automatic personal assistance between users devices |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| KR102304052B1 (ko) * | 2014-09-05 | 2021-09-23 | 엘지전자 주식회사 | 디스플레이 장치 및 그의 동작 방법 |
| US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
| US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
| US10152299B2 (en) | 2015-03-06 | 2018-12-11 | Apple Inc. | Reducing response latency of intelligent automated assistants |
| US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
| US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
| US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
| US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
| US10200824B2 (en) | 2015-05-27 | 2019-02-05 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device |
| US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
| US10580079B1 (en) * | 2015-06-23 | 2020-03-03 | Allstate Insurance Company | Enterprise nervous system |
| US20160378747A1 (en) | 2015-06-29 | 2016-12-29 | Apple Inc. | Virtual assistant for media playback |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US10740384B2 (en) | 2015-09-08 | 2020-08-11 | Apple Inc. | Intelligent automated assistant for media search and playback |
| US10331312B2 (en) | 2015-09-08 | 2019-06-25 | Apple Inc. | Intelligent automated assistant in a media environment |
| WO2017044964A1 (en) * | 2015-09-10 | 2017-03-16 | Zero Labs, Inc. | Engine for human language comprehension of intent and command execution |
| US10209851B2 (en) | 2015-09-18 | 2019-02-19 | Google Llc | Management of inactive windows |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
| WO2017100167A1 (en) * | 2015-12-06 | 2017-06-15 | Voicebox Technologies Corporation | System and method of conversational adjustment based on user's cognitive state and/or situational state |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US10133612B2 (en) | 2016-03-17 | 2018-11-20 | Nuance Communications, Inc. | Session processing interaction between two or more virtual assistants |
| US11227589B2 (en) | 2016-06-06 | 2022-01-18 | Apple Inc. | Intelligent list reading |
| US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
| DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
| US10261830B2 (en) * | 2016-06-14 | 2019-04-16 | Microsoft Technology Licensing, Llc | Cross-device task execution |
| US20180039478A1 (en) * | 2016-08-02 | 2018-02-08 | Google Inc. | Voice interaction services |
| US10474753B2 (en) | 2016-09-07 | 2019-11-12 | Apple Inc. | Language identification using recurrent neural networks |
| US10320583B2 (en) * | 2016-10-07 | 2019-06-11 | Verizon Patent And Licensing Inc. | System and method for facilitating interoperability across internet of things (IOT) domains |
| US10171675B1 (en) | 2016-10-10 | 2019-01-01 | Open Invention Network, Llc | Automated intelligent personal representative |
| US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
| DK201770383A1 (en) | 2017-05-09 | 2018-12-14 | Apple Inc. | USER INTERFACE FOR CORRECTING RECOGNITION ERRORS |
| US10395654B2 (en) | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
| DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
| US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
| DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
| DK201770427A1 (en) | 2017-05-12 | 2018-12-20 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
| US11301477B2 (en) | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
| DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
| US10395659B2 (en) | 2017-05-16 | 2019-08-27 | Apple Inc. | Providing an auditory-based interface of a digital assistant |
| US10303715B2 (en) | 2017-05-16 | 2019-05-28 | Apple Inc. | Intelligent automated assistant for media exploration |
| DK179549B1 (en) | 2017-05-16 | 2019-02-12 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
| US20180336892A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Detecting a trigger of a digital assistant |
| US10311144B2 (en) | 2017-05-16 | 2019-06-04 | Apple Inc. | Emoji word sense disambiguation |
| JP6946115B2 (ja) * | 2017-08-28 | 2021-10-06 | 株式会社東芝 | 移動体運行支援システム |
| CN111094924A (zh) * | 2017-09-15 | 2020-05-01 | 宝马股份公司 | 用于执行基于语音的人机交互的数据处理装置和方法 |
| CN107785019A (zh) * | 2017-10-26 | 2018-03-09 | 西安Tcl软件开发有限公司 | 车载设备及其语音识别方法、可读存储介质 |
| US10592604B2 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Inverse text normalization for automatic speech recognition |
| US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
| US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
| US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
| DK179822B1 (da) | 2018-06-01 | 2019-07-12 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
| DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
| US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
| CN110866094B (zh) * | 2018-08-13 | 2021-04-09 | 珠海格力电器股份有限公司 | 指令识别方法、装置、存储介质、电子装置 |
| US11010561B2 (en) | 2018-09-27 | 2021-05-18 | Apple Inc. | Sentiment prediction from textual data |
| US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
| US11170166B2 (en) | 2018-09-28 | 2021-11-09 | Apple Inc. | Neural typographical error modeling via generative adversarial networks |
| US10839159B2 (en) | 2018-09-28 | 2020-11-17 | Apple Inc. | Named entity normalization in a spoken dialog system |
| US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
| US11638059B2 (en) | 2019-01-04 | 2023-04-25 | Apple Inc. | Content playback on multiple devices |
| US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
| DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
| US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
| US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
| US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
| US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
| DK180129B1 (en) | 2019-05-31 | 2020-06-02 | Apple Inc. | USER ACTIVITY SHORTCUT SUGGESTIONS |
| US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
| DK201970510A1 (en) | 2019-05-31 | 2021-02-11 | Apple Inc | Voice identification in digital assistant systems |
| US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
| US11468890B2 (en) | 2019-06-01 | 2022-10-11 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
| US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
| US11264025B2 (en) * | 2019-07-23 | 2022-03-01 | Cdw Llc | Automated graphical user interface control methods and systems using voice commands |
| WO2021056255A1 (en) | 2019-09-25 | 2021-04-01 | Apple Inc. | Text detection using global geometry estimators |
| US11574634B2 (en) | 2019-11-27 | 2023-02-07 | Google Llc | Interfacing with applications via dynamically updating natural language processing |
| KR20220062360A (ko) * | 2019-11-27 | 2022-05-16 | 구글 엘엘씨 | 동적으로 업데이트되는 자연어 처리를 통한 애플리케이션과의 인터페이스 |
| US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
| US11038934B1 (en) | 2020-05-11 | 2021-06-15 | Apple Inc. | Digital assistant hardware abstraction |
| US11755276B2 (en) | 2020-05-12 | 2023-09-12 | Apple Inc. | Reducing description length based on confidence |
| US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
| US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1313972A (zh) * | 1998-08-24 | 2001-09-19 | Bcl计算机有限公司 | 自适应的自然语言接口 |
| CN1647023A (zh) * | 2002-02-15 | 2005-07-27 | Sap股份公司 | 语音控制的数据输入 |
| CN101231660A (zh) * | 2008-02-19 | 2008-07-30 | 林超 | 电话自然对话中关键信息的挖掘系统及其方法 |
| CN101939740A (zh) * | 2007-12-11 | 2011-01-05 | 声钰科技 | 在集成语言导航服务环境中提供自然语言语音用户界面 |
| US20120035923A1 (en) * | 2010-08-09 | 2012-02-09 | General Motors Llc | In-vehicle text messaging experience engine |
| CN102543082A (zh) * | 2012-01-19 | 2012-07-04 | 北京赛德斯汽车信息技术有限公司 | 使用自然语言的车载信息服务系统语音操作方法及系统 |
Family Cites Families (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6850252B1 (en) * | 1999-10-05 | 2005-02-01 | Steven M. Hoffberg | Intelligent electronic appliance system and method |
| US6335927B1 (en) * | 1996-11-18 | 2002-01-01 | Mci Communications Corporation | System and method for providing requested quality of service in a hybrid network |
| US6909708B1 (en) * | 1996-11-18 | 2005-06-21 | Mci Communications Corporation | System, method and article of manufacture for a communication system architecture including video conferencing |
| US6731625B1 (en) * | 1997-02-10 | 2004-05-04 | Mci Communications Corporation | System, method and article of manufacture for a call back architecture in a hybrid network with support for internet telephony |
| US7904187B2 (en) * | 1999-02-01 | 2011-03-08 | Hoffberg Steven M | Internet appliance system and method |
| JP2000259183A (ja) * | 1999-03-10 | 2000-09-22 | Sony Corp | 情報提供システム、クライアント、情報提供サーバ及び情報提供方法 |
| JP2001202310A (ja) * | 2000-01-20 | 2001-07-27 | Square Co Ltd | 情報提供方法およびその方法を実現するためのプログラムを記録した記録媒体、ならびに、情報提供システム |
| US6510417B1 (en) | 2000-03-21 | 2003-01-21 | America Online, Inc. | System and method for voice access to internet-based information |
| JP2001289661A (ja) | 2000-04-07 | 2001-10-19 | Alpine Electronics Inc | ナビゲーション装置 |
| JP2002168645A (ja) | 2000-11-29 | 2002-06-14 | Sharp Corp | ナビゲーション装置と通信基地局、およびそれらを用いたナビゲーションシステムとナビゲーション方法 |
| JP2003006223A (ja) | 2001-06-25 | 2003-01-10 | Sony Corp | 情報提供システムおよび方法、受信装置および方法、送信装置および方法、記録媒体、並びにプログラム |
| JP2003036221A (ja) * | 2001-07-23 | 2003-02-07 | Cai Kk | 情報提供方法及び情報システム及び記録媒体及び伝送媒体 |
| JP3997459B2 (ja) | 2001-10-02 | 2007-10-24 | 株式会社日立製作所 | 音声入力システムおよび音声ポータルサーバおよび音声入力端末 |
| JP3705587B2 (ja) * | 2001-11-07 | 2005-10-12 | 松下電器産業株式会社 | 情報配信システムおよび情報配信方法 |
| US7693720B2 (en) | 2002-07-15 | 2010-04-06 | Voicebox Technologies, Inc. | Mobile systems and methods for responding to natural language speech utterance |
| US7289904B2 (en) | 2004-04-06 | 2007-10-30 | Honda Motor Co., Ltd. | Vehicle navigation system and methods for incorporating user preferences into same |
| US9224394B2 (en) | 2009-03-24 | 2015-12-29 | Sirius Xm Connected Vehicle Services Inc | Service oriented speech recognition for in-vehicle automated interaction and in-vehicle user interfaces requiring minimal cognitive driver processing for same |
| US20120253823A1 (en) | 2004-09-10 | 2012-10-04 | Thomas Barton Schalk | Hybrid Dialog Speech Recognition for In-Vehicle Automated Interaction and In-Vehicle Interfaces Requiring Minimal Driver Processing |
| JP2006195637A (ja) | 2005-01-12 | 2006-07-27 | Toyota Motor Corp | 車両用音声対話システム |
| US8131718B2 (en) * | 2005-12-13 | 2012-03-06 | Muse Green Investments LLC | Intelligent data retrieval system |
| JP2007323612A (ja) * | 2006-06-05 | 2007-12-13 | Kenwood Corp | 情報取得装置、プログラム、及び情報取得方法 |
| US9318108B2 (en) * | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
| US8650030B2 (en) * | 2007-04-02 | 2014-02-11 | Google Inc. | Location based responses to telephone requests |
| US7970381B2 (en) * | 2007-08-13 | 2011-06-28 | General Motors Llc | Method of authenticating a short message service (sms) message |
| JP5083416B2 (ja) | 2009-02-10 | 2012-11-28 | トヨタ自動車株式会社 | 車載情報処理装置及び方法 |
| JP2010282199A (ja) | 2009-06-02 | 2010-12-16 | Honda Motor Co Ltd | 語彙獲得装置、マルチ対話行動システム及び語彙獲得プログラム |
| US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
| WO2011149558A2 (en) * | 2010-05-28 | 2011-12-01 | Abelow Daniel H | Reality alternate |
| US20120029758A1 (en) * | 2010-07-28 | 2012-02-02 | General Motors Llc | Telematics unit and method and system for initiating vehicle control using telematics unit information |
| US9332397B2 (en) * | 2010-07-30 | 2016-05-03 | General Motors Llc | Method of communicating voice and data transmissions for telematics applications |
| US8532674B2 (en) * | 2010-12-10 | 2013-09-10 | General Motors Llc | Method of intelligent vehicle dialing |
| US20120191291A1 (en) * | 2011-01-21 | 2012-07-26 | General Motors Llc | Aftermarket telematics system and method for controlling a communicatively paired device |
-
2013
- 2013-03-14 US US13/802,910 patent/US9123345B2/en not_active Expired - Fee Related
-
2014
- 2014-02-12 JP JP2014024192A patent/JP2014179067A/ja active Pending
- 2014-03-06 DE DE102014204108.2A patent/DE102014204108A1/de not_active Ceased
- 2014-03-12 CN CN201410089906.5A patent/CN104050967A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1313972A (zh) * | 1998-08-24 | 2001-09-19 | Bcl计算机有限公司 | 自适应的自然语言接口 |
| CN1647023A (zh) * | 2002-02-15 | 2005-07-27 | Sap股份公司 | 语音控制的数据输入 |
| CN101939740A (zh) * | 2007-12-11 | 2011-01-05 | 声钰科技 | 在集成语言导航服务环境中提供自然语言语音用户界面 |
| CN101231660A (zh) * | 2008-02-19 | 2008-07-30 | 林超 | 电话自然对话中关键信息的挖掘系统及其方法 |
| US20120035923A1 (en) * | 2010-08-09 | 2012-02-09 | General Motors Llc | In-vehicle text messaging experience engine |
| CN102543082A (zh) * | 2012-01-19 | 2012-07-04 | 北京赛德斯汽车信息技术有限公司 | 使用自然语言的车载信息服务系统语音操作方法及系统 |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016173446A1 (zh) * | 2015-04-30 | 2016-11-03 | 阿里巴巴集团控股有限公司 | 信息获取方法、装置和系统 |
| US10891106B2 (en) | 2015-10-13 | 2021-01-12 | Google Llc | Automatic batch voice commands |
| CN107850992A (zh) * | 2015-10-13 | 2018-03-27 | 谷歌有限责任公司 | 自动批量语音命令 |
| CN107767865A (zh) * | 2016-08-19 | 2018-03-06 | 谷歌公司 | 语音动作偏置系统 |
| US10089982B2 (en) | 2016-08-19 | 2018-10-02 | Google Llc | Voice action biasing system |
| CN107767865B (zh) * | 2016-08-19 | 2019-04-19 | 谷歌公司 | 语音动作偏置系统 |
| CN107146623A (zh) * | 2017-04-07 | 2017-09-08 | 百度在线网络技术（北京）有限公司 | 基于人工智能的语音识别方法、装置和系统 |
| CN107146623B (zh) * | 2017-04-07 | 2021-03-16 | 百度在线网络技术（北京）有限公司 | 基于人工智能的语音识别方法、装置和系统 |
| CN108399463A (zh) * | 2018-03-15 | 2018-08-14 | 奇瑞汽车股份有限公司 | 一种预约充电系统及充电方法 |
| CN110348002A (zh) * | 2018-04-05 | 2019-10-18 | 通用汽车环球科技运作有限责任公司 | 实现语音请求的系统和方法 |
| CN110753927A (zh) * | 2018-05-07 | 2020-02-04 | 谷歌有限责任公司 | 在计算设备之间同步访问控制 |
| US11595391B2 (en) | 2018-05-07 | 2023-02-28 | Google Llc | Synchronizing access controls between computing devices |
| CN110753927B (zh) * | 2018-05-07 | 2023-08-11 | 谷歌有限责任公司 | 在计算设备之间同步访问控制 |
| US11855988B2 (en) | 2018-05-07 | 2023-12-26 | Google Llc | Synchronizing access controls between computing devices |
| CN112513845A (zh) * | 2018-06-06 | 2021-03-16 | 亚马逊技术股份有限公司 | 与语音使能设备的暂时账户关联 |
| CN112037790A (zh) * | 2020-08-10 | 2020-12-04 | 上汽大众汽车有限公司 | 基于车载语音识别系统控制第三方应用的方法、系统和车辆 |
| CN112037790B (zh) * | 2020-08-10 | 2024-02-23 | 上汽大众汽车有限公司 | 基于车载语音识别系统控制第三方应用的方法、系统和车辆 |
| WO2022193470A1 (zh) * | 2021-03-17 | 2022-09-22 | 博泰车联网科技(上海)股份有限公司 | 云平台的用户偏好查询方法、装置、存储介质和终端 |
| CN113581070A (zh) * | 2021-06-11 | 2021-11-02 | 广汽本田汽车有限公司 | 汽车提示音设置系统、方法、运行控制装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014179067A (ja) | 2014-09-25 |
| US20140278436A1 (en) | 2014-09-18 |
| US9123345B2 (en) | 2015-09-01 |
| DE102014204108A1 (de) | 2014-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104050967A (zh) | 语音接口系统和方法 | |
| CN104412264B (zh) | 预先缓存与旅行目的地相关的数据 | |
| JP6571118B2 (ja) | 音声認識処理のための方法、車載システム及び不揮発性記憶媒体 | |
| US11205421B2 (en) | Selection system and method | |
| US9159322B2 (en) | Services identification and initiation for a speech-based interface to a mobile device | |
| US20140380240A1 (en) | System and Method for a Human Machine Interface | |
| US10043173B2 (en) | Safe food ordering by voice while driving | |
| US10679620B2 (en) | Speech recognition arbitration logic | |
| CN102646156B (zh) | 用于在车辆中增强健康认知的方法和系统 | |
| US20140142948A1 (en) | Systems and methods for in-vehicle context formation | |
| CN102292766B (zh) | 用于语音处理的方法和装置 | |
| US10405152B1 (en) | Method and apparatus for vehicular communication | |
| CN103095325A (zh) | 具有远程服务接口的移动语音平台架构 | |
| CN104765597A (zh) | 针对应用类型用户界面模板的方法和系统 | |
| CN103677799A (zh) | 用于车辆系统的主观命令控制的方法和设备 | |
| CN103152702A (zh) | 用于移动设备的基于语音的用户接口 | |
| US8682307B2 (en) | Device-interoperability notification method and system, and method for assessing an interoperability of an electronic device with a vehicle | |
| US10391958B2 (en) | Methods and systems to customize a vehicle computing system based on an electronic calendar | |
| CN107070962A (zh) | 用于移动装置模拟车辆人机界面的方法和系统 | |
| CN103123621A (zh) | 移动语音平台架构 | |
| US20190287520A1 (en) | Dialog processing system, vehicle having the same, dialog processing method | |
| CN109785827A (zh) | 在语音识别仲裁中使用的神经网络 | |
| CN114827944A (zh) | 用于使用车辆进行通信的系统和方法 | |
| CN114530149A (zh) | 车辆及其控制方法 | |
| CN116567571A (zh) | 一种基于自然环境状况自动推荐使用智能设备的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140917 |
|
| WD01 | Invention patent application deemed withdrawn after publication |