CN101971250A - 具有活动语音识别的移动电子设备 - Google Patents

具有活动语音识别的移动电子设备 Download PDF

Info

Publication number
CN101971250A
CN101971250A CN2008801279791A CN200880127979A CN101971250A CN 101971250 A CN101971250 A CN 101971250A CN 2008801279791 A CN2008801279791 A CN 2008801279791A CN 200880127979 A CN200880127979 A CN 200880127979A CN 101971250 A CN101971250 A CN 101971250A
Authority
CN
China
Prior art keywords
voice
electronic equipment
program
cause
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2008801279791A
Other languages
English (en)
Other versions
CN101971250B (zh
Inventor
贾森·考恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Mobile Communications AB
Original Assignee
Sony Ericsson Mobile Communications AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Ericsson Mobile Communications AB filed Critical Sony Ericsson Mobile Communications AB
Publication of CN101971250A publication Critical patent/CN101971250A/zh
Application granted granted Critical
Publication of CN101971250B publication Critical patent/CN101971250B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)

Abstract

电子设备(10、16)使用语音识别针对能够引起动作的语音而分析话音通信。当检测到能够引起动作的语音时，电子设备可以执行相应的功能，包括：在日志中存储信息，或者向用户呈现一个或更多个程序、服务和/或控制功能。能够引起动作的语音可以是被使用专家系统检测为针对程序的潜在命令或数据输入的预定命令和/或语音模式。

Description

具有活动语音识别的移动电子设备
技术领域
本发明的技术总体上涉及电子设备，更具体地涉及用于监控针对能够引起动作的语音的音频通信并且在检测到能够引起动作的语音时执行指定的功能和/或向电子设备的用户提供选项的系统和方法。
背景技术
移动无线电子设备变得越来越普及。例如，现在广泛使用移动电话、便携式媒体播放器和便携式游戏设备。另外，与特定类型的电子设备关联的功能已变得越来越多样化。举出几个示例，许多电子设备具有摄像机、文本消息收发性能、因特网浏览性能、电子邮件性能、视频回放性能、音频回放性能、图像显示性能以及免提耳机接口。
尽管便携式电子设备可以向用户提供使用多个功能的能力，但是，当前便携式电子设备未提供在电话会话期间与多个功能交互的方便方式。例如，在呼叫期间用于访问非呼叫功能的用户接口常常是困难的，并且使用起来是耗时的。
发明内容
为了在用户使用电子设备来执行电话呼叫(或其他音频通信)的同时提高用户与电子设备的功能交互的能力，本发明描述一种改进的电子设备，该电子设备分析针对用户的能够引起动作的语音的电话呼叫和/或会话中涉及的其他方的电话呼叫。当检测到能够引起动作的语音时，电子设备可以执行相应功能，这包括了在呼叫日志中存储信息、向用户提供一个或更多个功能(如应用、服务和/或控制功能)、或一些其他动作。例如，能够引起动作的语音可以是预定的命令(如采用词或短语的形式)和/或使用专家系统而检测到的语音模式(如句子结构)。电子设备的操作和相应方法可以导致在电话呼叫或其他基于话音的通信(如，“一按即通”(push-to-talk)会话)期间和/或之后的改善的体验。例如，该系统和方法可以允许按照直观且简单的方式访问信息和服务。在会话期间可以容易获得的信息的示例性类型可以包括到目的地的方向、联系的电话号码、当前时间等。在本文件的随后部分中将更详细地描述多个其他示例性呼叫中的用户接口功能。
根据本发明的一个方面，第一电子设备主动识别话音通信期间的语音。第一电子设备包括控制电路，该控制电路将话音通信转换为文本并分析该文本以检测能够引起程序动作的语音，能够引起动作的语音对应于能够引起程序动作的命令或数据输入。
根据第一电子设备的一个实施方式，控制电路还基于能够引起动作的语音而运行程序。
根据第一电子设备的一个实施方式，其中通过专家系统执行所述分析，该专家系统在周围句子结构的语境中分析词和短语以检测能够引起动作的语音。
根据第一电子设备的一个实施方式，电子设备是服务器，并且服务器向客户机设备发送命令或数据输入，该客户机设备响应于命令或数据输入而运行程序。
根据第一电子设备的一个实施方式，程序是因特网浏览器。
根据第一电子设备的一个实施方式，使用能够引起动作的语音将因特网浏览器导向特定因特网网页，以访问相应服务。
根据第一电子设备的一个实施方式，服务是从绘制地图和方向服务、目录服务、天气预报服务、餐馆指南或电影列表服务中的一种选择的。
根据第一电子设备的一个实施方式，程序是生成电子邮件消息、即时消息、文本消息或多媒体消息之一的消息收发程序。
根据第一电子设备的一个实施方式，程序是联系人列表。
根据第一电子设备的一个实施方式，程序是用于存储约会条目的日历程序。
根据第一电子设备的一个实施方式，程序控制电子设备的设置。
根据第一电子设备的一个实施方式，电子设备是移动电话并且话音通信是电话呼叫。
根据本发明的另一方面，第二电子设备主动识别话音通信期间的语音。第二电子设备包括：控制电路，该控制电路将话音通信转换为文本并分析该文本以检测能够引起动作的语音，能够引起动作的语音对应于在话音通信的结束之后对用户有价值的信息；和存储器，该存储器在会话日志中存储能够引起动作的语音。
根据第二电子设备的一个实施方式，会话日志采用了包含对应于能够引起动作语音的文本的文本格式。
根据第二电子设备的一个实施方式，会话日志采用了包含来自话音通信的对应于能够引起动作语音的音频数据的音频格式。
根据第二电子设备的一个实施方式，能够引起动作的语音对应于姓名、电话号码、电子邮件地址、消息收发地址、街道地址、地点、到目的地的方向、日期、时间或者它们的组合中的至少一种。
根据本发明的另一方面，提供了使用电子设备在话音通信期间主动识别语音并响应于语音而动作的第一方法，该方法包括以下步骤：将话音通信转换为文本；分析该文本以检测能够引起电子设备的程序动作的语音，能够引起动作的语音对应于能够引起程序动作的命令或数据输入；以及基于能够引起动作的语音运行程序。
根据第一方法的一个实施方式，由专家系统执行分析，该专家系统在周围句子结构的语境中分析词和短语以检测能够引起动作的语音。
根据第一方法的一个实施方式，在用户选择了运行程序的选项之后运行程序。
根据第一方法的一个实施方式，程序是因特网浏览器。
根据第一方法的一个实施方式，使用能够引起动作的语音将因特网浏览器导向特定因特网网页，以访问相应服务。
根据第一方法的一个实施方式，服务是从绘制地图和方向服务、目录服务、天气预报服务、餐馆指南或电影列表服务中的一种选择的。
根据第一方法的一个实施方式，程序是生成电子邮件消息、即时消息、文本消息或多媒体消息之一的消息收发程序。
根据第一方法的一个实施方式，程序是联系人列表。
根据第一方法的一个实施方式，程序是用于存储约会条目的日历程序。
根据第一方法的一个实施方式，程序控制电子设备的设置。
根据本发明的另一方面，提供了使用电子设备在话音通信期间主动识别语音并响应于语音而动作的第二方法，该方法包括以下步骤：将话音通信转换为文本；分析该文本以检测可以引起动作的语音，能够引起动作的语音对应于在话音通信的结束之后对用户有价值的信息；和在会话日志中存储能够引起动作的语音。
根据第二方法的一个实施方式，会话日志采用了包含对应于能够引起动作的语音的文本的文本格式。
根据第二方法的一个实施方式，会话日志采用了包含来自话音通信的对应于能够引起动作的语音的音频数据的音频格式。
根据第二方法的一个实施方式，能够引起动作的语音对应于姓名、电话号码、电子邮件地址、消息收发地址、街道地址、地点、到目的地的方向、日期、时间或者它们的组合中的至少一种。
参照下面的描述和附图，将清楚本发明的这些和进一步的特征。在描述和附图中，具体公开了本发明的特定实施方式，以指示可采用本发明原理的一些方式，但是应当理解本发明的范围并不因此受到限制。相反，本发明包括落入所附的权利要求的精神和条款内的全部变化、修改和等同例。
针对一个实施方式描述和/或例示的特征可以按照相同方式或类似方式在一个或更多个其他实施方式中使用，和/或与其他实施方式的特征相结合地或替代其他实施方式的特征而使用。
附图说明
图1是示例性电子设备可以与另一电子设备通信的通信系统的示意图；
图2是图1的示例性电子设备的示意框图；和
图3是表示使用图1的电子设备的活动语音识别的示例性方法的流程图。
具体实施方式
现在将参考附图来描述实施方式，其中在全部图中使用相似标号来表示相似部件。应理解的是，这些图可能不按比例绘制。
在本文件中，实施方式主要是在移动电话的背景中进行描述。但应理解，移动电话的示例性背景不是可以使用所公开的系统和方法的方面的唯一操作环境。因此，在该文件中描述的技术可以应用于任何类型的合适电子设备，这些电子设备的示例包括移动电话、媒体播放器、游戏装置、计算机、寻呼机、通信机、电子记事簿、个人数字助理(PDA)、智能电话、便携式通信设备等。
首先参考图1和图2，电子设备10可以配置为作为通信系统12的一部分来操作。系统12可以包括具有服务器16(或多个服务器)的通信网络14，服务器16用于管理电子设备10发起的呼叫以及去往电子设备10的呼叫、向电子设备10发送数据并执行任何其他支持功能。电子设备10可以经由传输介质(未示出)与通信网络14交换信号。传输介质可以是任何适当的装置或组件，这包括例如通信塔(如，蜂窝通信塔)、无线接入点、卫星等。网络14可以支持多个电子设备和其他类型的终端用户装置的通信活动。如将理解的，服务器16可以配置为用于执行服务器功能的通常的计算机系统并可以包括处理器和存储器，该处理器配置为执行包含逻辑指令的软件，该软件实现服务器16的功能，该存储器存储这样的软件。
电子设备10可以对另一电子设备(这被称为第二电子设备或远程电子设备18)发起呼叫或接收来自它的呼叫。在例示的实施方式中，远程电子设备18是另一移动电话，但可以是另一类型的装置，该装置能够允许远程电子设备18的用户与电子设备10的用户进行话音通信。此外，在电子设备10与远程电子设备18之间的通信可以是除了电话呼叫以外的话音通信的形式，诸如“一按即通”会话或来源于装置10、18中的任一个的话音消息。
远程电子设备18示出为由通信网络14服务，将理解的是，远程电子设备18可以由诸如蜂窝服务提供商、卫星服务提供商、因特网语音协议(VoIP)服务提供商、常规有线电话系统(如，简单的老式电话系统或POTS)等的不同通信网络来服务。如指出的，电子设备10还可以通过一个或更多个这些类型的网络来工作。
在描述用于监控话音通信的技术之前，将描述当被实现为移动电话时的电子设备10的示例性构造。在例示的实施方式中，电子设备10描述为提供和执行呼叫辅助功能20，呼叫辅助功能20至少实现一些公开的监控和用户接口特征。在其他实施方式中，呼叫辅助功能20可以由服务器16提供。在该实施方式中，服务器16可以处理去往电子设备10或从电子设备10接收的话音数据，并且向电子设备10发送相应的控制和数据消息以调用描述的用户接口特征。
在例示的实施方式中，电子设备10包括呼叫辅助功能20。呼叫辅助功能10配置为针对能够引起动作的语音监控在电子设备10的用户与远程电子设备18的用户之间的话音通信。基于检测的能够引起动作的语音，呼叫辅助功能20向用户提供接口功能。能够引起动作的语音可以是这样的语音，该语音可以用作对程序的控制输入或数据输入。另外，能够引起动作的语音可以是对用户具有信息价值的语音。下面将更详细地描述呼叫辅助功能20的另外的详情和操作。
呼叫辅助功能20可以实现为驻留在电子设备10中并由电子设备10执行的可执行代码。在一个实施方式中，呼叫辅助功能20可以是存储在计算机或机器可读介质上的程序。呼叫辅助功能20可以是独立软件应用或者形成执行与电子设备10有关的附加任务的软件应用的一部分。
如下面将变得明显的，呼叫辅助功能20可以与其他软件程序22交互，该软件程序22由电子设备10存储和执行。为了图的简单，该其他程序22不单独标识。将理解的是，这里提到的程序22是代表性的，并且不是呼叫辅助功能20与之可以交互的程序22的穷举性列表。一个示例性程序22可以是设置控制功能。例如，呼叫辅助功能20的输出可以被输入到电子设备10的设置控制功能，以控制扬声器音量、显示亮度或其他可设置参数。作为另一示例，来自呼叫辅助功能20的输出可以被输入到因特网浏览器以使用由因特网服务器提供的服务来调用搜索。示例性服务可以包括但不限于一般的因特网搜索引擎、电话目录、天气预报服务、餐馆指南、地图绘制和向导服务、电影列表服务等。作为另一示例，呼叫辅助功能20可以与联系人列表数据库交互以搜索先前存储的信息或存储在话音通信期间获得的新信息。另一示例性程序22包括日历功能、时钟功能、消息收发功能(如，电子邮件功能、即时消息收发功能、文本消息功能、多媒体消息功能等)、或任何其他适当的功能。
电子设备10可以包括显示器24。显示器24向用户显示信息，诸如操作状态、时间、电话号码、联系信息、各种菜单、针对各种程序的图形用户界面(GUI)等。显示的信息使用户能够利用电子设备10的各种特征。显示器24还可以用于可视地显示由电子设备10接收的内容和/或从电子设备10的存储器26获得的内容。显示器24可以用于向用户呈现图像、视频和其他图形，诸如照片、移动电视内容和与游戏关联的视频。
键区28提供各种用户输入操作。例如，键区28可以包括字母数字键，以允许输入诸如电话号码、电话列表、联系人信息、备忘录、文本等的字母数字信息。另外，键区28可以包括特殊功能键，诸如用于发起或应答呼叫的“呼叫发送”键、和用于结束或“挂断”呼叫的“呼叫结束”键。特殊功能键还可以包括菜单导航和选择键，以有助于在显示器24上显示的菜单中进行导航。例如，可以具有点击装置和/或导航键以从用户接受方向输入。特殊功能键可以包括音频视频内容回放键以开始、停止和暂停回放、跳过或重复音轨(track)等。与移动电话关联的其它键可以包括音量键、音频静音键、开/关电源键、网络浏览器启动键、摄像机键等。键或键类似功能也可以实现为与显示器24关联的触摸屏。另外，显示器24以及键区28可以彼此结合地使用以实现软键功能。
电子设备10可以包括使电子设备10能够与通常可以是另一移动电话或固定电话的被叫/主叫设备(如，远程电子设备18)建立呼叫和/或交换信号的呼叫电路。但是，被叫/主叫设备不必为另一个电话，而可以是诸如因特网网络服务器、内容提供服务器等的一些其它装置。呼叫可以采取任何适当的形式。例如，呼叫可以是在蜂窝电路交换网络上建立的常规呼叫或者是在蜂窝网络的分组交换能力或在诸如WiFi(例如，基于IEEE 802.11标准的网络)、WiMax(例如，基于IEEE 802.16标准的网络)等另选的分组交换网络上建立的因特网语音协议(VoIP)呼叫。另一个示例包括在蜂窝网络或另选网络上建立的视频使能呼叫。
电子设备10可以被配置为产生、发送、接收和/或处理诸如文本消息、即时消息、电子邮件消息、多媒体消息、图像文件、视频文件、音频文件、铃声、流音频、流视频、数据馈送(包括播客和内容聚合(RSS：reallysimple syndication)数据馈送)、因特网内容等的数据。注意，文本消息通常被一些人称为“SMS”，这表示简单的消息服务。SMS是用于交换文本消息的典型标准。类似地，多媒体消息常被一些人称为“MMS”，这表示多媒体消息服务。MMS是用于交换多媒体消息的典型标准。对数据进行处理可以包括在存储器26中存储数据，执行应用以允许用户与数据交互，显示与数据关联的视频和/或图像内容，输出与数据关联的音频声音等。
继续参考图2，电子设备10可以包括被配置为对电子设备10的功能和操作执行整体控制的主控制电路30。控制电路30可以包括诸如中央处理单元(CPU)、微控制器或微处理器的处理装置32。处理装置32执行存储在控制电路30内的存储器(未示出)和/或在诸如存储器26的单独存储器中的代码，以执行电子设备10的操作。例如，存储器26可以是缓冲器、闪存、硬盘驱动器、可移除介质、易失性存储器、非易失性存储器、随机存取存储器(RAM)或其它适当装置中的一种或更多种。在通常的设置中，存储器26可以包括用于长期数据存储的非易失性存储器(如，NAND或NOR架构的闪存)和充当控制电路30的系统存储器的易失性存储器。易失性存储器例如可以是利用同步动态随机存取存储器(SDRAM)实现的RAM。存储器26可以与控制电路30通过数据总线交换数据。也可以具有存储器26与控制电路30之间的附带的控制线路和地址总线。
处理装置32可以执行实现呼叫辅助功能20和程序22的代码。对于计算机编程、并特别是在针对移动电话或其他电子设备的应用编程的领域中的普通技术人员来说，如何对电子设备10编程以操作和执行与呼叫辅助功能20关联的逻辑功能是显而易见的。因此，为了简明的目的而省略了具体的编程代码的细节。另外，尽管根据实施方式由处理装置23执行呼叫辅助功能20，但这样的功能还可以经由专用硬件或固件或者硬件、固件和/或软件的某种组合来执行。
电子设备10可以包括耦合到无线电电路36的天线34。无线电电路36包括用于经由天线34发送和接收信号的射频发送器和接收器。无线电电路36可以被配置为在通信系统12中工作并可以用于发送和接收数据和/或音频视频内容。用于与网络14交互的接收器类型包括但不限于全球移动通信系统(GSM)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用分组无线电服务(GPRS)、WiFi、WiMAX等以及这些标准的高级版本。将会理解的是，天线34和无线电电路36可以代表一个或一个以上的无线电收发器。
电子设备10还包括用于处理由无线电电路36发送和从无线电电路36接收的音频信号的声音信号处理电路38。与声音处理电路38耦合的是使用户能够经由电子设备10收听和说话的扬声器40和麦克风42。无线电电路36和声音处理电路38均耦合到控制电路30以执行整体操作。音频数据可以从控制电路30传递到声音信号处理电路38以向用户进行回放。音频数据例如可以包括由存储器26存储并由控制电路30获取的音频文件的音频数据，或从移动无线电服务接收的诸如流音频数据形式的音频数据。声音处理电路38可以包括任何适当的缓冲器、解码器、放大器等。
通过将视频数据转换为用于驱动显示器24的视频信号的视频处理电路44，显示器24可以耦合到控制电路30。视频处理电路44可以包括任何适当的缓冲器、解码器、视频数据处理器等。视频数据可以由控制电路30产生，从存储在存储器26中的视频文件中获取，从无线电电路38接收到的输入视频数据流得到，或者通过任何其它适当方法获得。
电子设备10还可以包括一个或更多个输入/输出(I/O)接口46。I/O接口46可以是典型的移动电话I/O接口的形式，并且可以包括一个或更多个电连接器。正如典型的那样，I/O接口46可以用于将电子设备10耦合到电池充电器以对电子设备10内的电源单元(PSU)48的电池充电。另外或另选地，I/O接口46可以用于将电子设备10连接到具有与电子设备10的有线接口的头戴式耳机组件(例如，个人免提(PHF)装置)。此外，I/O接口46可以用于经由数据线将电子设备10连接到个人计算机或其它装置以交换数据。当连接到车载电源适配器或电源插座适配器时，电子设备10可以经由I/O接口46接收工作电力。在缺乏外部电源时，PSU 48可以供电以使电子设备10工作。
电子设备10可以包括用于拍摄数字图片和/或电影的摄像机50。对应于图片和/或电影的图像和/或视频文件可以存储在存储器26中。
电子设备10还可以包括位置数据接收器52，诸如全球定位系统(GPS)接收器、伽利略卫星系统接收器等。位置数据接收器52可以用于电子设备10的位置的确定。
电子设备10还可以包括诸如红外收发器和/或RF接口(如，蓝牙接口)的局域无线接口54，用于建立与附件、另一移动无线电终端、计算机或另一装置的通信。例如，在头戴式耳机组件具有相应的无线接口的实施方式中，局域无线接口54可以可操作地将电子设备10耦合到头戴式耳机组件(例如，PHY装置)。
另外参考图3，例示的是用于实现在涉及电子设备10的话音通信期间有效地识别和作用于语音的示例性方法的逻辑操作。例如通过执行呼叫辅助功能20的实施方式而执行该示例性方法。因而，图3的流程图可以被视为由电子设备10执行的方法的描述步骤。在其他实施方式中，一些步骤可以由服务器16执行。
尽管图3示出执行功能逻辑块的特定顺序，但相对于示出的顺序可以改变执行这些块的顺序。另外，两个或更多个连续示出的块可以同时地执行或部分同时地执行。还可以省略特定的块。
在一个实施方式中，如果用户使用头戴式耳机装置(例如，PHY)或扬声器电话功能来参与话音通信，结合图3描述的功能可以工作地最佳。按照该方式，电子设备10不需要保持靠着用户的头，使得用户在通信期间可以观看显示器24并且/或者可以操作键区28。
将理解的是，这些操作可以应用于输入的音频数据(如，来自远程电子设备18的用户的语音)、输出的音频数据(如，来自电子设备10的用户的语音)、或输入和输出的音频数据二者。
逻辑流可以开始于块56，其中，可以对电子设备10是否当前正在用于诸如电话会话、“一按即通”通信或话音消息回放的音频(如，话音)通信进行确定。如果电子设备10当前没有进行音频通信，逻辑流可以等待，直到音频通信开始。如果在块56中做出肯定性确定，逻辑流则进行到块58。
在例示的实施方式中，音频通信示出为在电子设备10的用户与远程装置18的用户之间的、在这两个装置之间建立的电话呼叫期间的会话。在块58，该会话可以针对能够引起动作的语音的存在而被监控。例如，可以使用语音识别来将包含了各装置10和18的用户的话音模式的音频信号转换为文本。针对可以充当电子设备10调用特定动作的命令或提示的预定的词或短语而分析该文本，如在下面将更详细描述的。另外，专家系统可以分析该文本以标识词、短语、句子结构、顺序和其他口头信息，以标识据此可采取动作的谈话的一部分。在一个实施方式中，专家系统可以实现为评价谈话的主题，并将该信息与可以在谈话期间或之后辅助用户的电子设备10的程序和功能进行匹配。为此，专家系统可以包含匹配在谈话的周围语音的语境中取得的特定词和/或短语的一组匹配规则，以将这些词和短语与电子设备的能够引起动作的功能匹配。例如，与吃、餐馆、方向、地点、天气、或其他话题的问题有关的句子结构可以提示专家系统标识能够引起动作的语音。另外，与这些或其他话题有关的信息陈述可以提示专家系统来标识能够引起动作的语音。作为示例，信息陈述可以用“我的地址是...”来开始。
在块58之后，逻辑流可以进行到块60，在块60，可以确定立即的能够引起动作的语音是否已被识别。立即的能够引起动作的语音可以是预定的命令、词或短语，电子设备10使用这样的命令、词或短语来引起相应的响应。例如，如果用户说出短语“启动网络浏览器”，则在块60做出肯定性确定并且可以启动浏览器程序。作为另一示例，用户可以说出短语“音量增大”，以使电子设备10通过增加扬声器音量而进行响应，使得用户可以更好地收听远程电子设备18的用户。按照该方式，用户可以说出预定的词或短语以启动程序22中的一个、显示特定信息(如，一天中的时间、日期、联系人列表条目等)、开始记录谈话、结束记录谈话或采取可以与口头命令关联的任何其他动作，这期间电子设备10实际上在进行与远程电子设备18的呼叫。
如果立即的能够引起动作的语音未在块60中识别，逻辑流可以进行到块62。在块62中。可以确定是否识别了任何能够引起动作的语音。块62的结果可以基于专家系统执行的分析，如与块58结合地描述的。作为示例，如果用户发出诸如“什么”、“你说什么”、“原谅我”、“对不起”“请您重复”的陈述，专家系统可以从这些短语中提取突出的词以确定用户在理解远程装置18的用户时是有困难的。在该情况下，专家系统可以将用户的语音关联到电子设备10的音量控制。
作为另一示例，如果用户开始讨论与如何到达特定目的地有关的方向，专家系统可以将语音与通过因特网web浏览器程序22可使用的地图绘制服务关联。同理，与吃或餐馆有关的语音(如，用户之一说“哪里是吃的好地点”或“你想去哪里吃正餐”)可以变得与餐馆指南和/或使用因特网web浏览器22或其他程序22可访问的地图绘制服务关联。另一其他语音可以与诸如电影列表、目录(如，住宅电话列表，通常称为“白页”，和/或商业电话列表，通常称为“黄页”)、天气预报服务等的其他服务关联。如将理解的，专家系统可以试图识别语音，此时可以收集信息以辅助一个用户或这两个用户。该类型的语音的识别可以与因特网web浏览器或其他信息收集工具关联。根据可确定的详情的程度，语音可以与诸如上述搜索引擎、地图绘制服务、天气预报服务、餐馆指南、电影列表、电话目录等之一的特定服务或特定的因特网网页关联。
其他语音可以导致语音与用于执行任务的应用关联。例如，语音可以调用电子设备10的联系人列表程序22的搜索。例如，如果用户说“让我找乔的电话号码”，电子设备可以打开用户的联系人列表并搜索与名字“乔”关联的电话号码。作为另一示例，如果用户讨论何时进行人员会晤或者何时安排随后的电话呼叫，语音可以与日历功能关联，并且日历功能可以被显示给用户以容易查阅。其他语音可以与诸如电子邮件功能、即时消息收发功能、文本消息功能或多媒体消息功能的消息收发程序22关联。作为示例，如果用户说“我用电子邮件将该图片发给你”，对电子邮件功能和/或照片查看功能的关联将被进行。根据从语音获得的信息量，特定的照片可以自动附着到电子邮件消息和/或电子邮件消息可以使用来自用户的联系人列表的存储的电子邮件地址而被自动寻址。
在其他情况下，用户之一可以口头上向其他用户提供有价值的信息，诸如电话号码、街道地址、方向、电子邮件地址、会晤的日期和时间或其他信息。专家系统可以配置为通过信息的格式识别信息的传送。例如，系列数字可以表示电话号码。其他语音可以指示街道地址(例如，与词汇街道、道路、干道、林荫路之一结合地使用的数字)。其他信息可以是电子邮件地址、即时消息地址、方向(如，包含一个或更多个词汇转、直走、左、右、高速等的指示)或其他信息。当该类型的语音被识别时，电子设备10可以存储该信息。通过存储转换后的语音的文本日志、存储包含音频通信自身的音频文件以供用户将来回放、或这些存储技术的二者，可以存储信息。
在块62的肯定性确定之后，逻辑流可以进行到块64。在块64，可以从语音中提取信息的项。示例性的信息的项在上面已描述，并且可以包括但不限于街道地址、人的名字、地点、电影姓名、日期和/或时间、电话号码、电子邮件地址、或来自会话的任何其他可识别信息。如将描述的，该信息可以被输入程序22之一中，以进一步处理。从其他源可以收集另外的信息。例如，可以获得标识电子设备10和/或远程电子设备18的位置的位置信息。例如，位置信息可以格式化为GPS位置数据。例如，可以使用位置信息来向电子设备10的用户和/或远程装置18的用户提供到特定目的地的方向。
逻辑流可以进行到块66，其中被标识为对用户具有潜在用途的信息可以被存储在会话日志中，如指示的，信息可以按照文本格式、音频格式或者文本和音频格式二者来存储。
在块68，可以标识程序22，程序22基于检测的能够引起动作的语音而对用户可以是有用的。标识的程序22可以是与上述语音关联的程序，诸如可以将识别的能够引起动作的语音接受为输入的程序。如指示的，程序可以包括因特网网络浏览器或其他信息收集工具、电子邮件消息程序或其他消息收发程序、联系人列表数据库、日历功能、时钟功能、电子设备10的设置控制功能、或任何其他可适用的应用。另外，可以作用于能够引起动作的语音的程序22的标识可以包括特定功能、特征、服务或使用标识的程序可访问的因特网网页的标识。
在块68之后，或者在块60中的肯定性确定之后，逻辑流可以进行到块70，在块70，可以向用户呈现程序22的列表，程序22可以基于被检测的能够引起动作的语音而对用户是有用的。该列表可以具体地标识可执行的程序、服务和/或与能够引起动作的语音具有逻辑关系的控制功能。向用户显示的项可以是可选择的，使得用户可以选择显示的选项，以快速地访问关联的程序、服务或控制功能。在一些情况下，能够引起动作的语音可以对应于可以在没有用户交互的情况下执行的特征。在该情况下，可以省略基于能够引起动作的语音向用户呈现选项，并且适当的程序22可以自动地被调用，以执行与能够引起动作的语音以及任何关联的提取的信息相对应的动作。
在块70之后，逻辑流可以进行到块72，其中确定用户是否选择显示的选项。如果用户选择显示的选项，逻辑流可以进行到块74，其中与选择的选项关联的程序22运行，以执行相应的任务。这些相应的任务可以包括但不限于执行控制动作(如，调节音量设置)、从联系人列表条目搜索并取得信息、在联系人列表条目中存储信息、开始生成消息、与日历功能的交互、启动因特网网络浏览器和浏览具体服务(如，餐馆指南、地图绘制服务、电影列表、天气预报服务、电话目录等)、执行因特网搜索。在块74之后，逻辑流可以进行到块76，其中如果适当的话，来自在块74运行的程序22的输出可以被显示给用户。例如，来自地图绘制的交互地图的指示可以显示在显示器24上。
在块62或块72之一中的否定性确定之后，或者在块76之后，逻辑流可以进行到块78。在块78中，可以确定音频通信是否已结束。如果没有结束，逻辑流可以返回到块58，以继续针对另外的能够引起动作的语音而监控音频通信。如果在块78中已确定会话结束了，逻辑流可以进行到块80。
在块80，可以确定用户是否已选择一选项，以针对音频通信打开会话日志。如指示的，会话日志可以采用文本格式和/或音频格式。在一个实施方式中，只要检测到能够引起动作的语音以提示会话日志的存储，用户就可以被提供这样的机会：当音频通信完成之后或在音频通信期间打开和查阅日志。另外，历史的会话日志可以为了用户在将来的某一时间的参考而被存储。
如果用户不启动会话日志，逻辑流可以返回到块56以等待另一音频通信的开始。如果用户在块80的确启动通信日志，逻辑流可以进行到块82，其中用户可以查阅所存储的信息。例如，用户可以读取存储的文本以获取诸如方向、地址、电话号码、人的名字、电子邮件地址等的信息。如果用户查阅包含音频通信的记录的音频文件，用户可以收听关注的信息。在一个实施方式中，通信日志可以存储与全部音频通信有关的信息。在其他实施方式中，会话日志可以包含与被发现具有能够引起动作的语音成分的音频通信的部分有关的文本和/或音频信息。在块82之后，逻辑流可以返回到块56，以等待另一音频通信开始。
在前面的描述中，关于英语语言给出了描述的功能的示例。将理解的是，主要通过专家系统的规则进行的语言分析可以适于英语之外的语言。例如，通过检测与方向共同使用的短语和词并通过分析包含这些词和短语的句子结构，针对从一个位置到另一位置的方向可以监控会话，而不管作为基础的语言如何。接着，驾驶或其他行驶方向可以从话音通信提取，并且为了将来的使用而可以存储所提取的信息。同理，地址可以从会话中提取并作为对地图绘制服务的输入来使用，以获得到该位置的方向以及周围区域的地图。
上述技术可以向用户提供使用与电子设备之间的方便的接口，该电子设备10可以在电话呼叫或其他话音通信期间使用。该技术允许用户使用来自话音通信的有关信息来与电子设备交互。
尽管已示出和描述了特定实施方式，但本领域的其他技术人员在阅读和理解本说明书后将理解的是，可以出现落入所附权利要求的范围内的等同物和变型例。

Claims (30)

1.一种在话音通信期间主动识别语音的电子设备(10、16)，该电子设备(10、16)包括控制电路(30)，该控制电路(30)将所述话音通信转换为文本并分析该文本以检测能够引起程序(23)动作的语音，该能够引起动作的语音对应于引起所述程序动作的命令或数据输入。
2.根据权利要求1所述的电子设备，其中，所述控制电路还基于所述能够引起动作的语音而运行所述程序。
3.根据权利要求1到2中任何一项所述的电子设备，其中，通过专家系统执行所述分析，该专家系统在周围句子结构的语境中分析词和短语以检测所述能够引起动作的语音。
4.根据权利要求1到3中任何一项所述的电子设备，其中，所述电子设备是服务器，并且所述服务器向客户机设备发送所述命令或数据输入，该客户机设备响应于所述命令或数据输入而运行所述程序。
5.根据权利要求1到4中任何一项所述的电子设备，其中，所述程序是因特网浏览器。
6.根据权利要求5所述的电子设备，其中，使用所述能够引起动作的语音来将所述因特网浏览器导向特定因特网网页，以访问相应的服务。
7.根据权利要求6所述的电子设备，其中，所述服务是从绘制地图和方向服务、目录服务、天气预报服务、餐馆指南或电影列表服务中的一种选择的。
8.根据权利要求1到4中任何一项所述的电子设备，其中，所述程序是生成电子邮件消息、即时消息、文本消息或多媒体消息之一的消息收发程序。
9.根据权利要求1到4中任何一项所述的电子设备，其中，所述程序是联系人列表。
10.根据权利要求1到4中任何一项所述的电子设备，其中，所述程序是用于存储约会条目的日历程序。
11.根据权利要求1到4中任何一项所述的电子设备，其中，所述程序控制所述电子设备的设置。
12.根据权利要求1到11中任何一项所述的电子设备，其中，所述电子设备是移动电话，并且所述话音通信是电话呼叫。
13.一种在话音通信期间主动识别语音的电子设备(10、16)，该电子设备(10、16)包括：
控制电路(30)，该控制电路(30)将所述话音通信转换为文本并分析所述文本以检测能够引起动作的语音，所述能够引起动作的语音对应于在所述话音通信结束之后对用户有价值的信息；和
存储器(26)，该存储器(26)在会话日志中存储所述能够引起动作的语音。
14.根据权利要求13所述的电子设备，其中，所述会话日志采用了包含与所述能够引起动作的语音对应的文本的文本格式。
15.根据权利要求13所述的电子设备，其中，所述会话日志采用了包含来自所述话音通信的与所述能够引起动作的语音对应的音频数据的音频格式。
16.根据权利要求13到15中任何一项所述的电子设备，其中，所述能够引起动作的语音对应于姓名、电话号码、电子邮件地址、消息收发地址、街道地址、地点、到目的地的方向、日期、时间或者它们的组合中的至少一种。
17.一种使用电子设备(10)在话音通信期间主动识别语音并响应于语音而动作的方法，该方法包括以下步骤：
将所述话音通信转换为文本；
分析所述文本以检测能够引起所述电子设备的程序动作的语音，该能够引起动作的语音对应于引起所述程序动作的命令或数据输入；以及
基于所述能够引起动作的语音运行所述程序。
18.根据权利要求17所述的方法，其中，通过专家系统执行所述分析，该专家系统在周围句子结构的语境中分析词和短语以检测所述能够引起动作的语音。
19.根据权利要求17到18中任何一项所述的方法，其中，在用户选择了运行所述程序的选项之后运行所述程序。
20.根据权利要求17到19中任何一项所述的方法，其中，所述程序是因特网浏览器。
21.根据权利要求20所述的方法，其中，使用所述能够引起动作的语音来将所述因特网浏览器导向特定因特网网页，以访问相应的服务。
22.根据权利要求21所述的方法，其中，所述服务是从地图绘制和方向服务、目录服务、天气预报服务、餐馆指南或电影列表服务中的一种选择的。
23.根据权利要求17到19中任何一项所述的方法，其中，所述程序是生成电子邮件消息、即时消息、文本消息或多媒体消息之一的消息收发程序。
24.根据权利要求17到19中任何一项所述的方法，其中，所述程序是联系人列表。
25.根据权利要求17到19中任何一项所述的方法，其中，所述程序是用于存储约会条目的日历程序。
26.根据权利要求17到19中任何一项所述的方法，其中，所述程序控制所述电子设备的设置。
27.一种使用电子设备(10)在话音通信期间主动识别语音并响应于语音而动作的方法，该方法包括以下步骤：
将所述话音通信转换为文本；
分析所述文本以检测能够引起动作的语音，所述能够引起动作的语音对应于在所述话音通信结束之后对用户有价值的信息；以及
在会话日志中存储所述能够引起动作的语音。
28.根据权利要求27所述的方法，其中，所述会话日志采用了包含与所述能够引起动作的语音对应的文本的文本格式。
29.根据权利要求27所述的方法，其中，所述会话日志采用了包含来自所述话音通信的与所述能够引起动作对应的语音的音频数据的音频格式。
30.根据权利要求27到29中任何一项所述的方法，其中，所述能够引起动作的语音对应于姓名、电话号码、电子邮件地址、消息收发地址、街道地址、地点、到目的地的方向、日期、时间或者它们的组合中的至少一种。
CN2008801279791A 2008-03-13 2008-09-15 具有活动语音识别的移动电子设备 Expired - Fee Related CN101971250B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/047,344 US20090234655A1 (en) 2008-03-13 2008-03-13 Mobile electronic device with active speech recognition
US12/047,344 2008-03-13
PCT/US2008/076341 WO2009114035A1 (en) 2008-03-13 2008-09-15 Mobile electronic device with active speech recognition

Publications (2)

Publication Number Publication Date
CN101971250A true CN101971250A (zh) 2011-02-09
CN101971250B CN101971250B (zh) 2012-05-09

Family

ID=40070593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801279791A Expired - Fee Related CN101971250B (zh) 2008-03-13 2008-09-15 具有活动语音识别的移动电子设备

Country Status (4)

Country Link
US (1) US20090234655A1 (zh)
EP (1) EP2250640A1 (zh)
CN (1) CN101971250B (zh)
WO (1) WO2009114035A1 (zh)

Cited By (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103474068A (zh) * 2013-08-19 2013-12-25 安徽科大讯飞信息科技股份有限公司 实现语音命令控制的方法、设备及系统
CN103514882A (zh) * 2012-06-30 2014-01-15 北京百度网讯科技有限公司 一种语音识别方法及系统
CN104969288A (zh) * 2013-01-04 2015-10-07 谷歌公司 基于话音记录日志提供话音识别系统的方法和系统
CN105357588A (zh) * 2015-11-03 2016-02-24 腾讯科技（深圳）有限公司 数据显示方法及终端
CN107112017A (zh) * 2015-02-16 2017-08-29 三星电子株式会社 操作语音识别功能的电子设备和方法
CN108292203A (zh) * 2015-12-23 2018-07-17 苹果公司 基于设备间对话通信的主动协助
US10381007B2 (en) 2011-12-07 2019-08-13 Qualcomm Incorporated Low power integrated circuit to analyze a digitized audio stream
CN110891120A (zh) * 2019-11-18 2020-03-17 北京小米移动软件有限公司 界面内容展示方法、装置及存储介质
US10720160B2 (en) 2018-06-01 2020-07-21 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10741181B2 (en) 2017-05-09 2020-08-11 Apple Inc. User interface for correcting recognition errors
CN111856959A (zh) * 2014-05-30 2020-10-30 苹果公司 用于家庭自动化的智能助理
US10878809B2 (en) 2014-05-30 2020-12-29 Apple Inc. Multi-command single utterance input method
US10930282B2 (en) 2015-03-08 2021-02-23 Apple Inc. Competing devices responding to voice triggers
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
CN113140215A (zh) * 2015-01-16 2021-07-20 三星电子株式会社 用于执行话音识别的方法和设备
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11269678B2 (en) 2012-05-15 2022-03-08 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11656884B2 (en) 2017-01-09 2023-05-23 Apple Inc. Application integration with a digital assistant
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback
US12010262B2 (en) 2020-08-20 2024-06-11 Apple Inc. Auto-activating smart responses based on activities from remote devices

Families Citing this family (167)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
KR20090107365A (ko) * 2008-04-08 2009-10-13 엘지전자 주식회사 이동 단말기 및 그 메뉴 제어방법
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US9491573B2 (en) * 2008-11-06 2016-11-08 Texas Instruments Incorporated Communication device for providing value-added information based upon content and/or context information
US9959870B2 (en) 2008-12-11 2018-05-01 Apple Inc. Speech recognition involving a mobile device
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US9277021B2 (en) * 2009-08-21 2016-03-01 Avaya Inc. Sending a user associated telecommunication address
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US20120108221A1 (en) * 2010-10-28 2012-05-03 Microsoft Corporation Augmenting communication sessions with applications
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US9542695B2 (en) 2011-02-22 2017-01-10 Theatro Labs, Inc. Observation platform for performing structured communications
US9407543B2 (en) 2011-02-22 2016-08-02 Theatrolabs, Inc. Observation platform for using structured communications with cloud computing
US10375133B2 (en) 2011-02-22 2019-08-06 Theatro Labs, Inc. Content distribution and data aggregation for scalability of observation platforms
US11599843B2 (en) 2011-02-22 2023-03-07 Theatro Labs, Inc. Configuring , deploying, and operating an application for structured communications for emergency response and tracking
US11605043B2 (en) 2011-02-22 2023-03-14 Theatro Labs, Inc. Configuring, deploying, and operating an application for buy-online-pickup-in-store (BOPIS) processes, actions and analytics
US10204524B2 (en) 2011-02-22 2019-02-12 Theatro Labs, Inc. Observation platform for training, monitoring and mining structured communications
US10699313B2 (en) 2011-02-22 2020-06-30 Theatro Labs, Inc. Observation platform for performing structured communications
US9602625B2 (en) 2011-02-22 2017-03-21 Theatrolabs, Inc. Mediating a communication in an observation platform
US8948730B2 (en) * 2011-02-22 2015-02-03 Theatro Labs, Inc. Observation platform for using structured communications
US11636420B2 (en) 2011-02-22 2023-04-25 Theatro Labs, Inc. Configuring, deploying, and operating applications for structured communications within observation platforms
US10134001B2 (en) 2011-02-22 2018-11-20 Theatro Labs, Inc. Observation platform using structured communications for gathering and reporting employee performance information
US10069781B2 (en) 2015-09-29 2018-09-04 Theatro Labs, Inc. Observation platform using structured communications with external devices and systems
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US9171546B1 (en) * 2011-03-29 2015-10-27 Google Inc. Performing functions based on commands in context of telephonic communication
US9842168B2 (en) 2011-03-31 2017-12-12 Microsoft Technology Licensing, Llc Task driven user intents
US9244984B2 (en) 2011-03-31 2016-01-26 Microsoft Technology Licensing, Llc Location based conversational understanding
US9858343B2 (en) 2011-03-31 2018-01-02 Microsoft Technology Licensing Llc Personalization of queries, conversations, and searches
WO2012135226A1 (en) * 2011-03-31 2012-10-04 Microsoft Corporation Augmented conversational understanding architecture
US9298287B2 (en) 2011-03-31 2016-03-29 Microsoft Technology Licensing, Llc Combined activation for natural user interface systems
US9760566B2 (en) 2011-03-31 2017-09-12 Microsoft Technology Licensing, Llc Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof
US10642934B2 (en) 2011-03-31 2020-05-05 Microsoft Technology Licensing, Llc Augmented conversational understanding architecture
US9064006B2 (en) 2012-08-23 2015-06-23 Microsoft Technology Licensing, Llc Translating natural language utterances to keyword search queries
US9454962B2 (en) 2011-05-12 2016-09-27 Microsoft Technology Licensing, Llc Sentence simplification for spoken language understanding
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9093075B2 (en) 2012-04-20 2015-07-28 Google Technology Holdings LLC Recognizing repeated speech in a mobile computing device
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
EP2701372A1 (en) * 2012-08-20 2014-02-26 BlackBerry Limited Methods and devices for storing recognized phrases
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
CN102946474B (zh) * 2012-10-26 2014-11-05 北京百度网讯科技有限公司 自动分享联系人的联系信息的方法、装置和移动终端
JP6276503B2 (ja) * 2012-12-28 2018-02-07 アルパイン株式会社 オーディオ装置
US9286889B2 (en) * 2013-01-29 2016-03-15 International Business Machines Corporation Improving voice communication over a network
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
WO2014144949A2 (en) 2013-03-15 2014-09-18 Apple Inc. Training an at least partial voice command system
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
DE112014002747T5 (de) 2013-06-09 2016-03-03 Apple Inc. Vorrichtung, Verfahren und grafische Benutzerschnittstelle zum Ermöglichen einer Konversationspersistenz über zwei oder mehr Instanzen eines digitalen Assistenten
CN105265005B (zh) 2013-06-13 2019-09-17 苹果公司 用于由语音命令发起的紧急呼叫的系统和方法
AU2014306221B2 (en) 2013-08-06 2017-04-06 Apple Inc. Auto-activating smart responses based on activities from remote devices
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
TWI506458B (zh) 2013-12-24 2015-11-01 Ind Tech Res Inst 辨識網路產生裝置及其方法
US20150317973A1 (en) * 2014-04-30 2015-11-05 GM Global Technology Operations LLC Systems and methods for coordinating speech recognition
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
KR102340251B1 (ko) * 2014-06-27 2021-12-16 삼성전자주식회사 데이터 관리 방법 및 그 방법을 처리하는 전자 장치
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
KR102301880B1 (ko) * 2014-10-14 2021-09-14 삼성전자 주식회사 전자 장치 및 이의 음성 대화 방법
CN107003723A (zh) * 2014-10-21 2017-08-01 罗伯特·博世有限公司 用于会话系统中的响应选择和组成的自动化的方法和系统
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10432560B2 (en) * 2015-07-17 2019-10-01 Motorola Mobility Llc Voice controlled multimedia content creation
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
KR102390713B1 (ko) * 2015-11-25 2022-04-27 삼성전자 주식회사 전자 장치 및 전자 장치의 통화 서비스 제공 방법
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
CN105654950B (zh) * 2016-01-28 2019-07-16 百度在线网络技术（北京）有限公司 自适应语音反馈方法和装置
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10546578B2 (en) 2016-12-26 2020-01-28 Samsung Electronics Co., Ltd. Method and device for transmitting and receiving audio data
KR102458343B1 (ko) * 2016-12-26 2022-10-25 삼성전자주식회사 음성 데이터를 송수신하는 디바이스 및 방법
CN108663942B (zh) * 2017-04-01 2021-12-07 青岛有屋科技有限公司 一种语音识别设备控制方法、语音识别设备和中控服务器
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
EP3528138A1 (en) * 2018-02-14 2019-08-21 Dr. Ing. h.c. F. Porsche AG Method and apparatus for location recognition
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
US10887454B2 (en) * 2018-08-20 2021-01-05 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
CN112688859B (zh) * 2020-12-18 2022-09-02 维沃移动通信有限公司 语音消息的发送方法、装置、电子设备及可读存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5799279A (en) * 1995-11-13 1998-08-25 Dragon Systems, Inc. Continuous speech recognition of text and commands
US6601027B1 (en) * 1995-11-13 2003-07-29 Scansoft, Inc. Position manipulation in speech recognition
US6754631B1 (en) * 1998-11-04 2004-06-22 Gateway, Inc. Recording meeting minutes based upon speech recognition
US6871179B1 (en) * 1999-07-07 2005-03-22 International Business Machines Corporation Method and apparatus for executing voice commands having dictation as a parameter
CN1337817A (zh) * 2000-08-16 2002-02-27 庄华 电话交互式语音查询无线网页内容
US6701162B1 (en) * 2000-08-31 2004-03-02 Motorola, Inc. Portable electronic telecommunication device having capabilities for the hearing-impaired
US20020128832A1 (en) * 2001-02-20 2002-09-12 International Business Machines Corporation Compact speech module
US20020118798A1 (en) * 2001-02-27 2002-08-29 Christopher Langhart System and method for recording telephone conversations
US20030083882A1 (en) * 2001-05-14 2003-05-01 Schemers Iii Roland J. Method and apparatus for incorporating application logic into a voice responsive system
JP3997459B2 (ja) * 2001-10-02 2007-10-24 株式会社日立製作所 音声入力システムおよび音声ポータルサーバおよび音声入力端末
US20030195751A1 (en) * 2002-04-10 2003-10-16 Mitsubishi Electric Research Laboratories, Inc. Distributed automatic speech recognition with persistent user parameters
US7076427B2 (en) * 2002-10-18 2006-07-11 Ser Solutions, Inc. Methods and apparatus for audio data monitoring and evaluation using speech recognition
CA2618626C (en) * 2005-08-09 2016-10-18 Stephen S. Burns A voice controlled wireless communication device system
US20080109222A1 (en) * 2006-11-04 2008-05-08 Edward Liu Advertising using extracted context sensitive information and data of interest from voice/audio transmissions and recordings

Cited By (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11069360B2 (en) 2011-12-07 2021-07-20 Qualcomm Incorporated Low power integrated circuit to analyze a digitized audio stream
US10381007B2 (en) 2011-12-07 2019-08-13 Qualcomm Incorporated Low power integrated circuit to analyze a digitized audio stream
US11810569B2 (en) 2011-12-07 2023-11-07 Qualcomm Incorporated Low power integrated circuit to analyze a digitized audio stream
US11269678B2 (en) 2012-05-15 2022-03-08 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
CN103514882B (zh) * 2012-06-30 2017-11-10 北京百度网讯科技有限公司 一种语音识别方法及系统
CN103514882A (zh) * 2012-06-30 2014-01-15 北京百度网讯科技有限公司 一种语音识别方法及系统
CN104969288A (zh) * 2013-01-04 2015-10-07 谷歌公司 基于话音记录日志提供话音识别系统的方法和系统
CN104969288B (zh) * 2013-01-04 2018-09-18 谷歌有限责任公司 基于话音记录日志提供话音识别系统的方法和系统
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US11636869B2 (en) 2013-02-07 2023-04-25 Apple Inc. Voice trigger for a digital assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
CN103474068A (zh) * 2013-08-19 2013-12-25 安徽科大讯飞信息科技股份有限公司 实现语音命令控制的方法、设备及系统
CN103474068B (zh) * 2013-08-19 2016-08-10 科大讯飞股份有限公司 实现语音命令控制的方法、设备及系统
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US11810562B2 (en) 2014-05-30 2023-11-07 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
CN111856959A (zh) * 2014-05-30 2020-10-30 苹果公司 用于家庭自动化的智能助理
US10878809B2 (en) 2014-05-30 2020-12-29 Apple Inc. Multi-command single utterance input method
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11699448B2 (en) 2014-05-30 2023-07-11 Apple Inc. Intelligent assistant for home automation
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
CN113140215A (zh) * 2015-01-16 2021-07-20 三星电子株式会社 用于执行话音识别的方法和设备
CN107112017B (zh) * 2015-02-16 2021-04-27 三星电子株式会社 操作语音识别功能的电子设备和方法
CN107112017A (zh) * 2015-02-16 2017-08-29 三星电子株式会社 操作语音识别功能的电子设备和方法
US10930282B2 (en) 2015-03-08 2021-02-23 Apple Inc. Competing devices responding to voice triggers
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback
US11550542B2 (en) 2015-09-08 2023-01-10 Apple Inc. Zero latency digital assistant
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
CN105357588A (zh) * 2015-11-03 2016-02-24 腾讯科技（深圳）有限公司 数据显示方法及终端
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US10942703B2 (en) 2015-12-23 2021-03-09 Apple Inc. Proactive assistance based on dialog communication between devices
CN108292203A (zh) * 2015-12-23 2018-07-17 苹果公司 基于设备间对话通信的主动协助
US11657820B2 (en) 2016-06-10 2023-05-23 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US11749275B2 (en) 2016-06-11 2023-09-05 Apple Inc. Application integration with a digital assistant
US11656884B2 (en) 2017-01-09 2023-05-23 Apple Inc. Application integration with a digital assistant
US10741181B2 (en) 2017-05-09 2020-08-11 Apple Inc. User interface for correcting recognition errors
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11487364B2 (en) 2018-05-07 2022-11-01 Apple Inc. Raise to speak
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US10720160B2 (en) 2018-06-01 2020-07-21 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11360577B2 (en) 2018-06-01 2022-06-14 Apple Inc. Attention aware virtual assistant dismissal
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11360739B2 (en) 2019-05-31 2022-06-14 Apple Inc. User activity shortcut suggestions
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
CN110891120A (zh) * 2019-11-18 2020-03-17 北京小米移动软件有限公司 界面内容展示方法、装置及存储介质
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11924254B2 (en) 2020-05-11 2024-03-05 Apple Inc. Digital assistant hardware abstraction
US12010262B2 (en) 2020-08-20 2024-06-11 Apple Inc. Auto-activating smart responses based on activities from remote devices

Also Published As

Publication number Publication date
US20090234655A1 (en) 2009-09-17
WO2009114035A1 (en) 2009-09-17
CN101971250B (zh) 2012-05-09
EP2250640A1 (en) 2010-11-17

Similar Documents

Publication Publication Date Title
CN101971250B (zh) 具有活动语音识别的移动电子设备
US9111538B2 (en) Genius button secondary commands
EP2440988B1 (en) Touch anywhere to speak
CN101164102B (zh) 自动扩展移动通信设备的话音词汇的方法和装置
CN101557432B (zh) 移动终端及其菜单控制方法
US9413869B2 (en) Mobile device having plurality of input modes
US9509830B2 (en) System and method for controlling mobile communication devices
US8223932B2 (en) Appending content to a telephone communication
US20090319504A1 (en) Method and Apparatus for Providing Enhanced Search Results to a User of a Communication Device
US20080153465A1 (en) Voice search-enabled mobile device
US9191483B2 (en) Automatically generated messages based on determined phone state
CN112154640B (zh) 一种消息的播放方法及终端
CN102984666A (zh) 一种通话过程中的通讯录语音信息处理方法及系统
CN103813000A (zh) 移动终端及其寻找方法
KR20150090357A (ko) 실시간 다국어 번역 서비스 시스템
CN111510556A (zh) 通话信息的处理方法、装置及计算机存储介质
CN110415703A (zh) 语音备忘信息处理方法及装置
US10070283B2 (en) Method and apparatus for automatically identifying and annotating auditory signals from one or more parties
CN110602325B (zh) 一种终端的语音推荐方法和装置
JP4978982B2 (ja) 携帯情報端末、文字入力支援プログラム及び方法
KR102092058B1 (ko) 인터페이스 제공 방법 및 장치
WO2018170992A1 (zh) 一种控制通话的方法及装置
JP2004295017A (ja) マルチモーダルシステムおよび音声入力方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120509

Termination date: 20120915