CN109584868A - 用于虚拟个人助理系统的自然人-计算机交互 - Google Patents

用于虚拟个人助理系统的自然人-计算机交互 Download PDF

Info

Publication number
CN109584868A
CN109584868A CN201811329915.1A CN201811329915A CN109584868A CN 109584868 A CN109584868 A CN 109584868A CN 201811329915 A CN201811329915 A CN 201811329915A CN 109584868 A CN109584868 A CN 109584868A
Authority
CN
China
Prior art keywords
incarnation
user
computing device
speech recognition
audio input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811329915.1A
Other languages
English (en)
Other versions
CN109584868B (zh
Inventor
W.德利厄夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Priority to CN201811329915.1A priority Critical patent/CN109584868B/zh
Publication of CN109584868A publication Critical patent/CN109584868A/zh
Application granted granted Critical
Publication of CN109584868B publication Critical patent/CN109584868B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/025—Phonemes, fenemes or fenones being the recognition units
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants

Abstract

自然语言与虚拟个人助理系统交互的技术包含配置成捕获音频输入、使音频输入失真以产生若干失真的音频变化并对音频输入和失真的音频变化执行语音识别的计算装置。计算装置基于上下文信息从大量潜在语音识别结果中选择结果。计算装置可通过使用眼睛跟踪传感器确定用户是否在视觉上聚焦在由虚拟个人助理再现的化身上来测量用户的参与级别。可基于用户参与级别在不参与状态、准备状态或参与状态再现化身。在不参与状态，化身可被再现为半透明，并且在准备状态或参与状态可降低透明度。描述并要求保护其它实施例。

Description

用于虚拟个人助理系统的自然人-计算机交互
背景技术
虚拟个人助理是响应于来自用户的自然语言请求而在计算装置上执行任务的人工智能系统。例如，虚拟个人助理可处理用户的日历、提醒和消息传递任务。为了与虚拟个人助理交互，用户通常在计算装置上输入预先定义的输入序列，例如，按压专用硬件按钮或说预先定义的码字。用户可通过常规文本输入或通过语音识别输入自然语言请求。
为了进一步实现自然交互，许多虚拟个人助理显示类人人物，也成为化身，以充当与用户交互的主要点。化身可占据或模糊计算装置显示器的重要部分。另外，化身可干扰计算装置上其它应用的使用，具体地说，当用户不打算激活化身时。甚至当显示类人化身时，典型系统可不完全对自然人交互建模，并且相反可要求常规人机交互，诸如按钮按压、鼠标点击等。
语音识别系统将用户所说的话转换成文本的计算机可读表示。典型的语音识别系统尝试确定给定音频输入的单个最可能语音识别结果。此类系统可过滤出噪声或者以别的方式尝试增强音频输入信号，以便改进语音识别结果。一些系统可提供少量备选结果；然而，这些结果通常仅关于彼此有微小变化。典型的语音识别引擎可实现为本地计算装置的组件，或者由服务器计算装置提供的服务。
附图说明
本文描述的概念在附图中作为示例而非作为限制图示。为了图示的简洁和清晰起见，在附图中图示的元素不一定按比例绘制。在合适的情况下，附图标记在各图之间已经被重复以指示对应或类似元素。
图1是与虚拟个人助理自然交互的计算装置的至少一个实施例的简化框图；
图2是图1的计算装置的环境的至少一个实施例的简化框图；
图3是与虚拟个人助理自然交互的系统的至少一个实施例的简化框图；
图4是可由图1和图2的计算装置执行的用于引入音频失真以改进语音识别的方法的至少一个实施例的简化流程图；
图5是可由图4的语音识别服务器执行的用于引入音频失真以改进语音识别的方法的至少一个实施例的简化流程图；以及
图6A和6B是可由图1和图2的计算装置执行的用于与虚拟个人助理自然交互的方法的至少一个实施例的简化流程图。
具体实施方式
虽然本公开的概念易受到各种修改和备选形式，但其特定实施例已经在附图中作为示例示出，并且将在本文中详细描述。然而，应该理解，没有意图将本公开的概念局限于所公开的具体形式，而是相反，本发明覆盖与本公开和所附权利要求书一致的所有修改、等效和备选。
在说明书中提到“一个实施例”、“实施例”、“说明性实施例”等指示所描述的实施例可包含具体特征、结构或特性，但每一个实施例可以一定或者可以不一定包含该具体特征、结构或特性。而且，此类短语不一定是指同一实施例。另外，当结合实施例描述具体特征、结构或特性时，认为结合不管是否明确描述的其它实施例实现此类特征、结构或特性在本领域技术人员的知识范围内。
所公开的实施例在一些情况下可用硬件、固件、软件或它们的任何组合来实现。所公开的实施例也可实现为由易失性或非易失性机器可读(例如计算机可读)介质携带或存储在其上的指令，其可由一个或多个处理器读取和执行。机器可读存储介质可实施为用于存储或传送由机器(例如易失性或非易失性存储器、媒体盘或其它媒体装置)可读形式的信息的任何存储装置、机制或其它物理结构。
在附图中，一些结构或方法特征可按特定布置和/或排序示出。然而，应该认识到，可能不需要此类特定布置和/或排序。而是，在一些实施例中，此类特征可按与在说明性附图中示出的不同的方式和/或次序布置。此外，在具体附图中包含结构或方法特征不打算暗示此类特征在所有实施例中是需要的，并且在一些实施例中，可能不被包含或者可与其它特征组合。
现在参考图1，用于与虚拟个人助理自然交互的说明性计算装置100包含处理器120、I/O子系统122和存储器124。计算装置100捕获音频输入，并从语音识别引擎获得基于施加到音频输入的失真的语音识别结果。施加的失真可导致音频输入的多个语义上截然不同的变化。提供多个变化可允许语音识别引擎产生许多更潜在的语音识别结果，这又可增大语音识别准确性。语音识别引擎可操作在计算装置100上，或者在一些实施例中，可操作在远程语音识别服务器上，如下面更详细讨论的。语音识别结果可用于控制虚拟个人助理。虚拟个人助理通过跟踪用户的视觉焦点和/或通过解释用户的语音来对用户的参与(engagement)级别建模。对用户参与建模可允许虚拟个人助理从事更自然的人交互；例如，虚拟个人助理可更好地确定用户何时寻址它或者用户何时已经移动到某一其它任务。虚拟个人助理可通过调整显示屏上化身的大小、位置和/或透明度来表示用户的参与级别。以这种方式再现参与级别也可通过允许用户更好地理解虚拟个人助理的状态来实现自然交互，无需不必要地中断用户的其它工作。
计算装置100可被实施为能够执行本文描述的功能的任何类型装置。例如，计算装置100可实施为(而非限制)：智能电话、蜂窝电话、平板计算机、笔记本计算机、膝上型计算机、台式计算机、分布式计算系统、微处理器系统、消费电子装置、智能电器和/或能够识别所说用户命令的任何其它计算装置。如图1中所示，说明性计算装置100包含处理器120、I/O子系统122、存储器124和数据存储装置126。当然，在其它实施例中，计算装置100可包含其它或附加组件，诸如在便携计算机中发现的组件(例如各种输入/输出装置)。此外，在一些实施例中，其中一个或多个说明性组件可结合在另一组件中，或另外来自另一组件的一部分。例如，在一些实施例中，存储器124或其部分可结合在处理器120中。
处理器120可实施为当前已知或者将来开发的并且能够执行本文描述的功能的任何类型处理器。例如，处理器可实施为单核或多核处理器、数字信号处理器、微控制器或其它处理器或处理/控制电路。类似地，存储器124可实施为当前已知或将来开发的并且能够执行本文描述的功能的任何类型易失性或非易失性存储器或数据存储装置。在操作中，存储器124可存储在计算装置100操作期间使用的各种数据和软件，诸如操作系统、应用、程序、库以及驱动。存储器124以通信方式经由I/O子系统122耦合到处理器120，I/O子系统104可实施为电路和/或组件以便于与计算装置100的处理器120、存储器124和/或其它组件的输入/输出操作。例如，I/O子系统122可实施为或以别的方式包含存储器控制器集线器、输入/输出控制集线器、固件装置、通信链路(即，点对点链路、总线链路、导线、电缆、光导、印刷电路板迹线等)和/或其它组件和子系统以便于输入/输出操作。在一些实施例中，I/O子系统122可形成片上系统(SoC)的一部分，并与计算装置100的处理器120、存储器124和其它组件一起结合在单个集成电路芯片上。
数据存储装置126可实施为配置用于数据的短期存储或长期存储的任何类型装置，诸如例如存储器装置和电路、存储卡、硬盘驱动器、固态驱动器或其它数据存储装置。数据存储装置126可存储与虚拟个人助理相关的程序和数据文件，并且可充当由计算装置100捕获的音频数据的临时或永久存储装置。
计算装置100还包含显示器128、音频传感器130和眼睛跟踪传感器132。计算装置100的显示器128可实施为能够显示数字信息的任何类型显示器，诸如液晶显示器(LCD)、发光二极管(LED)、等离子显示器、阴极射线管(CRT)或其它类型显示装置。在一些实施例中，显示器128可耦合到触摸屏以接收用户输入。
音频传感器130可实施为能够捕获音频信号的任何传感器，诸如麦克风、线路输入插孔、模数转换器(ADC)或其它类型音频传感器。音频传感器130可由计算装置100用于检测由用户发出的语音命令，如下面所描述的。
眼睛跟踪传感器132可实施为能够确定用户的眼睛聚焦在的计算装置100显示器128上的区域的任一个或多个传感器。例如，眼睛跟踪传感器132可实施为能够跟踪用户的注视焦点的数字相机或数字深度相机。在其它实施例中，眼睛跟踪传感器132可实施为能够随时间跟踪用户的眼睛移动的有源红外传送器和红外检测器。在那些实施例中，眼睛跟踪传感器132可捕获从用户的眼睛的各种内部和外部特征反射的红外光，并且由此计算用户的注视方向。眼睛跟踪传感器132还可能能够确定用户的头部在三维空间中的位置。在一些实施例中，眼睛跟踪传感器132诸如深度相机可能能够直接确定头部位置数据。在其它实施例中，眼睛跟踪传感器132可与另一传感器诸如摄像机一起用于计算用户的头部位置。
在一些实施例中，计算装置100还可包含一个或多个外围装置134。外围装置134可包含任何数量的附加传感器、输入/输出装置、接口装置和/或其它外围装置。例如，在一些实施例中，外围装置134可包含触摸屏、图形电路、键盘、鼠标、扬声器系统、接口装置和/或其它输入/输出装置。在一些实施例中，外围装置134可与眼睛跟踪传感器132和/或音频传感器130一起用于确定用户的参与级别。作为另一示例，在一些实施例中，外围装置134可包含能够实现计算装置100与其它远程服务器和/或装置之间通信的通信电路、装置或它们的集合。
现在参考图2，在一个实施例中，计算装置100在操作期间建立环境200。说明性实施例200包含语音识别模块202、音频输入模块204、虚拟个人助理208和参与模块214。环境200的各种模块可实施为硬件、固件、软件或它们的组合。
语音识别模块202配置成对从音频输入模块204接收的音频输入数据执行语音识别。语音识别模块202对语音识别结果进行排列和滤波，以产生单个结果或可能结果的排列列表。语音识别模块202可使用由应用(诸如虚拟个人助理208)提供的语音识别语法来对语音识别结果进行排列和滤波。在一些实施例中，语音识别模块202可在听写或自由语音模式识别语音。听写或自由语音模式可使用全自然语言词汇和语法来识别结果，并且从而可产生附加可能的语音识别结果。
音频输入模块204从音频传感器130捕获音频输入数据，并向音频输入数据施加音频失真，以产生音频输入的多个变化。音频失真可修改音频输入的幅度、频率、持续时间和/或其它特性，以产生失真的音频变化之间的语义变化。音频输入模块204向语音识别模块202提供失真的音频变化。在一些实施例中，那些功能可由子模块(例如失真模块206)执行。附加地，在一些实施例中，语音识别模块202和/或失真模块206的功能性可由远程服务器(例如云服务)执行，如下面结合图3所描述的。
虚拟个人助理208响应于说出的用户命令，并在显示器128上显示化身，以提供有关虚拟个人助理208的状况的信息。虚拟个人助理208可维护定义可从用户接受的说出的命令的语音识别语法，包含命令词汇和句法。化身是虚拟个人助理208的字符或其它视觉表示。化身可包含类人特性，诸如面部特征或人形。那些类人特征可便于与用户的自然交互。在一些实施例中，那些功能可由子模块(例如命令模块210或化身模块212)执行。在一些实施例中，可使用虚拟个人助理208，无需语音识别；也就是，虚拟个人助理208可响应于非语音输入，诸如键入的输入或输入手势。
参与模块214基于从眼睛跟踪传感器132和/或音频传感器130接收的传感器数据确定用户与虚拟个人助理208的参与级别。例如，参与模块214可基于用户的眼睛聚焦在化身上多久或多久一次来确定参与级别。在一些实施例中，参与模块214也可分析来自语音识别模块202的语音识别结果，以确定用户的参与级别。参与模块214向虚拟个人助理208提供参与级别，允许虚拟个人助理208相应地修改化身。
现在参考图3，在一些实施例中，语音识别模块202和/或失真模块206可实施在远程语音识别服务器300中。语音识别服务器300配置成提供服务，包含对在网络302上从计算装置100传送的音频输入执行语音识别分析。语音识别服务器300可实施为能够执行本文描述的功能的任何类型的服务器计算装置或装置集合。像这样，语音识别服务器300可包含类似于计算装置100的组件和特征，诸如处理器、I/O子系统、存储器、数据存储装置、通信电路和各种外围装置，为了本描述的清晰，未在图3中图示它们。另外，语音识别服务器300可实施为单个服务器计算装置或服务器和关联装置的集合。例如，在一些实施例中，语音识别服务器300可实施为从分布在网络上并操作在公用或私用云中的多个计算装置形成的“虚拟服务器”。相应地，尽管语音识别服务器300在图3中图示，并在下面被描述为单个服务器计算装置，但应该认识到，语音识别服务器300可实施为多个装置一起合作来实现下面描述的功能性。
如上面所讨论的，语音识别模块202，在一些实施例中还有音频失真模块206，被建立在语音识别服务器300(即，而不是计算装置100，或除此之外)上。计算装置100包含音频输入模块204、虚拟个人助理208、参与模块214，在一些实施例中还有失真模块206。语音识别服务器300和计算装置100的各种模块执行与上面结合图2描述的模块相同的功能，并且可实施为硬件、固件、软件或它们的组合。
图3的说明性计算装置100还包含语音分析模块304。语音分析模块304配置成向语音识别服务器300传送音频输入，在一些实施例中还有失真的音频变化。语音分析模块304还配置成从语音识别服务器300接收语音识别结果，并可基于上下文信息从语音识别结果中选择结果。
在语音识别模块202和失真模块206位于语音识别服务器300上的实施例中，计算装置100的音频输入模块204从音频传感器130捕获音频输入，并且语音分析模块304向语音识别服务器300发送音频输入。在此类实施例中，语音识别服务器300的失真模块206接收音频输入，并向音频输入施加音频失真以产生音频输入的多个变化，如上面相对于计算装置100所描述的。音频输入和失真的音频变化被提供给语音识别服务器300的语音识别模块202，其执行上面所描述的语音识别。语音识别模块202随后将语音识别结果传送回到计算装置100。语音识别模块202可传送语音识别结果列表，或者可传送单个结果。
备选地，在仅语音识别模块202位于语音识别服务器300上的实施例中，计算装置100的音频输入模块204从音频传感器130捕获音频输入，并且计算装置100的失真模块206向音频输入数据施加音频失真，以产生音频输入的多个变化，如上面所描述的。在此类实施例中，计算装置100向语音识别服务器300传送音频输入和失真的音频变化。音频输入和失真的音频变化由语音识别服务器300的语音识别模块202接收，其执行上面所描述的语音识别。语音识别模块202将语音识别结果传送回到计算装置100。语音识别模块202可传送语音识别结果列表，或者可传送单个结果。
现在参考图4，在使用中，计算装置100可执行用于引入音频失真以改进语音识别的方法400。方法400开始于块402，其中计算装置100使用音频传感器130捕获音频输入。音频输入可以适合于进一步分析和操纵的任何格式存储，包含压缩格式或未压缩格式。音频捕获可基于来自用户的请求或基于来自计算装置100的组件的请求发起。例如，当用户激活或参与虚拟个人助理208时，可发起音频捕获，如下面进一步所描述的。
在块404，在一些实施例中，计算装置100可预处理捕获的音频输入。作为预处理的一部分，计算装置100可对捕获的音频输入执行语音识别。来自预处理的语音识别结果可用于控制音频输入的失真，如下面所描述的。
在块406，计算装置100使音频输入失真以产生音频输入的多个失真的变化。以可产生音频输入的不同且语义上变化的版本的方式使音频输入失真。失真例如可修改音频输入的幅度、定时、音调或任何其它突出特性。计算装置100可单独或以各种组合施加失真。每个变化可被存储为单独音频数据，或者计算装置100可根据需要向原始音频输入施加失真。
例如，在一些实施例中，在块408，计算装置100可从音频输入中移除安静的音频片段。为了这么做，计算装置100可标识具有在阈值幅度以下的幅度的音频输入的内部片段(也就是，不在音频输入的开始或结尾的片段)，并从音频输入中删除那些内部片段。在移除安静片段之后，在安静片段任一侧上形成的音频输入的片段都被附加在一起，或者以别的方式在一起运行。因此，这个失真可消除用户所说的话语之间的暂停，这可将话语组合成单个单词。
在一些实施例中，在块410，计算装置100可扩大音频输入中的安静音频片段。为了这么做，计算装置100可标识具有在阈值幅度以下的幅度的音频输入的片段，并增大那些片段的持续时间。在扩大安静片段之后，进一步分隔开音频输入的相邻片段。因此，这个失真可增大用户所说的话语之间的暂停持续时间，这可将话语分割成两个截然不同的单词。
在一些实施例中，在块412，计算装置100可在预处理中标识的音频输入中的一个或多个语音分割点插入暂停。与安静语音片段扩大一样，这个失真可将用户的话语分割成截然不同的单词。不像安静的音频扩大，这个失真不需要现有暂停或安静音频片段。
在一些实施例中，在块414，计算装置100可修改音频输入的回放速度；也就是，计算装置100可加速或减慢音频输入。在一些实施例中，在块416，计算装置100可向音频输入施加其它音频变换。例如，计算装置100可更改音频输入的音调，或将音频输入与随机噪声混合。此类失真可在语音识别结果中产生变化。当然，计算装置100可向音频输入施加附加或其它失真。
在块418，在语音识别模块202位于远程语音识别服务器300上的实施例中，计算装置100可向语音识别服务器300传送音频输入和多个失真的音频变化。如上面所描述的，语音识别服务器可提供语音识别服务。将语音识别任务卸载到语音识别服务器300可改进具有有限计算能力的计算装置100(例如智能电话)的效率。
在施加各种失真以产生音频输入的多个变化之后，在块420，计算装置100基于音频输入和所有多个失真的音频变化获得语音识别结果。例如，在语音识别模块202位于移动计算装置100上的实施例中，装置100可本地执行语音识别。在那些实施例中，在块404，计算装置100可再用或参考在预处理音频输入时创建的语音识别结果，并在块420，仅对失真的音频变化执行语音识别。在语音识别模块202位于语音识别服务器300上的实施例中，计算装置100可从语音识别服务器300接收语音识别结果。然而，获得语音识别结果，语音识别过程产生多个语音识别结果；也就是，捕获的音频输入的多个潜在解释。在一些实施例中，语音识别过程可产生大量语音识别结果；例如，可产生数百或数千的语音识别结果。在一些实施例中，可使用重复或并行提供有音频输入的多个变化的常规语音识别引擎生成语音识别结果。
在块422，在一些实施例中，计算装置100可从在块420中产生的全语音识别结果当中确定语义相关的语音识别结果。换句话说，计算装置100可分析语音识别结果以找到它“理解”的结果，并拒绝没“有意义”的结果。例如，计算装置100的应用诸如虚拟个人助理208可包含语音识别语法。语音识别语法可包含应用理解的一组动作、数据对象和其它命令。计算装置100可通过仅接受满足语音识别语法的那些结果来确定语义相关语音识别结果。
在块424，计算装置100基于上下文信息从语音识别结果中选择结果。在一些实施例中，可从在块422中确定的一组较小的语义相关语音识别结果中选择结果。选择的结果可以是与用户和/或计算装置100的当前上下文最相关的语音识别结果。最相关的语音识别结果最有可能是用户预计的结果。上下文信息包含可揭示用户意图的任何信息，并且可包含当前正在计算装置100上执行的任何应用(诸如万维网浏览器、生产力应用或虚拟个人助理208)的状态。上下文信息还可包含与用户关联的上下文信息，诸如日历、联系人列表、电子邮件账户或其它个性化数据。上下文信息可还包含计算装置100的基本上下文信息，诸如数据、时间或位置。尽管图示为从语音识别结果中选择单个结果，但在一些实施例中，计算装置100可产生语音识别结果的列表，该列表可基于上下文信息分类。在选择结果之后，方法400完成，并且控制可被传递到可在语音识别结果上操作的调用方法。例如，如下面所描述的，虚拟个人助理208可对语音识别结果起作用。
现在参考图5，在语音识别模块202和/或失真模块206位于语音识别服务器300上的实施例中，语音识别服务器300可执行用于引入音频失真以改进语音识别的方法500。方法500开始于块502，其中语音识别服务器300确定是否已经从计算装置100接收到对于语音识别的请求。如果否，则方法500循环回到块502，以继续侦听语音识别请求。然而，如果已经接收到请求，则方法500前进到块504，在此语音识别服务器300从计算装置100接收音频输入。音频输入之前由计算装置100使用音频传感器130捕获。音频输入可以适合于进一步分析和操纵的任何格式存储，包含压缩格式或未压缩格式。
在块506，在一些实施例中，语音识别服务器300可预处理接收的音频输入。作为预处理的一部分，语音识别服务器300可参与收的音频输入执行语音识别。来自预处理的语音识别结果可用于控制音频输入的失真，如下面所描述的。
在块508，语音识别服务器300使音频输入失真以产生音频输入的多个失真的变化。以可产生音频输入的不同且语义上变化的版本的方式使音频输入失真。失真例如可修改音频输入的幅度、定时、音调或任何其它突出特性。语音识别服务器300可单独或以各种组合施加失真。每个变化可被存储为单独音频数据，或者语音识别服务器300可根据需要向原始音频输入施加失真。
例如，在一些实施例中，在块510，语音识别服务器300可从音频输入中移除安静的音频片段，在块512，扩大音频输入中的安静的音频片段，在块514，在预处理中标识的音频输入中的一个或多个语音分割点插入暂停，在块516，修改音频输入的回放速度，和/或在块518，向音频输入施加其它音频变换，如上面相对于计算装置100和方法400的块406所详细描述的。当然，语音识别服务器300可向音频输入施加附加或其它失真。不管怎样，在施加各种失真以产生音频输入的多个变化之后，在块520，语音识别服务器300对音频输入和所有多个失真的音频变化执行语音识别。在一些实施例中，在块506，语音识别服务器300可再用或参考在预处理音频输入时创建的语音识别结果，并在块520，仅对失真的音频变化执行语音识别。语音识别过程产生多个语音识别结果；也就是，捕获的音频输入的多个潜在解释。在一些实施例中，语音识别过程可产生大量语音识别结果；例如，可产生数百或数千的语音识别结果。在一些实施例中，可使用重复或并行提供有音频输入的多个变化的常规语音识别引擎生成语音识别结果。
在块522，在一些实施例中，语音识别服务器300可从在块520中产生的全语音识别结果当中确定语义相关的语音识别结果。换句话说，语音识别服务器300可分析语音识别结果以找到它“理解”的结果，并拒绝没“有意义”的结果。例如，计算装置100的应用诸如虚拟个人助理208可包含语音识别语法。语音识别语法可包含应用理解的一组动作、数据对象和其它命令。语音识别服务器300可通过仅接受满足虚拟个人助理208的语音识别语法的那些结果来确定语义相关语音识别结果。
在块524，在一些实施例中，语音识别服务器300可基于上下文信息从语音识别结果中选择结果。例如，在一些实施例中，可从在块522中确定的一组较小的语义相关语音识别结果中选择结果。选择的结果可以是与用户和/或计算装置100的当前上下文最相关的语音识别结果。最相关的语音识别结果最有可能是用户预计的结果。上下文信息可包含可揭示用户意图的任何信息，并且可包含当前正在计算装置100上执行的任何应用(诸如万维网浏览器、生产力应用或虚拟个人助理208)的状态。上下文信息还可包含与用户关联的上下文信息，诸如日历、联系人列表、电子邮件账户或其它个性化数据。上下文信息可还包含计算装置100的基本上下文信息，诸如数据、时间或位置。尽管图示为从语音识别结果中选择单个结果，但在一些实施例中，语音识别服务器300可产生语音识别结果的列表，该列表可基于上下文信息分类。
在块526，语音识别服务器300将语音识别结果或多个语音识别结果传送回到计算装置100。计算装置100然后可使用语音识别结果或多个语音识别结果控制应用，诸如虚拟个人助理208。在传送之后，方法500循环回到块502，以侦听来自计算装置100的另外语音识别请求。
现在参考图6A，在使用中，计算装置100可执行用于与虚拟个人助理208自然交互的方法600。方法600开始于块602，其中虚拟个人助理208的化身在不参与状态(disengagedstate)被显示在计算装置100的显示器128上。如上面所描述的，化身是虚拟个人助理208的视觉表示。化身包含可便于与用户自然交互的类人或拟人特征。例如，化身可包含包括眼睛或一对眼睛的动画人物或类人脸。当处于不参与状态时，以指示虚拟个人助理208空闲和/或不主动侦听指令的方式显示化身。例如，化身可表示为休眠或将视线从用户身上移开。
在一些实施例中，在块604中，化身可在不参与状态被显示为半透明，允许计算装置100的后台应用透过化身。当半透明时，化身可保持对用户可见，同时仍允许所有显示器128由其它应用可用，并且至少对用户部分可见。半透明的外观可通过α混合化身和其它应用，合成场景，或者由用于半透明的任何其它可比拟技术来实现。在一些实施例中，在块606，可在不参与状态以相对小的大小或者在远离计算装置100的当前活动的应用的位置显示化身。例如，可在显示器128的角落以较小大小再现化身，允许用户继续工作在活动应用中，没有分心。在其它实施例中，计算装置100可在不参与状态将化身再现为完全不可见。在那些实施例中，所有显示器128都可对于其它应用可用；然而，可能没给用户呈现任何视觉提示，指示虚拟个人助理208可用。
在块608，计算装置100监视用户对虚拟个人助理208的激活。在一些实施例中，在块610，计算装置100可从眼睛跟踪传感器132接收眼睛跟踪数据。计算装置100解释眼睛跟踪数据，以确定显示器128上用户的注视位置。用户可通过聚焦在当前在不参与状态显示的化身位置来指示虚拟个人助理208的激活。计算装置100可对眼睛跟踪数据进行滤波，以移除在化身处的简短或虚假注视。在一些实施例中，在块612，计算装置100可从音频传感器130接收音频输入。计算装置100解释音频输入以确定用户是否已经说出用于激活虚拟个人助理208的码字。例如，码字可实施为虚拟个人助理208的名称，或诸如“助理”或“计算机”的常用词。
在块614，计算装置100确定用户是否已经请求激活虚拟个人助理208。如上面所描述的，当用户的注视已经聚焦在化身上比某一阈值更长的时间长度时，或者当已经检测到码字时，可请求激活。如果用户未请求激活，则方法600循环回到块602，使化身保持在不参与状态，并且继续监视激活。如果用户已经请求激活，则方法600前进到块616。
在块616，计算装置100在准备状态显示化身。准备状态向用户指示虚拟个人助理208可用，并准备好对用户输入进行响应。在块618，在一些实施例中，计算装置100可将化身再现为与用户进行目光接触。目光接触是可向用户自然传达虚拟个人助理208为输入做好准备的有力提示。在一些实施例中，计算装置100可将化身简单地再现为直接面对显示器128，因为用户通常位于显示器128的前面。在一些实施例中，计算装置100可使用从眼睛跟踪传感器132接收的眼睛跟踪数据来确定用户的眼睛的位置，并将化身再现为看用户的眼睛。计算装置100可使用拟人提示来再现目光接触以模拟自然交互；例如，计算装置100可将化身再现为定期将视线从用户身上移开，这可使用户不太可能将化身解释为起始于用户。在一些实施例中，在块620，可通过减小化身的透明度，也就是，通过使化身看起来更坚实，来在准备状态显示化身。虽然仍允许后台应用透过，但化身的越来越坚实的外观可指示虚拟个人助理208准备好接收命令。在块622，在一些实施例中，计算装置100可通过调整化身的位置、大小和/或可见度来在准备状态显示化身。例如，化身可朝显示器128上的活动应用移动，并且可在大小上增大，或者可变得可见。
虽然在准备状态显示化身，但在块624，计算装置100确定用户的参与级别，也就是，用户在化身中表现出的兴趣度。通过确定用户的参与级别，计算装置100可以自然方式确定用户是否打算激活虚拟个人助理208。在一些实施例中，在块626，计算装置100可从眼睛跟踪传感器132接收眼睛跟踪数据。计算装置100可分析眼睛跟踪数据以确定用户是否已经在视觉上聚焦在化身上。在视觉上聚焦在化身上可指示相对高的参与级别，而远离化身聚焦可指示相对低的参与级别。计算装置100可要求用户在视觉上聚焦在化身上比阈值时间更大的时间段，以便过滤出虚假注视。类似地，计算装置100可忽略从化身移开的短期注视，以改进识别性能，实质上向眼睛跟踪数据施加低通滤波器。在一些实施例中，在块628，计算装置100可从音频传感器130接收音频输入。计算装置100可分析音频输入以确定用户是否正在寻址虚拟个人助理208。在一些实施例中，计算装置100可对音频输入执行语音识别。
在块630，计算装置100确定用户是否与化身参与。计算装置100可通过将在624中确定的用户参与级别与阈值参与级别相比较来确定是否参与用户。如果否，即确定未参与用户，则方法600循环回到602，以在不参与状态再现化身。为了概况那个交互，化身已经不引人注意地向用户指示它准备好交互，确定用户未与化身参与，并且然后从用户的注意中撤退。从而，那个交互可模拟自然人交互。再次回头参考块630，如果用户与化身参与,则方法600前进到块632，在图6B中图示。
现在参考图6B，在块632，计算装置100在参与状态(engaged state)显示化身。参与状态向用户指示虚拟个人助理208主动解释用户发出的命令。例如，在一些实施例中，在块634，计算装置100可将化身再现为与用户进行目光接触。如上面结合块618所描述的，计算装置100可从眼睛跟踪传感器132接收眼睛跟踪数据，并将化身再现为朝用户的眼睛看。附加地或备选地，在一些实施例中，在块636，计算装置100可减小化身的透明度。例如，在一些实施例中，计算装置100可将化身再现为完全不透明。另外，在一些实施例中，在块638，计算装置100可调整化身的大小和/或位置。例如，可在显示器128上靠近当前活动的应用或在其前面再现化身，或者可增大化身大小。在一些实施例中，尽管化身被显示为不透明，并且在显示器128上在其它应用前面，但化身不拦截或以别的方式干扰用户输入，允许用户继续与计算装置100工作。
虽然在参与状态显示化身，但方法600的执行并行进行到块640和644。在块640，当化身处于参与状态时，计算装置100对从音频传感器130接收的音频输入执行语音识别。在一些实施例中，计算装置100可当处于参与状态时执行更准确或者计算上更密集的语音识别方法，因为有可能用户直接寻址虚拟个人助理208。例如，计算装置100可执行上面结合图4描述的引入失真的语音识别方法，或者任何其它语音识别技术。
在块642，计算装置100确定是否已经接收到可由虚拟个人助理208执行的命令。计算装置100可向虚拟个人助理208的语音识别语法施加在块640中确定的语音识别的结果，以确定是否已经发出有效命令。如果未接收到命令，则方法600循环回到块640，以继续执行语音识别。如果已经接收到命令，则方法600前进到块652，如下面所描述的。
如上面所描述的，方法600将块644与块640并行执行。在块644，计算装置100监视当处于参与状态时用户参与级别。如上面结合块624所描述的，计算装置100确定用户在化身中表现出的兴趣度，这可允许有更多的自然交互。在一些实施例中，在块646，计算装置100可从眼睛跟踪传感器132接收眼睛跟踪数据。如上面相对于块626所描述的，计算装置100可基于用户的眼睛是否聚焦在化身上来确定参与级别。在一些实施例中，在块648，计算装置100可从音频传感器130接收音频输入。如上面结合块628所描述的，计算装置100可分析音频输入以确定用户是否正在寻址虚拟个人助理208。在一些实施例中，计算装置100可使用来自块640的语音识别结果来确定用户是否正在寻址虚拟个人助理208。
在块650，计算装置100确定用户是否与化身参与。如上面结合块630所描述的，计算装置100可将在块644确定的用户参与级别与阈值参与级别相比较。如果用户与化身参与，则方法600循环回到块644以继续监视用户参与级别。为了概况那个交互，如果用户保持主动与化身参与，例如通过从事与化身的目光接触，化身也保持在参与状态。当保持对话时，那个交互可模拟自然交互。如果在块650计算装置100确定用户不参与，则方法600循环回到图6A的块602，以在不参与状态再现化身。为了概况那个交互，如果在参与的某一时间之后不再参与用户，例如通过转回到其它工作，则化身也离开或者开始离开参与状态。当一个人完成对话时，那个交互可模拟自然交互。
当方法600从块642前进到块652或者从块650循环回到块602时，计算装置100遇到任务同步边界，在图6B中由粗线图示。任务同步边界确保仅方法600的一个任务在计算装置100中保持活动。例如，当基于接收的语音命令从块642前进到块652时，计算装置100可终止任务执行块644，使计算装置100停止监视用户参与级别。类似地，当从块650循环回到块602时，计算装置100可终止任务执行块640，使计算装置100停止执行语音识别。另外，尽管图示为并行执行，但在其它实施例中，可顺序地或以交织方式执行语音识别和监视用户参与级别的任务。
在块652，计算装置100在工作状态显示化身。工作状态向用户指示虚拟个人助理208当前正在执行任务。在一些实施例中，工作状态包含正在执行的任务的表示，例如，执行任务的化身的应用图标或表示。在一些实施例中，在工作状态显示的化身可类似于或等同于在不参与状态显示的化身；也就是，在工作状态显示的化身可以是不引人注目的，并且可不干扰用户在计算装置100上执行其它工作。在一些实施例中，在块654，计算装置100可增大化身在显示器128上的透明度。在一些实施例中，在块656，计算装置100可调整化身的大小和/或位置。例如，计算装置100可减小化身的大小，或在显示器128上将化身从当前活动的应用移开。
在块658，当在工作状态显示化身时，计算装置100执行从用户接收的命令。该命令可由虚拟个人助理208或者由受虚拟个人助理208控制的计算装置100的各种其它应用执行。另外，在一些实施例中，虽然在工作状态显示化身，但计算装置100可监视用户激活该助理，类似于上面结合图4所描述的。监视激活可允许用户中断当前执行的命令，或发起新命令。
在完成命令之后，在块660，计算装置100确定是否通知用户完成。例如，如果执行产生可显示结果或错误消息的命令，则计算装置100可确定通知用户。如果计算装置100确定通知用户，则方法600循环回到图6A的块616，以在准备状态再现化身。为了概况那个交互，化身不引人注目地在后台对任务工作某一时间，并且然后通知用户以自然方式完成。用户然后可与化身交互，如上所述，以接收通知。如果在块660，计算装置100确定不通知用户，则方法600循环回到图6A的块602，以在不参与状态显示化身，并等待进一步激活。为了概况那个交互，化身不引人注目地在后台对任务工作某一时间，并且然后返回到不参与状态，以自然方式向用户指示虚拟个人助理208是自由的，以便进一步交互。
在前面的说明性图示中，用户参与已经被描述为二元值——参与或者不参与。然而，在其它实施例中，可在连续体上测量用户参与级别。在那些实施例中，化身可被显示有反映用户参与级别值的属性。例如，化身的透明度可在值范围上平滑调整，以指示用户参与级别。类似地，化身的大小或位置也可在值范围上平滑调整，以指示用户参与级别。
示例
下面提供了本文公开的装置、系统和方法的说明性示例。装置、系统和方法的实施例可包含下面描述的示例中的任一个或多个以及它们的组合。
示例1包含一种用于语音识别的计算装置，所述计算装置包括：音频传感器；音频输入模块，用于：使用所述音频传感器捕获音频输入，以及使所述音频输入失真以产生多个失真的音频变化；以及语音识别模块，用于：对所述音频输入和每一个所述失真的音频变化执行语音识别以产生多个语音识别结果；以及基于上下文信息从所述语音识别结果中选择结果。
示例2包含示例1的主题，并且其中使所述音频输入失真包括移除所述音频输入的内部片段。
示例3包含示例1和示例2中任一个的主题，并且其中音频输入的内部片段包括具有与幅度阈值具有预定义关系的幅度的片段。
示例4包含示例1-3中任一个的主题，其中使音频输入失真包括扩大具有与幅度阈值具有预定义关系的幅度的音频输入的片段的长度。
示例5包含示例1-4中任一个的主题，其中具有与幅度阈值具有预定义关系的幅度的片段包括具有在幅度阈值以下的幅度的片段。
示例6包含示例1-5中任一个的主题，并且其中使音频输入失真包括在通过对音频输入执行语音识别所标识的音频输入的语音分割点插入暂停。
示例7包含示例1-6中任一个的主题，并且其中使音频输入失真包括如下至少一项：(i)加速所述音频输入；(ii)减慢所述音频输入；(iii)调整所述音频输入的音调；或者(iv)向所述音频输入引入噪声。
示例8包含示例1-7中任一个的主题，并且其中所述多个语音识别结果包括至少一百个语音识别结果。
示例9包含示例1-8中任一个的主题，并且还包括具有语音识别语法的一个或多个应用；其中所述语音识别模块还基于所述一个或多个应用的所述语音识别语法确定所述语音识别结果的语义相关结果；并且其中从所述语音识别结果中选择所述结果包括从所述语义相关结果中选择结果。
示例10包含示例1-9中任一个的主题，并且其中所述一个或多个应用包括虚拟个人助理。
示例11包含一种用于语音识别的计算装置，所述计算装置包括：音频传感器；音频输入模块，用于：使用音频传感器捕获音频输入，以及使所述音频输入失真以产生多个失真的音频变化；以及语音分析模块，用于：将所述音频输入和所述失真的音频变化从所述计算装置传送到语音识别模块；基于所述音频输入和所述失真的音频变化从所述语音识别模块接收多个语音识别结果；以及基于上下文信息从所述语音识别结果中选择结果。
示例12包含示例11的主题，并且其中语音识别模块位于远离所述计算装置的服务器上。
示例13包含示例11和示例12中任一个的主题，并且其中使所述音频输入失真包括移除所述音频输入的内部片段。
示例14包含示例11-13中任一个的主题，并且其中音频输入的内部片段包括具有与幅度阈值具有预定义关系的幅度的片段。
示例15包含示例11-14中任一个的主题，其中使音频输入失真包括扩大具有与幅度阈值具有预定义关系的幅度的音频输入的片段的长度。
示例16包含示例11-15中任一个的主题，并且其中具有与幅度阈值具有预定义关系的幅度的片段包括具有在幅度阈值以下的幅度的片段。
示例17包含示例11-16中任一个的主题，并且其中使音频输入失真包括在通过对音频输入执行语音识别所标识的音频输入的语音分割点插入暂停。
示例18包含示例11-17中任一个的主题，并且其中使音频输入失真包括如下至少一项：(i)加速所述音频输入；(ii)减慢所述音频输入；(iii)调整所述音频输入的音调；或者(iv)向所述音频输入引入噪声。
示例19包含示例11-18中任一个的主题，并且其中所述多个语音识别结果包括至少一百个语音识别结果。
示例20包含一种用于语音识别的语音识别服务器，所述语音识别服务器包括：失真模块，用于：接收由计算装置捕获的音频输入；以及使所述音频输入失真以产生多个失真的音频变化；以及语音识别模块，用于：对所述音频输入和每一个所述失真的音频变化执行语音识别以产生多个语音识别结果；以及将所述多个语音识别结果传送到所述计算装置。
示例21包含示例20的主题，并且其中使所述音频输入失真包括移除所述音频输入的内部片段。
示例22包含示例20和示例21中任一个的主题，并且其中音频输入的内部片段包括具有与幅度阈值具有预定义关系的幅度的片段。
示例23包含示例20-22中任一个的主题，其中使音频输入失真包括扩大具有与幅度阈值具有预定义关系的幅度的音频输入的片段的长度。
示例24包含示例20-23中任一个的主题，并且其中具有与幅度阈值具有预定义关系的幅度的片段包括具有在幅度阈值以下的幅度的片段。
示例25包含示例20-24中任一个的主题，并且其中使音频输入失真包括在通过对音频输入执行语音识别所标识的音频输入的语音分割点插入暂停。
示例26包含示例20-25中任一个的主题，并且其中使音频输入失真包括如下一项：(i)加速所述音频输入；(ii)减慢所述音频输入；(iii)调整所述音频输入的音调；或者(iv)向所述音频输入引入噪声。
示例27包含示例20-26中任一个的主题，并且其中所述多个语音识别结果包括至少一百个语音识别结果。
示例28包含一种计算装置,所述计算装置包括:显示器；虚拟个人助理，用于在不参与状态、准备状态和参与状态将所述虚拟个人助理的化身显示在所述显示器上；以及参与模块，用于：确定当在所述不参与状态显示所述化身时所述计算装置的用户是否已经请求激活所述虚拟个人助理；以及确定当在所述准备状态显示所述化身时所述用户的参与级别；其中所述虚拟个人助理：响应于确定所述用户已经请求激活所述虚拟个人助理而在所述准备状态显示所述化身；响应于确定所述用户具有大于阈值级别的参与级别而在所述参与状态显示所述化身；以及响应于确定所述用户具有小于所述阈值级别的参与级别而在所述不参与状态显示所述化身。
示例29包含示例28的主题，并且其中所述参与模块还监视当在所述参与状态显示所述化身时所述用户的所述参与级别。
示例30包含示例28-29中任一个的主题，并且还包括眼睛跟踪传感器，其中确定所述用户是否已经请求激活所述虚拟个人助理包括：从所述眼睛跟踪传感器接收眼睛跟踪数据；以及基于所述眼睛跟踪数据确定所述用户是否已经聚焦在所述化身上。
示例31包含示例28-30中任一个的主题，并且还包括音频传感器，其中确定所述用户是否已经请求激活所述虚拟个人助理包括：从音频传感器接收音频输入；以及基于音频输入检测由用户发出的码字。
示例32包含示例28-31中任一个的主题，并且还包括眼睛跟踪传感器，其中确定所述用户的所述参与级别包括：从所述眼睛跟踪传感器接收眼睛跟踪数据；基于所述眼睛跟踪数据确定所述用户是否已经在视觉上聚焦在所述化身上大于阈值时间的时间段；响应于确定所述用户已经在视觉上聚焦在所述化身上大于所述阈值时间的时间段而确定所述用户具有大于所述阈值级别的参与级别；以及响应于确定所述用户未在视觉上聚焦在所述化身上大于所述阈值时间的时间段而确定所述用户具有小于所述阈值级别的参与级别。
示例33包含示例28-32中任一个的主题，并且其中确定用户是否已经在视觉上聚焦在化身上大于阈值时间的时间段包括忽略远离所述化身的瞥视第二时间段，所述第二时间段小于第二阈值时间。
示例34包含示例28-33中任一个的主题，并且还包括音频传感器，其中确定用户的参与级别包括从音频传感器接收音频输入。
示例35包含示例28-34中任一个的主题，并且其中在准备状态显示化身包括：显示化身与用户的目光接触的拟人表示；以及在参与状态显示化身包括显示化身与用户的目光接触的拟人表示。
示例36包含示例28-35中任一个的主题，并且还包括眼睛跟踪传感器，其中显示目光接触的所述拟人表示包括：从所述眼睛跟踪传感器接收眼睛跟踪数据或头部位置数据中的至少一项；以及显示所述化身跟随所述用户的目光的拟人表示。
示例37包含示例28-36中任一个的主题，并且其中：在所述不参与状态显示所述虚拟个人助理的所述化身包括：将所述化身显示为半透明，以允许所述计算装置的用户接口元件透过所述化身；在所述准备状态显示所述化身包括减小所述化身的透明度；以及在所述参与状态显示所述化身包括减小所述化身的透明度或者消除所述化身的透明度中的一项。
示例38包含示例28-37中任一个的主题，并且其中：在不参与状态显示虚拟个人助理的化身包括：在显示器上在远离计算装置活动应用的位置显示化身；在准备状态显示化身包括：在显示器上将化身移动到更靠近计算装置活动应用的位置；以及在参与状态显示化身包括：在显示器上将化身移动到计算装置活动应用上面的位置，没有阻止从用户到活动应用的输入。
示例39包含示例28-38中任一个的主题，并且还包括眼睛跟踪传感器，其中：在准备状态显示化身包括：基于从眼睛跟踪传感器接收的眼睛跟踪数据，在显示器上将化身移动到更靠近用户聚焦的位置的位置；以及在参与状态显示化身包括：基于从眼睛跟踪传感器接收的眼睛跟踪数据，在显示器上将化身移动到更靠近用户聚焦的位置的位置。
示例40包含示例28-39中任一个的主题，并且其中：在不参与状态显示虚拟个人助理的化身包括：将化身显示为不可见；以及在准备状态显示化身包括将化身显示为不可见。
示例41包含示例28-40中任一个的主题，并且其中虚拟个人助理还将：当所述化身处于所述参与状态时执行语音识别；基于所述语音识别确定所述用户是否已经发出命令；以及响应于确定所述用户已经发出所述命令而在工作状态显示所述化身。
示例42包含示例28-41中任一个的主题，并且其中在工作状态显示化身包括如下至少一项：(i)增大化身的透明度；或者(ii)在显示器上将化身移动到远离计算装置活动应用的位置。
示例43包含一种用于计算装置上的语音识别的方法，所述方法包括：使用所述计算装置的音频传感器捕获音频输入；使所述音频输入失真以产生多个失真的音频变化；对所述音频输入和每一个所述失真的音频变化执行语音识别以产生多个语音识别结果；以及基于上下文信息从所述语音识别结果中选择结果。
示例44包含示例43的主题，并且其中使所述音频输入失真包括移除所述音频输入的内部片段。
示例45包含示例43和示例44中任一个的主题，并且其中移除音频输入的内部片段包括：移除具有与幅度阈值具有预定义关系的幅度的所述音频输入的片段。
示例46包含示例43-45中任一个的主题，并且其中移除内部片段包括移除具有在幅度阈值以下的幅度的片段。
示例47包含示例43-46中任一个的主题，并且其中使音频输入失真包括扩大具有与幅度阈值具有预定义关系的幅度的音频输入的片段的长度。
示例48包含示例43-47中任一个的主题，并且其中扩大片段的长度包括扩大具有在幅度阈值以下的幅度的片段的长度。
示例49包含示例43-48中任一个的主题，并且其中使音频输入失真包括在通过对音频输入执行语音识别所标识的音频输入的语音分割点插入暂停。
示例50包含示例43-49中任一个的主题，并且其中使音频输入失真包括执行如下至少一项：(i)加速所述音频输入；(ii)减慢所述音频输入；(iii)调整所述音频输入的音调；或者(iv)向所述音频输入引入噪声。
示例51包含示例43-50中任一个的主题，并且其中对音频输入和失真的音频变化执行语音识别以产生多个语音识别结果包括：对音频输入和失真的音频变化执行语音识别，以产生至少一百个语音识别结果。
示例52包含示例43-51中任一个的主题，并且还包括：基于计算装置的一个或多个应用的语音识别语法确定语音识别结果的语义相关结果；其中从所述语音识别结果中选择所述结果包括从所述语义相关结果中选择结果。
示例53包含示例43-52中任一个的主题，并且其中基于一个或多个应用的语音识别语法确定语义相关结果包括：基于计算装置的虚拟个人助理的语音识别语法确定语义相关结果。
示例54包含一种用于计算装置上的语音识别的方法，所述方法包括：使用所述计算装置的音频传感器捕获音频输入；在计算装置上使音频输入失真以产生多个失真的音频变化；将所述音频输入和所述失真的音频变化从所述计算装置传送到语音识别模块；基于所述音频输入和所述失真的音频变化从所述语音识别模块接收多个语音识别结果；以及在计算装置上基于上下文信息从所述语音识别结果中选择结果。
示例55包含示例54的主题，并且其中：向语音识别模块传送音频输入和失真的音频变化包括：将所述音频输入和所述失真的音频变化传送到位于远离所述计算装置的服务器上的语音识别模块；以及从所述语音识别模块接收所述多个语音识别结果包括从位于所述服务器上的语音识别模块接收所述多个语音识别结果。
示例56包含示例54和示例55中任一个的主题，并且其中使所述音频输入失真包括移除所述音频输入的内部片段。
示例57包含示例54-56中任一个的主题，并且其中移除音频输入的内部片段包括移除具有与幅度阈值具有预定义关系的幅度的音频输入的片段。
示例58包含示例54-57中任一个的主题，并且其中移除内部片段包括移除具有在幅度阈值以下的幅度的片段。
示例59包含示例54-58中任一个的主题，并且其中使音频输入失真包括扩大具有与幅度阈值具有预定义关系的幅度的音频输入的片段的长度。
示例60包含示例54-59中任一个的主题，并且其中扩大片段的长度包括扩大具有在幅度阈值以下的幅度的片段的长度。
示例61包含示例54-60中任一个的主题，并且其中使音频输入失真包括在通过对音频输入执行语音识别所标识的音频输入的语音分割点插入暂停。
示例62包含示例54-61中任一个的主题，并且其中使音频输入失真包括执行如下至少一项：(i)加速所述音频输入；(ii)减慢所述音频输入；(iii)调整所述音频输入的音调；或者(iv)向所述音频输入引入噪声。
示例63包含示例54-62中任一个的主题，并且其中对音频输入和失真的音频变化执行语音识别以产生多个语音识别结果包括：对音频输入和失真的音频变化执行语音识别，以产生至少一百个语音识别结果。
示例64包含一种用于语音识别服务器上的语音识别的方法，所述方法包括：在语音识别服务器上接收由计算装置捕获的音频输入；在所述语音识别服务器上使所述音频输入失真以产生多个失真的音频变化；在所述语音识别服务器上对所述音频输入和每一个所述失真的音频变化执行语音识别以产生多个语音识别结果；以及将所述多个语音识别结果传送到所述计算装置。
示例65包含示例64的主题，并且其中使所述音频输入失真包括移除所述音频输入的内部片段。
示例66包含示例64和示例65中任一个的主题，并且其中移除音频输入的内部片段包括移除具有与幅度阈值具有预定义关系的幅度的音频输入的片段。
示例67包含示例64-66中任一个的主题，并且其中移除内部片段包括移除具有在幅度阈值以下的幅度的片段。
示例68包含示例64-67中任一个的主题，并且其中使音频输入失真包括扩大具有与幅度阈值具有预定义关系的幅度的音频输入的片段的长度。
示例69包含示例64-68中任一个的主题，并且其中扩大片段的长度包括扩大具有在幅度阈值以下的幅度的片段的长度。
示例70包含示例64-69中任一个的主题，并且其中使音频输入失真包括在通过对音频输入执行语音识别所标识的音频输入的语音分割点插入暂停。
示例71包含示例64-70中任一个的主题，并且其中使音频输入失真包括执行如下至少一项：(i)加速所述音频输入；(ii)减慢所述音频输入；(iii)调整所述音频输入的音调；或者(iv)向所述音频输入引入噪声。
示例72包含示例64-71中任一个的主题，并且其中对音频输入和失真的音频变化执行语音识别以产生多个语音识别结果包括：对音频输入和失真的音频变化执行语音识别，以产生至少一百个语音识别结果。
示例73包含一种用于与计算装置上的虚拟个人助理交互的方法，所述方法包括：在所述计算装置的显示器上在不参与状态显示所述虚拟个人助理的化身；在所述计算装置上确定所述计算装置的用户是否已经请求激活所述虚拟个人助理；响应于确定所述用户已经请求激活所述虚拟个人助理而在所述计算装置上在准备状态显示所述化身；在所述计算装置上确定当所述化身处于所述准备状态时所述用户的参与级别；响应于所述用户具有大于阈值级别的参与级别而在所述计算装置上在参与状态显示所述图像；以及响应于所述用户具有小于所述阈值级别的参与级别而在所述计算装置上在所述不参与状态显示所述图像。
示例74包含示例73的主题，并且还包括监视当化身处于参与状态时用户的参与级别。
示例75包含示例73和示例74中任一个的主题，并且其中确定所述用户是否已经请求激活所述虚拟个人助理包括：从计算装置的眼睛跟踪传感器接收眼睛跟踪数据；以及基于所述眼睛跟踪数据确定所述用户是否已经聚焦在所述化身上。
示例76包含示例73-75中任一个的主题，并且其中确定所述用户是否已经请求激活所述虚拟个人助理包括：从计算装置的音频传感器接收音频输入；以及基于音频输入检测由用户发出的码字。
示例77包含示例73-76中任一个的主题，并且其中确定用户的参与级别包括：从计算装置的眼睛跟踪传感器接收眼睛跟踪数据；基于所述眼睛跟踪数据确定所述用户是否已经在视觉上聚焦在所述化身上大于阈值时间的时间段；响应于确定所述用户已经在视觉上聚焦在所述化身上大于所述阈值时间的时间段而确定所述用户具有大于所述阈值级别的参与级别；以及响应于确定所述用户未在视觉上聚焦在所述化身上大于所述阈值时间的时间段而确定所述用户具有小于所述阈值级别的参与级别。
示例78包含示例73-77中任一个的主题，并且其中确定用户是否已经在视觉上聚焦在化身上大于阈值时间的时间段包括忽略远离所述化身的瞥视第二时间段，所述第二时间段小于第二阈值时间。
示例79包含示例73-78中任一个的主题，并且其中确定用户的参与级别包括从计算装置的音频传感器接收音频输入。
示例80包含示例73-79中任一个的主题，并且其中：在准备状态显示化身包括显示化身与用户的目光接触的拟人表示；以及在参与状态显示化身包括显示与用户的目光接触的拟人表示。
示例81包含示例73-80中任一个的主题，并且其中显示目光接触的所述拟人表示包括：从所述计算装置的眼睛跟踪传感器接收眼睛跟踪数据或头部位置数据中的至少一项；以及显示所述化身跟随所述用户的目光的拟人表示。
示例82包含示例73-81中任一个的主题，并且其中：在不参与状态显示虚拟个人助理的化身包括：将化身显示为半透明，允许计算装置的用户接口元件透过图像；在所述准备状态显示所述化身包括减小所述化身的透明度；以及在所述参与状态显示所述化身包括减小所述化身的透明度或者消除所述化身的透明度中的一项。
示例83包含示例73-82中任一个的主题，并且其中：在不参与状态显示虚拟个人助理的化身包括在显示器上远离计算装置活动应用的位置显示化身；在准备状态显示化身包括在显示器上将化身移动到更靠近计算装置活动应用的位置；以及在参与状态显示化身包括：在显示器上将化身移动到计算装置活动应用上面的位置，没有阻止从用户到活动应用的输入。
示例84包含示例73-83中任一个的主题，并且其中，在准备状态显示化身包括：基于从计算装置的眼睛跟踪传感器接收的眼睛跟踪数据，在显示器上将化身移动到更靠近用户聚焦的位置的位置；以及在参与状态显示化身包括：基于从计算装置的眼睛跟踪传感器接收的眼睛跟踪数据，在显示器上将化身移动到更靠近用户聚焦的位置的位置。
示例85包含示例73-84中任一个的主题，并且其中：在不参与状态显示虚拟个人助理的化身包括：将化身显示为不可见；以及在准备状态显示化身包括将化身显示为不可见。
示例86包含示例73-85中任一个的主题，并且还包括：当所述化身处于所述参与状态时，执行语音识别，；基于所述语音识别确定所述用户是否已经发出命令；以及响应于确定所述用户已经发出命令而在工作状态显示化身。
示例87包含示例73-86中任一个的主题，并且其中在工作状态显示化身包括如下至少一项：(i)增大化身的透明度；或者(ii)在显示器上将化身移动到远离计算装置活动应用的位置。
示例88包含计算装置，计算装置包括：处理器；以及存储器，其中存储有多个指令，所述指令当由处理器执行时使计算装置执行示例43-87中任一个的方法。
示例89包含一个或多个机器可读存储介质，其包括其上存储的多个指令，所述指令响应于被执行而导致计算装置执行示例43-87中任一个的方法。
示例90包含包括用于执行示例43-87中任一示例的方法的部件的电子装置。

Claims (7)

1.一种用于与虚拟个人助理自然交互的计算装置，包括：
显示器；
虚拟个人助理，用于在不参与状态、准备状态和参与状态将所述虚拟个人助理的化身显示在所述显示器上；以及
参与模块，用于：
确定当在所述不参与状态显示所述化身时所述计算装置的用户是否已经请求激活所述虚拟个人助理；
确定当在所述准备状态显示所述化身时所述用户的参与级别；以及
监视当在所述参与状态显示所述化身时所述用户的所述参与级别；
其中所述虚拟个人助理将：
响应于确定所述用户已经请求激活所述虚拟个人助理而在所述准备状态显示所述化身；
响应于确定所述用户具有大于阈值级别的参与级别而在所述参与状态显示所述化身；以及
响应于确定所述用户具有小于所述阈值级别的参与级别而在所述不参与状态显示所述化身。
2.如权利要求1所述的计算装置，还包括眼睛跟踪传感器，其中确定所述用户是否已经请求激活所述虚拟个人助理包括：
从所述眼睛跟踪传感器接收眼睛跟踪数据；以及
基于所述眼睛跟踪数据确定所述用户是否已经聚焦在所述化身上。
3.如权利要求1所述的计算装置，还包括眼睛跟踪传感器，其中确定所述用户的所述参与级别包括：
从所述眼睛跟踪传感器接收眼睛跟踪数据；
基于所述眼睛跟踪数据确定所述用户是否已经在视觉上聚焦在所述化身上大于阈值时间的时间段；
响应于确定所述用户已经在视觉上聚焦在所述化身上大于所述阈值时间的时间段而确定所述用户具有大于所述阈值级别的参与级别；以及
响应于确定所述用户未在视觉上聚焦在所述化身上大于所述阈值时间的时间段而确定所述用户具有小于所述阈值级别的参与级别。
4.如权利要求1所述的计算装置，其中在所述准备状态显示所述化身和在所述参与状态显示所述化身包括显示所述化身与所述用户的目光接触的拟人表示。
5.如权利要求4所述的计算装置，还包括眼睛跟踪传感器，其中显示目光接触的所述拟人表示包括：
从所述眼睛跟踪传感器接收眼睛跟踪数据或头部位置数据中的至少一项；以及
显示所述化身跟随所述用户的目光的拟人表示。
6.如权利要求1所述的计算装置，其中：
在所述不参与状态显示所述虚拟个人助理的所述化身包括：将所述化身显示为半透明，以允许所述计算装置的用户接口元件透过所述化身；
在所述准备状态显示所述化身包括减小所述化身的透明度；以及
在所述参与状态显示所述化身包括减小所述化身的透明度或者消除所述化身的透明度中的一项。
7.如权利要求1所述的计算装置，还包括眼睛跟踪传感器，其中：
在所述准备状态显示所述化身和在所述参与状态显示所述化身包括：基于从所述眼睛跟踪传感器接收的眼睛跟踪数据，在所述显示器上将所述化身移动到更靠近所述用户聚焦的位置的位置。
CN201811329915.1A 2013-05-20 2013-05-20 用于虚拟个人助理系统的自然人-计算机交互 Active CN109584868B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811329915.1A CN109584868B (zh) 2013-05-20 2013-05-20 用于虚拟个人助理系统的自然人-计算机交互

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201380075764.0A CN105122353B (zh) 2013-05-20 2013-05-20 用于语音识别的计算装置和用于计算装置上的语音识别的方法
CN201811329915.1A CN109584868B (zh) 2013-05-20 2013-05-20 用于虚拟个人助理系统的自然人-计算机交互
PCT/US2013/041866 WO2014189486A1 (en) 2013-05-20 2013-05-20 Natural human-computer interaction for virtual personal assistant systems

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380075764.0A Division CN105122353B (zh) 2013-05-20 2013-05-20 用于语音识别的计算装置和用于计算装置上的语音识别的方法

Publications (2)

Publication Number Publication Date
CN109584868A true CN109584868A (zh) 2019-04-05
CN109584868B CN109584868B (zh) 2022-12-13

Family

ID=51933892

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380075764.0A Active CN105122353B (zh) 2013-05-20 2013-05-20 用于语音识别的计算装置和用于计算装置上的语音识别的方法
CN201811329915.1A Active CN109584868B (zh) 2013-05-20 2013-05-20 用于虚拟个人助理系统的自然人-计算机交互

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201380075764.0A Active CN105122353B (zh) 2013-05-20 2013-05-20 用于语音识别的计算装置和用于计算装置上的语音识别的方法

Country Status (3)

Country Link
US (6) US9607612B2 (zh)
CN (2) CN105122353B (zh)
WO (1) WO2014189486A1 (zh)

Families Citing this family (196)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120311585A1 (en) 2011-06-03 2012-12-06 Apple Inc. Organizing task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
KR102516577B1 (ko) 2013-02-07 2023-04-03 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
CN105122353B (zh) 2013-05-20 2019-07-09 英特尔公司 用于语音识别的计算装置和用于计算装置上的语音识别的方法
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
EP3008641A1 (en) 2013-06-09 2016-04-20 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
JP6221535B2 (ja) * 2013-09-11 2017-11-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
WO2015145219A1 (en) * 2014-03-28 2015-10-01 Navaratnam Ratnakumar Systems for remote service of customers using virtual and physical mannequins
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
EP3149728B1 (en) 2014-05-30 2019-01-16 Apple Inc. Multi-command single utterance input method
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
KR102304052B1 (ko) * 2014-09-05 2021-09-23 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
JP6739907B2 (ja) * 2015-06-18 2020-08-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 機器特定方法、機器特定装置及びプログラム
US10134425B1 (en) * 2015-06-29 2018-11-20 Amazon Technologies, Inc. Direction-based speech endpointing
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
JP6760271B2 (ja) * 2015-10-08 2020-09-23 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US9772817B2 (en) 2016-02-22 2017-09-26 Sonos, Inc. Room-corrected voice detection
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US10580266B2 (en) 2016-03-30 2020-03-03 Hewlett-Packard Development Company, L.P. Indicator to indicate a state of a personal assistant application
US10158593B2 (en) * 2016-04-08 2018-12-18 Microsoft Technology Licensing, Llc Proactive intelligent personal assistant
US10757048B2 (en) 2016-04-08 2020-08-25 Microsoft Technology Licensing, Llc Intelligent personal assistant as a contact
US9972304B2 (en) * 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US10685656B2 (en) 2016-08-31 2020-06-16 Bose Corporation Accessing multiple virtual personal assistants (VPA) from a single device
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10140987B2 (en) * 2016-09-16 2018-11-27 International Business Machines Corporation Aerial drone companion device and a method of operating an aerial drone companion device
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10552742B2 (en) * 2016-10-14 2020-02-04 Google Llc Proactive virtual assistant
JP6805765B2 (ja) 2016-10-21 2020-12-23 富士通株式会社 ソフトウェアサービスの実行のためのシステム、方法、及びプログラム
EP3312722A1 (en) 2016-10-21 2018-04-25 Fujitsu Limited Data processing apparatus, method, and program
ES2765415T3 (es) 2016-10-21 2020-06-09 Fujitsu Ltd Aparato, método y programa de procesamiento de datos basado en microservicios
JP7100422B2 (ja) 2016-10-21 2022-07-13 富士通株式会社 データプロパティ認識のための装置、プログラム、及び方法
US10776170B2 (en) 2016-10-21 2020-09-15 Fujitsu Limited Software service execution apparatus, system, and method
US10057746B1 (en) 2016-11-16 2018-08-21 Wideorbit, Inc. Method and system for detecting a user device in an environment associated with a content presentation system presenting content
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
MX2019007241A (es) * 2016-12-23 2019-09-09 Spectrum Brands Inc Grifo electronico con caracteristicas inteligentes.
US10937421B2 (en) * 2016-12-23 2021-03-02 Spectrum Brands, Inc. Electronic faucet with smart features
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10467509B2 (en) 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Computationally-efficient human-identifying smart assistant computer
US11100384B2 (en) 2017-02-14 2021-08-24 Microsoft Technology Licensing, Llc Intelligent device user interactions
US11010601B2 (en) * 2017-02-14 2021-05-18 Microsoft Technology Licensing, Llc Intelligent assistant device communicating non-verbal cues
US10438394B2 (en) * 2017-03-02 2019-10-08 Colopl, Inc. Information processing method, virtual space delivering system and apparatus therefor
US9990926B1 (en) 2017-03-13 2018-06-05 Intel Corporation Passive enrollment method for speaker identification systems
US11323665B2 (en) * 2017-03-31 2022-05-03 Ecolink Intelligent Technology, Inc. Method and apparatus for interaction with an intelligent personal assistant
US11250844B2 (en) * 2017-04-12 2022-02-15 Soundhound, Inc. Managing agent engagement in a man-machine dialog
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US11074280B2 (en) * 2017-05-18 2021-07-27 Aiqudo, Inc Cluster based search and recommendation method to rapidly on-board commands in personal assistants
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10147426B1 (en) 2017-08-01 2018-12-04 Lenovo (Singapore) Pte. Ltd. Method and device to select an audio output circuit based on priority attributes
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
WO2019043597A1 (en) * 2017-09-04 2019-03-07 Aggarwal Abhinav SYSTEMS AND METHODS FOR MIXED REALITY INTERACTIONS WITH AVATAR
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US11869039B1 (en) 2017-11-13 2024-01-09 Wideorbit Llc Detecting gestures associated with content displayed in a physical environment
CN111164676A (zh) 2017-11-15 2020-05-15 英特尔公司 经由环境语境采集进行的语音模型个性化
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US20190172240A1 (en) * 2017-12-06 2019-06-06 Sony Interactive Entertainment Inc. Facial animation for social virtual reality (vr)
US10748525B2 (en) * 2017-12-11 2020-08-18 International Business Machines Corporation Multi-modal dialog agents representing a level of confidence in analysis
US11221669B2 (en) * 2017-12-20 2022-01-11 Microsoft Technology Licensing, Llc Non-verbal engagement of a virtual assistant
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US11043230B1 (en) * 2018-01-25 2021-06-22 Wideorbit Inc. Targeted content based on user reactions
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US11150869B2 (en) 2018-02-14 2021-10-19 International Business Machines Corporation Voice command filtering
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
GB2572587B (en) * 2018-04-04 2021-07-07 Jaguar Land Rover Ltd Apparatus and method for controlling operation of a voice recognition system of a vehicle
US20190332400A1 (en) * 2018-04-30 2019-10-31 Hootsy, Inc. System and method for cross-platform sharing of virtual assistants
US11238856B2 (en) 2018-05-01 2022-02-01 International Business Machines Corporation Ignoring trigger words in streamed media content
US11200890B2 (en) 2018-05-01 2021-12-14 International Business Machines Corporation Distinguishing voice commands
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US10706347B2 (en) 2018-09-17 2020-07-07 Intel Corporation Apparatus and methods for generating context-aware artificial intelligence characters
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) * 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10981073B2 (en) * 2018-10-22 2021-04-20 Disney Enterprises, Inc. Localized and standalone semi-randomized character conversations
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US20200211553A1 (en) * 2018-12-28 2020-07-02 Harman International Industries, Incorporated Two-way in-vehicle virtual personal assistant
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
CN109872714A (zh) * 2019-01-25 2019-06-11 广州富港万嘉智能科技有限公司 一种提高语音识别准确性的方法、电子设备及存储介质
CN109917917A (zh) * 2019-03-06 2019-06-21 南京七奇智能科技有限公司 一种虚拟人交互软件总线系统及其实现方法
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11355108B2 (en) 2019-08-20 2022-06-07 International Business Machines Corporation Distinguishing voice commands
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
FR3105499B1 (fr) * 2019-12-18 2021-12-24 Psa Automobiles Sa Procédé et dispositif d’animation visuelle d’une interface de commande vocale d’un assistant personnel virtuel embarqué dans un véhicule automobile, et véhicule automobile l’incorporant
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
CN111312240A (zh) * 2020-02-10 2020-06-19 北京达佳互联信息技术有限公司 数据控制方法、装置、电子设备及存储介质
US11010129B1 (en) 2020-05-08 2021-05-18 International Business Machines Corporation Augmented reality user interface
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
KR20220046964A (ko) * 2020-10-08 2022-04-15 삼성전자주식회사 멀티 챗봇을 이용하여 질의에 응답하는 전자 장치 및 그 제어 방법
US20220244681A1 (en) * 2021-02-04 2022-08-04 Gregory Kirkorowicz Holographic Projection Assembly
EP4080327A1 (en) 2021-04-21 2022-10-26 Salient World AS Method involving virtual assistant
US11442608B1 (en) 2021-08-06 2022-09-13 Google Llc Preserving engagement state based on contextual signals
US20240112674A1 (en) * 2022-09-23 2024-04-04 Meta Platforms, Inc. Presenting Attention States Associated with Voice Commands for Assistant Systems

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050004799A1 (en) * 2002-12-31 2005-01-06 Yevgenly Lyudovyk System and method for a spoken language interface to a large database of changing records
US20050033582A1 (en) * 2001-02-28 2005-02-10 Michael Gadd Spoken language interface
CN101952818A (zh) * 2007-09-14 2011-01-19 智慧投资控股67有限责任公司 基于姿态的用户交互的处理
US20110015928A1 (en) * 2009-07-15 2011-01-20 Microsoft Corporation Combination and federation of local and remote speech recognition
CN102129292A (zh) * 2010-01-15 2011-07-20 微软公司 在运动捕捉系统中识别用户意图
CN102591016A (zh) * 2010-12-17 2012-07-18 微软公司 用于扩展现实显示的优化聚焦区
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法
CN102814814A (zh) * 2012-07-31 2012-12-12 华南理工大学 一种双臂机器人基于Kinect的人机交互方法

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08234792A (ja) * 1995-02-23 1996-09-13 Murata Mach Ltd 通信端末装置
US5799276A (en) * 1995-11-07 1998-08-25 Accent Incorporated Knowledge-based speech recognition system and methods having frame length computed based upon estimated pitch period of vocalic intervals
US5809471A (en) * 1996-03-07 1998-09-15 Ibm Corporation Retrieval of additional information not found in interactive TV or telephony signal by application using dynamically extracted vocabulary
US5893062A (en) * 1996-12-05 1999-04-06 Interval Research Corporation Variable rate video playback with synchronized audio
JP3789246B2 (ja) * 1999-02-25 2006-06-21 株式会社リコー 音声区間検出装置、音声区間検出方法、音声認識装置、音声認識方法および記録媒体
JP2002091478A (ja) * 2000-09-18 2002-03-27 Pioneer Electronic Corp 音声認識システム
US7966177B2 (en) * 2001-08-13 2011-06-21 Hans Geiger Method and device for recognising a phonetic sound sequence or character sequence
US6949122B2 (en) 2001-11-01 2005-09-27 Cardiac Dimensions, Inc. Focused compression mitral valve device and method
US7635387B2 (en) 2001-11-01 2009-12-22 Cardiac Dimensions, Inc. Adjustable height focal tissue deflector
US7311729B2 (en) 2002-01-30 2007-12-25 Cardiac Dimensions, Inc. Device and method for modifying the shape of a body organ
US6824562B2 (en) 2002-05-08 2004-11-30 Cardiac Dimensions, Inc. Body lumen device anchor, device and assembly
US6908478B2 (en) 2001-12-05 2005-06-21 Cardiac Dimensions, Inc. Anchor and pull mitral valve device and method
US6793673B2 (en) 2002-12-26 2004-09-21 Cardiac Dimensions, Inc. System and method to effect mitral valve annulus of a heart
US6976995B2 (en) 2002-01-30 2005-12-20 Cardiac Dimensions, Inc. Fixed length anchor and pull mitral valve device and method
US7179282B2 (en) 2001-12-05 2007-02-20 Cardiac Dimensions, Inc. Device and method for modifying the shape of a body organ
US20030149566A1 (en) * 2002-01-02 2003-08-07 Esther Levin System and method for a spoken language interface to a large database of changing records
US6960229B2 (en) 2002-01-30 2005-11-01 Cardiac Dimensions, Inc. Device and method for modifying the shape of a body organ
US20050209690A1 (en) 2002-01-30 2005-09-22 Mathis Mark L Body lumen shaping device with cardiac leads
EP2289467A1 (en) 2002-05-08 2011-03-02 Cardiac Dimensions, Inc. Device for modifying the shape of a body organ
US7082394B2 (en) * 2002-06-25 2006-07-25 Microsoft Corporation Noise-robust feature extraction using multi-layer principal component analysis
US20040085259A1 (en) * 2002-11-04 2004-05-06 Mark Tarlton Avatar control using a communication device
US7837729B2 (en) 2002-12-05 2010-11-23 Cardiac Dimensions, Inc. Percutaneous mitral valve annuloplasty delivery system
US7316708B2 (en) 2002-12-05 2008-01-08 Cardiac Dimensions, Inc. Medical device delivery system
FR2857528B1 (fr) * 2003-07-08 2006-01-06 Telisma Reconnaissance vocale pour les larges vocabulaires dynamiques
US8965771B2 (en) * 2003-12-08 2015-02-24 Kurzweil Ainetworks, Inc. Use of avatar with event processing
CA2595580A1 (en) 2005-01-20 2006-07-27 Cardiac Dimensions, Inc. Tissue shaping device
US7949529B2 (en) * 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
US9250703B2 (en) * 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
KR100770895B1 (ko) * 2006-03-18 2007-10-26 삼성전자주식회사 음성 신호 분리 시스템 및 그 방법
US20080096533A1 (en) * 2006-10-24 2008-04-24 Kallideas Spa Virtual Assistant With Real-Time Emotions
US8259117B2 (en) * 2007-06-18 2012-09-04 Brian Mark Shuster Avatar eye control in a multi-user animation environment
US8140335B2 (en) * 2007-12-11 2012-03-20 Voicebox Technologies, Inc. System and method for providing a natural language voice user interface in an integrated voice navigation services environment
US8082148B2 (en) * 2008-04-24 2011-12-20 Nuance Communications, Inc. Testing a grammar used in speech recognition for reliability in a plurality of operating environments having different background noise
US8223156B2 (en) 2008-09-26 2012-07-17 International Business Machines Corporation Time dependent virtual universe avatar rendering
US8581838B2 (en) * 2008-12-19 2013-11-12 Samsung Electronics Co., Ltd. Eye gaze control during avatar-based communication
US8749557B2 (en) * 2010-06-11 2014-06-10 Microsoft Corporation Interacting with user interface via avatar
US20120257035A1 (en) 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
US20130005443A1 (en) 2011-07-01 2013-01-03 3G Studios, Inc. Automated facial detection and eye tracking techniques implemented in commercial and consumer environments
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
GB2493211B (en) 2011-07-29 2014-01-22 Kraft Foods R & D Inc A method and a system for making a beverage, and a beverage cartridge
WO2013033842A1 (en) * 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
WO2013152453A1 (en) 2012-04-09 2013-10-17 Intel Corporation Communication using interactive avatars
CN105122353B (zh) 2013-05-20 2019-07-09 英特尔公司 用于语音识别的计算装置和用于计算装置上的语音识别的方法
US8990079B1 (en) * 2013-12-15 2015-03-24 Zanavox Automatic calibration of command-detection thresholds
US9886953B2 (en) * 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
JP2017039189A (ja) 2015-08-20 2017-02-23 株式会社東芝 配置検出装置およびピッキング装置
US10198068B2 (en) 2017-02-28 2019-02-05 Microsoft Technology Licensing, Llc Blink detection, tracking, and stimulation
US11221669B2 (en) * 2017-12-20 2022-01-11 Microsoft Technology Licensing, Llc Non-verbal engagement of a virtual assistant
DK180639B1 (en) * 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050033582A1 (en) * 2001-02-28 2005-02-10 Michael Gadd Spoken language interface
US20050004799A1 (en) * 2002-12-31 2005-01-06 Yevgenly Lyudovyk System and method for a spoken language interface to a large database of changing records
CN101952818A (zh) * 2007-09-14 2011-01-19 智慧投资控股67有限责任公司 基于姿态的用户交互的处理
US20110015928A1 (en) * 2009-07-15 2011-01-20 Microsoft Corporation Combination and federation of local and remote speech recognition
CN102129292A (zh) * 2010-01-15 2011-07-20 微软公司 在运动捕捉系统中识别用户意图
CN102591016A (zh) * 2010-12-17 2012-07-18 微软公司 用于扩展现实显示的优化聚焦区
CN102749991A (zh) * 2012-04-12 2012-10-24 广东百泰科技有限公司 一种适用于人机交互的非接触式自由空间视线跟踪方法
CN102814814A (zh) * 2012-07-31 2012-12-12 华南理工大学 一种双臂机器人基于Kinect的人机交互方法

Also Published As

Publication number Publication date
US20160063989A1 (en) 2016-03-03
US11181980B2 (en) 2021-11-23
US10684683B2 (en) 2020-06-16
US20230376108A1 (en) 2023-11-23
US20220083136A1 (en) 2022-03-17
US10198069B2 (en) 2019-02-05
CN105122353B (zh) 2019-07-09
CN105122353A (zh) 2015-12-02
US20170177080A1 (en) 2017-06-22
WO2014189486A1 (en) 2014-11-27
US20210072825A1 (en) 2021-03-11
CN109584868B (zh) 2022-12-13
US9607612B2 (en) 2017-03-28
US11609631B2 (en) 2023-03-21
US20190227623A1 (en) 2019-07-25

Similar Documents

Publication Publication Date Title
CN105122353B (zh) 用于语音识别的计算装置和用于计算装置上的语音识别的方法
US11158102B2 (en) Method and apparatus for processing information
KR102173479B1 (ko) 의사소통 시 정보 교환을 위한 방법, 사용자 단말 및 서버
JP7038210B2 (ja) 対話セッション管理用のシステム及び方法
JP2020537206A (ja) ロボットインタラクションのための方法及びデバイス
CN110602516A (zh) 基于视频直播的信息交互方法、装置及电子设备
US11366574B2 (en) Human-machine conversation method, client, electronic device, and storage medium
CN112100352A (zh) 与虚拟对象的对话方法、装置、客户端及存储介质
CN111709362B (zh) 用于确定重点学习内容的方法、装置、设备及存储介质
CN113923462A (zh) 视频生成、直播处理方法、设备和可读介质
WO2024036899A1 (zh) 信息交互方法、装置、设备及介质
WO2016206647A1 (zh) 用于控制机器装置产生动作的系统
CN111736799A (zh) 基于人机交互的语音交互方法、装置、设备和介质
WO2019093123A1 (ja) 情報処理装置および電子機器
CN115167733A (zh) 一种直播资源的展示方法、装置、电子设备和存储介质
AlTarawneh A cloud-based extensible avatar for human robot interaction
CN115309259A (zh) 一种vr与实机交互方法、系统、电子设备及存储介质
CN113673277A (zh) 线上绘本内容的获取方法、装置以及智能屏设备
CN117806459A (zh) 人机交互方法、装置、平台、电子设备和存储介质
CN115562498A (zh) 扩展现实设备的控制方法、装置、电子设备和存储介质
Wambutt Sonic feedback cues for hand-gesture photo-taking: Designing non-visual feedback for a touch-less hand-gesture based photo-taking experience

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant