CN106062734A - 二级装置的自然语言控制 - Google Patents

二级装置的自然语言控制 Download PDF

Info

Publication number
CN106062734A
CN106062734A CN201480073899.8A CN201480073899A CN106062734A CN 106062734 A CN106062734 A CN 106062734A CN 201480073899 A CN201480073899 A CN 201480073899A CN 106062734 A CN106062734 A CN 106062734A
Authority
CN
China
Prior art keywords
secondary device
user
speech
input data
audio input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480073899.8A
Other languages
English (en)
Other versions
CN106062734B (zh
Inventor
罗翰·穆塔基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amazon Technologies Inc
Original Assignee
Amazon Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amazon Technologies Inc filed Critical Amazon Technologies Inc
Publication of CN106062734A publication Critical patent/CN106062734A/zh
Application granted granted Critical
Publication of CN106062734B publication Critical patent/CN106062734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2827—Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality
    • H04L12/2829—Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality involving user profiles according to which the execution of a home appliance functionality is automatically triggered
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/281—Exchanging configuration information on appliance services in a home automation network indicating a format for calling an appliance service function in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2825—Reporting to a device located outside the home and the home network
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Acoustics & Sound (AREA)
  • Telephonic Communication Services (AREA)

Abstract

自然语言控制的装置可以被配置成响应于一个或多个唤醒词来激活命令识别。提供技术以使得话音控制的系统能够检测或接收可用于进行控制的二级装置的指示。所述话音控制的系统与所述二级装置进行通信以便获得与所述二级装置相关的信息。所述话音控制的系统可以输出请求来自用户的与控制所述二级装置相关的音频输入数据的音频查询，并且基于所请求的音频输入数据生成用于识别一个或多个命令的至少一部分以便向所述二级装置发布一个或多个控制的识别数据。

Description

二级装置的自然语言控制
相关申请
本申请要求2013年12月2日提交的标题为“Natural Language Control ofSecondary Device(二级装置的自然语言控制)”的美国专利申请号14/094,270的优先权，所述专利申请以引用方式整体并入本文。
背景
家庭正变得布线更密且与计算装置(诸如台式计算机、平板电脑、娱乐系统和便携式通信装置)的激增更为密切相关。随着这些计算装置的逐步发展，已引入了允许用户与计算装置进行交互的许多不同方式，诸如通过机械装置(例如，键盘、鼠标等)、触摸屏、运动以及手势。与计算装置进行交互的另一种方式是通过自然语言输入，诸如语音输入。
使用自然语言输入来与计算装置进行交互提出了许多挑战。一个示例性挑战涉及通过初级计算装置或系统进行控制的二级装置的发现、配对和配置，所述初级计算装置或系统继而提供由用户输入的自然语言输入以便控制初级计算装置和二级装置。一般来说，用户可以通过点击窗口、按下触摸屏上的图标或使用非自然语言输入以其他方式明确地配置初级计算装置和二级计算装置来提供此类信息。然而，一些系统可能不将非自然语言输入提供给初级计算装置或者可能仅将有限的非自然语言输入提供给初级计算装置。
因此，当在此类情况下与自然语言控制装置进行交互时，需要用于提供令人满意的用户体验的技术。
附图简述
参照附图描述了详细的描述。在图中，参考数字中最左侧的数字标识首次出现所述参考数字的图。在不同的图中使用相同参考数字指示类似或相同的组件或特征。
图1是一些实现方式的说明性环境的示意图。
图2示出在话音控制的装置处实现所选择组件的功能框图。
图3示出在远程云服务处经由网络实现所选择组件的功能框图。
图4-9示出在图3的体系结构内的示例性操作，所述操作用于配置话音控制的装置、发现二级装置、将话音控制的装置与二级装置配对以及配置话音控制的装置以便基于来自用户的话音输入向二级装置发布指令、命令或控制。
图10示出在图3的体系结构内的示例性操作，所述操作用于配置话音控制的装置以便基于来自附加用户的话音输入向二级装置发布指令、命令或控制。
图11-12示出用于发现二级装置、将话音控制的装置与二级装置配对以及配置话音控制的装置以便基于来自用户的话音输入向二级装置发布指令、命令或控制的示例性过程。
图13示出用于配置话音控制的装置以便基于来自附加用户的话音输入向二级装置发布指令、命令或控制的示例性过程。
图14示出用于配置话音控制的装置以便基于来自用户的话音输入向多个二级装置发布指令、命令或控制的示例性过程。
详述
描述了用于通过自然语言输入经由初级语音响应装置来控制二级装置的技术。现今，一些计算装置需要用户利用物理按钮、软键、图形用户接口以及其他非自然语言输入以使得初级装置能够发现二级装置、与二级装置配对和/或配置二级装置的接口和/或控件。即使初级计算装置提供用于其他过程的自然语言输入，上述情况仍可能存在。此外，一些装置可能未装备有非自然语言输入能力或可能具有有限的非自然语言输入能力。然而，随着人机接口的逐步发展，用户可能希望并且甚至期望在不借助补充的非自然语言输入的情况下将此类自然语言命令提供给装置本身。
一般来说，自然语言输入可指示待执行的动作或命令。话音交互是自然语言命令的一种类型。因此，用户可以对计算装置讲话并且期望所述装置按照他或她的口头命令做出适当行动。例如，就语音输入来说，用户可以问“几点了？”并且期望计算装置进行正确的处理并且对查询做出回答。
当用户越来越适应通过语音控制装置时，出现了新的挑战。一个挑战是传统上未被认为是“智能的”一些装置在未来也许可通过语音进行控制。例如，用户可能想要说“打开台灯”，并且期望台灯照亮。
当此类二级装置被添加到环境时，另一个挑战是如何通过语音来发现并使用这些装置。假设用户收到新灯，并且想要通过语音来控制它。根据本文所述的技术，用户可以与自然语言控制的初级装置进行交互以发现二级装置、与二级装置配对和/或配置它们以用于话音控制操作。
自然语言命令并不限于语音，而是也可以提供为例如手写的命令等。因此，虽然本文所述的示例性实现方式和示例性使用情境涉及话音控制的装置，但是各实现方式并不限于此并且一般地可包括自然语言输入控制的装置。
图1是用户102利用话音控制的装置104来控制二级装置106的示例性情境100的说明。在图1中，二级装置被说明为台灯。提供图1以便帮助理解所公开的技术和系统。因此，应当理解，以下论述是非限制性的。
在所说明的情境100中，用户102先前已将话音控制的装置104配置成对用户102的自然语言命令做出响应。另外，用户102已使用自然语言命令通过话音控制的装置104执行了用于将话音控制的装置104与二级装置106配对(例如，建立控制链路)以及配置二级装置106的控件的过程。
如图1所示，用户102想要向话音控制的装置104使用话音命令来打开二级装置106。因此，用户102说出自然语言命令108，诸如“打开台灯”。话音控制的装置104的一个或多个麦克风可捕获对应于自然语言命令108的声波。在一些实现方式中，话音控制的装置104可以处理所捕获的信号。在其他实现方式中，一些或所有的声音处理可由通过一个或多个网络连接到话音控制的装置104的附加计算装置(例如，服务器)来执行。如果声音处理识别出有效的命令，那么话音控制的装置104可将对应的控制信号110输出到所谈论的二级装置106。在所说明的示例中，话音控制的装置104识别打开灯106的请求并且输出用于使灯106照亮的适当控制信号110。
在一些实现方式中，为了提供此类自然语言命令功能性，执行自然语言输入处理的话音控制的装置104或其他计算装置可以利用可定制的或用户特定的识别功能。例如，话音控制的装置104可以利用可定制的或用户特定的二级装置名称和/或可定制的或用户特定的命令。例如，第一用户102可以将图1的二级装置106称为“台灯(desk lamp)”并且第二用户102可以将图1的二级装置106称为“桌灯(table lamp)”。因此，在一些实现方式中，在基于来自话音控制的装置104的控制信号110对二级装置106进行配对和配置以便进行操作期间，话音控制的装置104可以要求用户102提供在控制二级装置106的过程中将使用的定制的和/或用户特定的名称或命令。
在一些实现方式中，定制的和/或用户特定的名称或命令可以与用户102(每个用户)的账户或配置文件(profile)和/或一组用户的账户或配置文件(例如，家庭名称)相关联。例如，图1的用户102的家庭成员可能将二级装置106称为“桌灯”。因此，用户102偶尔也可能将二级装置106称为“桌灯”并且用户102可在“桌灯”与“台灯”之间交替。为了便于用户102在此类情境下进行识别，用户102可能希望针对用户102的家庭为二级装置106指派定制的名称“桌灯”并且针对用户102的配置文件将用户特定的名称“台灯”指派给二级装置106。用户102的家庭的其他成员随后可得到提示或根据需要起始用于为图1的二级装置106提供用户特定的名称的过程。关于图14说明和描述了用于设置用户102的家庭的其他成员的账户和/或配置文件的此类示例性过程。
如以上所提及的，图1所说明的情境仅仅是为易于理解的一个示例，并且不意图作为对所公开的技术和系统的应用的限制。就本公开而言，额外的特征和变化对于本领域的普通技术人员来说将是显而易见的。
图2示出自然语言输入控制的装置(具体地，话音控制的装置200)的所选择的功能组件。话音控制的装置200可以类似于图1的话音控制的装置104并且实现上文关于其所论述的那些功能类似的功能。话音控制的装置200可以实现为独立式装置200(1)，所述独立式装置200(1)在功能能力方面是相对简单的，具有有限的输入/输出组件、存储器和处理能力。例如，话音控制的装置200(1)不具有键盘、小键盘或其他形式的机械输入。它也不具有便于视觉呈现和用户触摸输入的显示器或触摸屏。相反地，装置200(1)可以实现为具有接收和输出音频的能力、网络接口(无线的或有线的)、电源以及处理/存储能力。在某些实现方式中，可以采用一组有限的一个或多个输入组件(例如，用于起始配置的专用按钮、电源开/关等)。尽管如此，用户与装置200(1)进行交互的主要且可能唯一的模式是通过话音输入和可听输出。
话音控制的装置200还可以实现为移动装置200(2)，诸如智能电话或个人数字助理。移动装置200(2)可包括触敏显示屏和用于提供输入以及附加功能(诸如用于发送和接收电话呼叫的能力)的各种按钮。话音控制的装置200的替代实现方式还可包括作为个人计算机200(3)的配置。个人计算机200(3)可包括键盘、鼠标、显示屏以及在台式计算机、笔记本电脑、上网本或其他个人计算装置上常见的任何其他硬件或功能。装置200(1)、200(2)和200(3)仅仅是示例并且不意图进行限制，因为本公开中所述的技术基本上可用于具有识别语音输入或其他类型的自然语言输入的能力的任何装置中。
在所说明的实现方式中，话音控制的装置200包括一个或多个处理器202以及计算机可读介质204。在一些实现方式中，处理器202可包括中央处理单元(CPU)、图形处理单元(GPU)、CPU和GPU两者、微处理器、数字信号处理器或本领域中已知的其他处理单元或组件。可替代地或另外，本文所述的功能可至少部分地由一个或多个硬件逻辑组件来执行。例如并且非限制性地，可使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统的系统(SOC)、复杂可编程逻辑装置(CPLD)等等。另外，每个处理器202可以处理其自身的本地存储器，所述存储器还可以存储程序模块、程序数据和/或一个或多个操作系统。
计算机可读介质204可包括以任何方法或技术实施以用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的易失性和非易失性的存储器、可移除和不可移除的介质。此类存储器包括但不限于RAM、ROM、EEPROM、快闪存储器或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光学存储装置、磁盒、磁带、磁盘存储装置或其他磁性存储装置、RAID存储系统，或可用于存储所期望的信息并可由计算装置访问的任何其他介质。计算机可读介质204可以实现为计算机可读存储介质(“CRSM”)，所述CRSM可以是可由处理器202访问以执行存储在存储器204上的指令的任何可用的物理介质。在一个基本的实现方式中，CRSM可包括随机存取存储器(“RAM”)和快闪存储器。在其他实现方式中，CRSM可包括但不限于只读存储器(“ROM”)、电可擦可编程只读存储器(“EEPROM”)，或可用于存储所期望的信息并可由处理器202访问的任何其他有形介质。
若干模块(诸如指令、数据存储区(datastore)等等)可存储在计算机可读介质204内并且被配置成在处理器202上执行。一些示例性功能模块被示出为存储在计算机可读介质204中并在处理器202上执行的应用程序，不过可替代地，相同的功能性可在硬件、固件中实现或实现为片上系统(SOC)。
操作系统模块206可以被配置成用于管理装置200内的硬件和服务并且联接到所述装置200以有利于其他模块。二级装置交互模块208可以被配置成用于执行与发现二级装置、与二级装置配对和/或配置二级装置的接口和/或控件相关的操作。例如，如以上所论述的，一旦话音控制的装置已与二级装置配对，一些实现方式就可以提供定制的或用户特定的功能性，诸如用于二级装置的定制的和/或用户特定的名称或定制的和/或用户特定的命令。尽管在本文中被论述为“定制的”，但在一些实现方式中，可以向用户提供名称或命令并且要求用户说出所述名称或命令以允许话音控制的装置能够识别用户说出的名称或命令。语音处理模块210可以采用任何数量的常规语音处理技术，诸如使用语音识别、自然语言理解以及用于解释话音输入的广泛词汇。例如，语音处理模块210可以采用一般语音识别技术以及特定于控制二级装置106所使用的名称或命令的语音或短语识别。在一些实现方式中，语音处理模块210可以采用表示名称或命令本身的隐马尔可夫模型。这种模型可取决于特定的实现方式提前或在运行中创建。一旦被初始化并且激活，语音处理模块210的一些实现方式就进行操作以便检测所述语音处理模块210针对其进行编程或能够对其做出响应的自然语言命令中的任何一个。虽然在图1所示的特定实现方式中语音处理模块210被示出为用于执行二级装置名称和命令识别以及一般语音识别的单个模块，但是在其他实现方式中，这些功能可以是分开的。可替代地，二级装置名称和命令识别可以结合到二级装置交互模块208中。
话音控制的装置200还可包括存储在计算机可读介质204中的或装置200可以其他方式访问的多个应用程序212。在这个实现方式中，应用程序212是音乐播放器214、电影播放器216、计时器218以及个人购物顾问220。然而，话音控制的装置200可包括任何数量或类型的应用程序并且不限于此处示出的具体示例。音乐播放器214可以被配置成用于播放歌曲或其他音频文件。电影播放器216可以被配置成用于播放电影或其他视听媒体。计时器218可以被配置成用于提供简单计时装置和钟表的功能。个人购物顾问220可以被配置成用于帮助用户从基于网页的商家购买物品。
目前的数据存储区可包括装置交互数据存储区222和用户配置文件数据存储区224。装置交互数据存储区222可以存储在由二级装置交互模块208用于发现、配对和配置二级装置的数据。取决于二级装置和特定的实现方式，装置交互数据存储区222可以存储各种信息，诸如默认命令模板、针对多种类型的装置的建议名称、装置发现、配对和配置程序等。用户配置文件数据存储区224可以存储已与装置200进行交互的用户的一个或多个用户配置文件。用户配置文件数据存储区224可包括用户特性、偏好、用户特定的名称和命令(例如，与二级装置相关的用户特定的名称和命令)、使用历史、程序库信息(例如，音乐播放列表)、在线购买历史以及特定于个人用户的其他信息。装置交互数据存储区222和用户配置文件数据存储区224中的任一个或两个可以存储定制的但非用户特定的名称和命令等(例如，与二级装置相关的家庭名称和命令)。
一般来说，话音控制的装置200具有输入装置226和输出装置228。输入装置226可包括键盘、小键盘、鼠标、触摸屏、操纵杆、控制按钮等。在一些实现方式中，一个或多个麦克风230可以充当用于接收音频输入(诸如用户话音输入)的输入装置226。输出装置228可包括显示器、灯元件(例如，LED)、用于产生触觉感觉的振动器等。在一些实现方式中，一个或多个扬声器232可以充当用于输出音频声音的输出装置228。
用户102可以通过向话音控制的装置200讲话与其进行交互，并且一个或多个麦克风230捕获用户的语音。话音控制的装置200可以通过经由扬声器232发出可听陈述而传达回给用户。以这种方式，用户102可以仅仅通过语音而无需使用键盘或显示器来与话音控制的装置200进行交互。
话音控制的装置200可进一步包括无线单元234，所述无线单元234联接到天线236以便于无线连接到网络。无线单元234可以实现各种无线技术中的一种或多种，诸如Wi-Fi、蓝牙、RF等。可进一步提供USB端口238作为装置200的一部分，以便于有线连接到网络或与其他无线网络通信的插件网络装置。除USB端口238之外，或作为其替代方案，还可以采用其他形式的有线连接，诸如宽带连接。
因此，当实现为初级话音操作的装置200(1)时，可能不存在除麦克风230之外的输入装置，诸如导航按钮、小键盘、操纵杆、键盘、触摸屏等。此外，可能不存在用于文本或图形输出的输出装置，诸如显示器。扬声器232可以是主输出装置。在一个实现方式中，话音控制的装置200(1)可包括非输入控制机构，诸如用于增大/减小音量的基本音量控制按钮以及电源按钮和重置按钮。还可存在例如当电源开启时用于指示状态的简单灯元件(例如，LED)。
因此，装置200(1)可以实现为美学上吸引人的装置，其具有平滑且圆形的表面并且具有用于传递声波的一个或多个孔口。装置200(1)可仅仅具有电源线和任选地有线接口(例如，宽带、USB等)。因此，装置200(1)一般可以在较低的成本下生产。一旦被插上电源，装置就可以自动地或在稍微借助于用户的帮助进行自配置，并且准备好以供使用。在其他实现方式中，可以将其他I/O组件添加到这个基本模型，诸如专用按钮、小键盘、显示器等。
图3说明示例性体系结构300，其示出其中可通过云服务302提供装置200的一些或所有功能组件的装置200的替代实现方式。云服务302一般是指网络可访问的平台，其实现为处理器、存储装置、软件、数据访问等的计算基础结构，所述计算基础结构通过网络304(诸如互联网)维持并可访问。云服务302可能不需要终端用户了解递送服务的系统的物理位置和配置。与云服务相关联的常见表达包括“按需计算”、“软件即服务(SaaS)”、“平台计算”、“网络可访问平台”等。
在这个实现方式中，装置200可以被配置成具有一个或多个本地二级装置交互模块306以及在向处理器202提供指令的计算机可读介质204中可用的一个或多个本地模块308。一个或多个本地二级装置交互模块306可以代表远程云服务302或响应于来自远程云服务302的指令来执行与二级装置106的发现、配对和配置中的一个或多个相关的功能。例如，在根据图3的一些实现方式中，可以由远程云服务302来执行对包括定制的或用户特定的二级装置名称或命令的自然语言输入数据的处理。如以下将更详细地论述的，在此类实现方式中，模块306可以进行操作以便执行装置上操作和交互，从而允许云服务302执行那些任务(例如，致使装置200输出控制信号，记录自然语言输入数据等)。本地模块308可提供基本功能，诸如创建到网络304的连接和对从麦克风230接收的数据的初始处理以及控制输出装置(诸如扬声器232)。与图1和图2中描述的装置和系统相关联的其他功能可以由远程云服务302提供。
云服务302包括一个或多个网络可访问装置310，诸如服务器312。服务器312可包括一个或多个处理器314和计算机可读介质316。服务器210的处理器314和计算机可读介质212与装置200的处理器202和计算机可读介质204物理地分开，但是可以共同作为系统的一部分起作用，所述系统提供部分地在装置200上并且部分地在云服务302上的处理和存储器。这些服务器312可以任何数量的方式来布置，诸如数据中心中常用的服务器场、堆栈等。
此外，在一些实现方式中，至少一部分的图1所示的二级装置交互模块208、语音处理模块210和/或应用程序212中的任何一个可位于云服务302的计算机可读介质316中。因此，用于实现本公开中所包含的特征的相应模块的特定位置不受限制并且以下论述同样适用于包括本地装置、基于云的服务或其组合的任何实现方式。例如，在云服务302的本地二级装置交互模块306与二级装置交互模块208之间的功能性的分布可在不同的实现方式之间变化，从而使得可在话音控制的装置200上执行不同量的处理(例如，基于话音控制的装置200的特定实现方式的能力)。在平衡话音控制的装置200与云服务302之间的处理分布的另一个示例中，在其中语音处理模块210位于云服务302的计算机可读介质316中的实现方式中，本地二级装置交互模块308和/或本地模块308可以提供用于识别关于二级装置的名称和命令的功能性，并且可以本地处理命令生成或向远程语音处理模块210提供额外的信息作为起始点。
一般来说，在其中话音控制的装置200允许用户定义或选择用于二级装置的定制的或用户特定的名称或定制的命令的实现方式(与其中名称和命令是预定义的或以其他方式为用户不可选择的实现方式相反)中，话音控制的装置200可提示用户用于二级装置的定制的或用户特定的名称或定制的或用户特定的命令格式。本地模块308可以操作麦克风230来捕获用户的响应作为音频数据。本地二级装置交互模块308可以将音频数据连同用户、二级装置的标识和/或用于链接到音频数据的指令转发给云服务302。服务器312的二级装置交互模块208和/或语音处理模块210可以对用户响应的音频数据进行评估和/或处理以便生成可用于识别名称或命令的数据。服务器312的二级装置交互模块208随后可存储导出数据，所述导出数据用于识别名称或命令并且发布待发送到二级装置的对应指令。例如，用于识别与二级装置相关联的名称或命令的数据可存储在散列表或其他此类存储装置中，所述存储装置具有到用户配置文件的链接以及在定制的命令的情况下有待在识别出所述命令时向二级装置发布的一个或多个指令。
图4-10说明上文关于图3所描述的示例性体系结构300中的实现方式的操作，所述体系结构包括话音控制的装置200和云服务302。具体地，图4说明阶段400的示例性操作，在所述阶段400中，用户建立针对用户102的用户账户或配置文件(在下文中称为用户账户)。图5-9说明示例性阶段500-900，其具有用于发现二级装置、将话音控制的装置200与二级装置配对以及建立针对用户102的话音控制的操作。图10说明阶段1000的示例性操作，通过所述阶段1000，第二用户可以建立针对第二用户的对二级装置的话音控制。
图4示出其中用户102利用话音控制的装置200和云服务302设置用户账户的示例性情境400。假设话音控制的装置200具有电源并且已通过网络304(例如通过Wi-Fi或连接到互联网的其他局域网)连接到云服务302。在一些实现方式中，在初始上电并且与云服务302连接之后，话音控制的装置200可以起始与用户102的交互以便设置用户账户。另外或可替代地，用户102可以按下话音控制的装置200上的按钮以起始过程(例如，位于话音控制的装置200底部上的按钮)。当然，这些仅仅是示例并且可以利用任何数量的交互来起始设置过程。
一旦起始所述过程，话音控制的装置200就可请求用户账户的名称。例如，话音控制的装置200可以输出短语402“请为您的用户账户命名。”话音控制的装置200随后可以检测并记录用户响应404(“用户1”)的音频数据。所记录的音频数据连同附加信息随后可以作为编程数据和用户配置文件名称音频数据406被发送到云服务302，所述附加信息诸如话音控制的装置200的标识、话音控制的装置200的用户群组的标识符等。
云服务302的服务器312可以利用数据406来设置用户102的账户。此类账户可以链接到或包括用户配置文件信息，诸如语音识别数据、由用户102选择的二级装置名称以及其他定制。此外，用户账户可以链接到将用户的用户账户连接到话音控制的装置200的装置记录。如以上所提及的，还可能存在可由话音控制的装置200的任一用户使用的家庭名称或默认名称。这个数据可以链接到此类装置账户或存储在其中。一旦完成用户账户设置(及其它信息设置)，云服务就可以向话音控制的装置200发布确认消息408。在一些实现方式中，话音控制的装置200可以输出设置过程已成功的指示(未示出)。
以上设置过程是示例并且不意欲被认为是限制本文所公开的技术和系统的实现方式。
如以上所提及的，图5-9说明话音控制的装置200和云服务302的操作，包括与用户102进行交互以便将话音控制的装置200和云服务302配置成基于至话音控制的装置200的话音输入来控制二级装置。图5-9中的每个图说明在交互中的阶段。
图5说明处于交互中的阶段500的示例性体系结构300，所述阶段开始于用户102给将要通过至话音控制的装置200的话音输入进行控制的二级装置502通电。在图5的示例中，二级装置502被说明为落地灯，但这并不意欲暗示对根据本文所公开的系统和技术的二级装置的类型、形式、功能或任何其他方面进行任何限制。
在一些实现方式中，二级装置502可包括一个或多个处理器504和计算机可读介质506。一般来说，一个或多个处理器504和计算机可读介质506与一个或多个处理器202、计算机可读介质204、一个或多个处理器314和计算机可读介质316是分开的，但可以与上文关于图2和图3所述的类型和/或配置类似或不同。
计算机可读介质506可以存储一个或多个本地模块508，所述本地模块执行二级装置502的各种功能中的至少一些功能。例如，在一些实现方式中，本地模块508可包括用于致使初级装置接口510与话音控制的装置200和/或其他初级装置进行交互以执行其他功能(例如，由话音控制的装置200请求的功能)的指令。
二级装置502还可包括与二级装置502的其他功能相关的附加组件512。例如，图5所示的二级装置502被说明为灯。在此类实现方式中，二级装置502可包括用于响应于与话音控制的装置200的交互来打开/关闭灯泡的附加组件512。当然，图5所说明的实现方式仅仅是示例并且二级装置502的许多变化也是可能的。
在所说明的实现方式中，在给二级装置502供电之后，二级装置502开始输出发现起始传输514。发现起始传输514可以向在接近二级装置502的区域中的装置指示二级装置502存在并且可以进行配对以便由另一装置进行外部控制。例如，发现起始传输514可包括由话音控制的装置200用来与二级装置502进行通信的信息。话音控制的装置200接收发现起始传输514，且对发现起始传输514的所述接收导致交互中的下一个步骤，并且下文关于图6来描述进一步的交互。
图6说明处于交互中的阶段600的示例性体系结构300，所述阶段是在话音控制的装置200接收到发现起始传输514之后。
在这个阶段600，话音控制的装置200传输针对关于二级装置502的附加信息的请求602以允许话音控制的装置200控制二级装置502。作为响应，二级装置502传输回复604，所述回复604包括所请求的关于二级装置的信息和/或由话音控制的装置200用来控制二级装置502的控制信息。此时，在所说明的实现方式中，将话音控制的装置200和二级装置502配对，以实现无线通信和由话音控制的装置200来控制二级装置502的目的。图7-9说明话音控制的装置200和云服务302的配置过程的阶段，以实现通过话音控制的装置200对二级装置502进行话音控制。
上文关于图5和图6所描述的发现和配对序列仅仅是示例并且许多变化也是可能的。以下提供一些示例性变化。
在一些实现方式中，可以在话音控制的装置200上起始发现过程。例如，用户可以按下话音控制的装置200上的按钮或者说出用于起始发现新二级装置(例如，在接近话音控制的装置200的区域中)的短语。例如，用户102可以说出短语“搜索新装置”来开始发现过程。
关于图5和图6所论述的过程包括话音控制的装置200在接收到来自二级装置502的附加信息后即刻自动地与二级装置502进行配对。另外或可替代地，话音控制的装置200可以在完成与二级装置502的配对之前请求用户同意或确认。例如，话音控制的装置200可以输出短语“我已检测到新灯。您想要我与新灯进行配对吗？”如果用户以肯定形式回复，那么此类实现方式的话音控制的装置200可以完成配对过程(例如，通过与二级装置502交换附加的通信)。
另一种示例性类型的变化一般地可以与发现和配对过程相关。发现和配对过程中的此类差异可能是由于可具有不同配对过程的不同通信协议所致。例如，一些装置可以与服务器进行通信以便发现新装置(例如，通过使用HTTP或restful API)。其他装置可以扫描已知的地址范围或者扫描或收听已知的通信信道。一些示例性通信协议包括ZigbeeTM、Z-WaveTM、BluetoothTM、Wi-FiTM、Wi-Fi DirectTM以及InsteonTM。这些和其他协议中的每一个具有指定的发现和配对过程。如本领域的普通技术人员将理解的，根据本公开，上文关于图5和图6提供的过程可适于说明由话音控制的装置200与二级装置502之间的通信所使用的通信协议引起的发现和配对过程。
在这个阶段或其他阶段，可以在话音控制的装置200与二级装置502之间交换附加信息。例如，在其中二级装置502将要连接到用户的家用网络的情况下，话音控制的装置200可以向二级装置502提供连接信息以允许二级装置502连接到家用网络而用户不必手动地提供此类细节(例如，代替用户手动地提供Wi-Fi网络标识和安全信息，话音控制的装置200可以将这个信息提供到二级装置502)。可关于其中装置200与502的配对和正常通信是通过家用网络进行的实现方式来说明另一个示例。在一些此类实现方式中，可通过第一协议(例如，Wi-Fi Direct)输出初始发现起始传输，话音控制的装置200和二级装置502通过所述第一协议交换家用网络细节。一旦二级装置502已连接到家用网络，就可使用第二协议(例如，Wi-Fi)通过家用网络来实施配对过程的其余部分以及稍后的交互。
此外，上文关于图5和图6所论述的过程包括对话音控制的装置200独立于云服务302来执行发现和配对过程的论述。然而，在一些实现方式中，云服务302可以执行发现操作和/或配对操作中的至少一些。在一些此类实现方式中，话音控制的装置200的本地二级装置交互模块306可以进行操作以便检测来自二级装置502的发现起始传输并且将信息转送到云服务302。云服务302可以执行用于实施配对过程的处理并且命令话音控制的装置200代表云服务302与二级装置502进行通信。其他实现方式可具有话音控制的装置200与云服务302之间的不同的操作分布。
如以上所顺便提到的，图7说明处于交互中的阶段700的示例性体系结构300，所述阶段是在话音控制的装置200与二级装置502配对之后。一般来说，阶段700说明用于从用户102获得话音音频输入数据的示例性操作，所述话音音频输入数据包括用户102在发布用于二级装置502的话音命令时将使用的二级装置502的名称。
如图7所说明，话音控制的装置200可以输出提示用户二级装置502的名称的短语。具体地，话音控制的装置200输出短语702“我已检测到新灯。您想要如何命名这个灯？”在所说明的示例性实现方式中，话音控制的装置200利用回复604中所包括的附加信息来告知用户已检测到的二级装置502的类型(即，新灯)。在一些实现方式中，话音控制的装置200可以告知用户102已检测到二级装置而未辨识出装置的类型。例如，二级装置502的制造商可能未包括让二级装置502将二级装置502的类型告知话音控制的装置200的能力。在此类情况下，话音控制的装置200可以输出短语“我已检测到新装置。您想要如何命名这个新装置？”
响应于话音控制的装置200输出的问题702，用户102可以说出新二级装置502的名称。在所说明的示例中，用户102用短语704“厨房灯”进行回复。换句话说，用户102指出用户在其与话音控制的装置200进行交互以控制二级装置502时将把二级装置502称为“厨房灯”。话音控制的装置200的麦克风230可以捕获这个回复作为语音输入数据。
图8说明处于交互中的阶段800的示例性体系结构300，所述阶段是在话音控制的装置200捕获对应于用户回复704的音频数据之后。一般来说，阶段800说明用于向云服务302提供与二级装置502相关的信息和由用户102提供的二级装置502的名称的示例性操作。使用所提供的信息，云服务302可以设置用户配置文件以实现用于基于由用户102指示的名称来控制二级装置502的操作。
如图8所示，话音控制的装置200的模块306可以进行操作以便将与二级装置相关的数据和所捕获的语音输入数据802发送给云服务302。云服务302使用所述数据来设置用户配置文件以允许通过话音控制的装置200来控制二级装置502。以这种方式，来自用户102的未来语音输出(包括命令和用户提供的名称(例如，厨房灯))可用来控制二级装置502。
更具体地，在接收到数据802后，模块208或210中的一个或多个即刻可将802的语音输入数据转换成将由语音处理模块210利用的语音识别数据。二级装置交互模块208还可以进行操作以生成与用户102的用户账户相关的二级装置记录。此类二级装置记录可包括关于二级装置502的信息以及与二级装置502的功能相关的信息，以允许云服务302确定可由话音控制的装置200实行的可能控制。例如，用于被说明为二级装置502的灯的二级装置记录可包括：
(1)二级装置502的标识符；
(2)二级装置502的装置类型；
(3)二级装置502的型号和/或制造商；
(4)由话音控制的装置200的用户指派给二级装置502的名称的列表连同用于允许语音处理模块210识别所述名称的语音识别数据；以及
(5)可由话音控制的装置200控制的二级装置502的功能的列表连同用于允许语音处理模块210识别话音命令的语音识别数据以及用于允许云服务致使话音控制的装置200向装置502输出命令所需的任何附加信息和用于二级装置502的适当格式。
可视情况基于特定实现方式针对任何装置账户或家庭账户执行类似操作。
一旦已利用用户102的账户设置了二级装置502，云服务302就可以将确认消息804传回到话音控制的装置200。确认消息804可致使话音控制的装置200输出设置已完成的音频指示(参见图9)，和/或可致使话音控制的装置200根据需要进行与二级装置502的任何附加通信以完成配对过程(即，在其中所述过程先前未完成的实现方式中)。
图9说明处于交互中的阶段900的示例性体系结构300，所述阶段是在话音控制的装置200接收到确认消息804之后。一般来说，图9所示的阶段900说明用于验证话音控制的装置200和云服务302的配置以便基于来自用户102的话音输入来控制二级装置502的示例性操作。
如图9所示，在接收到确认消息804之后，话音控制的装置200输出设置已完成的确认并且请求用户102测试二级装置控件。具体地，话音控制的装置200输出短语902“厨房灯的设置已完成。请说‘打开厨房灯，’来测试这个设置。”在图9的所说明示例中，用户102应允所述请求并且说出短语904“打开厨房灯。”话音控制的装置200的麦克风230捕获语音904作为用于测试的语音数据906。话音控制的装置200的本地二级装置交互模块306可以进行操作以便将用于测试的语音数据906发送给云服务302。取决于实现方式，话音控制的装置200可以包括或可以不包括对云服务302的以下指示：语音数据906是用于测试目的。换句话说，在一些实现方式中，云服务302可以与并非用于测试目的的语音数据相同的方式对用于测试的语音数据906进行操作。在其他实现方式中，可告知云服务302数据906的目的和/或云服务302可执行除通常应用于通用语音输入数据的处理之外的处理。
在接收到用于测试的语音数据906后，云服务302的语音处理模块210即刻可以进行操作以便执行语音识别并且尝试将用于测试的语音数据906与跟二级装置502(与用户帐户相关联)相关联的命令进行匹配，其中二级装置的名称是在所述命令的适当上下文中。例如，用于打开二级装置502的命令格式可以采用“打开[指派的名称]”的形式，其中针对待识别的命令，用由用户102为二级装置502提供的名称来代替文字“[指派的名称]”。因此，包括短语904“打开厨房灯”的用于测试的语音数据906被匹配到二级装置502(即，被命名为“厨房灯”的二级装置)的打开命令。如果发现匹配，那么云服务302可以进行操作以便确定话音控制的装置200应当向二级装置502发布来实现所识别命令的指令。这个信息可被提供到话音控制的装置200，以作为所说明的用于对所识别命令做出响应的信息908。
在接收到用于对所识别命令做出响应的信息908后，话音控制的装置200即刻可以利用信息908来向二级装置502发布适当的指令以便实现所识别命令(即，打开二级装置502)。
图10说明在其中针对附加用户1002设置话音控制的装置200以便控制二级装置502的情境1000下的示例性体系结构300。例如，附加用户1002可以是用户102的家庭的成员并且具有已利用话音控制的装置200和云服务302设置的用户账户。在用户102已利用话音控制的装置200设置并配置了二级装置502以便进行操作之后，在用户1002与话音控制的装置200进行交互的下一个时刻话音控制的装置200可以提示用户1002提供针对二级装置502的设置信息。
如图10所示，当用户1002开始与话音控制的装置200进行交互或者被话音控制的装置200检测到时，话音控制的装置200可以输出短语1004，诸如“用户1设置了新灯。对于这个新灯您想用什么名称？”作为响应，用户1002提供“灯”的回复1006。话音控制的装置200的麦克风230可以捕获呈语音输入数据形式的用户回复1006。
话音控制的装置200可以将语音输入数据和标识二级装置502的装置信息以消息1008的形式发送给云服务302。标识二级装置的装置信息可用来定位装置记录和/或用户1002的用户账户。一旦定位了记录，就可以利用语音输入数据生成用于识别由用户1002指派给二级装置502的名称的语音识别数据。类似于第一用户的设置，可以将确认消息1010传回给话音控制的装置200并且话音控制的装置200可以告知用户操作成功。
图4-10所说明的用于将话音控制的装置200和云服务302配置成基于来自用户102的语音数据控制二级装置502的技术仅仅是代表性的并且既不意图覆盖综合性列表，也不以任何方式进行限制。可以使用用于实现将话音控制的装置200和云服务302配置成基于来自用户102的语音数据控制二级装置502的这些和其他可能的特定技术，并且实现方式并不限于任何特定的技术。
图11和图12示出示例性过程1100和1200，其用于执行话音控制的装置200和云服务302的发现、配对和配置以便基于来自用户的话音输入控制二级装置502。过程1100和1200可以通过图3的话音控制的装置200和服务器312或通过其他装置来实现。在逻辑流图中，这个过程被说明为方框或动作的集合。一些方框表示可以硬件、软件或其组合来实现的操作。在软件的上下文中，方框表示存储在一个或多个计算机可读介质上的计算机可执行指令，当由一个或多个处理器执行时，所述计算机可执行指令执行所列举的操作。一般来说，计算机可执行指令包括例行程序、程序、对象、组件、数据结构等，其执行特定功能或实现特定抽象数据类型。描述操作的顺序不意图被解释为具有限制性，并且任何数量的所描述方框可以任何顺序和/或并行地组合以实现所述过程。
出于描述一个示例性实现方式的目的，在图11-12中，方框在视觉上被布置成呈话音控制的装置200、二级装置502和服务器312下方的列的形式，以便说明系统300的这些装置可以执行这些操作。也就是说，由布置在话音控制的装置200下方的方框来定义的动作可由话音控制的装置200执行，并且类似地，由布置在二级装置502和服务器312下方的方框来定义的动作可分别由二级装置502和一个或多个服务器312执行。
在1102处，二级装置502可以开始输出发现起始传输。如上文关于图5所论述的，此类发现起始传输可以向在接近二级装置502的区域中的装置指示二级装置502存在并且可以进行配对以便由另一装置进行外部控制。
在1104处，话音控制的装置200可以检测来自二级装置502的发现起始传输。在1106处，话音控制的装置200可以向二级装置查询附加信息(例如，装置类型、配置文件、接收(sink)等)并且视实现方式的情况提供关于话音控制的装置200的信息。如以上所提及的，还可以向二级装置502提供附加和/或其他信息。例如，可以提供信息以使得二级装置502能够连接到网络(用户的家用网络)。
在1108处，二级装置502传输回复，所述回复包括所请求的关于二级装置的信息和/或由话音控制的装置200用来控制二级装置502的控制信息。在1110处，话音控制的装置200接收来自二级装置502的回复并且处理所述信息以完成配对过程。
在1112处，当话音控制的装置200检测到用户102存在时，话音控制的装置200输出对用户102的音频查询以便获得例如二级装置502的名称。在1114处，话音控制的装置200捕获麦克风230处的语音输入。过程随后在图12中的1202处继续。
在1202处，话音控制的装置200将语音输入数据(视情况，以及其他信息)发送到服务器312以便向与用户相关联的账户注册二级装置502。在1204处，服务器312执行分析以便向用户的账户注册装置并且将语音输入数据处理成可由语音处理模块210用来识别由用户指派给装置的名称的语音识别数据。服务器312随后可将注册确认发送到话音控制的装置200，连同将用于请求用户102测试配置的指令发送到话音控制的装置200。
在1206处，话音控制的装置200可以接收注册确认和用于请求用户102测试配置的指令。在1208处，话音控制的装置200可以向用户102输出用于测试配置的音频请求(例如，请求用户说出对应于命令并且包括指派给二级装置的名称的短语)并且捕获来自用户102的测试语音输入。在1210处，话音控制的装置200可以将所捕获的测试语音输入数据发送到服务器312。
在1212处，服务器可根据先前针对指派给二级装置的名称生成的语音识别数据来对测试语音输入数据执行语音识别以便将测试语音输入数据匹配到与二级装置502(其与用户的账户相关联)相关联的命令，其中二级装置的名称是在所述命令的适当上下文中。如以上所提及的，可以使用任何数量的常规语音识别技术(诸如使用隐马尔可夫模型、高斯混合模型、自然语言处理和/或用于解释话音输入的广泛词汇)来执行语音识别。
在1214处，服务器可以将指令传回给话音控制的装置200以便命令二级装置502执行所识别的一个或多个命令。在1216处，话音控制的装置200可以接收由对测试语音输入数据的处理而产生的指令(例如，用于将“打开”命令输出到所发现的装置的指令)。
在1218处，话音控制的装置200可以执行从服务器接收到的指令，并且向二级装置502发布命令(例如，命令灯装置打开)。
图13示出用于在已针对用户102对装置进行配置之后执行话音控制的装置200和云服务302的配置以便基于来自第二用户(例如，用户1002)的话音输入来控制二级装置502的示例性过程1300。因为话音控制的装置200和云服务302与二级装置502配对或以其他方式能够控制二级装置502，所以所述过程可不同于以上所论述的过程。过程1300可以通过图3的话音控制的装置200和服务器312或通过其他装置来实现。出于简洁的目的，针对图13假设第二用户1002具有包括话音控制的装置200和服务器312的账户但未被配置成用于控制二级装置502。
在1302处，在与附加用户进行交互或检测到附加用户的存在后，话音控制的装置200即刻可以确定附加用户尚未被配置成用于控制二级装置(例如，已由话音控制的装置200的另一用户(诸如用户102)设置的二级装置)。在1304处，话音控制的装置200可以向附加用户输出指示另一用户已添加了新二级装置并且询问用户想要如何称呼所述二级装置的音频查询。
所述过程随后继续进行先前所论述的图11-12的过程(在方框1114处开始并且继续到方框1216)。当然，一些实现方式将包括至少一些细微的变化以说明已向云服务302注册了二级装置502。这些和许多其他变化是可能的。
图14示出用于执行话音控制的装置200和云服务302的配置以便基于来自用户102的话音输入来控制多个二级装置502的示例性过程1400。例如，在根据图14的一些实现方式中，用户102可以设置定制的命令以便产生待发布到第一二级装置以及一个或多个第二二级装置的指令。作为更具体的示例，用户102可能希望创建定制的命令以便激活用户娱乐中心(例如，电视机和蓝光播放器)的剧场模式并且还致使在娱乐中心所处的房间中的至少一个窗户上的百叶窗关闭。当然，应当理解，本文所公开的技术和系统不包括对可通过单个定制命令控制的附加二级装置的数量的限制。例如，除百叶窗之外，用于激活剧场模式的定制命令还可导致照明的变化，诸如关掉房间中的灯或将其调暗。
在1402处，话音控制的装置200可以接收由用户102做出的设置定制命令的云服务302请求并对其做出回复。例如，话音控制的装置200的麦克风230可以捕获“请设置定制命令。”的用户陈述。语音处理模块210可以进行操作以便处理并识别命令。
在1404处，云服务302可以命令话音控制的装置200来请求用户102辨识命令的字词。例如，话音控制的装置200可以输出短语“您的定制命令的字词是什么？”麦克风230随后可以捕获用户响应作为音频数据并且将所述数据发送到云服务以便进行处理和识别。例如，用户102可以回复“将我的客厅设为电影观看模式。”因此，云服务302可以识别出命令“将我的客厅电视机设为电影观看模式”将要执行用户指定的动作。
在1406处，云服务302可以命令话音控制的装置200来请求用户102辨识待执行的装置命令作为定制命令的一部分。例如，话音控制的装置200可以输出短语“当您的客厅处于电影观看模式时您想要发生的第一个动作是什么？”麦克风230随后可以捕获用户响应作为音频数据并且将所述数据发送到云服务以便进行处理和识别。例如，用户102可以回复“关掉客厅的灯。”因此，响应于定制命令“将我的客厅电视机设为电影观看模式”，云服务302可以识别并且添加命令“关掉客厅的灯”作为待执行的动作。云服务302可以命令话音控制的装置200来询问是应将附加动作添加到定制命令还是用户是否已完成。
在1408处，当用户指出用户已完成时，云服务302可以创建针对“将我的客厅设为电影观看模式”的定制命令记录以致使待执行的指定动作与定制命令相结合。
以上提供的对绑定到特定话音命令的多个动作的论述是示例并且不意图暗示对本文所公开的技术和系统的实现方式的任何限制。许多变化是可能的并且被认为在本公开的范围内。例如，在上文关于图14所提供的示例中，响应于定制的话音命令来执行多个装置。在一些实现方式中，可允许用户修改现有的或预定义的命令，从而使得现有的话音命令被绑定到或执行附加命令。在特定示例中，代替设置新命令(诸如“将客厅设置为剧场模式”)，用户也许能够将“在剧场模式下打开客厅电视机”命令修改为在剧场模式下打开电视机、关闭百叶窗、关掉客厅灯或将其调暗等等。
就本公开而言，上述技术和系统的其他变化对于本领域的普通技术人员来说将是显而易见的，并且本文所公开的系统的实现方式并不限于任何特定的技术。
例如，在一些实现方式中，二级装置502可以是待控制其电源的另一装置的电源装置。在特定的示例中，待控制其电源的装置可以是标准的或“哑”灯。二级装置502可以是灯插入其中并且继而插入电源(例如，壁式插座)中的装置。此类电源装置可基于从话音控制的装置200接收的控制信号来将灯的电源接通和断开。在另一个这样的示例中，二级装置502可以是多个装置插入其中的电源板。当新装置插入电源板中时，电源板可以与以上论述的方式类似的方式进行操作以便起始用于新装置插入其中的电源板的特定出口的配置过程。在此类情况下，可能先前已完成了配对，并且装置配置文件、用户配置文件和/或配置文件可能已更新以允许将与电源板相关联的不同的和/或附加的装置名称和命令以及更具体地用于控制灯插入其中的出口的命令。
在另一种变化中或另外，二级装置502可响应于命令将信息发送回到话音控制的装置200。例如，在命令导致错误的情况下，二级装置可以将错误传回给话音控制的装置200并且话音控制的装置200可以对错误进行处理并输出告知用户所述错误的音频信号。
在再另一种变化中或另外，可通过其他方式(例如，二级装置502上的按钮)来控制二级装置502，并且二级装置502可响应于替代的输入将信息发送到话音控制的装置。例如，二级装置502可具有打开按钮，并且二级装置502可以在按下所述按钮时向话音控制的装置200输出通知以便告知话音控制的装置二级装置502的状态已改变，从而允许话音控制的装置密切注意二级装置502的状态。在此类特征于图4的上下文中的示例性使用中，用户可能会问“灯打开了吗？”，并且话音控制的装置200可用二级装置502的状态做出响应而不需要对二级装置502进行查询。
结论
尽管已用特定于结构特征的语言描述了主题，但是应当理解，所附权利要求中定义的主题不必限于所述的特定特征。实际上，具体特征是作为实施权利要求书的说明性形式来公开的。
条款
1.一种计算系统，其包括：
一个或多个处理器；
一个或多个非暂态计算机可读存储介质，其存储计算机可执行指令；
二级装置控制指令，其维持在所述一个或多个非暂态计算机可读存储介质中并且由所述一个或多个处理器执行以：
检测二级装置；
与所述二级装置进行通信以使得所述二级装置能够连接到网络并且获得与所述二级装置相关的信息；
致使从用户输出与控制所述二级装置相关的音频查询请求信息；
从所述用户接收包括所述所请求的信息的第一音频输入数据；
致使对所述第一音频输入数据执行第一语音处理，其中所述第一语音处理的输出包括识别数据；
接收包括用于所述二级装置的命令的第二音频输入数据；
致使对所述第二音频输入数据执行第二语音处理，其中所述第二语音处理使用所述识别数据；并且
至少部分地基于所述第二语音处理的输出，与所述二级装置进行通信以致使所述二级装置执行所述命令的至少一部分。
2.如条款1所述的系统，其中用于与所述二级装置进行通信的所述指令致使通过直接连接来进行通信并且使得所述二级装置能够无线地连接到局域网(LAN)。
3.如条款1所述的系统，其中对来自所述用户的所述信息的所述请求包括请求所述用户输入在控制所述二级装置时将使用的口头标识符的至少一部分。
4.如条款1所述的系统，其进一步包括用于以下的指令：通过提示所述用户说出至少部分地基于所述第一音频输入数据的短语而致使向所述用户输出测试所述所生成的识别数据的请求。
5.如条款1所述的系统，其进一步包括用于以下的指令：
从用户接收包括与创建定制命令相关的信息的第三音频输入数据；
致使对所述第三音频输入数据执行第三语音处理；
从用户接收包括对应于所述定制命令的至少一个待执行动作的第四音频输入数据；
致使对所述第四音频输入数据执行第四语音处理；
配置所述定制命令以便调用所述第一动作和第二动作。
6.一种方法，其包括：
接收可用于进行控制的二级装置的指示；
与所述二级装置进行通信以便获得与所述二级装置相关的信息；
致使从用户输出与控制所述二级装置相关的音频查询请求信息；
从所述用户接收包括所述所请求的信息的音频输入数据；以及
致使对所述音频输入数据执行第一语音处理，其中所述第一语音处理的输出包括识别数据。
7.如条款6所述的方法，其进一步包括与所述二级装置进行通信以使得所述二级装置能够连接到网络。
8.如条款6所述的方法，其中所述所请求的信息包括用于所述二级装置的口头标识符的至少一部分。
9.如条款6所述的方法，其进一步包括致使输出提示所述用户说出至少部分地基于所述音频输入数据的短语的附加音频查询，以便测试所述识别数据。
10.如条款6所述的方法，其中请求来自所述用户的与控制所述二级装置相关的信息的所述音频查询包括关于所述二级装置的信息。
11.如条款10所述的方法，其中关于所述二级装置的所述信息指示所述二级装置的类型。
12.如条款11所述的方法，其进一步包括：
接收包括用于所述二级装置的命令的第二音频输入数据；
致使对所述第二音频输入数据执行第二语音处理，其中所述第二语音处理使用所述识别数据；并且
至少部分地基于所述第二语音处理的输出，与所述二级装置进行通信以致使所述二级装置执行所述命令的至少一部分。
13.如条款6所述的方法，其进一步包括：
从用户接收包括与创建定制命令相关的信息的第三音频输入数据；
致使对所述第三音频输入数据执行第三语音处理，所述第二所识别命令与配置特定命令以便调用多个二级装置的功能有关；
从用户接收包括对应于所述定制命令的至少一个待执行动作的第四音频输入数据；
致使对所述第四音频输入数据执行第四语音处理；以及
配置所述定制命令以便调用所述第一动作和第二动作。
14.如条款6所述的方法，其中使用至少一个协议来控制所述二级装置，所述至少一个协议是Zigbee、Z-wave、Insteon、蓝牙、Wi-Fi或Wi-Fi Direct中的至少一个。
15.一种或多种非暂态计算机可读存储介质，其存储可在至少一个计算装置中执行的计算机可执行指令，于是所述计算机可执行指令的执行致使执行包括以下各者的操作：
与二级装置进行通信以便获得与控制所述二级装置相关的信息；
致使从用户输出随后可用于控制所述二级装置的信息的可听请求；
从所述用户接收包括所述所请求的信息的自然语言输入数据；以及
致使对所述自然语言输入数据执行第一语音处理，其中所述第一语音处理的输出包括识别数据。
16.如条款15所述的一种或多种计算机可读介质，其中所述识别数据是与装置的多个用户中的第一用户相关联的第一识别数据，所述装置与所述一个或多个处理器相关联；
所述指令进一步包括：
用于存储所述第一识别数据以使得所述第一识别数据与所述二级装置和所述第一用户相关联的指令；
用于存储第二识别数据以使得所述第二识别数据与所述二级装置和第二用户相关联的指令；以及
用于存储第三识别数据以使得所述第三识别数据与所述二级装置、所述第一用户和所述第二用户相关联的指令。
17.如条款16所述的一种或多种计算机可读介质，其中所述第一识别数据、第二识别数据和第三识别数据存储在散列表中。
18.如条款15所述的一种或多种计算机可读介质，其中对来自所述用户的与控制所述二级装置相关的信息的所述可听请求包括关于所述二级装置的信息。
19.如条款18所述的一种或多种计算机可读介质，其中关于所述二级装置的所述信息指示所述二级装置的类型。
20.如条款15所述的一种或多种计算机可读介质，所述指令进一步包括用于与所述二级装置进行通信以使得所述二级装置能够连接到网络的指令。
21.如条款15所述的一种或多种计算机可读介质，所述指令进一步包括用于以下的指令：
接收包括用于所述二级装置的命令的另一自然语言输入数据；
致使对所述另一自然语言输入数据执行第二语音处理，其中所述第二语音处理使用所述识别数据；
至少部分地基于所述第二语音处理的输出，与所述二级装置进行通信以便向所述二级装置发布所述命令的至少一部分；
接收针对与所述二级装置进行所述通信的响应以便向所述二级装置发布所述命令的至少一部分；以及
至少部分地基于所述响应致使向所述用户输出可听消息。

Claims (14)

1.一种计算系统，其包括：
一个或多个处理器；
一个或多个非暂态计算机可读存储介质，其存储计算机可执行指令；
二级装置控制指令，其维持在所述一个或多个非暂态计算机可读存储介质中并且由所述一个或多个处理器执行以：
检测二级装置；
与所述二级装置进行通信以使得所述二级装置能够连接到网络并且获得与所述二级装置相关的信息；
致使从用户输出与控制所述二级装置相关的音频查询请求信息；
从所述用户接收包括所述所请求的信息的第一音频输入数据；
致使对所述第一音频输入数据执行第一语音处理，其中所述第一语音处理的输出包括识别数据；
接收包括用于所述二级装置的命令的第二音频输入数据；
致使对所述第二音频输入数据执行第二语音处理，其中所述第二语音处理使用所述识别数据；并且
至少部分地基于所述第二语音处理的输出，与所述二级装置进行通信以致使所述二级装置执行所述命令的至少一部分。
2.如权利要求1所述的系统，其中用于与所述二级装置进行通信的所述指令致使通过直接连接来进行通信并且使得所述二级装置能够无线地连接到局域网(LAN)。
3.如权利要求1所述的系统，其中对来自所述用户的所述信息的所述请求包括请求所述用户输入在控制所述二级装置时将使用的口头标识符的至少一部分。
4.如权利要求1所述的系统，其进一步包括用于以下的指令：通过提示所述用户说出至少部分地基于所述第一音频输入数据的短语而致使向所述用户输出测试所述所生成的识别数据的请求。
5.如权利要求1所述的系统，其进一步包括用于以下的指令：
从用户接收包括与创建定制命令相关的信息的第三音频输入数据；
致使对所述第三音频输入数据执行第三语音处理；
从用户接收包括对应于所述定制命令的至少一个待执行动作的第四音频输入数据；
致使对所述第四音频输入数据执行第四语音处理；
配置所述定制命令以便调用所述第一动作和第二动作。
6.一种方法，其包括：
接收可用于进行控制的二级装置的指示；
与所述二级装置进行通信以便获得与所述二级装置相关的信息；
致使从用户输出与控制所述二级装置相关的音频查询请求信息；
从所述用户接收包括所述所请求的信息的音频输入数据；以及
致使对所述音频输入数据执行第一语音处理，其中所述第一语音处理的输出包括识别数据。
7.如权利要求6所述的方法，其进一步包括与所述二级装置进行通信以使得所述二级装置能够连接到网络。
8.如权利要求6所述的方法，其中所述所请求的信息包括用于所述二级装置的口头标识符的至少一部分。
9.如权利要求6所述的方法，其进一步包括致使输出提示所述用户说出至少部分地基于所述音频输入数据的短语的附加音频查询，以便测试所述识别数据。
10.如权利要求6所述的方法，其中请求来自所述用户的与控制所述二级装置相关的信息的所述音频查询包括关于所述二级装置的信息。
11.如权利要求10所述的方法，其中关于所述二级装置的所述信息指示所述二级装置的类型。
12.如权利要求11所述的方法，其进一步包括：
接收包括用于所述二级装置的命令的第二音频输入数据；
致使对所述第二音频输入数据执行第二语音处理，其中所述第二语音处理使用所述识别数据；并且
至少部分地基于所述第二语音处理的输出，与所述二级装置进行通信以致使所述二级装置执行所述命令的至少一部分。
13.如权利要求6所述的方法，其进一步包括：
从用户接收包括与创建定制命令相关的信息的第三音频输入数据；
致使对所述第三音频输入数据执行第三语音处理，所述第二所识别命令与配置特定命令以便调用多个二级装置的功能有关；
从用户接收包括对应于所述定制命令的至少一个待执行动作的第四音频输入数据；
致使对所述第四音频输入数据执行第四语音处理；以及
配置所述定制命令以便调用所述第一动作和第二动作。
14.如权利要求6所述的方法，其中使用至少一个协议来控制所述二级装置，所述至少一个协议是Zigbee、Z-wave、Insteon、蓝牙、Wi-Fi或Wi-Fi Direct中的至少一个。
CN201480073899.8A 2013-12-02 2014-11-25 二级装置的自然语言控制 Active CN106062734B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/094,270 US9698999B2 (en) 2013-12-02 2013-12-02 Natural language control of secondary device
US14/094,270 2013-12-02
PCT/US2014/067495 WO2015084659A1 (en) 2013-12-02 2014-11-25 Natural language control of secondary device

Publications (2)

Publication Number Publication Date
CN106062734A true CN106062734A (zh) 2016-10-26
CN106062734B CN106062734B (zh) 2019-09-13

Family

ID=53265832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480073899.8A Active CN106062734B (zh) 2013-12-02 2014-11-25 二级装置的自然语言控制

Country Status (4)

Country Link
US (1) US9698999B2 (zh)
EP (1) EP3077921B1 (zh)
CN (1) CN106062734B (zh)
WO (1) WO2015084659A1 (zh)

Cited By (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107749297A (zh) * 2017-10-25 2018-03-02 深圳市愚公科技有限公司 一种语音控制智能硬件的方法
CN107895574A (zh) * 2016-10-03 2018-04-10 谷歌公司 基于装置拓扑结构来处理语音命令
CN109474658A (zh) * 2017-09-07 2019-03-15 三星电子株式会社 用外部设备支持任务运行的电子设备、服务器和记录介质
CN109754795A (zh) * 2017-11-08 2019-05-14 哈曼国际工业有限公司 接近感知语音代理
CN110021300A (zh) * 2017-05-16 2019-07-16 苹果公司 数字助理服务的远场延伸
CN110574105A (zh) * 2018-03-07 2019-12-13 谷歌有限责任公司 用于基于语音发起定制装置动作的系统和方法
CN110945455A (zh) * 2017-07-21 2020-03-31 三星电子株式会社 处理用户话语以用于控制外部电子装置的电子装置及其控制方法
US10720160B2 (en) 2018-06-01 2020-07-21 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10748546B2 (en) 2017-05-16 2020-08-18 Apple Inc. Digital assistant services based on device capabilities
US10878809B2 (en) 2014-05-30 2020-12-29 Apple Inc. Multi-command single utterance input method
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
CN113836507A (zh) * 2017-04-07 2021-12-24 谷歌有限责任公司 用于言语设备控制的多用户虚拟助手
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US11269678B2 (en) 2012-05-15 2022-03-08 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11656884B2 (en) 2017-01-09 2023-05-23 Apple Inc. Application integration with a digital assistant
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11853647B2 (en) 2015-12-23 2023-12-26 Apple Inc. Proactive assistance based on dialog communication between devices
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback

Families Citing this family (273)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD822716S1 (en) 2016-05-13 2018-07-10 Google Llc Voice interface device
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
CN104704797B (zh) 2012-08-10 2018-08-10 纽昂斯通讯公司 用于电子设备的虚拟代理通信
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US9659298B2 (en) * 2012-12-11 2017-05-23 Nuance Communications, Inc. Systems and methods for informing virtual agent recommendation
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
CN110442699A (zh) 2013-06-09 2019-11-12 苹果公司 操作数字助理的方法、计算机可读介质、电子设备和系统
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US10534623B2 (en) 2013-12-16 2020-01-14 Nuance Communications, Inc. Systems and methods for providing a virtual assistant
CN105706395B (zh) * 2014-01-06 2020-01-14 三星电子株式会社 控制设备及其控制方法
US9620124B2 (en) * 2014-02-28 2017-04-11 Comcast Cable Communications, Llc Voice enabled screen reader
US9916839B1 (en) * 2014-03-27 2018-03-13 Amazon Technologies, Inc. Shared audio functionality based on device grouping
US10983487B2 (en) 2014-04-29 2021-04-20 Cox Communications, Inc. Systems and methods for autonomous adaptation of an automation control service
US10154321B2 (en) * 2014-05-26 2018-12-11 Agt International Gmbh System and method for registering sensors used in monitoring-systems
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
CN105334997A (zh) * 2014-08-12 2016-02-17 扬智科技股份有限公司 智能输入装置及其设定方法与控制方法
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
USRE49437E1 (en) 2014-09-30 2023-02-28 Apple Inc. Audio driver and power supply unit architecture
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
CN111405418B (zh) 2014-09-30 2022-11-04 苹果公司 具有减小的由来自表面的反射导致的音频染色的扬声器
US9811312B2 (en) 2014-12-22 2017-11-07 Intel Corporation Connected device voice command support
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10031722B1 (en) * 2015-03-17 2018-07-24 Amazon Technologies, Inc. Grouping devices for voice control
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US20170032783A1 (en) * 2015-04-01 2017-02-02 Elwha Llc Hierarchical Networked Command Recognition
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
WO2016185809A1 (ja) * 2015-05-19 2016-11-24 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10655951B1 (en) 2015-06-25 2020-05-19 Amazon Technologies, Inc. Determining relative positions of user devices
US10365620B1 (en) 2015-06-30 2019-07-30 Amazon Technologies, Inc. Interoperability of secondary-device hubs
US10339958B2 (en) * 2015-09-09 2019-07-02 Arris Enterprises Llc In-home legacy device onboarding and privacy enhanced monitoring
US11126525B2 (en) * 2015-09-09 2021-09-21 Arris Enterprises Llc In-home legacy device onboarding and privacy enhanced monitoring
KR102417682B1 (ko) * 2015-09-09 2022-07-07 삼성전자주식회사 음성 인식을 이용한 닉네임 관리 장치 및 방법
US9875081B2 (en) 2015-09-21 2018-01-23 Amazon Technologies, Inc. Device selection for providing a response
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US10379808B1 (en) * 2015-09-29 2019-08-13 Amazon Technologies, Inc. Audio associating of computing devices
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US9653075B1 (en) * 2015-11-06 2017-05-16 Google Inc. Voice commands across devices
CN106814639A (zh) * 2015-11-27 2017-06-09 富泰华工业（深圳）有限公司 语音控制系统及方法
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10026401B1 (en) 2015-12-28 2018-07-17 Amazon Technologies, Inc. Naming devices via voice commands
US10127906B1 (en) 2015-12-28 2018-11-13 Amazon Technologies, Inc. Naming devices via voice commands
US10185544B1 (en) 2015-12-28 2019-01-22 Amazon Technologies, Inc. Naming devices via voice commands
JP2017123564A (ja) * 2016-01-07 2017-07-13 ソニー株式会社 制御装置、表示装置、方法及びプログラム
US9912977B2 (en) * 2016-02-04 2018-03-06 The Directv Group, Inc. Method and system for controlling a user receiving device using voice commands
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10142754B2 (en) 2016-02-22 2018-11-27 Sonos, Inc. Sensor on moving component of transducer
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US10097919B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Music service selection
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10229687B2 (en) * 2016-03-10 2019-03-12 Microsoft Technology Licensing, Llc Scalable endpoint-dependent natural language understanding
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
KR20230140611A (ko) 2016-04-01 2023-10-06 인텔 코포레이션 대화를 통한 디바이스 식별 기법
US9911417B2 (en) * 2016-04-01 2018-03-06 Tai-An Lu Internet of things system with voice-controlled functions and method for processing information of the same
US10332516B2 (en) 2016-05-10 2019-06-25 Google Llc Media transfer among media output devices
EP3455747B1 (en) * 2016-05-13 2021-07-28 Google LLC Voice-controlled closed caption display
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
US10091545B1 (en) * 2016-06-27 2018-10-02 Amazon Technologies, Inc. Methods and systems for detecting audio output of associated device
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
JP6701016B2 (ja) * 2016-07-15 2020-05-27 エヌ・ティ・ティ・コムウェア株式会社 機器制御装置、機器制御システム、機器制御方法、及びプログラム
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US20180039478A1 (en) * 2016-08-02 2018-02-08 Google Inc. Voice interaction services
US9693164B1 (en) 2016-08-05 2017-06-27 Sonos, Inc. Determining direction of networked microphone device relative to audio playback device
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US10404847B1 (en) * 2016-09-02 2019-09-03 Amnon Unger Apparatus, method, and computer readable medium for communicating between a user and a remote smartphone
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
KR102481881B1 (ko) * 2016-09-07 2022-12-27 삼성전자주식회사 외부 디바이스를 제어하는 서버 및 그 방법
US9794720B1 (en) 2016-09-22 2017-10-17 Sonos, Inc. Acoustic position measurement
US10911863B2 (en) 2016-09-23 2021-02-02 Apple Inc. Illuminated user interface architecture
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US11410646B1 (en) * 2016-09-29 2022-08-09 Amazon Technologies, Inc. Processing complex utterances for natural language understanding
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
WO2018066942A1 (en) * 2016-10-03 2018-04-12 Samsung Electronics Co., Ltd. Electronic device and method for controlling the same
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
TWI586051B (zh) * 2016-10-26 2017-06-01 勝德國際研發股份有限公司 掛吊式插座裝置
US10127908B1 (en) 2016-11-11 2018-11-13 Amazon Technologies, Inc. Connected accessory for a voice-controlled device
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10726835B2 (en) * 2016-12-23 2020-07-28 Amazon Technologies, Inc. Voice activated modular controller
US10580405B1 (en) * 2016-12-27 2020-03-03 Amazon Technologies, Inc. Voice control of remote device
US10916243B2 (en) * 2016-12-27 2021-02-09 Amazon Technologies, Inc. Messaging from a shared device
US10593328B1 (en) * 2016-12-27 2020-03-17 Amazon Technologies, Inc. Voice control of remote device
US10050835B2 (en) 2017-01-15 2018-08-14 Essential Products, Inc. Management of network devices based on characteristics
US20180211151A1 (en) * 2017-01-26 2018-07-26 Essential Products, Inc. Intent driven solutions in connected environments
CN106878787B (zh) * 2017-03-08 2020-02-14 深圳创维－Rgb电子有限公司 电视影院模式实现方法及装置
US10074371B1 (en) * 2017-03-14 2018-09-11 Amazon Technologies, Inc. Voice control of remote device by disabling wakeword detection
US11231943B2 (en) * 2017-03-24 2022-01-25 Google Llc Smart setup of assistant services
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
KR101925034B1 (ko) * 2017-03-28 2018-12-04 엘지전자 주식회사 스마트 컨트롤링 디바이스 및 그 제어 방법
US10789948B1 (en) * 2017-03-29 2020-09-29 Amazon Technologies, Inc. Accessory for a voice controlled device for output of supplementary content
JP2018167339A (ja) * 2017-03-29 2018-11-01 富士通株式会社 発話制御プログラム、情報処理装置及び発話制御方法
US10355931B2 (en) * 2017-04-17 2019-07-16 Essential Products, Inc. Troubleshooting voice-enabled home setup
US10057125B1 (en) * 2017-04-17 2018-08-21 Essential Products, Inc. Voice-enabled home setup
US10176807B2 (en) * 2017-04-17 2019-01-08 Essential Products, Inc. Voice setup instructions
US10353480B2 (en) * 2017-04-17 2019-07-16 Essential Products, Inc. Connecting assistant device to devices
KR20180118461A (ko) * 2017-04-21 2018-10-31 엘지전자 주식회사 음성 인식 장치 및 음성 인식 방법
EP3616048A4 (en) * 2017-04-25 2020-12-02 Hewlett-Packard Development Company, L.P. INTERACTION OF AUTOMATIC LEARNING CONTROLS
USD864466S1 (en) 2017-05-05 2019-10-22 Hubbell Incorporated Lighting fixture
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10366692B1 (en) * 2017-05-15 2019-07-30 Amazon Technologies, Inc. Accessory for a voice-controlled device
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
CN107146616B (zh) * 2017-06-13 2020-05-08 Oppo广东移动通信有限公司 设备控制方法及相关产品
US10334702B1 (en) * 2017-06-26 2019-06-25 Amazon Technologies, Inc. Communication interface for front panel and power module
USD880045S1 (en) 2017-06-29 2020-03-31 General Electric Company Light fixture
US10504511B2 (en) * 2017-07-24 2019-12-10 Midea Group Co., Ltd. Customizable wake-up voice commands
EP3435643A1 (en) * 2017-07-29 2019-01-30 Advanced Digital Broadcast S.A. A system and method for control of an appliance by voice
EP3435642A1 (en) * 2017-07-29 2019-01-30 Advanced Digital Broadcast S.A. A system and method for remote control of appliances by voice
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10482904B1 (en) 2017-08-15 2019-11-19 Amazon Technologies, Inc. Context driven device arbitration
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
CN111108755B (zh) * 2017-09-14 2022-04-01 株式会社索思未来 电子设备控制系统、声音输出装置、以及方法
US11093554B2 (en) 2017-09-15 2021-08-17 Kohler Co. Feedback for water consuming appliance
US11314215B2 (en) 2017-09-15 2022-04-26 Kohler Co. Apparatus controlling bathroom appliance lighting based on user identity
US11099540B2 (en) 2017-09-15 2021-08-24 Kohler Co. User identity in household appliances
US10887125B2 (en) * 2017-09-15 2021-01-05 Kohler Co. Bathroom speaker
US11200027B2 (en) 2017-09-19 2021-12-14 Google Llc Virtual assistant configured to automatically customize groups of actions
US10515637B1 (en) * 2017-09-19 2019-12-24 Amazon Technologies, Inc. Dynamic speech processing
US10531157B1 (en) 2017-09-21 2020-01-07 Amazon Technologies, Inc. Presentation and management of audio and visual content across devices
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
GB2567067B (en) * 2017-09-29 2020-02-26 Google Llc Processing voice commands based on device topology
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
CN107610704A (zh) * 2017-09-29 2018-01-19 珠海市领创智能物联网研究院有限公司 一种用于智能家居的语音识别系统
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
KR102421255B1 (ko) * 2017-10-17 2022-07-18 삼성전자주식회사 음성 신호를 제어하기 위한 전자 장치 및 방법
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
WO2019126290A1 (en) 2017-12-20 2019-06-27 Hubbell Incorporated Gesture control for in-wall device
WO2019126284A1 (en) 2017-12-20 2019-06-27 Hubbell Incorporated Voice responsive in-wall device
USD927433S1 (en) 2018-01-05 2021-08-10 Hubbell Incorporated Front panel of in-wall fan controller with indicator component
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
CN111630230B (zh) * 2018-01-17 2023-01-24 As 美国股份有限公司 语音控制的水龙头
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US11343614B2 (en) 2018-01-31 2022-05-24 Sonos, Inc. Device designation of playback and network microphone device arrangements
KR20190102509A (ko) * 2018-02-26 2019-09-04 삼성전자주식회사 음성 명령을 수행하는 방법 및 시스템
KR102580837B1 (ko) * 2018-03-02 2023-09-21 삼성전자 주식회사 사용자에 대응하는 사용 패턴 정보에 기반하여 외부 전자 장치를 제어 하기 위한 전자 장치 및 방법
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
CN110322876A (zh) * 2018-03-30 2019-10-11 中华映管股份有限公司 语音应用系统及其方法
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
US11373645B1 (en) * 2018-06-18 2022-06-28 Amazon Technologies, Inc. Updating personalized data on a speech interface device
US11348586B2 (en) * 2018-06-21 2022-05-31 Dell Products L.P. Systems and methods for extending and enhancing voice assistant and/or telecommunication software functions to a remote endpoint device
KR102582332B1 (ko) * 2018-06-27 2023-09-25 삼성전자주식회사 전자 장치, 이의 모바일 장치 제어 방법 및 컴퓨터 판독가능 기록 매체
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11087754B2 (en) 2018-09-27 2021-08-10 Coretronic Corporation Intelligent voice system and method for controlling projector by using the intelligent voice system
US11100926B2 (en) * 2018-09-27 2021-08-24 Coretronic Corporation Intelligent voice system and method for controlling projector by using the intelligent voice system
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
CN116737900A (zh) 2018-10-15 2023-09-12 阿里巴巴集团控股有限公司 人机交互处理系统及其方法、存储介质、电子设备
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
CN110797015B (zh) * 2018-12-17 2020-09-29 北京嘀嘀无限科技发展有限公司 语音唤醒方法、装置、电子设备及存储介质
RU2744063C1 (ru) * 2018-12-18 2021-03-02 Общество С Ограниченной Ответственностью "Яндекс" Способ и система определения говорящего пользователя управляемого голосом устройства
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US20200209934A1 (en) * 2018-12-28 2020-07-02 Dongguan Evn Electronics Co., Ltd. Internet-of-things-based computer on/off control expansion device and computer on/off control system
KR20200085143A (ko) * 2019-01-04 2020-07-14 삼성전자주식회사 외부 장치를 등록하는 대화형 제어 시스템 및 방법
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
CN111508483B (zh) * 2019-01-31 2023-04-18 北京小米智能科技有限公司 设备控制方法及装置
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11172001B1 (en) 2019-03-26 2021-11-09 Amazon Technologies, Inc. Announcement in a communications session
US11133004B1 (en) * 2019-03-27 2021-09-28 Amazon Technologies, Inc. Accessory for an audio output device
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
WO2020226617A1 (en) 2019-05-06 2020-11-12 Google Llc Invoking functions of agents via digital assistant applications using address templates
US11056114B2 (en) * 2019-05-30 2021-07-06 International Business Machines Corporation Voice response interfacing with multiple smart devices of different types
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
USD947137S1 (en) 2019-10-22 2022-03-29 Hubbell Incorporated Front panel of in-wall fan controller with indicator component
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
WO2021112639A1 (en) * 2019-12-05 2021-06-10 Samsung Electronics Co., Ltd. Electronic device performing operation based on user speech in multi device environment and operating method thereof
US11417328B1 (en) * 2019-12-09 2022-08-16 Amazon Technologies, Inc. Autonomously motile device with speech commands
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11682395B2 (en) * 2020-01-16 2023-06-20 Arris Enterprises Llc Electronic device, system, method and program for externally adding voice control functionality to another device
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
CN111933112B (zh) * 2020-09-21 2021-01-01 北京声智科技有限公司 唤醒语音确定方法、装置、设备及介质
US11763809B1 (en) * 2020-12-07 2023-09-19 Amazon Technologies, Inc. Access to multiple virtual assistants
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
US11798549B2 (en) * 2021-03-19 2023-10-24 Mitel Networks Corporation Generating action items during a conferencing session
US11889569B2 (en) 2021-08-09 2024-01-30 International Business Machines Corporation Device pairing using wireless communication based on voice command context
CN113707129B (zh) * 2021-08-30 2023-06-23 四川虹美智能科技有限公司 物联网设备中语音模块的自动化测试方法
US20230359973A1 (en) * 2022-05-04 2023-11-09 Kyndryl, Inc. Ad-hoc application development

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1385783A (zh) * 2001-05-14 2002-12-18 索尼电脑娱乐美国公司 在游戏环境中以菜单驱动的语音来控制角色的系统和方法
CN1655233A (zh) * 2004-01-29 2005-08-17 哈曼贝克自动系统股份有限公司 实现语音对话的方法及其语音对话系统
CN1983389A (zh) * 2005-12-14 2007-06-20 台达电子工业股份有限公司 语音控制方法
US20070298885A1 (en) * 2006-06-12 2007-12-27 Tran Bao Q Mesh network game controller with voice transmission, search capability, motion detection, and/or position detection
US20080059188A1 (en) * 1999-10-19 2008-03-06 Sony Corporation Natural Language Interface Control System
CN101188108A (zh) * 2007-12-17 2008-05-28 凯立德欣技术（深圳）有限公司 一种语音控制方法、装置及移动终端
US20110060587A1 (en) * 2007-03-07 2011-03-10 Phillips Michael S Command and control utilizing ancillary information in a mobile voice-to-speech application
US20120232886A1 (en) * 2011-03-07 2012-09-13 Accenture Global Services Limited Computer network, computer-implemented method, computer program product, client, and server for natural language-based control of a digital network
CN102800312A (zh) * 2011-05-24 2012-11-28 鸿富锦精密工业（深圳）有限公司 语音控制系统及方法
US8340975B1 (en) * 2011-10-04 2012-12-25 Theodore Alfred Rosenberger Interactive speech recognition device and system for hands-free building control
CN202815555U (zh) * 2012-09-15 2013-03-20 上海澜腾智能科技有限公司 电器控制模块自动识别系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6199073B1 (en) * 1997-04-21 2001-03-06 Ricoh Company, Ltd. Automatic archiving of documents during their transfer between a peripheral device and a processing device
US20020193989A1 (en) * 1999-05-21 2002-12-19 Michael Geilhufe Method and apparatus for identifying voice controlled devices
US20030093281A1 (en) * 1999-05-21 2003-05-15 Michael Geilhufe Method and apparatus for machine to machine communication using speech
US6397186B1 (en) * 1999-12-22 2002-05-28 Ambush Interactive, Inc. Hands-free, voice-operated remote control transmitter
US7194526B2 (en) * 2000-09-22 2007-03-20 Kyocera Corporation Network device management method, and network devices
US7099825B1 (en) * 2002-03-15 2006-08-29 Sprint Communications Company L.P. User mobility in a voice recognition environment
US7720683B1 (en) 2003-06-13 2010-05-18 Sensory, Inc. Method and apparatus of specifying and performing speech recognition operations
US7418392B1 (en) 2003-09-25 2008-08-26 Sensory, Inc. System and method for controlling the operation of a device by voice commands
US8478860B2 (en) * 2006-03-14 2013-07-02 Strong Bear L.L.C. Device detection system for monitoring use of removable media in networked computers
DE102006029755A1 (de) 2006-06-27 2008-01-03 Deutsche Telekom Ag Verfahren und Vorrichtung zur natürlichsprachlichen Erkennung einer Sprachäußerung
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8131549B2 (en) * 2007-05-24 2012-03-06 Microsoft Corporation Personality-based device
US20090192785A1 (en) 2008-01-29 2009-07-30 Anna Carpenter Cavender System and method for optimizing natural language descriptions of objects in a virtual environment
US8099289B2 (en) * 2008-02-13 2012-01-17 Sensory, Inc. Voice interface and search for electronic devices including bluetooth headsets and remote systems
US8078472B2 (en) * 2008-04-25 2011-12-13 Sony Corporation Voice-activated remote control service
US8335854B2 (en) * 2009-07-21 2012-12-18 Empire Technology Development Llc Performing services on behalf of low-power devices
CN106293580B (zh) * 2011-02-10 2020-06-09 三星电子株式会社 便携式设备及其控制方法
US20120223885A1 (en) 2011-03-02 2012-09-06 Microsoft Corporation Immersive display experience
CN102902253B (zh) * 2012-10-09 2015-07-15 鸿富锦精密工业（深圳）有限公司 具有语音控制功能的智能开关及智能控制系统
US20150052231A1 (en) * 2013-08-19 2015-02-19 Qualcomm Incorporated Providing custom names for headless devices
US9712380B2 (en) * 2013-08-30 2017-07-18 Shimadzu Corporation Analytical device control system
CN105934791B (zh) * 2014-01-31 2019-11-22 惠普发展公司，有限责任合伙企业 语音输入命令

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080059188A1 (en) * 1999-10-19 2008-03-06 Sony Corporation Natural Language Interface Control System
CN1385783A (zh) * 2001-05-14 2002-12-18 索尼电脑娱乐美国公司 在游戏环境中以菜单驱动的语音来控制角色的系统和方法
CN1655233A (zh) * 2004-01-29 2005-08-17 哈曼贝克自动系统股份有限公司 实现语音对话的方法及其语音对话系统
CN1983389A (zh) * 2005-12-14 2007-06-20 台达电子工业股份有限公司 语音控制方法
US20070298885A1 (en) * 2006-06-12 2007-12-27 Tran Bao Q Mesh network game controller with voice transmission, search capability, motion detection, and/or position detection
US20110060587A1 (en) * 2007-03-07 2011-03-10 Phillips Michael S Command and control utilizing ancillary information in a mobile voice-to-speech application
CN101188108A (zh) * 2007-12-17 2008-05-28 凯立德欣技术（深圳）有限公司 一种语音控制方法、装置及移动终端
US20120232886A1 (en) * 2011-03-07 2012-09-13 Accenture Global Services Limited Computer network, computer-implemented method, computer program product, client, and server for natural language-based control of a digital network
CN102800312A (zh) * 2011-05-24 2012-11-28 鸿富锦精密工业（深圳）有限公司 语音控制系统及方法
US8340975B1 (en) * 2011-10-04 2012-12-25 Theodore Alfred Rosenberger Interactive speech recognition device and system for hands-free building control
CN202815555U (zh) * 2012-09-15 2013-03-20 上海澜腾智能科技有限公司 电器控制模块自动识别系统

Cited By (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11900936B2 (en) 2008-10-02 2024-02-13 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11269678B2 (en) 2012-05-15 2022-03-08 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11636869B2 (en) 2013-02-07 2023-04-25 Apple Inc. Voice trigger for a digital assistant
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US11557310B2 (en) 2013-02-07 2023-01-17 Apple Inc. Voice trigger for a digital assistant
US11862186B2 (en) 2013-02-07 2024-01-02 Apple Inc. Voice trigger for a digital assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US11810562B2 (en) 2014-05-30 2023-11-07 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10878809B2 (en) 2014-05-30 2020-12-29 Apple Inc. Multi-command single utterance input method
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US11699448B2 (en) 2014-05-30 2023-07-11 Apple Inc. Intelligent assistant for home automation
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US11838579B2 (en) 2014-06-30 2023-12-05 Apple Inc. Intelligent automated assistant for TV user interactions
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback
US11954405B2 (en) 2015-09-08 2024-04-09 Apple Inc. Zero latency digital assistant
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11550542B2 (en) 2015-09-08 2023-01-10 Apple Inc. Zero latency digital assistant
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11809886B2 (en) 2015-11-06 2023-11-07 Apple Inc. Intelligent automated assistant in a messaging environment
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US11853647B2 (en) 2015-12-23 2023-12-26 Apple Inc. Proactive assistance based on dialog communication between devices
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11657820B2 (en) 2016-06-10 2023-05-23 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US11749275B2 (en) 2016-06-11 2023-09-05 Apple Inc. Application integration with a digital assistant
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
CN107895574A (zh) * 2016-10-03 2018-04-10 谷歌公司 基于装置拓扑结构来处理语音命令
US11656884B2 (en) 2017-01-09 2023-05-23 Apple Inc. Application integration with a digital assistant
CN113836507A (zh) * 2017-04-07 2021-12-24 谷歌有限责任公司 用于言语设备控制的多用户虚拟助手
CN113836507B (zh) * 2017-04-07 2024-04-02 谷歌有限责任公司 用于言语设备控制的多用户虚拟助手
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11862151B2 (en) 2017-05-12 2024-01-02 Apple Inc. Low-latency intelligent automated assistant
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11538469B2 (en) 2017-05-12 2022-12-27 Apple Inc. Low-latency intelligent automated assistant
CN110021300B (zh) * 2017-05-16 2021-07-06 苹果公司 数字助理服务的远场延伸
US10748546B2 (en) 2017-05-16 2020-08-18 Apple Inc. Digital assistant services based on device capabilities
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11217255B2 (en) 2017-05-16 2022-01-04 Apple Inc. Far-field extension for digital assistant services
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
CN110021300A (zh) * 2017-05-16 2019-07-16 苹果公司 数字助理服务的远场延伸
CN110945455B (zh) * 2017-07-21 2024-03-19 三星电子株式会社 处理用户话语以用于控制外部电子装置的电子装置及其控制方法
CN110945455A (zh) * 2017-07-21 2020-03-31 三星电子株式会社 处理用户话语以用于控制外部电子装置的电子装置及其控制方法
US11765234B2 (en) 2017-09-07 2023-09-19 Samsung Electronics Co., Ltd. Electronic device, server and recording medium supporting task execution using external device
CN109474658B (zh) * 2017-09-07 2023-04-07 三星电子株式会社 用外部设备支持任务运行的电子设备、服务器和记录介质
CN109474658A (zh) * 2017-09-07 2019-03-15 三星电子株式会社 用外部设备支持任务运行的电子设备、服务器和记录介质
CN107749297A (zh) * 2017-10-25 2018-03-02 深圳市愚公科技有限公司 一种语音控制智能硬件的方法
CN109754795A (zh) * 2017-11-08 2019-05-14 哈曼国际工业有限公司 接近感知语音代理
CN110574105B (zh) * 2018-03-07 2024-01-23 谷歌有限责任公司 用于基于语音发起定制装置动作的系统和方法
CN110574105A (zh) * 2018-03-07 2019-12-13 谷歌有限责任公司 用于基于语音发起定制装置动作的系统和方法
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US11907436B2 (en) 2018-05-07 2024-02-20 Apple Inc. Raise to speak
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11487364B2 (en) 2018-05-07 2022-11-01 Apple Inc. Raise to speak
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11630525B2 (en) 2018-06-01 2023-04-18 Apple Inc. Attention aware virtual assistant dismissal
US11360577B2 (en) 2018-06-01 2022-06-14 Apple Inc. Attention aware virtual assistant dismissal
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US10720160B2 (en) 2018-06-01 2020-07-21 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11360739B2 (en) 2019-05-31 2022-06-14 Apple Inc. User activity shortcut suggestions
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11924254B2 (en) 2020-05-11 2024-03-05 Apple Inc. Digital assistant hardware abstraction
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11750962B2 (en) 2020-07-21 2023-09-05 Apple Inc. User identification using headphones
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones

Also Published As

Publication number Publication date
US9698999B2 (en) 2017-07-04
US20150154976A1 (en) 2015-06-04
EP3077921B1 (en) 2018-04-25
EP3077921A1 (en) 2016-10-12
CN106062734B (zh) 2019-09-13
WO2015084659A1 (en) 2015-06-11
EP3077921A4 (en) 2017-04-12

Similar Documents

Publication Publication Date Title
CN106062734B (zh) 二级装置的自然语言控制
US11942085B1 (en) Naming devices via voice commands
CN209400877U (zh) 电子设备、语音接口设备以及电子系统
US10930277B2 (en) Configuration of voice controlled assistant
US20210104232A1 (en) Electronic device for processing user utterance and method of operating same
CN103959374B (zh) 用于控制装置的声控配置的系统和方法
CN112840345B (zh) 用于提供跨电器的便携式自然语言处理接口的系统和方法
US10127906B1 (en) Naming devices via voice commands
CN112789561A (zh) 用于为电器定制便携式自然语言处理接口的系统和方法
KR20200012933A (ko) 어시스턴트 애플리케이션을 위한 음성 사용자 인터페이스 단축
JP6752870B2 (ja) 複数のウェイクワードを利用して人工知能機器を制御する方法およびシステム
CN108022590A (zh) 语音接口设备处的聚焦会话
CN109287140A (zh) 用于家庭媒体控制的方法和界面
CN108268235A (zh) 用于语音接口设备的对话感知主动通知
JP2018190413A (ja) ユーザ発話の表現法を把握して機器の動作やコンテンツ提供範囲を調整し提供するユーザ命令処理方法およびシステム
US10185544B1 (en) Naming devices via voice commands
CN107003999A (zh) 对用户的在先自然语言输入的后续响应的系统和方法
US20140358986A1 (en) Cloud Database-Based Interactive Control System, Method and Accessory Devices
CN108605374A (zh) 显示设备及设置显示设备的工作信道的方法
KR102421824B1 (ko) 외부 장치를 이용하여 음성 기반 서비스를 제공하기 위한 전자 장치, 외부 장치 및 그의 동작 방법
TW201328249A (zh) 遙控系統及遙控方法
CN109474658A (zh) 用外部设备支持任务运行的电子设备、服务器和记录介质
JP2019120935A (ja) 人工知能機器で複数のウェイクワードを利用したサービス提供方法およびそのシステム
CN107371052A (zh) 设备控制方法及装置
Sivapriyan et al. Comparative Analysis of Smart Voice Assistants

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant