CN107643921A - 用于激活语音助手的设备、方法和计算机可读存储介质 - Google Patents

用于激活语音助手的设备、方法和计算机可读存储介质 Download PDF

Info

Publication number
CN107643921A
CN107643921A CN201710542114.2A CN201710542114A CN107643921A CN 107643921 A CN107643921 A CN 107643921A CN 201710542114 A CN201710542114 A CN 201710542114A CN 107643921 A CN107643921 A CN 107643921A
Authority
CN
China
Prior art keywords
user
microphone
response
equipment
close
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710542114.2A
Other languages
English (en)
Other versions
CN107643921B (zh
Inventor
钱明
王松
约翰·韦尔东·尼克尔森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo PC International Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Publication of CN107643921A publication Critical patent/CN107643921A/zh
Application granted granted Critical
Publication of CN107643921B publication Critical patent/CN107643921B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)

Abstract

公开了用于激活语音助手的设备、方法和计算机可读存储介质。在一方面，一种用于激活语音助手的设备包括：处理器、能够由处理器访问的麦克风以及能够由处理器访问的存储器。存储器承载有指令，所述指令能够由处理器执行以：在没有接收到用于进入语音识别模式的用户命令的情况下，响应于基于接近信号的有关用户接近设备的确定自动地激活麦克风。

Description

用于激活语音助手的设备、方法和计算机可读存储介质
技术领域
本申请总体上涉及用于激活语音助手的设备、方法和计算机可读存储介质，尤其涉及基于用户接近和用户环境中至少之一来激活语音助手的设备、方法和计算机可读存储介质。
背景技术
如本文中认识到的，计算设备中的现有语音助手模块在很大程度上消耗能量，这是因为用作语音助手的触发器的麦克风始终开启。对于固定的插电源的设备而言，电力不是操作关注点，但是对于移动设备而言，电力则是操作关注点。出于这个原因，移动设备语音助手模块需要按下按钮来使麦克风/模块通电。另一方面，使语音助手始终为命令输入做好准备而无需按下按钮会比较方便。
发明内容
在一方面，一种用于激活语音助手的设备包括：处理器、能够由处理器访问的麦克风以及能够由处理器访问的存储器。存储器承载有指令，所述指令能够由处理器执行以：在没有接收到用于进入语音识别模式的用户命令的情况下，响应于基于接近信号的有关用户接近设备的确定自动地激活麦克风。
在示例中，所述指令能够被执行以：在没有接收到用于进入语音识别模式的用户命令的情况下，响应于基于接近信号的有关用户接近设备的确定自动地激活设备的语音助手模块(VAM)。
在一些示例性实现方式中，所述指令还能够被执行以：在没有接收到用于进入语音识别模式的用户命令的情况下，响应于基于接近信号的有关用户接近设备的确定以及有关用户环境测试被满足的确定自动地激活麦克风。在一些实施方式中，所述指令能够被执行以：在没有接收到用于进入语音识别模式的用户命令的情况下，响应于基于接近信号的有关用户接近设备的确定以及有关用户环境测试未被满足的确定自动地将麦克风去激活和/或保持麦克风去激活。类似地，所述指令能够被执行以：在没有接收到用于进入语音识别模式的用户命令的情况下，响应于基于接近信号的有关用户未接近设备的确定以及有关用户环境测试被满足的确定自动地将麦克风去激活和/或保持麦克风去激活。
环境测试可以包括用户是否在睡觉。环境测试可以需要考虑至少两个输入参数。
在另一方面，一种不是暂态信号的计算机可读存储介质(CRSM)包括有指令，所述指令能够由处理器执行以：不是通过说出的关键词或按下按钮而是通过以下来激活与语音助手模块(VAM)相关联的至少一个麦克风：响应于来自接近传感器的指示用户靠近麦克风的信号和/或响应于有关用户环境满足环境测试的确定。
在另一方面，一种用于激活语音助手的方法包括：在设备的显示器上呈现利于与设备相关联的麦克风的自动激活和去激活的至少一个用户界面(UI)。该方法包括：响应于对UI的第一输入，基于用户与设备的接近自动地激活和去激活麦克风。该方法还包括：响应于对UI的第二输入，基于用户环境自动地激活和去激活麦克风；以及响应于对UI的第一输入和第二输入，基于用户与设备的接近并且基于用户环境自动地激活和去激活麦克风。
参照附图可以最好地理解本原理的关于它们的结构和操作的细节，在附图中，类似的附图标记指代类似的部件。
附图说明
图1是根据本原理的示例性系统的框图；
图2是根据本原理的设备的网络的示例性框图；
图3是可以由图1或图2中描述的任何适当设备实现的示例性计算机化设备的框图；
图4是根据本原理的示例性总体算法的流程图；以及
图5是用于实现本原理的示例性用户界面(UI)的屏幕截图。
具体实施方式
本公开内容涉及延长设备的电池寿命，同时通过机器学习和/或对用户的存在的检测来激活/去激活麦克风/助手功能来保持语音助手的“始终开启”的体验。如本文所理解的，存在传感器可以准确地检测用户距设备的距离，并且典型的移动设备每天收集与用户有关的许多类型的数据，并且将数据存储在设备和云中。所述数据可以包括：触摸事件、电池电量、例如全球定位卫星(GPS)上传所指示的地理位置、联系信息、短消息服务(SMS)活动、日程表事件、闹铃、附加传感器如健身和活动追踪器等。与本地传感器检测结合的机器学习算法可以确定一个人的日程安排和习惯。由于每个用户具有不同的日程安排和生活方式，因此基于用户的日常和当前发生的事情，设备可以智能地决定特定用户何时将可能使用语音助手，并且在什么情境下用户将不使用或不能使用设备/助手，从而相应地激活和去激活麦克风和语音模块。
关于本文中论述的任何计算机系统，系统可以包括通过网络连接的服务器部件和客户端部件，使得可以在客户端部件与服务器部件之间交换数据。客户端部件可以包括一个或更多个计算设备，所述计算设备包括电视机(例如，智能TV、可接入因特网的TV)、计算机如台式机、膝上型计算机和平板计算机、所谓的可转换设备(例如，具有平板计算机配置和膝上型计算机配置)以及包括智能电话的其他移动设备。作为非限制性示例，这些客户端设备可以采用来自Apple、Google或Microsoft的操作系统。可以使用Unix操作系统或类似的如Linux操作系统。这些操作系统可以执行一个或更多个浏览器如由Microsoft或Google或Mozilla制作的浏览器或者可以访问网页的另外的浏览器程序以及由因特网服务器通过诸如因特网、本地内部网或虚拟私人网络的网络而托管的应用程序。
如本文中使用的，指令是指用于处理系统中的信息的计算机实现的步骤。指令可以在软件、固件或硬件中实现；因此，有时根据其功能来阐述说明性的部件、块、模块、电路以及步骤。
处理器可以是任何常规的通用单芯片处理器或多芯片处理器，所述单芯片处理器或多芯片处理器可以借助于各种线如地址线、数据线和控制线以及寄存器和移位寄存器来执行逻辑。此外，除了通用处理器之外，本文中描述的任何逻辑块、模块以及电路可以在以下中实现或执行或者通过以下来实现或执行：数字信号处理器(DSP)、现场可编程门阵列(FPGA)或其他可编程逻辑器件，如被设计成执行本文中描述的功能的专用集成电路(ASIC)、分立门或晶体管逻辑、分立硬件部件或者前述的任意组合。处理器可以由控制器或状态机或计算设备的组合来实现。
通过本文的流程图和/或用户接口的方式所描述的任何软件和/或应用程序可以包括各种子例程、程序等。要理解，被宣布为由例如模块执行的逻辑可以被重新分配给其他软件模块和/或一起被组合在单个模块中和/或在可共享库中可用。
当以软件实现逻辑时，可以用适当的语言例如但不限于C#或C++来编写逻辑，并且可以将逻辑存储在计算机可读存储介质(例如，其不是暂态信号)上，或者通过所述计算机可读存储介质来传输逻辑，所述计算机可读存储介质例如：随机存取储存器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)或其他光盘存储器如数字多功能盘(DVD)、磁盘存储器或包括可移除拇指驱动器的其他磁存储设备等。
在示例中，处理器可以通过它的输入线从数据存储器如计算机可读存储介质访问信息，和/或处理器可以通过激活用于发送和接收数据的无线收发器从因特网服务器无线地访问信息。通常由天线与处理器的寄存器之间的电路系统执行以下：当被接收时，数据从模拟信号转换成数字信号；以及当被发送时，数据从数字信号转换成模拟信号。然后，处理器通过其移位寄存器处理数据以在输出线上输出计算的数据，用于计算的数据在设备上的呈现。
可以以任何适当的组合将包括在一个实施方式中的部件用在其他实施方式中。例如，可以将本文中描述的和/或附图中示出的各种部件中的任何部件进行组合、互换或者将其从其他实施方式中去除。
可以在摘要、说明书和/或权利要求书中使用术语“电路”或“电路系统”。如本领域已知的，术语“电路系统”包括例如从分立逻辑电路到最高级别的电路集成如VLSI的所有级别的可用集成，并且包括被编程以执行实施方式的功能的可编程逻辑部件，以及利用指令被编程以执行那些功能的通用处理器或专用处理器。
现在具体参照图1，示出了信息处理系统和/或计算机系统100的示例性框图。注意，在一些实施方式中，系统100可以是台式计算机系统如由北卡罗来纳州莫里斯维尔的联想(美国)公司销售的或系列个人计算机中之一，或工作站计算机如由北卡罗来纳州莫里斯维尔的联想(美国)公司销售的然而，根据本文的描述明显的是，根据本原理的客户端设备、服务器或其他机器可以包括其他特征或系统100的仅一些特征。另外，系统100可以是例如诸如的游戏控制台，和/或系统100可以包括无线电话、笔记本计算机和/或其他便携式计算机化设备。
如图1所示，系统100可以包括所谓的芯片组110。芯片组是指被设计成一起工作的一组集成电路或芯片。芯片组通常作为单个产品销售(例如，考虑以等品牌销售的芯片组)。
在图1的示例中，芯片组110具有可以在一定程度上取决于品牌或制造商而变化的特定架构。芯片组110的架构包括核与存储器控制组120和I/O控制器集线器150，核与存储器控制组120和I/O控制器集线器150经由例如直接管理接口或直接媒体接口(DMI)142或链路控制器144交换信息(例如，数据、信号、命令等)。在图1的示例中，DMI 142是芯片至芯片接口(有时被称为“北桥”与“南桥”之间的链路)。
核与存储器控制组120包括经由前端总线(FSB)124交换信息的一个或更多个处理器122(例如，单核或多核等)和存储器控制器集线器126。如本文所述，核与存储器控制组120的各种部件可以集成在单个处理器晶粒上，例如，以制造代替常规“北桥”型架构的芯片。
存储器控制器集线器126与存储器140接口。例如，存储器控制器集线器126可以提供对DDR SDRAM存储器(例如，DDR、DDR2、DDR3等)的支持。通常，存储器140是一种随机存取存储器(RAM)。它通常被称为“系统存储器”。
存储器控制器集线器126还可以包括低压差分信号接口(LVDS)132。LVDS 132可以是用于支持显示设备192(例如，CRT、平板、投影仪、触控显示器等)的所谓的LVDS显示接口(LDI)。块138包括可以经由LVDS接口132支持的技术的一些示例(例如，串行数字视频、HDMI/DVI、显示端口)。存储器控制器集线器126还包括例如用于支持独立显卡136的一个或更多个PCI-express接口(PCI-E)134。使用PCI-E接口的独立显卡已经成为加速图形端口(AGP)的替选方法。例如，存储器控制器集线器126可以包括用于外部基于PCI-E的显卡(包括例如多个GPU中的一个)的16通道(x16)PCI-E端口。示例性系统可以包括用于支持显卡的AGP或PCI-E。
在使用I/O集线器控制器150的示例中，I/O集线器控制器150可以包括各种接口。图1的示例包括SATA接口151、一个或更多个PCI-E接口152(可选地一个或更多个传统PCI接口)、一个或更多个USB接口153、LAN接口154(更一般地，用于在处理器122的指导下通过至少一个网络如因特网、WAN、LAN等通信的网络接口)、通用I/O接口(GPIO)155、低引脚数(LPC)接口170、电力管理接口161、时钟发生器接口162、音频接口163(例如，供扬声器194输出音频)、总体操作成本(TCO)接口164、系统管理总线接口(例如，多主机串行计算机总线接口)165以及串行外围闪存存储器/控制器接口(SPI闪存)166，在图1的示例中，SPI闪存166包括BIOS 168和启动代码190。关于网络连接，I/O集线器控制器150可以包括与PCI-E接口端口复用的集成的千兆以太网控制器线路。其他网络特征可以独立于PCI-E接口而操作。
I/O控制器集线器150的接口可以提供与各种设备、网络等的通信。例如，在使用的情况下，SATA接口151用于在一个或更多个驱动器180如HDD、SDD或前述的组合上读取、写入或读取并写入信息，但是在任何情况下，驱动器180被理解为例如不是暂态信号的有形计算机可读存储介质。I/O集线器控制器150还可以包括用于支持一个或更多个驱动器180的高级主机控制器接口(AHCI)。PCI-E接口152允许与设备、网络等的无线连接182。USB接口153用于输入设备184如键盘(KB)、鼠标以及各种其他设备(例如，相机、电话、存储器、媒体播放器等)。
在图1的示例中，LPC接口170提供用于一个或更多个ASIC 171、可信平台模块(TPM)172、超级I/O 173、固件集线器174、BIOS支持175以及各种类型的存储器176如ROM177、闪存178以及非易失性RAM(NVRAM)179使用。关于TPM 172，该模块可以是可以用于认证软件和硬件设备的芯片的形式。例如，TPM可以能够执行平台认证，并且可以用于验证寻求访问的系统是期望的系统。
系统100在上电时可以被配置成执行SPI闪存166中存储的用于BIOS 168的启动代码190，之后，在一个或更多个操作系统和应用软件(例如，存储在系统存储器140中)的控制下处理数据。操作系统可以存储在各种位置中的任何位置中，并且例如根据BIOS 168的指令而被访问。
另外，虽然为了清楚起见未示出，但是在一些实施方式中，系统100可以包括陀螺仪、加速度计、音频接收器/麦克风以及相机。陀螺仪感测和/或测量系统100的取向并且向处理器122提供与此有关的输入。加速度计感测系统100的加速度和/或移动并且向处理器122提供与此有关的输入。音频接收器/麦克风基于例如经由用户向麦克风提供可听输入而检测到的音频从麦克风向处理器122提供输入。相机采集一个或更多个图像并且向处理器122提供与此有关的输入。相机可以是热成像相机、诸如网络摄像头的数字相机、三维(3D)相机和/或另外集成到系统100中并且能够由处理器122控制以采集图片/图像和/或视频的相机。更进一步地，为了清楚起见也未示出，系统100可以包括GPS收发器，GPS收发器被配置成从至少一个卫星接收地理位置信息并且将信息提供给处理器122。然而，要理解，根据本原理可以使用除GPS接收器之外的另一合适的位置接收器以确定系统100的位置。
要理解，示例性客户端设备或其他机器/计算机可以包括与图1的系统100示出的特征相比更少或更多的特征。在任何情况下，至少基于前述内容要理解，系统100被配置成采取本原理。
现在转到图2，示例性设备被示出为根据本原理通过网络200诸如因特网进行通信。要理解，参照图2描述的每个设备可以包括上述系统100的至少一些特征、部件和/或元件。
图2示出了笔记本计算机和/或可转换计算机202、台式计算机204、可穿戴设备206诸如智能手表、智能电视(TV)208、智能电话210、平板计算机212以及服务器214如可以提供设备202至212能够访问的云存储的因特网服务器。要理解，设备202至214被配置成通过网络200彼此通信以采取本原理。
参照图3，示出了可以由上述任何适当设备实现的示例计算机化设备300的框图。因此，设备300视情况包括上述部件中的一个或更多个部件，包括一个或更多个处理器和一个或更多个计算机存储介质。
设备300可以通过有线和/或无线链路与耳机302通信，耳机302可以包括耳机麦克风303。
设备300可以包括显示器304如触敏显示器。设备300还包括一个或更多个处理器306，一个或更多个处理器306被配置成运行一个或更多个语音助手模块(VAM)308，以将来自一个或更多个麦克风310或耳机麦克风303的数据发送给VAM 308以对麦克风数据执行语音识别并且通过一个或更多个音频扬声器312返回以编程方式定义的响应。VAM 308可以是由固态存储器或基于盘的存储器存储的软件或者VAM 308可以包括专用芯片或硬件模块。
设备300还可以包括用于感测用户与设备的接近的一个或更多个接近传感器314。接近传感器可以由红外检测器实现，红外检测器的信号由设备的处理器分析以确定人是否接近(例如，在IR信号强度阈值内)设备，或者传感器314可以是相机，处理器采用面部识别来分析来自相机的图像，以确定是否识别到特定人员，并且基于面部图像的大小来确定该人员是否在设备的接近阈值内。
接近传感器314可以是检测人(例如，在指定、预定义和/或识别的距离内)的体热的温度和/或热传感器，然后可以由设备的处理器分析热，以基于检测的热是否高于阈值来确定人是否接近，其中，高于阈值的热产生用户是接近的的确定。
图4示出了总体逻辑。在菱形框400处开始，在没有从麦克风303/310接收到用于进入语音助手模式的触发命令的情况下，并且在没有通过用户按下设备300上的选择器而接收到语音助手进入模式命令的情况下，逻辑使用来自接近传感器314的信号来确定用户是否接近设备300。如果不是，则逻辑可以在状态402处结束。
可替选地或除了确定接近之外，逻辑可以移动至菱形框404以确定环境VAM激活是否启用，如果未启用，则逻辑可以基于在判定菱形框400处接近测试被满足而移动至框406，以激活麦克风303、310和VAM 308中的一者或两者。当仅使用环境(context)而不使用接近(proximity)来决定是否激活麦克风和VAM时，菱形框404处的否定测试将导致将麦克风和VAM去激活。
继续图4所示的示例，当应用接近和环境二者来决定是否激活麦克风和相关联的VAM中的一者或两者时，菱形框404处的肯定测试使逻辑移动至菱形框408。在菱形框408处，确定是否满足用于激活麦克风/VAM的环境。如果没有满足，则过程在状态410处结束以将麦克风去激活及将VAM断电或者保持麦克风去激活及保持VAM断电，否则逻辑在框412处激活麦克风和相关联的VAM。
作为基于环境的麦克风/VAM激活的示例，认识到：人们在睡觉时将不使用VAM，但是仍然可能接近设备，当逻辑推断人睡着时，菱形框408处的测试为否定，麦克风/VAM被断电以节省电力。睡眠时间可以通过机器学习算法从通过设备和传感器数据分析的组合(可以在分析期间使用的一些数据包括日程表事件、GPS位置、生物传感器数据等)而得到的数据推断出来。麦克风和助手功能可以在预测的睡眠时间期间是去激活的，并且在预测的醒来时间期间被重新激活以显著地保存电力。对用户的习惯和日程安排的学习可以不引人注意地进行，并且在学习阶段期间，设备可能不尝试将麦克风/助手功能去激活，直到可以达到一定置信水平。注意，出于故障安全的目的，可以维持主动触发方法如按下按钮。
更加具体地，假设设备的GPS位置数据在超过典型最小睡眠时间段例如四小时的阈值的时间段内保持不变。假设观察到GPS位置数据的这样的恒定不变在时间上发生于午夜与上午4点之间达天数的阈值百分比，例如十天中的九天。本逻辑可以推断，在午夜与上午4点的时间之间只要GPS位置数据保持不变，则菱形框408处的测试应当为否定，在午夜之前或上午4点之后，菱形框408处的测试变为肯定，或者，在GPS数据指示人的位置改变大于阈值距离例如五十码时，确保测试不会仅因为该人暂时醒来喝水而错误地变为肯定。
代替使用GPS数据或除了使用GPS数据之外，可以使用的其他启发式机器学习测试包括：从用户穿戴的生物传感器接收数据并且基于数据来推断用户是活跃的还是睡着的。例如，如果心率传感器指示低脉冲达超过阈值的时间段，则可以推断用户在睡觉或处于其他情况的不活泼，因此可能不需要语音助手，在这种情况下，菱形框408处的测试为否定。还可以使用来自睡眠传感器的数据来确定用户是否在睡觉。
作为另一示例，可以基于在设备处接收到的用户输入例如用于启动应用的输入、用于发送文本消息的输入或用于照亮显示器以确定当前时间的输入来推断用户处于与睡眠相反的活跃状态。
还可以使用在设备处提供闹铃的时间来推断用户是睡着的，例如，如果由设备识别的当前时间处于每晚用户通常入睡的第一时间(例如，随时间学习的)与提供闹铃的第二时间之间。
作为又一示例，某些日程表条目可以导致菱形框408处的否定测试，并且某些其他日程表条目可以导致肯定的测试。前者的示例包括“会面”和“锻炼”，而后者的示例包括“工作”和“学习”。
在任何情况下，菱形框408处的判定可以仅依赖于单个参数或者依赖于在协作中分析的两个或更多个参数。语音模块可以由麦克风加上相关VAM软件/VAM专用芯片或其他硬件模块来实现。
图5示出了示例性用户界面(UI)500，用户界面500可以在设备300的显示器304上呈现以使得用户能够定义用于麦克风/VAM的自动激活和去激活标准。如502处指示的，可以提示用户通过操纵“是”选择器504来选择在菱形框400处应用接近测试，或者通过“否”选择器506拒绝在菱形框400处应用接近测试。类似地，如508处指示的，可以提示用户通过操纵“是”选择器510来选择在菱形框404处应用环境测试，或者通过“否”选择器512拒绝在菱形框404处应用环境测试。
在结束之前，要理解，虽然用于采取本原理的软件应用程序可以与诸如系统100的设备一起出售，但是本原理适用于从服务器通过网络如因特网将这样的应用程序下载到设备的情况。此外，本原理适用于这样的应用程序被包括在被出售和/或提供的计算机可读存储介质上的情况，其中，计算机可读存储介质不是暂态信号和/或信号本身。
要理解，虽然已经参照一些示例性实施方式描述了本原理，但是这些实施方式不意在是限制性的，并且可以使用各种替选布置来实现本文中要求保护的主题。可以以任何适当的组合将包括在一个实施方式中的部件用在其他实施方式中。例如，可以将本文中描述的和/或附图中示出的各种部件中的任何部件进行组合、互换或者将其从其他实施方式中去除。

Claims (20)

1.一种用于激活语音助手的设备，包括：
处理器；
能够由所述处理器访问的麦克风；以及
能够由所述处理器访问的存储器，所述存储器承载有指令，所述指令能够由所述处理器执行以：
在没有接收到用于进入语音识别模式的用户命令的情况下，响应于基于接近信号的有关用户接近所述设备的确定自动地激活所述麦克风。
2.根据权利要求1所述的设备，其中，所述指令能够由所述处理器执行以：
在没有接收到用于进入语音识别模式的用户命令的情况下，响应于基于接近信号的有关用户接近所述设备的确定自动地激活所述设备的语音助手模块(VAM)。
3.根据权利要求1所述的设备，其中，所述指令能够由所述处理器执行以：
在没有接收到用于进入语音识别模式的用户命令的情况下，响应于基于接近信号的有关用户接近所述设备的确定以及有关用户环境测试被满足的确定自动地激活所述麦克风。
4.根据权利要求3所述的设备，其中，所述指令能够由所述处理器执行以：
在没有接收到用于进入语音识别模式的用户命令的情况下，响应于基于接近信号的有关用户接近所述设备的确定以及有关用户环境测试未被满足的确定执行以下中至少之一：自动地将所述麦克风去激活和保持所述麦克风去激活。
5.根据权利要求4所述的设备，其中，所述指令能够由所述处理器执行以：
在没有接收到用于进入语音识别模式的用户命令的情况下，响应于基于接近信号的有关用户未接近所述设备的确定以及有关用户环境测试被满足的确定来执行以下中至少之一：自动地将所述麦克风去激活和保持所述麦克风去激活。
6.根据权利要求3所述的设备，其中，所述环境测试包括所述用户是否在睡觉。
7.根据权利要求3所述的设备，其中，所述环境测试需要考虑至少两个输入参数。
8.一种不是暂态信号的计算机可读存储介质(CRSM)，所述计算机可读存储介质包括有指令，所述指令能够由处理器执行以：
不是通过说出的关键词或按下按钮而是通过以下中至少之一来激活与语音助手模块(VAM)相关联的至少一个麦克风：响应于来自接近传感器的指示用户靠近所述麦克风的信号和响应于有关用户的环境满足环境测试的确定。
9.根据权利要求8所述的计算机可读存储介质，其中，所述指令能够由所述处理器执行以：
响应于来自所述接近传感器的指示用户靠近所述麦克风的信号来激活所述至少一个麦克风。
10.根据权利要求8所述的计算机可读存储介质，其中，所述指令能够由所述处理器执行以：
响应于有关用户的环境满足环境测试的确定来激活所述至少一个麦克风。
11.根据权利要求8所述的计算机可读存储介质，其中，所述指令能够由所述处理器执行以：
分别随着激活和去激活所述麦克风而激活和去激活所述语音助手模块。
12.根据权利要求8所述的计算机可读存储介质，其中，所述指令能够由所述处理器执行以：
响应于基于接近信号的有关用户靠近所述麦克风的确定以及有关用户环境测试被满足的确定自动地激活所述麦克风。
13.根据权利要求12所述的计算机可读存储介质，其中，所述指令能够由所述处理器执行以：
响应于基于接近信号的有关用户靠近所述麦克风的确定以及有关用户环境测试未被满足的确定执行以下中至少之一：自动地将所述麦克风去激活和保持所述麦克风去激活。
14.根据权利要求13所述的计算机可读存储介质，其中，所述指令能够由所述处理器执行以：
在没有接收到用于进入语音识别模式的用户命令的情况下，响应于基于接近信号的有关用户未靠近所述麦克风的确定以及有关用户环境测试被满足的确定执行以下中至少之一：自动地将所述麦克风去激活和保持所述麦克风去激活。
15.根据权利要求10所述的计算机可读存储介质，其中，所述环境测试包括所述用户是否在睡觉。
16.根据权利要求10所述的计算机可读存储介质，其中，所述环境测试需要考虑至少两个输入参数。
17.一种用于激活语音助手的方法，包括：
在设备的显示器上呈现利于与所述设备相关联的麦克风的自动激活和去激活的至少一个用户界面(UI)；
响应于对所述用户界面的第一输入，基于用户与所述设备的接近自动地激活和去激活所述麦克风；
响应于对所述用户界面的第二输入，基于用户环境自动地激活和去激活所述麦克风；以及
响应于对所述用户界面的第一输入和第二输入，基于用户与所述设备的接近并且基于用户环境自动地激活和去激活所述麦克风。
18.根据权利要求17所述的方法，包括：
响应于对所述用户界面的第一输入和第二输入，响应于用户接近满足接近测试并且响应于用户环境满足环境测试而自动地激活所述麦克风；
响应于对所述用户界面的第一输入和第二输入，响应于用户接近满足接近测试并且响应于用户环境不满足环境测试而执行以下中至少之一：自动地将所述麦克风去激活和保持所述麦克风断电；以及
响应于对所述用户界面的第一输入和第二输入，响应于用户接近不满足接近测试并且响应于用户环境满足环境测试而执行以下中至少之一：自动地将所述麦克风去激活和保持所述麦克风断电。
19.根据权利要求17所述的方法，包括：
分别随着激活和去激活所述麦克风而激活和去激活语音助手模块(VAM)。
20.根据权利要求18所述的方法，其中，所述环境测试需要考虑至少两个输入参数。
CN201710542114.2A 2016-07-22 2017-07-05 用于激活语音助手的设备、方法和计算机可读存储介质 Active CN107643921B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/217,426 2016-07-22
US15/217,426 US10621992B2 (en) 2016-07-22 2016-07-22 Activating voice assistant based on at least one of user proximity and context

Publications (2)

Publication Number Publication Date
CN107643921A true CN107643921A (zh) 2018-01-30
CN107643921B CN107643921B (zh) 2021-04-27

Family

ID=60988123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710542114.2A Active CN107643921B (zh) 2016-07-22 2017-07-05 用于激活语音助手的设备、方法和计算机可读存储介质

Country Status (2)

Country Link
US (1) US10621992B2 (zh)
CN (1) CN107643921B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108231079A (zh) * 2018-02-01 2018-06-29 北京百度网讯科技有限公司 用于控制电子设备的方法、装置、设备以及计算机可读存储介质
CN108540672A (zh) * 2018-06-22 2018-09-14 西安易朴通讯技术有限公司 吹气触发方法及终端设备
CN112334872A (zh) * 2018-06-22 2021-02-05 三星电子株式会社 文本输入设备及其方法
CN113301247A (zh) * 2020-02-05 2021-08-24 佳能株式会社 一种语音输入设备、其控制方法以及存储介质
CN114556805A (zh) * 2019-12-09 2022-05-27 谷歌有限责任公司 用于由语音助手处理的语音命令的中继设备、语音助手和无线网络

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9633547B2 (en) 2014-05-20 2017-04-25 Ooma, Inc. Security monitoring and control
US10553098B2 (en) 2014-05-20 2020-02-04 Ooma, Inc. Appliance device integration with alarm systems
US11330100B2 (en) 2014-07-09 2022-05-10 Ooma, Inc. Server based intelligent personal assistant services
US10009286B2 (en) 2015-05-08 2018-06-26 Ooma, Inc. Communications hub
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10097919B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Music service selection
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US11545146B2 (en) * 2016-11-10 2023-01-03 Cerence Operating Company Techniques for language independent wake-up word detection
KR20180082033A (ko) * 2017-01-09 2018-07-18 삼성전자주식회사 음성을 인식하는 전자 장치
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
US10339932B2 (en) * 2017-05-26 2019-07-02 Lenovo (Singapore) Pte. Ltd. Audio input activation based on thermal data detection
US10599377B2 (en) 2017-07-11 2020-03-24 Roku, Inc. Controlling visual indicators in an audio responsive electronic device, and capturing and providing audio using an API, by native and non-native computing devices and services
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10455322B2 (en) * 2017-08-18 2019-10-22 Roku, Inc. Remote control with presence sensor
US11062702B2 (en) 2017-08-28 2021-07-13 Roku, Inc. Media system with multiple digital assistants
US11062710B2 (en) 2017-08-28 2021-07-13 Roku, Inc. Local and cloud speech recognition
US10777197B2 (en) 2017-08-28 2020-09-15 Roku, Inc. Audio responsive device with play/stop and tell me something buttons
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
US11343614B2 (en) 2018-01-31 2022-05-24 Sonos, Inc. Device designation of playback and network microphone device arrangements
US11145298B2 (en) 2018-02-13 2021-10-12 Roku, Inc. Trigger word detection with multiple digital assistants
JP7065314B2 (ja) * 2018-02-14 2022-05-12 パナソニックＩｐマネジメント株式会社 制御システム、及び、制御方法
WO2019175083A1 (en) * 2018-03-13 2019-09-19 Sony Corporation Agent device and method for operating the same
US10755694B2 (en) 2018-03-15 2020-08-25 Motorola Mobility Llc Electronic device with voice-synthesis and acoustic watermark capabilities
CN108538298B (zh) * 2018-04-04 2021-05-04 科大讯飞股份有限公司 语音唤醒方法及装置
US11158310B2 (en) * 2018-05-01 2021-10-26 Dell Products, L.P. Intelligent assistance for handling usage modes
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
JP7055721B2 (ja) * 2018-08-27 2022-04-18 京セラ株式会社 音声認識機能を有する電子機器、その電子機器の制御方法およびプログラム
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) * 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
JP7202853B2 (ja) * 2018-11-08 2023-01-12 シャープ株式会社 冷蔵庫
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US11151993B2 (en) * 2018-12-28 2021-10-19 Baidu Usa Llc Activating voice commands of a smart display device based on a vision-based mechanism
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11012780B2 (en) * 2019-05-14 2021-05-18 Bose Corporation Speaker system with customized audio experiences
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
EP4091044A1 (en) * 2020-01-17 2022-11-23 Google LLC Selectively invoking an automated assistant based on detected environmental conditions without necessitating voice-based invocation of the automated assistant
US11204649B2 (en) * 2020-01-30 2021-12-21 SA Photonics, Inc. Head-mounted display with user-operated control
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
CN112073863B (zh) * 2020-08-13 2022-06-17 广东西欧克实业有限公司 一种智能麦克风控制方法、系统及存储介质
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
TWI756966B (zh) * 2020-12-04 2022-03-01 緯創資通股份有限公司 視訊裝置與其操作方法
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7219062B2 (en) * 2002-01-30 2007-05-15 Koninklijke Philips Electronics N.V. Speech activity detection using acoustic and facial characteristics in an automatic speech recognition system
US7518631B2 (en) * 2005-06-28 2009-04-14 Microsoft Corporation Audio-visual control system
US20100009719A1 (en) * 2008-07-14 2010-01-14 Lg Electronics Inc. Mobile terminal and method for displaying menu thereof
CN102043385A (zh) * 2010-10-09 2011-05-04 浙江大学 一种基于使用者睡眠状态的家电控制装置及其控制方法
CN103024150A (zh) * 2012-11-27 2013-04-03 广东欧珀移动通信有限公司 一种唤醒语音助手的方法
US8441356B1 (en) * 2009-02-16 2013-05-14 Handhold Adaptive, LLC Methods for remote assistance of disabled persons
CN103488401A (zh) * 2013-09-30 2014-01-01 乐视致新电子科技（天津）有限公司 一种语音助手激活方法和装置
US8719039B1 (en) * 2013-12-05 2014-05-06 Google Inc. Promoting voice actions to hotwords
CN103811005A (zh) * 2012-11-13 2014-05-21 Lg电子株式会社 移动终端及其控制方法
US20140337036A1 (en) * 2013-05-09 2014-11-13 Dsp Group Ltd. Low power activation of a voice activated device
US20140379341A1 (en) * 2013-06-20 2014-12-25 Samsung Electronics Co., Ltd. Mobile terminal and method for detecting a gesture to control functions
US20150100322A1 (en) * 2013-10-07 2015-04-09 Samsung Electronics Co., Ltd. Remote control apparatus for inputting user voice and method thereof
CN104850214A (zh) * 2014-02-14 2015-08-19 维沃移动通信有限公司 一种通过预测用户唤醒意图缩短移动终端唤醒时间的方法
US9276541B1 (en) * 2013-03-12 2016-03-01 Amazon Technologies, Inc. Event-based presentation and processing of content

Family Cites Families (137)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5612869A (en) 1994-01-21 1997-03-18 Innovative Enterprises International Corporation Electronic health care compliance assistance
US6616703B1 (en) 1996-10-16 2003-09-09 Sharp Kabushiki Kaisha Character input apparatus with character string extraction portion, and corresponding storage medium
US6904405B2 (en) * 1999-07-17 2005-06-07 Edwin A. Suominen Message recognition using shared language model
US20020077830A1 (en) * 2000-12-19 2002-06-20 Nokia Corporation Method for activating context sensitive speech recognition in a terminal
GB2372864B (en) * 2001-02-28 2005-09-07 Vox Generation Ltd Spoken language interface
US7334000B2 (en) 2001-07-16 2008-02-19 Aol Llc Method and apparatus for calendaring reminders
US7398209B2 (en) 2002-06-03 2008-07-08 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
CN1745392A (zh) 2002-12-10 2006-03-08 通乐宝公司 内容创建、分发、交互和监视系统
US7894177B2 (en) * 2005-12-29 2011-02-22 Apple Inc. Light activated hold switch
US20160165047A1 (en) 2003-08-01 2016-06-09 Mitel Networks Corporation Method and system of providing context aware announcements
JP2005103679A (ja) * 2003-09-29 2005-04-21 Toshiba Corp ロボット装置
US7398061B2 (en) 2004-02-26 2008-07-08 Research In Motion Limited Method and apparatus for changing the behavior of an electronic device
US9250703B2 (en) * 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US9325749B2 (en) 2007-01-31 2016-04-26 At&T Intellectual Property I, Lp Methods and apparatus to manage conference call activity with internet protocol (IP) networks
US20080224883A1 (en) 2007-03-15 2008-09-18 Motorola, Inc. Selection of mobile station alert based on social context
US8326636B2 (en) * 2008-01-16 2012-12-04 Canyon Ip Holdings Llc Using a physical phenomenon detector to control operation of a speech recognition engine
US8019606B2 (en) * 2007-06-29 2011-09-13 Microsoft Corporation Identification and selection of a software application via speech
US20090140855A1 (en) 2007-12-03 2009-06-04 Eldad Shemesh Voice operated reminder system and method thereof
US8223932B2 (en) 2008-03-15 2012-07-17 Microsoft Corporation Appending content to a telephone communication
US8958848B2 (en) 2008-04-08 2015-02-17 Lg Electronics Inc. Mobile terminal and menu control method thereof
US20130275899A1 (en) 2010-01-18 2013-10-17 Apple Inc. Application Gateway for Providing Different User Interfaces for Limited Distraction and Non-Limited Distraction Contexts
KR101513615B1 (ko) * 2008-06-12 2015-04-20 엘지전자 주식회사 이동 단말기 및 그 음성 인식 방법
US9046924B2 (en) 2009-03-04 2015-06-02 Pelmorex Canada Inc. Gesture based interaction with traffic data
JP5911796B2 (ja) * 2009-04-30 2016-04-27 サムスン エレクトロニクス カンパニー リミテッド マルチモーダル情報を用いるユーザ意図推論装置及び方法
US8583924B2 (en) * 2009-07-01 2013-11-12 Hand Held Products, Inc. Location-based feature enablement for mobile terminals
KR20110020082A (ko) * 2009-08-21 2011-03-02 엘지전자 주식회사 이동 단말기의 제어 장치 및 그 방법
US20120265535A1 (en) * 2009-09-07 2012-10-18 Donald Ray Bryant-Rich Personal voice operated reminder system
KR101605347B1 (ko) 2009-12-18 2016-03-22 삼성전자주식회사 휴대단말의 외부 출력 제어 방법 및 장치
CN110347834A (zh) * 2010-02-18 2019-10-18 株式会社尼康 信息处理装置、便携式装置以及信息处理系统
US8913004B1 (en) * 2010-03-05 2014-12-16 Amazon Technologies, Inc. Action based device control
US20110271194A1 (en) * 2010-04-29 2011-11-03 Google Inc. Voice ad interactions as ad conversions
US8600763B2 (en) * 2010-06-04 2013-12-03 Microsoft Corporation System-initiated speech interaction
US8359020B2 (en) * 2010-08-06 2013-01-22 Google Inc. Automatically monitoring for voice input based on context
US8831677B2 (en) 2010-11-17 2014-09-09 Antony-Euclid C. Villa-Real Customer-controlled instant-response anti-fraud/anti-identity theft devices (with true-personal identity verification), method and systems for secured global applications in personal/business e-banking, e-commerce, e-medical/health insurance checker, e-education/research/invention, e-disaster advisor, e-immigration, e-airport/aircraft security, e-military/e-law enforcement, with or without NFC component and system, with cellular/satellite phone/internet/multi-media functions
EP2661699B1 (en) * 2011-01-07 2017-06-28 BlackBerry Limited System and method for controlling mobile communication devices
IL210898A (en) 2011-01-27 2014-09-30 Verint Systems Ltd A system and method for selectively monitoring mobile communication terminals based on speech expressions
US20120262592A1 (en) * 2011-04-18 2012-10-18 Qualcomm Incorporated Systems and methods of saving power by adapting features of a device
US9493130B2 (en) * 2011-04-22 2016-11-15 Angel A. Penilla Methods and systems for communicating content to connected vehicle users based detected tone/mood in voice input
US20120297294A1 (en) * 2011-05-17 2012-11-22 Microsoft Corporation Network search for writing assistance
US9087048B2 (en) 2011-06-10 2015-07-21 Linkedin Corporation Method of and system for validating a fact checking system
US9318129B2 (en) * 2011-07-18 2016-04-19 At&T Intellectual Property I, Lp System and method for enhancing speech activity detection using facial feature detection
KR20130032966A (ko) * 2011-09-26 2013-04-03 엘지전자 주식회사 사용자 인터페이스 방법 및 장치
JP2013080015A (ja) * 2011-09-30 2013-05-02 Toshiba Corp 音声認識装置および音声認識方法
US9934780B2 (en) 2012-01-17 2018-04-03 GM Global Technology Operations LLC Method and system for using sound related vehicle information to enhance spoken dialogue by modifying dialogue's prompt pitch
KR101920019B1 (ko) * 2012-01-18 2018-11-19 삼성전자 주식회사 휴대단말기의 통화 서비스 장치 및 방법
US20150109191A1 (en) * 2012-02-16 2015-04-23 Google Inc. Speech Recognition
JP5731998B2 (ja) 2012-03-21 2015-06-10 株式会社東芝 対話支援装置、対話支援方法および対話支援プログラム
US9020460B2 (en) * 2012-03-23 2015-04-28 Lg Electronics Inc. Smart alarm providing terminal and alarm providing method thereof
US10068007B1 (en) 2012-03-29 2018-09-04 Open Invention Network, Llc Interface between a virtual personal assisitant and an interactive voice response system
US9354295B2 (en) * 2012-04-13 2016-05-31 Qualcomm Incorporated Systems, methods, and apparatus for estimating direction of arrival
US9423870B2 (en) * 2012-05-08 2016-08-23 Google Inc. Input determination method
KR20130140423A (ko) 2012-06-14 2013-12-24 삼성전자주식회사 디스플레이 장치, 대화형 서버 및 응답 정보 제공 방법
US9142215B2 (en) * 2012-06-15 2015-09-22 Cypress Semiconductor Corporation Power-efficient voice activation
CN104428832B (zh) * 2012-07-09 2018-06-26 Lg电子株式会社 语音识别装置及其方法
US9048963B1 (en) * 2012-07-17 2015-06-02 Intuit Inc. Conveying information using an audio signal
KR101992676B1 (ko) * 2012-07-26 2019-06-25 삼성전자주식회사 영상 인식을 이용하여 음성 인식을 하는 방법 및 장치
KR101987255B1 (ko) * 2012-08-20 2019-06-11 엘지이노텍 주식회사 음성 인식 장치 및 이의 음성 인식 방법
JP6393021B2 (ja) * 2012-08-28 2018-09-19 京セラ株式会社 電子機器、制御方法、及び制御プログラム
US20140142928A1 (en) * 2012-11-21 2014-05-22 Harman International Industries Canada Ltd. System to selectively modify audio effect parameters of vocal signals
RU2530268C2 (ru) 2012-11-28 2014-10-10 Общество с ограниченной ответственностью "Спиктуит" Способ обучения информационной диалоговой системы пользователем
US9307490B2 (en) * 2012-11-30 2016-04-05 Mediatek Inc. Method for controlling bluetooth device for power conservation
US10199051B2 (en) * 2013-02-07 2019-02-05 Apple Inc. Voice trigger for a digital assistant
US9842489B2 (en) * 2013-02-14 2017-12-12 Google Llc Waking other devices for additional data
US9256269B2 (en) * 2013-02-20 2016-02-09 Sony Computer Entertainment Inc. Speech recognition system for performing analysis to a non-tactile inputs and generating confidence scores and based on the confidence scores transitioning the system from a first power state to a second power state
US9807495B2 (en) 2013-02-25 2017-10-31 Microsoft Technology Licensing, Llc Wearable audio accessories for computing devices
US9112984B2 (en) * 2013-03-12 2015-08-18 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
US11393461B2 (en) * 2013-03-12 2022-07-19 Cerence Operating Company Methods and apparatus for detecting a voice command
US9361885B2 (en) * 2013-03-12 2016-06-07 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
KR102057795B1 (ko) * 2013-03-15 2019-12-19 애플 인크. 콘텍스트-민감성 방해 처리
US9134952B2 (en) * 2013-04-03 2015-09-15 Lg Electronics Inc. Terminal and control method thereof
KR102075117B1 (ko) * 2013-04-22 2020-02-07 삼성전자주식회사 사용자 기기 및 그 동작 방법
US20140379336A1 (en) 2013-06-20 2014-12-25 Atul Bhatnagar Ear-based wearable networking device, system, and method
KR102089444B1 (ko) * 2013-07-25 2020-03-16 삼성전자 주식회사 음성 인식 기능을 지원하는 전자 기기의 음성 입력 제어 방법 및 장치 장치
US9367806B1 (en) 2013-08-08 2016-06-14 Jasmin Cosic Systems and methods of using an artificially intelligent database management system and interfaces for mobile, embedded, and other computing devices
US20170279957A1 (en) * 2013-08-23 2017-09-28 Cellepathy Inc. Transportation-related mobile device context inferences
US9633669B2 (en) * 2013-09-03 2017-04-25 Amazon Technologies, Inc. Smart circular audio buffer
US9240182B2 (en) * 2013-09-17 2016-01-19 Qualcomm Incorporated Method and apparatus for adjusting detection threshold for activating voice assistant function
US11128275B2 (en) 2013-10-10 2021-09-21 Voyetra Turtle Beach, Inc. Method and system for a headset with integrated environment sensors
US9245527B2 (en) * 2013-10-11 2016-01-26 Apple Inc. Speech recognition wake-up of a handheld portable electronic device
TWI502487B (zh) * 2013-10-24 2015-10-01 Hooloop Corp 語音管理方法，及其相關裝置與電腦程式產品
US10430024B2 (en) 2013-11-13 2019-10-01 Microsoft Technology Licensing, Llc Media item selection using user-specific grammar
US9373321B2 (en) * 2013-12-02 2016-06-21 Cypress Semiconductor Corporation Generation of wake-up words
WO2015083411A1 (ja) * 2013-12-03 2015-06-11 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US8768712B1 (en) * 2013-12-04 2014-07-01 Google Inc. Initiating actions based on partial hotwords
US9571930B2 (en) * 2013-12-24 2017-02-14 Intel Corporation Audio data detection with a computing device
US8938394B1 (en) 2014-01-09 2015-01-20 Google Inc. Audio triggers based on context
US9589564B2 (en) * 2014-02-05 2017-03-07 Google Inc. Multiple speech locale-specific hotword classifiers for selection of a speech locale
KR102302439B1 (ko) 2014-02-21 2021-09-15 삼성전자주식회사 전자 장치
US10102848B2 (en) * 2014-02-28 2018-10-16 Google Llc Hotwords presentation framework
US9471212B2 (en) 2014-03-10 2016-10-18 Htc Corporation Reminder generating method and a mobile electronic device using the same
US9171434B2 (en) * 2014-03-12 2015-10-27 Google Inc. Selectively redirecting notifications to a wearable computing device
US9723393B2 (en) * 2014-03-28 2017-08-01 Echostar Technologies L.L.C. Methods to conserve remote batteries
US20160203700A1 (en) * 2014-03-28 2016-07-14 Echostar Technologies L.L.C. Methods and systems to make changes in home automation based on user states
US9286892B2 (en) * 2014-04-01 2016-03-15 Google Inc. Language modeling in speech recognition
CN103928025B (zh) * 2014-04-08 2017-06-27 华为技术有限公司 一种语音识别的方法及移动终端
US11120408B2 (en) 2014-05-06 2021-09-14 Microsoft Technology Licensing, Llc Scheduling conflict notification
KR102216048B1 (ko) * 2014-05-20 2021-02-15 삼성전자주식회사 음성 명령 인식 장치 및 방법
US20150347399A1 (en) 2014-05-27 2015-12-03 Microsoft Technology Licensing, Llc In-Call Translation
US9384738B2 (en) * 2014-06-24 2016-07-05 Google Inc. Dynamic threshold for speaker verification
KR102208477B1 (ko) * 2014-06-30 2021-01-27 삼성전자주식회사 마이크 운용 방법 및 이를 지원하는 전자 장치
US9257120B1 (en) * 2014-07-18 2016-02-09 Google Inc. Speaker verification using co-location information
US9263042B1 (en) * 2014-07-25 2016-02-16 Google Inc. Providing pre-computed hotword models
KR102229667B1 (ko) * 2014-09-05 2021-03-18 엘지전자 주식회사 전자 디바이스 및 이를 포함하는 시스템
US10789041B2 (en) * 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
CN105468580A (zh) 2014-09-28 2016-04-06 北京三星通信技术研究有限公司 基于关注点信息提供服务的方法和装置
US9318107B1 (en) * 2014-10-09 2016-04-19 Google Inc. Hotword detection on multiple devices
US9424841B2 (en) * 2014-10-09 2016-08-23 Google Inc. Hotword detection on multiple devices
US9814278B2 (en) 2014-10-17 2017-11-14 Avante International Technology, Inc. Protective headgear including a personnel electronic monitor device
CA2869245A1 (en) 2014-10-27 2016-04-27 MYLE Electronics Corp. Mobile thought catcher system
US9418656B2 (en) * 2014-10-29 2016-08-16 Google Inc. Multi-stage hotword detection
KR20160065503A (ko) * 2014-12-01 2016-06-09 엘지전자 주식회사 이동 단말기 및 그 제어 방법
JP6591167B2 (ja) * 2015-01-28 2019-10-16 京セラ株式会社 電子機器
US20160284363A1 (en) * 2015-03-24 2016-09-29 Intel Corporation Voice activity detection technologies, systems and methods employing the same
WO2016157658A1 (ja) * 2015-03-31 2016-10-06 ソニー株式会社 情報処理装置、制御方法、およびプログラム
US10079012B2 (en) * 2015-04-21 2018-09-18 Google Llc Customizing speech-recognition dictionaries in a smart-home environment
US9609419B2 (en) 2015-06-24 2017-03-28 Intel Corporation Contextual information while using headphones
KR20170010494A (ko) * 2015-07-20 2017-02-01 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US9842476B2 (en) 2015-09-25 2017-12-12 Immersion Corporation Programmable haptic devices and methods for modifying haptic effects to compensate for audio-haptic interference
US20170092278A1 (en) 2015-09-30 2017-03-30 Apple Inc. Speaker recognition
US20170125019A1 (en) * 2015-10-28 2017-05-04 Verizon Patent And Licensing Inc. Automatically enabling audio-to-text conversion for a user device based on detected conditions
US10019881B2 (en) 2015-11-04 2018-07-10 Streamlight, Inc. Personnel tracking and monitoring system and method employing protective gear including a personnel electronic monitor device
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
KR102558437B1 (ko) * 2015-11-27 2023-07-24 삼성전자주식회사 질의 응답 처리 방법 및 이를 지원하는 전자 장치
US10599980B2 (en) 2015-12-21 2020-03-24 Intel Corporation Technologies for cognitive cuing based on knowledge and context
US20170182283A1 (en) * 2015-12-23 2017-06-29 Rovi Guides, Inc. Methods and systems for enhancing sleep of a user of an interactive media guidance system
US20170186446A1 (en) * 2015-12-24 2017-06-29 Michal Wosk Mouth proximity detection
US9875734B2 (en) * 2016-01-05 2018-01-23 Motorola Mobility, Llc Method and apparatus for managing audio readouts
US10452816B2 (en) * 2016-02-08 2019-10-22 Catalia Health Inc. Method and system for patient engagement
US9407766B1 (en) 2016-02-19 2016-08-02 International Business Machines Corporation Automated response system providing customized prompts based on user situation
US10911860B2 (en) * 2016-03-23 2021-02-02 Intel Corporation Automated and body driven headset audio control
US9807499B2 (en) * 2016-03-30 2017-10-31 Lenovo (Singapore) Pte. Ltd. Systems and methods to identify device with which to participate in communication of audio data
US9584946B1 (en) 2016-06-10 2017-02-28 Philip Scott Lyren Audio diarization system that segments audio input
US10147423B2 (en) 2016-09-29 2018-12-04 Intel IP Corporation Context-aware query recognition for electronic devices
US10403276B2 (en) * 2017-03-17 2019-09-03 Microsoft Technology Licensing, Llc Voice enabled features based on proximity
US10121494B1 (en) 2017-03-30 2018-11-06 Amazon Technologies, Inc. User presence detection
US10339932B2 (en) * 2017-05-26 2019-07-02 Lenovo (Singapore) Pte. Ltd. Audio input activation based on thermal data detection

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7219062B2 (en) * 2002-01-30 2007-05-15 Koninklijke Philips Electronics N.V. Speech activity detection using acoustic and facial characteristics in an automatic speech recognition system
US7518631B2 (en) * 2005-06-28 2009-04-14 Microsoft Corporation Audio-visual control system
US20100009719A1 (en) * 2008-07-14 2010-01-14 Lg Electronics Inc. Mobile terminal and method for displaying menu thereof
US8441356B1 (en) * 2009-02-16 2013-05-14 Handhold Adaptive, LLC Methods for remote assistance of disabled persons
CN102043385A (zh) * 2010-10-09 2011-05-04 浙江大学 一种基于使用者睡眠状态的家电控制装置及其控制方法
CN103811005A (zh) * 2012-11-13 2014-05-21 Lg电子株式会社 移动终端及其控制方法
CN103024150A (zh) * 2012-11-27 2013-04-03 广东欧珀移动通信有限公司 一种唤醒语音助手的方法
US9276541B1 (en) * 2013-03-12 2016-03-01 Amazon Technologies, Inc. Event-based presentation and processing of content
US20140337036A1 (en) * 2013-05-09 2014-11-13 Dsp Group Ltd. Low power activation of a voice activated device
US20140379341A1 (en) * 2013-06-20 2014-12-25 Samsung Electronics Co., Ltd. Mobile terminal and method for detecting a gesture to control functions
CN103488401A (zh) * 2013-09-30 2014-01-01 乐视致新电子科技（天津）有限公司 一种语音助手激活方法和装置
US20150100322A1 (en) * 2013-10-07 2015-04-09 Samsung Electronics Co., Ltd. Remote control apparatus for inputting user voice and method thereof
US8719039B1 (en) * 2013-12-05 2014-05-06 Google Inc. Promoting voice actions to hotwords
CN104850214A (zh) * 2014-02-14 2015-08-19 维沃移动通信有限公司 一种通过预测用户唤醒意图缩短移动终端唤醒时间的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈哲: "智能家居语音控制系统的设计与实现", 《中国优秀硕士学位论文 信息科学辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108231079A (zh) * 2018-02-01 2018-06-29 北京百度网讯科技有限公司 用于控制电子设备的方法、装置、设备以及计算机可读存储介质
CN108231079B (zh) * 2018-02-01 2021-12-07 北京百度网讯科技有限公司 用于控制电子设备的方法、装置、设备以及计算机可读存储介质
CN108540672A (zh) * 2018-06-22 2018-09-14 西安易朴通讯技术有限公司 吹气触发方法及终端设备
CN112334872A (zh) * 2018-06-22 2021-02-05 三星电子株式会社 文本输入设备及其方法
CN114556805A (zh) * 2019-12-09 2022-05-27 谷歌有限责任公司 用于由语音助手处理的语音命令的中继设备、语音助手和无线网络
CN113301247A (zh) * 2020-02-05 2021-08-24 佳能株式会社 一种语音输入设备、其控制方法以及存储介质
US11600277B2 (en) 2020-02-05 2023-03-07 Canon Kabushiki Kaisha Voice input apparatus, control method thereof, and storage medium for executing processing corresponding to voice instruction
CN113301247B (zh) * 2020-02-05 2023-12-05 佳能株式会社 一种摄像设备、其控制方法以及存储介质

Also Published As

Publication number Publication date
US20180025733A1 (en) 2018-01-25
US10621992B2 (en) 2020-04-14
CN107643921B (zh) 2021-04-27

Similar Documents

Publication Publication Date Title
CN107643921A (zh) 用于激活语音助手的设备、方法和计算机可读存储介质
US10778830B2 (en) Electronic device and method for performing task using external device by electronic device
CN103890836B (zh) 用于头戴式显示器的具有电源管理的蓝牙或其他无线接口
KR102393364B1 (ko) 오디오 신호 제어 방법 및 이를 지원하는 전자장치
CN107085510A (zh) 情境性暂停用于启动语音命令输入的唤醒词
CN105589336B (zh) 多处理器设备
CN108075325B (zh) 接口设备
US10103699B2 (en) Automatically adjusting a volume of a speaker of a device based on an amplitude of voice input to the device
KR102537543B1 (ko) 지능형 전자 장치 및 그 동작 방법
US20200245928A1 (en) Method for managing weight of user and electronic device therefor
EP3276453A1 (en) Presentation of virtual reality object based on one or more conditions
TWI697655B (zh) 深度感測裝置、用於組態其之方法及機器可讀取媒體
CN107643922A (zh) 用于语音辅助的设备、方法及计算机可读存储介质
WO2019105351A1 (zh) 确定k歌分值的方法和装置
KR102548932B1 (ko) 시간 측정을 제어하기 위한 전자 장치 및 방법
KR102423065B1 (ko) 전자 장치 및 전자 장치의 제어 방법
US20190115107A1 (en) Electronic device and method for providing stress index corresponding to activity of user
KR102504308B1 (ko) 디스플레이의 밝기를 제어하는 방법, 전자 장치 및 컴퓨터 판독가능 기록매체
CN108958806A (zh) 基于情境确定用于数字助理的响应提示的系统和方法
KR102549465B1 (ko) 마이크 파라미터를 조절하는 전자 장치
US20180324703A1 (en) Systems and methods to place digital assistant in sleep mode for period of time
KR102512614B1 (ko) 오디오 개선을 지원하는 전자 장치 및 이를 위한 방법
US9807499B2 (en) Systems and methods to identify device with which to participate in communication of audio data
CN108073281A (zh) 提供内容的方法和及其电子设备
US11596764B2 (en) Electronic device and method for providing information for stress relief by same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220507

Address after: 23 / F, Lincoln building, 979 King's road, Quarry Bay, Hong Kong, China

Patentee after: Lenovo PC International Ltd.

Address before: Singapore, Singapore City

Patentee before: Lenovo (Singapore) Pte. Ltd.

TR01 Transfer of patent right