CN110192248B - 语音输入处理方法和用于支持该方法的电子设备 - Google Patents

语音输入处理方法和用于支持该方法的电子设备 Download PDF

Info

Publication number
CN110192248B
CN110192248B CN201880007265.0A CN201880007265A CN110192248B CN 110192248 B CN110192248 B CN 110192248B CN 201880007265 A CN201880007265 A CN 201880007265A CN 110192248 B CN110192248 B CN 110192248B
Authority
CN
China
Prior art keywords
electronic device
user
indication
processor
microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880007265.0A
Other languages
English (en)
Other versions
CN110192248A (zh
Inventor
朴鲁俊
李效中
朴俊炯
李太熙
金键洙
金汉执
全镛俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110192248A publication Critical patent/CN110192248A/zh
Application granted granted Critical
Publication of CN110192248B publication Critical patent/CN110192248B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3228—Monitoring task completion, e.g. by use of idle timers, stop commands or wait commands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/083—Recognition networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/32—Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221—Announcement of recognition results
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

提供了一种电子设备。所述电子设备包含：麦克风；通信电路；指示器，被配置为提供至少一个视觉指示；以及处理器，被配置为与所述麦克风、所述通信电路和所述指示器电连接；以及存储器。所述存储器存储指令，当所述指令被执行时，使所述处理器：通过所述麦克风接收第一语音输入；对所述第一语音输入执行第一语音识别；如果在所述第一语音识别的结果中包含用于唤醒所述电子设备的第一指定词，则通过所述指示器显示第一视觉指示；通过所述麦克风接收第二语音输入；对所述第二语音输入执行第二语音识别；以及如果在所述第二语音识别的结果中包含与所述第一视觉指示对应的第二指定词，则唤醒所述电子设备。

Description

语音输入处理方法和用于支持该方法的电子设备
技术领域
本公开一般地涉及语音输入处理方法和用于支持该方法的电子设备。
背景技术
近来，已经开发了电子设备以包含麦克风并提供语音接口，使得设备可以通过经由麦克风接收到的语音输入来执行诸如购买产品或操作智能家居系统之类的功能。在这样操作时，电子设备可以对接收到的语音输入执行语音识别。如果在语音识别的结果中包含用于唤醒电子设备的指定词(例如，唤醒词)，则电子设备可以唤醒其自身或与执行指定功能相关联的模块。
发明内容
技术问题
然而，如果存在通过相同的指定词(例如，“Hi，Galaxy”)唤醒并且位于预定距离(例如，大约20m)内的多个电子设备，则当用户说出该指定词时，无论用户的意图如何，都可以唤醒该多个电子设备。
如果该多个电子设备被该相同的指定词唤醒，则用户可能不必要地从多个设备接收相同的响应，或者可能从一些设备接收到关于语音识别的错误信息(例如，语音，屏幕指示等)。
技术方案
本公开各方面旨在至少解决上述问题和/或缺点，并至少提供下述优点。因此，本公开一方面提供一种语音输入处理方法，用于如果存在通过相同的指定词唤醒的多个电子设备，则唤醒该多个电子设备中的一个。还描述了用于支持该方法的电子设备。
根据本公开一方面，一种电子设备包含：麦克风，被配置为接收语音输入；通信电路，被配置为与外部电子设备通信；指示器，被配置为提供至少一个视觉指示；以及处理器，被配置为与麦克风、通信电路和指示器电连接；以及存储器，被配置为与处理器电连接。存储器存储指令，当该指令被执行时，使处理器：通过麦克风接收第一语音输入；对第一语音输入执行第一语音识别；如果在第一语音识别的结果中包含用于唤醒电子设备的第一指定词，则通过指示器显示第一视觉指示；通过麦克风接收第二语音输入；对第二语音输入执行第二语音识别；以及如果在第二语音识别的结果中包含与第一视觉指示对应的第二指定词，则唤醒电子设备。
根据本公开另一方面，电子设备的语音输入处理方法包含：通过麦克风接收第一语音输入；对第一语音输入执行第一语音识别；如果在第一语音识别的结果中包含用于唤醒电子设备的第一指定词，则通过指示器显示一指示；通过麦克风接收第二语音输入；对第二语音输入执行第二语音识别；以及如果在第二语音识别的结果中包含与所述指示对应的第二指定词，则唤醒电子设备。
有益技术效果
根据本公开中公开的实施例，当通过相同的指定词唤醒的多个电子设备显示不同的指示时，可以仅唤醒用户想要的电子设备。
根据本公开中公开的实施例，多个电子设备可以提供用于确定用户意图的方法(例如，用于选择一个电子设备以提供响应的方法)。
另外，可以提供通过本公开直接或间接确定的各种效果或优点。
从下面结合附图进行的公开了本公开各种实施例的详细描述，本公开的其它方面、优点和显着特征对于本领域技术人员来说将变得清楚。
附图说明
从以下结合附图的描述，本公开的某些实施例的以上和其它方面、特征和优点将更为清楚，在附图中：
图1是示出根据实施例的处理语音输入的电子设备的框图。
图2是示出根据实施例的处理语音输入的系统的图。
图3是示出根据实施例的用于提供指示的方法的图。
图4是示出根据实施例的处理语音输入的电子设备的操作方法的流程图。
图5是示出根据实施例的处理语音输入的电子设备的另一操作方法的流程图。
图6是示出根据实施例的用于确定指示的方法的图。
图7是示出根据实施例的用于确定指示的另一方法的图。
图8是示出根据实施例的用于确定指示的电子设备的操作方法的流程图。
图9是示出根据实施例的用于在电子设备处显示通过外部电子设备确定的指示的方法的流程图。
图10是示出根据实施例的用于基于接近传感器确定是否唤醒电子设备的方法的图。
图11是示出根据实施例的用于基于接近传感器确定是否唤醒电子设备的系统的信号序列图。
图12是示出根据实施例的用于通过调整语音输入的接收灵敏度来确定是否唤醒电子设备的方法的图。
图13是示出根据实施例的用于调整语音输入的接收灵敏度的电子设备的操作方法的流程图。
图14是示出根据实施例的用于基于使用历史信息来确定是否唤醒电子设备的方法的图。
图15是示出根据实施例的用于基于使用历史信息来确定是否唤醒电子设备的电子设备的操作方法的流程图。
图16是示出根据实施例的用于基于可执行功能确定是否唤醒电子设备的方法的图。
图17是示出根据实施例的用于基于可执行功能来确定是否唤醒电子设备的方法的流程图。
图18是示出根据实施例的网络环境1800中的电子设备1801的框图。
图19是示出根据一个实施例的电子设备1901的框图。
图20是示出根据实施例的程序模块2010的框图。
贯穿附图，应该注意，相同的参考标号用于描绘相同或相似的元件、特征和结构。
具体实施方式
在下文中，参考附图公开了本公开的各种实施例。然而，本公开不旨在受本公开的各种实施例的限制。相反，本公开旨在覆盖所有修改、等同和/或替代，只要它们落入所附权利要求及其等同的范围内。
在以下描述和权利要求中使用的术语和词语不限于它们的词典含义，而是仅由发明人使用以使得能够清楚和一致地理解本公开。因此，对于本领域的技术人员来说清楚的是，提供对本公开各种实施例的以下描述仅出于说明目的，而不是出于限制由所附权利要求及其等同限定的本公开的目的。
应当理解，除非上下文另有明确指示，否则单数形式“一”、“一个”和“该”包含复数指代。因此，例如，对“一个组件表面”的引用包含对一个或多个这样的表面的引用。
本文使用的术语“包含”、“包括”、“具有”或“可包含”或“可包括”和“可具有”指示所公开的功能、操作或元素的存在，但不排除其它功能、操作或元素。
例如，表述“A或B”或“A和/或B中的至少一个”可以指示A和B、A或B。例如，表述“A或B”或“A和/或B中的至少一个”可以指示(1)至少一个A、(2)至少一个B、或(3)至少一个A和至少一个B。
本文使用的诸如“第一”、“第二”、“第一个”、“第二个”等术语可以指代对本公开各种实施例的各种不同元素的修饰，但是不意图限制这些元件。例如，“第一用户设备”和“第二用户设备”可指示不同用户而不管顺序或重要性。例如，第一组件可被称为第二组件，反之亦然，而不会脱离本公开的范围。
在本公开各种实施例中，意图当一个组件(例如，第一组件)被称为“可操作地或通信地与…耦接/耦接到”或“连接到”另一组件(例如，第二组件)时，该组件可以直接连接到该另一组件或通过其它组件(例如，第三组件)连接。在本公开各种实施例中，意图当一个组件(例如，第一组件)被称为“直接连接到”或“直接访问”另一组件(例如，第二组件)时，在该组件(例如，第一组件)与该另一组件(例如，第二组件)之间不存在其它组件(例如，第三组件)。
例如，在本公开各种实施例中使用的表述“被配置为”根据情况可以与“适合于”、“具有…的能力”、“被设计为”、“被适配为”、“使得”或“能够”可互换地使用。术语“被配置为”可能不必然表示在硬件方面“被专门设计为”。相反，在一些情况下，表述“设备被配置为”可以指示该设备和另一设备或部件“能够”。例如，表述“被配置为执行A、B和C的处理器”可以指示用于执行对应操作的专用处理器(例如，嵌入式处理器)或用于通过执行在存储设备中存储的至少一个软件程序来执行对应操作的通用处理器(例如，中央处理单元(CPU)或应用处理器(AP))。
在本公开各种实施例中使用的术语用于描述本公开的某些实施例，但是不意图限制其它实施例的范围。本文使用的所有术语可以具有本领域技术人员通常理解的相同含义。在任何情况下，甚至在本说明书中明确限定的术语也不期望被解释为排除本公开的实施例。
根据本公开各种实施例的电子设备可以是智能手机、平板个人计算机(PC)、移动电话机、视频电话机、电子书阅读器、台式PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组(MPEG-1或MPEG-2)音频层3(MP3)播放器、移动医疗设备、相机、可穿戴设备等。可穿戴设备可以是附件型设备(例如，手表、戒指、手镯、脚镯、项链、眼镜、隐形眼镜、头戴式设备(HMD))、纺织品或服装集成型设备(例如电子服装)、身体附着型设备(例如，皮肤垫或纹身)、或生物可植入型设备(例如，可植入电路)。
在另一实施例中，电子设备可以是家用电器。智能家电可以是电视机(TV)、数字视频/多功能光盘(DVD)播放器、音频、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、电视(TV)盒(例如、Samsung HomeSyncTM、Apple TVTM或Google TVTM)、游戏控制台(例如、XboxTM或PlayStationTM)、电子词典、电子钥匙、便携式摄像机、电子相框等。
在另一实施例中，电子设备可以是各种医疗设备(例如，各种便携式医疗测量设备(例如，血糖测量设备、心率测量设备、血压测量设备、体温测量设备等)、磁共振血管造影(MRA)设备、磁共振成像(MRI)设备、计算机断层摄影(CT)设备、扫描仪、超声波设备等)、导航设备、全球导航卫星系统(GNSS)、事件数据记录器(EDR)、飞行数据记录器(FDR)、车辆信息娱乐设备、船舶电子设备(例如，导航系统、陀螺罗盘等)、航空电子设备、安全设备、车辆的头部单元、工业或家庭机器人、自动柜员机(ATM)、商店的销售点(POS)设备、或物联网(IoT)设备(例如，灯泡、各种传感器、电表或煤气表、洒水器、火警、恒温器、路灯、烤面包机、健身器材、热水箱、加热器、锅炉等)。
在又另一实施例中，电子设备可以是家具或建筑物/结构的一部分、电子板、电子签名接收设备、投影仪或测量仪器(例如，水表、电表、燃气表、波表等)中的至少一种。电子设备可以是上述设备的一个或多个组合。根据本公开一些各种实施例的电子设备可以是柔性设备。根据本公开实施例的电子设备不限于上述设备，并且可随着新技术的发展而包含新的电子设备。
在下文中，将参考附图更详细地描述根据本公开的各种实施例的电子设备。本文使用的术语“用户”可以指使用电子设备的人或可以指使用电子设备的设备(例如，人工智能电子设备)。
图1是示出根据实施例的处理语音输入的电子设备的框图。
电子设备100可对通过麦克风120接收到的语音输入执行语音识别。如果在语音识别的结果中包含用于唤醒电子设备100的第一指定词(例如，第一唤醒词)，则电子设备100可唤醒其自身或者与执行在电子设备100中包含的功能相关联的至少一个模块。同时，如果存在可被第一唤醒词唤醒的另一外部电子设备，则电子设备100可向用户提供与在外部电子设备中提供的指示不同的指示。这样，当说出第一指定词时，电子设备100和外部电子设备不会同时都被唤醒。因此，使用由电子设备100提供的指示，用户可以验证用户想要唤醒的电子设备100没有唤醒。然后，用户可说出与从电子设备100提供的指示对应的第二指定词(例如，第二唤醒词)来唤醒电子设备100。
参考图1，用于执行上述功能的电子设备100可包含处理器110、麦克风120、扬声器130、指示器140(或用户接口)、存储器150和通信电路160。电子设备100不限于此。根据各种实施例，电子设备100可不包含上述元件中的至少一个，并且可以还包含至少一个其它元件。根据实施例，电子设备100还可以包含接近传感器，其测量对象(例如，用户)的接近状态和/或距离。此外，上述元件中的至少一个可位于并固定在壳体内。壳体可以包含前表面、后表面和侧表面，该侧表面围绕前表面和后表面之间的空间的至少一部分。
处理器110可以执行算术运算或数据处理以控制电子设备100的至少一个其它元件。处理器110可以驱动例如操作系统(OS)或应用程序以控制电子设备100的多个硬件或软件元件。处理器110可以包含中央处理单元(CPU)、应用处理器(AP)或通信处理器(CP)中的一个或多个。根据实施例，处理器110可以实现为片上系统(SoC)。处理器110可以包含微处理器或任何适合类型的处理电路，诸如一个或多个通用处理器(例如，基于ARM的处理器)、数字信号处理器(DSP)、可编程逻辑器件(PLD)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、视频卡控制器等。此外，将认识到当通用计算机访问用于实现本文所示的处理的代码时，代码的执行将通用计算机转换成用于执行本文所示的处理的专用计算机。附图中提供的某些功能和步骤可以用硬件、软件或两者的组合来实现，并且可以在计算机的编程指令内全部或部分地执行。
处理器110可以分析通过麦克风120接收到的语音输入。根据实施例，处理器110可以对接收到的语音输入执行语音识别。处理器110可以分析与通过麦克风120接收到的语音输入对应的语音数据，并且可以将该语音数据转换为文本。例如，如果用户说出单词“HI”，则麦克风120可以将来自用户语音的振动能量转换为电信号，并且可以将转换后的电信号发送到处理器110。处理器110可以将发送的电信号转换为频谱信息并且可以将转换后的频谱信息和在存储器150中存储的与各种字符对应的多个频谱信息进行比较以确定说出的字符(例如“H”和“I”)。
根据实施例，处理器110可以对接收到的语音输入执行声纹识别。处理器110可以以与语音识别基本相同的方式执行声纹识别。这里，在声纹识别的情况下，处理器110可以使用从用户的语音输入转换的频谱信息。例如，如果用户说出单词“HI”，则语音识别可能仅确定输入中包含字符(例如，“H”和“I”)，而声纹识别可以确定特定用户说出“HI”。
根据实施例，如果在语音识别的结果中包含指定的一个或多个词汇，则处理器110可以唤醒在电子设备100中包含的至少一个其它元件。例如，处理器110可以向一个或多个硬件元件供电，和/或可以将软件元件(例如，程序模块)加载到存储器150中以便可以执行该软件元件。
根据实施例，处理器110可以确定是否存在一个或多个也可以被指定词唤醒的外部电子设备。例如，如果从该外部电子设备接收到与指定词对应的信号，则处理器110可以确定该外部电子设备能够被指定词唤醒。对应于该唤醒词的信号可以是从该外部电子设备发送的信号，并且可以包含例如该外部电子设备识别该指定词并且处于等待唤醒的状态的通知。在这种情形下，处理器110可以不唤醒电子设备100中的元件并可以通过指示器140提供(例如显示)指示。例如，处理器110可以提供与从外部电子设备提供的指示不同的指示，使得用户可以将电子设备100与外部电子设备区分开。该指示可以是例如由指示器140显示的色彩。例如，如果外部电子设备显示红色，则电子设备100可以显示另一种色彩，例如蓝色或绿色。在一些实施例中，如果指示器140包含显示器，则指示可以包含分配给每个电子设备的标识信息，诸如昵称。可以在显示器上显示与标识信息对应的显示对象。
根据实施例，在通过指示器140提供指示之后，如果接收到对应于另一指定词(例如，第二指定词)的语音输入，则处理器110可以唤醒在电子设备中包含的至少一个其它元件。这样，处理器110可以在提供指示之后，用另一指定词(例如，第二指定词)替换用于唤醒电子设备100的指定词(例如，第一指定词)。
根据实施例，处理器110可管理指示的类型以及指示如何与不同的电子设备对应。例如，处理器110可以存储将第一指示映射到第一电子设备的标识信息并将第二指示映射到第二电子设备的标识信息的信息(例如，表)。例如，可以将红色指示分配给第一电子设备，并且可以将蓝色指示分配给第二电子设备。在一些实施例中，处理器110可以经由通信电路160从外部电子设备接收关于所分配的指示的信息，并且可以基于接收到的关于指示的信息来提供指示。这样，处理器110可以不直接管理指示到各种电子设备的映射。例如，电子设备100可以用作管理映射信息的设备(例如，服务器设备、集线器设备或主设备)，或者可以用作从管理映射信息的另一设备接收映射信息的设备(例如，从设备或客户端设备)。如果电子设备100用作主设备，则处理器110可以显示分配给电子设备100的指示，并且可以经由通信电路160将关于分配给其它外部电子设备的指示的信息发送到该其它外部电子设备。
根据实施例，处理器110可以基于由电子设备100中包含的传感器模块(例如，接近传感器、照度传感器、声压传感器等)获得的感测信息来确定是否唤醒麦克风120。例如，使用传感器模块，处理器110可以确定用户或用户的身体部位是否接近(或接触)电子设备100。如果是，则处理器110可以唤醒麦克风120以接收用户的语音输入。此外，处理器110可以向另一外部电子设备通知用户接近(或接触)电子设备100。在这种情形下，外部电子设备可以停用其麦克风，使得该外部电子设备不会错误地从用户接收语音输入。在一些实施例中，外部电子设备中的麦克风可以仅被停用指定的时间段。例如，在经过该指定的时间段之后，可以重新激活麦克风。在一些实施例中，处理器110可以通过相机等识别用户的面部或操作。例如，使用相机，处理器110可以确定用户是否注视着电子设备100，并且可以仅唤醒在用户注视的电子设备100中的麦克风120。
根据实施例，处理器110可以调整通过麦克风120接收到的语音输入的接收灵敏度。例如，处理器110可以对语音识别调整语音输入的接收强度(或接收强度或音量水平)的阈值。根据实施例，如果接收强度是第一级并且如果由另一外部电子设备接收到的语音输入的接收强度处于低于第一级的第二级，则处理器110可以将麦克风120的接收强度和在外部电子设备中包含的麦克风的接收强度的阈值设置为第一级和第二级之间的值。这样，当语音输入高于麦克风120的接收强度的阈值但低于外部电子设备中包含的麦克风的接收强度的阈值时，电子设备100可以能够处理来自用户的语音输入。而外部电子设备可以不处理该语音输入。在一些实施例中，处理器110可以取决于接收强度的阈值来提供指示以指导用户。例如，具有最高阈值的电子设备可以显示第一色彩(例如，绿色)的指示以通知用户它能够在当前音量下执行语音识别。具有最低接收强度的电子设备可以显示第二色彩(例如，红色)的指示以通知用户它不能在当前音量下执行语音识别。
根据实施例，处理器110可以基于用户的使用历史信息确定是否唤醒电子设备100。例如，处理器110可以通过声纹识别来识别用户，并且可以识别其中所识别的用户使用电子设备100的历史。例如，历史信息可以包含使用频率、使用次数、与另一用户的使用频率/使用次数的差异等。然后，处理器110可以使用该历史信息来确定是否唤醒电子设备100。例如，如果电子设备100是由第一用户经常使用的电子设备，则当接收到来自第二用户的语音输入时，处理器110可以不唤醒电子设备100。在这种情形下，处理器110可以仅当接收到来自第一用户的语音输入时，才唤醒电子设备100。在一些实施例中，处理器110可以基于用户设置的设置信息来确定是否唤醒电子设备100。例如，如果用户将电子设备100设置为他或她经常使用的电子设备，则处理器110可以在接收到来自该用户的语音输入时唤醒电子设备100。
根据实施例，处理器110可以基于用户的个人设备(例如，智能手表、智能电话等)的位置来确定是否唤醒电子设备100。例如，在可穿戴电子设备的情形下，处理器110可以确定用户是否佩戴可穿戴电子设备。如果确定用户佩戴可穿戴电子设备，则处理器110可以唤醒与可穿戴电子设备相邻的电子设备100。处理器110可以使用在电子设备100中包含的照度传感器或通过麦克风120测量的噪声程度来确定用户的个人设备与电子设备100之间的位置关系。例如，如果由照度传感器测量的照度值或指示通过麦克风120测量的噪声程度的值与由用户的个人设备测量的值相同或相似，则电子设备100可以确定用户的个人设备与电子设备100相邻。根据实施例，电子设备100可以将测量值(例如，照度值和指示噪声程度的值)与由其它外部电子设备测量的值进行比较，并且可以将与用户的个人设备最相似的设备选择作为最接近该用户的设备。
此外，可以通过各种室内定位方法来确定用户的个人设备与电子设备100之间的位置关系，诸如使用通信信标(例如，蓝牙低功耗(BLE)、无线保真(Wi-Fi)等)、指纹鉴别、使用光保真(Li-Fi)的可见光通信、使用接收信号强度指示器(RSSI)的多点定位和往返时间(RTT)等的方法。在使用BLE设备的室内定位方法中，BLE设备可以向外围电子设备发送广告分组，并且接收到该分组的电子设备100可以使用BLE设备的设备ID或者电子设备100和BLE设备之间的距离，通过小区ID或多点定位来计算其位置。分组可以包含诸如设备ID、服务地名和发送信号强度的数据。电子设备100可以使用BLE设备的RSSI信号值来计算BLE设备和电子设备100之间的距离值。使用RSSI信号值计算距离的方法可以包含使用RSSI信号的强度(功率)损耗或电子设备100与BLE设备之间的路径损耗来计算距离。
指纹方法可以是用于测量基于Wi-Fi、蓝牙等接收到的信号的强度的模式识别方法。该方法可以涉及预先知道若干参考位置并配置无线电地图。当确定无线电地图上的参考位置具有与由电子设备100接收到的信号的强度最相似的信号强度特性时，可以将参考位置确定为电子设备100的位置。
可见光通信方法可以涉及能够发送光信号的设备，所述光信号非常短暂以至于人们不能可见地检测到。可用唯一信息(例如位置信息)对光信号进行编码，使得通过接收光信号并对其进行解码，电子设备100可获得位置信息。
使用RSSI和RTT的多点定位方法可以是使用信号传播建模将Wi-Fi信号的RSSI转换为距离、并通过从多个Wi-Fi接入点(AP)对电子设备100进行三角测量来计算电子设备100的位置的方法。可以基于从Wi-Fi AP发送脉冲的时间到Wi-Fi AP从电子设备100接收响应脉冲的时间的延迟时间间隔来确定Wi-Fi AP和电子设备100之间的距离。
根据实施例，处理器110可以取决于在接收到的语音输入的语音识别结果中是否包含与电子设备100可执行的功能对应的指令来唤醒电子设备100。例如，仅当电子设备100能够执行在语音输入中请求的功能时，处理器110才可唤醒电子设备100。在另一实施例中，尽管多个电子设备识别指定词(例如，唤醒词)，但是仅一个电子设备可响应于该指定词并且其它电子设备可以保持在睡眠状态。此外，电子设备可以能够执行相同的功能(例如，播放音乐)。如果确定了最适合执行该功能的电子设备，则可不需要唤醒其它电子设备。确定哪个设备最适合的因素可以包含处理来自用户的指令的能力、距用户的距离、来自用户的语音输入的音量等。根据一实施例，可选择用于响应指定词和分析指令的装置，因为在多个电子设备当中，它是最接近用户的设备。替代地，与多个电子设备连接的服务器设备可分析指令。在这种情形下，服务器设备可在多个电子设备当中确定能够执行与指令对应的功能的电子设备，并且可发送相关信号，使得所确定的电子设备执行该功能。
麦克风120可以接收在电子设备外部生成的各种音频输入，诸如来自用户的语音输入。麦克风120可以是位于电子设备100中的一个麦克风，或者多个麦克风可以位于电子设备100中。
扬声器130可输出音频。例如，扬声器130可输出与指示对应的合成语音输出。又例如，扬声器130可输出与执行功能的结果对应的合成语音输出。
指示器140可以暴露在壳体的一部分上并且可提供(或显示)视觉指示。例如，指示器140可以显示颜色。指示器140可包含例如LED或显示器。
存储器150可以包含易失性和/或非易失性存储器。例如，存储器150可以存储与电子设备100的至少一个其它元件相关联的指令或数据。根据一个实施例，存储器150可以存储软件和/或程序。该程序可以包含应用。应用可以是用于执行至少一个指定功能的一系列程序(或指令)的集合。
根据实施例，存储器150可以包含将指示的类型映射到应用的状态的映射信息。此外，存储器150可以存储与各种字符对应的频谱信息和用户语音的频谱信息，使得电子设备100可以执行语音识别和语音鉴别(voiceprinting)。存储器150可以包含例如内部存储器或外部存储器。
通信电路160可以在电子设备100和外部电子设备之间建立通信。通信电路160可以通过无线通信或有线通信连接到例如网络。
根据实施例，电子设备100的至少一些元件可以存在于电子设备100的壳体外部，并且可以与处理器110电连接。例如，麦克风120、扬声器130或者指示器140的至少一部分可以存在于电子设备100的壳体外部。
如上所述，根据一个实施例，电子设备(例如，电子设备100)可以包含壳体、被配置为通过壳体暴露并提供视觉指示的用户接口(例如，指示器140)、第一麦克风(例如，麦克风120)、扬声器(例如，扬声器130)、通信电路(例如，通信电路160)、被配置为与用户接口、第一麦克风、扬声器和通信电路电连接的处理器(例如，处理器110)、以及被配置为与处理器电连接的存储器(例如，存储器150)。存储器可以存储指令，当被执行时，该指令使得处理器通过第一麦克风接收用于唤醒电子设备的第一用户语音输入，至少部分基于第一用户语音输入来确定电子设备是否处于执行操作的状态，如果电子设备处于执行操作的状态，则使用用户接口提供第一指示，接收用于选择电子设备执行操作的用户输入，通过第一麦克风接收与该操作相关的第二用户语音输入，通过通信电路向外部服务器发送与该操作相关的数据，经由通信电路从外部服务器接收响应，并使用用户接口和扬声器中的至少一个提供该响应，如果电子设备不处于执行操作的状态，则使用用户接口提供与第一指示不同的第二指示并将电子设备设置为等待状态。
根据一个实施例，指令可以使处理器经由通信电路从至少一个外部电子设备接收信息，并且至少部分地基于该信息确定电子设备是否处于用于执行所选择的操作的状态。并且，该至少一个外部电子设备可以包含第二麦克风，并在该至少一个外部电子设备靠近该电子设备的状态下，通过第二麦克风获得第一用户语音输入的至少一部分。
根据一实施例，第一指示可包含第一色彩，第二指示可以包含第二色彩。
如上所述，根据一个实施例，电子设备(例如，电子设备100)可以包含被配置为接收语音输入的麦克风(例如，麦克风120)、被配置为与外部电子设备通信的通信电路(例如，通信电路160)、被配置为提供至少一个视觉指示的指示器(例如，指示器140)、被配置为与麦克风、通信电路和指示器电连接的处理器(例如，处理器110)、以及被配置为与处理器电连接的存储器(例如，存储器150)。存储器可以存储指令，当被执行时，该指令使得处理器通过麦克风接收第一语音输入，对第一语音输入执行第一语音识别，如果在第一语音识别的结果中包含用于唤醒电子设备的第一指定词，则通过指示器显示第一视觉指示，通过麦克风接收第二语音输入，对第二语音输入执行第二语音识别，以及如果在第二语音识别的结果中包含与第一视觉指示对应的第二指定词，则唤醒电子设备。
根据一个实施例，指示器可以包含发光二极管(LED)或显示器中的至少一个，并且第一视觉指示可以是由指示器显示的至少一种色彩。
根据一个实施例，存储器还可以包含将至少一个视觉指示的类型映射到该至少一个视觉指示的分配状态的映射信息，并且指令可以使处理器基于映射信息确定第一视觉指示。
根据一个实施例，如果从位于电子设备附近的外部电子设备接收到与第一指定词对应的信号，则指令可以使处理器向外部电子设备发送关于与第一视觉指示不同的第二视觉指示的信息。
根据一个实施例，信号可以包含关于外部电子设备何时接收到第一语音输入和由外部电子设备接收到的第一语音输入的第一音量级的信息中的至少一个。
根据一个实施例，指令可以使处理器基于在信号中包含的第一语音输入的第一音量级和通过麦克风接收到的第一语音输入的第二音量级来调整第二语音识别的音量级的阈值。
根据一个实施例，电子设备还可以包含扬声器，并且指令可以使处理器通过扬声器输出与第一视觉指示对应的语音输出。
根据一个实施例，电子设备还可以包含传感器模块，并且指令可以使处理器基于通过传感器模块获得的感测信息来确定用户的身体部位是否靠近电子设备以及用户的身体部位是否与电子设备接触中的至少一个，并基于确定用户的身体部位接近电子设备或确定用户的身体部位与电子设备接触来确定是否唤醒麦克风。
根据一个实施例，存储器可以包含电子设备的用户的使用历史信息，并且指令可以使处理器对第一语音输入执行声纹识别以识别用户，并基于用户的使用历史信息确定是否唤醒电子设备。
根据一个实施例，指令可以使处理器基于在第二语音识别的结果中是否包含与可由电子设备执行的功能对应的指令来确定是否唤醒电子设备。
图2是示出根据实施例的处理语音输入的系统的图。
参考图2，在操作201中，用户200可以通过说出包含指定词(例如，“AAA”)的消息来呼叫电子设备(例如，第一电子设备210)。然而，如果存在使用该指定词作为唤醒词的其它外部电子设备(例如，第二电子设备230和第三电子设备250)以及短距离(例如，20m)内的第一电子设备210，则即使该用户不打算使用其它电子设备，该其它外部电子设备也可能处理来自用户的语音输入。因此，可能存在处理以便仅唤醒第一电子设备210的需求。
在操作203中，第一电子设备210可执行对通过第一麦克风211接收到的来自用户200的语音输入的语音识别。此外，如果在语音识别的结果中包含指定词203a，则在操作205中，第一电子设备210可确定是否可以通过指定词203a唤醒另一外部电子设备。例如，如果从其它外部电子设备接收到与指定词203a对应的信号，则第一电子设备210可确定该其它外部电子设备可以被指定词203a唤醒。在该操作中，第二电子设备230和第三电子设备250中的每一个可以通过第二麦克风231和第三麦克风251接收用户200的语音输入并执行语音识别。如果在语音识别的结果中包含指定词203a，则第二电子设备230和第三电子设备250中的每一个可以将与指定词203a对应的信号发送到电子设备210。该信号可以包含每个电子设备的识别信息。
接收到该信号，第一电子设备210可以向能够被指定词203a唤醒的所有三个电子设备分配不同的指示。例如，第一电子设备210可以分别向第一电子设备210、第二电子设备230和第三电子设备250分配第一色彩、第二色彩和第三色彩的指示。
在操作207中，第一电子设备210可以通过第一指示器213显示所分配的第一色彩的指示。在一些实施例中，第一电子设备210可以分别向第二电子设备230和第三电子设备250发送关于第二色彩的指示的信息和关于第三色彩的指示的信息。在这种情形下，第二电子设备230和第三电子设备250可以分别通过第二指示器233和第三指示器253显示第二色彩的指示和第三色彩的指示。
根据另一实施例，能够被相同的指定词203唤醒的电子设备(例如，第一电子设备210、第二电子设备230和第三电子设备250)可以自己选择指示。例如，第一电子设备可以选择第一色彩的指示，并且可以将关于第一色彩的信息发送到第二电子设备230。在接收到关于第一色彩的信息之后，第二电子设备230可以选择与第一色彩不同的第二色彩的指示，并且可以将关于第一色彩和第二色彩的信息发送到第三电子设备250。在接收到关于第一色彩和第二色彩的信息之后，第三电子设备250可以选择和第一色彩和第二色彩不同的第三色彩的指示。电子设备(例如，第一电子设备210、第二电子设备230或第三电子设备250)将其色彩信息发送到其它电子设备的方法或顺序不限于此。可以使用各种方法来确定该方法或顺序。
图3是示出根据实施例的用于提供指示的方法的图。
参照图3，电子设备310可以通过麦克风311接收用户300的第一语音输入301。如果在接收到的第一语音输入301的语音识别结果中包括第一指定词301a，则电子设备310可以通过指示器313显示分配给电子设备310的指示。该指示可以包括例如为电子设备310分配的色彩。根据一个实施例，可以基于将指示类型和指示的分配状态进行映射的映射信息来执行指示的分配。该映射信息可以存储在由电子设备310管理的数据库中。在一些实施例中，数据库可以由单独的服务器设备、集线器设备或主设备管理，并且电子设备310可以经由通信电路接收关于该指示的信息，并且可以通过指示器313显示相应的指示。
如果电子设备310通过指示器313显示指定的指示，则用户300可以看到所显示的指示(参见参考标号303)。在一些实施例中，电子设备310可以通过语音输出设备(例如，扬声器)输出指定的指示作为语音输出，使得用户可以听到该指示。如果用户300说出包含与该指示对应的新的第二指定词305a的第二语音输入305(即，显示的指示或语音指示)，则电子设备310可以确定在第二语音输入305的语音识别的结果中包含第二指定词305a。然后，电子设备310可以唤醒其元件中的至少一个。第二语音输入305可以包含第二指定词305a和指令305b。在这种情形下，电子设备310可以唤醒用于执行与指令305b对应的功能的至少一个元件。在一些实施例中，电子设备310可以提供用于通知用户300电子设备310被唤醒的音频输出和/或用于向用户300通知执行该功能的结果的音频输出307。电子设备310还可以通过指示器313显示用于通知用户电子设备310被唤醒的指示。
图4是示出根据实施例的处理语音输入的电子设备的操作方法的流程图。
参考图4，在操作410中，电子设备(例如，图1的处理器110)可以通过麦克风(例如，图1的麦克风120)接收第一语音输入，并且可以对接收到的第一语音输入执行语音识别。第一语音输入可以包含用于唤醒电子设备的指定词(例如，唤醒词)。
在操作420中，电子设备(例如，处理器110)可以确定在语音识别的结果中是否包含第一指定词。例如，处理器110可以确定在从第一语音输入转换的文本中是否包含第一指定词。
如果在语音识别的结果中包含第一指定词，则在操作430中，电子设备(例如，图1的指示器140)可以显示指示。根据实施例，电子设备(例如，处理器110)可基于将指示的类型映射到指示的分配状态的映射信息来指定用于将电子设备与外部电子设备区分的指示。在一些实施例中，电子设备可显示它为自身选择的指示，而不管映射信息。在这种情形下，电子设备(例如，图1的通信电路160)可将关于所选择的指示的信息发送到外部电子设备。接收到关于指示的信息，外部电子设备可选择与电子设备的指示不同的指示。
如果在操作420中在执行语音识别的结果中不包含第一指定词，则根据实施例的电子设备(例如，处理器110)可以保持等待状态(即，睡眠状态)。
在操作440中，电子设备(例如，处理器110)可以通过麦克风(例如，麦克风120)接收第二语音输入，并且可以对接收到的第二语音输入执行语音识别。第二语音输入可以是用户在他或她已看到所显示的指示之后说出的语音输入。第二语音输入可以包含与指示对应的第二指定词。
在操作450中，电子设备(例如，处理器110)可以确定在语音识别的结果中是否包含第二指定词。例如，处理器110可以确定在从第二语音输入转换的文本中是否包含第二指定词。
如果在语音识别的结果中包含第二指定词，则在操作460中，电子设备(例如，处理器110)可以唤醒电子设备中的至少一个元件。例如，电子设备(例如，处理器110)可以从等待状态改变为电子设备可以执行功能的活动状态。
如果在操作450中语音识别的结果中不包含第二指定词，则根据实施例的电子设备(例如，处理器110)可以显示与步骤430中显示的指示不同的指示和/或可以保持等待状态。
图5是示出根据实施例的处理语音输入的电子设备的另一操作方法的流程图。
参考图5，在操作510中，电子设备(例如，图1的电子设备100或处理器110)可以接收第一语音输入，并且可以对第一语音输入执行语音识别。第一语音可以包含用于唤醒电子设备的指定词(或唤醒词)。此外，指定词可以用作另一外部电子设备以及电子设备的唤醒词。
在操作520中，电子设备可以确定在语音识别的结果中是否包含第一指定词。例如，处理器110可以确定在从第一语音输入转换的文本中是否包含第一指定词。
如果在语音识别的结果中包含第一指定词，则在操作530中，电子设备(例如，处理器110)可以确定是否从外部电子设备接收到与第一指定词对应的信号。例如，能够被第一指定词唤醒的外部电子设备可以发送与第一指定词对应的信号。在这种情形下，电子设备可以经由通信电路(例如，图1的通信电路160)接收发送的信号，并且可以验证存在能够被第一指定词唤醒的另一外部电子设备。
如果从外部电子设备接收到与第一指定词对应的信号，则在操作540，电子设备可以通过指示器显示将该电子设备与外部电子设备区分开的指示。例如，处理器110可以基于将指示类型映射到指示的分配状态的映射信息来指定用于将其自身与外部电子设备区分的指示。然后，电子设备可以通过指示器(例如，图1的指示器140)显示指定的指示。
在操作550中，电子设备可以通过麦克风(例如，图1的麦克风120)接收第二语音输入，并且可以对第二语音输入执行语音识别。第二语音输入可以由已经看到所显示的指示的用户说出，并且第二语音输入可以包含与该指示对应的第二指定词。例如，如果通过指示器显示红色指示，则第二语音输入可以是“嗨，红色”，其中“红色”与该指示对应并且是第二指定词。又例如，用户可以说出包含第二指定词的指令，例如“红色，今天天气如何？”
在操作560中，电子设备可以确定在语音识别的结果中是否包含第二指定词。例如，电子设备可以确定在从第二语音输入转换的文本中是否包含第二指定词。
如果在执行语音识别的结果中包含第二指定词，则在操作570中，电子设备可以唤醒该电子设备的至少一个元件。或者，如果在语音识别的结果中包含第二指定词和指令，则电子设备可以将其自身唤醒以执行与该指令对应的功能。
如果在执行语音识别的结果中不包含第二指定词，则电子设备可以返回到操作550。例如，电子设备可以重复执行操作550和560，直到接收到包含第二指定词的第二语音输入为止。在一些实施例中，如果在指定时间段内未接收到包含第二指定词的第二语音输入，则电子设备可以跳过操作550至570并且可以改变为等待状态或非活动(睡眠)状态。
图6是示出根据实施例的用于确定指示的方法的图。
参考图6，第一电子设备610可以通过第一麦克风611接收语音输入。如果在接收到的语音输入的语音识别结果中包含指定词，则第一电子设备610可以通过第一指示器313提供(或显示)第一指示。根据实施例，第一电子设备610可以管理映射信息，其将指示的类型映射到在存储器(例如，图1的存储器150)中存储的数据库615中的指示的分配状态。因此，第一电子设备610可以基于映射信息617确定第一指示。映射信息617可以包含例如与电子设备的分配顺序617a和指示的类型617b相关联的信息。
根据实施例，指示的类型617b可以是电子设备的色彩、唯一昵称等。此外，每个电子设备(例如，第一电子设备610、第二电子设备630或第三电子设备650))可以通过指示器(例如，第一指示器613、第二指示器633或第三指示器653)显示其对应的指示，或者可以通过其扬声器输出与该指示对应的语音信息。在一些实施例中，指示的类型617b可以取决于每个电子设备(例如，第一电子设备610、第二电子设备630或第三电子设备650)如何输出指示。例如，如果一个电子设备通过LED输出指示，则可以将该指示设定为特定色彩。但是如果电子设备在显示器上输出指示，则可以将该指示设定为包含设备的特定色彩或昵称的显示对象。并且如果电子设备通过扬声器输出指示，则可以将该指示设定为与特定色彩或昵称对应的语音信息。
根据实施例，第一电子设备610可确定其它外部电子设备的指示，并且可以将所确定的指示发送到该外部电子设备。在该实施例中，第一电子设备610可以用作主设备。第二电子设备630和第三电子设备650可以分别通过第二麦克风631和第三麦克风651从用户接收语音输入。如果在接收到的语音输入的语音识别结果中包含指定词，则第二电子设备630和第三电子设备650可将与指定词对应的信号发送到电子设备610。在这种情形下，第一电子设备610可接收从第二电子设备630和第三电子设备650发送的信号，并且可以基于接收到信号的顺序分别将第二指示和第三指示顺序地分配给第二电子设备630和第三电子设备650。此外，第一电子设备610可以经由通信电路(例如，图1的通信电路160)将关于第二指示的信息和关于第三指示的信息分别发送到第二电子设备630和第三电子设备650。接收到关于第二指示的信息和关于第三指示的信息，第二电子设备630和第三电子设备650可分别通过第二指示器633和第三指示器653提供(或显示)第二指示和第三指示。
根据实施例，分配给电子设备的指示的类型617b可以彼此不重复。此外，如果用户选择(或唤醒)一个电子设备，则可以重置所分配的指示的类型617b。在一些实施例中，如果说出指示但指示中存在一些重叠，则可以不使用这些指示。例如，口头指示“蓝色”和“天蓝色”在词“蓝色”上重叠并且可能引起混淆。因此，它们可以不用作指示。此外，当显示色彩的指示时，为了避免混淆，可以仅使用彼此高度对比的色彩。例如，各种电子设备可以使用蓝色和天蓝色作为两种不同的指示。
根据实施例，可以根据电子设备的性能、接收到的语音输入的时间顺序、接收到的语音输入的音量级等来不同地指定分配给电子设备的指示的类型617b。例如，可以从具有最佳性能的电子设备开始顺序地分配指示。替代地，可以从具有对语音输入的最佳响应时间的电子设备开始顺序地分配指示。替代地，可以从具有接收到的语音输入的最大音量的电子设备开始顺序地分配指示。替代地，可以从始终通电的电子设备开始分配指示。在一些实施例中，可以根据用户指定的设置不同地指定分配给电子设备的指示的类型617b。
图7是示出根据实施例的用于确定指示的另一方法的图。
参考图7，如果存在能够被一个指定词(例如，唤醒词)调用(唤醒)的多个电子设备(例如，第一电子设备730、第二电子设备750和第三电子设备770)，并且如果它们接收到包含指定词的语音输入，则电子设备可以发送与指定词对应的信号。在该实施例中，多个电子设备中的每一个可用作从设备或客户端设备。在这种情形下，可能需要服务器设备710(或集线器设备)，其确定多个电子设备的指示类型并将关于所确定的指示的信息发送到该多个电子设备。
服务器设备710可以管理例如数据库711中的将指示类型映射到指示的分配状态的映射信息713。映射信息713可以包含例如与电子设备的分配顺序713a和指示类型713b相关联的信息。
第一电子设备730、第二电子设备750和第三电子设备770可以分别通过第一麦克风731、第二麦克风751和第三麦克风771接收语音输入。如果在接收到的语音输入的语音识别的结果中包含指定词，则第一电子设备730、第二电子设备750和第三电子设备770可以将与指定词对应的信号发送到服务器设备710。服务器设备710可以接收从电子设备(例如，第一电子设备730、第二电子设备750和第三电子设备770)中的至少一个发送的信号，并且可以基于映射信息713向电子设备发送信息。例如，服务器设备710可以接收从第一电子设备730、第二电子设备750和第三电子设备770发送的信号，并且可以基于映射信息713按照接收到的信号的次序，向第一电子设备730、第二电子设备750和第三电子设备770依次分配第一指示、第二指示和第三指示。又例如，服务器设备710可以接收从第一电子设备730、第二电子设备750和第三电子设备770发送的信号，并且可以基于分配历史，分别将第一指示、第二指示和第三指示分配给第一电子设备730、第二电子设备750和第三电子设备770。服务器设备710可以分别向第一电子设备730、第二电子设备750和第三电子设备770发送关于第一指示的信息、关于第二指示的信息和关于第三指示的信息。分别接收到关于第一指示的信息、关于第二指示的信息、以及关于第三指示的信息，第一电子设备730、第二电子设备750和第三电子设备770可以分别通过第一指示器733、第二指示器753和第三指示器773提供(或显示)第一指示、第二指示和第三指示。
图8是示出根据实施例的用于确定指示的电子设备的操作方法的流程图。
根据实施例，参考图8，在操作810中，电子设备(例如，图1的电子设备100或处理器110)可以经由通信电路(例如，图1的通信电路160)从至少一个外部电子设备接收与指定词对应的信号。该电子设备可以是服务器设备、集线器设备或主设备。与指定词对应的信号可以包含与外部电子设备识别指定词并且可以基于该识别而唤醒这一事实有关的信息。与指定词对应的信号可以包含外部电子设备何时接收到包含指定词的语音输入、语音输入的接收强度等的指示。
在操作830中，电子设备(例如，电子设备100或处理器110)可以确定外部电子设备的指示。根据实施例，电子设备可以管理在存储器(例如，图1的存储器150)中存储的数据库中的将指示类型映射到指示的分配状态的映射信息。因此，电子设备可以基于在数据库中存储的映射信息来确定(即，分配)外部电子设备的指示。
在操作850中，电子设备(例如，电子设备100或处理器110)可以经由通信电路(例如，通信电路160)将关于所确定的指示的信息发送到外部电子设备。接收到关于指示的信息，外部电子设备可以通过其指示器提供(或显示)指示。
图9是示出根据实施例的用于在电子设备处显示通过外部电子设备确定的指示的方法的流程图。
根据实施例，参考图9，在操作910中，电子设备(例如，图1的电子设备100或处理器110)(例如，从设备)可以通过麦克风(例如，图1的麦克风120)接收语音输入，并且可以对接收到的语音输入执行语音识别。根据实施例，处理器110可以分析与通过麦克风接收到的语音输入对应的语音数据，并且可以将语音数据转换为文本。
在操作930中，电子设备(例如，电子设备100或处理器110)可以确定在语音识别的结果中是否包含指定词。例如，处理器110可以确定在转换的文本中是否包含指定词。
如果在语音识别的结果中包含指定词，则在操作950中，电子设备(例如，电子设备100或处理器110)可以将与指定词对应的信号发送到外部电子设备(例如，服务器设备、集线器设备或主设备)。在一些实施例中，电子设备可以经由通信电路(例如，图1的通信电路160)发出与指定词对应的信号。此外，电子设备可以发送信号并且可以改变为等待唤醒的状态。例如，电子设备可以改变为等待对信号的响应的状态。
在操作970中，电子设备(例如，电子设备100或处理器110)可以经由通信电路(例如，通信电路160)从外部电子设备接收关于指示的信息。如果接收到该指示，则在操作990中，电子设备(例如，电子设备100或处理器110)可以通过指示器(例如，图1的指示器140)提供(或显示)该指示。
图10是示出根据实施例的用于基于接近传感器来确定是否唤醒电子设备的方法的图。
参考图10，电子设备(例如，第一电子设备1010、第二电子设备1030和第三电子设备1050)可以取决于用户1000的身体部位(例如，手指)是否接近(或接触)电子设备，确定是否唤醒在电子设备中包含的麦克风(例如，第一麦克风1011、第二麦克风1031和第三麦克风1051)。例如，电子设备可以基于由传感器模块(例如，接近传感器、照度传感器、声压传感器等)获得的感测信息来确定身体部位1001是否接近(或接触)电子设备。如果身体部位1001接近(或接触)电子设备中的一个，则该电子设备可以唤醒其麦克风以从用户1000接收语音输入。此外，该电子设备可以向另一个外部电子设备发送指示其已检测到身体部位1001的通知。在这种情形下，在接收到该通知之后，外部电子设备可以停用其自身的麦克风，使得它不接收用户1000的语音输入。在图10所示的示例中，用户1000的身体部位1001靠近(或接触)第一电子设备1010。第一电子设备1010可以唤醒第一麦克风1011并且可以向第二电子设备1030和第三电子设备1050发送通知，其中该通知指示身体部位1001接近(接触)第一电子设备1010。在接收到该通知之后，第二电子设备1030和第三电子设备1050可停用第二麦克风1031和第三麦克风1051。
根据实施例，麦克风可以被停用指定的时间段。在指定的时间段过去之后，可以重新激活麦克风。例如，在经过指定时间段之后，第一电子设备1010可以停用第一麦克风1011，并且第二电子设备1030和第三电子设备1050可以分别唤醒第二麦克风1031和第三麦克风1051。在另一示例中，第一电子设备1010可以保持麦克风1011的唤醒状态，并且第二电子设备1030和第三电子设备1050可以分别唤醒第二麦克风1031和第三麦克风1051。
根据实施例，如果多个电子设备接收到用户1000的语音，则接收到用户1000的附加选择(例如，手指触摸、接近等)的电子设备可以保持唤醒状态(例如，等待接收附加语音的状态)并且未接收到用户1000的选择的电子设备可以改变为不活动状态。
图11是示出根据实施例的用于基于接近传感器确定是否唤醒电子设备的系统的信号序列图。
根据实施例，用户1000可以选择(例如，接近或接触)多个电子设备(例如，第一电子设备1110、第二电子设备1130和第三电子设备1150)中的一个。并且可以说出指定词(例如，唤醒词)。可以反转用户操作的顺序。换句话说，用户可以说出指定词(例如，唤醒词)，然后可以选择多个电子设备中的一个。
参考图11，在该示例中，在操作1101中，用户1100可以接近(或接触)一个电子设备(例如，第一电子设备1110)。例如，用户1100可以使用他或她的身体的一部分(例如，手指)来触摸一个电子设备。
在操作1111中，第一电子设备1110可以识别用户1100的接近(或接触)。根据实施例，第一电子设备1110可以基于通过传感器模块(例如，接近传感器、照度传感器，声压传感器等)获得的感测信息来接收用户1100的接近(或接触)。
识别出用户1100的接近(或接触)，在操作1113中，第一电子设备1110可以向外部电子设备(例如，第二电子设备1130和第三电子设备1150)通知接近(或接触)状态。此外，在操作1115中，第一电子设备1110可唤醒在第一电子设备1110中包含的麦克风(例如，图1的麦克风120)。如果第一电子设备1110中包含的麦克风已被唤醒，则第一电子设备1110可以保持麦克风的唤醒状态。在操作1131和1151中，第二电子设备1130和第三电子设备1150可以接收用户1100的接近(或接触)状态。接收到用户1100的接近(或接触)，在操作1133和1153中，第二电子设备1130和第三电子设备1150可分别停用在第二电子设备1130和第三电子设备1150中包含的麦克风，使得防止第二电子设备1130和第三电子设备1150检测到来自用户的语音输入。
在操作1103中，用户1100可以表达(或说出)语音输入，其可以包含与要由第一电子设备1110执行的功能对应的指令。在操作1117中，具有唤醒的麦克风的第一电子设备1110可以通过麦克风接收语音输入，并且可以对接收到的语音输入执行语音识别。如上所述，第二电子设备1130和第三电子设备1150不能检测语音输入，因为它们的麦克风被停用。第二电子设备1130和第三电子设备1150的麦克风可以被停用指定的时间段或直到它们接收到用户1100的接近状态已经改变的通知(例如，用户不再接近第一电子设备1110或者与第一电子设备1110接触)。
在操作1119中，第一电子设备1110可以唤醒与用户指定的功能相关的其至少一些模块以执行该功能。
图12是示出根据实施例的用于通过调整语音输入的接收灵敏度来确定是否唤醒电子设备的方法的图。
参考图12，电子设备(例如，第一电子设备1210或第二电子设备1230)可以调整通过麦克风(例如，第一麦克风1211或第二麦克风1231)接收到的语音输入的接收灵敏度。例如，电子设备可以调整语音输入的接收强度的阈值1205。根据实施例，在调整之后，多个电子设备中仅一个可以识别用户的语音输入。阈值1205可以指示例如用于防止语音识别中的错误的最小值。此外，每个电子设备可以具有不同的阈值。例如，取决于电子设备的性能，电子设备可以具有不同的阈值。
如图12所示，如果第一麦克风1211的接收强度是第一级(v1)1201并且如果第二麦克风1231的接收强度是第二级(v2)1203，则可以将接收强度的阈值1205调整为在第一级1201和第二级1203之间的值。例如，如果第一级1201高于第二级1203，则可以将阈值1205调整为低于第一级1201并且高于第二级1203。因此，语音输入可以由第一电子设备1210处理而不是由第二电子设备1230处理。结果，响应于来自用户的语音输入，可以仅唤醒第一电子设备1210。
根据实施例，电子设备(例如，第一电子设备1210或第二电子设备1230)可以根据接收强度来改变指示器(例如，第一指示器1213或第二指示器1233)中所示的指示的类型。例如，其中接收强度是第一级1201的第一电子设备1210可以显示第一色彩的指示，并且其中接收强度是第二级的第二电子设备1230可以显示与第一色彩不同的第二色彩的指示。因此，用户可以验证每个指示(例如，第一指示或第二指示)，使得他或她知道哪个电子设备能够执行语音识别。
根据实施例，阈值1205可以被设置为与包含第一指定词的语音输入的接收强度对应。因此，如果用户远离电子设备或改变他指引其语音输入的方向，由于语音输入的接收强度不满足阈值1205，所以电子设备可不处理语音输入。
图13是示出根据实施例的用于调整语音输入的接收灵敏度的电子设备的操作方法的流程图。
参考图13，在操作1310中，电子设备(例如，图1的电子设备100或处理器110)可以通过麦克风(例如，图1的麦克风120)接收用户的语音输入并且可以分析收语音输入的接收强度。此外，在操作1330中，电子设备(例如，电子设备100或处理器110)可以经由通信电路(例如，图1的通信电路160)从外部电子设备接收关于语音输入的接收强度的信息。
在操作1350中，电子设备(例如，电子设备100或处理器110)可以基于接收到的语音输入和从外部电子设备接收到的信息来调整语音输入的接收灵敏度。根据实施例，在这样处理时，电子设备可以调整语音输入的接收强度的阈值。例如，如果电子设备接收到的语音输入的接收强度是第一级，并且如果外部电子设备接收的语音的接收强度是第二级，则电子设备可以将阈值调整为第一级和第二级之间的值。电子设备(例如，电子设备100或处理器110)可以取决于接收到的语音输入的强度是否超过阈值来执行语音识别。
图14是示出根据实施例的用于基于使用历史信息来确定是否唤醒电子设备的方法的图。
参考图14，电子设备(例如，第一电子设备1410或第二电子设备1430)可以基于用户A 1400的使用历史信息来确定是否唤醒电子设备。根据实施例，电子设备(例如，第一电子设备1410或第二电子设备1430)可以对通过麦克风(例如，第一麦克风1411或第二麦克风1431)接收到的语音输入执行声纹识别，以识别用户A 1400。此外，电子设备可以基于在数据库(例如，第一数据库1413或第二数据库1433)中存储的使用历史信息(例如，第一使用历史信息1415或第二使用历史信息1435)，验证所识别的用户A 1400使用电子设备的历史，并且可以基于使用历史信息来确定是否唤醒电子设备。使用历史信息可以包含例如与用户A1400的使用频率、用户A 1400的使用次数、与另一用户的使用频率/使用次数的差异等相关的信息。又例如，使用历史信息可以包含关于当两个或更多个电子设备(例如，第一电子设备1410或第二电子设备1430)使用指定词(例如，唤醒词)以唤醒时用户A 1400选择该特定电子设备的次数的信息。
如图所示，如果用户A 1400说出语音输入，则可仅唤醒用户A 1400经常或最近使用的第一电子设备1410。用户B经常或最近使用的第二电子设备1430可不被唤醒。例如，在第一电子设备1410和第二电子设备1430位于指定距离(例如，大约20米)内的状态下，如果用户A 1400位于第一电子设备1410和第二电子设备1430之间并且说出包含指定词的语音输入，则第一电子设备1410和第二电子设备1430可基本上且几乎同时接收到具有相同语音强度的语音输入。在这种情形下，第一电子设备1410和第二电子设备1430可以验证用户A1400的使用历史信息以确定用户A 1400是经常使用第一电子设备1410还是经常使用第二电子设备1430的用户。如果确定如果用户A 1400是经常使用第一电子设备1410的用户，则第一电子设备1410可被唤醒。
图15是示出根据实施例的用于基于使用历史信息确定是否唤醒电子设备的电子设备的操作方法的流程图。
参考图15，在操作1510中，电子设备(例如，图1的电子设备100或处理器110)可通过麦克风(例如，图1的麦克风120)接收用户的语音输入并且可对接收到的语音执行语音识别。根据实施例，电子设备(例如，电子设备100或处理器110)可分析与接收到的语音输入对应的语音数据，并且可将该语音数据转换为文本。例如，处理器110可将语音输入的振动能量转换为电信号，可将该电信号转换为频谱信息。然后，电子设备可将转换后的频谱信息和与不同用户的不同声纹对应的多个频谱信息进行比较，从而识别用户。
在操作1530中，电子设备可以验证用户的使用历史信息。根据实施例，可以通过数据库(例如，图6的数据库615)管理用户的使用历史信息。用户的使用历史信息可以包含例如与用户的使用频率、用户的使用次数、与另一用户的使用频率/使用次数的差异等相关的信息。使用历史信息还可以包含关于用户已选择特定设备的次数的信息。
在操作1550中，电子设备(例如，电子设备100或处理器110)可以基于使用历史信息确定是否唤醒电子设备。例如，如果用户已使用电子设备的次数大于另一用户已使用该电子设备的次数，或者如果用户最近使用该电子设备的次数多于另一用户，则该电子设备可以被唤醒。
图16是示出根据实施例的用于基于可执行功能确定是否唤醒电子设备的方法的图。
参考图16，电子设备(例如，第一电子设备1610或第二电子设备1630)可以通过其麦克风接收用户1600的语音输入，并且可以对接收到的语音执行语音识别。此外，电子设备可以基于在语音输入中包含的指令来确定电子设备的唤醒，该指令与电子设备可执行的功能对应。例如，仅当电子设备可能执行所包含的功能时才可以唤醒电子设备。
根据实施例，在操作1601中，尽管多个电子设备(例如，第一电子设备1610和第二电子设备1630)识别在用户1600的第一语音中包含的指定词1601a，但是仅一个电子设备(例如，第一电子设备1610)可以响应于指定词1601a，并且其它电子设备(例如，第二电子设备1630)可以不唤醒。这是因为在操作1603中，第一电子设备1610确定它可以执行指定操作1603a，但是第二电子设备1630确定它不能执行操作1603a。如果存在能够执行相同功能的多个电子设备，则可以指派更接近用户的电子设备来执行该功能。
如图16的示例中所示，当用户1600说“打开灯”时，仅唤醒第一电子设备1610(例如，灯)以执行该功能，并且不唤醒第二电子设备1630(例如，冰箱)。在一些实施例中，第一电子设备1610和第二电子设备1630可以分别连接到集线器设备。例如，第一电子设备1610可以连接到第一集线器设备，第二电子设备1630可以连接到第二集线器设备。在这种情形下，第一电子设备1610和第二电子设备1630可以分别由第一集线器设备和第二集线器设备控制。第一和第二集线器设备可以接收从用户1600说出的语音输入，并且可以分析接收到的语音输入。然后，第一集线器设备和第二集线器设备基于分析结果来控制第一电子设备1610和第二电子设备1630。
图17是示出根据实施例的用于基于可执行功能来确定是否唤醒电子设备的方法的流程图。
参考图17，在操作1710中，电子设备(例如，图1的电子设备100或处理器110)可以接收用户的语音输入，并且可以对接收到的语音输入执行语音识别。
在操作1730中，电子设备(例如，电子设备100或处理器)可以确定在执行语音识别的结果中是否包含与电子设备可执行的功能对应的指令。
如果包含对应于该功能的指令，则在操作1750中，电子设备(例如，电子设备100或处理器)可以唤醒执行该功能所需的至少一个元件。如果该指令与电子设备不能执行的功能对应，则电子设备可以不会被唤醒。
根据实施例，如果存在能够执行该功能的多个电子设备，则可基于用户的位置、用户与每个电子设备之间的距离等来选择用于执行该功能的电子设备。
如上所述，根据一个实施例，电子设备的语音输入处理方法可以包含：通过麦克风接收第一语音输入，对第一语音输入执行第一语音识别，如果在第一语音识别的结果中包含用于唤醒电子设备的第一指定词，则通过指示器显示指示，通过麦克风接收第二语音输入，对第二语音输入执行第二语音识别，以及如果在第二语音识别的结果中包含与该指示对应的第二指定词，则唤醒电子设备。
根据一个实施例，该方法还可以包含：验证在电子设备的存储器中存储的将至少一个指示的类型映射到至少一个指示的分配状态的映射信息，并基于该映射信息来确定该指示。
根据一个实施例，该方法还可以包含：如果从位于电子设备附近的外部电子设备接收到与第一指定词对应的信号，则向外部电子设备发送关于与该指示不同的另一指示的信息。
根据一个实施例，该方法还可以包含：基于在信号中包含的在外部电子设备中接收到的第一语音输入的第一音量级和通过麦克风接收到的第一语音输入的第二音量级来调整用于第二语音识别的音量级的阈值。
根据一个实施例，该方法还可以包含：基于通过电子设备的传感器模块获得的感测信息确定用户的身体部位是否接近电子设备以及用户的身体部位是否与该电子设备接触中的至少一个，并且基于确定用户的身体部位接近电子设备或者确定用户的身体部位与电子设备接触来确定是否唤醒麦克风。
根据一个实施例，该方法还可以包含：对第一语音输入执行声纹识别以识别用户，以及基于用户的使用历史信息确定是否唤醒电子设备，该使用历史信息存储在电子设备的存储器中。
根据一个实施例，该方法还可以包含：基于在第二语音识别的结果中是否包含与电子设备可执行的功能对应的指令来确定是否唤醒电子设备。
图18是示出根据实施例的网络环境1800中的电子设备1801的框图。图18中所示的电子设备1801可以是与图1中所示的电子设备100相同或相似的结构。
参考图18，电子设备1801可以包含总线1810、处理器1820、存储器1830、输入/输出接口1850、显示器1860和通信接口1870。根据实施例，电子设备1801可以不包含所述元件中的至少一个或还可以包含(一个或多个)其它元件。总线1810可以将元件1820至1870互连，并且可以包含用于在所述元件之间传送通信(例如，控制消息或数据)的电路。
处理器1820(例如，图1的处理器110)可以包含中央处理单元(CPU)、应用处理器(AP)或通信处理器(CP)中的一个或多个。例如，处理器1820可以执行与电子设备1801的至少一个其它元件的控制和/或通信相关的算术操作或数据处理。
存储器1830(例如，图1的存储器150)可以包含易失性和/或非易失性存储器。例如，存储器1830可以存储与电子设备1801的至少一个其它元件相关的指令或数据。根据实施例，存储器1830可以存储软件和/或程序1840。程序1840可以包含：例如内核1841、中间件1843、应用编程接口(API)1845和/或应用程序(或“应用”)1847。内核1841、中间件1843或API 1845中的至少一部分可以称为“操作系统(OS)”。
例如，内核1841可以控制或管理用于执行在其它程序(例如，中间件1843、API1845和应用程序1847)中实现的操作或功能的系统资源(例如，总线1810、处理器1820、存储器1830等)。此外，内核1841可以提供允许中间件1843、API 1845或应用程序1847访问电子设备1801的分离元件以便控制或管理系统资源的接口。
中间件1843可以执行例如中介角色，使得API 1845或应用程序1847与内核1841通信以交换数据。此外，中间件1843可以根据优先级来处理从应用程序1847接收到的一个或多个任务请求。例如，中间件1843可以向至少一个应用程序1847分配优先级，这使得可以使用电子设备1801的系统资源(例如，总线1810、处理器1820、存储器1830等)，并且可以处理一个或多个任务请求。
API 1845可以是例如应用程序1847通过其控制由内核1841或中间件1843提供的功能的接口，并且可以包含例如用于文件控制、窗口控制、图像处理、字符控制等至少一个接口或功能(例如，指令)。
输入/输出接口1850(例如，图1的麦克风120、扬声器130或指示器140)可以将例如从用户或另一外部设备输入的指令或数据发送到电子设备1801的(一个或多个)其它元件或者可以将从电子设备1801的(一个或多个)其它元件接收到的指令或数据输出到用户或另一外部设备。
显示器1860可以包含例如液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、微机电系统(MEMS)显示器或电子纸显示器。显示器1860可以向用户显示例如各种内容(例如，文本、图像、视频、图标、符号等)。显示器1860可以包含触摸屏，并且可以使用电子笔或用户身体的一部分来接收例如触摸、手势、接近或悬停输入。
例如，通信接口1870(例如，图1的通信电路160)可以在电子设备1801和外部设备(例如，第一电子设备1802、第二电子设备1804或服务器1806)之间建立通信。例如，通信接口1870可以通过无线通信或有线通信连接到网络1862，以与外部设备(例如，第二电子设备1804或服务器1806)通信。
无线通信可以包含例如使用长期演进(LTE)、高级LTE(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)、全球移动通信系统(GSM)等中的至少一个的蜂窝通信。根据实施例、无线通信可以是例如图18的元件1864。如图所示，无线通信可以包含无线保真(Wi-Fi)、光保真(Li-Fi)、蓝牙、蓝牙低功耗(BLE)、ZigBee、近场通信(NFC)、磁安全传输(MST)、射频(RF)或体域网(BAN)中的至少一个。根据实施例，无线通信可以包含全球导航卫星系统(GNSS)。GNSS可以是例如全球定位系统(GPS)、全球导航卫星系统(Glonass)、北斗导航卫星系统(以下称为“北斗”)或欧洲全球卫星导航系统(以下简称“伽利略”)。在下文中，在本公开中，“GPS”和“GNSS”可以可互换地使用。有线通信可以包含例如通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐标准232(RS-232)、普通老式电话服务(POTS)中等的至少一个。网络1862可以包含电信网络中的至少一个，例如，计算机网络(例如，LAN或WAN)、因特网或电话网络。
第一电子设备1802和第二电子设备1804中的每一个可以是其类型与电子设备1801的类型不同或相同的设备。根据各种实施例，电子设备1801将执行的全部或部分操作可以由另一个或多个电子设备(例如，第一电子设备1802、第二电子设备1804或服务器1806)执行。根据实施例，在电子设备1801自动地或响应于请求来执行任何功能或服务的情况下，电子设备1801可以不在内部执行功能或服务，但是替代地或另外地，它可以请求在其它电子设备(例如，电子设备1802或1804或服务器1806)处的与电子设备1801相关的功能的至少一部分。其它电子设备可以执行所请求的功能或附加的功能，并且可以将执行结果发送到电子设备1801。电子设备1801可以使用接收到的结果来提供所请求的功能或服务，或者可以另外处理接收到的结果以提供所请求的功能或服务。为此，可以使用例如云计算、分布式计算或客户端-服务器计算。
图19是示出根据一个实施例的电子设备1901的框图。
参考图19，电子设备1901可以包含例如图1中所示的电子设备100或图18中所示的电子设备1801的全部或一部分。电子设备1901可以包含一个或多个处理器(例如，应用处理器(AP))1910、通信模块1920、订户识别模块1924、存储器1930、传感器模块1940、输入设备1950、显示器1960、接口1970、音频模块1980、相机模块1991、电源管理模块1995、电池1096、指示器1997和电动机1998。
处理器1910可以驱动例如操作系统(OS)或应用以控制连接到处理器1910的多个硬件或软件元件，并且可以处理和计算各种数据。例如，处理器1910可以用片上系统(SoC)实现。根据实施例，处理器1910还可包含图形处理单元(GPU)和/或图像信号处理器。处理器1910可以包含图19中所示的元件的至少一部分(例如，蜂窝模块1921)。处理器1910可以将从其它元件(例如，非易失性存储器)中的至少一个接收到的指令或数据加载到易失性存储器中并处理加载的指令或数据。处理器1910可以将结果数据存储在非易失性存储器中。
通信模块1920可以与图18的通信接口1870相同或类似地被配置。通信模块1920可以包含蜂窝模块1921、Wi-Fi模块1923、蓝牙(BT)模块1925、GNSS模块1927、近场通信(NFC)模块1928和射频(RF)模块1929。
蜂窝模块1921可通过通信网络提供例如语音通信、视频通信、字符服务、因特网服务等。根据实施例，蜂窝模块1921可通过使用订户识别模块(例如，SIM卡)1924来执行通信网络内的电子设备1901的辨别和认证。根据实施例，蜂窝模块1921可以执行处理器1910提供的至少一部分功能。根据实施例，蜂窝模块1921可包含通信处理器(CP)。在一些实施例中，蜂窝模块1921、Wi-Fi模块1923、BT模块1925、GNSS模块1927或NFC模块1928中的至少一些(例如，两个或更多个)可包含在一个集成电路(IC)或IC封装内。
例如，RF模块1929可以发送和接收通信信号(例如，RF信号)。例如，RF模块1929可以包含收发器、功率放大器模块(PAM)、频率滤波器、低噪声放大器(LNA)、天线等。根据另一实施例，蜂窝模块1921、Wi-Fi模块1923、BT模块1925、GNSS模块1927或NFC模块1928中的至少一个可以通过单独的RF模块发送和接收RF信号。
订户识别模块1924可以包含例如包含订户识别模块的卡和/或嵌入式SIM，并且可以包含唯一识别信息(例如，集成电路卡识别符(ICCID))或订户信息(例如，国际移动订户身份(IMSI))。
存储器1930(例如，图18的存储器1830)可以包含内部存储器1932或外部存储器1934。例如，内部存储器1932可以包含例如易失性存储器(例如，动态随机存取存储器(DRAM)、静态RAM(SRAM)、同步DRAM(SDRAM)等)、非易失性存储器(例如，一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM、闪存、硬盘驱动器或固态驱动器(SSD))中的至少一个。外部存储器1934可以包含闪存驱动器，诸如紧凑型闪存(CF)、安全数字(SD)、微型安全数字(Micro-SD)、迷你安全数字(Mini-SD)、极端数字(xD)、多媒体卡(MMC)、记忆棒等。外部存储器1934可以通过各种接口可操作地和/或物理地连接到电子设备1901。
传感器模块1940可以测量例如物理量或者可以检测电子设备1901的操作状态。传感器模块1940可以将测量或检测到的信息转换为电信号。例如，传感器模块1940可以包含手势传感器1940A、陀螺仪传感器1940B、气压传感器1940C、磁传感器1940D、加速度传感器1940E、握持传感器1940F、接近传感器1940G、颜色传感器1940H(例如，红绿蓝(RGB)传感器)、生物传感器1940I、温度/湿度传感器1940J、照度传感器1940K或UV传感器1940M中的至少一个。尽管未示出，但附加地或替代地，传感器模块1940还可包含例如电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器和/或指纹传感器。传感器模块1940还可以包含用于控制其中包含的至少一个或多个传感器的控制电路。根据实施例，电子设备1901还可以包含处理器，该处理器是处理器1910的一部分或者独立于处理器1910并且被配置为控制传感器模块1940。处理器可以在处理器1910保持睡眠状态的同时控制传感器模块1940。
输入设备1950可以包含例如触摸板1952、(数字)笔传感器1954、键1956或超声输入单元1958。例如，触摸板1952可以使用电容性、电阻性、红外和超声检测方法中的至少一种。并且，触摸板1952还可以包含控制电路。触摸板1952还可以包含用于向用户提供触觉反应的触觉层。(数字)笔传感器1954可以是例如触摸板的一部分或者可以包含用于识别的附加片。键1956可以包含例如物理按钮、光学键或小键盘。超声输入设备1958可以通过麦克风(例如，麦克风1988)检测(或感测)从输入设备生成的超声信号，并且可以检查与检测到的超声信号对应的数据。
显示器1960(例如，图18的显示器1860)可包含面板1962、全息设备1964、投影仪1966和/或用于控制面板1962、全息设备1964或投影仪1966的控制电路。例如，面板1962可以实现为柔性、透明或可穿戴。面板1962和触摸面板1952可以集成到单个模块中。根据实施例，面板1962可包含压力传感器(或力传感器)，其测量用户的触摸压力的强度。压力传感器可以与触摸板1952一体地实现，或者可以实现为与触摸板1952分开的至少一个传感器。全息设备1964可以使用光干涉现象在空间中显示立体图像。投影仪1966可以将光投射到屏幕上以便显示图像。例如，屏幕可以布置在电子设备1901的内部或外部。
接口1970可以包含例如高清晰度多媒体接口(HDMI)1972、通用串行总线(USB)1974、光学接口1976或D-超小型(D-sub)1978。接口1970可以例如包含在图18中所示的通信接口1870中。另外或通常，接口1970可以包含例如移动高清链路(MHL)接口、SD卡/多媒体卡(MMC)接口或红外数据协会(IrDA)标准接口。
音频模块1980可以在双向上转换例如声音和电信号。音频模块1980的至少一部分可以包含在例如18所示的输入/输出接口1850中。音频模块1980可以处理例如通过扬声器1982、接收器1984、耳机1986或麦克风1988输入或输出的声音信息。
例如，相机模块1991可以捕获静止图像或视频。根据实施例，相机模块1991可以包含至少一个或多个图像传感器(例如，前传感器或后传感器)、镜头、图像信号处理器(ISP)或闪光灯(例如，LED或氙灯)。
电源管理模块1995可以管理例如电子设备1901的电源。根据一个实施例，电源管理集成电路(PMIC)、充电器IC或电池或电量计可以包含在电源管理模块中。PMIC可以具有有线充电方法和/或无线充电方法。无线充电方法可以包含例如磁共振方法、磁感应方法或电磁方法，并且还可以包含附加电路，例如，线圈回路、谐振电路、整流器等。电池计可以测量例如电池1996的剩余容量以及电池充电时的电压、电流或温度。电池1996可以包含例如可充电电池和/或太阳能电池。
指示器1997可以显示电子设备1901或其一部分(例如，处理器1910)的特定状态，诸如引导状态、消息状态、充电状态等。电动机1998可以将电信号转换成机械振动并且可以产生以下效果：振动、触觉等。
电子设备1901可以包含例如能够根据数字多媒体广播(DMB)、数字视频广播(DVB)、MediaFLOTM等标准处理媒体数据的移动TV支持设备(例如，GPU)。根据本公开各种实施例的电子设备的上述元件中的每一个可以配置有一个或多个组件，并且元件的名称可以根据电子设备的类型来改变。在各种实施例中，电子设备(例如，电子设备1901)可以包含上述元件中的至少一个，并且可以省略一些元件或者可以添加其它附加元件。此外，根据各种实施例的电子设备的一些元件可以彼此组合以形成一个实体，使得元件的功能可以以与组合之前相同的方式执行。
图20是示出根据实施例的程序模块2010的框图。
根据实施例，程序模块2010(例如，图18的程序1840)可以包含用于控制与电子设备(例如，图18的电子设备1801)相关联的资源的操作系统(OS)、以及/或在OS上驱动的各种应用(例如，图18的应用1847)。OS可以是例如AndroidTM、iOSTM、WindowsTM、SymbianTM、TizenTM或BadaTM。
参考图20，程序模块2010可包含内核2020(例如，图18的内核1841)、中间件2030(例如，图18的中间件1843)、应用编程接口(API)2060(例如，图18的API 1845)、和/或应用2070(例如，图18的应用程序1847)。程序模块2010的至少一部分可以预先加载在电子设备上，或者可从外部电子设备(例如，图18的第一电子设备1802、第二电子设备1804、服务器1806等)下载。
内核2020可以包含例如系统资源管理器2021或设备驱动程序2023。系统资源管理器2021可以控制、分配或检索系统资源。根据实施例，系统资源管理器2021可以包含进程管理单元、存储器管理单元、文件系统管理单元等。设备驱动程序2023可以包含例如显示驱动程序、相机驱动程序、蓝牙驱动程序、共享存储器驱动程序、USB驱动程序、键盘驱动程序、Wi-Fi驱动程序、音频驱动程序或进程间通信(IPC)驱动程序。
中间件2030可提供例如应用2070共同需要的功能，或可通过API 2060向应用2070提供各种功能，以允许应用2070有效地使用电子设备的有限系统资源。根据实施例，中间件2030可以包含运行库2035、应用管理器2041、窗口管理器2042、多媒体管理器2043、资源管理器2044、电源管理器2045、数据库管理器2046、包管理器2047、连接管理器2048、通知管理器2049、位置管理器2050、图形管理器2051或安全管理器2052中的至少一个。
运行库2035可以包含例如库模块，编译器使用该库模块以在执行应用2070时通过编程语言添加新功能。运行库2035可以执行输入/输出管理、存储器管理或关于算术功能的能力。
应用管理器2041可以管理例如应用2070的至少一个应用的生命周期。窗口管理器2042可管理在屏幕中使用的图形用户接口(GUI)资源。多媒体管理器2043可识别用于播放不同媒体文件所需的格式，并且可以通过使用适合于该格式的编解码器来执行媒体文件的编码或解码。资源管理器2044可以管理诸如应用2070的至少一个应用的存储空间、存储器或源代码的资源。
电源管理器2045可以例如利用基本输入/输出系统(BIOS)来操作以管理电池或电源，并且可以提供用于电子设备的操作的电源信息。数据库管理器2046可以生成、搜索或修改将在应用2070的至少一个应用中使用的数据库。包管理器2047可以安装或更新以包文件的形式分发的应用。连接管理器2048可以管理例如无线连接。
通知管理器2049可以以不干扰用户的模式显示或通知诸如到达消息、约会或接近通知的事件。位置管理器2050可以管理关于电子设备的位置信息。图形管理器2051可以管理提供给用户的图形效果，或管理与其相关的用户界面。安全管理器2052可以提供系统安全性、用户认证等所需的一般安全功能。
根据实施例，中间件2030可以包含用于管理电子设备的语音或视频呼叫功能的电话管理器或者将上述元件的各种功能进行组合的中间件模块。根据实施例，中间件2030可以提供专用于每种OS类型的模块以提供差异化功能。另外，中间件2030可以动态地移除一部分预先存在的元件，或者可以向其添加新元件。
API 2060可以是例如一组编程功能，并且可以具有根据OS可变的配置。例如，在OS是android或iOS的情况下，它可以为每个平台提供一个API集。在OS是Tizen的情况下，它可以为每个平台提供两个或更多个API集。
应用2070可以包含例如应用，诸如主页2071、拨号器2072、SMS/MMS2073、即时消息(IM)2074、浏览器2075、相机2076、警报器2077、联系人2078、语音拨号2079、电子邮件2080、日历2081、媒体播放器2082、专辑2083、手表2084、健康护理(例如，测量运动量、血糖等)或提供环境信息(例如，气压、湿度、温度等的信息)。
根据实施例，应用2070可以包含信息交换应用以支持电子设备和外部电子设备之间的信息交换。信息交换应用可以包含例如用于将特定信息发送到外部电子设备的通知中继应用，或者用于管理外部电子设备的设备管理应用。例如，通知中继应用可以包含将来自其它应用的通知信息发送到外部电子设备或者可以例如从外部电子设备接收通知信息并将该通知信息提供给用户的功能。设备管理应用可以安装、删除或更新例如与电子设备通信的外部电子设备的功能(例如，外部电子设备本身(或一部分组件)的开启/关闭或显示器的亮度(或分辨率)的调整)、以及在外部电子设备中运行的应用。
根据实施例，应用2070可以包含根据外部电子设备的属性分配的应用(例如，移动医疗设备的健康护理应用)。根据实施例，应用2070可以包含从外部电子设备接收的应用。
程序模块2010的至少一部分可以由软件、固件、硬件(例如，处理器1910)或其两个或更多个的组合(例如，执行)来实现，并且可以包含用于执行一个或多个功能的模块、程序、例程、指令集、过程等。
这里使用的术语“模块”可以表示例如包含硬件、软件和固件中的一个或其组合的单元。术语“模块”可以与术语“单元”、“逻辑”、“逻辑块”、“组件”和“电路”可互换地使用。“模块”可以机械地或电子地实现。例如，“模块”可以包含专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)和用于执行已知的或将要被开发的一些操作的可编程逻辑设备中的至少一个。
根据本公开各种实施例的设备(例如，其模块或功能)或方法(例如，操作)中的至少一部分可以被实现为以程序模块的形式存储在计算机可读存储介质中的指令。在由处理器(例如，处理器1820)执行指令的情况下，处理器可以执行与指令对应的功能。计算机可读存储介质可以是例如存储器1830。
计算机可读记录介质可包含硬盘、软盘、磁介质(例如，磁带)、光学介质(例如，CD-ROM、数字通用盘(DVD))、磁光介质(例如，光盘)或硬件设备(例如，ROM、RAM、闪存等)。程序指令可以包含由编译器生成的机器语言代码和可以由使用解释器的计算机执行的高级语言代码。上述硬件设备可以被配置为作为用于执行本公开各种实施例的操作的一个或多个软件模块操作，反之亦然。
根据本公开各种实施例的模块或程序模块可以包含上述元件中的至少一个，或者可以省略一些元件或者可以添加其它附加元件。由根据本公开各种实施例的模块、程序模块或其它元件执行的操作可以以顺序、并行、迭代或启发式方式执行。此外，一些操作可以以另一顺序执行或者可以省略，或者可以添加其它操作。
虽然已经参考其中的各种实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由本公开所附权利要求及其等同限定的本公开的范围的情况下，可以在其中进行形式和细节上的各种改变。
本公开的上述实施例的某些方面可以以硬件、固件或经由执行可以存储在记录介质(比如CD ROM、数字多功能盘(DVD)、磁带、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码、或者通过网络下载以存储在本地记录介质的最初存储在远程记录介质或非暂时性机器可读介质上的计算机代码来实现，使得本文所述的方法可以通过使用通用计算机、特殊处理器或可编程或专用硬件(诸如ASIC或FPGA)，经由存储在记录介质上的软件来呈现。如本领域中将理解的，计算机、处理器、微处理器控制器或可编程硬件包含存储器组件，例如RAM，ROM，闪存等，其可以存储或接收当计算机、处理器或硬件执行本文所述的处理方法时访问和执行的软件或计算机代码。

Claims (13)

1.一种电子设备，包括：
麦克风，被配置为接收语音输入；
通信电路，被配置为与外部电子设备通信；
指示器，被配置为提供至少一个视觉指示；以及
处理器，被配置为与所述麦克风、所述通信电路和所述指示器电连接；以及
存储器，被配置为与所述处理器电连接，
其中，所述存储器存储指令，当所述指令被执行时，使所述处理器：
通过所述麦克风接收第一语音输入；
对所述第一语音输入执行第一语音识别；
如果在所述第一语音识别的结果中包含用于唤醒所述电子设备的第一指定词，则通过所述指示器显示第一视觉指示；
通过所述麦克风接收第二语音输入；
对所述第二语音输入执行第二语音识别；
如果在所述第二语音识别的结果中包含与所述第一视觉指示对应的第二指定词，则唤醒所述电子设备；以及
如果从位于所述电子设备附近的所述外部电子设备接收到与所述第一指定词对应的信号，则向所述外部电子设备发送关于与所述第一视觉指示不同的第二视觉指示的信息。
2.如权利要求1所述的电子设备，其中，所述指示器包括发光二极管(LED)或显示器中的至少一个，以及
其中，所述第一视觉指示是由所述指示器显示的至少一种色彩。
3.如权利要求1所述的电子设备，其中，所述存储器还包含映射信息，所述映射信息将所述至少一个视觉指示的类型映射到所述至少一个视觉指示的分配状态，以及
其中，所述指令使所述处理器：
基于所述映射信息确定所述第一视觉指示。
4.如权利要求1所述的电子设备，其中，所述信号包括关于所述外部电子设备何时接收到所述第一语音输入的信息和由所述外部电子设备接收到的所述第一语音输入的第一音量级中的至少一个。
5.如权利要求4所述的电子设备，其中，所述指令使所述处理器：
基于在所述信号中包含的所述第一语音输入的所述第一音量级和通过所述麦克风接收到的所述第一语音输入的第二音量级，调整用于所述第二语音识别的音量级的阈值。
6.如权利要求1所述的电子设备，还包括：
扬声器，
其中，所述指令使所述处理器：
通过所述扬声器输出与所述第一视觉指示对应的语音输出。
7.如权利要求1所述的电子设备，还包括：
传感器模块，
其中，所述指令使所述处理器：
基于通过所述传感器模块获得的感测信息，确定用户的身体部位是否接近所述电子设备以及所述用户的所述身体部位是否与所述电子设备接触中的至少一个；以及
基于确定所述用户的所述身体部位接近所述电子设备或者确定所述用户的所述身体部位与所述电子设备接触来确定是否唤醒所述麦克风。
8.如权利要求1所述的电子设备，其中，所述存储器包含所述电子设备的用户的使用历史信息，以及
其中，所述指令使所述处理器：
对所述第一语音输入执行声纹识别以识别用户；以及
基于所述用户的所述使用历史信息确定是否唤醒所述电子设备。
9.如权利要求1所述的电子设备，其中，所述指令使所述处理器：
基于在所述第二语音识别的结果中是否包含与所述电子设备可执行的功能对应的指令来确定是否唤醒所述电子设备。
10.一种电子设备的语音输入处理方法，所述方法包括：
通过麦克风接收第一语音输入；
对所述第一语音输入执行第一语音识别；
如果在所述第一语音识别的结果中包含用于唤醒所述电子设备的第一指定词，则通过指示器显示指示；
通过所述麦克风接收第二语音输入；
对所述第二语音输入执行第二语音识别；
如果在所述第二语音识别的结果中包含与所述指示对应的第二指定词，则唤醒所述电子设备；以及
如果从位于所述电子设备附近的外部电子设备接收到与所述第一指定词对应的信号，则向所述外部电子设备发送关于与所述指示不同的另一指示的信息。
11.如权利要求10所述的方法，还包括：
验证在所述电子设备的存储器中存储的将至少一个指示的类型映射到所述至少一个指示的分配状态的映射信息；以及
基于所述映射信息确定所述指示。
12.如权利要求10所述的方法，还包括：
基于在所述信号中包含的在所述外部电子设备中接收到的所述第一语音输入的第一音量级和通过所述麦克风接收到的所述第一语音输入的第二音量级，调整用于所述第二语音识别的音量级的阈值。
13.如权利要求10所述的方法，还包括：
对第一语音输入执行声纹识别以识别用户；以及
基于所述用户的使用历史信息确定是否唤醒所述电子设备，所述使用历史信息存储在所述电子设备的存储器中。
CN201880007265.0A 2017-01-20 2018-01-11 语音输入处理方法和用于支持该方法的电子设备 Active CN110192248B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020170009635A KR20180085931A (ko) 2017-01-20 2017-01-20 음성 입력 처리 방법 및 이를 지원하는 전자 장치
KR10-2017-0009635 2017-01-20
PCT/KR2018/000540 WO2018135803A1 (en) 2017-01-20 2018-01-11 Voice input processing method and electronic device for supporting the same

Publications (2)

Publication Number Publication Date
CN110192248A CN110192248A (zh) 2019-08-30
CN110192248B true CN110192248B (zh) 2023-05-16

Family

ID=62906590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880007265.0A Active CN110192248B (zh) 2017-01-20 2018-01-11 语音输入处理方法和用于支持该方法的电子设备

Country Status (5)

Country Link
US (2) US10832670B2 (zh)
EP (1) EP3523798A4 (zh)
KR (1) KR20180085931A (zh)
CN (1) CN110192248B (zh)
WO (1) WO2018135803A1 (zh)

Families Citing this family (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9185062B1 (en) 2014-05-31 2015-11-10 Apple Inc. Message user interfaces for capture and transmittal of media and location content
US9772817B2 (en) 2016-02-22 2017-09-26 Sonos, Inc. Room-corrected voice detection
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
KR101925034B1 (ko) 2017-03-28 2018-12-04 엘지전자 주식회사 스마트 컨트롤링 디바이스 및 그 제어 방법
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
CN107564532A (zh) * 2017-07-05 2018-01-09 百度在线网络技术（北京）有限公司 电子设备的唤醒方法、装置、设备及计算机可读存储介质
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10531157B1 (en) * 2017-09-21 2020-01-07 Amazon Technologies, Inc. Presentation and management of audio and visual content across devices
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US11343614B2 (en) 2018-01-31 2022-05-24 Sonos, Inc. Device designation of playback and network microphone device arrangements
US10600408B1 (en) * 2018-03-23 2020-03-24 Amazon Technologies, Inc. Content output management based on speech quality
DK201870364A1 (en) 2018-05-07 2019-12-03 Apple Inc. MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE
EP3769510A1 (en) 2018-05-07 2021-01-27 Apple Inc. User interfaces for viewing live video feeds and recorded video
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
KR20200017292A (ko) * 2018-08-08 2020-02-18 삼성전자주식회사 음성 인식 방법 및 그 방법을 지원하는 전자 장치
CN112334977B (zh) * 2018-08-14 2024-05-17 华为技术有限公司 一种语音识别方法、可穿戴设备及系统
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
NO20181210A1 (en) 2018-08-31 2020-03-02 Elliptic Laboratories As Voice assistant
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11258671B1 (en) * 2018-09-18 2022-02-22 Amazon Technologies, Inc. Functionality management for devices
US11315553B2 (en) * 2018-09-20 2022-04-26 Samsung Electronics Co., Ltd. Electronic device and method for providing or obtaining data for training thereof
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10978062B1 (en) * 2018-09-27 2021-04-13 Amazon Technologies, Inc. Voice-controlled device switching between modes based on speech input
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
KR102606789B1 (ko) * 2018-10-01 2023-11-28 삼성전자주식회사 복수의 음성 인식 장치들을 제어하는 방법 및 그 방법을 지원하는 전자 장치
KR102393774B1 (ko) 2018-10-08 2022-05-03 에스케이텔레콤 주식회사 음성 인식 장치 및 그 제어방법
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3644096A1 (en) * 2018-10-23 2020-04-29 HERE Global B.V. Radio maps for location and/or positioning services
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
JP1640131S (ja) * 2018-11-27 2019-09-02 全周映像表示機
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
CN109326291A (zh) * 2018-12-24 2019-02-12 深圳创维－Rgb电子有限公司 电视模式控制方法、电视及存储介质
CN111369988A (zh) * 2018-12-26 2020-07-03 华为终端有限公司 一种语音唤醒方法及电子设备
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
WO2020185497A1 (en) * 2019-03-08 2020-09-17 Ball Michael Robert Security system
EP3709194A1 (en) 2019-03-15 2020-09-16 Spotify AB Ensemble-based data comparison
KR102624327B1 (ko) * 2019-03-15 2024-01-15 삼성전자주식회사 IoT 기기의 위치 추론 방법, 이를 지원하는 서버 및 전자 장치
US10943598B2 (en) * 2019-03-18 2021-03-09 Rovi Guides, Inc. Method and apparatus for determining periods of excessive noise for receiving smart speaker voice commands
KR102716781B1 (ko) * 2019-04-02 2024-10-15 삼성전자주식회사 전자 장치 및 이의 제어 방법
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
CN111913590A (zh) * 2019-05-07 2020-11-10 北京搜狗科技发展有限公司 一种输入方法、装置和设备
CN111754997B (zh) * 2019-05-09 2023-08-04 北京汇钧科技有限公司 控制装置及其操作方法，和语音交互装置及其操作方法
US11363071B2 (en) 2019-05-31 2022-06-14 Apple Inc. User interfaces for managing a local network
US10996917B2 (en) 2019-05-31 2021-05-04 Apple Inc. User interfaces for audio media control
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
US11620103B2 (en) 2019-05-31 2023-04-04 Apple Inc. User interfaces for audio media control
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US11810575B2 (en) * 2019-06-12 2023-11-07 Lg Electronics Inc. Artificial intelligence robot for providing voice recognition function and method of operating the same
KR102246661B1 (ko) * 2019-06-25 2021-05-03 엘지전자 주식회사 음성 인에이블 디바이스 선택 방법 및 장치
WO2021002493A1 (ko) * 2019-07-01 2021-01-07 엘지전자 주식회사 지능형 게이트웨이 장치 및 그를 포함하는 제어 시스템
CN110290468B (zh) * 2019-07-04 2020-09-22 英华达（上海）科技有限公司 虚拟隔音通信方法、装置、系统、电子设备、存储介质
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11094319B2 (en) 2019-08-30 2021-08-17 Spotify Ab Systems and methods for generating a cleaned version of ambient sound
CN110660390B (zh) * 2019-09-17 2022-05-03 百度在线网络技术（北京）有限公司 智能设备唤醒方法、智能设备及计算机可读存储介质
WO2021075774A1 (en) * 2019-10-16 2021-04-22 Samsung Electronics Co., Ltd. Method for controlling iot device and electronic device therefor
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US10785414B1 (en) * 2019-11-04 2020-09-22 Facebook Technologies, Llc Synchronized visual indicators for multimedia device actions
JP7426619B2 (ja) * 2019-11-05 2024-02-02 パナソニックＩｐマネジメント株式会社 制御システム、及び、制御方法
WO2021118269A1 (en) * 2019-12-12 2021-06-17 Samsung Electronics Co., Ltd. Electronic device and method for controlling electronic device
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
CN111192581A (zh) * 2020-01-07 2020-05-22 百度在线网络技术（北京）有限公司 语音唤醒方法、设备及存储介质
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
CN111192591B (zh) * 2020-02-10 2022-12-13 百度在线网络技术（北京）有限公司 智能设备的唤醒方法、装置、智能音箱及存储介质
US11328722B2 (en) * 2020-02-11 2022-05-10 Spotify Ab Systems and methods for generating a singular voice audio stream
US11308959B2 (en) 2020-02-11 2022-04-19 Spotify Ab Dynamic adjustment of wake word acceptance tolerance thresholds in voice-controlled devices
EP4115277A1 (en) * 2020-03-05 2023-01-11 Telefonaktiebolaget LM ERICSSON (PUBL) Controlling a set of devices by a voice-controlled device
US11308962B2 (en) * 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
CN113900714A (zh) * 2020-06-22 2022-01-07 阿里巴巴集团控股有限公司 电子设备及其就近唤醒方法和装置
US11395252B2 (en) 2020-07-23 2022-07-19 Skyhook Wireless, Inc. Crowd sourced RTT-based positioning
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
WO2022102888A1 (en) * 2020-11-11 2022-05-19 Samsung Electronics Co., Ltd. Methods and systems for identifying devices and positions of devices in an iot environment
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
JP2022129867A (ja) * 2021-02-25 2022-09-06 パナソニックＩｐマネジメント株式会社 音声インタフェースを起動させる方法、コンピュータプログラム及び制御装置
CN112908330B (zh) * 2021-03-04 2022-08-09 深圳市云希谷科技有限公司 终端设备的语音唤醒方法、装置及计算机可读存储介质
CN115086096A (zh) * 2021-03-15 2022-09-20 Oppo广东移动通信有限公司 响应控制语音的方法、装置、设备及存储介质
US11915708B2 (en) 2021-03-18 2024-02-27 Samsung Electronics Co., Ltd. Methods and systems for invoking a user-intended internet of things (IoT) device from a plurality of IoT devices
WO2022196896A1 (en) * 2021-03-18 2022-09-22 Samsung Electronics Co., Ltd. Methods and systems for invoking a user-intended internet of things (iot) device from a plurality of iot devices
US20220358917A1 (en) * 2021-04-21 2022-11-10 Meta Platforms, Inc. Multi-device Mediation for Assistant Systems
US11861315B2 (en) 2021-04-21 2024-01-02 Meta Platforms, Inc. Continuous learning for natural-language understanding models for assistant systems
US12118790B2 (en) * 2021-04-21 2024-10-15 Meta Platforms, Inc. Auto-capture of interesting moments by assistant systems
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US11893214B2 (en) 2021-05-15 2024-02-06 Apple Inc. Real-time communication user interface
US20220368548A1 (en) 2021-05-15 2022-11-17 Apple Inc. Shared-content session user interfaces
CN113380246A (zh) * 2021-06-08 2021-09-10 阿波罗智联(北京)科技有限公司 指令执行方法、相关装置及计算机程序产品
US11770600B2 (en) 2021-09-24 2023-09-26 Apple Inc. Wide angle video conference
US20240265921A1 (en) * 2021-09-30 2024-08-08 Sonos, Inc. Conflict management for wake-word detection processes
KR20230086500A (ko) * 2021-12-08 2023-06-15 엘지전자 주식회사 인공 지능 장치
WO2023163427A1 (ko) * 2022-02-28 2023-08-31 삼성전자주식회사 전자 장치의 음량 조절 방법 및 장치
US20230418618A1 (en) * 2022-06-24 2023-12-28 Evga Corporation Computer intelligent switching system and method thereof
CN117746849A (zh) * 2022-09-14 2024-03-22 荣耀终端有限公司 一种语音交互方法、装置及终端

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8068881B2 (en) 2002-08-09 2011-11-29 Avon Associates, Inc. Voice controlled multimedia and communications system
US8498425B2 (en) 2008-08-13 2013-07-30 Onvocal Inc Wearable headset with self-contained vocal feedback and vocal command
US10321541B2 (en) * 2011-03-11 2019-06-11 Ilumi Solutions, Inc. LED lighting device
US8340975B1 (en) * 2011-10-04 2012-12-25 Theodore Alfred Rosenberger Interactive speech recognition device and system for hands-free building control
US20130238326A1 (en) * 2012-03-08 2013-09-12 Lg Electronics Inc. Apparatus and method for multiple device voice control
KR101641448B1 (ko) * 2012-03-16 2016-07-20 뉘앙스 커뮤니케이션즈, 인코포레이티드 사용자 전용 자동 음성 인식
US9786294B1 (en) * 2012-07-30 2017-10-10 Amazon Technologies, Inc. Visual indication of an operational state
US9779757B1 (en) * 2012-07-30 2017-10-03 Amazon Technologies, Inc. Visual indication of an operational state
WO2014064324A1 (en) 2012-10-26 2014-05-01 Nokia Corporation Multi-device speech recognition
US9275637B1 (en) * 2012-11-06 2016-03-01 Amazon Technologies, Inc. Wake word evaluation
US9275642B2 (en) * 2012-11-13 2016-03-01 Unified Computer Intelligence Corporation Voice-operated internet-ready ubiquitous computing device and method thereof
US9047857B1 (en) * 2012-12-19 2015-06-02 Rawles Llc Voice commands for transitioning between device states
US9466286B1 (en) * 2013-01-16 2016-10-11 Amazong Technologies, Inc. Transitioning an electronic device between device states
US9721587B2 (en) * 2013-01-24 2017-08-01 Microsoft Technology Licensing, Llc Visual feedback for speech recognition system
DE112014000709B4 (de) * 2013-02-07 2021-12-30 Apple Inc. Verfahren und vorrichtung zum betrieb eines sprachtriggers für einen digitalen assistenten
JP2014153663A (ja) 2013-02-13 2014-08-25 Sony Corp 音声認識装置、および音声認識方法、並びにプログラム
US9361885B2 (en) * 2013-03-12 2016-06-07 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
US10133546B2 (en) * 2013-03-14 2018-11-20 Amazon Technologies, Inc. Providing content on multiple devices
US9293138B2 (en) * 2013-05-14 2016-03-22 Amazon Technologies, Inc. Storing state information from network-based user devices
US20140376747A1 (en) * 2013-06-20 2014-12-25 Qmotion Incorporated Voice control of lights and motorized window coverings
US10147441B1 (en) * 2013-12-19 2018-12-04 Amazon Technologies, Inc. Voice controlled system
JP6282516B2 (ja) 2014-04-08 2018-02-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 複数機器の音声操作システム、音声操作方法及び、プログラム
US9632748B2 (en) * 2014-06-24 2017-04-25 Google Inc. Device designation for audio input monitoring
US10339293B2 (en) * 2014-08-15 2019-07-02 Apple Inc. Authenticated device used to unlock another device
US9548053B1 (en) * 2014-09-19 2017-01-17 Amazon Technologies, Inc. Audible command filtering
US9812128B2 (en) * 2014-10-09 2017-11-07 Google Inc. Device leadership negotiation among voice interface devices
US9424841B2 (en) 2014-10-09 2016-08-23 Google Inc. Hotword detection on multiple devices
KR102299330B1 (ko) * 2014-11-26 2021-09-08 삼성전자주식회사 음성 인식 방법 및 그 전자 장치
JP6520100B2 (ja) 2014-12-15 2019-05-29 オンキヨー株式会社 電子機器制御システム、端末装置、及び、サーバー
US9811312B2 (en) * 2014-12-22 2017-11-07 Intel Corporation Connected device voice command support
US10770067B1 (en) * 2015-09-08 2020-09-08 Amazon Technologies, Inc. Dynamic voice search transitioning
CN105741838B (zh) 2016-01-20 2019-10-15 百度在线网络技术（北京）有限公司 语音唤醒方法及装置
US20170256270A1 (en) * 2016-03-02 2017-09-07 Motorola Mobility Llc Voice Recognition Accuracy in High Noise Conditions
US10332516B2 (en) * 2016-05-10 2019-06-25 Google Llc Media transfer among media output devices
DK179415B1 (en) * 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10339769B2 (en) * 2016-11-18 2019-07-02 Google Llc Server-provided visual output at a voice interface device
US20180177029A1 (en) * 2016-12-19 2018-06-21 Pilot, Inc. Voice-controlled light bulb
US10672387B2 (en) * 2017-01-11 2020-06-02 Google Llc Systems and methods for recognizing user speech
KR20180084392A (ko) * 2017-01-17 2018-07-25 삼성전자주식회사 전자 장치 및 그의 동작 방법
KR20190008663A (ko) * 2017-07-17 2019-01-25 삼성전자주식회사 음성 데이터 처리 방법 및 이를 지원하는 시스템
US10951967B2 (en) * 2017-08-23 2021-03-16 Amazon Technologies, Inc. Voice-controlled multimedia device and universal remote
US10461712B1 (en) * 2017-09-25 2019-10-29 Amazon Technologies, Inc. Automatic volume leveling
KR102419597B1 (ko) * 2017-09-29 2022-07-11 삼성전자주식회사 입력 디바이스와 전자 장치, 이를 포함하는 시스템 및 그 제어 방법

Also Published As

Publication number Publication date
CN110192248A (zh) 2019-08-30
US20180211665A1 (en) 2018-07-26
US11823673B2 (en) 2023-11-21
US20210056971A1 (en) 2021-02-25
EP3523798A4 (en) 2019-10-30
US10832670B2 (en) 2020-11-10
EP3523798A1 (en) 2019-08-14
KR20180085931A (ko) 2018-07-30
WO2018135803A1 (en) 2018-07-26

Similar Documents

Publication Publication Date Title
CN110192248B (zh) 语音输入处理方法和用于支持该方法的电子设备
US10593347B2 (en) Method and device for removing noise using neural network model
US10645168B2 (en) Electronic device and controlling method thereof
KR102319803B1 (ko) 전자 장치, 그 동작 방법 및 기록 매체
KR102392113B1 (ko) 전자 장치 및 전자 장치의 음성 명령 처리 방법
EP3211552A1 (en) Exercise information providing method and electronic device supporting the same
EP3355304B1 (en) Voice input method and electronic device supporting the same
US20170348562A1 (en) Electronic apparatus and operating method thereof
US20170142589A1 (en) Method for adjusting usage policy and electronic device for supporting the same
KR20170086814A (ko) 음성 인식 기능을 제공하는 전자 장치 및 그 동작 방법
US20170041769A1 (en) Apparatus and method for providing notification
EP3107183A2 (en) Device and method for providing notification on wireless charging state
US11074910B2 (en) Electronic device for recognizing speech
US10345924B2 (en) Method for utilizing sensor and electronic device implementing same
KR20160123892A (ko) 전자 장치 및 전자 장치에서 적어도 하나의 페어링 대상을 식별하는 방법
KR20170089178A (ko) 전자 장치, 전자 장치의 음성 인식 방법
EP3142352A1 (en) Method for processing sound by electronic device and electronic device thereof
US10321227B2 (en) Electronic device for controlling microphone parameter
US10805062B2 (en) Electronic device and system for synchronizing playback time of sound source
KR20170027589A (ko) 기능 제어 방법 및 그 방법을 처리하는 전자 장치
US11059438B2 (en) Vehicle on-boarding recognition method and electronic device implementing same
US10455068B2 (en) Electronic device and method for controlling display using piezoelectric element
US10621308B2 (en) Electronic device and method for linking exercise schedule thereof
US10298733B2 (en) Method for executing function of electronic device using bio-signal and electronic device therefor
KR20160105162A (ko) 데이터의 배칭 처리 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant