CN108369808A - 电子设备和用于控制该电子设备的方法 - Google Patents

电子设备和用于控制该电子设备的方法 Download PDF

Info

Publication number
CN108369808A
CN108369808A CN201680065490.0A CN201680065490A CN108369808A CN 108369808 A CN108369808 A CN 108369808A CN 201680065490 A CN201680065490 A CN 201680065490A CN 108369808 A CN108369808 A CN 108369808A
Authority
CN
China
Prior art keywords
electronic equipment
user
user speech
keyword
rank
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680065490.0A
Other languages
English (en)
Other versions
CN108369808B (zh
Inventor
曹治铉
孙东
孙东一
金炅泰
李智敏
许昌龙
千载奉
崔奎哲
姜昌泽
李昌秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108369808A publication Critical patent/CN108369808A/zh
Application granted granted Critical
Publication of CN108369808B publication Critical patent/CN108369808B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Television Receiver Circuits (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)

Abstract

公开了一种电子设备和一种用于控制所述电子设备的方法。所述电子设备包括存储器和与所述存储器电连接的处理器。所述存储器存储要由所述处理器执行的指令。所述处理器被配置为：获得用户语音，确定所述用户语音的响应级别，当所述用户语音的响应级别是第一响应级别时，基于获得所述用户语音的时间点来执行与所述用户语音相对应的操作，以及当所述用户语音的响应级别是第二响应级别时，基于检测到附加事件的时间点来执行与所述用户语音相对应的操作。

Description

电子设备和用于控制该电子设备的方法
技术领域
本公开涉及电子设备和用于控制该电子设备的方法。更具体地，本公开涉及执行与用户命令相对应的操作的电子设备和用于控制该电子设备的方法。
背景技术
根据现有技术的语音命令识别技术主要按照两种类型来实现。第一类型是词汇级别句子分析方法。根据现有技术的电子设备以这样的方式执行语音命令识别：预先将用于命令的词的组合存储在数据库中，将所输入的用户语音转换成文本，并且确定转换后的文本是否与预先存储在数据库中的组合匹配。根据现有技术的电子设备在转换后的文本与数据库中的词之间的相似度是预定水平或更高水平的情况下，执行预先存储在数据库中的命令。
第二类型是含义级别句子分析方法。根据现有技术的电子设备可以通过通常利用本体或语义解析来执行语音识别，从而进行含义级别分析。根据现有技术的电子设备可以以这样的方式执行语音命令识别：为形成转换后的文本的句子的词之间的相关性配置映射，识别使用该映射所识别的句子的组件(例如，动词、主语、宾语和形容词)，从识别出的组件中提取实际的含义，并且映射到特定命令。
以上信息仅作为背景信息被呈现来帮助理解本公开。至于上述中的任一项对于本公开是否可能适用为现有技术，尚未作出确定，并且也未作出断言。
发明内容
技术问题
根据现有技术的此类语音命令识别技术可以进行以下动作：如果所输入的语音被确定为对应于特定命令，则实施与所输入的语音相对应的特定命令，以及如果不是，则可以不采取动作。也就是说，根据现有技术的语音命令技术可以对分地执行与语音相对应的命令或者可以不对分地执行与语音相对应的命令。
因此，尽管用户说出的内容不期望任何特定反应，然而根据现有技术的电子设备可以执行与用户语音相对应的命令，从而导致提供用户可能不期望的服务或反馈。
技术方案
本公开的各方面将至少解决上面提及的问题和/或缺点并且至少提供在下面所描述的优点。因此，本公开的一个方面，一种电子设备可以立即执行与用户语音相对应的命令，或者在保持它之后直到检测到附加事件为止才执行与用户语音相对应的命令，以便根据用户的意图调整执行命令的时间。
依照本公开的一个方面，提供了一种电子设备。所述电子设备包括存储器和与所述存储器电连接的处理器，其中，所述存储器可以存储指令以使所述处理器执行以下操作：获得用户语音，确定所述用户语音的响应级别，当所述用户语音的响应级别是第一响应级别时，基于获得所述用户语音的时间点来执行与所述用户语音相对应的操作，以及当所述用户语音的响应级别是第二响应级别时，基于检测到附加事件的时间点来执行与所述用户语音相对应的操作。
依照本公开的另一方面，提供了一种用于控制电子设备的方法。所述用于控制电子设备的方法包括：获得用户语音，确定所述用户语音的响应级别，当所述用户语音的响应级别是第一响应级别时，基于获得所述用户语音的时间点来执行与所述用户语音相对应的操作，以及当所述用户语音的响应级别是第二响应级别时，基于检测到附加事件的时间点来执行与所述用户语音相对应的操作。
依照本公开的另一方面，所述存储器可以存储指令，所述指令被执行以使得所述处理器能够执行以下操作：检测被设定为运行第一操作的第一事件，确定是否满足关于执行所述第一操作的限制条件，当不满足关于执行所述第一操作的限制条件时，基于检测到所述第一事件的时间点来执行所述第一操作，以及当满足关于执行所述第一操作的限制条件时，基于检测到与所述第一事件不同的第二事件的时间点来执行所述第一操作。
依照本公开的另一方面，提供了一种用于控制电子设备的方法。所述用于控制电子设备的方法包括：检测被设定为运行第一操作的第一事件，确定是否满足关于执行所述第一操作的限制条件，当不满足关于执行所述第一操作的限制条件时，基于检测到所述第一事件的时间点来执行所述第一操作，以及当满足关于执行所述第一操作的限制条件时，基于检测到与所述第一事件不同的第二事件的时间点来执行所述第一操作。
依照本公开的另一方面，提供了一种电子设备。所述电子设备包括存储器和与所述存储器电连接的处理器，其中，所述存储器可以存储指令以使所述处理器执行以下操作：获得用户运动，当所述用户运动的响应级别是第一响应级别时，基于获得用户语音的时间点来执行与所述用户运动相对应的操作，以及当所述用户语音的响应级别是第二响应级别时，基于检测到附加事件的时间点来执行与所述用户运动相对应的操作。
依照本公开的另一方面，提供了一种用于控制电子设备的方法。所述用于控制电子设备的方法包括：获得用户运动，确定所述用户运动的响应级别，当所述用户运动的响应级别是第一响应级别时，基于获得用户语音的时间点来执行与所述用户运动相对应的操作，以及当所述用户运动的响应级别是第二响应级别时，基于检测到附加事件的时间点来执行与所述用户运动相对应的操作。
依照本公开的另一方面，提供了一种电子设备。所述电子设备包括立即执行与用户语音相对应的命令或者在保持它之后直到检测到附加事件为止执行与所述用户语音相对应的命令，以便根据用户的意图调整执行命令的时间和用于控制电子设备的方法。因此，可以提供一种可以更贴近用户的意图来操作的电子设备和用于控制所述电子设备的方法。
从结合附图公开了本公开的各种实施例的以下具体描述中，本公开的其它方面、优点和显著特征对于本领域的技术人员而言将变得显而易见。
附图说明
从结合附图的以下描述中，本公开的某些实施例的以上及其它方面、特征和优点将更显而易见，在附图中：
图1a是例示了根据本公开的实施例的电子设备和网络的框图；
图1b是例示了根据本公开的实施例的实施方式示例的概念视图；
图2a是例示了根据本公开的实施例的电子设备的框图；
图2b是例示了根据本公开的实施例的电子设备的框图；
图3是例示了根据本公开的实施例的程序模块的框图；
图4是例示了根据本公开的实施例的由电子设备使用的软件的框图；
图5是例示了根据本公开的实施例的用于控制电子设备的方法的流程图；
图6是例示了根据本公开的实施例的电子设备的操作的流程图；
图7a至图7f是例示了根据本公开的各种实施例的电子设备的操作的概念视图；
图8是例示了根据本公开的实施例的用于控制响应级别的方法的流程图；
图9是例示了根据本公开的实施例的用于通过关键词分析来确定响应级别的过程的概念视图；
图10a至图10c是例示了根据本公开的各种实施例的被分类为第一响应级别的数据库的类型的概念视图；
图11a和图11b是例示了根据本公开的各种实施例的用于分类成第二响应级别的过程的概念视图；
图12是例示了根据本公开的实施例的本体的概念视图；
图13是例示了根据本公开的实施例的用于确定响应级别的过程的流程图；
图14a和图14b是例示了根据本公开的各种实施例的呈现并合计分数的示例的概念视图；
图15a和图15b是例示了根据本公开的各种实施例的用于确定响应级别的过程的概念视图；
图16是例示了根据本公开的实施例的用于控制电子设备的方法的流程图；
图17是例示了根据本公开的实施例的用于使用用户识别信息来执行按照响应级别的操作的方法的流程图；
图18a和图18b是例示了根据本公开的各种实施例的电子设备考虑用户识别信息来执行操作的概念视图；
图19a和图19b是例示了根据本公开的各种实施例的用于使用时间信息来执行按照响应级别的方法的流程图；
图20是例示了根据本公开的实施例的用于控制电子设备的方法的流程图；
图21是例示了根据本公开的实施例的用于控制电子设备的方法的流程图；
图22是例示了根据本公开的实施例的用于控制电子设备的方法的流程图；
图23a和图23b是例示了根据本公开的各种实施例的电子设备的操作的概念视图；
图24是例示了根据本公开的实施例的用于控制电子设备的方法的流程图；
图25a至图25c是例示了根据本公开的各种实施例的本体的概念视图；
图26是例示了根据本公开的实施例的用于控制电子设备的方法的流程图；
图27是例示了根据本公开的实施例的电子设备的操作的概念视图；
图28是例示了根据本公开的实施例的电子设备的操作的概念视图；
图29是例示了根据本公开的实施例的用于控制电子设备的方法的流程图；
图30a至图30c是例示了根据本公开的各种实施例的选择硬件的示例的概念视图；
图31是例示了根据本公开的实施例的用于控制电子设备的方法的流程图；
图32是例示了根据本公开的实施例的电子设备的操作的概念视图；
图33是例示了根据本公开的实施例的用于控制电子设备的方法的流程图；
图34a至图34c是例示了根据本公开的各种实施例的电子设备的操作的概念视图；
图35是例示了根据本公开的实施例的用于控制电子设备的方法的流程图；
图36a和图36b是例示了根据本公开的各种实施例的电子设备的操作的概念视图；
图37是例示了根据本公开的实施例的电子设备的操作环境的概念视图；
图38是例示了根据本公开的实施例的在物联网(IoT)环境下的电子设备的操作的流程图；
图39是例示了根据本公开的实施例的用于控制电子设备的方法的流程图；
图40是例示了根据本公开的实施例的用于控制电子设备的方法的流程图；
图41a和图41b是例示了根据本公开的各种实施例的电子设备的操作的概念视图；
图42是例示了根据本公开的实施例的用于控制电子设备的方法的流程图；
图43a和图43b是例示了根据本公开的各种实施例的电子设备的操作的概念视图；以及
图44a和图44b是例示了根据本公开的各种实施例的电子设备的操作的概念视图。
在所有附图中，相似的附图标记将被理解为指代相似的部分、组件和结构。
具体实施方式
参考附图提供以下描述来帮助全面理解如由权利要求及其等同形式所限定的本公开的各种实施例。以下描述包括各种具体细节以帮助该理解，但是这些细节将仅被认为是示例性的。因此，本领域的普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文所描述的各种实施例进行各种变化和修改。此外，为了清楚和简洁，可以省略对公知功能和构造的描述。
在以下描述和权利要求中使用的术语和词不限于书面含义，而是，仅仅由本发明人用来使得能够清楚且一致地理解本公开。因此，对于本领域的技术人员而言应当显而易见的是，本公开的各种实施例的以下描述是仅为了例示目的而提供的，而不是为了限制如由所附权利要求书及其等同形式所限定的本公开的目的而提供的。
应当理解的是，除非上下文另外清楚地规定，否则单数形式“一”、“一个”和“该”包括复数指示物。因此，例如，对“组件表面”的引用包括对此类表面中的一个或更多个的引用。
如本文所使用的，术语“具有”、“可以具有”、“包括”或“可以包括”特征(例如，数目、功能、操作或诸如部件的组件)指示存在该特征，而不排除存在其它特征。
如本文所使用的，术语“A或B”、“A和/或B中的至少一个”或“A和/或B中的一个或更多个”可以包括A和B的所有可能的组合。例如，“A或B”、“A和B中的至少一个”、“A或B中的至少一个”可以指示以下所有情况：(1)包括至少一个A，(2)包括至少一个B，或(3)包括至少一个A和至少一个B。
如本文所使用的，术语“第一”和“第二”可以修饰各种组件，而不管重要性和/或次序如何，并且用于将组件与另一组件区分开而不限制这些组件。例如，第一用户设备和第二用户设备可以指示彼此不同的用户设备，而不管设备的次序或重要性如何。例如，在不脱离本公开的范围的情况下，第一组件可以被表示为第二组件，并且反之亦然。
应理解的是，当一个元件(例如，第一元件)被称为(可操作地或可通信地)“与”另一元件(例如，第二元件)“耦合/连接”或者“耦合到”或“连接到”另一元件时，该元件可以直接与另一元件耦合或连接/直接耦合到或连接到另一元件，或者经由第三元件与另一元件耦合或连接/经由第三元件耦合到或连接到另一元件。相比之下，应理解的是，当一个元件(例如，第一元件)被称为“与”另一元件(例如，第二元件)“直接耦合/连接”或者“直接耦合/连接到”另一元件时，没有其它元件(例如，第三元件)介于该元件与另一元件之间。
如本文所使用的，术语“被配置(或被设定)为”可以根据情况与术语“适用于”、“具有……的能力”、“被设计为”、“被适配为”、“被制成为”或“能够”可互换使用。术语“被配置(或被设定)为”基本上不意指“被专门地在硬件上设计为”。相反，术语“被配置为”可以意味着设备可以与另一设备或部件一起执行操作。例如，术语“被配置(或被设定)为执行A、B和C的处理器)可以意指可以通过运行存储在存储器设备中的一个或更多个软件程序来执行操作的通用处理器(例如，中央处理单元(CPU)或应用处理器(AP))或用于执行操作的专用处理器(例如，嵌入式处理器)。
如本文所使用的术语仅仅被提供来描述本文的一些实施例，而不限制本公开的其它实施例的范围。应当理解的是，除非上下文另外清楚地规定，否则单数形式“一”、“一个”和“该”包括复数引用。本文所使用的包括技术和科学术语的术语具有与本公开的实施例所属领域的普通技术人员通常理解的相同的含义。应进一步理解的是，除非在本文中明确地如此定义，否则术语(诸如常用词典中所定义的那些术语)应当被解释为具有与其在相关领域的上下文中的含义一致的含义，而将不在理想的或过度正式的意义上进行解释。在一些情况下，本文所定义的术语可以被解释为排除本公开的实施例。
例如，根据本公开的实施例的电子设备的示例可以包括以下各项中的至少一种：智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、笔记本计算机、上网本计算机、工作站、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、移动医疗设备、相机或可穿戴设备。根据本公开的实施例，可穿戴设备可以包括以下各项中的至少一种：附件型设备(例如，手表、戒指、手镯、脚环、项链、眼镜、隐形眼镜或头戴式设备(HMD))、织物或衣服集成式设备(例如，电子衣服)、身体附着型设备(例如，皮肤垫(skinpad)或纹身)或身体可植入设备(例如，可植入电路)。
根据本公开的实施例，电子设备可以是家用电器。家用电器的示例可以包括以下电器中的至少一种：电视(TV)、数字视频光盘(DVD)播放器、音频播放器、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、干燥机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、TV盒(例如，Samsung HomeSyncTM、Apple TVTM或Google TVTM)、游戏机(XboxTM、PlayStationTM)、电子词典、电子钥匙、摄录像机或电子相框。
根据本公开的实施例，电子设备的示例可以包括以下各项中的至少一种：各种医疗设备(例如，各种便携式医疗测量设备(血糖测量设备、心跳测量设备或体温测量设备)、磁共振血管造影(MRA)设备、磁共振成像(MRI)设备、计算机断层摄影(CT)设备、成像设备或超声设备)、导航设备、全球导航卫星系统(GNSS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、汽车信息娱乐设备、船用电子设备(例如，船用导航设备或陀螺罗盘)、航空电子设备、安全设备、车辆头单元、工业或家庭机器人、自动取款机(ATM)、销售点(POS)设备或物联网(IoT)设备(例如，灯泡、各种传感器、电表或煤气表、喷水灭火设备、火灾警报器、恒温器、街灯、烤面包机、运动器械、热水箱、加热器或锅炉)。
根据本公开的各种实施例，电子设备的示例可以是以下各项中的至少一种：一件家具或建筑物/结构的一部分、电子板、电子签名接收设备、投影仪或各种测量设备(例如，用于测量水、电、煤气或电磁波的设备)。根据本公开的实施例，电子设备可以是上面列举的设备的一种或组合。根据本公开的实施例，电子设备可以是柔性电子设备。本文所公开的电子设备不限于上面列举的设备，并且可以根据技术的发展而包括新的电子设备。
在下文中，参考附图对根据本公开的各种实施例的电子设备进行描述。如本文所使用的，术语“用户”可以表示使用电子设备的人或另一设备(例如，人工智能电子设备)。
图1a是例示了根据本公开的实施例的电子设备和网络的框图。
参考图1a，电子设备101被包括在网络环境100中。电子设备101可以包括总线110、处理器120、存储器130、输入/输出接口150、显示器160和通信模块170。在一些实施例中，电子设备101可以排除这些组件中的至少一个或者可以添加另一组件。
总线110可以包括用于将组件110至170彼此连接并且在这些组件之间传送通信信息(例如，控制消息和/或数据)的电路。
处理模块120可以包括中央处理单元(CPU)、应用处理器(AP)、通信处理器(CP)、图形处理器(GP)、多芯片封装(MCP)或图像处理器(IP)中的一种或多种。处理器120可以对电子设备101的其它组件中的至少一个执行控制，和/或执行与通信有关的操作或数据处理。
存储器130可以包括易失性存储器和/或非易失性存储器。例如，存储器130可以存储与电子设备101的至少一个其它组件有关的命令或数据。根据本公开的实施例，存储器130可以存储软件和/或程序140。程序140可以包括例如内核141、中间件143、应用程序编程接口(API)145和/或应用程序(或“应用”)147。内核141、中间件143或API 145的至少一部分可以被表示为操作系统(OS)。
例如，内核141可以控制或管理用于执行在其它程序(例如，中间件143、API 145或应用程序147)中实现的操作或功能的系统资源(例如，总线110、处理器120或存储器130)。内核141可以提供允许中间件143、API 145或应用147访问电子设备101的各个组件的接口，以控制或管理系统资源。
例如，中间件143可以用作中继装置，以允许API 145或应用147与内核141传送数据。
进一步地，中间件143可以按照优先级的次序处理从应用程序147接收到的一个或更多个任务请求。例如，中间件143可以给应用程序147中的至少一个分配使用至少一个电子设备101的系统资源(例如，总线110、处理器120或存储器130)的优先级。例如，中间件143可以通过根据分配给至少一个应用程序147的优先级来处理一个或更多个任务请求，从而对一个或更多个任务请求执行调度或负载均衡。
API 145是允许应用147控制从内核141或中间件143提供的功能的接口。例如，API133可以包括用于归档控制、窗口控制、图像处理或文本控制的至少一个接口或功能(例如，命令)。
输入/输出接口150可以用作例如可以将从用户或其它外部设备输入的命令或数据传送到电子设备101的其它组件的接口。进一步地，输入/输出接口150可以将从电子设备101的其它组件接收到的命令或数据输出到用户或其它外部设备。输入/输出接口150可以包括例如触摸输入设备、语音输入单元和各种遥控设备。输入/输出设备150可以是向用户提供特定服务的至少一个或更多个装置。例如，当要传送的信息是声音时，输入/输出接口150可以是扬声器，而当信息是文本或图像内容时，输入/输出设备150可以是显示设备。进一步地，为了在用户不接近电子设备101的情况下提供服务，要输出的数据可以通过通信模块被传送到至少一个或更多个其它电子设备，然后对要输出的数据进行输出。这里，其它电子设备可以是扬声器或其它显示设备。
显示器160可以包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、塑料OLED(POLED)或微机电系统(MEMS)显示器或电子纸显示器。显示器160可以向用户显示例如各种内容(例如，文本、图像、视频、图标或符号)。显示器160可以包括触摸屏并且可以使用电子笔或用户的身体部分来接收例如触摸、手势、接近或悬停输入。
例如，通信模块170可以建立电子设备101与外部设备(例如，第一电子设备102、第二电子设备104或服务器106)之间的通信。例如，通信模块170可以通过无线通信或有线通信与网络162连接，以与外部电子设备(例如，第二外部电子设备104或服务器106)进行通信。通信模块170可以是这样的装置：使得能够与其它电子设备传送至少一个或更多个数据项，并且可以通过至少一个或更多个通信标准(诸如无线保真(Wi-Fi)、ZigBee、蓝牙(BT)、长期演进(LTE)、第三代(3G)或红外(IR)协议)与其它电子设备进行通信。
无线通信可以是蜂窝通信协议并且可以使用例如以下各项中的至少一种：长期演进(LTE)、LTE升级版(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动通信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)。进一步地，无线通信可以包括例如短距离通信164。短距离通信164可以包括无线保真(Wi-Fi)、蓝牙、近场通信(NFC)或全球导航卫星系统(GNSS)中的至少一种。GNSS可以包括例如全球定位系统(GPS)、全球导航卫星系统(Glonass)、北斗导航卫星系统(Beidou)或伽利略(Galileo)或欧洲全球卫星导航系统中的至少一种。在下文中，术语“GPS”和“GNSS”可以在本文中可互换使用。有线连接可以包括例如通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐标准(RS)-232或普通老式电话服务(POTS)中的至少一种。网络162可以包括通信网络(例如，计算机网络(例如，局域网(LAN)或广域网(WAN))、互联网或电话网络中的至少一种。
第一外部电子设备102和第二外部电子设备104各自可以是与电子设备101相同或不同类型的设备。根据本公开的实施例，服务器106可以包括一组一个或更多个服务器。根据本公开的实施例，可以在另一或多个其它电子设备(例如，电子设备102和104或服务器106)上执行在电子设备101上执行的操作中的全部或一些操作。根据本公开的实施例，当电子设备101应当自动地或根据请求执行某个功能或服务时，电子设备101不是自己或附加地执行该功能或服务，而是可以请求另一设备(例如，电子设备102和104或服务器106)来执行与其相关联的至少一些功能。另一电子设备(例如，电子设备102和104或服务器106)可以执行所请求的功能或附加功能并且将执行结果传送到电子设备101。电子设备101可以通过按照所接收到的结果或者对所接收到的结果进行附加处理来提供所请求的功能或服务。为此，例如可以使用云计算、分布式计算或客户端-服务器计算技术。
图1b是例示了根据本公开的实施例的实施方式示例的概念视图。
参考图1b，可以以机器人的形式实现电子设备101。电子设备101可以包括头部分190和身体部分193。头部分190可以被设置在身体部分193上。在一个实施例中，头部分190和身体部分193可以分别按照人类的头和身体的形状来实现。例如，头部分190可以包括与人类的面部的形状相对应的前盖161。电子设备101可以包括被设置在与前盖161相对应的位置处的显示器160。例如，显示器160可以被设置在前盖161内部，并且在这种情况下，前盖161可以由透明或半透明材料形成。或者，前盖161可以是可以显示任何屏幕的设备，并且在这种情况下，前盖161和显示器160可以作为单个硬件设备来实现。前盖161可以包括用于在与用户交互的方向上进行图像感测的至少一个或更多个各种传感器、用于获得语音的至少一个或更多个麦克风以及至少一个或更多个硬件(H/W)或仪器结构，所述至少一个或更多个硬件(H/W)或仪器结构可以是用于输出屏幕的仪器眼结构或显示器，所述屏幕使得能够通过临时仪器变化或以未区分方向的形式的光来显示，并且可以在与用户交互时指引用户。
头部分190可以进一步包括通信模块170和传感器171。通信模块170可以从发送器接收消息并向接收器发送转换后的消息。根据本公开的实施例，通信模块170可以被实现为麦克风，并且在这种情况下，通信模块170可以从用户接收语音。根据本公开的实施例，通信模块170可以被实现为扬声器，并且在这种情况下，通信模块170可以将转换后的消息输出为语音。
传感器171可以获得有关外部环境的至少一种信息。例如，传感器171可以被实现为相机，并且在这种情况下，传感器171可以捕获外部环境。电子设备101可以根据捕获结果来识别接收人。传感器171可以感测接收人接近电子设备101。传感器171可以根据接近信息或者基于来自接收人使用的电子设备的信号来感测接收人的接近。进一步地，传感器171也可以感测用户的动作或位置。
驱动器191可以包括至少一个电机以驱动头部分190，例如，以改变头部分190的方向。驱动器191可以用于移动或通过仪器改变其它组件。进一步地，驱动器191可以具有能够相对于至少一个或更多个轴而向上、向下、向左或向右移动的形式，并且可以被实现为具有各种形式。电源192可以向电子设备101馈送电力。
存储器130是用于永久地或临时地存储与向用户提供服务有关的信息的存储装置。存储器130可以存在于电子设备中或者可以通过网络存在于云或其它服务器中。存储器130可以存储用于用户认证的个人信息、与向用户提供服务的方式有关的属性相关信息或用于掌握可以与电子设备101交互的各种装置之间的关系的信息。这里，关系信息可以随着电子设备101被使用而被更新或者可以被学习和改变。处理器120可以负责电子设备101的控制并且可以在功能上控制传感器171、输入/输出接口150、通信模块170和存储器130以向用户提供服务。进一步地，处理器120或存储器130的至少一部分可以包括信息确定单元，所述信息确定单元可以确定可由电子设备101获得的信息。这里，信息确定单元可以从通过传感器171或通信模块170获得的信息中提取用于服务的至少一种或更多种数据。
同时，电子设备101的机器人型实施方式仅仅是示例(而不限于此)，并且关于实施方式的类型没有限制。例如，电子设备101可以按照它被实现为单个机器人对象的独立类型来实现。电子设备101可以按照牢固地保持平板PC或智能电话的对接站类型来实现。进一步地，电子设备101可以是取决于移动性的固定或移动类型，并且移动类型可以包括使用轮子的移动类型、使用履带车的移动类型、使用腿移动装置(包括两条腿或四条腿)的移动类型和飞行移动类型。
根据本公开的实施例，存储器130可以存储如下指令：执行该指令使得处理器120能够执行以下操作：获得用户语音，确定用户语音的响应级别，当用户语音的响应级别是第一响应级别时，基于获得用户语音的时间点来执行与用户语音相对应的操作，以及当用户语音的响应级别是第二响应级别时，基于检测到附加事件的时间点来执行与用户语音相对应的操作。
根据本公开的实施例，存储器130可以存储如下指令：执行该指令使得处理器120能够通过识别用户语音来获得文本并且基于包括在文本中的关键词是否满足预定规则来确定用户语音的响应级别。
根据本公开的实施例，存储器130可以存储如下指令：执行该指令使得处理器120能够当包括在文本中的关键词满足与第一响应级别相对应的规则时，确定用户语音的响应级别是第一响应级别。与第一响应级别相对应的规则可以包括以下关键词中的至少一个：检测指示电子设备的控制的控制关键词、指示电子设备执行操作的关键词、指示操作被执行所在的地点的关键词或指示执行操作的时间的关键词。
根据本公开的实施例，存储器130可以存储如下指令：执行该指令使得处理器120能够当包括在文本中的关键词满足与第二响应级别相对应的规则时，确定用户语音的响应级别是第二响应级别。对应于与第二响应级别相对应的规则的关键词数据库可以包括以下关键词中的至少一个：检测指示用户的情绪或状态的关键词、指示环境的状态的关键词、指示电子设备的历史记录的关键词、指示执行操作的电子设备的操作的内容的关键词或指示执行操作的电子设备的工作状态的关键词。
根据本公开的实施例，规则(与响应级别相对应)可以包括如下本体：该本体具有根据与用于掌握命令的意图的准确性有关的抽象级别而分类的层并且包括这些层之间的关联信息或所包括的关键词之间的关联信息。
根据本公开的实施例，存储器130可以存储如下指令：执行该指令使得处理器120能够将包括在文本中的关键词与本体进行比较，根据比较的结果向包括在文本中的每个关键词分配分数，并且将所分配的分数的和与预定阈值进行比较以确定用户语音的响应级别。
根据本公开的实施例，存储器130可以存储指令以使得处理器120能够在所分配的分数的和超过第一阈值时，确定用户语音的响应级别是第一响应级别，而在所分配的分数的和超过第二阈值且不超过第一阈值时，确定用户语音的响应级别是第二响应级别。
根据本公开的实施例，参考图1b，存储器130可以存储如下指令：执行该指令使得处理器120能够基于所获得的信息来扩展或更新规则。
根据本公开的实施例，存储器130可以存储如下指令：执行该指令使得处理器120能够以自然语言解释文本并且首先确定作为对自然语言的解释的结果而被分类为动词的关键词是否满足规则。
根据本公开的实施例，存储器130可以存储如下指令：执行该指令使得处理器120能够使用对用户语音的分析的结果或者使用来自另一电子设备的附加信息来获得用户的情绪，并且使用用户的情绪来确定用户语音的响应级别以及是否满足预定规则。
根据本公开的实施例，存储器130可以存储如下指令，执行该指令使得处理器120能够在用户语音的响应级别是第二响应级别时确定与用户语音相对应的候选操作。
根据本公开的实施例，存储器130可以存储如下指令，执行该指令使得处理器120能够输出所确定的候选操作并且在检测到对候选操作中的任何一个进行选择的附加事件时执行所选择的操作。
根据本公开的实施例，存储器130可以存储如下指令，执行该指令使得处理器120能够在检测到另一附加事件时输出所确定的候选操作。
根据本公开的实施例，存储器130可以存储如下本体：该本体具有根据与用于掌握命令的意图的准确性有关的抽象级别而分类的层并且包括这些层之间的关联信息或所包括的关键词之间的关联信息，并且存储器130可以存储如下指令：执行该指令使得处理器120能够通过识别用户语音来获得文本并且通过将包括在文本中的关键词与本体上关联关键词组合来确定候选操作。
根据本公开的实施例，参考图1b，存储器130可以存储如下指令：执行该指令使得处理器120能够获得与用户语音相对应的用户识别信息，并且在用户语音的响应级别是第二响应级别时，根据与附加事件相对应的用户的用户识别信息是否与和用户语音相对应的用户识别信息相同来执行与用户语音相对应的操作。
根据本公开的实施例，存储器130可以存储如下指令：执行该指令使得处理器120能够确定当获得用户语音时的第一时间时，并且在用户语音的响应级别是第二响应级别时，根据第一时间与当检测到附加事件时的第二时间之间的差是否小于预定阈值来执行与用户语音相对应的操作。
根据本公开的实施例，存储器130可以存储如下指令：执行该指令使得处理器120能够获得另一用户语音并将用户语音的响应级别与另一用户语音的响应级别进行比较，并且基于比较结果来执行与用户语音相对应的操作或与另一用户语音相对应的操作中的至少一个。
根据本公开的实施例，存储器130可以存储如下指令：执行该指令使得处理器120能够使用和用户语音相对应的第一用户与和另一用户语音相对应的第二用户之间的关系信息来执行与用户语音相对应的操作或与另一用户语音相对应的操作中的一个。
根据本公开的实施例，存储器130可以存储如下指令：执行该指令使得处理器120能够向对于第一响应级别和第二响应级别中的每一个不同的硬件输出用于执行操作的控制信号。
根据本公开的实施例，存储器130可以存储如下指令：执行该指令使得处理器120能够在用户语音的响应级别是第三响应级别时忽视用户语音。
根据本公开的实施例，存储器130可以存储如下指令：执行该指令使得处理器120能够执行如下操作：检测被设定为运行第一操作的第一事件，确定是否满足关于执行第一操作的限制条件，当不满足关于执行第一操作的限制条件时，基于检测到第一事件的时间点来执行第一操作，以及当满足关于执行第一操作的限制条件时，基于检测到与第一事件不同的第二事件的时间点来执行第一操作。
根据本公开的实施例，存储器130可以存储如下指令：执行该指令使得处理器120能够执行如下操作：获得用户运动，当用户运动的响应级别是第一响应级别时，基于获得用户语音的时间点来执行与用户运动相对应的操作，以及当用户语音的响应级别是第二响应级别时，基于检测到附加事件的时间点来执行与用户运动相对应的操作。
图2a是例示了根据本公开的实施例的电子设备201的框图。
参考图2a，电子设备201可以包括例如图1a和图1b中所示的电子设备101的配置的全部或部分。电子设备201可以包括一个或更多个处理器(例如，应用处理器(AP))210、通信电路或通信模块220、订户识别模块(SIM)224、存储器230、传感器模块240、输入设备250、显示器260、接口270、音频模块280、相机模块291、电源管理模块295、电池296、指示器297和电机298。
处理器210可以通过运行例如操作系统(OS)或应用程序来控制连接到处理器210的多个硬件和软件组件，并且处理器210可以处理和计算各种数据。处理器210可以被实现在例如单片系统(SoC)中。根据本公开的实施例，处理器210可以进一步包括图形处理单元(GPU)和/或图像信号处理器。处理器210可以包括图2a中所示的组件中的至少一些(例如，蜂窝模块221)。处理器210可以在易失性存储器上加载从其它组件中的至少一个(例如，非易失性存储器)接收到的命令或数据，处理该命令或数据，并且将各种数据存储在非易失性存储器中。
通信模块220可以具有与图1a和图1b中所示的通信接口170相同或类似的配置。通信模块220可以包括例如蜂窝模块221、Wi-Fi模块223、BT模块225、GNSS模块227(例如，GPS模块、Glonass模块、Beidou模块或伽利略模块)、近场通信(NFC)模块228和射频(RF)模块229。
蜂窝模块221可以通过例如通信网络来提供语音呼叫、视频呼叫、文本或互联网服务。蜂窝模块221可以使用订户识别模块224(例如，SIM卡)来对通信网络中的电子设备201执行识别或认证。根据本公开的实施例，蜂窝模块221可以执行可由处理器210提供的功能中的至少一些。根据本公开的实施例，蜂窝模块221可以包括通信处理器(CP)。
WI-FI模块223、BT模块225、GNSS模块227或NFC模块228可以包括用于例如处理通过模块传送的数据的处理器。根据本公开的实施例，蜂窝模块221、WI-FI模块223、BT模块225、GNSS模块227或NFC模块228中的至少一些(例如，两个以上)可以被包括在单个集成电路(IC)或IC封装中。
RF模块229可以传送数据，例如通信信号(例如，RF信号)。RF模块229可以包括例如收发器、功率放大器模块(PAM)、频率滤波器、低噪声放大器(LNA)或天线。根据本公开的实施例，蜂窝模块221、WI-FI模块223、BT模块225、GNSS模块227或NFC模块228中的至少一个可以通过单独的RF模块来传送RF信号。
订户识别模块224可以包括例如包括订户识别模块和/或嵌入式SIM的卡，并且可以包含唯一识别信息(例如，集成电路卡识别符(ICCID)或订户信息(例如，国际移动用户身份(IMSI))。
存储器230(例如，存储器130)可以包括例如内部存储器232或外部存储器234。内部存储器232可以包括例如以下各项中的至少一种：易失性存储器(例如，动态随机存取存储器(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM)等)或非易失性存储器(例如，一次可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM、闪速存储器(例如，NAND闪存或NOR闪存)、硬盘驱动器或固态硬盘(SSD))。
外部存储器234可以包括闪存驱动器，例如，紧凑型闪速(CF)存储器、安全数字(SD)存储器、微型SD存储器、迷你SD存储器、极限数字(xD)存储器、多媒体卡(MMC)或记忆棒TM。外部存储器234可以经由各种接口尔在功能上和/或物理上与电子设备201连接。
例如，传感器模块240可以测量物理量或者检测电子设备201的运动状态，并且传感器模块240可以将所测量或检测到的信息转换成电信号。传感器模块240可以包括例如以下传感器中的至少一种：手势传感器240A、陀螺仪传感器240B、气压传感器240C、磁传感器240D、加速度传感器240E、握持传感器240F、接近传感器240G、颜色传感器240H(例如，红色-绿色-蓝色(RGB)传感器)、生物传感器240I、温度/湿度传感器240J、照度传感器240K或紫外(UV)传感器240M。附加地或或者，传感器模块240可以包括其它传感器(未示出)，例如嗅觉传感器或电子鼻(E-nose)传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器或指纹传感器。传感器模块240可以进一步包括用于控制包括在该传感模块中的至少一个或更多个传感器的控制电路。根据本公开的实施例，电子设备201可以进一步包括被配置为控制作为处理器210的一部分或与处理器210分开的传感器模块240的处理器，并且当处理器210处于休眠模式时，电子设备2701可以控制传感器模块240。
输入单元250可以包括例如触摸面板252、数字触针或(数字)笔传感器254、键256或超声输入设备258。触摸面板252可以使用电容式、电阻式、红外或超声方法中的至少一种。触摸面板252可以进一步包括控制电路。触摸面板252可以进一步包括触觉层并且可以给用户提供触觉反应。
(数字)笔传感器254可以包括例如触摸面板的一部分或单独的识别片。键256可以包括例如物理按钮、光学键或键区。超声输入设备258可以通过麦克风(例如，麦克风288)来感测从输入工具产生的超声波，以识别与所感测到的超声波相对应的数据。
显示器260(例如，图1a和图1b中所示的显示器160)可以包括面板262、全息图设备264或投影仪266。面板262可以具有与显示器160相同或类似的配置。可以将面板262实现为柔性的、透明的或可穿戴的。面板262也可以与触摸面板252一起并入在模块中。全息图设备264可以通过使用光干涉来在空中绘制三维(3D)图像(全息图)。投影仪266可以通过将光投影到屏幕上来显示图像。屏幕可以例如位于电子设备201的内部或外部。依照实施例，显示器260可以进一步包括控制电路以控制面板262、全息图设备264或投影仪266。
接口270可以包括例如高清晰度多媒体接口(HDMI)272、USB 274、光学接口276或D超小型(D-sub)278。接口270可以被包括在例如图1a和图1b中所示的通信接口170中。附加地或或者，接口270可以包括移动高清晰度链接(MHL)接口、安全数字(SD)卡/多媒体卡(MMC)接口或红外数据协会(IrDA)标准接口。
例如，音频模块280可以将声音转换成电信号或者反之亦然。音频模块280的至少一部分可以被包括在例如如图1a中所示的输入/输出接口150中。音频模块280可以处理通过例如扬声器282、听筒284、耳机286或麦克风288输入或输出的声音信息。
例如，相机模块291可以是用于记录静止图像和视频的设备，并且根据本公开的实施例，相机模块291可以包括一个或更多个图像传感器(例如，前置传感器和后置传感器)、透镜、图像信号处理器(ISP)或诸如LED或氙灯的闪光灯。
例如，电源管理器模块295可以管理电子设备201的电力。根据本公开的实施例，电源管理器模块295可以包括电源管理集成电路(PMIC)、充电器IC或电池或燃料计。PMIC可以具有有线和/或无线充电方案。无线充电方案可以包括例如磁共振方案、磁感应方案或基于电磁波的方案，并且可以添加诸如线圈回路、谐振电路、整流器等的附加电路以用于无线充电。电池计可以在电池296正被充电的同时测量电池296的剩余电量、电压、电流或温度。电池296可以包括例如可再充电电池或太阳能电池。
指示器297可以指示电子设备201或电子设备的一部分(例如，处理器210)的特定状态，包括例如启动状态、消息状态或再充电状态。电机298可以将电信号转换为机械振动并且可以产生振动或触觉效果。尽管未示出，然而用于支持移动TV的处理单元(诸如GPU)可以被包括在电子设备201中。用于支持移动TV的处理单元可以遵循数字多媒体广播(DMB)、数字视频广播(DVB)或mediaFloTM标准来处理媒体数据。
电子设备的前述组件中的每一个可以包括一个或更多个部分，并且该部分的名称可以随电子设备的类型而变化。依照本公开的各种实施例的电子设备可以包括前述组件中的至少一个、省略这些组件中的一些、或者包括其它附加组件。可以将一些组件组合成一个实体，但是该实体可以执行与这些组件可以完成的相同的功能。
图2b是例示了根据本公开的实施例的电子设备的框图。
参考图2b，处理器210可以与图像识别模块241连接。进一步地，处理器可以与行为(或动作)模块244连接。图像识别模块241可以包括二维(2D)相机242和深度相机243中的至少一种。图像识别模块241可以基于捕获到的结果来执行识别并且将识别出的结果传送到处理器210。行为模块244可以包括面部表情电机245、身体姿势电机246和移动电机247中的至少一种。处理器210可以控制面部表情电机245、身体姿势电机246和移动电机247中的至少一种，从而控制以机器人的形式实现的电子设备101的移动。电子设备101除了包括图2a中所示的元件之外还可以包括图2b中所示的元件。
图3是例示了根据本公开的实施例的程序模块的框图。
参考图3，程序模块310(例如，图1a中所示的程序140)可以包括控制与电子设备(例如，电子设备101)有关的资源的操作系统(OS)和/或在该操作系统(OS)上驱动的各种应用(例如，应用处理器(AP)147)。OS可以包括例如AndroidTM、iOSTM、WindowsTM、或
程序310可以包括例如内核320、中间件330、应用程序编程接口(API)360和/或应用370。程序模块310的至少一部分可以被预加载在电子设备上或者可以从外部电子设备(例如，图1a中所示的电子设备102和104或服务器106)下载。
内核320(例如，图1a中所示的内核141)可以包括例如系统资源管理器321和/或设备驱动器323。系统资源管理器321可以执行系统资源的控制、分配或回收。根据本公开的实施例，系统资源管理器321可以包括进程管理单元、存储器管理单元或文件系统管理单元。设备驱动器323可以包括例如显示器驱动器、相机驱动器、BT驱动器、共享存储器驱动器、USB驱动器、键区驱动器、Wi-Fi驱动器、音频驱动器或进程间通信(IPC)驱动器。
中间件330可以通过API 360向应用370提供各种功能，使得应用370可以高效地使用电子设备中的有限的系统资源或者提供应用370共同需要的功能。根据本公开的实施例，中间件330(例如，中间件143)可以包括以下各项中的至少一种：运行时库335、应用管理器341、窗口管理器342、多媒体管理器343、资源管理器344、电源管理器345、数据库管理器346、包管理器347、连接管理器348、通知管理器349、位置管理器350、图形管理器351或安全管理器352。
运行时库335可以包括由编译器使用的库模块，以便在例如正在执行应用370的同时通过编程语言来添加新功能。运行时库335可以对算术函数执行输入/输出管理、存储器管理或操作。
应用管理器341可以管理例如应用370中的至少一个应用的生命周期。窗口管理器342可以管理在屏幕上使用的GUI资源。多媒体管理器343可以掌握播放各种媒体文件所必需的格式并且使用适于该格式的编解码器来对媒体文件执行编码或解码。资源管理器344可以管理资源，诸如应用370的至少一个的源代码、存储器或存储空间。
电源管理器345可以与例如基本输入/输出系统(BIOS)一起操作以管理电池或电力并且提供操作电子设备所必需的电力信息。数据库管理器346可以生成、搜索或改变要在应用370的至少一个中使用的数据库。包管理器347可以管理以包文件的形式分发的应用的安装或更新。
连接管理器348可以管理无线连接，诸如例如Wi-Fi或BT。通知管理器349可以在不干扰用户的情况下，显示或通知用户的事件，诸如收到的消息、约会或接近通知。位置管理器350可以管理关于电子设备的位置信息。图形管理器351可以管理要提供给用户的图形效果及其相关用户界面。安全管理器352可以提供系统安全或用户认证所必需的各种安全功能。根据本公开的实施例，当电子设备(例如，电子设备101)具有电话功能时，中间件330可以进一步包括用于管理电子设备的语音呼叫或视频呼叫功能的电话管理器。
中间件330可以包括形成上述组件的各种功能的组合的中间件模块。中间件330可以按照操作系统(OS)的类型来提供指定的模块，以便提供不同的功能。进一步地，中间件330可以动态地省略一些现有的组件或者添加新的组件。
API 360(例如，API 145)例如可以是一组API编程函数并且可以根据操作系统而具有不同的配置。例如，在AndroidTM或iOSTM的情况下，每个平台可以提供一个API集合，而在的情况下，每个平台可以提供两个以上的API集合。
应用370(例如，应用处理器(AP)147)可以包括一个或更多个应用，所述一个或更多个应用可以提供诸如例如以下各项的功能：起始键371、拨号器372、短消息服务(SMS)/多媒体消息传送服务(MMS)373、即时消息(IM)374、浏览器375、相机376、闹钟377、联系人378、语音拨号379、电子邮件380、日历381、媒体播放器382、相册383或时钟384、医疗保健(例如，测量运动量或血糖)或提供环境信息(例如，提供气压、湿度或温度信息)。
根据本公开的实施例，应用370可以包括支持电子设备(例如，电子设备101)与外部电子设备(例如，图1a中所示的电子设备102和104)之间的信息交换的应用(在下文中，为了方便为“信息交换应用”)。信息交换应用的示例可以包括但不限于用于将特定信息传送到外部电子设备的通知中继应用或用于管理外部电子设备的设备管理应用。
例如，通知中继应用可以包括用于将从电子设备的其它应用(例如，SMS/MMS应用、电子邮件应用、医疗保健应用或环境信息应用)生成的通知信息中继到外部电子设备(例如，电子设备102和104)的功能。进一步地，通知中继应用可以从例如外部电子设备接收通知信息并且可以将所接收到的通知信息提供给用户。
设备管理应用可以执行与电子设备进行通信的外部电子设备(例如，电子设备102或104)的至少一些功能(例如，打开/关闭外部电子设备(或外部电子设备的一些组件)或者控制显示器的亮度(或分辨率))，并且设备管理应用可以管理(例如，安装、删除或更新)在外部电子设备中操作的应用或从外部电子设备提供的服务(例如，呼叫服务或消息服务)。
根据本公开的实施例，应用370可以包括根据外部电子设备(例如，图1a中所示的电子设备102和104)的属性所指定的应用(例如，移动医疗设备的医疗保健应用)。根据本公开的实施例，应用370可以包括从外部电子设备(例如，服务器106或电子设备102和104)接收到的应用。根据本公开的实施例，应用370可以包括预加载的应用或可从服务器下载的第三方应用。根据所示实施例的程序模块310的组件的名称可以根据操作系统(OS)的类型而变化。
图4是例示了根据本公开的实施例的由电子设备使用的软件的框图。
参考图4，操作系统(OS)410可以控制各种硬件设备，诸如深度相机402、RGB相机403、传感器404、触摸传感器405和麦克风406，而同时扮演作为通用操作系统的角色，诸如分发电子设备101的资源并处理作业调度，并且可以处理从硬件设备402、403、404、405和406输入的信号。
中间件430可以使用经信号处理的数据来执行以下操作：对用户的3D手势的识别(例如，手势识别431)、通过面部识别或跟踪用户的面部的位置的认证(例如，面部检测/跟踪识别432)、对传感器信息的处理(例如，传感器信息处理433)、对话引擎驱动(例如，对话引擎434)、语音合成435、对音频信号上的进入位置(到达方向(DOA))的跟踪(例如，声源跟踪436)和语音识别437。
智能框架450可以包括多模态会聚块451、用户模式学习块452和行为控制块453。多模态会聚块451可以编译和管理由中间件430处理的各种信息。用户模式学习块452可以使用多模态会聚模块信息来提取和学习有意义的信息，诸如用户的生活模式或偏好。行为控制块453可以以例如移动、图形、照明、语音、响应或话音或音频或声音的形式来表示由电子设备101反馈回给用户的信息。电机460可以表示移动，显示器470可以表示图形和光，并且扬声器480可以表示语音、响应和声音。
数据库420可以存储由智能框架450根据用户学习的信息。数据库420可以包括用户模型数据库441、用于控制电子设备的行为的运动数据或行为模型数据库442以及存储其它信息的存储装置443。数据库420中的信息可以与另一电子设备401共享。
图5是例示了根据本公开的实施例的用于控制电子设备的方法的流程图。
参考图5，在操作510中，电子设备101可以获得用户语音。根据本公开的实施例，电子设备101可以通过它包含的麦克风来获得用户语音。麦克风可以是可以将进入的外部语音转换成电信号并输出转换后的电信号的电子设备，并且在其实现方式方面不受限制。在这种情况下，电子设备101可以被实现为可以获得并处理用户语音并且执行与其相对应的操作的独立电子设备。根据另一实施例，电子设备101可以从包括麦克风的另一电子设备获得用户语音。包括麦克风的另一电子设备可以获得外部语音，将所获得的语音转换成电信号，并且将转换后的电信号发送到电子设备101。在这种情况下，电子设备101可以使用从另一电子设备接收到的电信号来执行与用户语音相对应的命令，并且电子设备101可以被实现为配置例如物联网(IoT)环境的电子设备。或者，电子设备101可以使用从另一电子设备接收到的电信号来将与用户语音相对应的命令发送到第三电子设备。在这种情况下，电子设备101可以被实现为负责IoT或网络的服务器。
在操作520中，电子设备101可以对所获得的用户语音进行分析并使用分析结果来确定响应级别。根据本公开的实施例，电子设备101可以对用户语音应用各种语音识别算法。语音识别算法可以是可以将语音作为输入值来处理并且输出与语音相对应的文本的输出值的算法，但是在类型上不限于此。
参考图1a、图1b和图5，电子设备101可以分析作为语音识别算法的输出值的文本，并且确定与用户语音相对应的响应级别。这里，响应级别可以是与用户语音所对应的命令被执行的时间相关联的响应级别。根据本公开的实施例，当电子设备101确定第一用户语音的响应级别是第一响应级别时，电子设备101可以处理与获得第一用户语音的时间相对应的第一用户语音所对应的第一操作。当电子设备101确定第二用户语音的响应级别是第二响应级别时，电子设备101可以在获得第二用户语音时停止并推迟处理与第二用户语音相对应的第二操作。电子设备101可以监测与第二用户语音有关的附加事件，并且在检测到与第二用户语音有关的附加事件时，电子设备101可以执行与检测到事件的时间相对应的第二用户语音所对应的第二操作。或者，电子设备101可以提供与第二用户语音有关的询问反馈，并且在检测到来自用户的对询问反馈的响应时，电子设备101可以执行与检测到用户的响应的时间相对应的第二操作。当电子设备101确定第三用户语音的响应级别是第三响应级别时，电子设备101可以忽视第三用户语音的响应级别。尽管已经在上面描述了电子设备101建立三个响应级别的示例，然而这仅仅是示例(而不限于此)。本领域的普通技术人员将了解的是，当电子设备101建立的响应时间(即执行命令的时间)不同时，实现响应级别的示例不受限制。电子设备101可以根据文本是否包含特定词来确定响应级别。或者，电子设备101可以分别向文本中的词分配分数，并且可以基于例如合计分数的结果来确定响应级别。在下面更详细地描述由电子设备101确定响应级别的过程。
在操作530中，参考图5，电子设备101可以根据所确定的响应级别来执行操作。电子设备101可以预先存储所输入的用户语音与所设定的操作之间的关联信息。例如，电子设备101可以预先存储通过将用户语音“打开TV”与操作“向TV发送打开信号”进行映射所获得的关联信息。同时，根据本公开的实施例，电子设备101也可以处理未显式地存储在关联信息中的用户语音。具体地，电子设备101可以识别如下内容：识别用户语音的文本未被登记在预先存储的关联信息中。在这种情况下，电子设备101可以将文本中的组件与预先存储的用户语音进行比较并且可以基于相似性来确定与用户语音相对应的操作。例如，可以假定电子设备101将文本“TV上是什么？”获得为识别用户语音的结果。电子设备101可以识别预先存储的包括文本的组件“TV”的用户语音“打开TV”并且可以将“向TV发送打开信号”识别为与用户语音相对应的操作。或者，电子设备101可以使用例如本体来推理与用户语音相对应的操作。例如，可以假定电子设备101将文本“让我们观看电影”获得为识别用户语音的结果。电子设备101可以将“TV”识别为与文本的组件“观看”和“电影”相关联的词并且可以识别与其相关联的操作“打开TV”和“向TV发送打开信号”。电子设备101可以进一步使用附加信息或用户反馈来识别操作。在下面更详细地描述由电子设备101确定操作的上述过程。用于处理用户的语音并且根据处理结果确定操作的算法或程序可以通过深度学习或机器学习技术来产生。
电子设备101可以根据操作级别来执行操作。如上面所阐述的，例如，当用户语音的响应级别是第一响应级别时，电子设备101可以执行针对该用户语音而设定的操作。例如，当用户语音的响应级别是第二响应级别时，电子设备101可以监测附加事件，并且在检测到附加事件时，它可以执行针对该用户语音而设定的操作。或者，当用户语音的响应级别是第二响应级别时，电子设备101可以提供给出例如候选操作的反馈，并且可以执行由用户选择的操作。例如，当用户语音的响应级别是第三响应级别时，电子设备101可以忽略用户语音。
如上所述，根据本公开的实施例，电子设备101可以根据与用户语音相对应的响应级别来执行操作，并且电子设备101因此可以提供执行与用户的意图一致的命令的功能。
图6是例示了根据本公开的实施例的电子设备的操作的流程图。
参考图6，在操作610中，电子设备101可以获得用户语音。如上所述，根据本公开的实施例，电子设备101可以通过麦克风获得用户语音或者从另一电子设备接收用户语音。
在操作620中，电子设备101可以对所获得的用户语音进行分析。电子设备101可以对所获得的用户语音进行识别以获得文本。电子设备101可以识别与文本相对应的响应级别。电子设备101可以根据文本是否包含特定词来确定响应级别。或者，电子设备101可以分别向文本中的词分配分数，并且可以基于例如合计分数的结果来确定响应级别。在下面更详细地描述由电子设备101确定响应级别的过程。
在操作630中，电子设备101可以确定用户语音是否处于第一响应级别。在操作640中，电子设备101可以执行与用户语音相对应的操作。电子设备101可以执行与获得用户语音的时间相对应的用户语音所对应的操作。例如，电子设备101可以在获得用户语音时立即执行操作。电子设备101可以确定用户语音“打开TV”处于第一响应级别并且可以立即执行与其相对应的操作“向TV发送打开信号”。或者，电子设备101可以确定用户语音“在6点钟打开TV”处于第一响应级并且在对应于用户语音的6点钟执行其对应操作“向TV发送打开信号”。
在操作650中，电子设备101可以确定用户语音是否处于第二响应级别。在操作660中，电子设备101可以监测是否在预定时间内检测到附加事件。在操作670中，当检测到附加事件时，电子设备101可以执行与用户语音相对应的操作。附加事件的类型不受限制，并且根据本公开的实施例，电子设备101可以显示候选操作并且按照用户的选择来执行操作。
除非检测到附加事件，否则在操作680中电子设备101可以确定用户语音处于第三响应级别并且不执行操作。例如，电子设备101可以将用户语音的响应级别从第二响应级别调整到第三响应级别。或者，除非用户语音被确定为处于第一响应级别或第二响应级别，否则在操作680中电子设备101可以确定用户语音处于第三响应级别并且不执行操作。
同时，尽管在图6的实施例中示出了三种类型的响应级别，然而这仅仅是示例(而不限于此)，并且根据本公开的实施例，电子设备101可以在数目上不受限制的情况下建立多个响应级别，并且每个响应级别建立不同的操作。
图7a至图7f是例示了根据本公开的各种实施例的电子设备的操作的概念视图。
参考图7a，电子设备101可以与用户701间隔距离d1。电子设备101可以从用户701获得用户语音702。在图7a的实施例中，电子设备101可以被实现为机器人并且可以负责家庭网络。具体地，电子设备101可以执行以下操作：发送控制布置在家庭中的各种电子设备的控制信号，从各种电子设备接收信号，并且处理这些信号。同时，尽管在图7a的实施例中，电子设备101被示出为负责家庭网络，然而这仅仅是示例(而不限于此)，并且电子设备101可以负责诸如办公室环境的各种环境。或者，电子设备101可以独立操作而不与其它电子设备交互。
例如，假定电子设备101获得用户语音702“打开空调”。电子设备101可以确定用户语音702的响应级别是第一响应级别。例如，电子设备101可以基于通过识别包含控制关键词“打开”的用户语音702所获得的文本来确定用户语音702的响应级别是第一响应级别。同时，电子设备101根据是否包含特定关键词来确定用户语音的响应级别仅仅是示例(而不限于此)，并且下面更详细地描述用于确定响应级别的各种实施例。
当用户语音702的响应级别被确定为第一响应级别时，电子设备101可以立即执行与用户语音702相对应的操作。例如，电子设备101可以将用户语音“打开空调”与操作“向空调发送打开信号”相关联并存储它们。电子设备101可以使用关联信息来将打开信号720发送到与用户语音702相对应的空调710。这里，短语“立即执行操作”可以意指在从特定时间起的预定阈值时间内执行操作或者也可以意指甚至在没有单独的附加参与的情况下执行特定操作。
同时，尽管在根据图7a的实施例的配置中，电子设备101处理用户语音702并且将打开信号720发送到空调710，然而这仅仅是示例(而不限于此)。根据本公开的实施例，空调710可以直接获得用户语音702并且以第一响应级别处理用户语音702，从而执行立即打开。
图7b至图7f是例示了根据本公开的各种实施例的第二响应级别处理的概念视图。
首先参考图7b，电子设备101可以获得用户语音703“天气热”。电子设备101可以确定用户语音703的响应级别是第二响应级别。例如，电子设备101可以基于通过识别用户语音703所获得的文本的组件“热”是指示情绪或状态的关键词的事实来确定用户语音703的响应级别是第二响应级别。电子设备101可以基于用户语音703处于第二响应级别来推迟执行与用户语音703相对应的操作。进一步地，电子设备101可以确定与用户语音703相对应的候选操作。例如，电子设备101可以确定与用户语音703相对应的候选操作。例如，电子设备101可以将如下这样的候选操作确定为与文本“热”相关联：“向空调发送打开信号”、“向电风扇发送打开信号”、“向窗户打开/关闭设备发送打开信号”。电子设备101可以预先将状态相关的关键词“热”与指示设备的关键词(诸如“空调”、“电风扇”和“窗户打开/关闭设备”)相关联并存储它们。电子设备101可以确定与关键词有关的候选操作。或者，电子设备101可以将状态相关的关键词“热”与诸如以下的候选操作相关联并存储它们：“向空调发送打开信号”、“向电风扇发送打开信号”或“向窗户打开/关闭设备发送打开信号”，并且电子设备101可以根据关联信息来确定候选操作。
电子设备101可以在确定候选操作之后监测附加事件。参考图7c，电子设备101可以检测用户701与电子设备101的接近程度在距离d2内。例如，电子设备101可以预先将“用户的接近”存储为附加事件。电子设备101可以使用接近传感器或深度相机来获得用户702与电子设备101之间的距离。当用户702与电子设备101之间的距离小于预定阈值时，电子设备101可以确定检测到附加事件“用户的接近”。电子设备101可以执行与检测到附加事件相对应的设定操作。例如，如图7c中所示，电子设备101可以提供包括候选操作的语音输出704。例如，电子设备101可以提供诸如“想要打开空调、电风扇和窗户打开/关闭设备中的一个吗？”的语音输出704。电子设备101可以以各种方式输出候选操作，例如通过显示候选操作。
用户701可以产生/发出用于选择电子设备101的一个候选操作的用户语音705。例如，如图7d中所示，用户701可以产生用户语音705“打开电风扇”。电子设备101可以获得并识别用户语音705并且向电风扇711发送用于打开电风扇的控制信号721。根据本公开的实施例，电子设备101可以处理附加事件中的用户语音705并发送控制信号721。根据另一实施例，电子设备101可以按照第一响应级别来处理用户语音705并发送控制信号721。
根据本公开的实施例，电子设备101可以将候选操作发送到由用户佩戴或携带的电子设备。用户可以通过他/她佩戴或携带的电子设备来选择候选操作中的一个。由用户佩戴或携带的电子设备可以将所选择的信息发送到电子设备101，并且电子设备101可以使用接收到的所选择的信息来执行候选操作中的至少一个。
同时，根据本公开的实施例，电子设备101可以将“用户与另一电子设备之间的接近”存储为附加事件。例如，如图7e中所示，用户701可以在距离d3内接近(如由虚线箭头706指出的)窗户打开/关闭设备712。在确定用户701与窗户打开/关闭设备712之间的距离d3小于预定阈值时，电子设备101可以确定检测到“用户与另一电子设备之间的接近”的附加事件。电子设备101可以用户701进行跟踪和图像捕获，并且基于对所捕获的图像的分析的结果来检测用户701与窗户打开/关闭设备712之间的接近的附加事件。或者，电子设备101可以通过从窗口打开/关闭设备712接收关于用户701接近的信息来检测附加事件。或者，电子设备101可以通过接收关于捕获家庭网络到对象的电子设备(例如，相机)图像的信息来检测附加事件。
电子设备101可以向与检测到的附加事件相对应的窗户打开/关闭设备712发送用于打开窗户打开/关闭设备712的控制信号722。因此，即使当用户701他自己/她自己未打开窗户时，电子设备101也可以执行与用户的意图一致的操作。
参考图7f，根据本公开的实施例，电子设备101可以包括用于移动例如电机的驱动装置。在确定与用户语音相对应的响应级别是第二响应级别时，电子设备101可以移动740。电子设备101可以朝向用户701移动(如由箭头740指出的)，并且因此，用户701与电子设备101之间的距离可以从d1减少到d2。在确定用户701与电子设备101之间的距离是d2时，电子设备101可以输出包括候选操作的语音704或者显示包括候选操作的画面。电子设备101在检测到来自用户701的对候选操作中的一个的选择时，可以执行与该选择相对应的操作。
如上所述，根据本公开的实施例，电子设备101可以执行被设定为每个响应级别不同的操作。特别地，即使当用户产生其意图不清楚的命令时，电子设备101也可以执行被设定为符合用户的意图的操作。
图8是例示了根据本公开的实施例的用于控制响应级别的方法的流程图。
参考图8，在操作810中，电子设备101可以获得用户语音。在操作820中，电子设备101可以对用户语音进行分析。例如，电子设备101可以通过对用户语音应用语音识别算法来获得文本。
在操作830中，电子设备101可以确定用户语音是否包含控制关键词。当用户语音包含控制关键词时，在操作840中电子设备101可以确定用户语音处于第一响应级别。电子设备101可以预先存储控制关键词。例如，电子设备101可以预先存储诸如“打开”、“运行”和“开始”的控制关键词。当用户语音包含控制关键词时，电子设备101可以确定用户语音的响应级别是第一响应级别。
在操作850中，电子设备101可以确定用户语音是否包含指示情绪或状态的关键词。在确定用户语音包含指示情绪或状态的关键词时，在操作860中电子设备101可以确定用户语音的响应级别是第二响应级别。电子设备101可以预先存储情绪或状态关键词。例如，电子设备101可以存储诸如“无聊”、“可怕”和“高兴”的指示用户的情绪的关键词以及诸如“热”、“冷”和“冷冻”的指示环境的状态的关键词。本领域的普通技术人员将了解的是，由电子设备101存储用来确定响应级别是第二响应级别的关键词未被具体地限制，只要它们是需要电子设备的操作来实现用户所期望的关键词即可。
同时，当不包括控制关键词或指示情绪或状态的关键词时，在操作870中电子设备101可以确定用户语音处于第三响应级别。
图9是例示了根据本公开的实施例的用于通过关键词分析来确定响应级别的过程的概念视图。
参考图9，电子设备101可以预先存储关键词数据库1010。电子设备101可以将控制关键词1020存储在关键词数据库1010中。控制关键词1020可以包括意指对电子设备的控制的关键词，诸如“打开(1021)”、“开始(1022)”和“运行(1023)”。尽管在图9的实施例中，公开了用于打开电子设备的控制关键词，然而这仅仅是示例(而不限于此)。控制关键词1020不受限制，只要它们是可以引发电子设备的操作(诸如关闭、改变频道或者改变温度)的关键词即可。根据本公开的实施例，电子设备101可以存储预设规则。这里，预设规则可以与关键词是否被包括在关键词数据库1010中有关。
电子设备101可以接收用户语音1030，将所包括的组件1031与控制关键词1020进行比较，并且确定所映射的控制关键词1021。电子设备101可以将具有与预先存储在关键词数据库1010中的控制关键词1020相对应的关键词1040的用户语音1030分类为第一响应级别1051。根据本公开的实施例，电子设备101可以确定所包括的组件是否满足预设规则。例如，电子设备101可以将对控制关键词的检测存储为与第一响应级别相对应的规则。例如，电子设备101可以将对状态关键词的检测存储为与第二响应级别1052(或与第三响应级别1053)相对应的规则。当电子设备101从用户语音中检测到控制关键词时，电子设备101可以确定满足与第一响应级别相对应的规则，并且该电子设备101可以将用户语音1030分类为第一响应级别1051。
图10a至图10c是例示了根据本公开的各种实施例的被分类为第一响应级别的数据库的类型的概念视图。
参考图10a，电子设备101可以在关键词数据库1010中存储指示电子设备的关键词1060，诸如“TV(1061)”、“电视(1062)”或“显示器(1063)”。电子设备101可以将包括与指示电子设备的关键词1060相对应的组件的用户语音分类为第一响应级别1051。同时，电子设备101可以将内容1064、工作状态1065、历史记录1066和用户状态1067与指示电子设备的关键词1060相关联地存储为第一响应级别1051。这里，内容1064指示例如电影或电视剧(TV演出)，并且可以包括与内容有关的较低级别的关键词。工作状态1065可以包括与电子设备的操作有关的关键词。历史记录1066可以包括指示信息(诸如电子设备的使用历史记录)的关键词。用户状态1067可以包括指示用户的状态的各种关键词。
电子设备101可以使用相关联地存储的关键词1064至1067来确定与用户语音相对应的操作或候选操作。同时，电子设备101可以将包括包含相关联地存储的关键词1064至1067的关键词的用户语音分类为第二响应级别1062。
参考图10b，电子设备101可以在关键词数据库1010中存储指示地点的关键词1070，诸如“厨房(1071)”、“烹饪室(1072)”或“起居室(1073)”。电子设备101可以将包括与指示地点的关键词1070相对应的组件的用户语音分类为第一响应级别1051。同时，电子设备101可以将地点相关操作1074、地点相关对象1075、历史记录1076和用户状态1077与指示该地点的关键词1070相关联地存储。地点相关操作1074可以包括可在诸如厨房、烹饪室或起居室的各种地方中进行的操作的关键词。地点相关对象1075可以包括布置在该地点中的对象的关键词。历史记录1076可以包括与在该地点中执行的历史记录有关的关键词。用户状态1077可以包括指示用户的状态的关键词。
电子设备101可以使用相关联地存储的关键词1074至1077来确定与用户语音相对应的操作或候选操作。同时，电子设备101可以将包括包含相关联地存储的关键词1074至1077的关键词的用户语音分类为第二响应级别1062。
参考图10c，电子设备101可以在关键词数据库1010中存储指示时间的关键词1080，诸如“在9点钟(1081)”、“在21点钟(1082)”或“三小时以后(1083)”。电子设备101可以将包括与指示时间的关键词1080相对应的组件的用户语音分类为第一响应级别1051。同时，电子设备101可以将关键词(诸如环境信息1084、工作状态1085、历史记录1086或用户状态1087)与指示时间的关键词1080相关联地存储。环境信息1084可以包括指示周围环境的关键词。工作状态1085可以包括指示电子设备的操作的关键词。历史记录1086可以包括指示电子设备的操作历史记录的关键词。用户状态1087可以包括指示用户的状态的关键词。
电子设备101可以使用相关联地存储的关键词1084至1087来确定与用户语音相对应的操作或候选操作。同时，电子设备101可以将包括包含相关联地存储的关键词1084至1087的关键词的用户语音分类为第二响应级别1062。
根据本公开的实施例，当各种类型的关键词被混合时，可以向每个关键词分配权重，并且可以根据权重的和来确定响应级别。
图11a和图11b是例示了根据本公开的各种实施例的用于分类为第二响应级别的过程的概念视图。
参考图11a，电子设备101可以将控制关键词1020存储在关键词数据库1010中并且可以与其相关联地存储用户情绪(状态)1131的关键词、工作状态1132、历史记录1133或用户响应/反应1134。电子设备101可以将包括所存储的与控制关键词1020相关联的关键词1131、1132、1133和1134所对应的组件的用户语音分类为第二响应级别1052。例如，如图11b中所示，电子设备101可以获得用户语音1140“天气好热”。电子设备101可以将指示设备的关键词1120存储在关键词数据库1020中。指示设备的关键词1120可以包括空调1121、电风扇1122或窗户打开/关闭设备1123。电子设备101可以包括与指示设备的关键词1120相关联的指示状态的关键词1130，并且指示状态的关键词1130可以包括例如“热(1131)”或“温度(1132)”。电子设备101可以将包括与指示状态(1131)的关键词1130相对应的组件“热(1141)”的用户语音1140分类为第二响应级别1052。进一步地，电子设备101可以确定与用户语音1140相对应的操作是与和指示状态的关键词1130相关联的关键词1120所关联的操作中的至少一个。电子设备101可以执行以下操作：接收用户语音1140，将所包括的组件1141与控制关键词1130进行比较，并且确定1150连接状态1131。
图12是例示了根据本公开的实施例的本体的概念视图。
参考图12，电子设备101可以存储具有第一含义的关键词1201并且可以存储具有与第一含义相关联的第二含义的关键词1211、1212、1213和1214。进一步地，电子设备101可以存储与具有第二含义的关键词1211相关联的具有第三含义的关键词1221、1222、1223和1224。例如，像在上述示例中那样，第一含义关键词1201可以是指示电子设备的关键词，诸如“空调”。第二含义关键词1211可以是指示与电子设备的操作条件相关联的状态的关键词，诸如“热”。第三含义关键词1221可以是与状态相关联的关键词，例如“温度”。电子设备101可以使用本体来确定用户语音的响应级别并且可以确定与用户语音相对应的操作或候选操作。电子设备101可以学习或更新本体。电子设备101可以通过基于深度学习或机器学习技术来扩展关键词之间的相关性，从而学习和更新各种类型的本体。电子设备101可以将包括例如第一含义关键词1201的用户语音分类为第一响应级别并且可以将包括第二含义关键词1211至1214或第三含义关键词1221至1224的用户语音分类为第二响应级别。进一步地，电子设备101可以将与包括第二含义关键词1211的用户语音相对应的操作或候选操作确定为包括第一含义1201、第二含义1211至1214或第三含义1221至1224中的至少一种的操作。下面更详细地描述用于由电子设备101确定与用户语音相对应的操作或候选操作的配置。可以根据抽象程度(例如，由标记为“抽象”的箭头表示的)对本体的第一含义、第二含义和第三含义进行分类。这里，抽象程度可以是被设定为与命令的意图是否清楚成反比的程度。例如，电子设备的识别符、操作、操作时间和操作地点可以是相对清楚地指示命令的意图的关键词并且可以具有相对较低的抽象程度。指示执行电子设备的操作的条件(例如，用户的情绪，用户的状态和周围环境相关的信息)的关键词可以是不能清楚地指示意图的关键词并且可以具有相对较高的抽象程度。如上所述，电子设备101可以预先存储本体并且根据学习的结果来扩展或更新本体。本体可以用于关键词映射并且也可以被用于分配分数，下面参考图14a和图14b对此进行更详细的描述。
如上所述，根据本公开的实施例，电子设备可以基于用户语音是否包含关键词数据库中所包括的组件来确定响应级别。
图13是例示了根据本公开的实施例的用于确定响应级别的过程的流程图。参考图14a和14b对图13的实施例进行更详细的描述。图14a和图14b是例示了根据本公开的实施例的呈现并合计分数的示例的概念视图。
参考图13，在操作1310中，电子设备101可以获得用户语音。在操作1320中，电子设备101可以对用户语音进行分析。在操作1330中，电子设备101可以确定与在用户语音中识别出的词相对应的分数。具体地，电子设备101可以通过对用户语音应用语音识别算法来获得文本。同时，电子设备101可以预先存储用于分配分数的本体。例如，如图14a中所示，电子设备101可以在本体上存储与第一含义关键词“TV(1420)”和“动作(1450)”有关的关键词1451、1452和1453。尽管在本体层面中将“TV(1420)”示出为被设置在比“动作(1450)”的级别更高的级别上，然而这仅仅用于例示关联并且可以不直接描述层级。电子设备101可以为作为第一含义关键词“TV(1420)”预先设定分数b。电子设备101可以为第一含义关键词“动作(1450)”预先设定分数a。作为示例，可以将分数d设定为比分数a更高。电子设备101可以为与第二含义关键词“内容(1430)”有关的关键词1441、1442和1443设定分数c，并且为与“状态(1440)”有关的关键词1431、1432和1433设定分数d。例如，电子设备101可以将分数c和分数d设定为比分数b相对较低。
电子设备101可以在用户语音1410中所包括的组件当中识别与本体相对应的组件1411和1412并且将分数c和分数d分别分配给对应的组件1411和1412。在操作1340中，电子设备101可以计算分数的和。在操作1350中，电子设备101可以根据所得到的分数的和来确定用户语音的响应级别。根据本公开的实施例，电子设备101可以允许分数和超过第一阈值的范围对应于第一响应级别，允许分数和超过第二阈值且不大于第一阈值的范围对应于第二响应级别，并且允许分数和不超过第二阈值的范围对应于第三响应级别。第一阈值可以大于第二阈值。例如，尽管图14a的实施例中的分数和c+d超过第二阈值，然而电子设备101可以确定分数和c+d小于第一阈值并且可以确定用户语音1410的响应级别是第二响应级别。进一步地，电子设备101可以使用本体来确定与用户语音1410相对应的操作或候选操作。根据本公开的实施例，如图14a所示，电子设备101可以使用与对应于本体的组件1411和1412相关联的本体上的至少一个其它关键词来确定操作或候选操作。例如，电子设备101可以使用关联的关键词来确定诸如“打开TV”或“改变TV”的操作或候选操作。
参考图14b，电子设备101可以获得用户语音1460“改变TV频道”。电子设备101可以使用本体来将分数a分配给用户语音1460的组件1461并且将分数b分配给组件1462。电子设备101可以基于分数和a+b超过第一阈值来确定用户语音1460的响应级别是第一响应级别。进一步地，电子设备101可以立即改变频道，改变频道是与第一响应级别相对应的用户语音1460的操作。
如上所述，根据本公开的实施例，电子设备101可以以按照关键词分配并合计分数这样的方式来确定用户语音的响应级别。
图15a和图15b是例示了根据本公开的各种实施例的用于确定响应级别的过程的概念视图。
参考图15a，电子设备101可以对用户语音(例如，用户的请求)1501进行预处理(1502)并转换成文本，并且可以输出通过对该用户语音执行自然语言解释(1503)所获得的结果。电子设备101可以通过执行自然语言解释(1503)来确定文本中的组件的角色或组件之间的关系。例如，作为对用户语音1501“嗨，请打开TV”执行自然语言解释(1503)的结果，电子设备101可以确定“嗨”是称谓词，“TV”表示对象或目标，“请”是副词，以及“打开”是动词。
具体地，电子设备101可以使用声学声音识别(ASR)功能来将用户语音转换成文本。进一步地，电子设备101可以使用自然语言单元(NLU)功能或对话管理(DM)功能来分析文本中的关键词的角色或与其它关键词的关系。
电子设备101可以将自然语言解释(1503)的结果与关键词数据库相比较。根据本公开的实施例，电子设备101可以首先对根据自然语言解释的结果或与该命令相对应的词而确定的动词执行比较，并且可以使用比较的结果来确定用户语音1501的响应级别。在图15a的实施例中，电子设备101可以按照抽象的升序来存储控制关键词1511、1512和1513、目标关键词1521、1522和1523、地点关键词1531、1532和1533以及时间关键词1541、1542和1543。
根据本公开的实施例，电子设备101可以确定用户语音1501中的动词“打开”对应于具有第一抽象程度(LV1)的控制关键词1511。电子设备101可以基于识别出用户语音1501中的动词对应于第一抽象程度的控制关键词1511，来确定用户语音1501的响应级别是第一响应级别。电子设备101可以附加地确定与目标关键词、地点关键词或时间关键词相对应的组件是否被包括在用户语音1501中，并且可以因此根据在控制关键词1511的下侧的确定路线来与数据库进行比较。电子设备101可以依据根据在控制关键词1511的下侧的确定路线的比较的结果来确定与用户语音1501相对应的操作或候选操作。如上面所阐述的，在输出候选操作之后，电子设备101可以检测用户的附加选择以确定操作。进一步地，电子设备101可以将依在控制关键词1511的下侧的确定路线而定的确定区域1550设定为第一响应级别。
图15b示出了其中用户语音1501的响应级别被确定为第二响应级别的示例。在图15b中假定了用户语音1501例如是“电影无聊”。电子设备101可以确定被确定为对用户语音1501执行自然语言处理(1503)的结果的动词“是”对应于第三抽象程度(LV3)的控制关键词1513，并且可以通过在控制关键词1513的下侧的确定路线来确定响应级别和操作或候选操作。电子设备101可以根据动词对应于第三抽象程度的控制关键词1513的观点来确定用户语音1501的响应级别是第二响应级别。电子设备101可以将在控制关键词1513的下侧的确定区域1560设定为第二响应级别。在图15a和图15b中将第二抽象程度标为LV2。
图16是例示了根据本公开的实施例的用于控制电子设备的方法的流程图。
参考图16，在操作1610中，电子设备101可以获得用户语音。在操作1620中，电子设备101可以对所获得的用户语音进行分析。在操作1630中，电子设备101可以使用分析出的结果来确定响应级别。在操作1640中，电子设备101可以考虑用户识别信息或时间信息中的至少一种来执行与响应级别相对应的操作。具体地，电子设备101可以基于对用户语音的分析的结果来确定响应级别，并且如上面所阐述的，电子设备101可以设定与每个响应级别相对应的操作。电子设备101可以进一步考虑在执行与每个响应级别相对应的操作时的用户识别信息或时间信息中的至少一种来执行操作。
图17是例示了根据本公开的实施例的用于使用用户识别信息来执行按照响应级别的操作的方法的流程图。参考图18a和图18b对与图17有关的实施例进行更详细的描述。图18a和图18b是例示了根据本公开的实施例的电子设备考虑用户识别信息来执行操作的概念视图。
在操作1710中，电子设备101可以获得用户语音。在操作1720中，电子设备101可以对所获得的用户语音进行分析并识别用户。电子设备101可以使用对用户语音的分析的结果来将声纹(voice print)与预先存储的声纹进行比较并且基于比较的结果来识别用户。或者，电子设备101可以以各种方式(诸如图像分析或所输入的用户识别信息)识别产生了用户语音的用户。
在操作1730中，电子设备101可以使用对用户语音的分析的结果来确定响应级别是第二响应级别。例如，假定对用户语音的分析的结果包括指示状态或情绪的关键词或者分配给用户语音的分数的和小于预设阈值。
在操作1740中，电子设备101可以监测附加事件同时推迟立即执行操作并且可以稍后确定该附加事件。例如，假定附加事件被设定为“用户与另一电子设备之间的接近”。例如，如图18a中所示，用户1801可以在距离d3内接近(如由虚线箭头1806指出的)窗户打开/关闭设备1812。在确定用户1801与窗户打开/关闭设备1812之间的距离d3小于预定阈值时，电子设备101可以确定检测到“用户与另一电子设备之间的接近”的附加事件。电子设备101可以用户1801进行跟踪和图像捕获，并且基于对所捕获的图像的分析的结果来检测用户1801与窗户打开/关闭设备1812之间的接近的附加事件。或者，电子设备101可以通过从窗口打开/关闭设备1812接收关于用户1801的接近的信息来检测附加事件。或者，电子设备101可以通过接收关于捕获家庭网络到对象的电子设备(例如，相机)图像的信息来检测附加事件。
在操作1750中，电子设备101可以确定与附加事件相对应的用户是否与识别出的用户相同。例如，在图18a的实施例中，电子设备101可以确定接近窗户打开/关闭设备1812的用户1801与产生了用户语音的用户1801相同。在确定与附加事件相对应的用户与识别出的用户相同时，在操作1760中电子设备101可以执行与用户语音有关的操作。电子设备101可以向与检测到的附加事件相对应的窗户打开/关闭设备1812发送用于打开窗户打开/关闭设备1812的控制信号1822。因此，即使当用户1801他自己/她自己未打开窗户时，电子设备101也可以执行与用户的意图一致的操作。
同时，如图18b中所示，电子设备101可以确定与附加事件相对应的用户，即接近窗户打开/关闭设备1812的用户1831，与识别出的用户1801不同。在确定附加事件所对应的用户与识别出的用户不同时，电子设备101可以继续监测附加事件或者忽视用户语音。在这种状态下，如图18b中所示，电子设备101不向窗户打开/关闭设备1812发送用于打开窗户打开/关闭设备1812的控制信号。
如上所述，根据本公开的实施例，电子设备101可以在根据响应级别执行操作的同时使用用户识别信息来执行操作。
图19a和图19b是例示了根据本公开的各种实施例的用于使用时间信息来执行按照响应级别的方法的流程图。
参考图19a，在操作1910中电子设备101可以获得用户语音。在操作1920中，电子设备101可以对所获得的用户语音进行分析并且存储获得用户语音的时间。
在操作1930中，电子设备101可以使用分析出的结果来确定响应级别是第二响应级别。例如，假定对用户语音的分析的结果包括指示状态或情绪的关键词或者分配给用户语音的分数的和小于预设阈值。
在操作1940中，电子设备101可以检测附加事件。在操作1950中，电子设备101可以确定检测到附加事件的时间和获得用户语音的时间是否在预设时间内。在确定检测到附加事件的时间和获得用户语音的时间在预设时间内时，在操作1960中电子设备101可以执行与用户语音有关的操作。在确定检测到附加事件的时间与获得用户语音的时间均不小于预设时间时，电子设备101可以向用户发送关于是否执行与用户语音有关的操作的询问，并且在检测到用户的确认时，电子设备101可以在操作1955中执行与用户语音有关的操作。例如，即使当用户在他产生用户语音“天气好热”之后的相对较长时间接近窗户打开/关闭设备时，电子设备101也可以首先询问是否附加地打开窗户，并且在接收到确认时，基于检测到附加事件来打开窗户，而不是立即打开窗户。因此，可以提供可以遵照用户的意图的语音命令功能。
参考图19b，在操作1910中电子设备101可以获得用户语音。在操作1920中，电子设备101可以对所获得的用户语音进行分析并且存储获得用户语音的时间。
在操作1931中，电子设备101可以使用分析出的结果来确定响应级别。在操作1941中，电子设备101可以确定是否在预设时间内确定了附加事件。可以根据响应级别设定不同的预设时间。
当确定在预设时间内未检测到附加事件时，电子设备101可以在操作1951中调整响应级别。例如，电子设备101可以将用户语音的响应级别从第二响应级别降低至第三响应级别以忽视用户语音处理。当确定在预设时间内检测到附加事件时，电子设备101可以在操作1960中执行与用户语音有关的操作。
图20是例示了根据本公开的实施例的用于控制电子设备的方法的流程图。
参考图20，在操作2010中，电子设备101可以获得第一用户语音。在操作2020中，电子设备101可以对第一用户语音进行分析。在操作2030中，电子设备101可以确定第一用户语音所对应的响应级别。在操作2040中，电子设备101可以获得第二用户语音。在操作2050中，电子设备101可以对第二用户语音进行分析。在操作2060中，电子设备101可以确定第二用户语音所对应的响应级别。
在操作2070中，电子设备101可以将第一用户语音所对应的响应级别与与第二用户语音所对应的响应级别进行比较。在操作2080中，电子设备101可以基于比较结果来执行操作。例如，第一用户可以产生第一用户语音“打开窗户”，并且第二用户可以产生第二用户语音“天气好冷”。电子设备101可以确定第一用户语音的响应级别是第一响应级别并且第二用户语音的响应级别是第二响应级别。电子设备101可以相对地执行与响应级别相对应的操作“发送窗户打开信号”。
图21是例示了根据本公开的实施例的用于控制电子设备的方法的流程图。
在操作2110中，电子设备101可以获得第一用户语音。在操作2121中，电子设备101可以对第一用户语音进行分析。在操作2130中，电子设备101可以确定与第一用户语音相对应的响应级别。在操作2135中，电子设备101可以识别第一用户。如上所述，电子设备101可以使用各种信息(诸如声纹、对捕获到的图像的分析结果或所输入的用户识别信息)来识别第一用户。在操作2140中，电子设备101可以获得第二用户语音。在操作2150中，电子设备101可以对第二用户语音进行分析。在操作2160中，电子设备101可以确定第二用户语音所对应的响应级别。在操作2165中，电子设备01可以识别第二用户。
在操作2170中，电子设备101可以将第一用户语音所对应的响应级别与与第二用户语音所对应的响应级别进行比较。在操作2175中，电子设备101可以识别第一用户与第二用户之间的关系信息。在操作2180中，电子设备101可以基于比较的结果和关系信息来执行操作。根据本公开的实施例，电子设备101可以执行与具有较高响应级别的用户语音相对应的操作。同时，当响应级别相同时，电子设备101可以基于预设用户间关系信息来执行与由具有较高优先级的用户产生的用户语音相对应的操作。例如，假定第一用户可以产生第一用户语音“天气好冷”，并且第二用户产生第二用户语音“天气好热”。电子设备101可以确定第一用户语音的响应级别和第二用户语音的响应级别都是第二响应级别。在这种情况下，电子设备101可以确定第一用户与第二用户之间的关系信息。例如，第一用户的优先级可以比第二用户的优先级更高。电子设备101可以对应于第一用户语音和响应级别来操作。电子设备101可以监测与第一用户语音相对应的附加事件，并且在检测到附加事件时，电子设备101可以执行与第一用户语音相对应的操作。
如上所述，参考图21，即使当从多个用户接收到不同的命令时，电子设备101也可以执行与用户的意图匹配的命令。同时，根据本公开的实施例，电子设备101可以基于用户与电子设备101之间的关系信息来执行操作。根据本公开的实施例，电子设备101可以预先存储对于电子设备101的每个用户的熟悉度，并且当从多个用户接收到用户语音时，它可以使用每个用户的熟悉度来执行与任何一个用户的用户语音相对应的操作。
图22是例示了根据本公开的实施例的用于控制电子设备的方法的流程图。参考图23a和图23b对图22的实施例进行更详细的描述。图23a和图23b是例示了根据本公开的实施例的电子设备的操作的概念视图。
参考图22，在操作2210中，电子设备101可以获得用户语音。在操作2220中，电子设备101可以对所获得的用户语音进行分析。在操作2230中，电子设备101可以使用分析出的结果来确定响应级别是第二响应级别。例如，假定对用户语音的分析的结果包括指示状态或情绪的关键词或者分配给用户语音的分数的和小于预设阈值。
在操作2240中，电子设备101可以确定与用户语音相对应的候选操作。在操作2250中，电子设备101可以检测与候选操作中的一个相对应的事件。在操作2260中，电子设备101可以执行与所检测到的事件相对应的候选操作中的一个。例如，如图23a中所示，电子设备101可以从用户2301获得用户语音2302。用户语音2302可以是例如“天气好热”。电子设备101可以对用户语音2302进行分析以确定用户语音2302的响应级别是第二响应级别。电子设备101可以通过检测与状态相对应的关键词“热”或者使用与“热”相对应的分数来确定用户语音2302的响应级别是第二响应级别。电子设备101可以基于对用户语音2302的分析的结果来确定候选操作。例如，电子设备101可以通过组合与用户语音2302中所包括的关键词相关联的词来确定候选操作。例如，电子设备101可以将关键词“热”与“窗户打开/关闭设备”、“空调”和“电风扇”相关联并存储它们，并且可以将它们与控制关键词“打开”相关联并存储它们。电子设备101可以使用相关联地存储的词的组合来确定候选操作，诸如“向空调发送打开信号”、“向电风扇发送打开信号”和“发送窗户打开信号”。电子设备101可以显示显示候选操作的图形用户界面2310。如图23b中所示，电子设备101可以检测来自用户2301的用于选择候选操作中的一个的反馈2322。反馈2322可以是用户语音，例如“打开空调”。电子设备101可以运行与反馈2322相对应的候选操作中的一个候选操作。因此，电子设备101可以执行操作“向空调发送打开信号”以向空调2341发送打开信号。进一步地，电子设备101也可以显示用于识别反馈2322的图形用户界面2330。
图24是例示了根据本公开的实施例的用于控制电子设备的方法的流程图。参考图25a、图25b和图25c对与图24有关的实施例进行更详细的描述。图25a至图25c是例示了根据本公开的各种实施例的本体的概念视图。
参考图24，在操作2410中，电子设备101可以获得用户语音。在操作2420中，电子设备101可以对所获得的用户语音进行分析。在操作2430中，电子设备101可以使用分析出的结果来确定响应级别是第二响应级别。
在操作2440中，电子设备101可以从用户语音中提取关键词。例如，电子设备101可以从用户语音“TV让我生气”中提取关键词“TV”和“生气”。在操作2450中，电子设备101可以通过将与所提取的关键词相关联的词进行组合来生成候选操作。例如，电子设备101可以存储用于生成操作或候选操作的本体(如图25a所示)。参考图25a，指示情绪(高兴、生气、悲伤和惊奇)的关键词可以被包括在非动作类别中。进一步地，指示情绪的关键词可以与对象“TV”的词相关联。同时，对象“TV”可以与动作类别相关联地存储，并且动作类别可以包括控制关键词，诸如向上、向下、开和关，并且向上控制关键词可以包括诸如频道和音量的关键词。
电子设备101可以通过使用如图25a中所示的本体来将与“TV”和“生气”相关联的关键词进行组合，从而确定诸如例如频道上调、音量增大、频道下调和音量减小的候选操作。同时，在图25a的实施例中，可以将数值分配给关键词匹配每个关键词相对应的可能性。例如，在图25a的实施例中，可以将关键词“高兴”与关键词“音量”之间的对应的可能性设定为70％，并且可以将关键词“生气”与关键词“频道”之间的对应的可能性设定为90％。电子设备101可以选择具有与生气关键词对应的可能性相对较高的频道的关键词并且可以将频道上调或频道下调确定为候选操作。在这种情况下，可以从候选操作中排除被设定为具有相对较低的对应可能性的操作。
图25b和图25c例示了根据本公开的各种实施例的本体。
参考图25b，当层次级别从直接含义扩展到模糊含义时，电子设备101可以配置具有取决于关键词的抽象程度和层次级别的抽象级别的数据库。电子设备101可以通过级别来确定响应级别或操作。
参考图25b，处于最高级别的词“TV”可以例如与可以通过TV显示的作为下一个抽象级别的下级词的电视剧(TV节目)或电影链接，并且可以与TV的品牌或与TV有关的对象的品牌链接。第二级别对象也可以具有较低级别的抽象的关键词。因此，电子设备可以关于识别出的语音命令的关键词的抽象级别来进行比较，并且根据语音命令的每个组件的级别来确定活动级别。例如，当目标、时间和地点关键词的抽象级别在两个梯级内时，通过用户的情况数目并不多，并且可以通过语音来请求对组件的确认，并且当抽象级别是三个以上的梯级时，情况数目很多，并且因此可以提供其它界面，例如可以通过触摸输入进行选择。第一抽象程度、第二抽象程度和第三抽象程度被标记为LV1、LV2和LV3。
例如，电子设备101可以获得用户语音“嗨！如果电视剧正在播出，请打开TV”。电子设备101可以识别关键词“电视剧”并且可以通过参考数据库的抽象级别来对分数进行求和，该抽象级别是关于所获得的用户语音中的目标关键词的级别。这里，电子设备可以根据对整个自然语言句子中的组件的相应级别的和的参考来确定响应级别。进一步地，电子设备101可以基于关键词关联信息来确定操作是“打开TV”。进一步地，电子设备101可以参考用户历史记录并且可以将该用户历史记录反映到操作以提供反馈，诸如“想要在你昨天观看的电视剧开始时，在七点钟打开起居室中的TV吗？”
参考图25c，电子设备101可以存储针对用于在“打开”控制关键词的较低级别运行控制关键词的条件的相关联的关键词的本体。进一步地，电子设备101可以针对运行条件来关联并存储用于描述在关键词的较低级别的运行条件的关键词。例如，电子设备101可以获得用户语音“是电视剧开始的时间”。当关键词“是……的时间”时，电子设备101可以提取控制关键词“打开”。进一步地，电子设备101可以利用图25b中所示的本体来从“电视剧”关键词中提取“TV”关键词。因此，电子设备101可以确定与用户语音“打开TV”相对应的操作。换句话说，电子设备101可以使用多个本体来确定与用户语音相对应的操作。电子设备101可以提供反馈，诸如“想要打开TV吗？”，并且在检测到来自用户的附加确认时，它可以向TV发送打开信号。
如上所述，根据本公开的实施例，电子设备101可以使用一个或更多个本体来确定用户语音的响应级别，并且可以确定与用户语音相对应的操作或候选操作。如上所述，电子设备101可以接收各种本体的输入或者可以从另一电子设备接收本体。进一步地，电子设备101可以通过使用来自另一电子设备的信息或靠自己获得的信息来学习本体，从而扩展或更新本体。
图26是例示了根据本公开的实施例的用于控制电子设备的方法的流程图。参考图27对图26中所示的实施例进行更详细的描述。图27是例示了根据本公开的实施例的电子设备的操作的概念视图。
参考图26，在操作2610中，电子设备101可以获得用户语音。在操作2620中，电子设备101可以对所获得的用户语音进行分析。在操作2630中，电子设备101可以使用分析的结果来确定响应级别是第二响应级别。在操作2640中，电子设备101可以确定与用户语音相对应的候选操作。电子设备101可以使用例如与包括在用户语音中的关键词相关联地存储的词的组合来确定候选操作。
在操作2650中，电子设备101可以检测附加事件。这里，假定用户的接近被设定为附加事件。例如，如图27中所示，电子设备101可以检测用户2301的接近。电子设备101可以基于来自接近传感器的信息或对捕获到的图像的分析结果来确定与用户2301的距离d4。当与用户2301的距离d4小于预设阈值时，电子设备101可以确定检测到了被设定为用户的接近的附加事件。
在操作2660中，电子设备101可以显示候选操作。如图27中所示，电子设备101可以显示包括候选操作的图形用户界面2310。同时，电子设备101可以生成包括候选操作的查询型句子和文本到话音(TTS)的查询型句子并且用语音输出。在操作2670中，电子设备101可以检测与候选操作中的一个相对应的事件。例如，电子设备101可以检测指定候选操作之一的用户语音或触摸。在操作2680中，电子设备101可以执行候选操作中的一个。
图28是例示了根据本公开的实施例的电子设备的操作的概念视图。
参考图28，电子设备101可以对因素进行分类，由此与用户语音相对应的操作可以被确定为电子设备的因素2801和用户的因素2802。在电子设备101中，随着响应级别增加，电子设备的因素2801可以占据相对较大的部分而用户的因素2802可以占据相对较小的部分。同时，当响应级别相对较低时，电子设备的因素2811可以占据相对较小的部分而用户的因素2812可以占据相对较大的部分。这可以意味着当响应级别相对较低时，电子设备101需要从用户获得相对更多的信息以便确定和执行操作。
图29是例示了根据本公开的实施例的用于控制电子设备的方法的流程图。参考图30a、图30b和图30c对与图29有关的实施例进行更详细的描述。图30a至图30c是例示了根据本公开的实施例的选择硬件的示例的概念视图。
参考图29，在操作2910中，电子设备101可以获得用户语音。在操作2920中，电子设备101可以对所获得的用户语音进行分析并且使用分析的结果来确定响应级别。例如，如图30a中所示，电子设备101可以通过麦克风3001来获得用户语音。处理器3010的自然语言识别单元3011和响应级别确定单元3012可以识别自然语言的用户语音并且确定响应级别。
在操作2930中，电子设备101可以确定用于执行针对每个确定的响应级别的操作的硬件。例如，如图30b所示，当用户语音的响应级别是第一响应级别时，电子设备101可以确定扬声器3020和通信网络3050是供使用的硬件。进一步地，如图30c所示，当用户语音的响应级别是第二响应级别时，电子设备101可以将扬声器3020、显示器3030、驱动器3040和通信网络3050确定为供使用的硬件。也就是说，根据本公开的实施例，电子设备101可以根据响应级别而将不同的硬件确定为供使用的硬件。
在操作2940中，电子设备101可以使用所确定的硬件来执行操作。
图31是例示了根据本公开的实施例的用于控制电子设备的方法的流程图。参考图32对与图31有关的实施例进行更详细的描述。图32是例示了根据本公开的实施例的电子设备的操作的概念视图。
参考图31，在操作3110中，电子设备101可以获得用户语音。在操作3120中，电子设备101可以对所获得的用户语音进行分析。在操作3130中，电子设备101可以分析用户的情绪。根据本公开的实施例，电子设备101可以根据对用户语音的分析的结果来分析用户的情绪。例如，电子设备101可以预先存储关于根据用户的情绪状态而变化的语音特性的信息。关于语音特性的信息可以包括各种信息，诸如语音的波形或频率、暂停或关键词。电子设备101可以将所获得的用户语音的语音特性与按情绪存储的语音特性进行比较并且可以基于比较的结果来分析用户的情绪状态。
在操作3140中，电子设备101可以使用对用户语音的分析的结果和对用户的情绪的分析的结果来确定响应级别。例如，电子设备101可以获得用户语音“TV上是什么”。电子设备101可以通过分析用户语音来提取关键词“TV”。例如，电子设备101可以通过分析用户语音来确定用户的情绪是无聊。当连同关于电子设备的识别信息一起检测到用户的情绪是无聊时，电子设备101可以被预先配置为将用户语音分类为第一响应级别。电子设备101可以立即向与具有第一响应级别的用户语音相对应的TV发送用于打开TV的控制信号。同时，电子设备101可以通过分析用户语音来确定用户的情绪是高兴。当连同关于电子设备的识别信息一起检测到用户的情绪是高兴时，电子设备101可以被预先配置为将用户语音分类为第二响应级别。电子设备101可以提供询问是否打开与具有第二响应级别的用户语音相对应的TV的反馈，并且当检测到响应于反馈的用户的确认时，然后电子设备101可以向TV发送打开控制信号。也就是说，如上所述，电子设备101还可以按照用户情绪为同一用户语音分配不同的响应级别。
进一步地，电子设备101可以使用对用户的情绪的分析结果来确定与用户语音相对应的操作。例如，当用户的情绪是无聊时，电子设备101可以将“向TV发送用于在打开TV之后选择节目频道的控制信号”确定为操作或候选操作。当用户的情绪是高兴时，电子设备101可以将“向TV发送用于在打开TV之后选择体育频道的控制信号”确定为操作或候选操作。也就是说，电子设备101还可以按照用户情绪对于同一用户语音执行不同的操作。
根据本公开的实施例，如图32中所示，电子设备101可以基于从另一电子设备3210(例如，智能手表/带)发送的信息3211来确定用户的情绪。也就是说，电子设备101可以对用户3201产生的用户语音3202进行分析，并且独立于该用户语音3202，可以基于从另一电子设备3210发送的信息3211来确定用户的情绪。另一电子设备3210可以获得生物信息并且使用该生物信息来获得用户的情绪。另一电子设备3210可以获得生物信息。该生物信息可以包括脑波信号、脑电图(EEG)信号、心电图(ECG)信号、肌电图(EMG)信号、眼电图(EOG)信号、血压和体温中的至少一种，并且不受限制，只要它是可以指示身体状况的信息即可。电子设备101可以从另一电子设备3210接收生物信息或者接收使用该生物信息分析出的用户的情绪。
图33是例示了根据本公开的实施例的用于控制电子设备的方法的流程图。参考图34a、图34b和图34c对与图33有关的实施例进行更详细的描述。图34a和图34c是例示了根据本公开的实施例的电子设备的操作的概念视图。
参考图33，在操作3310中，电子设备101可以获得用户运动。根据本公开的实施例，电子设备101可以包括能够获得用户运动的相机、深度相机或用户运动传感器。电子设备101可以使用对以下内容的分析结果来获得用户运动：由相机捕获的二维(2D)图像、由深度相机捕获的三维(3D)图像或来自用户运动传感器的输出。
在操作3320中，电子设备101可以对所获得的用户运动进行分析。根据本公开的实施例，电子设备101可以将用户运动与电子设备101的操作相关联并存储它们。例如，在获得手指指向的用户运动时，电子设备101可以被配置为执行发送用于操作位于由手指指向的方向上的电子设备的信号的操作。例如，如图34a中所示，电子设备101可以对用户3401进行图像捕获(3410)并获得用户运动。例如，电子设备101可以获得用户3401举起他的右手并指向空调3420的运动3402，如图34a中所示。电子设备101可以确定位于用户运动3402所指向的方向上的电子设备是空调3420。电子设备101可以将电子设备的布置环境预先存储在网络中并且可以使用用户的位置和用户运动来识别与用户运动3402相对应的电子设备。电子设备101可以向空调3420发送打开信号3430。
在操作3330中，电子设备101可以使用对用户运动的分析的结果来确定响应级别。在操作3340中，电子设备101可以按响应级别执行操作。电子设备101可以获得对其意图不清楚的用户运动。电子设备101可以将相对较高的响应级别(例如，第一响应级别)分配给对其意图相对清楚的用户运动，即，与预先存储的用户运动的相似度超过阈值的用户运动。在这种情况下，电子设备101可以立即执行与第一响应级别的用户运动相对应的操作。电子设备101可将相对较低的响应级别(例如，第二响应级别)分配给对其意图相对不清楚的用户运动，即，与预先存储的用户运动的相似度不大于阈值的用户运动。在这种情况下，电子设备101可以推迟与第二响应级别的用户运动相对应的操作，并且在检测到附加事件时，它可以执行推迟的操作。根据本公开的实施例，电子设备101可以显示候选操作，并且在检测到用户的确认时，它可以执行所选择的操作。
根据本公开的实施例，电子设备101可以预先存储用户运动与电子设备的操作之间的关联信息并且之后可以通过学习来扩展或更新该关联信息。例如，如图34b中所示，电子设备101可以对空调或电风扇在用户3401做出如抓住并抖动他脖子周围的衣服这样的运动(例如，指示用户3401在出汗)之后操作的历史记录进行学习，并且它因此可以存储抓住并抖动脖子周围的衣服的运动3403与空调或电风扇的操作之间的关联信息。同时，电子设备101可以存储指示如下内容的信息：抓住并抖动脖子周围的衣服的运动3403指示空调和电风扇中的哪一个是不清楚的。因此，在获得抓住并抖动脖子周围的衣服的运动3403时，电子设备101可以确定抓住并抖动脖子周围的衣服的运动3403的响应级别是第二响应级别。进一步地，电子设备101可以确定向空调或电风扇发送打开信号是与抓住并抖动脖子周围的衣服的运动3403相对应的候选操作。如图34b中所示，电子设备101可以输出(3411)候选操作。在图34c中，电子设备101可以获得用于选择候选操作中的一个的用户反馈3404并且可以执行所选择的操作。电子设备101可以向空调3420发送打开信号3430。
如上所述，根据本公开的实施例，电子设备101可以为依据用户运动的命令以及依据用户语音的命令确定响应级别并且可以按照响应级别执行操作。电子设备101可以立即执行与具有第一响应级别的用户运动相对应的操作，并且电子设备101可以在检测到附加事件之后执行与具有第二响应级别的用户运动相对应的操作。
图35是例示了根据本公开的实施例的用于控制电子设备的方法的流程图。参考图36a和图36b对图35的实施例进行更详细的描述。图36a和图36b是例示了根据本公开的实施例的电子设备的操作的概念视图。
参考图35，在操作3510中，电子设备101可以获得用户语音。在操作3520中，电子设备101可以获得用户运动。在操作3530中，电子设备101可以使用对用户语音的分析结果和对用户运动的分析结果来确定响应级别。在操作3540中，电子设备101可以按照响应级别执行操作。也就是说，电子设备101可以使用用户语音和用户运动两者来确定响应级别。
图36a和图36b是例示了根据本公开的各种实施例的电子设备的操作的概念视图。
参考图36a，电子设备101可以获得用户3601产生的用户语音3602。电子设备101可以不获得用户运动。电子设备101可以获得用户语音3602“hhu～”并且确定用户语音3602的响应级别是第三响应级别。
参考图36b，电子设备101可以获得用户3601产生的用户语音3602。电子设备101可以获得(3610)抓住并抖动脖子周围的衣服的运动3603。电子设备101可以为用户语音3602和用户运动3603两者建立第二响应级别并且可以输出(3611)与其相对应的候选操作。电子设备101可以通过学习将用户语音3602与候选操作相关联并且存储它们，并且即使当单独检测到如图36a中所示的用户语音3602(诸如“hhu～”)时，电子设备101也可以建立第二响应级别。
图37是例示了根据本公开的实施例的电子设备的操作环境的概念视图。
参考图37，根据本公开的实施例，电子设备3701、3702、3703、3704、3705和3706可以是配置办公室环境的电子设备。进一步地，电子设备3701、3702、3703、3704、3705和3706可以相互传送信息3711、3712、3713、3714、3715、3716和3717。电子设备3701、3702、3703、3704、3705和3706可以被实现为配置IoT环境的实体，并且它们可以周期性地或者在发生特定事件时发送信息3711、3712、3713、3714、3715、3716和3717。电子设备3701、3702、3703、3704、3705和3706可以基于不限于特定通信方案的各种通信方案来相互传送信息3711、3712、3713、3714、3715、3716和3717。
图38是例示了根据本公开的实施例的在IoT环境下的电子设备的操作的流程图。
参考图38，在操作3810中，第二电子设备101-2可以从第一电子设备101-1接收第一信息。在操作3820中，第二电子设备101-2可以从第三电子设备101-3接收第二信息。
在操作3830中，第二电子设备101-2可以使用第一信息和第二信息来检测用户命令。例如，在如图37中所示的办公室环境中，第二电子设备101-2可以是空调，第一电子设备101-1可以是麦克风，并且第三电子设备101-3可以是相机。在这种情况下，第二电子设备101-2可以从第一电子设备101-1接收用户语音以及从第三电子设备101-3接收用户运动。第二电子设备101-2可以使用该用户语音和该用户运动来确定用户命令。
在操作3840中，第二电子设备101-2可以为用户命令确定响应级别。在操作3850中，第二电子设备101-2可以按照响应级别执行操作。如上面关于图34a至图34c所描述的，第二电子设备101-2可以从第一电子设备101-1接收用户语音“hhu～”以及从第三电子设备101-3接收指示用户保持静止的用户运动。在这种情况下，第二电子设备101-2可以确定依据用户语音和用户运动的用户命令的响应级别是第三响应级别并且忽视用户命令。或者，第二电子设备101-2可以从第一电子设备101-1接收用户语音“huu～”以及从第三电子设备101-3接收指示用户指向第二电子设备101-2的用户运动。在这种情况下，第二电子设备101-2可以确定依据用户语音和用户运动的用户命令的响应级别是第二响应级别并输出候选操作。例如，第二电子设备101-2可以向被确定为位于用户附近的电子设备发送候选操作，例如，如图37中所示的办公室环境中的台式计算机。被确定为位于用户附近的电子设备可以通过从诸如相机的电子设备收集的信息来确定。当用户被确定为位于打印机附近时，空调可以向打印机发送候选操作，并且打印机可以打印出候选操作。台式计算机可以显示所接收到的候选操作并且可以从用户接收对候选操作中的一个的选择。例如，候选操作可以包括打开空调或关灯。当用户选择关灯的操作时，台式计算机可以向灯发送关灯信号。如上所述，在IoT环境下，电子设备可以通过从各种电子设备收集的信息来获得用户命令，并且确定所获得的用户命令的响应级别。进一步地，电子设备可以发送用于控制另一电子设备的信号，而不是它自己执行与用户命令相对应的操作。进一步地，显示候选操作的实体可以不是已检测到用户命令并确定响应级别的电子设备而是另一电子设备，并且执行所选择的操作的电子设备可以是第三电子设备，既不是显示候选操作的实体也不是检测用户命令的实体。
图39是例示了根据本公开的实施例的用于控制电子设备的方法的流程图。
参考图39，在操作3910中，电子设备101可以检测用于执行第一操作的第一事件。在操作3920中，电子设备101可以确定是否在检测到第一事件时或者在检测到与第一事件不同的第二事件时执行第一操作。也就是说，根据本公开的实施例，电子设备101可以立即执行与检测到的第一事件相对应的第一操作，或者可以推迟执行第一操作并且在检测到第二事件时执行第一操作。
当确定要在检测到第一事件时执行第一操作时，电子设备101可以在操作3930中执行第一事件。当确定要在检测到第一事件时执行第二操作时，电子设备101可以在操作3940中执行检测第二事件的操作，并且在操作3950中执行如下操作：在检测到第二事件时执行第一操作。
图40是例示了根据本公开的实施例的用于控制电子设备的方法的流程图。参考图41a和图41b对与图40有关的实施例进行更详细的描述。图41a和图41b是例示了根据本公开的各种实施例的电子设备的操作的概念视图。
参考图40，在操作4010中，电子设备101可以检测用于执行第一操作的第一事件。例如，如图41a中所示，电子设备101可以检测接收文本消息的第一事件。电子设备101可以被配置为在接收到文本消息时提供指示接收到文本消息的输出4110。也就是说，第一操作可以是接收文本消息的指示。
在操作4020中，电子设备101可以确定用于执行第一操作的限制条件。例如，电子设备101可以将会议环境建立为用于执行作为第一操作的接收文本消息的指示的限制条件。
在操作4030中，电子设备101可以确定限制条件是否被解除。在操作4040中，电子设备101可以在限制条件被解除时执行第一操作。也就是说，电子设备101可以推迟执行第一操作直至满足限制条件。例如，在图41a中，电子设备101可以确定不满足限制条件。电子设备101可以从TV 4102接收指示打开状态的信号，并且电子设备101可以相应地确定其不在会议环境中，从而确定不满足限制条件。在这种情况下，电子设备101可以通过在检测到第一事件时执行第一操作来提供指示接收到文本消息的输出4110。
参考图41b，电子设备101可以确定满足了限制条件。例如，电子设备101可以通过将当前时间与电子设备101的嵌入式调度应用进行比较来确定与当前时间相对应的时间表是会议会话，并且可以因此确定满足了针对会议环境的限制条件。或者，电子设备101可以使用从诸如相机4120的外部电子设备接收到的信息来确定当前环境是会议环境。例如，电子设备101可以预先存储环境确定算法并且可以基于应用该算法的结果来确定会议环境，该环境确定算法用于确定除用户4101以外的随行人员4102在预定时间或更长时间内到达同一地点并进行谈话的环境是会议环境。
电子设备101可以推迟第一操作，即，在满足限制条件的同时输出文本消息的指示。当确定限制条件被解除时，电子设备101可以执行第一操作。例如，电子设备101可以使用来自调度应用的数据或者使用来自外部电子设备1420的数据来确定会议环境被终止。电子设备101可以提供文本消息的指示的输出4140。
也就是说，根据本公开的实施例，电子设备可以立即执行依据事件的操作或者在检测到附加事件时执行依据事件的操作，例如，即使当它依据事件而不依据用户命令来处理操作时也解除限制条件。
图42是例示了根据本公开的实施例的用于控制电子设备的方法的流程图。
参考图42，在操作4210中，电子设备101可以获得用户语音。在操作4220中，电子设备101可以对所获得的用户语音进行分析。在操作4230中，电子设备101可以获得附加检测信息。例如，电子设备101可以将通过捕获外部所获得的图像获得为附加检测信息。或者，电子设备101可以将外部温度获得为附加检测信息。电子设备101可以从其包含的硬件中获得附加检测信息或者获得从另一电子设备发送的附加检测信息。
在操作4240中，电子设备101可以基于对用户语音的分析结果和附加检测信息来确定响应级别。在操作4250中，电子设备101可以根据响应级别来执行操作。参考图43a、图43b、图44b和图44b对上述实施例进行更详细的描述。
图43a和图43b是例示了根据本公开的各种实施例的电子设备的操作的概念视图。
参考图43a，电子设备101可以从用户4301获得用户语音4302。电子设备101可以获得通过捕获用户4301所获得的附加检测信息。例如，电子设备101可以从图像捕获的结果4305获得指示用户4301未看着电子设备101的信息。电子设备101可以将“天气热”获得为用户语音4302。电子设备101可以通过对用户语音“天气热”的分析来确定响应级别是第二响应级别。进一步地，电子设备101可以使用指示用户4301未看着电子设备101的信息来使响应级别维持为第二响应级别。例如，电子设备101可以将指示用户4301看着电子设备101的附加检测信息设定为用于提高响应级别的条件。
参考图43b，电子设备101可以从用户4301获得用户语音4303。电子设备101可以获得通过捕获用户4301所获得的附加检测信息。例如，电子设备101可以从图像捕获的结果4305获得指示用户4301看着电子设备101的信息。电子设备101可以将“天气热”获得为用户语音4303。电子设备101可以通过对用户语音“天气热”的分析来确定响应级别是第二响应级别。进一步地，电子设备101可以使用指示用户4301看着电子设备101的信息来将响应级别调整到第一响应级别。例如，电子设备101可以将指示用户4301看着电子设备101的附加检测信息设定为用于提高响应级别的条件，并且可以调整与满足设定条件相对应的响应级别。电子设备101可以基于第一响应级别而向空调4310发送驱动信号4320。
如上所述，即使对于同一用户语音来说电子设备101也可以根据不同的附加检测信息来确定用户语音具有不同的响应级别。
图44a和图44b是例示了根据本公开的各种实施例的电子设备的操作的概念视图。
参考图44a，电子设备101可以从用户4401获得用户语音4402。电子设备101可以从温度计4420接收包括当前温度的附加检测信息4421。例如，电子设备101可以接收指示当前温度为14摄氏度的附加检测信息4421。电子设备101可以将“天气热”获得为用户语音4402。电子设备101可以通过对用户语音“天气热”的分析来确定响应级别是第二响应级别。进一步地，电子设备101可以使用指示当前温度为14摄氏度的附加检测信息4421来使响应级别维持为第二响应级别。例如，电子设备101可以将指示当前温度为28摄氏度以上的附加检测信息设定为用于提高响应级别的条件。
参考图44b，电子设备101可以从用户4401获得用户语音4403。电子设备101可以获得通过捕获用户4401所获得的附加检测信息。电子设备101可以从温度计4420接收包括当前温度的附加检测信息4422。例如，电子设备101可以接收指示当前温度为30摄氏度的附加检测信息4422。电子设备101可以将“天气热”获得为用户语音4403。电子设备101可以通过对用户语音“天气热”的分析来确定响应级别是第二响应级别。进一步地，电子设备101可以使用指示当前温度为30摄氏度的附加检测信息4422来将响应级别调整到第一响应级别。例如，电子设备101可以将指示当前温度为28摄氏度以上的附加检测信息设定为用于提高响应级别的条件，并且可以调整与满足设定条件相对应的响应级别。电子设备101可以基于第一响应级别而向空调4410发送驱动信号4430。
如上所述，即使对于同一用户语音来说电子设备101也可以根据不同的附加检测信息来确定用户语音具有不同的响应级别。
根据本公开的实施例，一种用于控制电子设备的方法可以包括：获得用户语音；确定所述用户语音的响应级别；当所述用户语音的响应级别是第一响应级别时，基于获得所述用户语音的时间点来执行与所述用户语音相对应的操作；以及当所述用户语音的响应级别是第二响应级别时，基于检测到附加事件的时间点来执行与所述用户语音相对应的操作。
根据本公开的实施例，确定所述用户语音的响应级别的步骤可以包括：获得通过识别所述用户语音所获得的文本；以及基于包括在所述文本中的关键词是否满足预定规则来确定所述用户语音的响应级别。
根据本公开的实施例，确定所述用户语音的响应级别的步骤可以包括：当包括在所述文本中的关键词满足与所述第一响应级别相对应的规则时，确定所述用户语音的响应级别是所述第一响应级别。
根据本公开的实施例，与所述第一响应级别相对应的规则可以包括检测以下关键词中的至少一个：指示对所述电子设备进行控制的控制关键词、指示所述电子设备执行操作的关键词、指示执行操作所在的地点的关键词或指示要执行操作的时间的关键词。
根据本公开的实施例，确定所述用户语音的响应级别的步骤可以包括，当包括在所述文本中的关键词满足与所述第二响应级别相对应的规则时，确定所述用户语音的响应级别是所述第二响应级别。
根据本公开的实施例，与所述第二响应级别相对应的规则可以包括检测以下关键词中的至少一个：指示用户的情绪或状态的关键词、指示环境的状态的关键词、指示所述电子设备的历史记录的关键词、指示执行操作的所述电子设备的操作的内容的关键词或指示执行操作的所述电子设备的工作状态的关键词。
根据本公开的实施例，所述规则可以包括本体，所述本体具有根据与用于掌握命令的意图的准确性有关的抽象级别而分类的层并且包括所述层之间的关联信息或所包括的关键词之间的关联信息。
根据本公开的实施例，确定所述用户语音的响应级别的步骤可以包括：将包括在所述文本中的关键词与所述本体进行比较；根据所述比较的结果来向包括在所述文本中的每个关键词分配分数；以及将所分配的分数的和与预定阈值进行比较以确定所述用户语音的响应级别。
根据本公开的实施例，确定所述用户语音的响应级别的步骤可以包括：当所分配的分数的和超过第一阈值时，确定所述用户语音的响应级别是所述第一响应级别；以及当所分配的分数的和超过第二阈值且不大于所述第一阈值时，确定所述用户语音的响应级别是所述第二响应级别。
根据本公开的实施例，所述方法可以进一步包括基于所获得的信息来扩展或更新所述规则。
根据本公开的实施例，确定所述用户语音的响应级别的步骤可以包括：用自然语言解释所述文本，并且首先确定作为自然语言的解释结果而被分类为动词的关键词是否满足所述规则。
根据本公开的实施例，确定所述用户语音的响应级别的步骤可以包括：使用对所述用户语音的分析结果或者使用来自另一电子设备的附加信息来获得用户情绪；以及使用所述用户情绪和是否满足预定规则来确定所述用户语音的响应级别。
根据本公开的实施例，所述方法可以进一步包括：当所述用户语音的响应级别是所述第二响应级别时，确定与所述用户语音相对应的候选操作。
根据本公开的实施例，所述方法可以进一步包括：输出所确定的候选操作；以及在检测到选择所述候选操作中的任何一个的附加事件时，执行所选择的操作。
根据本公开的实施例，所述方法可以进一步包括：在检测到另一附加事件时，输出所确定的候选操作。
根据本公开的实施例，所述方法可以进一步包括：获得通过识别所述用户语音所获得的文本；以及通过将包括在所述文本中的关键词与本体上的关联关键词进行组合来确定所述候选操作，其中，所述本体可以具有根据与用于掌握命令的意图的准确性有关的抽象级别而分类的层并且包括所述层之间的关联信息或所包括的关键词之间的关联信息。
根据本公开的实施例，当所述用户语音的响应级别是所述第二响应级别时，基于检测到附加事件的时间点来执行与所述用户语音相对应的操作可以包括：获得与所述用户语音相对应的用户识别信息；以及当所述用户语音的响应级别是所述第二响应级别时，根据所述附加事件所对应的用户的用户识别信息是否与所述用户语音所对应的用户识别信息相同，来执行与所述用户语音相对应的操作。
根据本公开的实施例，当所述用户语音的响应级别是所述第二响应级别时，基于检测到所述附加事件的时间点来执行与所述用户语音相对应的操作可以包括：确定所述用户语音被获得的第一时间；以及当所述用户语音的响应级别是所述第二响应级别时，根据所述第一时间与所述附加事件被检测到的第二时间之间的差是否小于预定阈值来执行与所述用户语音相对应的操作。
根据本公开的实施例，所述方法可以进一步包括：获得另一用户语音并且将所述用户语音的响应级别与所述另一用户语音的响应级别进行比较；以及执行与所述用户语音相对应的操作或与所述另一用户语音相对应的操作中的一个。
根据本公开的实施例，所述方法可以进一步包括使用所述用户语音所对应的第一用户与所述另一用户语音所对应的第二用户之间的关系信息来执行与所述用户语音相对应的操作或与所述另一用户语音相对应的操作中的一个。
根据本公开的实施例，所述方法可以进一步包括：向根据所述第一响应级别和所述第二响应级别中的每一个不同的硬件输出用于执行操作的控制信号。
根据本公开的实施例，所述方法可以进一步包括，当所述用户语音的响应级别是第三响应级别时，忽略所述用户语音。
根据本公开的实施例，一种用于控制电子设备的方法可以包括：检测被设定为运行第一操作的第一事件；确定是否满足关于执行所述第一操作的限制条件；当不满足关于执行所述第一操作的限制条件时，基于检测到所述第一事件的时间点来执行所述第一操作；以及当满足关于执行所述第一操作的限制条件时，基于检测到与所述第一事件不同的第二事件的时间点来执行所述第一操作。
根据本公开的实施例，所述第二事件可以是所述限制条件被解除的事件。
根据本公开的实施例，一种用于控制电子设备的方法可以包括：获得用户运动；确定所述用户运动的响应级别；当所述用户运动的响应级别是第一响应级别时，基于获得用户语音的时间点来执行与所述用户运动相对应的操作；以及当所述用户运动的响应级别是第二响应级别时，基于检测到附加事件的时间点来执行与所述用户运动相对应的操作。
电子设备的前述组件中的每一个可以包括一个或更多个部分，并且该部分的名称可以随电子设备的类型而变化。依照本公开的各种实施例的电子设备可以包括前述组件中的至少一个、省略前述组件中的一些，或者包括其它附加组件。可以将一些组件组合成一个实体，但是该实体可以执行与这些组件可以完成的相同的功能。
术语“模块”可以指代包括硬件、软件和固件中的一个或其组合的单元。术语“模块”可以与单元、逻辑、逻辑块、组件或电路可互换地使用。模块可以是集成组件的最小单元或一部分。模块可以是执行一个或更多个功能的最小单元或一部分。可以机械地或电子地实现模块。例如，模块可以包括已知的或将在将来开发的执行一些操作的专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)中的至少一个。
根据本公开的实施例，设备(例如，模块或其功能)或方法(例如，操作)的至少一部分可以被实现为例如以程序模块的形式存储在计算机可读存储介质中的指令。当指令由处理器(例如，处理器120)执行时，可以使得该处理器能够执行对应的功能。计算机可读存储介质可以例如是存储器130。
计算机可读存储介质可以包括诸如硬盘、软盘和磁带(例如，磁带)的硬件设备、诸如紧致盘ROM(CD-ROM)和数字通用盘(DVD)的光学介质、诸如软光盘的磁光介质、ROM、RAM、闪速存储器等的磁光介质。程序指令的示例不仅可以包括机器语言代码，而且还包括可通过各种计算装置使用解释器来执行的高级语言代码。前述硬件设备可以被配置为用作一个或更多个软件模块以执行本公开的各种实施例，并且反之亦然。
依照本公开的各种实施例的模块或编程模块可以包括前述组件中的至少一个或更多个、省略前述组件中的一些、或者进一步包括其它附加组件。可以顺序地、同时地、重复地或启发式地执行由依照本公开的各种实施例的模块、编程模块或其它组件执行的操作。此外，可以以不同的次序执行、或者省略一些操作，或者可以包括其它附加操作。
根据本公开的实施例，提供了一种存储指令的存储介质，所述指令由至少一个处理器执行以使得该处理器能够执行至少可以包括以下各项的操作：获得用户语音；确定所述用户语音的响应级别；当所述用户语音的响应级别是第一响应级别时，基于获得所述用户语音的时间点来执行与所述用户语音相对应的操作；以及当所述用户语音的响应级别是第二响应级别时，基于检测到附加事件的时间点来执行与所述用户语音相对应的操作。
虽然已经参考本公开的各种实施例示出并描述了本公开，但是本领域的技术人员将理解的是，在不脱离如由所附权利要求书及其等同形式所限定的本发明的精神和范围的情况下，可以在其中作出形式和细节上的各种变化。

Claims (15)

1.一种电子设备，所述电子设备包括：
存储器；以及
与所述存储器电连接的处理器，
其中，所述存储器存储用于所述处理器的指令，并且
其中，所述处理器被配置为：
获得用户语音，
确定所述用户语音的响应级别，
当所述用户语音的响应级别是第一响应级别时，基于获得所述用户语音的时间点来执行与所述用户语音相对应的操作，以及
当所述用户语音的响应级别是第二响应级别时，基于检测到附加事件的时间点来执行与所述用户语音相对应的操作。
2.根据权利要求1所述的电子设备，其中，所述处理器被进一步配置为：
通过识别所述用户语音来获得文本，并且
基于包括在所述文本中的关键词是否满足预定规则来确定所述用户语音的响应级别。
3.根据权利要求2所述的电子设备，其中，所述处理器被进一步配置为：当包括在所述文本中的关键词满足与所述第一响应级别相对应的规则时，确定所述用户语音的响应级别是所述第一响应级别。
4.根据权利要求3所述的电子设备，其中，与所述第一响应级别相对应的规则包括检测以下关键词中的至少一个：指示对所述电子设备进行控制的控制关键词、指示执行操作的所述电子设备的关键词、指示执行操作所在的地点的关键词或指示要执行操作的时间的关键词。
5.根据权利要求2所述的电子设备，其中，所述处理器被进一步配置为：当包括在所述文本中的关键词满足与所述第二响应级别相对应的规则时，确定所述用户语音的响应级别是所述第二响应级别。
6.根据权利要求5所述的电子设备，其中，与所述第二响应级别相对应的规则包括检测以下关键词中的至少一个：指示用户的情绪或状态的关键词、指示环境的状态的关键词、指示所述电子设备的历史记录的关键词、指示执行操作的所述电子设备的操作的内容的关键词或指示执行操作的所述电子设备的工作状态的关键词。
7.根据权利要求2所述的电子设备，其中，所述预定规则包括本体，所述本体具有根据与用于掌握命令的意图的准确性有关的抽象级别而分类的多个层并且包括所述多个层之间的关联信息或所包括的关键词之间的关联信息。
8.根据权利要求7所述的电子设备，其中，所述处理器被进一步配置为：
将包括在所述文本中的关键词与所述本体进行比较，
根据所述比较的结果向包括在所述文本中的每个关键词分配分数，并且
将所分配的分数的和与预定阈值进行比较以确定所述用户语音的响应级别。
9.根据权利要求8所述的电子设备，其中，所述处理器被进一步配置为：
当所分配的分数的和超过第一阈值时，确定所述用户语音的响应级别是所述第一响应级别，以及
当所分配的分数的和超过第二阈值且不大于所述第一阈值时，确定所述用户语音的响应级别是所述第二响应级别。
10.根据权利要求2所述的电子设备，其中，所述处理器被进一步配置为基于所获得的信息来扩展或更新所述预定规则。
11.根据权利要求2所述的电子设备，其中，所述处理器被进一步配置为：
用自然语言解释所述文本，并且
确定作为所述自然语言的解释的结果而被分类为动词的关键词是否满足所述预定规则。
12.根据权利要求2所述的电子设备，其中，所述处理器被进一步配置为：
使用对所述用户语音的分析的结果或者使用来自另一电子设备的附加信息来获得用户情绪，并且
使用所述用户情绪来确定所述用户语音的响应级别，以及
确定是否满足所述预定规则。
13.根据权利要求1所述的电子设备，其中，所述处理器被进一步配置为：当所述用户语音的响应级别是所述第二响应级别时，确定与所述用户语音相对应的候选操作。
14.根据权利要求13所述的电子设备，其中，所述处理器被进一步配置为：
输出所确定的候选操作，并且
在检测到对所述候选操作中的任何一个进行选择的附加事件时，执行所选择的操作。
15.根据权利要求14所述的电子设备，其中，所述处理器被进一步配置为：在检测到另一附加事件时，输出所确定的候选操作。
CN201680065490.0A 2015-11-10 2016-10-14 电子设备和用于控制该电子设备的方法 Expired - Fee Related CN108369808B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020150157196A KR102453603B1 (ko) 2015-11-10 2015-11-10 전자 장치 및 그 제어 방법
KR10-2015-0157196 2015-11-10
PCT/KR2016/011546 WO2017082543A1 (en) 2015-11-10 2016-10-14 Electronic device and method for controlling the same

Publications (2)

Publication Number Publication Date
CN108369808A true CN108369808A (zh) 2018-08-03
CN108369808B CN108369808B (zh) 2022-08-16

Family

ID=58663601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680065490.0A Expired - Fee Related CN108369808B (zh) 2015-11-10 2016-10-14 电子设备和用于控制该电子设备的方法

Country Status (5)

Country Link
US (1) US10811002B2 (zh)
EP (1) EP3341934B1 (zh)
KR (1) KR102453603B1 (zh)
CN (1) CN108369808B (zh)
WO (1) WO2017082543A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109065035A (zh) * 2018-09-06 2018-12-21 珠海格力电器股份有限公司 信息交互方法及装置
CN109841216A (zh) * 2018-12-26 2019-06-04 珠海格力电器股份有限公司 语音数据的处理方法、装置和智能终端
CN110970022A (zh) * 2019-10-14 2020-04-07 珠海格力电器股份有限公司 一种终端控制方法、装置、设备以及可读介质
CN111421557A (zh) * 2019-01-10 2020-07-17 三星电子株式会社 电子装置及其控制方法
CN112151026A (zh) * 2020-08-20 2020-12-29 未来穿戴技术有限公司 语音控制方法、装置、服务器和计算机可读存储介质
CN112652301A (zh) * 2019-10-12 2021-04-13 阿里巴巴集团控股有限公司 语音处理方法和分布式系统、及语音交互设备和方法
CN112913252A (zh) * 2018-10-26 2021-06-04 三星电子株式会社 电子设备及控制电子设备的方法
CN113557566A (zh) * 2019-03-01 2021-10-26 谷歌有限责任公司 动态地适配助理响应

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
KR102423670B1 (ko) 2013-02-07 2022-07-22 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10437215B2 (en) * 2014-09-25 2019-10-08 Siemens Aktiengesellschaft Method and system for performing a configuration of an automation system
US20180358021A1 (en) * 2015-12-23 2018-12-13 Intel Corporation Biometric information for dialog system
KR102591413B1 (ko) * 2016-11-16 2023-10-19 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20180060328A (ko) 2016-11-28 2018-06-07 삼성전자주식회사 멀티 모달 입력을 처리하는 전자 장치, 멀티 모달 입력을 처리하는 방법 및 멀티 모달 입력을 처리하는 서버
US10593328B1 (en) * 2016-12-27 2020-03-17 Amazon Technologies, Inc. Voice control of remote device
KR20180098079A (ko) 2017-02-24 2018-09-03 삼성전자주식회사 비전 기반의 사물 인식 장치 및 그 제어 방법
US20220238134A1 (en) * 2017-02-27 2022-07-28 VTouch Co., Ltd. Method and system for providing voice recognition trigger and non-transitory computer-readable recording medium
KR101893768B1 (ko) * 2017-02-27 2018-09-04 주식회사 브이터치 음성 인식 트리거를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
JP7073640B2 (ja) * 2017-06-23 2022-05-24 カシオ計算機株式会社 電子機器、感情情報取得システム、プログラム及び感情情報取得方法
KR20190008663A (ko) * 2017-07-17 2019-01-25 삼성전자주식회사 음성 데이터 처리 방법 및 이를 지원하는 시스템
KR102426171B1 (ko) * 2017-10-13 2022-07-29 현대자동차주식회사 대화 시스템, 이를 포함하는 차량 및 대화 서비스 처리 방법
KR102455199B1 (ko) * 2017-10-27 2022-10-18 엘지전자 주식회사 인공지능 디바이스
KR101978372B1 (ko) * 2017-12-15 2019-05-14 동의대학교 산학협력단 음성인식을 이용한 rc카 제어 시스템 및 이를 이용한 rc카 제어방법
KR102458336B1 (ko) * 2018-05-18 2022-10-25 삼성전자주식회사 공기 조화 장치 및 이의 제어 방법
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
JP7224116B2 (ja) * 2018-06-15 2023-02-17 シャープ株式会社 空気調和機
KR20200013152A (ko) 2018-07-18 2020-02-06 삼성전자주식회사 이전에 대화를 수집한 결과를 기반으로 인공 지능 서비스를 제공하는 전자 장치 및 방법
TWI719337B (zh) * 2018-08-17 2021-02-21 崑山科技大學 基於深度學習之數位控制器的控制方法
JP2020043471A (ja) * 2018-09-11 2020-03-19 本田技研工業株式会社 遠隔操作装置、及び遠隔操作システム
US20200086497A1 (en) 2018-09-13 2020-03-19 The Charles Stark Draper Laboratory, Inc. Stopping Robot Motion Based On Sound Cues
KR20200040625A (ko) 2018-10-10 2020-04-20 삼성전자주식회사 사용자의 발화를 처리하는 사용자 단말 및 그 제어 방법
EP3869301A4 (en) * 2018-10-15 2021-12-15 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND COMPUTER PROGRAM
US10657968B1 (en) * 2018-11-19 2020-05-19 Google Llc Controlling device output according to a determined condition of a user
CN111801731B (zh) * 2019-01-22 2024-02-13 京东方科技集团股份有限公司 语音控制方法、语音控制装置以及计算机可执行非易失性存储介质
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
CN111724797A (zh) * 2019-03-22 2020-09-29 比亚迪股份有限公司 基于图像和声纹识别的语音控制方法、系统和车辆
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
KR102704312B1 (ko) * 2019-07-09 2024-09-06 엘지전자 주식회사 커뮤니케이션 로봇 및 그의 구동 방법
US11587564B2 (en) 2020-04-20 2023-02-21 Rovi Guides, Inc. Enhancing signature word detection in voice assistants
US11257471B2 (en) 2020-05-11 2022-02-22 Samsung Electronics Company, Ltd. Learning progression for intelligence based music generation and creation
US12008985B2 (en) * 2020-06-22 2024-06-11 Amazon Technologies, Inc. Natural language processing of declarative statements
US12002458B1 (en) * 2020-09-04 2024-06-04 Amazon Technologies, Inc. Autonomously motile device with command processing
US20240153504A1 (en) * 2021-06-08 2024-05-09 Chian Chiu Li Presenting Location Related Information and Implementing a Task through a Mobile Control Device
KR20230039423A (ko) * 2021-09-14 2023-03-21 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
WO2023106862A1 (ko) * 2021-12-08 2023-06-15 삼성전자 주식회사 전자 장치 및 전자 장치의 동작 방법
US12074956B2 (en) 2021-12-08 2024-08-27 Samsung Electronics Co., Ltd. Electronic device and method for operating thereof
EP4414976A1 (en) * 2022-03-18 2024-08-14 Samsung Electronics Co., Ltd. Method and electronic device for processing user utterance based on augmented sentence candidates
US11804215B1 (en) * 2022-04-29 2023-10-31 Apple Inc. Sonic responses

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040019489A1 (en) * 2002-07-24 2004-01-29 Karsten Funk Voice control of home automation systems via telephone
US6879953B1 (en) * 1999-10-22 2005-04-12 Alpine Electronics, Inc. Speech recognition with request level determination
US20070118357A1 (en) * 2005-11-21 2007-05-24 Kas Kasravi Word recognition using ontologies
US20070239443A1 (en) * 2003-12-05 2007-10-11 Kabushikikikaisha Kenwood Device Control Device and Device Control Method
US20110301958A1 (en) * 2010-06-04 2011-12-08 Microsoft Corporation System-Initiated Speech Interaction
US20140222436A1 (en) * 2013-02-07 2014-08-07 Apple Inc. Voice trigger for a digital assistant
JP2014191029A (ja) * 2013-03-26 2014-10-06 Fuji Soft Inc 音声認識システムおよび音声認識システムの制御方法
US20150006184A1 (en) * 2013-06-28 2015-01-01 Harman International Industries, Inc. Wireless control of linked devices
CN104584096A (zh) * 2012-09-10 2015-04-29 苹果公司 由智能数字助理进行的中断的上下文相关处理
CN104978965A (zh) * 2014-04-07 2015-10-14 三星电子株式会社 电子装置及利用电子装置和服务器的语音识别执行方法

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3677833B2 (ja) * 1995-10-16 2005-08-03 ソニー株式会社 ナビゲーション装置，ナビゲート方法及び自動車
US5799279A (en) 1995-11-13 1998-08-25 Dragon Systems, Inc. Continuous speech recognition of text and commands
US7120234B1 (en) * 1999-12-29 2006-10-10 Bellsouth Intellectual Property Corp. Integrated tone-based and voice-based telephone user interface
US6895380B2 (en) * 2000-03-02 2005-05-17 Electro Standards Laboratories Voice actuation with contextual learning for intelligent machine control
US20030191629A1 (en) * 2002-02-04 2003-10-09 Shinichi Yoshizawa Interface apparatus and task control method for assisting in the operation of a device using recognition technology
EP1691343B1 (en) * 2003-12-05 2008-09-17 Kabushiki Kaisha Kenwood Audio device control device,audio device control method, and program
JP2006285522A (ja) * 2005-03-31 2006-10-19 Ntt Docomo Inc タスク選択支援装置、及び、タスク選択支援方法
JP2008233345A (ja) * 2007-03-19 2008-10-02 Toshiba Corp インタフェース装置及びインタフェース処理方法
US8620652B2 (en) * 2007-05-17 2013-12-31 Microsoft Corporation Speech recognition macro runtime
US8010369B2 (en) * 2007-10-30 2011-08-30 At&T Intellectual Property I, L.P. System and method for controlling devices that are connected to a network
US20110087670A1 (en) * 2008-08-05 2011-04-14 Gregory Jorstad Systems and methods for concept mapping
US8676904B2 (en) * 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
KR20100081587A (ko) 2009-01-06 2010-07-15 삼성전자주식회사 로봇의 소리 인식 장치 및 그 제어 방법
KR20120024247A (ko) * 2010-09-06 2012-03-14 삼성전자주식회사 사용자의 제스처를 인식하여 이동 장치를 동작하는 방법 및 그 이동 장치
US20130268687A1 (en) * 2012-04-09 2013-10-10 Mcafee, Inc. Wireless token device
KR101987255B1 (ko) * 2012-08-20 2019-06-11 엘지이노텍 주식회사 음성 인식 장치 및 이의 음성 인식 방법
KR102081925B1 (ko) * 2012-08-29 2020-02-26 엘지전자 주식회사 디스플레이 디바이스 및 스피치 검색 방법
US9230560B2 (en) * 2012-10-08 2016-01-05 Nant Holdings Ip, Llc Smart home automation systems and methods
CN104813246B (zh) * 2012-11-22 2017-06-30 三菱电机株式会社 程序生成辅助装置以及方法
KR20140093303A (ko) * 2013-01-07 2014-07-28 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
US9119069B1 (en) * 2013-03-14 2015-08-25 Emc Corporation Near field communication based authentication
US9782075B2 (en) * 2013-03-15 2017-10-10 I2Dx, Inc. Electronic delivery of information in personalized medicine
US9275211B2 (en) * 2013-03-15 2016-03-01 Telesign Corporation System and method for utilizing behavioral characteristics in authentication and fraud prevention
US9336781B2 (en) * 2013-10-17 2016-05-10 Sri International Content-aware speaker recognition
US10055681B2 (en) * 2013-10-31 2018-08-21 Verint Americas Inc. Mapping actions and objects to tasks
JP6236303B2 (ja) * 2013-11-26 2017-11-22 株式会社デンソーアイティーラボラトリ 制御装置、制御方法およびプログラム
KR102188090B1 (ko) * 2013-12-11 2020-12-04 엘지전자 주식회사 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템
US10170123B2 (en) * 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
KR102281178B1 (ko) * 2014-07-09 2021-07-23 삼성전자주식회사 멀티-레벨 음성 인식 방법 및 장치
US9911415B2 (en) * 2014-12-19 2018-03-06 Lenovo (Singapore) Pte. Ltd. Executing a voice command during voice input
US9294476B1 (en) * 2015-02-18 2016-03-22 Keeper Security, Inc. User-defined identity verification system
US9685156B2 (en) * 2015-03-12 2017-06-20 Sony Mobile Communications Inc. Low-power voice command detector
US10079012B2 (en) * 2015-04-21 2018-09-18 Google Llc Customizing speech-recognition dictionaries in a smart-home environment
US10453325B2 (en) * 2015-06-01 2019-10-22 Apple Inc. Creation of reminders using activity state of an application
US20160379638A1 (en) * 2015-06-26 2016-12-29 Amazon Technologies, Inc. Input speech quality matching
US9922476B2 (en) * 2015-08-11 2018-03-20 Schweitzer Engineering Laboratories, Inc. Local access control system management using domain information updates

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6879953B1 (en) * 1999-10-22 2005-04-12 Alpine Electronics, Inc. Speech recognition with request level determination
US20040019489A1 (en) * 2002-07-24 2004-01-29 Karsten Funk Voice control of home automation systems via telephone
US20070239443A1 (en) * 2003-12-05 2007-10-11 Kabushikikikaisha Kenwood Device Control Device and Device Control Method
US20070118357A1 (en) * 2005-11-21 2007-05-24 Kas Kasravi Word recognition using ontologies
US20110301958A1 (en) * 2010-06-04 2011-12-08 Microsoft Corporation System-Initiated Speech Interaction
CN104584096A (zh) * 2012-09-10 2015-04-29 苹果公司 由智能数字助理进行的中断的上下文相关处理
US20140222436A1 (en) * 2013-02-07 2014-08-07 Apple Inc. Voice trigger for a digital assistant
JP2014191029A (ja) * 2013-03-26 2014-10-06 Fuji Soft Inc 音声認識システムおよび音声認識システムの制御方法
US20150006184A1 (en) * 2013-06-28 2015-01-01 Harman International Industries, Inc. Wireless control of linked devices
CN104978965A (zh) * 2014-04-07 2015-10-14 三星电子株式会社 电子装置及利用电子装置和服务器的语音识别执行方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SYED AYAZ ALI SHAH,ET AL.: "Interactive Voice Response with Pattern Recognition Based on Artificial Neural Network Approach", 《2007 INTERNATIONAL CONFERENCE ON EMERGING TECHNOLOGIES》 *
刘朝晨: "一种基于TMS320C6713的语音信号频域盲分离算法", 《数据采集与处理》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109065035A (zh) * 2018-09-06 2018-12-21 珠海格力电器股份有限公司 信息交互方法及装置
CN112913252A (zh) * 2018-10-26 2021-06-04 三星电子株式会社 电子设备及控制电子设备的方法
CN109841216A (zh) * 2018-12-26 2019-06-04 珠海格力电器股份有限公司 语音数据的处理方法、装置和智能终端
CN109841216B (zh) * 2018-12-26 2020-12-15 珠海格力电器股份有限公司 语音数据的处理方法、装置和智能终端
CN111421557B (zh) * 2019-01-10 2024-06-07 三星电子株式会社 电子装置及其控制方法
CN111421557A (zh) * 2019-01-10 2020-07-17 三星电子株式会社 电子装置及其控制方法
US11875790B2 (en) 2019-03-01 2024-01-16 Google Llc Dynamically adapting assistant responses
CN113557566B (zh) * 2019-03-01 2024-04-12 谷歌有限责任公司 动态地适配助理响应
CN113557566A (zh) * 2019-03-01 2021-10-26 谷歌有限责任公司 动态地适配助理响应
CN112652301A (zh) * 2019-10-12 2021-04-13 阿里巴巴集团控股有限公司 语音处理方法和分布式系统、及语音交互设备和方法
CN112652301B (zh) * 2019-10-12 2023-05-12 阿里巴巴集团控股有限公司 语音处理方法和分布式系统、及语音交互设备和方法
CN110970022B (zh) * 2019-10-14 2022-06-10 珠海格力电器股份有限公司 一种终端控制方法、装置、设备以及可读介质
CN110970022A (zh) * 2019-10-14 2020-04-07 珠海格力电器股份有限公司 一种终端控制方法、装置、设备以及可读介质
CN112151026A (zh) * 2020-08-20 2020-12-29 未来穿戴技术有限公司 语音控制方法、装置、服务器和计算机可读存储介质

Also Published As

Publication number Publication date
EP3341934A4 (en) 2018-07-11
EP3341934B1 (en) 2020-03-11
KR102453603B1 (ko) 2022-10-12
KR20170054707A (ko) 2017-05-18
US10811002B2 (en) 2020-10-20
US20170133009A1 (en) 2017-05-11
CN108369808B (zh) 2022-08-16
EP3341934A1 (en) 2018-07-04
WO2017082543A1 (en) 2017-05-18

Similar Documents

Publication Publication Date Title
CN108369808A (zh) 电子设备和用于控制该电子设备的方法
US11146670B2 (en) Electronic device and method of executing function of electronic device
KR102414122B1 (ko) 사용자 발화를 처리하는 전자 장치 및 그 동작 방법
US10389873B2 (en) Electronic device for outputting message and method for controlling the same
KR102558437B1 (ko) 질의 응답 처리 방법 및 이를 지원하는 전자 장치
CN110199350A (zh) 用于感测语音结束的方法和实现该方法的电子设备
CN108829235A (zh) 语音数据处理方法和支持该方法的电子设备
CN108885498A (zh) 电子装置和在电子装置中提供信息的方法
KR102389996B1 (ko) 전자 장치 및 이를 이용한 사용자 입력을 처리하기 위한 화면 제어 방법
CN108632342A (zh) 用于向多个外部设备发送音频数据的方法和电子设备
CN108806669A (zh) 用于提供语音识别服务的电子装置及其方法
CN108121490A (zh) 用于处理多模式输入的电子装置、方法和服务器
CN108701495A (zh) 用于整合和提供从多个设备收集的数据的方法以及用于实现该方法的电子设备
CN108735204A (zh) 用于执行与用户话语相对应的任务的设备
CN107997767A (zh) 用于识别用户活动的方法及其电子设备
CN108376546A (zh) 语音输入方法以及用于支持该方法的电子设备和系统
CN108023934A (zh) 电子装置及其控制方法
CN108351890A (zh) 电子装置及其操作方法
CN109272994A (zh) 话音数据处理方法以及支持该话音数据处理方法的电子装置
US10311613B2 (en) Electronic device for processing image and method for controlling thereof
CN109154858A (zh) 智能电子设备及其操作方法
CN109102802A (zh) 用于处理用户话语的系统
CN108604190A (zh) 用于控制应用的电子装置及其操作方法
CN106796651A (zh) 电子设备的多媒体数据处理方法及其电子设备
CN108735208A (zh) 用于提供语音识别服务的电子设备及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220816