CN111801650A - 电子装置及基于对应于用户的使用模式信息控制外部电子装置的方法 - Google Patents

电子装置及基于对应于用户的使用模式信息控制外部电子装置的方法 Download PDF

Info

Publication number
CN111801650A
CN111801650A CN201980016706.8A CN201980016706A CN111801650A CN 111801650 A CN111801650 A CN 111801650A CN 201980016706 A CN201980016706 A CN 201980016706A CN 111801650 A CN111801650 A CN 111801650A
Authority
CN
China
Prior art keywords
user
electronic device
external electronic
information
designated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980016706.8A
Other languages
English (en)
Inventor
金信浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111801650A publication Critical patent/CN111801650A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/18—Artificial neural networks; Connectionist approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification

Abstract

提供了电子装置。电子装置可包括：麦克风；通信模块，包括配置为连接到一个或多个外部电子装置的通信电路；以及处理器。处理器可配置为：至少基于使用麦克风获取的包括音素信息的语音数据来识别用户；当用户是第一用户时基于指定的人工神经网络(ANN)算法来识别对应于第一用户的第一使用模式信息，并且基于所识别的第一使用模式信息经由通信模块控制属于一个或多个外部电子装置且对应于音素信息的第一指定电子装置来执行第一指定操作；以及当用户是第二用户时基于指定的ANN算法来识别对应于第二用户的第二使用模式信息，并且基于所识别的第二使用模式信息经由通信模块控制属于一个或多个外部电子装置并且对应于音素信息的第二指定电子装置来执行第二指定操作。本公开的各种实施方式可使用ANN算法基于对应于用户的用户模式信息而容易地控制用户期望的至少一个电子装置。

Description

电子装置及基于对应于用户的使用模式信息控制外部电子装 置的方法
技术领域
本公开涉及基于对应于用户的使用模式信息来控制外部电子装置的方法。
背景技术
随着物联网(IoT)技术的发展，提供各种服务的IoT装置的数量不断增加。例如，已经结合了IoT技术的IoT装置可以包括与实际生活相关的产品，例如TV、冰箱、洗衣机、室内灯、空调与加热系统以及音频。除了个人产品之外，公众使用的产品也可以包括在IoT装置中。多个IoT装置可以接收用于执行特定功能的命令，并执行与所接收的命令相对应的特定功能。
多个IoT装置可以由特定装置(例如，集线器装置)和特定程序来控制。可以响应于基于人工神经网络(ANN)技术的先前训练信息来控制多个IoT装置。ANN技术有很好的可能性，它将在不久的将来发展并且可以在整个工业中使用。对应于ANN技术的ANN训练算法可以包括递归神经网络(RNN)算法和卷积神经网络(CNN)算法。RNN算法可以是用于识别随时间的操作顺序并基于相应信息的连续性执行训练的算法。CNN算法可以是用于分析静态图像的算法。
发明内容
技术问题
随着已经应用了IoT技术的IoT装置的数量增加，确定多个IoT装置中的一个并且发出命令以便在所确定的IoT装置中执行特定功能的过程可能是困难的。
问题的解决方案
根据各种示例实施方式，为了更有效地控制多个IoT装置，用户可以使用语音向多个IoT装置中的至少一个发出命令。
本公开的各种实施方式可以提供用于至少一个IoT装置在使用语音命令来控制多个IoT装置中的至少一个时基于ANN算法来执行特定功能的方法。
发明的有益效果
本公开的各种实施方式可以包括使用语音命令来确定多个IoT装置中的至少一个以及控制所确定的至少一个IoT装置以执行特定功能。在本公开的各种实施方式中，用户可以通过基于ANN算法执行上述操作来更方便地控制至少一个IoT装置。
在本公开的各种实施方式中，可以使用ANN算法基于对应于用户的使用模式信息来容易地控制用户所期望的IoT装置的功能。因此，可以提高用户对IoT装置的控制的便利性。
附图说明
从以下结合附图的详细描述中，本公开的某些实施方式的以上及其它方面、特征和优点将变得更加明显，在附图中：
图1是示出根据各种实施方式的网络环境内的电子装置的框图；
图2是示出根据各种实施方式的电子装置和多个IoT装置之间的配对状态的图；
图3是示出根据各种实施方式的根据语音命令控制IoT装置的示例方法的流程图；
图4是示出根据各种实施方式的基于对应于用户的配置信息来控制外部电子装置的示例方法的流程图；
图5是示出根据各种实施方式的基于对应于用户的配置信息来控制外部电子装置的示例方法的图；
图6是示出根据各种实施方式的基于语音命令和瞳孔的注视方向来控制外部电子装置的示例方法的流程图；以及
图7是示出根据各种实施方式的基于语音命令和瞳孔的注视方向来控制外部电子装置的示例方法的图。
具体实施方式
图1是示出根据各种实施例的网络环境100中的电子装置101的框图。参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略所述部件中的至少一个(例如，显示装置160或相机模块180)，或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中，可将所述部件中的一些部件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如，显示器)中。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如，硬件部件或软件部件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一部件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123可控制与电子装置101(而非主处理器121)的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如，相机模块180或通信模块190)的部分。
存储器130可存储由电子装置101的至少一个部件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它部件(例如，处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标或键盘。
声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示装置160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入装置150获取声音，或者经由声音输出装置155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或移动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或移动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括一个或更多个天线，并且因此，可由例如通信模块190(例如，无线通信模块192)选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。
上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地发出信号(例如，命令或数据)。
根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果发出到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
图2是示出根据各种实施方式的电子装置和多个IoT装置之间的配对状态的图。
参照图2，电子装置101可以使用包括例如各种通信电路的通信模块(例如，图1的通信模块190)通过有线通信信道或无线通信信道来执行与多个IoT装置的通信。多个IoT装置可以例如包括但不限于，洗衣机201、冰箱202、电视(例如，TV1 203和TV2 204)、音频装置205、窗帘206(例如，能够打开和关闭窗帘的自动化系统)、闭路电视(CCTV)207、对讲机208、照明系统209和空调与加热系统210(例如，空调)。IoT装置可以是两个或更多个相同的产品。包括在相同类别中的产品可以是两种或更多种。例如，TV(例如，TV1203)可以位于起居室中，而另一个TV(例如，TV2 204)可以位于书房中。照明系统209和空调与加热系统210的功能可以根据至少一个房间来执行。
根据各种实施方式，电子装置101可以响应于用户的命令来确定至少一个IoT装置，并且可以控制所确定的IoT装置来执行至少一个功能。根据各种实施方式，在向IoT装置发出语音命令并且处理所述命令时，可以基于ANN算法(例如，RNN算法和/或长短期存储器(LSTM)算法)来识别用户的使用模式(例如，使用模式信息和/或配置信息)。例如，RNN算法例如可以涉及用于训练如时间序列数据的随时间变化的数据的深度学习模型。LSTM算法例如可以指具有RNN算法的已补充的缺点的深度学习模型。LSTM算法例如可以指能够通过补充其训练信息可能丢失的RNN算法来在长时间段内保持训练信息的算法。根据各种实施方式的电子装置101可以识别已经发送语音命令的用户，可以基于根据所识别的用户的基于ANN算法所识别的使用模式信息来识别训练的使用模式信息(例如，配置信息)，并且可以控制至少一个IoT装置。根据各种实施方式，使用模式信息可以例如包括但不限于基于用户的关于使用至少一个外部电子装置的频率的信息、关于使用外部电子装置时的时间的信息、关于对相同类型的外部电子装置被相对更频繁地使用的外部电子装置的信息、关于用户的信息、关于用户优选的外部电子装置的信息、时间信息、天气信息等。
图3是示出根据各种实施方式的根据语音命令来控制IoT装置的示例方法的流程图。
参照图3，在操作301，电子装置(例如图1的电子装置101)的处理器(例如图1的处理器120)可以通过经由麦克风(例如图1的输入装置150)接收用户的语音来检测语音命令。例如但不限于，电子装置101可以是被配置为管理或控制IoT装置的集线器装置，并且可以维持与至少一个IoT装置的配对状态。IoT装置可以包括在现实生活中使用并且与个人用户相关的电子产品，例如但不限于洗衣机、冰箱和TV等，并且可以包括在现实生活中使用并且由多个用户公开使用的电子产品。
在操作303，电子装置101的处理器120可以基于检测到的语音命令来识别用户。例如，电子装置101可以具有已经存储在存储器(例如，图1的存储器130)中的用户语音的音频信息(例如，语音频率信息)。处理器120可以通过将检测到的语音命令与存储在存储器130中的音频信息进行比较来识别对应于语音命令的用户。根据各种实施方式，当接收到语音时，处理器120可以基于ANN算法来分析和预测输入语音。处理器120可以通过分析和预测来根据输入语音来识别特定模式是否被重复。当特定模式被重复时，处理器120可以将关于特定模式和输入语音的频率的信息存储在存储器130中，并且可以分配唯一标识(ID)。根据各种实施方式，当检测到语音命令时，处理器120可以基于对应于唯一ID的与特定模式和语音的频率有关的信息来识别对应于检测到的语音命令的用户。
在操作305，电子装置101的处理器120可以通过相机(例如图1的相机模块180)使用例如面部识别方法来识别用户。
根据各种实施方式，处理器120可以基于操作303和操作305中的至少一个来识别用户。例如，处理器120可以基于在操作303检测到的语音命令来识别用户，并且可以省略操作305。在操作305，处理器120可以省略操作303，并且可以通过相机使用面部识别方法来识别用户。根据各种实施方式，为了精确地识别用户，可以执行操作303和操作305，并且可以改变执行操作303和操作305的顺序。然而，应当理解，可以使用识别用户的任何装置。
在操作307处，处理器120可基于在操作303至操作305识别的对应于用户的使用模式信息(例如，配置信息)来控制对应于所检测到的语音命令的至少一个外部电子装置(例如，IoT装置)。例如，可以基于ANN算法(例如，RNN算法和LSTM算法)来确定使用模式信息。RNN算法例如可以指用于训练如时间序列数据的随时间变化的数据的ANN模型。LSTM算法例如可以指具有RNN算法的已补充的缺点的ANN模型。LSTM算法例如可以指能够通过补充其训练信息可能丢失的RNN算法而在长时间周期内存储训练信息的算法。使用模式信息可以包括对应于特定用户的特定使用模式信息。例如，在第一用户的情况下，可以根据第一用户来确定第一使用模式信息(例如，第一配置信息)。在第二用户的情况下，可以根据第二用户来确定第二使用模式信息(例如，第二配置信息)。
根据各种实施方式，使用模式信息可以包括针对多个IoT装置的关于使用IoT装置的频率的信息、关于使用IoT装置时的时间的信息、关于如果存在相同类型的IoT装置(例如，TV1和TV2)则使用更频繁的IoT装置的信息、关于用户的信息(例如，位置、家庭关系和驻留时间)、关于用户优选的IoT装置的功能的信息、时间信息或天气信息。
根据示例实施方式，当用户(例如，第一用户)发出语音命令“关闭我的房间中的灯并打开我喜欢的音乐”时，电子装置101的处理器120可以基于使用模式信息来确定哪个房间对应于用户的房间，并且可以关闭用户房间中的灯。此外，处理器120可以识别用户的位置并且确定能够在用户的位置播放音乐的IoT装置。处理器120可以基于使用模式信息来识别用户偏好的音乐，并且可以控制IoT装置播放用户偏好的音乐。如果不同的用户(例如，第二用户)发出语音命令，则处理器120可以基于对应于该不同用户的使用模式信息来确定对应于语音命令的IoT装置，并且可以执行所确定的IoT装置的配置功能。
根据另一个实施方式，当用户发出语音命令“打开TV”时，处理器120可以基于使用模式信息来识别用户的位置，并且可以控制靠近用户的TV打开。处理器120可以基于使用模式信息来识别当前时间和用户优选的电视节目，并且可以控制电视广播优选的电视节目。
根据各种实施方式，如果不对应于使用模式信息的新用户(例如，未通过ANN算法记录的用户或未注册用户)发出语音命令，则处理器120不执行语音命令，并且可以通过扬声器(例如，图1的声音输出装置155)或显示器(例如，图1的显示装置160)从现有用户(例如，通过ANN算法记录的用户或注册用户)接收执行语音命令的许可。例如，处理器120可以基于根据ANN算法训练的现有用户的语音命令来控制IoT装置。根据各种实施方式，处理器120可以在现有用户的许可下注册新用户。可以持续更新对应于新用户的使用模式信息。
根据各种实施方式，处理器120可以持续更新对应于多个用户中的每一个的使用模式信息。例如，当接收到语音时，处理器120可以基于ANN算法(例如，RNN算法和LSTM算法)来分析和预测输入语音。如果在通过分析和预测所获取的数据中重复特定模式，则处理器120可以将与特定模式和语的音频率有关的信息存储在服务器或特定存储器中，并且可以分配唯一标识(ID)。处理器120可基于对应于唯一ID的与特定模式和语音的频率有关的信息来识别与现有存储的信息的相似性。如果与唯一ID的有关信息类似于现有存储的信息，则处理器120可以基于与唯一ID有关的信息更新现有存储的信息。
图4是示出根据各种实施方式的基于对应于用户的配置信息来控制外部电子装置的示例方法的流程图。
参照图4，在操作401，电子装置(例如图1的电子装置101)的处理器(例如图1的处理器120)可以使用麦克风(例如图1的输入装置150)接收用户的语音命令。
在操作403，处理器120可以基于所接收的语音命令来识别用户是谁。例如，处理器120可以识别关于所接收的语音命令的音频信息(例如，语音的特定模式和语音的频率信息)。处理器120可通过将所识别的音频信息与存储在存储器(例如图1的存储器130)中的音频信息进行比较来识别对应于语音命令的用户。
在操作405，处理器120可以识别(确定)已经发送语音命令的用户是否是第一用户。当用户被识别(确定)为第一用户时，在操作407，处理器120可以识别对应于第一用户的第一配置信息(例如，第一使用模式信息)，并且可以基于第一配置信息来确定对应于语音命令的至少一个外部电子装置。
在操作409，处理器120可以控制所确定的外部电子装置执行与语音命令对应的功能。
如果在操作405用户不是第一用户，则在操作411，处理器120可以识别(确定)用户是否是第二用户。如果用户被识别(确定)为第二用户，则在操作413，处理器120可以识别对应于第二用户的第二配置信息(例如，第二使用模式信息)，并且可以基于第二配置信息来确定对应于语音命令的至少一个外部电子装置。
在操作415处，处理器120可控制所确定的外部电子装置来执行对应于语音命令的功能。
如果在操作411用户不是第二用户，则处理器120可以忽略所接收的语音命令。根据各种实施方式，当要与对应于接收到的语音命令的音频信息进行比较的音频信息没有存储在存储器130中时，处理器120可以将对应于语音命令的音频信息存储在存储器130中，并且可以分配唯一ID。根据各种实施方式，电子装置101可以在与先前存储在存储器130中的ID对应的用户的控制下将新的音频信息存储在存储器130中，并且可以分配唯一ID。例如，当电子装置101分配唯一ID时，它可以向与先前存储的ID对应的用户请求许可。
图5是示出根据各种实施方式的基于对应于用户的配置信息来控制外部电子装置的示例方法的图。
参照图5，电子装置101可以通过麦克风(例如，图1的输入装置150)接收至少一个用户的语音，并且可以识别对应于所接收的语音的用户是谁。例如，电子装置101可以识别关于所接收语音的音频信息(例如，特定模式和频率信息)。电子装置101可以通过将所识别的音频信息和存储在存储器(例如，图1的存储器130)中的音频信息进行比较来识别与所接收的语音对应的用户。电子装置101可以基于ANN算法来识别对应于所识别的用户的使用模式信息，并且可以基于使用模式信息控制至少一个外部电子装置(例如，IoT装置)来执行用于所接收到的语音的语音命令。
根据各种实施方式，用户A 510(例如，第一用户)和用户B 520(例如，第二用户)可以居住在同一空间501(例如，房屋)中。用户A 510可以居住在包括在同一空间501中的房间A 511中，并且用户B 520可以居住在包括在同一空间501中的房间B 521中。电子装置(例如，图1的电子装置101)可以基于ANN算法来标识位于相同空间501中的用户A 510和用户B520。例如，电子装置101可以具有存储在存储器(例如图1的存储器130)中的用户A 510的音频信息和用户B 520的音频信息。此外，电子装置101可以将对应于用户A 510的使用模式信息和对应于用户B 520的使用模式信息存储在存储器130中。电子装置101可以接收用户A510和用户B 520中的至少一个的语音，并且可以基于存储在存储器中的音频信息来识别对应于语音的用户。
例如，当用户A 510发出语音命令513“提高我房间内的温度”时，电子装置101可以接收语音命令513，并且可以识别对应于语音命令513的用户是用户A 510。电子装置101可以基于与用户A 510对应的使用模式信息来识别房间A 511，即用户A 510的房间。电子装置101可以基于使用模式信息来识别与室外天气和用户A 510优选的设定温度有关的信息。电子装置101可以控制空调与加热系统503(例如，图2的空调与加热系统210)来调节房间A511的温度。根据各种实施方式，电子装置101可以基于用户A 510的使用模式信息来识别用户A 510优选的室内设定温度，并且可以基于所识别的温度来调节房间A 511的温度。
根据各种实施方式，当用户B 520而不是用户A 510发出语音命令时，电子装置101可以像上述示例那样控制至少一个外部电子装置(例如，空调与加热系统503)。
例如，当用户B 520发出语音命令523“提高我房间的温度”时，电子装置101可以接收语音命令523，并且可以识别对应于语音命令523的用户是用户B 520。电子装置101可以基于对应于用户B 520的使用模式信息来识别房间B 521，即用户B 520的房间。电子装置101可以控制空调与加热系统503(例如，图2的空调与加热系统210)来调节房间B 521的温度。根据各种实施方式，电子装置101可以基于用户B 520的使用模式信息来识别用户B 520优选的室内设定温度，并且可以基于所识别的温度来调节房间B 521的温度。
图6是示出根据各种实施方式的基于语音命令和瞳孔的注视方向来控制外部电子装置的示例方法的流程图。
参照图6，在操作601，电子装置(例如，图1的电子装置101)的处理器(例如，图1的处理器120)可在操作传感器模式下检测周围的移动。操作传感器模式可以是电子装置101的处理器120使用传感器模块(例如，图1的传感器模块176)检测用于拍摄的移动对象的模式。电子装置101的处理器120可以使用相机(例如，图1的相机模块180)获取外部对象的图像。根据各种实施方式，处理器120可以在相机一直被激活的状态下获取外部对象的图像，可以通过在操作传感器模式下激活相机来获取外部对象的图像，或者可以在其检测到用于拍摄的移动对象时通过激活相机来获取外部对象的图像。
在操作603，处理器120可以基于所获取的图像来识别(确定)外部对象(例如，用于拍摄的对象)是否是人。
如果在操作603外部对象被识别(确定)为人，则在操作605，处理器120可以使用麦克风(例如，图1的输入装置150)从外部对象(例如，人)获取语音。
在操作607，处理器120可以基于所获取的语音来识别用户。例如，处理器120可以确定用户是现有注册用户还是新用户。处理器120可以基于存储在存储器130中的音频信息来识别用户是注册用户还是未注册用户。尽管未示出，但是当用户是未注册用户时，处理器120可以在注册用户的许可下注册该未注册用户。
在操作609处，处理器120可使用相机(例如图1的相机模块180)来识别用户的瞳孔移动。例如，处理器120可以使用相机来识别用户注视的方向。
在操作611，处理器120可以基于所识别的瞳孔移动来确定多个外部电子装置中的至少一个。例如，如果多个外部电子装置设置在用户注视的方向(例如，坐标)上，则处理器120可以对多个外部电子装置进行分组。处理器120可以基于多个分组的外部电子装置来确定能够执行对应于语音的功能的至少一个外部电子装置。
在操作613处，处理器120可基于对应于用户的使用模式信息(例如，配置信息)来确定是否可通过所确定的外部电子装置来执行对应于语音命令的功能。根据各种实施方式，可以根据特定用户来确定使用模式信息(例如，配置信息)，并且基于ANN算法周期性地更新使用模式信息。处理器120可以根据用户基于使用模式信息来确定至少一个外部电子装置，并且可以控制所确定的外部电子装置以执行用户所期望的功能。
在操作615，处理器120可以控制所确定的外部电子装置执行与语音命令对应的功能。
如果在操作613所确定的外部电子装置不执行对应于语音命令的功能，则在操作617，处理器120可以使用诸如音频信号、光、振动和显示器中的消息通知等方法向用户提供通知。处理器120可以向用户发出读到语音命令尚未被识别的消息。
图7是示出根据各种实施方式的基于语音命令和瞳孔的注视方向来控制外部电子装置的示例方法的图。
图7是从顶部看到的用户701的居住空间700(例如，房屋)的平面图。例如，用户701的居住空间700可以包括音频装置711(例如，图2的音频装置205)、两台TV(例如，TV1 712(例如，图2的TV1 203)和TV2 713(例如，图2的TV2 204))、窗帘714(例如，图2的窗帘206)、灯光(例如，灯光(左)716和灯光(右)715)、洗衣机717(例如，图2的洗衣机201)和冰箱718(例如，图2的冰箱202)。多个外部电子装置可以包括在IoT装置中。尽管未示出，但是居住空间700还可以包括多个IoT装置(例如，空调与加热系统(例如，图2的空调与加热系统210))。外部电子装置不限于图7所示的外部电子装置。
参照图7，电子装置710(例如，图1的电子装置101)已经被示出为位于居住空间700的中心，但是电子装置710的位置不受限制。电子装置710可以用作用于管理或控制多个外部电子装置(例如，音频装置711、TL1、712、TL2、713、灯715和716、洗衣机717和冰箱718)的集线器装置，并且可以与至少一个外部电子装置同步。电子装置710可以确定同步的外部电子装置中的至少一个，并控制所确定的外部电子装置的功能。例如，电子装置710可以控制冰箱718以控制冰箱718的冷藏温度，并且可以远程控制音频装置711的开/关和音量。电子装置710可以包括相机(例如，图1的相机模块180)，并且使用相机拍摄周围的用于拍摄的对象。
参照图7，电子装置710可以使用相机跟踪用户的瞳孔移动，并且基于瞳孔移动来识别位于用户注视的方向上的至少一个外部电子装置。电子装置710可以基于用户的瞳孔移动来预测用户的意图，并且控制位于用户的注视方向上的至少一个外部电子装置。
根据各种实施方式，用户可以在向电子装置710发出语音命令的同时，注视与语音命令对应的至少一个外部电子装置。电子装置710可以在通过麦克风接收语音命令的同时识别用户的瞳孔移动。电子装置710可以预测用户注视的方向并识别位于用户注视的方向上的至少一个外部电子装置。电子装置710可以将所发出的语音命令应用到所识别的外部电子装置。电子装置710可以远程控制所识别的外部电子装置来执行与语音命令对应的功能。
根据本公开的各种实施方式的电子装置(例如，图1的电子装置101)可以包括麦克风(例如，图1的输入装置150)、用于与一个或多个外部电子装置连接的通信模块(例如，图1的通信模块190)以及处理器(例如，图1的处理器120)。处理器120可以至少基于使用麦克风150获取的包括音素信息的语音数据来识别用户。当用户是第一用户时，处理器可以基于指定的ANN算法来识别对应于第一用户的第一使用模式信息，并且可以基于所识别的第一使用模式信息经由通信模块190来控制属于一个或多个外部电子装置并且对应于音素信息的第一指定电子装置来执行第一指定操作。当用户是第二用户时，处理器可以基于指定的ANN算法来识别对应于第二用户的第二使用模式信息，并且可以基于所识别的第二使用模式信息使用音素信息经由通信模块190来控制一个或多个外部电子装置中的第二指定电子装置来执行第二指定操作。
根据各种实施方式，第一使用模式信息可以包括第一用户的对应于一个或多个外部电子装置的使用模式信息。第二使用模式信息可以包括第二用户的对应于一个或多个外部电子装置的使用模式信息。
根据各种实施方式，第一使用模式信息可以包括第一用户的已基于指定的ANN算法将对应于第一用户的权重应用至其的使用模式信息。第二使用模式信息可以包括第二用户的已基于指定的ANN算法将对应于第二用户的权重应用至其的使用模式信息。
根据各种实施方式，第一使用模式信息和第二使用模式信息可以包括针对一个或多个外部电子装置的关于每个外部电子装置使用的频率的信息、关于使用外部电子装置时的时间的信息、关于在包括相同类型的外部电子装置的情况下更多使用的外部电子装置的信息、关于用户的信息、时间信息和天气信息中的至少之一。
根据各种实施方式，处理器120可以将属于一个或多个外部电子装置并且能够执行第一指定操作的至少一个外部电子装置确定为第一指定电子装置。处理器可以将属于一个或多个外部电子装置并且能够执行第二指定操作的至少一个不同的外部电子装置确定为第二指定电子装置。
根据各种实施方式，如果一个或多个外部电子装置中的多个外部电子装置对应于第一指定操作或第二指定操作，则处理器120可以至少基于第一使用模式信息来确定多个外部电子装置中的第一指定电子装置，并且可以至少基于第二使用模式信息来确定多个外部电子装置中的第二指定电子装置。
根据各种实施方式，第一指定操作和第二指定操作可以执行相同的功能。
根据各种实施方式，电子装置(例如，图1的电子装置101)还可以包括相机(例如，图1的相机模块180)。处理器120可使用相机180识别用户的瞳孔移动，可至少基于瞳孔移动来确定用户注视的方向，且可至少基于所述方向来确定第一指定电子装置或第二指定电子装置。
根据各种实施方式，如果用户不属于第一用户和第二用户，则处理器120可以提供用于识别用户对一个或多个外部电子装置的控制是否被允许的通知。
根据本公开的各种实施方式的电子装置(例如，图1的电子装置101)可以包括麦克风(例如，图1的输入装置150)、包括配置为提供与一个或多个外部电子装置的连接的通信电路的通信模块(例如，图1的通信模块190)以及处理器(例如，图1的处理器120)。处理器120可以至少基于使用麦克风150获取的包括音素信息的语音数据来识别用户。当用户是第一用户时，处理器可以基于指定的ANN算法来识别对应于第一用户的第一使用模式信息，并且可以通过基于所识别的第一使用模式信息经由通信模块190控制属于一个或多个外部电子装置并且对应于音素信息的第一指定电子装置来执行指定操作。当用户是第二用户时，处理器可以基于指定的ANN算法来识别对应于第二用户的第二使用模式信息，并且可以通过基于所识别的第二使用模式信息经由通信模块190来控制属于一个或多个外部电子装置并且对应于音素信息的第二指定电子装置来执行指定操作。
根据各个示例实施方式，第一使用模式信息可以包括第一用户的对应于一个或多个外部电子装置的使用模式信息。第二使用模式信息可以包括第二用户的对应于一个或多个外部电子装置的使用模式信息。
根据各个示例实施方式，第一使用模式信息可以包括第一用户的使用模式信息，其中，已基于指定的ANN算法将对应于第一用户的权重应用至第一用户的使用模式信息。第二使用模式信息可以包括第二用户的使用模式信息，已基于指定的ANN算法将对应于第二用户的权重应用至第二用户的使用模式信息。
根据各个示例性实施方式，第一使用模式信息和第二使用模式信息可以包括针对一个或多个外部电子装置的以下信息中的至少之一：关于使用每个外部电子装置的频率的信息、关于使用外部电子装置时的时间的信息、关于在使用相同类型的外部电子装置的情况下更多使用的外部电子装置的信息、关于用户的信息、关于用户偏好的外部电子装置的信息、时间信息和天气信息。
根据各种示例实施方式，处理器120可以将属于一个或多个外部电子装置并且能够执行第一指定操作的至少一个外部电子装置确定为第一指定电子装置，并且可以将属于一个或多个外部电子装置并且能够执行第二指定操作的至少一个不同的外部电子装置确定为第二指定电子装置。
根据本公开的各种实施方式的方法可以包括：至少基于使用麦克风获取的包括音素信息的语音数据来识别用户；当用户是第一用户时，基于指定的ANN算法来识别对应于第一用户的第一使用模式信息；通过基于所识别的第一使用模式信息经由通信模块控制属于一个或多个外部电子装置并且对应于音素信息的第一指定电子装置来执行第一指定操作，当在用户为第二用户时，基于指定的ANN算法识别对应于第二用户的第二使用模式信息，并基于所识别的第二使用模式信息经由通信模块控制属于一个或多个外部电子装置且对应于音素信息的第二指定电子装置来执行第二指定操作。
根据各个示例实施方式的方法可以包括：将属于一个或多个外部电子装置并且能够执行第一指定操作的至少一个外部电子装置确定为第一指定电子装置；以及将属于所述一个或多个外部电子装置并且能够执行第二指定操作的至少一个不同的外部电子装置确定为第二指定电子装置。
根据各种示例性实施方式的方法可以包括：如果一个或多个外部电子装置中的多个外部电子装置对应于第一指定操作或第二指定操作，则至少基于第一使用模式信息来确定多个外部电子装置中的第一指定电子装置；以及至少基于第二使用模式信息来确定多个外部电子装置中的第二指定电子装置。
根据各种示例实施方式，第一指定操作和第二指定操作可以执行相同的功能。
根据各种示例实施方式，执行第一指定操作或执行第二指定操作可以包括：使用相机识别用户的瞳孔移动；至少基于瞳孔移动来确定用户注视的方向；以及至少基于该方向来确定一个或多个外部电子装置中的第一指定电子装置或第二指定电子装置。
根据各个示例实施方式的方法可以包括：当用户不属于第一用户和第二用户时，提供用于识别对应于该用户的对一个或多个外部电子装置的控制是否被允许的通知。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述部件中的每个部件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可省略上述部件中的一个或更多个部件，或者可添加一个或更多个其它部件。可选择地或者另外地，可将多个部件(例如，模块或程序)集成为单个部件。在这种情况下，根据各种实施例，该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。
虽然已经参考各种示例实施方式示出和描述了本公开，但是应当理解，各种示例实施方式是说明性的，而不是限制性的。本领域技术人员将理解，在不脱离例如但不限于在所附权利要求书及其等同中限定的本发明的精神和范围的情况下，可做出各种修改、替代和改变。

Claims (15)

1.电子装置，包括：
麦克风；
通信模块，包括配置为连接到一个或多个外部电子装置的通信电路；以及
处理器，其中，所述处理器配置为：
至少基于使用所述麦克风获取的包括音素信息的语音数据来识别用户，
基于所述用户是第一用户、并基于指定的人工神经网络(ANN)算法来识别对应于所述第一用户的第一使用模式信息，并且基于所识别的第一使用模式信息，经由所述通信模块控制属于所述一个或多个外部电子装置且对应于所述音素信息的第一指定电子装置来执行第一指定操作，以及
基于所述用户是第二用户、并基于所述指定的ANN算法来识别对应于所述第二用户的第二使用模式信息，并且基于所识别的第二使用模式信息，经由所述通信模块控制属于所述一个或多个外部电子装置并且对应于所述音素信息的第二指定电子装置来执行第二指定操作。
2.根据权利要求1所述的电子装置，其中：
所述第一使用模式信息包括所述第一用户的对应于所述一个或多个外部电子装置的使用模式信息，以及
所述第二使用模式信息包括所述第二用户的对应于一个或多个外部电子装置的使用模式信息。
3.根据权利要求1所述的电子装置，其中：
所述第一使用模式信息包括所述第一用户的使用模式信息，其中，已基于所述指定的ANN算法将对应于所述第一用户的权重施加至所述第一用户的使用模式信息，以及
所述第二使用模式信息包括所述第二用户的使用模式信息，其中，已基于所述指定的ANN算法将对应于所述第二用户的权重施加至所述第二用户的使用模式信息。
4.根据权利要求1所述的电子装置，其中，所述第一使用模式信息和所述第二使用模式信息包括关于所述一个或多个外部电子装置的以下信息中的至少之一：
关于使用每个外部电子装置的频率的信息、关于使用所述外部电子装置时的时间的信息、关于在包括相同类型的外部电子装置的情况下更多使用的外部电子装置的信息、关于用户的信息、关于所述用户优选的外部电子装置的信息、时间信息和天气信息。
5.根据权利要求1所述的电子装置，其中，所述处理器配置为：
将属于所述一个或多个外部电子装置且能够执行所述第一指定操作的至少一个外部电子装置确定为所述第一指定电子装置，以及
将属于所述一个或多个外部电子装置且能够执行所述第二指定操作的不同于所述第一指定电子装置的至少一个外部电子装置确定为所述第二指定电子装置。
6.根据权利要求1所述的电子装置，其中，所述处理器配置为：基于所述一个或多个外部电子装置中对应于所述第一指定操作或所述第二指定操作的多个外部电子装置来至少基于所述第一使用模式信息确定所述多个外部电子装置中的所述第一指定电子装置并且至少基于所述第二使用模式信息确定所述多个外部电子装置中的所述第二指定电子装置。
7.根据权利要求1所述的电子装置，其中，所述第一指定操作和所述第二指定操作执行相同的功能。
8.根据权利要求1所述的电子装置，还包括相机，
其中，所述处理器配置为：
使用所述相机识别所述用户的瞳孔移动，
至少基于所述瞳孔移动来确定所述用户注视的方向，以及
至少基于所述方向确定所述第一指定电子装置和/或所述第二指定电子装置。
9.根据权利要求1所述的电子装置，其中，所述处理器配置为基于所述用户不属于所述第一用户和所述第二用户中的一个而提供用于识别是否已经允许所述用户对所述一个或多个外部电子装置的控制的通知。
10.一种方法，包括：
至少基于使用麦克风获取的包括音素信息的语音数据来识别用户；
基于所述用户是第一用户、并基于指定的人工神经网络(ANN)算法识别对应于所述第一用户的第一使用模式信息，并且基于所识别的第一使用模式信息，经由通信模块控制属于一个或多个外部电子装置且对应于所述音素信息的第一指定电子装置来执行第一指定操作；以及
基于所述用户是第二用户、并基于所述指定的ANN算法识别对应于所述第二用户的第二使用模式信息，并且基于所识别的第二使用模式信息，经由所述通信模块控制属于所述一个或多个外部电子装置且对应于所述音素信息的第二指定电子装置来执行第二指定操作。
11.根据权利要求10所述的方法，还包括：
将属于所述一个或多个外部电子装置且能够执行所述第一指定操作的至少一个外部电子装置确定为所述第一指定电子装置；以及
将属于所述一个或多个外部电子装置且能够执行所述第二指定操作的不同于所述第一外部装置的至少一个外部电子装置确定为所述第二指定电子装置。
12.根据权利要求10所述的方法，还包括：
基于所述一个或多个外部电子装置中与所述第一指定操作或所述第二指定操作对应的多个外部电子装置来至少基于所述第一使用模式信息确定所述多个外部电子装置中的所述第一指定电子装置且至少基于所述第二使用模式信息确定所述多个外部电子装置中的所述第二指定电子装置。
13.根据权利要求10所述的方法，其中，所述第一指定操作和所述第二指定操作执行相同的功能。
14.根据权利要求10所述的方法，其中，执行所述第一指定操作和/或执行所述第二指定操作包括：
使用相机识别所述用户的瞳孔移动；
至少基于所述瞳孔移动来确定所述用户注视的方向；以及
至少基于所述方向确定所述一个或多个外部电子装置中的所述第一指定电子装置或所述第二指定电子装置。
15.根据权利要求10所述的方法，还包括基于所述用户不属于所述第一用户和/或所述第二用户来提供用于识别对应于所述用户的对所述一个或多个外部电子装置的控制是否被允许的通知。
CN201980016706.8A 2018-03-02 2019-02-28 电子装置及基于对应于用户的使用模式信息控制外部电子装置的方法 Pending CN111801650A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180025339A KR102580837B1 (ko) 2018-03-02 2018-03-02 사용자에 대응하는 사용 패턴 정보에 기반하여 외부 전자 장치를 제어 하기 위한 전자 장치 및 방법
KR10-2018-0025339 2018-03-02
PCT/KR2019/002431 WO2019168377A1 (en) 2018-03-02 2019-02-28 Electronic device and method for controlling external electronic device based on use pattern information corresponding to user

Publications (1)

Publication Number Publication Date
CN111801650A true CN111801650A (zh) 2020-10-20

Family

ID=67768128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980016706.8A Pending CN111801650A (zh) 2018-03-02 2019-02-28 电子装置及基于对应于用户的使用模式信息控制外部电子装置的方法

Country Status (5)

Country Link
US (1) US20190272459A1 (zh)
EP (1) EP3738025A4 (zh)
KR (1) KR102580837B1 (zh)
CN (1) CN111801650A (zh)
WO (1) WO2019168377A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200209934A1 (en) * 2018-12-28 2020-07-02 Dongguan Evn Electronics Co., Ltd. Internet-of-things-based computer on/off control expansion device and computer on/off control system
US11430447B2 (en) * 2019-11-15 2022-08-30 Qualcomm Incorporated Voice activation based on user recognition
KR102441455B1 (ko) * 2020-05-08 2022-09-07 한국과학기술원 시각적 IoT 서비스를 위한 강화학습 및 효과도 기반 동적 미디어 선택을 위한 전자 장치 및 그의 동작 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101048321B1 (ko) * 2009-10-08 2011-07-12 가톨릭대학교 산학협력단 음성인식 통합 리모컨 및 그 동작 방법
KR102206383B1 (ko) * 2012-07-09 2021-01-22 엘지전자 주식회사 음성 인식 장치 및 그 방법
US9384751B2 (en) * 2013-05-06 2016-07-05 Honeywell International Inc. User authentication of voice controlled devices
US9698999B2 (en) * 2013-12-02 2017-07-04 Amazon Technologies, Inc. Natural language control of secondary device
US9653075B1 (en) * 2015-11-06 2017-05-16 Google Inc. Voice commands across devices
US20170235361A1 (en) 2016-01-20 2017-08-17 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Interaction based on capturing user intent via eye gaze
EP3451335B1 (en) * 2016-04-29 2023-06-14 Vtouch Co., Ltd. Optimum control method based on multi-mode command of operation-voice, and electronic device to which same is applied
EP3455719A1 (en) * 2016-05-10 2019-03-20 Google LLC Implementations for voice assistant on devices

Also Published As

Publication number Publication date
EP3738025A4 (en) 2021-03-10
EP3738025A1 (en) 2020-11-18
KR102580837B1 (ko) 2023-09-21
US20190272459A1 (en) 2019-09-05
WO2019168377A1 (en) 2019-09-06
KR20190104798A (ko) 2019-09-11

Similar Documents

Publication Publication Date Title
US10692495B2 (en) Method of receiving commands for activating voice-recognition service and electronic device for implementing same
CN111699528B (zh) 电子装置及执行电子装置的功能的方法
KR102314241B1 (ko) 적응적 인증 수행 방법 및 이를 지원하는 전자 장치
US20210043189A1 (en) Method and system for performing voice command
CN108023934B (zh) 电子装置及其控制方法
CN105654952B (zh) 用于输出语音的电子设备、服务器和方法
CN113574846A (zh) IoT装置的位置推断方法、服务器和支持该方法的电子装置
US20200104094A1 (en) Customizable embedded vocal command sets for a lighting and/or other environmental controller
KR20180109109A (ko) 홍채 기반 인증 방법 및 이를 지원하는 전자 장치
KR102481486B1 (ko) 오디오 제공 방법 및 그 장치
CN111801650A (zh) 电子装置及基于对应于用户的使用模式信息控制外部电子装置的方法
CN105573489A (zh) 控制外部对象的电子设备和方法
CN109672720A (zh) 用于控制IoT装置的电子装置及其操作方法
KR20200072196A (ko) 오디오 개선을 지원하는 전자 장치 및 이를 위한 방법
US20210383806A1 (en) User input processing method and electronic device supporting same
KR20200076438A (ko) 사용자의 액티비티를 추적하는 전자 장치 및 전자 장치의 동작 방법
US11620996B2 (en) Electronic apparatus, and method of controlling to execute function according to voice command thereof
US11363189B2 (en) Apparatus and method for recognizing voice and face on basis of change in camera driving method
KR20190142192A (ko) 전자 장치 및 전자 장치의 제어 방법
CN113949936A (zh) 一种电子设备的屏幕交互方法及装置
KR20200063673A (ko) 복수의 태스크들을 스케줄링하는 전자 장치 및 그의 동작 방법
KR20200092480A (ko) Em 신호의 특징을 등록하여 외부 장치를 식별하는 방법 및 상기 방법을 적용한 전자 장치
US11443135B2 (en) Method for monitoring object and electronic device for supporting the same
JP7410659B2 (ja) ユーザを認識する電子装置及びその制御方法
KR102563818B1 (ko) 사물 인터넷 장치를 제어하는 전자 장치 및 사물 인터넷 장치의 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination