CN116686257A - 用于提供用户界面的方法及其电子装置 - Google Patents

用于提供用户界面的方法及其电子装置 Download PDF

Info

Publication number
CN116686257A
CN116686257A CN202180090332.1A CN202180090332A CN116686257A CN 116686257 A CN116686257 A CN 116686257A CN 202180090332 A CN202180090332 A CN 202180090332A CN 116686257 A CN116686257 A CN 116686257A
Authority
CN
China
Prior art keywords
electronic device
iot
information
capability
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180090332.1A
Other languages
English (en)
Inventor
李钟明
金柄澈
朴东奎
俞孝相
郑倌晤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN116686257A publication Critical patent/CN116686257A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/75—Indicating network or usage conditions on the user display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/2809—Exchanging configuration information on appliance services in a home automation network indicating that an appliance service is present in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Telephone Function (AREA)

Abstract

公开了包括显示器、可操作地连接到显示器的处理器和可操作地连接到显示器和处理器并存储第一应用的存储器的电子装置。存储器可存储被执行时使处理器进行以下操作的一或更多个指令：当执行第一应用时在显示器上显示第一用户界面；当接收选择第一用户界面的输入时基于服务器中登记的物联网IoT装置信息和应用支持的IoT装置信息过滤支持与第一应用提供的第一功能相关的功能的至少一个IoT装置的装置信息和功能信息；在显示器上显示包括至少一个IoT装置的过滤的装置信息和功能信息的第二用户界面；和当通过第二用户界面接收选择至少一个IoT中的第一IoT装置的输入时配置第一IoT装置的与第一功能相关的将操作的第二功能。还可通过说明书识别各种其他实施例。

Description

用于提供用户界面的方法及其电子装置
技术领域
本公开中公开的实施例涉及一种用于提供用户界面的电子装置及其方法。
背景技术
物联网(IoT)技术是用于通过无线通信连接各种事物的技术。在本文中，事物可包括各种嵌入式系统，诸如家用电器、移动装置或可穿戴装置。它是这样的人工智能技术：通过互联网连接的事物发送和接收数据以自行分析数据并向用户提供学习的信息，并且用户能够远程地调整它。
随着IoT技术的发展，已经开发了用于管理和控制各种IoT装置以及IoT装置的能力的应用。
发明内容
技术问题
IoT相关应用可能无法定义和服务针对每一个应用或每一个场景所支持的IoT装置和能力。例如，当发生指定事件时，用户应当直接指定如何操作哪个IoT装置以在这种情况下控制IoT装置，这是不方便的。此外，用户可借助于每一个应用指定能够用作用于操作IoT装置的条件的事件。
因此，本公开中公开的各种实施例是提供这样的电子装置及其方法：尽管不使用IoT相关应用，但将IoT环境链接到由加载到电子装置中的各种应用提供的用户体验。
技术方案
根据本公开的一方面，提供了一种电子装置。电子装置可包括：显示器、与所述显示器可操作地连接的处理器、以及与所述显示器和所述处理器可操作地连接并存储第一应用的存储器。所述存储器可存储一个或更多个指令，其中，所述一个或更多个指令在被执行时促使所述处理器进行以下操作：在第一应用运行时，在所述显示器上显示第一用户界面，当接收到用于选择第一用户界面的输入时，基于向服务器登记的物联网(IoT)装置信息和由应用支持的IoT装置信息，过滤关于至少一个IoT装置的装置信息和能力信息，其中，所述至少一个IoT装置支持与由第一应用提供的第一能力相关联的能力，在所述显示器上显示第二用户界面，其中，第二用户界面包括关于至少一个IoT装置的过滤的装置信息和过滤的能力信息，以及当通过第二用户界面接收到用于选择所述至少一个IoT装置之中的第一IoT装置的输入时，设置第一IoT装置的第二能力以进行操作，其中，第二能力与第一能力相关联。
根据本公开的另一方面，提供了一种用于在电子装置中提供用户界面的方法。所述方法可包括：当运行存储在所述电子装置的存储器中的第一应用时，在所述电子装置的显示器上显示第一用户界面，当接收到用于选择第一用户界面的输入时，基于向服务器登记的物联网(IoT)装置信息和由应用支持的IoT装置信息，过滤关于至少一个IoT装置的装置信息和能力信息，其中，所述至少一个IoT装置支持与由第一应用提供的第一能力相关联的能力，在显示器上显示第二用户界面，其中，第二用户界面包括关于至少一个IoT装置的过滤的装置信息和过滤的能力信息，以及当通过第二用户界面接收到用于选择所述至少一个IoT装置之中的第一IoT装置的输入时，设置第一IoT装置的第二能力以进行操作，其中，第二能力与第一能力相关联。
有益效果
根据本公开中公开的各种实施例，可响应于从每一个应用接收的请求而主动地配置和提供用于针对每一个应用设置IoT装置的操作的用户界面。因此，由于每一个应用能够向用户提供与IoT环境交互工作的体验而无需理解IoT环境，并且用户能够在指定每一个应用中的事件时链接IoT环境，因此可改善用户体验。
此外，根据本公开中公开的各种实施例，由于在更新IoT服务器或应用策略服务器的数据时可容易地添加由每一个应用支持的IoT装置和IoT装置的能力，因此可提供改进的可扩展性。
此外，根据本公开中公开的各种实施例，可仅在用户处于与IoT装置相同或相似的位置时提供控制IoT装置的能力，而不是在指定事件发生时的任何情况下均控制IoT装置。
另外，可提供通过本公开直接或间接确定的各种效果。
附图说明
图1是示出根据各种实施例的网络环境中的电子装置的框图；
图2是示出根据各种实施例的程序的框图；
图3是根据实施例的网络环境中的电子装置301的框图；
图4是示出根据实施例的电子装置的操作的流程图；
图5是示出根据实施例的由电子装置显示的用户界面的示图；
图6a和图6b是示出根据实施例的由电子装置显示的用户界面的示图；
图7是示出根据实施例的由电子装置显示的用户界面的示图；
图8a和图8b是用于描述根据实施例的电子装置的操作的示图；
图9是用于描述根据实施例的电子装置的操作的示图；
图10是用于描述根据实施例的电子装置的操作的示图；
图11是用于描述根据实施例的电子装置的操作的示图；
图12是用于描述根据实施例的电子装置的操作的示图；
图13是用于描述根据实施例的电子装置的操作的示图；
图14是用于描述根据实施例的电子装置的操作的示图；
图15是用于描述根据实施例的电子装置的操作的示图；
图16是示出根据实施例的电子装置的操作的流程图。
关于附图的描述，相同或相似的表示可用于相同或相似的组件。
具体实施方式
图1是示出根据各种实施例的网络环境100中的电子装置101的框图。参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108中的至少一个进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入模块150、声音输出模块155、显示模块160、音频模块170、传感器模块176、接口177、连接端178、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中，可从电子装置101中省略上述组件中的至少一个(例如，连接端178)，或者可将一个或更多个其它组件添加到电子装置101中。在一些实施例中，可将上述组件中的一些组件(例如，传感器模块176、相机模块180或天线模块197)实现为单个集成组件(例如，显示模块160)。
处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120结合的至少一个其它组件(例如，硬件组件或软件组件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一组件(例如，传感器模块176或通信模块190)接收到的命令或数据存储到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(CPU)或应用处理器(AP))或者与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(GPU)、神经处理单元(NPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。例如，当电子装置101包括主处理器121和辅助处理器123时，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为专用于特定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123(而非主处理器121)可控制与电子装置101的组件之中的至少一个组件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的组件之中的至少一个组件(例如，显示模块160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一组件(例如，相机模块180或通信模块190)的部分。根据实施例，辅助处理器123(例如，神经处理单元)可包括专用于人工智能模型处理的硬件结构。可通过机器学习来生成人工智能模型。例如，可通过人工智能被执行之处的电子装置101或经由单独的服务器(例如，服务器108)来执行这样的学习。学习算法可包括但不限于例如监督学习、无监督学习、半监督学习或强化学习。人工智能模型可包括多个人工神经网络层。人工神经网络可以是深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)、受限玻尔兹曼机(RBM)、深度置信网络(DBN)、双向循环深度神经网络(BRDNN)或深度Q网络或其两个或更多个的组合，但不限于此。另外地或可选地，人工智能模型可包括除了硬件结构以外的软件结构。
存储器130可存储由电子装置101的至少一个组件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入模块150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它组件(例如，处理器120)使用的命令或数据。输入模块150可包括例如麦克风、鼠标、键盘、键(例如，按钮)或数字笔(例如，手写笔)。
声音输出模块155可将声音信号输出到电子装置101的外部。声音输出模块155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的。接收器可用于接收呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
显示模块160可向电子装置101的外部(例如，用户)视觉地提供信息。显示模块160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示模块160可包括被适配为检测触摸的触摸传感器或被适配为测量由触摸引起的力的强度的压力传感器。
音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入模块150获得声音，或者经由声音输出模块155或与电子装置101直接(例如，有线地)连接或无线结合的外部电子装置(例如，电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线结合的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个组件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙TM、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如，长距离通信网络，诸如传统蜂窝网络、5G网络、下一代通信网络、互联网或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个组件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个组件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
无线通信模块192可支持在4G网络之后的5G网络以及下一代通信技术(例如新无线电(NR)接入技术)。NR接入技术可支持增强型移动宽带(eMBB)、大规模机器类型通信(mMTC)或超可靠低延时通信(URLLC)。无线通信模块192可支持高频带(例如，毫米波带)以实现例如高数据传输速率。无线通信模块192可支持用于确保高频带上的性能的各种技术，诸如例如波束成形、大规模多输入多输出(大规模MIMO)、全维MIMO(FD-MIMO)、阵列天线、模拟波束成形或大规模天线。无线通信模块192可支持在电子装置101、外部电子装置(例如，电子装置104)或网络系统(例如，第二网络199)中指定的各种要求。根据实施例，无线通信模块192可支持用于实现eMBB的峰值数据速率(例如，20Gbps或更大)、用于实现mMTC的丢失覆盖(例如，164dB或更小)或者用于实现URLLC的U平面延迟(例如，对于下行链路(DL)和上行链路(UL)中的每一个为0.5ms或更小，或者1ms或更小的往返)。
天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，印刷电路板(PCB))中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线(例如，阵列天线)。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(RFIC))可附加地形成为天线模块197的一部分。
根据各种实施例，天线模块197可形成毫米波天线模块。根据实施例，毫米波天线模块可包括印刷电路板、射频集成电路(RFIC)和多个天线(例如，阵列天线)，其中，RFIC设置在印刷电路板的第一表面(例如，底表面)上，或与第一表面相邻并且能够支持指定的高频带(例如，毫米波带)，所述多个天线设置在印刷电路板的第二表面(例如，顶部表面或侧表面)上，或与第二表面相邻并且能够发送或接收指定高频带的信号。
上述组件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互结合并在它们之间通信地传送信号(例如，命令或数据)。
根据实施例，可经由与第二网络199结合的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102或电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或外部电子装置108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术、移动边缘计算(MEC)技术或客户机-服务器计算技术。电子装置101可使用例如分布式计算或移动边缘计算来提供超低延迟服务。在另一实施例中，外部电子装置104可包括物联网(IoT)装置。服务器108可以是使用机器学习和/或神经网络的智能服务器。根据实施例，外部电子装置104或服务器108可被包括在第二网络199中。电子装置101可应用于基于5G通信技术或IoT相关技术的智能服务(例如，智能家居、智能城市、智能汽车或医疗保健)。
图2是示出根据各种实施例的程序140的框图200。根据实施例，程序140可包括用于控制电子装置101的一个或更多个资源的操作系统(OS)142、中间件144或可在OS 142中运行的应用146。OS 142可包括例如AndroidTM、iOSTM、WindowsTM、SymbianTM、TizenTM或BadaTM。例如，可在制造期间将程序140中的至少一部分预载入到电子装置101上，或者可在用户使用期间从外部电子装置(例如，电子装置102或电子装置104，或者服务器108)下载或由外部电子装置更新程序140中的至少一部分。
OS 142可控制电子装置101的一个或更多个系统资源(例如，进程、存储器或电源)的管理(例如，分配或解除分配)。另外或可选地，OS 142可包括用于驱动电子装置101的其它硬件装置(例如，输入模块150、声音输出模块155、显示模块160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块196或天线模块197)的一个或更多个驱动程序。
中间件144可向应用146提供各种功能，使得应用146可使用从电子装置101的一个或更多个资源提供的功能或信息。中间件144可包括例如应用管理器201、窗口管理器203、多媒体管理器205、资源管理器207、电力管理器209、数据库管理器211、包管理器213、连接管理器215、通知管理器217、位置管理器219、图形管理器221、安全管理器223、电话管理器225或语音识别管理器227。
应用管理器201例如可管理应用146的生命周期。窗口管理器203例如可管理在屏幕上使用的一个或更多个图形用户界面(GUI)资源。多媒体管理器205例如可识别将用于播放媒体文件的一个或更多个格式，并可使用适合于从所述一个或更多个格式中选择的相应格式的编解码器对媒体文件之中的相应媒体文件进行编码或解码。资源管理器207例如可管理应用146的源代码或存储器130的存储空间。电力管理器209例如可管理电池189的容量、温度或电力，并可至少部分基于电池189的容量、温度或电力的相应信息来确定或提供将用于电子装置101的操作的相关信息。根据实施例，电力管理器209可与电子装置101的基本输入/输出系统(BIOS)(未示出)协同工作。
数据库管理器211例如可产生、搜索或改变将由应用146使用的数据库。包管理器213例如可管理以包文件的形式分布的应用的安装或更新。连接管理器215例如可管理电子装置101与外部电子装置之间的无线连接或直接连接。通知管理器217例如可提供用于向用户通知发生特定事件(例如，呼入呼叫、消息或警报)的功能。位置管理器219例如可管理关于电子装置101的位置信息。图形管理器221例如可管理将向用户提供的一个或更多个图形效果或与所述一个或更多个图形效果有关的用户界面。
安全管理器223例如可提供系统安全或用户认证。电话管理器225例如可管理由电子装置101提供的语音呼叫功能或视频呼叫功能。语音识别管理器227例如可向服务器108发送用户的语音数据，并从服务器108接收与将至少部分基于语音数据或至少部分基于语音数据而转换的文本数据在电子装置101上运行的功能相应的命令。根据实施例，中间件144可动态地删除一些现有组件或添加新的组件。根据实施例，可包括中间件144中的至少一部分作为OS 142的一部分，或者可将中间件144中的至少一部分实现为与OS 142分离的另一软件。
应用146可包括例如主页251、拨号器253、短消息服务(SMS)/多媒体消息服务(MMS)255、即时消息(IM)257、浏览器259、相机261、闹铃263、联系人265、语音识别267、电子邮件269、日历271、媒体播放器273、相册275、手表277、健康279(例如，用于测量锻炼程度或生物信息(诸如血糖))或环境信息281(例如，用于测量气压、湿度或温度信息)应用。根据实施例，应用146还可包括能够支持电子装置101与外部电子装置之间的信息交换的信息交换应用(未示出)。信息交换应用例如可包括适用于向外部电子装置传送指定信息(例如，呼叫、消息或警报)的通知转发应用或适用于管理外部电子装置的装置管理应用。通知转发应用可向外部电子装置传送与在电子装置101的另一应用(例如，电子邮件应用269)发生特定事件(例如，接收到电子邮件)相应的通知信息。另外或可选地，通知转发应用可从外部电子装置接收通知信息并向电子装置101的用户提供通知信息。
装置管理应用可控制外部电子装置或外部电子装置的一些组件(例如，外部电子装置的显示模块或相机模块)的电力(例如，开启或关闭)或功能(例如，亮度、分辨率或焦点的调整)。另外或可选地，装置管理应用可支持在外部电子装置上运行的应用的安装、删除或更新。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，与项目相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项目的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应组件与另一组件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述组件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)结合、与所述另一元件无线结合、或经由第三元件与所述另一元件结合。
如与本公开的各种实施例关联使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成组件或者是该单个集成组件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它组件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品，或者可经由应用商店(例如，Play StoreTM)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例，上述组件中的每个组件(例如，模块或程序)可包括单个实体或多个实体，并且多个实体中的一些实体可分离地设置在不同的组件中。根据各种实施例，可省略上述组件中的一个或更多个组件，或者可添加一个或更多个其它组件。可选择地或者另外地，可将多个组件(例如，模块或程序)集成为单个组件。在这种情况下，根据各种实施例，该集成组件可仍旧按照与所述多个组件中的相应一个组件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个组件中的每一个组件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一组件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。
在下文中，将参照图3和图4给出根据实施例的电子装置的操作的描述。
图3是根据实施例的网络环境300中的电子装置301的框图。图4是示出根据实施例的电子装置301的操作的流程图400。下面将描述的电子装置301的操作可由电子装置(例如，图1的电子装置101)的处理器(例如，图1的处理器120)执行。促使电子装置的处理器执行下文所描述的操作的指令可被存储在电子装置的存储器(例如，图1的存储器130)中。
参照图3，根据实施例的电子装置301可包括第一应用310和第二应用320。根据实施例，第一应用310和第二应用320可被存储在电子装置301的存储器(例如，图1的存储器130)中。根据实施例，第一应用310可以是被配置为执行指定能力的应用。例如，第一应用310可包括时钟(例如，图2的闹铃263)、日历(例如，图2的日历271)、辅助功能(accessibility)、呼叫、天气(例如，图2的环境信息281)、智能视图(例如，通过镜像的内容视图环境提供)或第三方应用。根据实施例，第二应用320可以是用于将由第一应用310执行的至少一个能力与物联网(IoT)装置链接的应用。本公开的第二应用320不限于可以是与存储在电子装置301中的各种应用(例如，第一应用310)和IoT服务服务器302通信的IoT平台的应用。例如，第二应用320可提供用于设置IoT装置的第二能力以在第一能力被执行时进行操作的用户界面(UI)，其中，第二能力与由第一应用310提供的第一能力相关联。将参照图4给出根据实施例的用于在第二应用320中提供用户界面的方法的描述。当作为第一能力的执行条件的事件发生时，第二应用320可控制IoT装置的第二能力进行操作。
根据实施例，第二应用320可包括装置和能力数据库321以及应用(app)策略数据库323。装置和能力数据库321可存储利用至少一个用户账户登记的IoT装置的装置信息和能力信息。应用策略数据库323可存储应用的策略信息。应用的策略信息可包括例如由存储在电子装置301中的至少一个应用(例如，第一应用310)支持的IoT装置的装置信息和能力信息。根据实施例，由应用支持的IoT装置可包括支持与由应用提供的至少一个能力相关联的能力的IoT装置。
根据实施例，电子装置301可通过网络环境300中的通信电路(例如，图1的通信模块190)与服务器(例如，图1的服务器108)通信。根据实施例，电子装置301可与IoT服务服务器302和/或应用策略服务器304通信。根据实施例，IoT服务服务器302可存储针对每一个用户账户的关于利用每一个用户账户登记的IoT装置的信息以及登记的IoT装置的能力。根据实施例，应用策略服务器304可存储针对由每一个应用支持的每一个场景预定义的IoT装置和IoT装置的能力信息。根据实施例，场景可被称为由应用提供的能力。根据实施例，应用策略服务器304可由应用的用户或应用的开发者更新。应用策略服务器304可存储针对由每一个应用支持的每一个场景更新的IoT装置和IoT装置的能力信息。
参照图4，在操作401，第二应用320可从IoT服务服务器302接收IoT装置信息。第二应用320可从IoT服务服务器302接收向IoT服务服务器302登记的IoT装置的装置信息和能力信息。例如，向IoT服务服务器302登记的IoT装置的装置信息和能力信息可包括利用至少一个用户账户登记的IoT装置的装置信息和能力信息。在操作403，第二应用320可将从IoT服务服务器302接收的IoT装置的装置信息和能力信息存储在装置和能力数据库321中。
例如，当IoT装置或与IoT装置相关联的信息被添加、校正或从IoT服务服务器302删除时，第二应用320可从IoT服务服务器302接收IoT装置的装置信息和能力信息。当存储在IoT服务服务器302中的与IoT装置相关联的信息被添加、校正或删除时，IoT服务服务器302可向电子装置301发送通知。作为另一示例，当电子装置301通电时，第二应用320可从IoT服务服务器302接收IoT装置的装置信息和能力信息。作为另一示例，当电子装置301从用户接收到用户账户时，第二应用320可从IoT服务服务器302接收IoT装置的装置信息和能力信息。根据实施例，第二应用320可从IoT服务服务器302接收IoT装置的装置信息和能力信息，并且可更新存储在装置和能力数据库321中的由用户登记的IoT装置的装置信息和能力信息。当电子装置301从IoT服务服务器302接收到存储在IoT服务服务器中的信息的添加、校正或删除的通知时，当电子装置301通电时，或者当电子装置301接收到用户帐户时，第二应用320可从IoT服务服务器302接收IoT装置的装置信息和能力，并且可更新存储在装置和能力数据库321中的由用户登记的IoT装置的装置信息和能力信息。
在操作405，第二应用320可从应用策略服务器304接收应用策略信息。例如，第二应用320可从应用策略服务器304接收由存储在电子装置301中的至少一个应用(例如，第一应用310)支持的IoT装置的装置信息和能力信息。例如，在至少一个应用(例如，第一应用310)运行之前，第二应用320可从应用策略服务器304接收由至少一个应用(例如，第一应用310)支持的IoT装置的装置信息和能力信息。在操作407，电子装置301可将从应用策略服务器304接收的IoT装置的装置信息和能力信息存储在应用策略数据库323中。
根据实施例，第二应用320可在第一应用310运行之前从应用策略服务器304接收由第一应用310支持的IoT装置的装置信息和能力信息。由第一应用310支持的IoT装置可包括支持与由第一应用310提供的至少一个能力相关联的能力的IoT装置。根据实施例，第二应用320可接收关于支持与由第一应用310提供的至少一个能力相关联的能力的IoT装置的装置信息和能力信息。
根据实施例，电子装置301可在执行操作409之前从用户接收用于运行第一应用310的用户输入。当接收到用于运行第一应用310的用户输入时，电子装置301可运行第一应用310。
根据实施例，电子装置301可基于用户输入登记作为由第一应用310提供的第一能力的执行条件的事件。例如，当第一应用310是日历应用时，电子装置301可基于用户输入将日程添加到指定日期。根据实施例，电子装置301可设置当基于用户的设置输入而登记的事件发生时将被执行的第一能力(例如，通知能力)。例如，当与添加的日程相应的指定日期到达时，电子装置301可向用户提供通知。
在操作409，第一应用310可在显示器(例如，图1的显示模块160)上显示第一用户界面。根据实施例，第一用户界面可包括显示第二用户界面的操作所映射到的用户界面。根据实施例，第二用户界面可以是用于设置IoT装置的第二能力以进行操作的用户界面，其中，IoT装置的第二能力与第一应用310的第一能力相关联。
在操作411，第一应用310可从用户450接收用于选择第一用户界面的输入。根据实施例，第一应用310可接收用于选择第一用户界面的输入，从而执行操作413。在操作413，第一应用310可向第二应用320发送显示第二用户界面的请求。根据实施例，第二应用320可接收显示第二用户界面的请求，从而执行操作415。
在操作415，第二应用320可过滤关于至少一个IoT装置的装置信息和能力信息。根据实施例，第二应用320可基于向服务器登记的IoT装置信息和由应用支持的IoT装置信息，过滤关于至少一个IoT装置的装置信息和能力信息，其中，至少一个IoT装置支持与由第一应用310提供的第一能力相关联的能力。向服务器登记的IoT装置信息可包括存储在装置和能力数据库321中的IoT装置的装置信息和能力信息。由应用支持的IoT装置信息可包括存储在应用策略数据库323中的IoT装置的装置信息和能力信息。根据实施例，第二应用320可对分别存储在装置和能力数据库321和应用策略数据库323中的IoT装置的多条装置信息和多条能力信息进行比较，并且可过滤关于至少一个IoT装置的装置信息和能力信息，其中，至少一个IoT装置支持与由第一应用310提供的第一能力相关联的能力。
根据实施例，第二应用320可识别发送显示第二用户界面的请求的第一应用。第二应用320可在存储在装置和能力数据库321中的IoT装置的多条装置信息和多条能力信息之中过滤关于至少一个IoT装置的装置信息和能力信息，其中，至少一个IoT装置支持与由识别的第一应用310提供的第一能力相关联的能力。例如，当第一应用310是日历应用时，第二应用320可在存储在装置和能力数据库321中的IoT装置的多条装置信息和多条能力信息之中过滤并获得支持与由日历应用提供的第一能力相关联的能力的至少一个IoT装置。
根据上述实施例，当用户帐户被输入到电子装置301时，可更新装置和能力数据库321。第二应用320可识别输入到电子装置301的用户账户。第二应用320可从IoT服务服务器302接收利用识别的用户账户登记的IoT装置的装置信息和能力信息，并且将接收的利用识别的用户账户登记的IoT装置的装置信息和能力信息存储在装置和能力数据库321中。在操作415，第二应用320可在利用用户账户登记的IoT装置的多条装置信息和多条能力信息之中过滤关于至少一个IoT装置的装置信息和能力信息，其中，至少一个IoT装置支持与由第一应用310提供的第一能力相关联的能力。
根据实施例，第二应用320可将利用识别的用户账户登记的IoT装置的装置信息和能力信息与由识别的第一应用支持的IoT装置的装置信息和能力信息进行比较，并且可过滤并获得重复的信息。根据实施例，过滤的信息可包括关于支持与由第一应用310提供的第一能力相关联的能力的至少一个IoT装置的装置信息和能力信息。例如，当利用识别的用户账户登记的IoT装置包括第一IoT装置和第二IoT装置时，并且当由识别的第一应用310支持的IoT装置包括第一IoT装置时，第二应用320可过滤并获得关于第一IoT装置的装置信息和能力信息。
在操作417，第二应用320可显示第二用户界面。第二用户界面可包括在操作415过滤的关于至少一个IoT装置的装置信息和能力信息。根据实施例，第二用户界面可包括用于设置过滤的至少一个IoT装置的能力以进行操作的用户界面。根据实施例，第二用户界面可包括过滤的至少一个IoT装置的装置列表和包括每一个IoT装置的至少一个能力的能力列表。例如，第二应用320可显示过滤的至少一个IoT装置(例如，电视机(TV)、灯、扬声器、和/或空气净化器)的装置列表，并且可显示包括从装置列表中选择的IoT装置(例如，TV)的至少一个能力(例如，电源设置能力、频道设置能力、音量设置能力、和/或魔术屏幕(MagicScreen)能力)的能力列表，但不限于此。作为另一示例，第二应用320可按照装置列表和能力列表彼此集成的形式显示列表。它们彼此集成的形式的列表可包括例如打开TV、打开灯和/或打开百叶窗。
在操作419，第二应用320可从用户450接收用于选择第一IoT装置的输入。根据实施例，第二应用320可通过第二用户界面接收用于在至少一个IoT装置之中选择第一IoT装置的输入。至少一个IoT装置可包括支持与由第一应用310提供的第一能力相关联的能力的IoT装置。根据实施例，第二应用320可接收用于选择第一IoT装置的至少一个能力的输入。第二应用320可接收用于设置第一IoT装置的至少一个能力的输入。
在操作421，第二应用320可设置第一IoT装置的操作。根据实施例，当接收到用于选择第一IoT装置的输入时，第二应用320可设置与由第一应用310提供的第一能力相关联的第二能力以进行操作。根据实施例，第二应用320可基于以下输入来设置第二能力是否进行操作以及第二能力的操作方法：用于选择第一IoT装置的输入、用于选择第一IoT装置的至少一个能力的输入和/或用于设置第一IoT装置的至少一个能力的输入。例如，第二应用320可通过经由第二用户界面接收用于选择TV的输入、用于选择TV的音量设置能力的输入和用于将音量设置为20的输入来设置为打开TV的电源并将TV的音量调节为20。根据实施例，当作为第一能力的执行条件的事件发生时，可执行第二能力。根据实施例，当执行第一能力时，第二应用320可设置为控制第一IoT装置执行第二能力。
在操作423，第二应用320可向第一应用310发送设置信息。根据实施例，第二应用320可将关于第一IoT装置的操作的设置信息发送到第一应用310。例如，第二应用320可对设置信息进行编码，并且可将编码的设置信息发送到第一应用310。根据实施例，第一应用310可存储设置信息。
在操作425，第一应用310可检测事件的发生。事件可包括作为由第一应用310提供的第一能力的执行条件的事件。根据实施例，第一应用310可检测作为第一能力的执行条件的事件的发生。
在操作427，第一应用310可向第二应用320发送设置信息。例如，第一应用310可检测到作为第一能力的执行条件的事件的发生，从而发送设置信息。
在操作429，第二应用320可向IoT服务服务器302发送控制第一IoT装置的请求。根据实施例，第二应用320可基于从第一应用310发送的设置信息来控制第一IoT装置的与第一能力相关联的第二能力进行操作。根据实施例，第二应用320可在执行操作429时确定第一IoT装置是否被包括在向IoT服务服务器302登记的IoT装置中。根据上述实施例，因为存储在装置和能力数据库321中且从IoT服务服务器302接收的IoT装置的装置信息和能力信息能够被更新，所以第二应用320可在执行操作429时确定第一IoT装置是否被包括在装置和能力数据库321中。根据实施例，当确定第一IoT装置被包括在装置和能力数据库321中时，第二应用320可控制第一IoT装置的第二能力进行操作。例如，第二应用320可向IoT服务服务器302发送对第一IoT装置执行第二能力的请求。
在下文中，将参照图5给出由根据实施例的电子装置显示的用户界面的描述。
图5是示出根据实施例的由电子装置显示的用户界面的示图500。下面将描述的电子装置的操作可由电子装置301、电子装置301的处理器(例如，图1的处理器120)或第二应用320执行。下面将描述的电子装置的操作可相应于上面参照图4描述的操作417至操作421。
参照图5，电子装置可基于用户输入在显示器(例如，图1的显示模块160)上显示用于设置IoT装置的与由第一应用310提供的第一能力相关联的第二能力的用户界面以进行操作。图5中所示出的用户界面可包括第一屏幕510、第二屏幕520和第三屏幕530。
根据实施例，第一屏幕510可包括关于过滤的至少一个IoT装置的装置信息。第一屏幕510可包括例如过滤的至少一个IoT装置的装置列表511。根据实施例，装置列表511可包括至少一个IoT装置(例如，TV、冰箱、扬声器、灯、百叶窗和/或空气净化器)。
根据实施例，第一屏幕510可包括与是否基于电子装置的位置来控制IoT装置相关联的选项信息512。选项信息512可包括仅当电子装置具有与至少一个IoT装置相同的位置信息时才控制至少一个IoT装置的选项。
根据实施例，当在接收到用于选择选项的输入之后作为第一能力的执行条件的事件发生时，电子装置可确定电子装置是否具有与至少一个IoT装置相同的位置信息，并且可根据确定的结果控制至少一个IoT装置。例如，电子装置在具有与IoT装置相同的位置信息时，可控制IoT装置根据设置信息执行操作。电子装置在不具有与IoT装置相同的位置信息时，可能无法控制IoT装置根据设置信息执行操作。这里，电子装置具有与IoT装置相同的位置信息可包括：电子装置的位置信息(例如，GPS信息)和IoT装置的位置信息(例如，GPS信息)彼此相同，或者电子装置具有确定它们彼此相同的指定误差范围。
另外，当用户没有选择该选项时，电子装置可控制IoT装置，而不管电子装置的位置如何。在这种情况下，当作为第一能力的执行条件的事件发生时，尽管电子装置不具有与IoT装置相同的位置信息，但电子装置可控制IoT装置根据设置信息执行操作。
根据实施例，用户可在包括在第一屏幕510中的装置列表511中选择IoT装置(例如，TV)。电子装置可响应于接收到用于选择IoT装置的用户输入而显示第二屏幕520。
根据实施例，第二屏幕520可包括关于选择的IoT装置(例如，TV)的装置信息521。装置信息521可包括例如IoT装置的名称和规格。根据实施例，第二屏幕520可包括关于选择的IoT装置的能力信息。第二屏幕520可包括例如包含选择的IoT装置(例如，TV)的至少一个能力(例如，频道设置能力、音量设置能力、和/或魔术屏幕能力)的能力列表522。
根据实施例，用户可在包括在第二屏幕520中的能力列表522中选择能力(例如，音量设置能力)。电子装置可响应于接收到用于选择能力的用户输入而显示第三屏幕530。
根据实施例，第三屏幕530可包括用于详细设置选择的能力(例如，音量设置能力)的用户界面(UI)531。例如，用户可通过UI 531指定期望的音量，并且电子装置可根据指定的音量来设置IoT装置的操作。
根据实施例，电子装置可基于用户输入设置IoT装置的与由第一应用310提供的第一能力相关联的第二能力以进行操作。例如，当作为第一能力的执行条件的事件基于通过第一屏幕510至第三屏幕530的用户输入而发生时，电子装置可设置为打开TV的电源并将TV的音量调节为22％。
在下文中，将参照图6a和图6b给出根据实施例的根据电子装置中的应用不同地显示用户界面的操作的描述。
图6a和图6b是示出根据实施例的由电子装置显示的用户界面的图600和图620。下面将描述的电子装置的操作可由电子装置301、电子装置301的处理器(例如，图1的处理器120)或第二应用320执行。下面将描述的电子装置的操作可相应于上面参照图4描述的操作415至操作419。
参照图6a和图6b，电子装置可识别发送显示用于设置IoT装置的第二能力以进行操作的用户界面的请求的应用，其中，IoT装置的第二能力与由应用(例如，第一应用310)提供的第一能力相关联。电子装置可在向服务器(例如，图3的IoT服务服务器302)登记的IoT装置的多条装置信息和多条能力信息之中过滤IoT装置的装置信息和能力信息，其中，IoT装置支持与由识别的应用提供的第一能力相关联的能力。电子装置可基于至少一个IoT装置的过滤的装置信息和过滤的能力信息来生成用户界面并在显示器(例如，图1的显示模块160)上显示用户界面。
参照图6a，电子装置可识别应用是日历应用610。电子装置可在向服务器登记的IoT装置的多条装置信息和多条能力信息之中过滤支持与日历应用610的第一能力相关联的能力的IoT装置的装置信息和能力信息。例如，支持与日历应用610的第一能力相关联的能力的IoT装置可包括TV和扬声器，并且电子装置可生成第一屏幕611，其中，第一屏幕611包括包含TV和扬声器的IoT装置的装置列表613。
根据实施例，电子装置可生成包括能力列表中的每一个能力列表的屏幕，其中，能力列表包括在装置列表613中包括的IoT装置中的每一个IoT装置的能力。例如，可生成包括包含TV的能力的能力列表614的第二屏幕612和包括包含扬声器的能力的能力列表的屏幕(未示出)。例如，能力列表614可包括音量调节能力。
根据实施例，电子装置可识别应用310是日历应用610，从而在显示器上显示第一屏幕611，其中，第一屏幕611包括向服务器登记的IoT装置之中的支持与日历应用610的第一能力相关联的能力的IoT装置的装置列表613。例如，电子装置可响应于接收到用于在装置列表613中选择TV的用户输入而在显示器上显示包括能力列表614的第二屏幕612，其中，能力列表614包括与日历应用610的第一能力相关联的TV的能力(例如，音量调节能力)。
参照图6b，电子装置可识别应用是时钟应用630。电子装置可在向服务器登记的IoT装置的多条装置信息和多条能力信息之中过滤支持与时钟应用630的第一能力相关联的能力的IoT装置的装置信息和能力信息。例如，支持与时钟应用630的第一能力相关联的能力的IoT装置可包括TV、灯和百叶窗，并且电子装置可生成第一屏幕631，其中，第一屏幕631包括包含TV、灯和百叶窗的IoT装置的装置列表633。
根据实施例，电子装置可生成包括能力列表中的每一个的屏幕，其中，能力列表包括在装置列表633中包括的IoT装置中的每一个的能力。例如，可生成包括包含TV的能力的能力列表634的第二屏幕632、包括包含灯的能力的能力列表的屏幕(未示出)、以及包括包含百叶窗的能力的能力列表的屏幕(未示出)。例如，能力列表634可包括音量调节能力和魔术屏幕能力。
根据实施例，电子装置可识别应用是时钟应用630，从而在显示器上显示第一屏幕631，其中，第一屏幕631包括向服务器登记的IoT装置之中的支持与时钟应用630的第一能力相关联的能力的IoT装置的装置列表633。例如，电子装置可响应于接收到用于在装置列表633中选择TV的用户输入而在显示器上显示包括能力列表634的第二屏幕632，其中，能力列表634包括与时钟应用630的第一能力相关联的TV的能力(例如，音量调节能力和魔术屏幕)。
根据上述实施例，电子装置可根据发送显示用户界面的请求的应用不同地显示用于设置IoT装置的与由应用提供的第一能力相关联的第二能力以进行操作的用户界面。电子装置可显示支持与应用(在该应用中，用户登记作为第一能力的执行条件的事件)的第一能力相关联的能力的IoT装置和基于根据相应应用的能力而生成的用户界面，从而改善针对各种应用的每一个场景用于链接IoT装置的用户体验。
在下文中，将参照图7给出根据实施例的在电子装置中根据用户账户不同地显示用户界面的操作的描述。
图7是示出根据实施例的由电子装置显示的用户界面的示图700。下面将描述的电子装置的操作可由电子装置301、电子装置301的处理器(例如，图1的处理器120)或第二应用320执行。下面将描述的电子装置的操作可以相应于上面参照图4描述的操作415至操作419。
根据实施例，电子装置可识别输入到电子装置的用户账户。电子装置可识别发送显示用于设置IoT装置的第二能力以进行操作的用户界面的请求的应用，其中，第二能力与由应用(例如，第一应用310)提供的第一能力相关联。电子装置可在利用识别出的用户账户登记的IoT装置的多条装置信息和多条能力信息之中过滤关于由识别出的应用支持的IoT装置的装置信息和能力信息。电子装置可基于至少一个IoT装置的过滤的装置信息和过滤的能力信息来生成用户界面并在显示器(例如，图1的显示模块160)上显示用户界面。
参照图7，例如，电子装置可识别输入到电子装置的用户账户是第一用户账户701。电子装置可识别发送显示图7中所示出的用户界面的请求的应用是第一应用。电子装置可在利用第一用户账户701登记的IoT装置的多条装置信息和多条能力信息之中过滤支持与第一应用的第一能力相关联的能力的IoT装置的装置信息和能力信息。例如，利用第一用户账户701登记的IoT装置可包括TV、灯和百叶窗，并且支持与第一应用的第一能力相关联的能力的IoT装置可包括TV、灯和百叶窗。在这种情况下，电子装置可生成包括包含TV、灯和扬声器的IoT装置的装置列表711的第一屏幕710。
作为另一示例，电子装置可识别输入到电子装置的用户账户是第二用户账户702。电子装置可在利用第二用户账户702登记的IoT装置的多条装置信息和多条能力信息之中过滤支持与第一应用的第一能力相关联的能力的IoT装置的装置信息和能力信息。例如，利用第二用户账户702登记的IoT装置可包括TV和灯，并且可能没有包括百叶窗。例如，支持与第一应用的第一能力相关联的能力的IoT装置可包括TV、灯和百叶窗。在这种情况下，电子装置可生成包括包含TV和灯的IoT装置的装置列表721的第二屏幕720。
根据实施例，电子装置可识别输入到电子装置的用户账户是第一用户账户701，从而在显示器上显示第一屏幕710，其中，第一屏幕710包括利用第一用户账户701登记的IoT装置之中的支持与第一应用的第一能力相关联的能力的IoT装置的装置列表711。例如，装置列表711可包括TV、灯和百叶窗。电子装置可识别用户账户是第二用户账户702，从而在显示器上显示第二屏幕712，其中，第二屏幕712包括利用第二用户账户702登记的IoT装置之中的支持与第一应用的第一能力相关联的能力的IoT装置的装置列表721。例如，装置列表721可包括TV和灯。
根据上述实施例，电子装置可根据输入到电子装置的用户账户不同地显示用于设置IoT装置的与由应用提供的第一能力相关联的第二能力以进行操作的用户界面。电子装置可显示基于利用用户账户登记的IoT装置生成的用户界面及其能力，从而针对每一个用户账户提供用于链接IoT装置的个性化用户体验。
在下文中，将参照图8a和图8b描述根据实施例的控制IoT装置在电子装置中输出通知的操作。
图8a和图8b是用于描述根据实施例的电子装置的操作的示图800和示图820。下面将描述的电子装置801(例如，图3的电子装置301)的操作可由电子装置801的处理器(例如，图1的处理器120)执行。下面将描述的电子装置的操作可相应于上面参照图4描述的操作425至操作429。
参照图8a和图8b，例如，电子装置801可正在运行位于房间中并检测房间中的声音的应用(例如，声音检测器)。根据实施例，声音检测器应用可检测声音，从而执行通知能力。根据实施例，电子装置801可被配置为控制指定IoT装置在声音检测器应用检测到声音时输出通知。电子装置801可借助于声音检测器应用来检测声音，从而控制指定IoT装置输出通知。根据实施例，可由电子装置基于通过图5中所示出的用户界面接收的用户输入来设置指定IoT装置。例如，指定IoT装置可包括客厅中的TV 802。例如，TV 802可通过扬声器使用语音来输出通知，或者可在显示器上可视地输出通知。
根据实施例，电子装置801可控制IoT装置基于在电子装置801中设置的语言或IoT装置的设置语言输出通知。例如，在电子装置801中设置的语言可以是英语，并且TV 802的设置语言可以是韩语。图8a中所示出的实施例与电子装置801控制IoT装置基于IoT装置的设置语言输出通知的情况相应。图8b中所示出的实施例与电子装置801控制IoT装置基于电子装置801的设置语言输出通知的情况相应。
参照图8a，响应于借助于声音检测器应用检测到婴儿的哭泣，电子装置801可控制TV 802以作为TV 802的设置语言的韩语来输出婴儿正在哭的通知810。参照图8b，响应于借助于声音检测器应用检测到婴儿的哭泣，电子装置801可控制TV 802以作为在电子装置801中设置的语言的英语来输出婴儿正在哭的通知815。
在下文中，将参照图9给出根据实施例的在电子装置中借助于时钟应用对IoT装置的操作进行设置的操作以及基于设置信息来控制IoT装置的操作的描述。
图9是用于描述根据实施例的电子装置的操作的示图900。下面将描述的电子装置901(例如，图3的电子装置301)的操作可由电子装置901的处理器(例如，图1的处理器120)执行。下面将描述的电子装置的操作可相应于上面参照图4描述的操作409至操作429。
参照图9，电子装置901可正在运行时钟应用。电子装置901可显示用于设置闹铃的第一用户界面910。电子装置901可基于通过第一用户界面910接收的用户输入来设置闹铃。根据实施例，第一用户界面910可包括显示第二用户界面920的操作所映射到的项目(例如，智能家居平台(SmartThings)动作)。第二用户界面920可包括这样的用户界面：该用户界面用于设置支持与声音检测器应用的能力相关联的能力的至少一个IoT装置的操作。电子装置901可基于用于选择项目的用户输入来显示第二用户界面920。电子装置901可过滤关于支持与时钟应用的闹铃能力相关联的能力的IoT装置的装置信息和能力信息，并且可基于过滤的信息显示第二用户界面920。电子装置901可基于通过第二用户界面920接收的用户输入来设置至少一个IoT装置(例如，TV 902、百叶窗903和灯904)的操作。例如，电子装置901可基于通过第二用户界面920接收的用户输入，设置为在通过第一用户界面910设置的闹铃响铃时控制打开TV 902、打开百叶窗903和打开灯904。例如，当设置为使得闹铃响铃的时间到达时，电子装置901可将对TV 902、百叶窗903和灯904的控制请求发送到IoT服务服务器(例如，图3的IoT服务服务器302)。IoT服务服务器可基于从电子装置901接收的控制请求来控制打开TV 902、打开百叶窗903和打开灯904。例如，IoT服务服务器可控制TV 902、百叶窗903和灯904顺序地或同时进行操作。
在下文中，将参照图10给出根据实施例的在电子装置中借助于声音检测器应用对IoT装置的操作进行设置的操作以及基于设置信息来控制IoT装置的操作的描述。
图10是用于描述根据实施例的电子装置的操作的示图1000。下面将描述的电子装置1001(例如，图3的电子装置301)的操作可由电子装置1001的处理器(例如，图1的处理器120)执行。下面将描述的电子装置的操作可相应于上面参照图4描述的操作409至操作429。
参照图10，电子装置1001可正在运行声音检测器应用。电子装置1001可显示用于设置声音检测能力的第一用户界面1010。电子装置1001可基于通过第一用户界面1010接收的用户输入来设置闹铃。根据实施例，第一用户界面1010可包括显示第二用户界面1020的操作所映射到的项目(例如，SmartThings提醒)。第二用户界面1020可包括这样的用户界面：该用户界面用于设置支持与声音检测器应用的能力相关联的能力的至少一个IoT装置的操作。电子装置1001可基于用于选择项目的用户输入来显示第二用户界面1020。电子装置1001可根据声音检测器应用的声音检测来过滤支持与通知能力相关联的能力的IoT装置的装置信息和能力信息，并且可基于过滤的信息来显示第二用户界面1020。电子装置1001可基于通过第二用户界面1020接收的用户输入来设置至少一个IoT装置(例如，TV 1002)的操作。例如，基于通过第二用户界面1020接收的用户输入，电子装置1001可将TV 1002设置为当检测到通过第一用户界面1010设置的婴儿的哭泣时输出通知。例如，当检测到婴儿的哭泣时，电子装置1001可输出通知声音并且可将对TV 1002的控制请求发送到IoT服务服务器(例如，图3的IoT服务服务器302)。IoT服务服务器可基于从电子装置1001接收的控制请求通过TV 1002的扬声器输出婴儿正在哭的通知。
在下文中，将参照图11描述根据实施例的在电子装置中借助于日历应用来对IoT装置的操作进行设置的操作以及基于设置信息来控制IoT装置的操作。
图11是用于描述根据实施例的电子装置的操作的示图1100。下面将描述的电子装置1101(例如，图3的电子装置301)的操作可由电子装置1101的处理器(例如，图1的处理器120)执行。下面将描述的电子装置的操作可相应于上面参照图4描述的操作409至操作429。
参照图11，电子装置1101可正在运行日历应用。电子装置1101可显示用于添加日程的第一用户界面1110。电子装置1101可基于通过第一用户界面1010接收的用户输入来显示与日历应用的通知设置相关联的第二用户界面1120。根据实施例，第二用户界面1120可包括显示第三用户界面1130的操作所映射到的项目(例如，SmartThings装置上的提醒)。第三用户界面1130可包括这样的用户界面：该用户界面用于设置支持与日历应用的通知能力相关联的能力的至少一个IoT装置的操作。电子装置1101可基于用于选择项目的用户输入来显示第三用户界面1130。电子装置1101可过滤支持与日历应用的闹铃能力相关联的能力的IoT装置的装置信息和能力信息，并且可基于过滤的信息显示第三用户界面1130。电子装置1101可基于通过第三用户界面1130接收的用户输入来设置至少一个IoT装置(例如，TV1102和扬声器1103)的操作。例如，基于通过第三用户界面1130接收的用户输入，电子装置1101可根据通过第一用户界面1110添加的日程来设置TV 1102和扬声器1103以在指定日期到达时输出通知。例如，当指定日期到达时，电子装置1101可输出通知并且可将对TV 1102和扬声器1103的控制请求发送到IoT服务服务器(例如，图3的IoT服务服务器302)。IoT服务服务器可基于从电子装置1101接收的控制请求，通过TV 1102和扬声器1103输出针对日程的通知。例如，IoT服务服务器可控制TV 1102和扬声器1103顺序地或同时进行操作。
在下文中，将参照图12描述根据实施例的在电子装置中借助于天气应用对IoT装置的操作进行设置的操作以及基于设置信息来控制IoT装置的操作。
图12是用于描述根据实施例的电子装置的操作的示图1200。下面将描述的电子装置1201(例如，图3的电子装置301)的操作可由电子装置1201的处理器(例如，图1的处理器120)执行。下面将描述的电子装置的操作可相应于上面参照图4描述的操作409至操作429。
参照图12，电子装置1201可正在运行天气应用。电子装置1201可显示用于输出天气信息的第一用户界面1210。根据实施例，第一用户界面1210可包括第二用户界面1215，其中，第二用户界面1215用于设置支持与天气应用的能力相关联的能力的至少一个IoT装置的操作。根据实施例，第二用户界面1215可包括借助于与天气应用的能力相关联的至少一个IoT装置(例如，空气净化器1202)获得的信息以及用于对至少一个IoT装置的操作进行设置的项目1220。电子装置1201可基于用于选择项目1220的用户输入来设置至少一个IoT装置(例如，空气净化器1202)的操作。例如，电子装置1201的用户可基于通过第二用户界面1215输出的室内空气质量信息来确定是否操作空气净化器1202，并且电子装置1201可基于用于选择项目1220的用户输入设置控制空气净化器1202进行操作。例如，当接收到用于选择项目1220的用户输入时，电子装置1201可将对空气净化器1202的控制请求发送到IoT服务服务器(例如，图3的IoT服务服务器302)。IoT服务服务器可基于从电子装置1201接收的控制请求来控制空气净化器1202进行操作。
在下文中，将参照图13描述根据实施例的在电子装置中借助于智能视图应用对IoT装置的操作进行设置的操作以及基于设置信息来控制IoT装置的操作。
图13是用于描述根据实施例的电子装置的操作的示图1300。下面将描述的电子装置1301(例如，图3的电子装置301)的操作可由电子装置1301的处理器(例如，图1的处理器120)执行。下面将描述的电子装置的操作可相应于上面参照图4描述的操作409至操作429。
参照图13，电子装置1301可正在运行智能视图应用。根据实施例，智能视图应用可包括通过与电子装置1301有线或无线通信的另一电子装置(例如，IoT装置)的输出装置(例如，显示器)输出由电子装置1301输出的内容的能力。电子装置1301可显示用于设置智能视图能力的第一用户界面1310。电子装置1301可基于通过第一用户界面1310接收的用户输入来选择另一电子装置以对电子装置1301的屏幕进行镜像。根据实施例，电子装置1301可基于用于选择另一电子装置(例如，[TV]三星(Samsung)6系列(43))的用户输入来显示第二用户界面1320。第二用户界面1320可包括这样的用户界面：该用户界面用于设置支持与智能视图应用的能力相关联的能力的至少一个IoT装置的操作。电子装置1301可过滤关于支持与智能视图应用的智能视图能力相关联的能力的IoT装置的装置信息和能力信息，并且可基于过滤的信息显示第二用户界面1320。电子装置1301可借助于第二用户界面1320提供关于选择的另一电子装置(例如，[TV]三星6系列(43))周围的至少一个IoT装置(例如，灯1302、落地灯1303和百叶窗1304)的操作的优化设置信息。例如，优化设置信息可是关闭灯1302、将落地灯1303的亮度调节到20％、以及关闭百叶窗1304。例如，电子装置1301可基于用于选择“开始”按钮的用户输入，基于通过第二用户界面1320提供的设置信息来设置至少一个IoT装置的操作。例如，电子装置1301可基于用于选择“开始”按钮的用户输入，在使用通过第一用户界面1310选择的另一电子装置(例如，[TV]三星6系列(43))执行智能视图能力时，设置关闭灯1302，将落地灯1303的亮度调节到20％，并关闭百叶窗1304。例如，当使用指定电子装置(例如，[TV]三星6系列(43))执行智能视图能力时，电子装置1301可在指定电子装置(例如，[TV]三星6系列(43))的显示器上输出电子装置1301的屏幕，并且可将对灯1302、落地灯1303和百叶窗1304的控制请求发送到IoT服务服务器(例如，图2的IoT服务服务器302)。IoT服务服务器可基于从电子装置1301接收的控制请求进行控制以关闭灯1302、将落地灯1303的亮度调节到20％，并关闭百叶窗1304。例如，IoT服务服务器可控制灯1302、落地灯1303和百叶窗1304顺序地或同时进行操作。
在下文中，将参照图14描述根据实施例的在电子装置中借助于呼叫应用对IoT装置的操作进行设置的操作以及基于设置信息来控制IoT装置的操作。
图14是用于描述根据实施例的电子装置的操作的示图1400。下面将描述的电子装置1401(例如，图3的电子装置301)的操作可由电子装置1401的处理器(例如，图1的处理器120)执行。下面将描述的电子装置的操作可相应于上面参照图4描述的操作409至操作429。
参照图14，电子装置1401可正在运行呼叫应用。例如，电子装置1401可处于它接收呼叫的状态。电子装置1401可接收呼叫，从而显示第一用户界面1410。根据实施例，第一用户界面1410可以是呼入呼叫屏幕。电子装置1401可基于通过第一用户界面1410接收的用户输入来接受或拒绝呼入呼叫。根据实施例，第一用户界面1410可将用于设置电子装置1401周围的IoT装置的操作的第二用户界面1430显示为弹出屏幕。第二用户界面1430可包括这样的用户界面：该用户界面用于设置支持与呼叫应用的能力相关联的能力的至少一个IoT装置的操作。电子装置1401可过滤支持与呼叫应用的呼叫能力相关联的能力的IoT装置的装置信息和能力信息，并且可基于过滤的信息显示第二用户界面1430。根据实施例，第二用户界面1430可包括电子装置1401周围的至少一个可用IoT装置的装置列表1431和针对每一个IoT装置的操作设置按钮(例如，第一按钮1432)。根据实施例，电子装置1401可基于用于选择第一按钮1432的用户输入来设置与第一按钮1432相应的IoT装置(例如，三星TV厨房)的操作。例如，第一按钮1432可以是用于关于静音能力的设置的对象。例如，电子装置1401可基于用于选择第一按钮1432的用户输入来设置执行厨房中的TV的静音能力。例如，当接收到用于选择第一按钮1432的用户输入时，电子装置1401可将对厨房中的TV的控制请求发送到IoT服务服务器(例如，图3的IoT服务服务器302)。IoT服务服务器可基于来自电子装置1401的控制请求来执行厨房中的TV的静音能力。
根据实施例，第二用户界面1430可包括缩小弹出屏幕的操作所映射到的第二按钮1433。电子装置1401可基于用于选择第二按钮1433的用户输入来缩小相应的弹出屏幕。例如，电子装置1401可基于用于选择第二按钮1433的用户输入来显示第三用户界面1420。第三用户界面1420可包括与第二用户界面1430相应的弹出窗口被缩小的图标1440。
在下文中，将参照图15描述根据实施例的在电子装置中借助于音乐应用对IoT装置的操作进行设置的操作以及基于设置信息来控制IoT装置的操作。
图15是用于描述根据实施例的电子装置的操作的示图1500。下面将描述的电子装置1501(例如，图3的电子装置301)的操作可由电子装置1501的处理器(例如，图1的处理器120)执行。下面将描述的电子装置的操作可相应于上面参照图4描述的操作409至操作429。
参照图15，电子装置1501可正在运行音乐应用。例如，电子装置1501可基于用户输入播放音乐。电子装置1501可接收用于播放音乐的用户输入，从而显示第一用户界面1510。根据实施例，第一用户界面1510可以是音乐播放屏幕。电子装置1501可基于通过第一用户界面1510接收的用户输入来设置音乐播放环境。根据实施例，第一用户界面1510可将用于设置电子装置1501周围的IoT装置的操作的第二用户界面1530显示为弹出屏幕。第二用户界面1530可包括这样的用户界面：该用户界面用于设置支持与音乐应用的能力相关联的能力的至少一个IoT装置的操作。电子装置1501可过滤支持与音乐应用的音乐播放能力相关联的能力的IoT装置的装置信息和能力信息，并且可基于过滤的信息显示第二用户界面1530。根据实施例，第二用户界面1530可包括电子装置1501周围的至少一个可用IoT装置的装置列表1531和针对于每一个IoT装置的操作设置按钮(例如，第一按钮1532)。根据实施例，电子装置1501可基于用于选择第一按钮1532的用户输入来设置与第一按钮1532相应的IoT装置(例如，三星TV厨房)的操作。例如，第一按钮1532可以是用于关于静音能力的设置的对象。例如，电子装置1501可基于用于选择第一按钮1532的用户输入来设置执行厨房中的TV的静音能力。例如，当接收到用于选择第一按钮1532的用户输入时，电子装置1501可将对厨房中的TV的控制请求发送到IoT服务服务器(例如，图3的IoT服务服务器302)。IoT服务服务器可基于来自电子装置1501的控制请求来执行厨房中的TV的静音能力。
在下文中，将参照图16给出根据实施例的电子装置的操作的描述。
图16是示出根据实施例的电子装置的操作的流程图1600。下面将描述的电子装置(例如，图3的电子装置301)的操作可由电子装置的处理器(例如，图1的处理器120)执行。
在操作1601，电子装置可运行第一应用(例如，图3的第一应用310)。根据实施例，电子装置可接收用于运行第一应用的用户输入，从而运行第一应用。根据实施例，第一应用可被存储在电子装置的存储器(例如，图1的存储器130)中，并且可以是被配置为执行指定能力的应用。应用可包括例如时钟、日历、辅助功能(例如，声音检测器)、呼叫、天气、智能视图或第三方应用。
在操作1603，电子装置可显示第一用户界面。根据实施例，当第一应用运行时，电子装置可在显示器(例如，图1的显示模块160)上显示第一用户界面。
在操作1605，电子装置可接收用于选择第一用户界面的输入。
在操作1607，当接收到用于选择第一用户界面的输入时，电子装置可过滤关于至少一个IoT装置的装置信息和能力信息，其中，至少一个IoT装置支持与由第一应用提供的第一能力相关联的能力。根据实施例，电子装置可基于向服务器(例如，图3的IoT服务服务器302)登记的IoT装置信息和由应用支持的IoT装置信息来过滤关于至少一个IoT装置的装置信息，其中，至少一个IoT装置支持与由第一应用提供的第一能力相关联的能力。根据实施例，向服务器登记的IoT装置信息可包括通过通信电路(例如，图1的通信模块190)从服务器(例如，图3的IoT服务服务器302)接收并由电子装置存储在数据库(例如，图3的装置和能力数据库321)中的信息。根据实施例，由应用支持的IoT装置信息可包括通过通信电路从服务器(例如，图3的应用策略服务器304)接收并且由电子装置存储在数据库(例如，应用策略数据库323)中的信息。根据实施例，用于过滤关于支持与由电子装置中的第一应用提供的第一能力相关联的能力的至少一个IoT装置的装置信息和能力信息的方法可与上面参照图3和图4描述的方法相同。
在操作1609，电子装置可在显示器上显示第二用户界面，其中，第二用户界面包括关于至少一个IoT装置的过滤的装置信息和过滤的能力信息。根据实施例，第二用户界面可包括用于设置过滤的至少一个IoT装置的能力以进行操作的用户界面。根据实施例，第二用户界面可包括过滤的至少一个IoT装置的装置列表和包括每一个IoT装置的至少一个能力的能力列表。例如，电子装置可显示过滤的至少一个IoT装置的装置列表，并且可显示针对在装置列表中选择的IoT装置的能力列表。作为另一示例，电子装置可按照过滤的至少一个IoT装置的装置列表与每一个IoT装置的能力列表被集成的形式显示列表。因为上面参照图3至图5描述了由根据实施例的电子装置显示的第二用户界面和用于显示第二用户界面的方法，所以将省略重复的描述或者简要描述重复的描述。
在操作1611，电子装置可接收用于在至少一个IoT装置之中选择第一IoT装置的输入。根据实施例，电子装置可通过第二用户界面接收用于在至少一个IoT装置之中选择第一IoT装置的输入。根据实施例，电子装置可在包括第一IoT装置的至少一个能力的能力列表中选择一能力，并且可接收针对选择的能力的设置输入。
在操作1613，电子装置可设置第一IoT装置的与第一能力相关联的第二能力以进行操作。根据实施例，当接收到用于选择第一IoT装置的输入时，电子装置可设置第一IoT装置的与由第一应用提供的第一能力相关联的第二能力以进行操作。根据实施例，用于设置第二能力是否进行操作的方法和基于通过第二用户界面接收的输入的操作方法可与上面参照图3和图4描述的方法相同。根据实施例，当作为由第一应用提供的第一能力的执行条件的事件发生时，可执行第二能力。
根据实施例，当作为第一能力的执行条件的事件发生时，电子装置可控制第一IoT装置的第二能力进行操作。根据实施例，在电子装置中用于控制第一IoT装置的第二能力进行操作的方法可与上面参照图3和图4描述的方法相同。
根据本公开的实施例，电子装置(例如，图1的电子装置101、图3的电子装置301、图9的电子装置901、图10的电子装置1001、图11的电子装置1101、图12的电子装置1201、图13的电子装置1301、图14的电子装置1401、或图15的电子装置1501)可包括：显示器(例如，图3的显示模块160)、与显示器可操作地连接的处理器(例如，图1的处理器120)、以及与显示器和处理器可操作地连接并存储第一应用(例如，图1的应用146或图3的第一应用310)的存储器(例如，图1的存储器130)。存储器可存储一个或更多个指令，其中，所述一个或更多个指令在被执行时促使处理器进行以下操作：当第一应用运行时，在显示器上显示第一用户界面，当接收到用于选择第一用户界面的输入时，基于向服务器(例如，图1的服务器108或图3的物联网(IoT)服务服务器302)登记的IoT装置信息和由应用支持的IoT装置信息，过滤关于至少一个IoT装置的装置信息和能力信息，其中，至少一个IoT装置支持与由第一应用提供的第一能力相关联的能力，在显示器上显示第二用户界面，其中，第二用户界面包括关于至少一个IoT装置的过滤的装置信息和过滤的能力信息，并且当通过第二用户界面接收到用于在所述至少一个IoT装置之中选择第一IoT装置的输入时，设置第一IoT装置的第二能力以进行操作，其中，第二能力与第一能力相关联。
根据本公开的实施例，当作为第一能力的执行条件的事件发生时，可执行第二能力。
根据本公开的实施例，电子装置还可包括通信电路(例如，图1的通信模块190)。所述指令可促使处理器进行以下操作：通过通信电路从第一服务器(例如，图3的IoT服务服务器302)接收向第一服务器登记的IoT装置的装置信息和能力信息，并将接收的向第一服务器登记的IoT装置的装置信息和能力信息存储在第一数据库(例如，图3的装置和能力数据库321)中，并且通过通信电路从第二服务器(例如，图3的应用策略服务器304)接收与由至少一个应用提供的每一个能力相关联的IoT装置的装置信息和能力信息，并将接收的与由至少一个应用提供的每一个能力相关联的IoT装置的装置信息和能力信息存储在第二数据库(例如，图3的应用策略数据库323)中。
根据本公开的实施例，所述指令可促使处理器进行以下操作：当电子装置通过通信电路从第一服务器接收到存储在第一服务器中的信息被添加、校正或删除的通知时，当电子装置通电时，或者当电子装置接收到用户帐户时，通过通信电路从第一服务器接收向第一服务器登记的IoT装置的装置信息和能力信息，并且更新存储在第一数据库中的信息。
根据本公开的实施例，所述指令可促使处理器进行以下操作：当事件发生时，控制第一IoT装置的第二能力进行操作。
根据本公开的实施例，所述指令可促使处理器进行以下操作：当事件发生时，确定第一IoT装置是否被包括在向服务器登记的IoT装置中，以及当第一IoT装置被包括在向服务器登记的IoT装置中时，控制第一IoT装置的第二能力进行操作。
根据本公开的实施例，第二用户界面可包括仅当电子装置具有与第一IoT装置相同的位置信息时才操作第一IoT装置的第二能力的选项。
根据本公开的实施例，所述指令可促使处理器进行以下操作：识别第一应用，并且在向服务器登记的IoT装置信息中过滤关于至少一个IoT装置的装置信息和能力信息，其中，至少一个IoT装置支持与由识别的第一应用提供的第一能力相关联的能力。
根据本公开的实施例，所述指令可促使处理器进行以下操作：识别输入到电子装置的用户账户，并且在利用识别的用户账户登记的IoT装置信息中过滤关于至少一个IoT装置的装置信息和能力信息，其中，至少一个IoT装置支持与由第一应用提供的第一能力相关联的能力。
根据本公开的实施例，第一IoT装置的操作可包括输出通知的操作。所述指令可促使处理器进行以下操作：当事件发生时，控制第一IoT装置基于在电子装置中设置的语言或第一IoT装置的设置语言输出通知。
根据本公开的实施例，用于在电子装置(例如，图1的电子装置101、图3的电子装置301、图9的电子装置901、图10的电子装置1001、图11的电子装置1101、图12的电子装置1201、图13的电子装置1301、图14的电子装置1401、或图15的电子装置1501)中提供用户界面的方法可包括：当存储在电子装置的存储器(例如，图1的存储器130)中的第一应用(例如，图1的应用146或图3的第一应用310)运行时，在电子装置的显示器(例如图3的显示模块160)上显示第一用户界面，当接收到用于选择第一用户界面的输入时，基于向服务器(例如图1的服务器108或图3的物联网(IoT)服务服务器302)登记的IoT装置信息和由应用支持的IoT装置信息，过滤关于至少一个IoT装置的装置信息和能力信息，其中，至少一个IoT装置支持与由第一应用提供的第一能力相关联的能力，在显示器上显示第二用户界面，其中，第二用户界面包括关于至少一个IoT装置的过滤的装置信息和过滤的能力信息，并且当通过第二用户界面接收到用于选择所述至少一个IoT装置之中的第一IoT装置的输入时，设置第一IoT装置的第二能力以进行操作，其中，第二能力与第一能力相关联。
根据本公开的实施例，当作为第一能力的执行条件的事件发生时，可执行第二能力。
根据本公开的实施例，所述方法可包括：通过通信电路(例如，图1的通信模块190)从第一服务器(例如，图3的IoT服务服务器302)接收向第一服务器登记的IoT装置的装置信息和能力信息，并将接收的向第一服务器登记的IoT装置的装置信息和能力信息存储在第一数据库(例如，图3的装置和能力数据库321)中，并且通过通信电路从第二服务器(例如，图3的应用策略服务器304)接收与由至少一个应用提供的每一个能力相关联的IoT装置的装置信息和能力信息，并将接收的与由至少一个应用提供的每一个能力相关联的IoT装置的装置信息和能力信息存储在第二数据库(例如，图3的应用策略数据库323)中。
根据本公开的实施例，所述方法可包括：当通过通信电路从第一服务器接收到存储在第一服务器中的信息被添加、校正或删除的通知时，当电子装置通电时，或者当电子装置接收到用户帐户时，通过通信电路从第一服务器接收向第一服务器登记的IoT装置的装置信息和能力信息，并且更新存储在第一数据库中的信息。
根据本公开的实施例，所述方法可包括：当事件发生时，控制IoT装置的第二能力进行操作。
根据本公开的实施例，控制IoT装置的第二能力进行操作的步骤可包括：当事件发生时，确定第一IoT装置是否被包括在向服务器登记的IoT装置中，并且当第一IoT装置被包括在向服务器登记的IoT装置中时，控制第一IoT装置的第二能力进行操作。
根据本公开的实施例，第二用户界面可包括仅当电子装置具有与第一IoT装置相同的位置信息时才操作第一IoT装置的第二能力的选项。
根据本公开的实施例，过滤关于至少一个IoT装置的装置信息和能力信息的步骤可包括：识别第一应用，并且在向服务器登记的IoT装置信息中过滤关于至少一个IoT装置的装置信息和能力信息，其中，至少一个IoT装置支持与由识别的第一应用提供的第一能力相关联的能力。
根据本公开的实施例，过滤关于至少一个IoT装置的装置信息和能力信息的步骤可包括：识别输入到电子装置的用户账户，并且在利用识别的用户账户登记的IoT装置信息中过滤关于至少一个IoT装置的装置信息和能力信息，其中，至少一个IoT装置支持与由第一应用提供的第一能力相关联的能力。
根据本公开的实施例，第一IoT装置的操作可包括输出通知的操作。所述方法可包括：当事件发生时，控制第一IoT装置基于在电子装置中设置的语言或第一IoT装置的设置语言输出通知。

Claims (15)

1.一种电子装置，包括：
显示器；
处理器，与所述显示器可操作地连接；以及
存储器，与所述显示器和所述处理器可操作地连接并且存储第一应用，
其中，所述存储器存储一个或更多个指令，其中，所述一个或更多个指令在被执行时促使所述处理器进行以下操作：
当第一应用运行时，在所述显示器上显示第一用户界面；
当接收到用于选择第一用户界面的输入时，基于向服务器登记的物联网(IoT)装置信息和由应用支持的IoT装置信息，过滤关于至少一个IoT装置的装置信息和能力信息，其中，所述至少一个IoT装置支持与由第一应用提供的第一能力相关联的能力；
在所述显示器上显示第二用户界面，其中，第二用户界面包括关于所述至少一个IoT装置的过滤的装置信息和过滤的能力信息；以及
当通过第二用户界面接收到用于选择所述至少一个IoT装置之中的第一IoT装置的输入时，设置第一IoT装置的第二能力以进行操作，其中，第二能力与第一能力相关联。
2.根据权利要求1所述的电子装置，其中，当作为第一能力的执行条件的事件发生时，执行第二能力，并且
其中，所述指令促使所述处理器进行以下操作：
当所述事件发生时，控制第一IoT装置的第二能力进行操作。
3.根据权利要求1所述的电子装置，还包括：
通信电路，
其中，所述指令促使所述处理器进行以下操作：
通过所述通信电路从第一服务器接收向第一服务器登记的IoT装置的装置信息和能力信息，并将接收的向第一服务器登记的IoT装置的装置信息和能力信息存储在第一数据库中；以及
通过所述通信电路从第二服务器接收与由至少一个应用提供的每一个能力相关联的IoT装置的装置信息和能力信息，并将接收的与由至少一个应用提供的每一个能力相关联的IoT装置的装置信息和能力信息存储在第二数据库中。
4.根据权利要求3所述的电子装置，其中，所述指令促使所述处理器进行以下操作：
当所述电子装置通过所述通信电路从第一服务器接收到存储在第一服务器中的信息被添加、校正或删除的通知时，当所述电子装置通电时，或者当所述电子装置接收到用户账户时，通过所述通信电路从第一服务器接收向第一服务器登记的IoT装置的装置信息和能力信息，并且更新存储在第一数据库中的所述信息。
5.根据权利要求2所述的电子装置，其中，所述指令促使所述处理器进行以下操作：
当所述事件发生时，确定第一IoT装置是否被包括在向所述服务器登记的IoT装置中；以及
当第一IoT装置被包括在向所述服务器登记的IoT装置中时，控制第一IoT装置的第二能力进行操作。
6.根据权利要求2所述的电子装置，其中，第二用户界面包括仅当所述电子装置具有与第一IoT装置相同的位置信息时才操作第一IoT装置的第二能力的选项。
7.根据权利要求1所述的电子装置，其中，所述指令促使所述处理器进行以下操作：
识别第一应用；以及
在向所述服务器登记的IoT装置信息中过滤关于所述至少一个IoT装置的装置信息和能力信息，其中，所述至少一个IoT装置支持与由识别的第一应用提供的第一能力相关联的能力。
8.根据权利要求1所述的电子装置，其中，所述指令促使所述处理器进行以下操作：
识别输入到所述电子装置的用户账户；以及
在利用识别的用户账户登记的IoT装置信息中过滤关于所述至少一个IoT装置的装置信息和能力信息，其中，所述至少一个IoT装置支持与由第一应用提供的第一能力相关联的能力。
9.根据权利要求2所述的电子装置，其中，第一IoT装置的操作包括输出通知的操作，并且
其中，所述指令促使所述处理器进行以下操作：
当所述事件发生时，控制第一IoT装置基于在所述电子装置中设置的语言或第一IoT装置的设置语言输出所述通知。
10.一种用于在电子装置中提供用户界面的方法，所述方法包括：
当存储在所述电子装置的存储器中的第一应用运行时，在所述电子装置的显示器上显示第一用户界面；
当接收到用于选择第一用户界面的输入时，基于向服务器登记的物联网(IoT)装置信息和由应用支持的IoT装置信息，过滤关于至少一个IoT装置的装置信息和能力信息，其中，所述至少一个IoT装置支持与由第一应用提供的第一能力相关联的能力；
在所述显示器上显示第二用户界面，其中，第二用户界面包括关于所述至少一个IoT装置的过滤的装置信息和过滤的能力信息；并且
当通过第二用户界面接收到用于选择所述至少一个IoT装置之中的第一IoT装置的输入时，设置第一IoT装置的第二能力以进行操作，其中，第二能力与第一能力相关联。
11.根据权利要求10所述的方法，其中，当作为第一能力的执行条件的事件发生时，执行第二能力，并且
所述方法还包括：
当所述事件发生时，控制第一IoT装置的第二能力进行操作。
12.根据权利要求11所述的方法，其中，第二用户界面包括仅当所述电子装置具有与第一IoT装置相同的位置信息时才操作第一IoT装置的第二能力的选项。
13.根据权利要求10所述的方法，其中，过滤关于至少一个IoT装置的装置信息和能力信息的步骤包括：
识别第一应用；并且
在向所述服务器登记的IoT装置信息中过滤关于所述至少一个IoT装置的装置信息和能力信息，其中，所述至少一个IoT装置支持与由识别的第一应用提供的第一能力相关联的能力。
14.根据权利要求10所述的方法，其中，过滤关于至少一个IoT装置的装置信息和能力信息的步骤包括：
识别输入到所述电子装置的用户账户；并且
在利用识别的用户账户登记的IoT装置信息中过滤关于所述至少一个IoT装置的装置信息和能力信息，其中，所述至少一个IoT装置支持与由第一应用提供的第一能力相关联的能力。
15.根据权利要求11所述的方法，其中，第一IoT装置的操作包括输出通知的操作，
所述方法还包括：
当所述事件发生时，控制第一IoT装置基于在所述电子装置中设置的语言或第一IoT装置的设置语言来输出所述通知。
CN202180090332.1A 2021-01-12 2021-12-20 用于提供用户界面的方法及其电子装置 Pending CN116686257A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020210003858A KR20220101856A (ko) 2021-01-12 2021-01-12 사용자 인터페이스를 제공하는 방법 및 그 전자 장치
KR10-2021-0003858 2021-01-12
PCT/KR2021/019359 WO2022154286A1 (ko) 2021-01-12 2021-12-20 사용자 인터페이스를 제공하는 방법 및 그 전자 장치

Publications (1)

Publication Number Publication Date
CN116686257A true CN116686257A (zh) 2023-09-01

Family

ID=82447220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180090332.1A Pending CN116686257A (zh) 2021-01-12 2021-12-20 用于提供用户界面的方法及其电子装置

Country Status (5)

Country Link
US (1) US20230362281A1 (zh)
EP (1) EP4262175A4 (zh)
KR (1) KR20220101856A (zh)
CN (1) CN116686257A (zh)
WO (1) WO2022154286A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024034851A1 (ko) * 2022-08-09 2024-02-15 삼성전자 주식회사 외부 전자 장치에 화면을 표시하는 전자 장치 및 그 동작 방법
KR20240073555A (ko) * 2022-11-18 2024-05-27 삼성전자주식회사 멀티 뷰 화면에서 외부 디바이스를 제어하는 전자 장치 및 그 제어 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10798028B2 (en) * 2016-09-20 2020-10-06 Google Llc Bot interaction
US10365932B2 (en) * 2017-01-23 2019-07-30 Essential Products, Inc. Dynamic application customization for automated environments
US10142454B2 (en) * 2017-02-24 2018-11-27 Motorola Solutions, Inc. Method for providing a customized user interface for group communication at a communication device
KR102339857B1 (ko) * 2017-03-29 2021-12-16 삼성전자주식회사 외부의 IoT 장치를 관리 및 제어하는 방법 및 이를 지원하는 전자 장치
KR102517228B1 (ko) * 2018-03-14 2023-04-04 삼성전자주식회사 사용자의 입력에 대한 외부 전자 장치의 응답 시간에 기반하여 지정된 기능을 제어하는 전자 장치 및 그의 방법
KR102458719B1 (ko) * 2018-07-26 2022-10-25 삼성전자주식회사 사용자 입력을 지원하는 전자 장치 및 전자 장치의 제어 방법
US10778786B2 (en) * 2018-10-29 2020-09-15 International Business Machines Corporation Intelligent multi-device user interaction

Also Published As

Publication number Publication date
KR20220101856A (ko) 2022-07-19
WO2022154286A1 (ko) 2022-07-21
EP4262175A4 (en) 2024-04-24
US20230362281A1 (en) 2023-11-09
EP4262175A1 (en) 2023-10-18

Similar Documents

Publication Publication Date Title
US11637747B2 (en) Wearable electronic device, main electronic device, system and control method thereof
CN106060378B (zh) 用于设置拍摄模块的装置和方法
US11031011B2 (en) Electronic device and method for determining electronic device to perform speech recognition
US20230362281A1 (en) Method for providing user interface and electronic device therefor
US20170111882A1 (en) Electronic device and notification control method
US9602910B2 (en) Ear jack recognition method and electronic device supporting the same
US20230289128A1 (en) Electronic device for supporting audio sharing
US20230176655A1 (en) Electronic device and method for controlling vibration output thereof
US11900015B2 (en) Electronic device and method for controlling audio volume thereof
US20230308880A1 (en) Electronic device and method for operating electronic device
US20230262158A1 (en) Electronic device and method for operating in flex mode
US10319341B2 (en) Electronic device and method for displaying content thereof
US20240080530A1 (en) Electronic apparatus and operating method of electronic apparatus
US11556354B2 (en) Context-based user-personalized configuration method and device
US20230281021A1 (en) Electronic device and application execution method for electronic device
US20230004288A1 (en) Method and electronic device for configuring user interface based on input field
US11635885B2 (en) Electronic device for supporting automation services
CN114175136A (zh) 控制亮度的电子装置及其控制亮度的方法
US20240089584A1 (en) Electronic device and operation method of electronic device
US12032819B2 (en) Electronic device for performing function matched with graphic affordance and operating method of electronic device
US20240256231A1 (en) Electronic device and method for displaying home screen using same
US11947772B2 (en) Electronic device for displaying source information of file and operation method of same
US20230052203A1 (en) Electronic device for managing screen of display and operation method of the electronic device
US20230050178A1 (en) Electronic device for recording contents data and method of the same
US20230196499A1 (en) Electronic device and operating method thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination