CN111527732A - 电子装置、用户终端设备及其控制方法 - Google Patents

电子装置、用户终端设备及其控制方法 Download PDF

Info

Publication number
CN111527732A
CN111527732A CN201880079060.3A CN201880079060A CN111527732A CN 111527732 A CN111527732 A CN 111527732A CN 201880079060 A CN201880079060 A CN 201880079060A CN 111527732 A CN111527732 A CN 111527732A
Authority
CN
China
Prior art keywords
electronic device
image
user terminal
processor
communicator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880079060.3A
Other languages
English (en)
Other versions
CN111527732B (zh
Inventor
赵圭炫
李相永
郑熙锡
金胡延
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111527732A publication Critical patent/CN111527732A/zh
Application granted granted Critical
Publication of CN111527732B publication Critical patent/CN111527732B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W88/00Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02Terminal devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • H04L67/1044Group management mechanisms 
    • H04L67/1046Joining mechanisms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06Authentication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/50Secure pairing of devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • H04W76/14Direct-mode setup

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供了一种电子装置。根据示例性实施例的电子装置包括:通信器;存储装置;显示器;以及处理器,被配置为:基于通过通信器从用户终端设备接收到连接请求信号,控制在存储装置中存储通过显示器输出的第一图像,基于通过通信器从用户终端设备接收到第二图像,识别所存储的第一图像中包括的与所接收的第二图像中包括的第二对象相同的第一对象,并且基于确定第一对象的第一特征与第二对象的第二特征相同,控制通信器向用户终端设备发送与连接请求信号相对应的认证信思。

Description

电子装置、用户终端设备及其控制方法
技术领域
本公开涉及一种电子装置、用户终端设备及其控制方法,更具体地,涉及一种用于在电子装置与用户终端设备之间执行连接的电子装置、用户终端设备及其控制方法。
背景技术
随着电子技术的最近发展,家庭、工作或其它领域中提供的各种电子装置具有用于经由网络彼此连接的通信功能。
通过经由网络连接电子装置,可以由一个终端设备容易地控制多个电子装置,并且可以检查电子装置的状态信息。
然而,为了将电子装置连接到网络并且通过终端设备识别电子装置,每个电子装置与终端设备之间的初始连接设置过程是必要的,并且这种设置要求由用户执行许多操作。
另外,存在以下问题:即使在执行初始连接设置过程之后,当终端设备与现有电子装置断开连接并且连接到新的电子装置时,用户也必须经历认证处理。
因此,迫切需要一种用于通过终端设备容易地识别电子装置并且在初始连接或重新连接期间跳过认证处理的方法。
发明内容
技术问题
问题的解决方案
根据本公开的一方面,提供了一种电子装置,其包括:通信器;存储装置;显示器;以及处理器,被配置为:基于通过通信器从用户终端设备接收到连接请求信号,控制在存储装置中存储通过显示器输出的第一图像;基于通过通信器从用户终端设备接收到第二图像,识别所存储的第一图像中包括的与所接收的第二图像中包括的第二对象相同的第一对象;并且基于识别出第一对象的第一特征与第二对象的第二特征相同,控制通信器向用户终端设备发送与连接请求信号相对应的认证信息。
处理器还可以被配置为:接收通过通信器所连接到的网络设备发送的连接请求信号;并且基于认证信息,控制通信器根据来自用户终端设备的经认证的通信连接请求来执行与用户终端设备的对等(P2P)通信。
第一对象可以是第一图像中包括的文本信息和RGB信息中的至少一个,并且第二对象可以是第二图像中包括的文本信息和RGB信息中的至少一个。
处理器还可以被配置为:基于从用户终端设备接收的另一电子装置的认证信息,执行与另一电子装置的通信。
处理器还可以被配置为:控制通信器向另一电子装置发送对另一电子装置的功能相关信息的请求;基于接收到功能相关信息,根据电子装置的功能和另一电子装置的功能相关信息,识别可与另一电子装置相关联地操作的功能;并且执行所识别的功能。
处理器还可以被配置为:基于识别出电子装置的功能包括显示功能并且另一电子装置的功能包括显示功能,识别出能够进行与另一电子装置的镜像功能,接收在另一电子装置上显示的图像,并且执行镜像功能。
处理器还可以被配置为:将第一对象的第一改变模式识别为第一特征并将第二对象的第二改变模式识别为第二特征;并且基于识别出第一改变模式与第二改变模式相同,控制通信器将认证信息发送到用户终端设备。
根据本公开的另一方面,提供了一种用户终端设备,其包括:输入单元;捕获单元;通信器;以及处理器,被配置为:根据用户命令通过输入单元向电子装置发送连接请求信号;对应于连接请求信号,将由捕获单元捕获的图像发送到电子装置;基于发送到电子装置的图像接收认证信息;并且基于从电子装置接收到关于连接请求信号的认证信息,基于认证信息执行与电子装置的对等(P2P)通信。
处理器还可以被配置为:控制通信器通过通信器所连接到的网络设备向电子装置广播连接请求信号;并且控制通信器在预定时间过后通过网络设备向电子装置广播所捕获的图像。
处理器还可以被配置为:控制捕获单元在发送连接请求信号之后的一段时间内执行捕获。
处理器还可以被配置为:控制捕获单元根据用户的捕获命令开始捕获图像;并且控制通信器在发送连接请求信号之后将由捕获单元捕获的图像发送到电子装置。
该用户终端设备还可以包括:显示器;以及被配置为存储关于所连接的另一电子装置的连接信息的存储装置,其中,处理器还可以被配置为:基于进入用于执行与外部电子装置的连接的模式,控制显示器基于存储装置中存储的信息在显示器上显示所连接的另一电子装置的图像。
处理器还可以被配置为:控制通信器根据预定命令将关于另一电子装置的连接信息发送到电子装置,并且其中连接信息可以包括用于电子装置执行与另一电子装置的P2P通信的认证信息。
连接信息可以包括用于电子装置执行与另一电子装置的P2P通信的认证信息和另一电子装置的功能相关信息,并且其中,处理器还可以被配置为:向电子装置请求电子装置的功能相关信息;基于电子装置的功能相关信息和另一电子装置的功能相关信息,识别可在电子装置与另一电子装置之间操作的功能;并且将所识别的功能提供给显示器。
由捕获单元捕获的图像可以是设置在电子装置中的显示器的图像。
根据本公开的另一方面,提供了一种用于用户终端设备的控制方法,该方法包括:根据用户命令向电子装置发送连接请求信号;对应于连接请求信号,将由用户终端设备的捕获单元捕获的图像发送到电子装置;基于发送到电子装置的图像接收认证信息;以及基于从电子装置接收到关于连接请求信号的认证信息,基于认证信息执行与电子装置的对等(P2P)通信。
向电子装置发送连接请求信号可以包括:通过用户终端设备所连接到的网络设备向电子装置广播连接请求信号;并且其中,将所捕获的图像发送到电子装置可以包括:在预定时间过后通过网络设备向电子装置广播所捕获的图像。
将所捕获的图像发送到电子装置可以包括:根据用户的捕获命令开始捕获;以及在发送连接请求信号之后,将由捕获单元捕获的图像发送到电子装置。
用户终端设备可以包括关于所连接的另一电子装置的连接信息,并且其中,该方法还可以包括:基于进入用于执行与外部电子装置的连接的模式,基于关于另一电子装置的连接信息显示另一电子装置的图像。
该方法还可以包括:根据预定命令将关于另一电子装置的连接信息发送到电子装置,其中,连接信息可以包括用于电子装置执行与另一电子装置的P2P通信的认证信息。
连接信息可以包括用于电子装置执行与另一电子装置的P2P通信的认证信息和另一电子装置的功能相关信息,并且其中,该方法还可以包括:向电子装置请求电子装置的功能相关信息;基于电子装置的功能相关信息和另一电子装置的功能相关信息,识别可在电子装置与另一电子装置之间操作的功能;以及显示所识别的功能。
根据本公开的另一方面,提供了一种电子装置,其包括:通信器;存储装置;显示器;以及处理器,被配置为:通过通信器从用户终端设备接收连接请求信号;对应于连接请求信号,控制将通过显示器输出的第一图像存储在存储装置中;通过通信器从用户终端设备接收第二图像;识别第一图像中的第一区域和第二区域以及第二图像中的第三区域和第四区域,它们分别彼此相对应;确定第一区域中的第一特征是否与第三区域中的第三特征相同以及第二区域中的第二特征是否与第四区域中的第四特征相同;以及基于确定第一特征与第三特征相同并且第二特征与第四特征相同,控制通信器向用户终端设备发送认证信息。
第一特征、第二特征、第三特征和第四特征可以是动态特征,其可根据电子装置的操作而改变。
根据本公开的另一方面,提供了一种电子装置,其包括:通信器;存储装置;显示器;以及处理器,被配置为:通过通信器从用户终端设备接收连接请求信号;对应于连接请求信号,控制将通过显示器输出的多个第一图像存储在存储装置中;通过通信器从用户终端设备接收多个第二图像;识别所述多个第一图像的每个第一图像中的第一区域和所述多个第二图像的每个第二图像中的第二区域,它们分别彼此相对应;确定所述多个第一图像的第一区域之间的改变模式是否与所述多个第二图像的第二区域之间的改变模式相同;并且基于确定结果,控制通信器向用户终端设备发送认证信息。
所述多个第一图像和所述多个第二图像可以是成序列的。
发明的有益效果
根据上述各种示例性实施例,可以基于从用户终端设备发送的信号和图像来执行电子装置与用户终端设备之间的连接,而无需认证过程或初始设置的若干步骤。
附图说明
图1是示出根据本公开的实施例的家庭网络系统的示例的视图;
图2是示出根据本公开的实施例的电子装置的配置的框图;
图3A是示出根据本公开的实施例的用户终端设备的配置的框图;
图3B是示出用户终端设备的详细配置的示例的框图;
图4是说明根据本公开的实施例的用于电子装置和用户终端设备的控制方法的序列图;
图5和图6是说明根据本公开的实施例的用于在电子装置与用户终端设备之间进行控制的方法的视图;
图7是说明根据本公开的实施例的用于在电子装置之间进行通信连接的方法的序列图;
图9和图10是说明根据本公开的实施例的用于在电子装置之间进行通信连接的方法的视图;
图10是说明根据本公开的实施例的用于电子装置的控制方法的视图;
图11是说明根据本公开的实施例的用于电子装置的控制方法的流程图;以及
图12是说明根据本公开的实施例的用于用户终端设备的控制方法的流程图。
具体实施方式
将简要描述本说明书中使用的术语,并且将详细描述本公开。
本说明书中使用的所有术语(包括技术术语和科学术语)具有与相关领域技术人员通常所理解的含义相同的含义。但是,这些术语可以取决于本领域技术人员的意图、法律或技术解释以及新技术的出现而变化。另外,一些术语是由申请人任意选择的。这些术语可以以本文中定义的含义来解释,并且除非另有说明,否则可以基于本说明书的全部内容和本领域的公知技术来解释。
本公开不限于以下公开的实施例并且可以以各种形式实现,并且本公开的范围不限于以下实施例。另外,从权利要求及其等同物的含义和范围得出的所有改变或修改应被解释为包括在本公开的范围内。在以下描述中,可以省略公知的但与本公开的要旨无关的配置。
诸如“第一”、“第二”等的术语可以用于描述各种元件,但是这些元件不应受这些术语限制。这些术语仅用于区分一个元件和其它元件。
只要单数表达在上下文中没有不同的含义,则单数表达也包括复数含义。在本说明书中,诸如“包括”和“具有”之类的术语应被解释为指定说明书中存在这样的特征、数量、操作、元件、组件或其组合,而不排除存在或可能添加一个或多个其它特征、数量、操作、元件、组件或其组合。
在示例性实施例中,“模块”、“单元”或“部件”执行至少一个功能或操作,并且可以被实现为诸如处理器或集成电路之类的硬件、由处理器执行的软件或其组合。另外,多个“模块”、多个“单元”或多个“部件”可以集成到至少一个模块或芯片中,并且可以被实现为至少一个处理器(应在特定硬件中实现的“模块”、“单元”或“部件”除外)。
在下文中,将参考附图详细描述本公开的实施例,使得本领域技术人员可以容易地实现本公开。然而,本公开可以以许多不同的形式来体现,并且不限于在此描述的实施例。为了在附图中清楚地示出本公开,为了清楚起见,省略对于完全理解本公开不是必需的一些元件,并且在整个说明书中,相同的附图标记指代相同的元件。
图1是示出根据本公开的实施例的家庭网络系统的视图。参照图1,家庭网络系统可以包括至少一个电子装置100和用户终端设备200。
电子装置100可以被体现为各种类型的家用电器,例如显示装置100-1、扬声器100-2、冰箱100-3、电动洗衣机100-4、机器人吸尘器100-5、空调、空气净化器、机项盒等。然而,本公开不限于此,电子装置100可以被体现为各种类型的电子装置,例如各种医疗设备、物联网、传感器等。
电子装置100可以执行与外部设备300的通信。外部设备300的示例可以包括网络设备、另一电子装置、服务器、用户终端设备200等。网络设备可以被体现为充当诸如AP(接入点)之类的网桥的各种类型的设备。例如,网络设备可以被体现为路由器、交换机、IP路由器和无线网卡。
电子装置100可以接收从用户终端设备200发送的信号、数据等,并且基于所接收的信号和数据执行与用户终端设备的对等(P2P)通信。用户终端设备200的示例可以包括智能电话、平板电脑、便携式终端设备、智能手表、可穿戴设备等。然而,本公开不限于此,只要用户终端设备200包括相机并且可以将由相机捕获的图像发送到外部设备,其可以是任何类型的设备。
用户终端设备200可以执行与外部设备的通信。如上所述,外部设备的示例可以包括网络设备、电子装置100、服务器等。
用户终端设备200可以将连接请求信号和图像发送到电子装置100。根据实施例,连接请求信号可以是预定连接请求信号。例如,用户终端设备200可以在向电子装置100发送连接请求信号之后发送图像。电子装置100可以基于从用户终端设备200接收的信号和图像向用户终端设备200发送关于连接请求信号的认证信息。例如,用户终端设备200可以通过用户终端设备200中设置的相机来识别电子装置100,并且将连接请求信号和图像发送到所识别的电子装置100。在这种情况下,接收图像的电子装置100可以基于所接收的图像来确认是否向用户终端设备200发送认证信息。用户终端设备200可以通过使用用于基于增强现实(AR)识别外部设备的方法来识别电子装置100,并且将信号、图像等发送到所识别的电子装置100。下面将对其进行详细说明。
对于另一示例,用户终端设备200可以通过网络设备将信号、图像等发送到连接到网络设备的电子装置。例如,用户终端设备200可以经由网络设备300向多个电子装置100-1至100-5发送连接请求信号和图像。例如,可以经由网络设备广播连接请求信号和图像,并且连接到网络设备的多个电子装置100-1至100-5可以接收连接请求信号和图像。广播是指使用1∶N连接或1∶All连接来传输数据,即是指在不指定接收数据的电子装置的Mac地址的情况下传输数据的方法。例如,当用户终端设备200广播图像时,连接到AP的多个电子装置100-1至100-5可以接收图像。电子装置100可以基于所接收的信号和图像将关于连接请求信号的认证信息发送到用户终端设备200。用户终端设备200可以基于认证信息向电子装置100请求通信连接,并且电子装置100和用户终端设备200可以执行对等(P2P)通信。电子装置100和用户终端设备200直接进行连接的各种类型的P2P通信可以是指蓝牙通信、WiFiP2P(Wi-Fi对等)、Wi-Fi直连等。已经简要描述了电子装置100和用户终端设备200的操作。在下文中,将详细描述根据本公开的各种实施例的用于电子装置和用户终端设备200的控制方法。
图2是示出根据本公开的实施例的电子装置的配置的框图。
参照图2,电子装置100可以包括通信器110、存储装置120、显示器130和处理器140。
通信器110可以与外部设备通信。根据本公开的实施例,通信器110可以通过诸如蓝牙(BT)、无线保真(WI-FI)、Zigbee、红外(IR)、串行接口、通用串行总线(USB)、近场通信(NFC)等的各种通信方法来执行与外部设备的通信。
通信器110可以从用户终端设备200接收连接请求和图像。例如,通信器110可以通过AP接收由连接到相同AP的用户终端设备200广播的连接请求信号和图像。然而,本公开不限于此。连接请求信号和图像可以不经由AP,而是可以由用户终端设备200直接发送到电子装置100。连接请求信号可以是请求电子装置100的认证信息以执行与电子装置100的对等(P2P)连接的信号。
从用户终端设备200接收的图像可以是由用户终端设备200获得的设置在电子装置100中的显示器130的图像。下面将对其进行详细描述。
存储装置120可以存储各种数据,例如用于驱动电子装置100的操作系统(O/S)软件模块、各种通信模块、关于已经连接的另一电子装置的连接信息、图像分析软件模块、各种内容等。
存储装置120可以被体现为包括在处理器140中的诸如ROM、RAM等的内部存储器或被体现为与处理器140分离的存储器。存储装置120可以被体现为根据数据存储目的而嵌入电子装置100中的存储器或被体现为能够可拆卸地附接到电子装置100的存储器。例如,可以在嵌入电子装置100中的存储器中存储用于驱动电子装置100的数据,并且可以在能够可拆卸地附接到电子装置100的存储器中存储用于电子装置100的扩展功能的数据。嵌入电子装置100中的存储器可以被实现为非易失性存储器、易失性存储器、硬盘驱动器(HDD)或固态驱动器(SSD),而能够可拆卸地附接到声音输出装置100的存储器可以被实现为存储卡(例如,微型SD卡、USB存储器等)、能够连接到USB端口的外部存储器(例如,USB存储器)等。
显示器130可以显示各种类型的图像,并且可以用液晶显示器(LCD)、有机发光二极管(OLED)或等离子体显示面板(PDP)等来体现。然而,本公开不限于此。显示器130的类型可以变化。例如,显示器130可以被体现为七段显示器。
处理器140可以控制电子装置100的整体操作。
根据实施例,处理器120可以包括中央处理单元(CPU)、微控制器单元(MCU)、微处理单元(MPU)、控制器、应用处理器(AP)、通信处理器(CP)、ARM处理器等中的一个或多个,或可以由该术语定义。处理器140可以被实现为其中嵌入有处理算法的片上系统(SoC)、大规模集成(LSI)等,或可以以现场可编程门阵列(FPGA)的形式来体现。
处理器140可以基于通过通信器110从用户终端设备200接收到连接请求信号而将从显示器130输出的第一图像存储在存储装置120中。例如,处理器140可以根据可在电子装置100所位于的区域中连接的WiFi通信标准来控制通信器110连接到AP。基于经由所连接的AP通过通信器110接收到连接请求信号,处理器140可以将通过显示器130输出的第一图像存储在存储装置120中。连接请求信号可以不经由AP,而是可以直接从用户终端设备200接收。
存储装置120中存储的第一图像可以是当前正在通过显示器130输出的图像。例如,处理器140可以通过显示器130输出多媒体内容、电子装置100的状态信息、根据电子装置100的操作的信息、图像等。基于接收到连接请求信号,处理器140可以开始记录当前输出的第一图像,并且可以将所记录的图像存储在存储装置120中。
基于通过通信器110接收到第二图像,处理器140可以将存储装置120中存储的第一图像与所接收的第二图像进行比较。第二图像可以是从用户终端设备200发送的图像。
处理器140可以识别所接收的第二图像中的与所存储的第一图像中包括的对象相同的对象。对象可以是指第一图像和第二图像中分别包括的图像、第一图像和第二图像各自的文本信息、图形、RGB信息等。例如,可以识别第二图像中是否包括与第一图像中包括的文本相同的文本。根据另一示例,可以识别第二图像中是否包括与第一图像中包括的特定图形形状相同的图形。
根据实施例,电子装置100中存储的第一图像和通过通信器110接收的第二图像可以是静止图像。
基于在第二图像中识别出与第一图像中包括的对象相同的对象,处理器140可以确定第一图像中包括的对象的特征是否与第二图像中所识别的对象的特征相同。根据实施例,对象的特征可以是动态特征,其可以根据相应电子装置的操作而改变。例如,可以识别第一图像中包括的第一文本信息的特征是否与第二图像中包括的第二文本信息的特征相同。
根据另一实施例,处理器140可以识别第二图像中的与所存储的第一图像中包括的多个对象相同的多个对象。多个对象可以是指第一图像和第二图像中分别包括的图像、第一图像和第二图像各自的文本信息、图形、RGB信息等。对于第一图像和第二图像中识别的多个相同对象中的每一个,处理器140可以确定第一图像中包括的多个对象中的每个对象的特征是否与第二图像中的多个对象中的相应对象的特征相同。根据实施例,多个对象的特征可以是动态特征,其可以根据相应电子装置的操作而改变。
根据又一实施例,电子装置100中存储的第一图像和通过通信器110接收的第二图像可以各自包括多个图像。例如,第一图像可以包括成序列的多个第一图像,第二图像可以包括成序列的多个第二图像。
根据其中第一图像和第二图像分别包括多个图像的实施例,处理器140可以:识别多个第一图像中的第一个第一图像中的特征“剩余洗涤时间01:30”与多个第一图像中的第二个第一图像中的“剩余洗涤时间01:29”之间的改变模式;识别多个第二图像中的第一个第二图像中的特征“剩余洗涤时间01:30”与多个第二图像中的第二个第二图像中的“剩余洗涤时间01:29”之间的改变模式;并且确定多个第一图像和多个第二图像特征的改变模式是否相同。将参考图5和图6描述其具体示例。
处理器140可以基于识别结果控制通信器110将关于预定连接请求信号的认证信息发送到用户终端设备200。例如,基于第一图像的特征与第二图像的特征相同,处理器140可以确定从用户终端设备200接收的第二图像是正在输出第一图像的设置在电子装置100中的显示器130的图像。处理器140可以控制通信器110将认证信息发送到用户终端设备200。
认证信息可以包括用于执行与电子装置100的P2P通信的信息。用户终端设备200可以基于认证信息向电子装置100请求P2P通信连接。将在用户终端设备200的详细视图中对其进行详细描述。
如上所述,通信器110已被限制为一个组成元件,但是取决于实施例,多个通信器110可以包括多个通信模块。例如,第一通信器可以被体现为WiFi模块,第二通信器可以被体现为蓝牙模块。在这种情况下,可以通过第一通信器执行与网络设备的通信,并且可以通过第二通信器执行与用户终端设备200的通信。
处理器140可以将第一图像与第二图像进行比较并且识别其中是否包括相同的图像帧。例如,第一图像和第二图像可以具有不同的再现时间,处理器140可以识别第一图像的特定部分中识别的对象的特征是否与第二图像的特定部分中识别的对象的特征相同。因此,应理解,可以仅考虑特定再现部分,而不是第一图像和第二图像各自的整体再现部分,以识别第一图像和第二图像中的对象的特征并且确定特征是否相同。
基于从用户终端设备200接收到关于另一电子装置的认证信息,处理器140可以控制通信器110基于所接收的认证信息执行与另一电子装置的通信。例如,当显示装置100-1连接到用户终端设备200并且从用户终端设备200接收关于第二扬声器100-2的认证信息时,显示装置可以基于所接收的认证信息执行与扬声器的P2P通信。
处理器140可以向所连接的另一电子装置请求另一电子装置的功能信息。处理器140可以基于电子装置100和另一电子装置的功能信息识别可与另一电子装置相关联地操作的功能,并且执行所识别的功能。例如,当电子装置100包括显示功能并且另一其他电子装置的功能信息具有显示功能时,识别出可以与另一电子装置执行镜像功能,并且可以接收在另一电子装置上显示的图像以执行镜像功能。然而,本公开不限于此。对于另一示例,扬声器100-2可以识别可与显示装置100-1相关联地操作的功能,并且当识别出声音输出功能可以由显示装置100-1镜像时,扬声器100-2可以从显示装置100-1接收从显示装置100-1输出的内容的声音信号,并且输出声音信号。
图3A是示出根据本公开的实施例的用户终端设备的配置的框图。
参照图3A,用户终端设备200可以包括输入单元210、捕获单元220、通信器230和处理器240。
输入单元210可以接收用于控制用户终端设备200的各种用户命令。输入设备210可以被体现为输入面板。输入面板可以被体现为能够进行触摸输入的触摸板或包括各种功能键、数字键、字符键等的键区。然而,本公开不限于此,输入设备210可以被体现为各种输入设备,例如语音输入设备、动作输入设备等。
捕获单元220可以通过捕获用户终端设备200的外围区域来获得图像。捕获单元220可以包括相机、摄像机等。捕获单元220不限于包括在用户终端设备200中的一个组成元件,而是可以被体现为连接到用户终端设备200的外部端子的外部设备。
捕获单元220可以捕获用户终端设备200附近的电子装置100。例如,捕获单元220可以通过捕获设置在电子装置100中的显示器130来获得图像。
通信器230可以被配置为执行与外部设备的通信。例如,通信器230可以使用诸如BT(蓝牙)、BLE(蓝牙低功耗)、Wi-Fi(无线保真)、Zigbee等的各种通信方法执行与外部设备的通信。外部设备可以被体现为网络设备、电子装置100和服务器。
处理器240可以控制用户终端设备200的整体操作。
处理器240可以控制通信器230根据通过输入单元210获得的用户命令向电子装置100发送连接请求信号。根据实施例,连接请求信号可以是预定连接请求信号。例如,处理器240可以控制通信器230根据可在用户终端设备200所布置于的区域中连接的WiFi通信标准而连接到网络设备,并且通过网络设备广播连接请求信号。连接到同一网络设备的多个电子装置100-1至100-5可以接收连接请求信号。
连接请求信号可以是指用于在用户终端设备200与电子装置100之间执行P2P通信的电子装置100的认证信息请求信号。
然而,本公开不限于此,处理器240可以将连接请求信号直接发送到特定电子装置100。例如,处理器240可以通过使用基于增强现实识别外部设备的方法来识别特定电子装置100,并且将连接请求信号发送到所识别的电子装置100。根据用于基于增强现实识别外部设备的方法,当标记被附着于电子装置100时,可以基于标记来识别特定电子装置100,并且可以向所识别的电子装置发送连接请求信号。然而,本公开不限于此,因为处理器240可以使用其它用于识别外部设备的方法来识别特定电子装置100。
对于另一示例,处理器240可以从由捕获单元220捕获的图像中识别特定电子装置100,并且将连接请求信号发送到所识别的电子装置100。
根据另一实施例,处理器240可以基于近场通信方法将连接请求信号发送到特定电子装置100。在连接到同一网络设备的多个电子装置之中,处理器240可以将连接请求信号发送到由用户命令选择的电子装置或根据预定优先级的特定电子装置。
在发送连接请求信号之后,处理器240可以控制捕获单元220捕获用户终端设备200的外围区域。例如,捕获单元220可以通过对应于用户操作而捕获设置在电子装置100中的显示器130来获得图像。
一段时间之后,处理器240可以通过通信器230向电子装置100发送图像。例如,可以通过用户终端设备100所连接到的网络设备来广播图像,并且将图像发送到多个电子装置100-1至100-5。根据另一实施例,处理器240可以基于用于基于增强现实和近场通信方法识别外部设备的方法将图像发送到电子装置100。
根据实施例,处理器240可以控制捕获单元220在一段时间内执行捕获,并且将连接请求信号发送到电子装置100。该段时间可以是预定时间段。换句话说,通过捕获单元220开始捕获图像并且通过通信器230发送连接请求信号的顺序不固定,并且取决于各种实施例,该顺序可以反转。根据另一实施例,处理器240可以发送连接请求信号,同时捕获单元220在预定时间内执行捕获。根据又一实施例,处理器240可以将连接请求信号与由捕获单元220捕获的图像一起发送。
根据另一实施例,基于通过输入单元210输入了用户的捕获命令,处理器240可以控制捕获单元220在一段时间内执行捕获。例如,用户终端设备200可以根据用户的捕获命令开始捕获,发送连接请求信号,并且将由捕获单元220捕获的图像发送到电子装置100。
当在将图像发送到电子装置100之后接收到关于连接请求信号的认证信息时,处理器240可以控制通信器230执行与电子装置100的P2P通信。
例如,当接收到认证信息时,处理器240可以基于是否与发送认证信息的电子装置100执行了配对以及是否激活了蓝牙模块来根据蓝牙通信标准执行与电子装置100的P2P通信。对于另一示例,处理器240可以通过WiFi P2P通信网络执行与电子装置100的P2P通信。
如上所述,通信器230已被限制为一个组成元件,但是根据实施例,多个通信器230可以包括多个通信模块。例如,第一通信器可以被体现为WiFi模块,第二通信器可以被体现为蓝牙模块。在这种情况下,通信器230可以通过第一通信器执行与网络设备的通信并且通过第二通信器执行与电子装置100的通信。
图3B是示出用户终端设备的详细配置的框图。
参照图3B,用户终端设备200可以包括输入设备210、捕获单元220、通信器230、处理器240、显示器250和存储装置260。将省略已在图3A中做过的对图3B中所示的组成元件的描述以避免冗余。
捕获单元220可以包括诸如图像传感器(例如,镜头、CCD和CMOS)和模数转换器之类的模块。捕获单元220可以获得通过捕获对象而生成的图像信号,将所获得的图像信号转换成数字信号,并且将数字信号发送到处理器240。处理器240可以对转换成数字信号的图像执行用于图像处理的图像处理操作,例如噪声滤波,颜色处理等。处理器240可以通过显示器250向用户提供所捕获的图像。
通信器230可以被配置为根据各种类型的通信方法来执行与AP、电子装置100和服务器的通信。通信器230可以包括WiFi芯片、蓝牙芯片、无线通信芯片、NFC芯片等。
Wi-Fi芯片和蓝牙芯片可以分别使用WiFi方法和蓝牙方法执行通信。当使用Wi-Fi芯片或蓝牙芯片时,可以首先发送和接收诸如SSID和会话密钥之类的各种连接性信息,可以基于连接性信息建立通信连接,并且可以发送和接收各种信息。通信芯片可以是指根据各种通信标准(例如,IEEE、ZigBee、第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)等)执行通信的芯片。
处理器240可以控制用户终端设备200的整体操作。处理器240可以包括数字信号处理器(DSP)、中央处理单元(CPU)、控制器、应用处理器(AP)或通信处理器(CP)和ARM处理器中的一个或多个,或可以由该术语定义。
处理器240可以包括具有用于控制CPU和用户终端设备200的控制程序的ROM(或非易失性存储器)、以及存储从用户终端设备200的外部输入的数据或用作与由用户终端设备200执行的各种任务相对应的存储区域的RAM(或易失性存储器)。
CPU可以访问存储装置260并且通过使用存储装置260中存储的操作系统(O/S)来执行启动。另外,CPU可以通过使用存储装置260中存储的各种程序、内容、数据等来执行各种操作。
显示器250可以显示各种类型的图像,并且可以用液晶显示器(LCD)、有机发光二极管(OLED)、等离子体显示面板(PDP)等来体现。
显示器250可以显示关于已连接的至少一个电子装置的图像。根据实施例,处理器240可以基于存储装置260中存储的连接信息通过显示器250显示多个电子装置的图像。多个电子装置100的图像可以是指电子装置100的缩略图像、电子装置的形状图像等。
存储装置260可以存储用于驱动用户终端设备200的操作系统(O/S)软件模块和诸如多媒体内容之类的各种数据。
存储装置260可以被体现为包括在处理器240中的诸如ROM、RAM等的内部存储器,或被体现为与处理器240分离的存储器。存储装置150可以被体现为根据数据存储目的而嵌入用户终端设备200中的存储器,或被体现为能够可拆卸地附接到用户终端设备200的存储器。例如,可以在嵌入用户终端设备200中的存储器中存储用于驱动用户终端设备200的数据,并且可以在能够可拆卸地附接到用户终端设备200的存储器中存储用于用户终端设备200的扩展功能的数据。嵌入用户终端设备200中的存储器可以被实现为非易失性存储器、易失性存储器、硬盘驱动器(HDD)或固态驱动器(SSD),而能够可拆卸地附接到用户终端设备200的存储器可以被实现为存储卡(例如,微型SD卡、USB存储器等)、能够连接到USB端口的外部存储器(例如,USB存储器)等。
存储装置260可以存储关于已经连接的另一电子装置的连接信息。例如,如果从另一电子装置接收到认证信息并且基于认证信息执行与另一电子装置的P2P通信,则处理器240可以将关于另一电子装置的连接信息(例如,Mac地址)和指示另一电子装置的图像存储在存储装置260中。
指示另一电子装置的图像可以是指另一电子装置的缩略图像、指示另一电子装置的形式的图像等。当用户终端设备200进入执行与外部电子装置的连接的模式时,处理器240可以基于关于另一电子装置的连接信息通过显示器250显示图像。
根据预定命令,基于选择了所显示图像,处理器240可以将关于与所选择的图像相对应的另一电子装置的连接信息发送到执行P2P通信的电子装置100。例如,基于在与显示装置100-1的P2P通信期间选择了在显示器250上显示的图像之一,可以向显示装置100-1发送关于与所选择的图像相对应的扬声器100-2的连接信息。显示装置100-1可以基于所接收的连接信息执行与扬声器100-2的P2P通信。连接信息可以包括用于电子装置100执行与另一电子装置的P2P通信的关于另一电子装置的认证信息。
根据实施例的连接信息可以包括用于电子装置执行与另一电子装置的P2P通信的认证信息和另一电子装置的功能信息。处理器240可以向执行P2P通信的电子装置请求电子装置的功能信息,基于电子装置的功能信息和另一电子装置的功能信息识别可在电子装置与另一电子装置之间操作的功能,并且通过显示器250提供所识别的功能。例如,处理器240可以将声音输出功能识别为可在显示装置100-1与扬声器100-2之间操作的功能,并且通过显示器250提供如下信息:从显示装置100-1输出的内容中包括的声音信号可以通过扬声器100-2输出。下面将对其进行详细描述。
图4是示出根据本公开的实施例的用于电子装置和用户终端设备的控制方法的序列图。
参照图4,在S411处,用户终端设备200可以向电子装置100发送连接请求信号。
在S421处,基于接收到连接请求信号,电子装置100可以存储当前正在输出的图像。
在S412处,用户终端设备200可以捕获用户终端设备200的外围区域。例如,用户终端设备200可以通过对应于用户的操作而捕获设置在电子装置100中的显示器130来获得图像。然而,S411和S412的顺序不受限制。
用户终端设备200可以在捕获图像一段时间之后向电子装置100发送图像。例如,用户终端设备200可以将图像发送到多个电子装置100-1至100-5。根据另一实施例,可以仅向特定电子装置100发送图像。
在S422处,电子装置100可以将在S421处存储的图像与从用户终端设备200接收的图像进行比较。例如,显示装置100-1可以存储通过设置在显示装置100-1中的显示器输出的图像,并且将所存储的图像与从用户终端设备200接收的图像进行比较。电子装置100可以从所接收的图像中识别出所接收的图像中的对象与所存储的图像中包括的对象相同。根据实施例,电子装置还可以识别所存储的图像中包括的对象的特征是否与所接收的图像中识别出的对象的特征相同。当在S423的“是”处,所存储的图像中包括的对象的特征与所接收的图像中识别出的对象的特征相同时,在S424处,电子装置100可以将关于连接请求信号的认证信息发送到用户终端设备200。
根据实施例,当连接请求信号和所捕获的图像被发送到多个电子装置100-1至100-5时,可以由多个电子装置100-1至100-5执行将所存储的图像与所接收的图像进行比较的S422。例如,显示装置100-1可以基于显示装置100-1中存储的图像和从用户终端设备200接收的图像来识别在两个图像之间对象的特征是否相同,并且如果在S423的“是”处,确定了模式相同,则显示装置100-1可以将认证信息发送到用户终端设备200。在S423的“否”处,多个电子装置100-2至100-5可以识别出所接收的对象与电子装置中存储的相应图像不同或者识别出对象的特征不同。在这种情况下,可以不向用户终端设备200发送关于电子装置100-2至100-5的认证信息。
图5和图6是说明根据本公开的实施例的用于在电子装置与用户终端设备之间进行控制的方法的视图。
参照图5,电子装置100可以被体现为显示装置100-1,并且显示装置100-1可以输出图像。用户终端设备200可以向显示装置100-1发送预定连接请求信号。基于接收到预定连接请求信号,显示装置100-1可以存储正通过显示器输出的图像。正通过显示器输出的图像可以被发送到扬声器100-2、电动洗衣机100-4、空调等,并且除了被存储在显示装置100-1中之外,还可以被存储在扬声器100-2、电动洗衣机100-4、空调中。
用户终端设备200可以对应于用户操作而捕获设置在显示装置100-1中的显示器。可以将由用户终端设备200捕获的图像发送到显示装置100-1。根据实施例,可以在一段时间过后将由用户终端设备200捕获的图像发送到显示装置100-1。
根据实施例,除了显示装置100-1之外,还可以将预定连接请求信号和所捕获的图像发送到扬声器100-2、电动洗衣机100-4、空调等。
显示装置100-1和多个电子装置100-2至100-5可以各自将所存储的图像与所接收的图像进行比较,并且识别所接收的图像是否是与相应电子装置本身相对应的捕获图像。例如,显示装置100-1可以从第二图像中识别与所存储的图像中包括的对象相同的对象(例如,字符、文本信息等)。当识别出相同的对象时,显示装置100-1可以确定第一图像中包括的对象的特征是否与第二图像中识别的对象的特征相同。当特征相同时,显示装置100-1可以将关于从用户终端设备200发送的预定连接请求信号的认证信息发送到用户终端设备200。例如,当通过显示装置输出的图像是内容A并且通过用户终端设备200接收的图像是输出内容A的显示器的图像时,显示装置100-1可以将所接收的图像与所存储的图像进行比较。当所接收的图像中包括内容A的特定部分并且所存储的图像中包括内容A的特定部分时,显示装置100-1可以确定特征相同,并且将认证信息发送到用户终端设备200。
根据实施例,电子装置100可以基于各种对象来识别所存储的图像和所接收的图像的特征是否相同。例如,电子装置100可以基于关于所存储的图像的亮度和RGB颜色值的特征以及关于所接收的图像的亮度和RGB颜色值的特征来识别特征是否相同。另外,当显示装置100以OSD(屏幕显示)方法显示诸如频道号、音量值等的状态信息时,电子装置100可以从所接收的图像中识别诸如频道号、音量值等的特征,并且识别该特征是否与所存储的图像的诸如频道号、音量值等的特征相同。例如,当所接收的图像和所存储的图像中频道号的特征(例如,Ch.9)和音量值的特征(例如,Vol.10)相同时,电子装置100可以向用户终端设备200发送认证信息。当认证信息被发送到用户终端设备200时,用户终端设备200可以执行与电子装置100的P2P通信。
根据另一实施例,处理器140可以识别出第二图像中的多个对象与所存储的第一图像中包括的多个对象相同。多个对象可以是指第一图像和第二图像中分别包括的图像、第一图像和第二图像各自的文本信息、图形、RGB信息等。对于第一图像和第二图像中识别出的多个相同对象中的每一个,处理器140可以确定第一图像中包括的多个对象中的每个对象的特征是否与第二图像中的多个对象中的相应对象的特征相同。根据实施例,多个对象的特征可以是动态特征,其可以根据相应电子装置的操作而改变。
例如,当所接收的图像和所存储的图像中频道号从Ch.9改变到Ch.10(Ch.9->Ch.10)并且音量值的特征(例如,Vol.10->Vol.15)相同时,电子装置100可以向用户终端设备200发送认证信息。当认证信息被发送到用户终端设备200时,用户终端设备200可以执行与电子装置100的P2P通信。
根据另一实施例,电子装置100中存储的第一图像和通过通信器110接收的第二图像可以各自包括多个图像。例如,第一图像可以包括成序列的多个第一图像,第二图像可以包括成序列的多个第二图像。
根据其中第一图像和第二图像分别包括多个图像的实施例,处理器140可以确定所接收的第二图像中当频道号从Ch.9改变到Ch.10(Ch.9->Ch.10)时或当音量值从Vol.10改变到Vol.15(Vol.10->Vol.15)时的改变模式是否与所存储的图像中的改变模式相同。基于确定改变模式相同,电子装置100可以向用户终端设备200发送认证信息。当认证信息被发送到用户终端设备200时,用户终端设备200可以执行与电子装置100的P2P通信。
根据实施例,电子装置100可以将控制权限给予用户终端设备200。在这种情况下,电子装置100可以由用户终端设备200控制。
根据实施例,电子装置100可以将电子装置100的状态信息发送到用户终端设备200,并且用户终端设备200可以向用户提供电子装置100的状态信息(例如,频道信息、音量信息、内容信息等)。参照图6,电子装置100可以被体现为电动洗衣机100-4。根据实施例,电动洗衣机100-4可以通过显示器向用户提供其状态信息。例如,电动洗衣机100-4可以显示关于洗涤进程、剩余洗涤时间、经过的洗涤时间等的信息。基于从用户终端设备200接收到连接请求信号,电动洗衣机100-4可以存储正显示的状态信息。
参照图6,电动洗衣机100-4可以显示关于洗涤进程和剩余洗涤时间的信息,并且用户终端设备200可以通过根据用户操作捕获由电动洗衣机1004显示的状态信息来获得图像。
用户终端设备200可以将图像发送到电动洗衣机100-4。根据实施例,用户终端设备200可以在经过一段预定时间之后将图像发送到电动洗衣机100-4。电动洗衣机100-4可以将根据连接请求信号而存储的图像与从用户终端设备200接收的图像进行比较。例如,当在所接收的图像中识别出洗涤进程“标准”和“01小时09分钟”并且在电动洗衣机100-4中存储的图像中识别出洗涤进程“标准”和“01小时09分钟”时,电动洗衣机100-4可以向用户终端设备200发送认证信息。
因此,用户终端设备200可以执行与电动洗衣机100-4的P2P通信。
图7是示出根据本公开的实施例的用于在电子装置之间进行通信连接的方法的序列图。
根据实施例,用户终端设备200可以存储关于已经连接的另一电子装置300的连接信息。连接信息可以包括诸如与另一电子装置300连接所需的安全密钥和设置值之类的认证信息以及关于另一电子装置300的功能信息。
根据实施例,在S711处,用户终端设备200可以显示已经连接的另一电子装置300的图像。例如,用户终端设备200可以基于预存储的连接信息来显示另一电子装置300的缩略图像或形状图像。
当在S712的“是”处接收到关于所显示图像的命令时,在S713处,用户终端设备200可以将关于与图像相对应的另一电子装置300的连接信息发送到电子装置100。例如,基于在电子装置100与用户终端设备200之间的P2P通信期间接收到用于选择图像的用户命令,可以将关于与该图像相对应的另一电子装置300的连接信息发送到电子装置100。
在步骤S720处,基于所接收的关于另一电子装置300的连接信息,电子装置100可以执行与另一电子装置300的P2P通信。
图8和图9是示出根据本公开的实施例的用于在电子装置之间进行通信连接的方法的视图。
参照图8(A),用户终端设备200可以在执行与显示装置100-1的连接之后存储显示装置100-1的连接信息。
参照图8(B),当用户终端设备200进入用于执行与外部电子装置的连接的模式时,用户显示装置200可以显示与已经连接的显示装置100-1相对应的图像。另外,可以通过用户终端设备200的捕获单元220捕获用户终端设备200的外围区域。参照图8(B),为了便于说明,假定捕获扬声器100-2。根据另一实施例,可以使用不同的方法选择扬声器100-2或任何其它电子装置进行连接。
根据关于用户终端设备200的命令,用户终端设备200可以向扬声器发送关于显示装置100-1的连接信息。例如,当显示装置100-1的图像和显示中的扬声器100-2的图像被缩进(pinched in)时,用户终端设备200可以将关于显示装置100-1的连接信息发送到扬声器100-2。然而,预定命令不限于缩进操作,而可以是各种触摸操作。
参照图8(C),基于从用户终端设备200接收到显示装置100-1的连接信息,扬声器100-2可以执行与显示装置100-1的P2P通信。换句话说,尽管用户没有直接操作显示装置100-1或扬声器100-2,但是两个不同的电子装置可以通过用户终端设备200上的操作来执行P2P通信。
图9是示出根据本公开的另一实施例的用于在电子装置之间进行通信连接的方法的视图。
参照图9(A)和图9(B),由于执行了图7中所示的操作S711、S712和S713,可以执行冰箱100-3与显示装置100-1之间的P2P通信。换句话说,假定电子装置100被体现为显示装置100-1并且已经连接的另一电子装置300被体现为冰箱100-3。
根据实施例,当执行显示装置100-1与冰箱100-3之间的P2P通信时,可以通过显示装置100-1输出通过设置在冰箱100-3中的显示器输出的状态信息、内容等。
例如,显示装置100-1可以向冰箱100-3请求冰箱100-3的功能信息,并且基于显示装置100-1的功能和冰箱100-3的功能信息识别可与冰箱100-3相关联地操作的功能。例如,当冰箱100-3的功能信息包括显示功能时,显示装置100-1可以识别出在显示装置100-1与冰箱100-3之间的镜像功能是可能的,接收显示在冰箱100-3上的图像,并且执行镜像功能。
图10是示出根据本公开的实施例的用于电子装置的控制方法的视图。
当用户终端设备200从电子装置100接收到响应信号时,可以执行用户终端设备200与电子装置100之间的连接。
根据实施例,用户终端设备200可以控制已连接的电子装置100。例如,参照图10的(b)和图10的(c),用户终端设备200可以连接到机器人吸尘器100-5。在这种情况下,可以选择在用户终端设备200上显示的功能,以控制机器人吸尘器100-5。例如,可以通过用户终端设备200向机器人吸尘器100-5发送充电返回命令。
如上所述,用户终端设备200可以显示已连接的电子装置的图像。例如,参照图10的(a),当用户终端设备200在连接到显示装置100-1之后连接到机器人吸尘器时,用户终端设备200可以显示与显示装置100-1相对应的图像。
参照图10的(d)和图10的(e),根据用于与显示装置100-1相对应的图像的用户命令,用户终端设备200可以执行与显示装置100-1的重新连接,而不是与机器人吸尘器100-5的连接。在这种情况下,如上所述,用户终端设备200可以基于预存储的关于显示装置100-1的连接信息来执行与显示装置100-1的重新连接。当用户终端设备200重新连接到显示装置100-1时,可以在用户终端设备200上显示用于控制显示装置100-1的功能(例如,增大和减小音量)的UI。
图11是说明根据本公开的实施例的用于电子装置的控制方法的流程图。
在S1110处,基于从用户终端设备接收到连接请求信号,根据本公开的实施例的电子装置可以存储通过显示器输出的第一图像。
在S1120处,基于从用户终端设备接收到第二图像,可以从第二图像中识别与第一图像中包括的对象相同的对象。
当在S1130的“是”处,第一图像中包括的对象的特征与第二图像中识别出的对象的特征相同时,在S1140处,可以将关于连接请求信号的认证信息发送到用户终端设备。
图12是说明根据本公开的实施例的用于用户终端设备的控制方法的流程图。
在S1210处,可以根据用户命令向电子装置发送连接请求信号。
在S1220处,可以在经过一段时间之后发送由用户终端设备的捕获单元捕获的图像。
在S1230处,基于从电子装置接收到关于连接请求信号的认证信息,可以基于认证信息执行与电子装置的对等(P2P)通信。
在向电子装置发送连接请求信号的S1210处,可以通过用户终端设备所连接到的网络设备向电子装置广播连接请求信号,并且在向电子装置发送所捕获的图像的S1220处,可以在一段时间过后向电子装置广播由网络设备捕获的图像。
在向电子装置发送所捕获的图像的S1220处,可以根据用户的捕获命令开始捕获,并且可以在发送连接请求信号之后将由捕获单元捕获的图像发送到电子装置。
用户终端设备可以包括关于已连接的另一电子装置的连接信息,并且根据本公开的实施例的控制方法还可以包括:当进入用于执行与外部电子装置的连接的模式时,基于关于另一电子装置的连接信息显示另一电子装置的图像。
根据本公开的实施例的控制方法还可以包括:根据命令将关于另一电子装置的连接信息发送到电子装置,并且该连接信息可以包括用于电子装置执行与另一电子装置的P2P通信的认证信息。
对于另一示例,该连接信息可以包括用于电子装置执行与另一电子装置的P2P通信的认证信息和关于另一电子装置的功能信息,并且向电子装置请求电子装置的功能信息的步骤还可以包括:基于电子装置的功能信息和另一电子装置的功能信息识别可在电子装置与另一电子装置之间操作的功能,以及显示所识别的功能。
上述各种实施例可以在能够由计算机或类似设备使用软件、硬件或其组合读取的记录介质中实现。在某些情况下,本文描述的实施例可以由处理器本身实现。根据软件实现,本文描述的实施例(例如,过程和功能)可以在单独的软件模块中实现。根据一些实施例,软件(例如,程序)可以包含存储在机器(即,计算机)可读存储介质(即,内部存储器)或外部存储器中的一个或多个指令。每个软件模块可以执行本文描述的功能和操作中的一个或多个。
同时,根据上述本公开的各种实施例的用于执行声音输出装置100的处理操作的计算机指令可以存储在非暂时性计算机可读介质中。当由特定设备的处理器执行时,存储在非易失性计算机可读介质中的计算机指令使该特定设备根据上述各种实施例执行声音输出装置100中的处理操作。
非暂时性计算机可读介质是指半永久地存储数据而不是在非常短的时间内存储数据(例如寄存器、高速缓冲存储器和内存器)并且可由装置读取的介质。具体地,上述各种应用或程序可以被存储在非暂时性计算机可读介质中,例如致密盘(CD)、数字多功能盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)记忆棒、存储卡和只读存储器(ROM)等,并且可以被提供。
尽管已经示出和描述了示例性实施例,但是本领域技术人员将理解,可以在不脱离本公开的原理和精神的情况下对这些示例性实施例做出改变。因此,本公开的范围不被解释为限于所描述的示例性实施例,而是由所附权利要求及其等同物来限定。

Claims (15)

1.一种电子装置,包括:
通信器;
存储装置;
显示器;以及
处理器,被配置为:
基于通过所述通信器从用户终端设备接收到连接请求信号,控制在所述存储装置中存储通过所述显示器输出的第一图像,
基于通过所述通信器从所述用户终端设备接收到第二图像,识别所存储的第一图像中包括的第一对象与所接收的第二图像中包括的第二对象相同,以及
基于识别出所述第一对象的第一特征与所述第二对象的第二特征相同,控制所述通信器向所述用户终端设备发送与所述连接请求信号相对应的认证信息。
2.根据权利要求1所述的电子装置,其中,所述处理器还被配置为:接收通过所述通信器所连接到的网络设备发送的所述连接请求信号,并且基于所述认证信息,控制所述通信器根据来自所述用户终端设备的经认证的通信连接请求来执行与所述用户终端设备的对等P2P通信。
3.根据权利要求1所述的电子装置,其中,所述第一对象是所述第一图像中包括的文本信息和RGB信息中的至少一个,并且所述第二对象是所述第二图像中包括的文本信息和RGB信息中的至少一个。
4.根据权利要求1所述的电子装置,其中,所述处理器还被配置为:基于从所述用户终端设备接收的另一电子装置的认证信息,执行与所述另一电子装置的通信。
5.根据权利要求4所述的电子装置,其中,所述处理器还被配置为:
控制所述通信器向所述另一电子装置发送对所述另一电子装置的功能相关信息的请求,
基于接收到所述功能相关信息,根据所述电子装置的功能和所述另一电子装置的所述功能相关信息,识别能够与所述另一电子装置相关联地操作的功能,以及
执行所识别的功能。
6.根据权利要求5所述的电子装置,其中,所述处理器还被配置为:基于识别出所述电子装置的功能包括显示功能并且所述另一电子装置的功能包括显示功能,识别出能够进行与所述另一电子装置的镜像功能,接收在所述另一电子装置上显示的图像,并且执行所述镜像功能。
7.根据权利要求1所述的电子装置,其中,所述处理器还被配置为:将所述第一对象的第一改变模式识别为第一特征并将所述第二对象的第二改变模式识别为第二特征,以及
基于识别出所述第一改变模式与所述第二改变模式相同,控制所述通信器将所述认证信息发送到所述用户终端设备。
8.一种用户终端设备,包括:
输入单元;
捕获单元;
通信器;以及
处理器,被配置为:
根据用户命令通过所述输入单元向电子装置发送连接请求信号,
对应于所述连接请求信号,将由所述捕获单元捕获的图像发送到所述电子装置,
基于发送到所述电子装置的所述图像接收认证信息,以及
基于从所述电子装置接收到关于所述连接请求信号的所述认证信息,基于所述认证信息执行与所述电子装置的对等P2P通信。
9.根据权利要求8所述的用户终端设备,其中,所述处理器还被配置为:控制所述通信器通过所述通信器所连接到的网络设备向所述电子装置广播所述连接请求信号,并且控制所述通信器在经过预定时间后通过所述网络设备向所述电子装置广播所捕获的图像。
10.根据权利要求8所述的用户终端设备,其中,所述处理器还被配置为:控制所述捕获单元在发送所述连接请求信号之后的一段时间内执行捕获。
11.根据权利要求8所述的用户终端设备,其中,所述处理器还被配置为:控制所述捕获单元根据用户的捕获命令开始捕获所述图像,并且控制所述通信器在发送所述连接请求信号之后将由所述捕获单元捕获的所述图像发送到所述电子装置。
12.根据权利要求8所述的用户终端设备,还包括:
显示器;以及
存储装置,被配置为存储关于所连接的另一电子装置的连接信息,并且
其中,所述处理器还被配置为:基于进入用于执行与外部电子装置的连接的模式,控制所述显示器基于所述存储装置中存储的信息在所述显示器上显示所连接的所述另一电子装置的图像。
13.根据权利要求12所述的用户终端设备,其中,所述处理器还被配置为:控制所述通信器根据预定命令将关于所述另一电子装置的所述连接信息发送到所述电子装置,并且
其中,所述连接信息包括用于所述电子装置执行与所述另一电子装置的P2P通信的认证信息。
14.根据权利要求12所述的用户终端设备,其中,所述连接信息包括用于所述电子装置执行与所述另一电子装置的P2P通信的认证信息和所述另一电子装置的功能相关信息,并且
其中,所述处理器还被配置为:
向所述电子装置请求所述电子装置的功能相关信息,
基于所述电子装置的所述功能相关信息和所述另一电子装置的所述功能相关信息,识别能够在所述电子装置与所述另一电子装置之间操作的功能,以及
将所识别的功能提供给所述显示器。
15.根据权利要求12所述的用户终端设备,其中,由所述捕获单元捕获的所述图像是设置在所述电子装置中的显示器的图像。
CN201880079060.3A 2017-12-06 2018-12-04 电子装置、用户终端设备及其控制方法 Active CN111527732B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2017-0166928 2017-12-06
KR1020170166928A KR102397886B1 (ko) 2017-12-06 2017-12-06 전자 장치, 사용자 단말 장치 및 그 제어 방법
PCT/KR2018/015275 WO2019112308A1 (en) 2017-12-06 2018-12-04 Electronic device, user terminal apparatus, and control method thereof

Publications (2)

Publication Number Publication Date
CN111527732A true CN111527732A (zh) 2020-08-11
CN111527732B CN111527732B (zh) 2022-11-18

Family

ID=64661077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880079060.3A Active CN111527732B (zh) 2017-12-06 2018-12-04 电子装置、用户终端设备及其控制方法

Country Status (6)

Country Link
US (1) US11197156B2 (zh)
EP (1) EP3496364B1 (zh)
JP (1) JP7183271B2 (zh)
KR (1) KR102397886B1 (zh)
CN (1) CN111527732B (zh)
WO (1) WO2019112308A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102661628B1 (ko) * 2018-09-13 2024-05-02 삼성전자주식회사 IoT 기기 제어 서비스를 제공하는 전자 장치 및 그 제어 방법
US20220261204A1 (en) * 2019-07-05 2022-08-18 Sharp Nec Display Solutions, Ltd. Image display system, image transmission device, image display device, and image display system connection method
KR20210037080A (ko) * 2019-09-27 2021-04-06 삼성전자주식회사 전자 장치 및 전자 장치 제어방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110138444A1 (en) * 2009-12-04 2011-06-09 Lg Electronics Inc. Augmented remote controller and method for operating the same
US20130068837A1 (en) * 2011-09-19 2013-03-21 Google Inc. Mobile computing device authentication using scannable images
CN103563346A (zh) * 2011-03-31 2014-02-05 索尼移动通信公司 用于建立通信会话的系统和方法
CN103761460A (zh) * 2013-12-18 2014-04-30 微软公司 显示设备上的用户认证
CN103870738A (zh) * 2014-04-10 2014-06-18 宫雅卓 基于虹膜识别的可穿戴式身份认证装置
US9131478B2 (en) * 2013-03-13 2015-09-08 Google Technology Holdings LLC Method and system for improved communication among paired electronic devices
CN105027454A (zh) * 2013-03-08 2015-11-04 Lg电子株式会社 移动终端及其控制方法
US20160249216A1 (en) * 2015-02-25 2016-08-25 Screenovate Technologies Ltd. Method for method for authenticating direct mirroring connection between a target screen device and a mobile device

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1255972C (zh) 2000-09-27 2006-05-10 株式会社Ntt都科摩 家庭设置的电子装置的远程控制方法和管理设备
US20070123166A1 (en) * 2005-11-29 2007-05-31 Arnold Sheynman System, method and apparatus for pre-pairing bluetooth enabled devices
US9014685B2 (en) * 2009-06-12 2015-04-21 Microsoft Technology Licensing, Llc Mobile device which automatically determines operating mode
JP2011172037A (ja) 2010-02-19 2011-09-01 Sanyo Electric Co Ltd 無線装置
KR20110117906A (ko) 2010-04-22 2011-10-28 삼성전자주식회사 블루투스 통신 방법 및 시스템
US8970733B2 (en) * 2010-05-28 2015-03-03 Robert Bosch Gmbh Visual pairing and data exchange between devices using barcodes for data exchange with mobile navigation systems
US8744180B2 (en) 2011-01-24 2014-06-03 Alon Atsmon System and process for automatically finding objects of a specific color
US8446364B2 (en) * 2011-03-04 2013-05-21 Interphase Corporation Visual pairing in an interactive display system
WO2012144776A2 (ko) * 2011-04-18 2012-10-26 엘지전자 주식회사 네트워크 시스템 및 그 제어방법
US8405729B2 (en) * 2011-05-11 2013-03-26 Sony Corporation System and method for pairing hand-held devices utilizing a front-facing camera
KR101971697B1 (ko) * 2012-02-24 2019-04-23 삼성전자주식회사 사용자 디바이스에서 복합 생체인식 정보를 이용한 사용자 인증 방법 및 장치
US8752757B2 (en) * 2012-06-14 2014-06-17 General Electric Company Device pairing using digital barcoding
KR20140087829A (ko) * 2012-12-31 2014-07-09 삼성전자주식회사 촬상 장치가 이동 통신 단말로부터 연결 정보를 수신하는 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 디지털 영상 장치
US9026052B2 (en) * 2013-01-24 2015-05-05 Htc Corporation Mobile electronic device and connection establishment method between mobile electronic devices
TWI475819B (zh) * 2013-02-01 2015-03-01 寶貝安科技股份有限公司 藍牙裝置配對方法、應用此配對方法之藍牙系統、藍牙客戶裝置及藍牙伺服裝置
JP6179227B2 (ja) 2013-07-08 2017-08-16 沖電気工業株式会社 情報処理装置、携帯端末および情報入力装置
US9912660B2 (en) * 2013-07-18 2018-03-06 Nokia Technologies Oy Apparatus for authenticating pairing of electronic devices and associated methods
KR20150014663A (ko) 2013-07-30 2015-02-09 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN103648006B (zh) * 2013-12-20 2018-01-16 深圳创维-Rgb电子有限公司 移动设备和电视的交互方法、系统及计算机可读介质
US11405389B2 (en) * 2015-01-29 2022-08-02 Htc Corporation Internet of Things system and control method thereof
US20160260319A1 (en) * 2015-03-04 2016-09-08 Aquimo, Llc Method and system for a control device to connect to and control a display device
JP2016194756A (ja) 2015-03-31 2016-11-17 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
KR20170015622A (ko) 2015-07-29 2017-02-09 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
JP2017059959A (ja) 2015-09-15 2017-03-23 キヤノン株式会社 制御装置、撮影装置、それらの制御方法、撮影システムおよびプログラム
KR20170036587A (ko) * 2015-09-24 2017-04-03 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20170055295A (ko) * 2015-11-11 2017-05-19 엘지전자 주식회사 이동 단말기 및 그 이동 단말기의 제어 방법
JP6520667B2 (ja) 2015-12-03 2019-05-29 富士ゼロックス株式会社 情報処理装置、情報処理システムおよびプログラム
US9792799B2 (en) * 2015-12-14 2017-10-17 Afero, Inc. Internet of things (IoT) child tracking system
KR102415871B1 (ko) 2016-01-08 2022-07-04 삼성전자주식회사 디스플레이 장치 및 그 동작방법
US10110678B2 (en) * 2016-08-19 2018-10-23 Sony Corporation System and method for data communication based on image processing
TWI596366B (zh) * 2016-10-24 2017-08-21 財團法人工業技術研究院 定位方法與其影像擷取裝置
JP6730915B2 (ja) * 2016-11-21 2020-07-29 キヤノン株式会社 リモコン、制御方法、及びプログラム
US10169884B2 (en) * 2017-01-03 2019-01-01 International Business Machines Corporation Image-based device configuration
SG10201704333RA (en) * 2017-05-26 2018-12-28 Mastercard International Inc System and method for managing a network connected appliance
US20190027147A1 (en) * 2017-07-18 2019-01-24 Microsoft Technology Licensing, Llc Automatic integration of image capture and recognition in a voice-based query to understand intent
US10366291B2 (en) * 2017-09-09 2019-07-30 Google Llc Systems, methods, and apparatus for providing image shortcuts for an assistant application
US10659409B1 (en) * 2017-09-29 2020-05-19 Snap Inc. Media access system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110138444A1 (en) * 2009-12-04 2011-06-09 Lg Electronics Inc. Augmented remote controller and method for operating the same
CN103563346A (zh) * 2011-03-31 2014-02-05 索尼移动通信公司 用于建立通信会话的系统和方法
US20130068837A1 (en) * 2011-09-19 2013-03-21 Google Inc. Mobile computing device authentication using scannable images
CN105027454A (zh) * 2013-03-08 2015-11-04 Lg电子株式会社 移动终端及其控制方法
US9131478B2 (en) * 2013-03-13 2015-09-08 Google Technology Holdings LLC Method and system for improved communication among paired electronic devices
CN103761460A (zh) * 2013-12-18 2014-04-30 微软公司 显示设备上的用户认证
CN103870738A (zh) * 2014-04-10 2014-06-18 宫雅卓 基于虹膜识别的可穿戴式身份认证装置
US20160249216A1 (en) * 2015-02-25 2016-08-25 Screenovate Technologies Ltd. Method for method for authenticating direct mirroring connection between a target screen device and a mobile device

Also Published As

Publication number Publication date
JP2021506166A (ja) 2021-02-18
WO2019112308A1 (en) 2019-06-13
US11197156B2 (en) 2021-12-07
EP3496364A1 (en) 2019-06-12
JP7183271B2 (ja) 2022-12-05
EP3496364B1 (en) 2021-06-02
KR102397886B1 (ko) 2022-05-13
KR20190066985A (ko) 2019-06-14
US20190174312A1 (en) 2019-06-06
CN111527732B (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
US10349171B2 (en) Electronic device, peripheral devices and control method therefor
KR102221023B1 (ko) 이미지를 처리하는 전자장치 및 방법
KR102183413B1 (ko) 콘텐트 표현 방법 및 시스템
CN111527732B (zh) 电子装置、用户终端设备及其控制方法
US9848128B2 (en) Photographing apparatus and method for controlling the same
EP3389332B1 (en) Commissioning of a plurality of devices
KR102187227B1 (ko) 컨텐츠 생성 방법 및 그 전자 장치
US10291967B2 (en) Function upgrade device, display apparatus and method for controlling display apparatus thereof
US9736350B2 (en) Control apparatus, image input apparatus, and control methods thereof
US11025603B2 (en) Service providing system, service delivery system, service providing method, and non-transitory recording medium
US20130231065A1 (en) Communication apparatus, communication method, and computer readable recording medium
US10347120B2 (en) Display device, and integrated remote controller setting method and system for same
US20190132505A1 (en) Imaging apparatus
US11362854B2 (en) Information processing apparatus, information processing method, program, and information processing system
KR102553250B1 (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
KR20140115644A (ko) 스마트폰을 이용한 ip 카메라 네트워크 설정방법
US9952853B2 (en) Methods for cross-mounting devices and apparatus utilizing the same
CN110636099A (zh) 电子设备的控制方法、装置、设备及系统
US20170372140A1 (en) Head mounted display and transmission control method
JP2015002540A (ja) 表示装置、表示装置の制御方法、テレビジョン受像機、プログラム、および、記録媒体
CN105722079A (zh) WiFi接入方法和装置
JP2015089038A (ja) 通信機器および通信方法
CN103763330A (zh) 家庭网络中控制多媒体的方法及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant