KR102484647B1 - 전자 장치의 제어방법 및 컴퓨터 판독 가능 기록매체 - Google Patents

전자 장치의 제어방법 및 컴퓨터 판독 가능 기록매체 Download PDF

Info

Publication number
KR102484647B1
KR102484647B1 KR1020180080401A KR20180080401A KR102484647B1 KR 102484647 B1 KR102484647 B1 KR 102484647B1 KR 1020180080401 A KR1020180080401 A KR 1020180080401A KR 20180080401 A KR20180080401 A KR 20180080401A KR 102484647 B1 KR102484647 B1 KR 102484647B1
Authority
KR
South Korea
Prior art keywords
received
image
registerable
external device
external
Prior art date
Application number
KR1020180080401A
Other languages
English (en)
Other versions
KR20200006707A (ko
Inventor
조은주
이현지
고창석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180080401A priority Critical patent/KR102484647B1/ko
Priority to US16/252,078 priority patent/US11363522B2/en
Priority to EP19152741.5A priority patent/EP3595277B1/en
Priority to PCT/KR2019/001625 priority patent/WO2020013413A1/en
Priority to CN201910220997.4A priority patent/CN110716717B/zh
Publication of KR20200006707A publication Critical patent/KR20200006707A/ko
Application granted granted Critical
Publication of KR102484647B1 publication Critical patent/KR102484647B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W48/00—Access restriction; Network selection; Access point selection
    • H04W48/16—Discovering, processing access restriction or access information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/2809—Exchanging configuration information on appliance services in a home automation network indicating that an appliance service is present in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/54—Presence management, e.g. monitoring or registration for receipt of user log-on information, or the connection status of the users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/75—Indicating network or usage conditions on the user display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

전자 장치의 제어방법이 개시된다. 본 제어방법은, 외부 디바이스를 등록하기 위한 사용자 입력이 수신되면, 전자 장치의 카메라를 통해 촬영을 수행하여 영상을 획득하는 단계, 외부 디바이스로부터 수신되는 신호를 바탕으로 영상 내에 포함된 적어도 하나의 디바이스 중 등록 가능한 디바이스를 식별하는 단계, 영상 내에 등록 가능한 디바이스를 나타내는 그래픽 오브젝트를 표시하는 단계 및 등록 가능한 디바이스를 등록하기 위한 사용자 입력이 수신되면 등록 가능한 디바이스를 제어 가능한 디바이스로 등록하는 단계를 포함한다.

Description

전자 장치의 제어방법 및 컴퓨터 판독 가능 기록매체 {METHOD OF CONTROLLING ELECTRONIC APPARATUS AND COMPUTER-READABLE RECORDING MEDIUM}
본 개시는 전자 장치의 제어방법 및 컴퓨터 판독 가능 기록매체에 관한 것으로, 더욱 상세하게는 보다 직관적으로 제어 대상 디바이스를 등록할 수 있는 전자 장치의 제어방법 및 컴퓨터 판독 가능 기록매체에 대한 것이다.
컴퓨터 기술, 통신 기술 및 홈 일렉트로닉스 기술의 발달과 함께, 가정, 공장 내의 디바이스 및 시스템이 네트워크로 연결되어 관리되는 네트워크 관리 서비스가 등장하였고, 미래지향적 기술로서 각광받고 있었다.
네트워크로 연결되는 가정, 공장 내의 모든 디바이스들은 상호 간의 데이터 전송이 가능하며, 다양한 전자 장치와 통신할 수 있다. 예를 들어, 사용자는 스마트폰 등과 같은 전자 장치에 마련된 유저 인터페이스(User Interface; UI)를 이용하여 가정 내의 모든 가전기기를 시간, 장소에 구애받지 않고 제어할 수 있었다.
이러한 서비스를 이용하기 위해서는 먼저 디바이스를 설치(Set-up)해야 하고, 디바이스 설치에는 스마트폰 및/또는 서버에 디바이스를 등록하는 절차가 요구되었다.
종래에는 스마트폰의 애플리케이션을 활용하여 디바이스를 등록하였는데, 등록 가능한 장치들이 리스트 형태로만 제공되어 리스트 내의 디바이스가 실제 어떤 디바이스에 해당하는 것인지 파악하기가 어려웠다. 또한, 다수의 디바이스를 등록하기 위해서는 각 디바이스들을 순서대로 사용자가 직접 등록해야 하는 번거로움이 있었다.
본 개시는 상술한 문제점을 해결하기 위해 안출된 것으로, 본 개시의 목적은 보다 직관적으로 제어 대상 디바이스를 등록할 수 있는 전자 장치의 제어방법 및 컴퓨터 판독 가능 기록매체를 제공함에 있다.
본 개시의 일 실시 예에 따른 전자 장치의 제어방법은, 외부 디바이스를 등록하기 위한 사용자 입력이 수신되면, 상기 전자 장치의 카메라를 통해 촬영을 수행하여 영상을 획득하는 단계, 외부 디바이스로부터 수신되는 신호를 바탕으로 상기 영상 내에 포함된 적어도 하나의 디바이스 중 등록 가능한 디바이스를 식별하는 단계, 상기 영상 내에 상기 등록 가능한 디바이스를 나타내는 그래픽 오브젝트를 표시하는 단계 및 상기 등록 가능한 디바이스를 등록하기 위한 사용자 입력이 수신되면 상기 등록 가능한 디바이스를 제어 가능한 디바이스로 등록하는 단계를 포함한다.
이 경우, 본 실시 예에 따른 제어방법은 서버로부터 상기 등록된 디바이스에 대한 상태 정보가 수신되면 상기 영상과 상기 상태 정보를 함께 표시하는 단계를 더 포함할 수 있다.
한편, 본 실시 예에 따른 제어방법은 기 설정된 사용자 입력이 수신되면, 상기 영상과 상기 등록된 디바이스를 나타내는 그래픽 오브젝트를 포함하는 UI(User interface)를 표시하는 단계 및 상기 UI를 통해 상기 등록된 디바이스를 선택하는 사용자 입력이 수신되면, 상기 등록된 디바이스를 제어하기 위한 UI를 표시하는 단계를 더 포함할 수 있다.
한편, 상기 식별하는 단계는, 영상 분석을 통해 상기 영상에 포함되어 있는 적어도 하나의 디바이스를 식별하고, 상기 식별된 적어도 하나의 디바이스 중에서 상기 수신된 신호에 포함된 디바이스 종류를 나타내는 정보와 대응되는 디바이스를 등록 가능한 디바이스로 식별할 수 있다.
이 경우, 상기 그래픽 오브젝트를 표시하는 단계는, 상기 영상 분석을 통해 식별된 상기 적어도 하나의 디바이스의 종류를 바탕으로 상기 등록 가능한 디바이스를 나타내는 텍스트를 표시할 수 있다.
한편, 상기 식별하는 단계는, 영상 분석을 통해 상기 영상에 포함되어 있는 적어도 하나의 디바이스의 위치를 식별하는 단계, 외부 디바이스로부터 수신한 신호의 세기 및 위상차를 바탕으로 상기 외부 디바이스의 위치를 식별하는 단계, 및 상기 영상 분석을 바탕으로 식별된 상기 영상 내의 적어도 하나의 디바이스의 위치와 상기 수신한 신호를 바탕으로 식별된 상기 외부 디바이스의 위치를 비교하여 상기 영상 내의 상기 적어도 하나의 디바이스 중 등록 가능한 디바이스를 식별하는 단계를 포함할 수 있다.
한편, 상기 그래픽 오브젝트를 표시하는 단계는, 상기 수신된 신호에 포함된 SSID(Service Set Identifier)를 바탕으로 상기 등록 가능한 디바이스를 나타내는 텍스트를 표시할 수 있다.
한편, 본 실시 예에 따른 제어방법은 상기 영상 내에서 식별된 등록 가능한 디바이스가 복수 개이고, 상기 복수의 등록 가능한 디바이스가 제어 가능한 디바이스로 등록되면, 상기 등록된 복수의 디바이스를 제1 그룹으로 지정하는 단계를 더 포함할 수 있다.
이 경우, 본 실시 예에 따른 제어방법은 상기 제1 그룹의 상태를 체크하기 위한 사용자 입력이 수신되면, 상기 영상 및 상기 등록된 복수의 디바이스의 상태에 대한 정보를 포함하는 UI를 제공하는 단계를 더 포함할 수 있다.
한편, 상기 등록하는 단계는, 상기 등록 가능한 디바이스를 등록하기 위한 사용자 입력이 수신되면 상기 등록 가능한 디바이스로부터 디바이스 정보를 수신하고, 상기 수신된 디바이스 정보에 기초한 등록 요청을 서버에 전송할 수 있다.
한편, 상기 등록하는 단계는, 상기 영상 내에서 식별된 등록 가능한 디바이스가 복수 개이고, 상기 복수의 등록 가능한 디바이스를 등록하기 위한 사용자 입력이 수신되면, 상기 복수의 등록 가능한 디바이스로부터 순차적으로 디바이스 정보를 수신하여 상기 수신된 디바이스 정보에 기초한 등록 요청을 서버에 전송할 수 있다.
한편, 본 개시의 일 실시 예에 따른 기록매체는, 전자 장치의 프로세서에 의해 실행될 때 상기 전자 장치로 하여금, 외부 디바이스를 등록하기 위한 사용자 입력이 수신되면 상기 전자 장치의 카메라를 통해 촬영을 수행하여 영상을 획득하는 단계, 외부 디바이스로부터 수신되는 신호를 바탕으로 상기 영상 내에 포함된 적어도 하나의 디바이스 중 등록 가능한 디바이스를 식별하는 단계, 상기 영상 내에 상기 등록 가능한 디바이스를 나타내는 그래픽 오브젝트를 표시하는 단계 및 상기 등록 가능한 디바이스를 등록하기 위한 사용자 입력이 수신되면 상기 등록 가능한 디바이스를 제어 가능한 디바이스로 등록하는 단계를 포함하는 제어방법을 수행하게 하는 컴퓨터 실행가능 명령어(computer executable instructions)를 저장한다.
이 경우, 상기 제어방법은 서버로부터 상기 등록된 디바이스에 대한 상태 정보가 수신되면 상기 영상과 상기 상태 정보를 함께 표시하는 단계를 더 포함할 수 있다.
한편, 상기 제어방법은, 기 설정된 사용자 입력이 수신되면, 상기 영상과 상기 등록된 디바이스를 나타내는 그래픽 오브젝트를 포함하는 UI(User interface)를 표시하는 단계 및 상기 UI를 통해 상기 등록된 디바이스를 선택하는 사용자 입력이 수신되면, 상기 등록된 디바이스를 제어하기 위한 UI를 표시하는 단계를 더 포함할 수 있다.
한편, 상기 식별하는 단계는, 영상 분석을 통해 상기 영상에 포함되어 있는 적어도 하나의 디바이스를 식별하고, 상기 식별된 적어도 하나의 디바이스 중에서 상기 수신된 신호에 포함된 디바이스 종류를 나타내는 정보와 대응되는 디바이스를 등록 가능한 디바이스로 식별할 수 있다.
이 경우, 상기 그래픽 오브젝트를 표시하는 단계는, 상기 영상 분석을 통해 식별된 상기 적어도 하나의 디바이스의 종류를 바탕으로 상기 등록 가능한 디바이스를 나타내는 텍스트를 표시할 수 있다.
한편, 상기 식별하는 단계는, 영상 분석을 통해 상기 영상에 포함되어 있는 적어도 하나의 디바이스의 위치를 식별하는 단계, 외부 디바이스로부터 수신한 신호의 세기 및 위상차를 바탕으로 상기 외부 디바이스의 위치를 식별하는 단계, 및 상기 영상 분석을 바탕으로 식별된 상기 영상 내의 적어도 하나의 디바이스의 위치와 상기 수신한 신호를 바탕으로 식별된 상기 외부 디바이스의 위치를 비교하여 상기 영상 내의 상기 적어도 하나의 디바이스 중 등록 가능한 디바이스를 식별하는 단계를 포함할 수 있다.
한편, 상기 그래픽 오브젝트를 표시하는 단계는, 상기 수신된 신호에 포함된 SSID(Service Set Identifier)를 바탕으로 상기 등록 가능한 디바이스를 나타내는 텍스트를 표시할 수 있다.
한편, 상기 제어방법은, 상기 영상 내에서 식별된 등록 가능한 디바이스가 복수 개이고, 상기 복수의 등록 가능한 디바이스가 제어 가능한 디바이스로 등록되면, 상기 등록된 복수의 디바이스를 제1 그룹으로 지정하는 단계를 더 포함할 수 있다.
이 경우, 상기 제어방법은, 상기 제1 그룹의 상태를 체크하기 위한 사용자 입력이 수신되면, 상기 영상 및 상기 등록된 복수의 디바이스의 상태에 대한 정보를 포함하는 UI를 제공하는 단계를 더 포함할 수 있다.
한편, 상기 등록하는 단계는, 상기 등록 가능한 디바이스를 등록하기 위한 사용자 입력이 수신되면 등록 가능한 디바이스로부터 디바이스 정보를 수신하고, 상기 수신된 디바이스 정보에 기초한 등록 요청을 서버에 전송할 수 있다.
한편, 상기 등록하는 단계는, 상기 영상 내에서 식별된 등록 가능한 디바이스가 복수 개이고, 상기 복수의 등록 가능한 디바이스를 등록하기 위한 사용자 입력이 수신되면, 상기 복수의 등록 가능한 디바이스로부터 순차적으로 디바이스 정보를 수신하여 상기 수신된 디바이스 정보에 기초한 등록 요청을 서버에 전송할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 시스템을 설명하기 위한 도면,
도 2는 본 개시의 일 실시 예에 따른 제어 디바이스의 구성을 설명하기 위한 블록도,
도 3은 본 개시의 일 실시 예에 따른 제어 디바이스의 제어방법을 설명하기 위한 흐름도,
도 4는 디바이스를 등록하는 본 개시의 일 실시 예에 따른 절차를 설명하기 위한 흐름도, 그리고,
도 5는 본 개시의 일 실시 예에 따른, 외부 디바이스 등록을 위한 메뉴를 제공하는 UI를 도시한 도면,
도 6은 외부 디바이스 등록을 위해 촬영을 수행하는 상황을 도시한 도면,
도 7은 촬영된 영상에서 등록 가능한 디바이스들을 나타내는 그래픽 오브젝트가 표시된 본 개시의 일 실시 예에 따른 UI를 도시한 도면,
도 8은 촬영 기능 미 제공 시 제공될 수 있는 등록 가능한 디바이스들의 대표 이미지를 포함한 본 개시의 일 실시 예에 따른 UI를 도시한 도면,
도 9는 등록 가능한 디바이스들 중 등록할 디바이스를 선택할 수 있는 본 개시의 일 실시 예에 따른 UI를 도시한 도면,
도 10은 디바이스 등록 동안 표시될 수 있는 본 개시의 일 실시 예에 따른 UI를 도시한 도면,
도 11은 등록 후 그룹 지정된 디바이스들에 대한 정보를 포함한 본 개시의 일 실시 예에 따른 UI를 도시한 도면,
도 12는 디바이스들의 그룹을 지정하는 본 개시의 일 실시 예를 설명하기 위한 도면,
도 13은 본 개시의 일 실시 예에 따른, 그룹별 디바이스 정보를 제공하는 UI를 설명하기 위한 도면,
도 14는 촬영을 통해 등록 가능한 새로운 디바이스 감지 시 제공될 수 있는 본 개시의 일 실시 예에 따른 UI를 도시한 도면,
도 15는 본 개시의 일 실시 예에 따른 디바이스 상태 알림 UI를 설명하기 위한 도면,
도 16 내지 도 17은 본 개시의 다양한 실시 예에 따른 상태 정보를 제공하는 UI를 설명하기 위한 도면 그리고,
도 18 내지 도 19는 본 개시의 일 실시 예에 따른 디바이스 제어를 위한 UI를 설명하기 위한 도면이다.
이하, 본 문서의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 문서의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
본 문서에서 사용된 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 개시의 다양한 실시 예들에 따른 전자 장치(제어 디바이스와 피제어 디바이스를 포함)는, 예를 들면, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예에 따르면, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형(예: implantable circuit) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에서, 전자 장치는 가전 제품(home appliance)일 수 있다. 가전 제품은, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), 홈 오토매이션 컨트롤 패널(home automation control panel), 보안 컨트롤 패널(security control panel), TV 박스(예: 삼성 HomeSync™, 애플TV™, 또는 구글 TV™), 게임 콘솔(예: Xbox™, PlayStation™), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시 예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션(navigation) 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller's machine), 상점의 POS(point of sales), 또는 사물 인터넷 장치(internet of things)(예: 전구, 각종 센서, 전기 또는 가스 미터기, 스프링클러 장치, 화재경보기, 온도조절기(thermostat), 가로등, 토스터(toaster), 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예에 따르면, 전자 장치는 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예에서, 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시 예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 시스템(1000)을 설명하기 위한 도면이다.
도 1을 참고하면, 시스템(1000)은 피제어 디바이스(100), 제어 디바이스(200), 서버(300) 및 액세스 포인트(400)를 포함한다.
피제어 디바이스(100)는 예컨대, TV, 에어컨, 냉장고, 세탁기, 로봇청소기, 가습기, 도어락, 식기세척기, 보안 카메라, CCTV(Closed Circuit Television), 보안 센서, LED(Light Emitting Diode), 램프, 난방기기, 전력측정기, 전력 소켓, 전기 콘센트, 멀티 탭, 개인 컴퓨터(PC: Personal Computer), IP 카메라, 인터넷 전화, 유/무선 전화, 전기적으로 제어 가능한 커튼, 블라인드 등과 같은 가전 제품일 수 있다.
피제어 디바이스(100)는 통신 기능을 갖춘 전자 장치로서, 예컨대, Wi-Fi, ZigBee, Z-Wave, 블루투스 등과 같은 통신방식으로 외부 장치와 통신할 수 있으나 이러한 통신 방식에 한정되는 것은 아니다.
제어 디바이스(200)는 예컨대, 스마트폰, 태블릿 PC, 리모컨, 개인 컴퓨터, TV 등과 같은 전자 장치일 수 있다.
제어 디바이스(200)는 통신 기능을 갖춘 전자 장치로서, 예컨대, Wi-Fi, ZigBee, Z-Wave, 블루투스 등과 같은 통신방식으로 외부 장치와 통신할 수 있으나 이러한 통신 방식에 한정되는 것은 아니다.
제어 디바이스(200)는 피제어 디바이스(100)의 등록, 제어, 관리 등을 수행할 수 있는 장치이다. 제어 디바이스(200)는 피제어 디바이스(100)를 서버(300)에 등록하여 언제 어디서든 피제어 디바이스(100)의 상태를 확인하고 제어할 수 있다.
제어 디바이스(200)는 서버(300)를 통하거나, D2D(Device-to-Device) 또는 P2P (Peer-to-Peer) 연결을 사용하여 피제어 디바이스(100)와 통신할 수 있다.
엑세스 포인트(AP)(400)는 무선 LAN에서 기지국 역할을 소출력 무선 기기로서, AP는 유선 통신과 무선 통신을 잇는 브릿지 역할을 하게 되며, 유선망 관점에서 AP는 라우터 또는 스위치 등에 구현될 수 있고 이에 따라, AP는 유선망을 무선망으로 확장시켜주는 역할을 하게 된다. 예를 들어, 모뎀에 연결되는 IP 공유기, 무선 네트워크 카드 등으로 구현될 수도 있다.
피제어 디바이스(100)와 제어 디바이스(200)는 AP(400)를 경유하여 AP(400)에 접속된 다른 외부 기기 또는 서버(300)와 통신을 수행할 수 있다.
서버(300)는 클라우드 서버로 구현될 수 있다. 일 실시 예에 따르면 서버(300)는 계정 서버, 서비스 서버를 포함할 수 있다. 계정 서버는 사용자 인증을 수행할 수 있다. 서비스 서버는 웹 포탈, 디바이스들의 상태 정보 관리, 원격 접근, 디바이스의 업데이트, 메시지 알림 등의 기능을 수행할 수 있다.
시스템(1000)이 제공하는 서비스는 크게 디바이스 등록 및 디바이스 제어로 구분될 수 있다.
등록은 예컨대, 제어 디바이스(200)가 피제어 디바이스(100)와 통신 연결되는 절차, 제어 디바이스(200)가 피제어 디바이스(100)로 하여금 액세스 포인트(AP)(400)에 접속하는 것을 지원하는 절차, 피제어 디바이스(100)를 제어 디바이스(100) 및 서버(300)에 등록하는 절차 중 적어도 하나를 포함한다.
제어는, 예컨대, 피제어 디바이스(100)를 등록 한 후, 제어 디바이스(200)를 이용해서 서버(300)를 통해 피제어 디바이스(100)를 제어하거나, 또는 서버(300)의 개입 없이 제어 디바이스(200)를 이용해서 피제어 디바이스(100)를 제어하는 절차이다.
피제어 디바이스(100)와 제어 디바이스(200)가 댁내에서 사용되는 경우 홈 디바이스라고 명명될 수 있다. 피제어 디바이스(100) 및 제어 디바이스(200)와 서버(300)는 직접 통신할 수 있고, 또는 홈 게이트웨이(미도시)를 통하여 통신할 수 있다. 홈 게이트웨이는 서버(300)와 연동하여 피제어 디바이스(100) 및 제어 디바이스(200)를 포함하는 홈 네트워크 내의 홈 디바이스들을 전반적으로 관리, 제어할 수 있다. 또한 홈 게이트웨이는 ZigBee 또는 Z-Wave 기반의 디바이스와 Wi-Fi 기반의 디바이스 간의 메시지 번역(message translation)을 지원할 수 있다.
제어 디바이스(200)는 스마트 제어 애플리케이션을 통해 사용자에게 다양한 서비스를 제공할 수 있다. 스마트 제어 애플리케이션은 제어 디바이스(200)의 운영체제(OS) 상에서 실행되는 프로그램으로서, 제어 디바이스(200)에 기본적으로 임베디드될 수 있고, 또는 Google Play™, Samsung Apps™와 같은 애플리케이션 스토어에서 다운로드될 수 있다. 제어 디바이스(200)는 스마트 제어 애플리케이션을 통해 피제어 디바이스(100)의 등록, 제어, 관리 등을 수행할 수 있다. 본 개시에서 사용되는 용어 '스마트 제어 애플리케이션'은 예시일 뿐, 컴퓨터 실행가능 명령어(computer executable instructions)라고 명명될 수도 있다.
스마트 제어 애플리케이션은 제어 디바이스(200)의 다양한 하드웨어 구성을 통해 다양한 서비스를 제공할 수 있다. 도 2는 본 개시의 일 실시 예에 따른 제어 디바이스(200)의 구성을 설명하기 위한 도면이다. 제어 디바이스(200)는 본 개시에서 필요한 기능을 수행할 수 있는 장치라면 어떠한 전자 장치라도 될 수 있다.
도 2를 참조하면, 제어 디바이스(200)는 통신부(210), 카메라(220), 디스플레이(230), 메모리(240), 프로세서(250)를 포함할 수 있다. 실시 형태에 따라 도시되지 않았더라도 당업자에게 자명한 수준의 적절한 하드웨어/소프트웨어 구성들이 제어 디바이스(200)에 추가로 포함될 수 있다. 또한, 실시 형태에 따라 몇몇의 구성들이 제외될 수 있다.
통신부(210)는 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부(210)는 와이파이, 블루투스, NFC, 적외선 통신(IrDA, infrared Data Association), RFID(Radio Frequency Identification), UWB(ultra-wideband), 와이파이 다이렉트(Wi-Fi Direct), Z-wave, Zigbee, 4LoWPAN, GPRS, Weightless, DLNA(Digital Living Network Alliance), ANT+, DECT(Digital Enhanced Cordless Telecommunications), WLAN(wireless local area network), GSM(Global System for Mobile communications), UMTS(Universal Mobile Telecommunication System), WiBRO(Wireless Broadband) 등의 통신 방식으로 외부 기기와 통신을 수행할 수 있다. 통신부(210)는 통신칩, 송수신기(transceiver)로 구현될 수 있다.
카메라(220)는 영상을 촬영하기 위한 구성이다. 카메라(220)는 전면 카메라와 후면 카메라를 포함할 수 있다. 전면 카메라는 디스플레이(230)를 기준으로 사용자 방향, 즉 디스플레이 방향에 배치되고, 후면 카메라는 디스플레이 방향과 반대 방향에 배치될 수 있다.
디스플레이(230)는 영상을 표시하기 위한 구성으로서, 예컨대, LCD(Liquid Crystal Display)로 구현될 수 있으며, 경우에 따라 CRT(cathode-ray tube), PDP(plasma display panel), OLED(organic light emitting diodes), TOLED(transparent OLED) 등으로 구현될 수 있다. 디스플레이(230)는 사용자의 터치 조작을 감지할 수 있는 터치스크린 형태로 구현될 수도 있다.
메모리(240)는 예를 들면, 내장 메모리 또는 외장 메모리를 포함할 수 있다. 내장 메모리는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.
외장 메모리는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱(memory stick) 등을 포함할 수 있다.
메모리(240)는 프로세서(250)에 의해 액세스되며, 프로세서(250)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.
본 개시에서 메모리라는 용어는 프로세서(250)와 별도로 마련된 메모리, 프로세서(250) 내 롬(미도시) 및 램(미도시) 중 적어도 하나를 포함할 수 있다.
프로세서(250)는 제어 디바이스(200)의 전반적인 동작을 제어하기 위한 구성이다. 예를 들면, 프로세서(250)는 운영 체제, 애플리케이션을 구동하여 프로세서(250)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(250)는 CPU(central processing unit) 또는 GPU(graphics-processing unit)이거나 둘 다일 수 있다. 프로세서(250)는 적어도 하나의 범용 프로세서(general processor), 디지털 신호 프로세서(digital signal processor), ASIC(Application specific integrated circuit), SoC(system on chip), MICOM(Microcomputer) 등으로 구현될 수 있다.
메모리(240)에 저장된 스마트 제어 애플리케이션은 프로세서(250)에 의해 실행되었을 때, 제어 디바이스(200)로 하여금 이하 설명할 실시 예들의 동작을 수행하게 한다.
도 3은 본 개시의 일 실시 예에 따른 제어 디바이스(200)의 제어방법을 설명하기 위한 흐름도이다.
도 3을 참고하면, 외부 디바이스를 등록하기 위한 사용자 입력이 제어 디바이스(200)에 수신되면, 제어 디바이스(200)의 카메라를 통해 촬영을 수행하여 영상을 획득한다(S310).
외부 디바이스를 등록하기 위한 사용자 입력은 예컨대, 스마트 제어 애플리케이션에서 제공하는 디바이스 등록을 위한 UI 요소를 선택하거나, 음성 인식 소프트웨어(ex. Bixby™)를 이용하여 음성으로 외부 디바이스 등록을 지시하는 것일 수 있다. 또는, 제어 디바이스(200)는 BLE를 통해 등록 가능한 외부 디바이스를 감지하면 자동으로 등록 여부를 문의하는 UI를 표시할 수 있고, 이 UI를 통해 등록에 동의하는 사용자 입력을 수신 받을 수 있다.
그리고, 제어 디바이스(200)는 외부 디바이스로부터 수신되는 신호를 바탕으로, 카메라를 통해 촬영된 영상 내에 포함된 적어도 하나의 디바이스 중 등록 가능한 디바이스를 식별할 수 있다(S320).
예컨대, 촬영된 영상 내에 피제어 디바이스(100)가 포함되어 있는 경우, 피제어 디바이스(100)는 Wi-Fi, 블루투스, Zigbee, Z-wave등의 무선통신 방식으로 신호를 전송할 수 있고, 이 신호는 피제어 디바이스(100)가 어떤 장치인지를 나타내는 정보를 포함할 수 있다. 제어 디바이스(200)는 촬영된 영상을 분석하여 촬영된 영상 내에 포함된 피제어 디바이스(100)가 어떤 종류의 디바이스인지를 식별할 수 있다. 영상 분석은 제어 디바이스(200) 자체에서 수행될 수 있고, 또는 제어 디바이스(200)는 촬영된 영상을 영상 분석을 수행하는 외부 서버로 전송하고, 외부 서버로부터 영상 내 포함된 디바이스들에 대한 정보(기기군, 기기명, 대표이미지 등)를 수신할 수 있다.
일 실시 예에 따르면, 영상 분석 시 인공 지능 기술이 활용될 수 있다. 구체적으로, 인공지능 알고리즘에 의해 학습된 인공지능 모델을 이용하여, 촬영된 영상에서 디바이스를 식별할 수 있다. 예컨대, 인공지능 모델에 촬영된 영상을 입력 데이터로서 입력하면, 출력 데이터로서, 디바이스의 종류, 영상 내에서 디바이스의 위치 등에 대한 정보를 획득할 수 있다.
인공지능 모델은 인공지능 알고리즘 기반으로 학습된 판단 모델로서, 예로, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 학습된 인공지능 모델은 인간의 뇌 구조를 컴퓨터상에서 모의하도록 설계될 수 있으며 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고받는 뉴런의 시냅틱(synaptic) 활동을 모의하도록 각각 연결 관계를 형성할 수 있다. 또한, 학습된 인공지능 모델은, 일 예로, 신경망 모델, 또는 신경망 모델에서 발전한 딥 러닝 모델을 포함할 수 있다. 딥 러닝 모델에서 복수의 네트워크 노드들은 서로 다른 깊이(또는, 레이어)에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고받을 수 있다. 학습된 인공지능 모델의 예에는 DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 등이 있을 수 있으나 이에 한정되지 않는다.
제어 디바이스(200)는 인공지능 전용 프로그램(또는 인공지능 에이전트, Artificial intelligence agent)인 개인 비서 프로그램을 이용할 수 있다. 개인 비서 프로그램은 AI(Artificial Intelligence) 기반의 서비스를 제공하기 위한 전용 프로그램이다. 인공 지능 처리를 위해 기존의 범용 프로세서(예를 들어, CPU)가 이용될 수 있거나, 또는 단일 목적 프로세서(예를 들어, GPU, FPGA, ASIC 등)가 이용될 수 있다. 제어 디바이스(300)는 복수의 프로세서를 포함할 수 있는데, 예컨대, 인공 지능 전용의 프로세서와 그 밖의 다른 처리를 담당하는 프로세서를 포함할 수 있다.
인공 지능을 기반으로 한 연산은 제어 디바이스(300) 내에서 수행될 수 있고, 외부 서버를 통해 수행되는 것도 가능하다. 후자의 경우, 제어 디바이스(300)는 예컨대, 촬영된 영상을 외부 서버로 전송하고, 서버는 인공 지능 모델에 영상을 입력하여 이에 대한 출력 데이터로서 영상 내 디바이스에 대한 정보, 위치 등에 대한 정보를 획득할 수 있고, 이를 제어 디바이스(300)로 제공할 수 있다. 예컨대, 영상 분석 시, Cloud Vision™, Bixby Vision™, Google Lens™ 등과 같은 소프트웨어가 이용될 수 있다.
또 다른 실시 예에 따르면, 영상 분석 시 미리 마련되어 있는 디바이스들의 이미지가 활용될 수 있다. 예컨대, 온라인 몰에 있는 제품 소개를 위한 이미지들이 영상 분석에 이용될 수 있는데, 제품 소개 이미지들은 다양한 각도에서 촬영된 것이므로, 이러한 다양한 각도의 제품 이미지들을 제어 디바이스(200)가 촬영한 영상과 비교해서, 제품 이미지와 유사한 디바이스가 있는지를 식별할 수 있다. 이러한 영상 분석 방법에서는, 제어 디바이스(200)가 외부 서버로부터 제품 이미지들을 수신하여 촬영된 영상 내의 디바이스들과 대조하는 작업을 수행할 수 있다.
제어 디바이스(200)는 영상 분석을 통해 식별된 영상 내의 디바이스들 중에서, 외부 디바이스로부터 수신된 신호에 포함된 디바이스 종류를 나타내는 정보와 대응되는 디바이스를, 등록 가능한 디바이스로 식별할 수 있다. 즉, 예컨대 외부 디바이스들로부터 수신된 신호에 포함된 정보가, 외부 디바이스들의 종류가 TV와 냉장고임을 나타내고, 촬영된 영상을 분석한 결과 촬영된 영상 내에 TV와 에어컨이 있다고 식별된 경우, 제어 디바이스(200)는 촬영된 영상 내의 TV가 등록 가능한 디바이스라고 식별할 수 있다.
한편, 만약 등록하고자 하는 피제어 디바이스(100)가 이미 AP(400)에 연결되어 있는 경우라면, 제어 디바이스(200)는 AP(400)로부터 AP(400)에 연결된 피제어 디바이스(100)에 대한 정보를 수신하고, 이 정보와 영상 분석 결과를 비교해서 공통되는 디바이스를 등록 가능한 디바이스로서 식별할 수 있다.
일 실시 예에 따르면, 제어 디바이스(200)는 파노라마 촬영 기능을 포함할 수 있다. 따라서 360도로 촬영이 가능하므로, 공간 내부 전체를 한번에 촬영해서 그 공간 안에 있는 모든 등록 가능한 디바이스들을 식별하는 것이 가능하다.
본 개시의 또 다른 실시 예에 따르면, 제어 디바이스(200)는 영상 분석을 통해 촬영된 영상에 포함된 적어도 하나의 디바이스의 위치에 대한 정보를 획득하고, 적어도 하나의 외부 디바이스로부터 수신된 신호를 바탕으로 적어도 하나의 외부 디바이스의 위치(거리 및 방향 중 적어도 하나)를 식별하고, 영상 분석을 바탕으로 식별된 위치와, 신호로부터 식별된 위치를 비교하여 영상 내에서 등록 가능한 디바이스를 식별할 수 있다.
구체적으로, 제어 디바이스(200)는 수신 신호 세기(RSSI)와 거리의 관계를 정의한 공식을 사용하여 신호세기에 따른 거리 값을 계산할 수 있다.
그리고 제어 디바이스(200)는 외부 디바이스들로부터 수신된 신호를 바탕으로 외부 디바이스들의 방향을 탐지할 수 있다. 방향 탐지 방식에는 능동식 방향탐지와 수동식 방향탐지 방식이 있는데, 능동식 방향탐지 방식은 제어 디바이스(200)가 전파를 방사한 뒤에 외부 디바이스들에서 반사되는 신호를 수신하여 방향을 찾는 방식이고, 수동식 방향탐지 방식은 외부 디바이스들이 방사하는 신호를 제어 디바이스(200)가 수신하여 방향을 찾는 방식이다. 일 실시 예에 따르면, 제어 디바이스(200)는 두 개의 배열 안테나(parallel antennas)를 구비하고, 두 개의 배열안테나에 도달하는 신호의 진폭 크기를 비교하는 진폭 비교 방향 탐지 방식, 두 개의 배열안테나에 도달하는 신호의 위상을 비교하는 위상차 방향 탐지 방식 또는 신호가 두 개의 배열안테나에 도착하는 시간차를 이용하는 시간차 방향 탐지 방식을 사용할 수 있다. 제어 디바이스(200)는 더 정밀한 방향 탐지를 위해 여러 가지 방향 탐지 방식을 결합하여 사용할 수도 있다. 제어 디바이스(200)는 영상 내에서 디바이스들의 상대적인 위치와, 디바이스들로부터 수신된 신호를 통해 파악된 디바이스들의 상대적인 위치를 바탕으로, 영상 내의 디바이스들과 신호를 전송한 디바이스들을 매칭할 수 있다.
본 개시의 또 다른 실시 예에 따르면, 제어 디바이스(200)는 동일 종류의 디바이스가 여러 대 있는 상황에서도 각각을 구분할 수 있다. 이 때, 상술한 바와 같이 외부 디바이스들로부터 수신되는 신호를 기초로 파악된 외부 디바이스들의 위치가 이용될 수 있다.
예컨대, 제어 디바이스(200)는, 촬영된 영상 내에서 특정 종류의 디바이스, 예컨대 TV가 식별되고, 제1 외부 디바이스로부터 수신된 신호와 제2 외부 디바이스로부터 수신된 신호 모두가 TV임을 나타내는 정보를 포함하고 있는 경우, 상기 제1 및 제2 외부 디바이스들로부터 수신된 신호들을 바탕으로 파악된 제1 및 제2 외부 디바이스의 위치와, 촬영된 영상 내에서 TV의 위치를 비교해서, 제1 및 제2 외부 디바이스들 중에서 촬영된 영상 내의 TV와 대응되는 외부 디바이스를 식별할 수 있다.
그리고 제어 디바이스(200)는 촬영된 영상 내에 등록 가능한 디바이스를 나타내는 그래픽 오브젝트를 표시할 수 있다(S330).
일 실시 예에 따르면, 촬영된 영상 상에, 등록 가능한 디바이스를 나타내는 그래픽 오브젝트가 겹쳐져 표시될 수 있다. 피제어 디바이스(100)가 촬영된 영상에 포함되어 있으면, 영상 내에서 피제어 디바이스(100)가 촬영된 위치에, 피제어 디바이스(100)를 나타내는 그래픽 오브젝트가 겹쳐져 표시될 수 있다.
그래픽 오브젝트는 촬영된 영상에서 등록 가능한 디바이스가 어떤 것인지를 식별하게 하는 형태이면 어떠한 형태라도 가능하다. 예컨대 그래픽 오브젝트는 촬영된 영상에서 등록 가능한 디바이스에 겹쳐져서 표시될 수 있다. 예컨대 그래픽 오브젝트는 등록 가능한 디바이스의 정보(예컨대, 디바이스명, 디바이스 고유 ID 등)을 포함할 수 있다.
등록 가능한 디바이스가 어떤 것인지를 식별하게 하는 그래픽 오브젝트는 텍스트를 포함할 수 있다. 일 실시 예에 따르면, 제어 디바이스(200)는 촬영된 영상 분석을 통해 식별된 적어도 하나의 디바이스의 종류를 바탕으로 상기 등록 가능한 디바이스를 나타내는 텍스트를 표시할 수 있다. 또 다른 실시 예에 따르면, 제어 디바이스(200)는 외부 디바이스(피제어 디바이스(100))로부터 수신된 신호에 포함된 SSID(Service Set Identifier)에 포함된 정보를 바탕으로 등록 가능한 디바이스를 나타내는 텍스트를 표시할 수 있다.
이와 같은 그래픽 오브젝트가 촬영 영상 상에 표시됨으로써, 사용자는 자신이 촬영한 영상을 바탕으로, 등록 가능한 디바이스가 어떤 것인지를 직관적으로 파악할 수 있다.
촬영된 영상 상에 표시된 그래픽 오브젝트는 선택 가능한 UI 요소로서 기능할 수 있다. 사용자는 등록을 원하는 디바이스에 대응하는 그래픽 오브젝트를 선택할 수 있다. 또는, 디바이스 이미지 자체가 선택 가능한 UI 요소로서 기능할 수 있다.
그리고 제어 디바이스(200)는 등록 가능한 디바이스를 등록하기 위한 사용자 입력이 수신되면, 등록 가능한 디바이스를 제어 가능한 디바이스로 등록할 수 있다(S340). 제어 가능한 디바이스로 등록하는 것은, 디바이스와 통신이 가능하도록 하는 것, 디바이스를 AP(400)에 연결시키는 것, 디바이스에 대한 정보를 서버(300)에 전송하여 서버(300)에서 디바이스가 관리되도록 하는 것 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 촬영 영상 상에, 등록 가능한 디바이스를 나타내는 그래픽 오브젝트와 함께, 등록을 위한 UI요소가 표시될 수 있다. 사용자가 등록을 위한 UI 요소를 선택하면, 촬영 영상 내에 포함된 등록 가능한 디바이스 전부에 대한 등록 절차가 수행될 수 있다. 또는, 상술한 바와 같이 사용자는 등록을 원하는 디바이스만 선택할 수 있으므로, 디바이스 선택 후 등록을 위한 UI 요소가 선택되면, 선택된 디바이스에 대해서만 등록 절차가 수행될 수 있다.
등록 절차는 제어 디바이스(200)가 등록 가능 디바이스와 통신 연결을 수행하는 것을 포함한다. 최초 통신 연결인 경우, 디바이스들 간의 페어링(pairing)과정이 수행될 수 있다. 페어링 과정에서 보안을 위해 핀 코드(또는 비밀 번호) 입력이 요구될 수 있으나, 자동으로 페어링이 이루어지는 것도 가능하다. 페어링 이후 디바이스들이 서로 연결되어 정보를 주고 받을 수 있게 된다. 또한, 제어 디바이스(200)는 등록 가능한 디바이스를 등록하기 위한 사용자 입력이 수신되면 등록 가능한 디바이스로부터 디바이스 정보를 수신하고, 수신된 디바이스 정보에 기초한 등록 요청을 서버(300)에 전송할 수 있다.
제어 디바이스(200)는 영상 내에서 식별된 등록 가능한 디바이스가 복수 개이고, 상기 복수의 디바이스를 등록하기 위한 사용자 입력이 수신되면, 상기 복수의 등록 가능한 디바이스로부터 순차적으로 디바이스 정보를 수신하여 상기 수신된 디바이스 정보에 기초한 등록 요청을 서버(300)에 전송할 수 있다.
영상 내에서 식별된 등록 가능한 디바이스가 복수 개이고, 복수의 등록 가능한 디바이스가 제어 가능한 디바이스로 등록된 경우, 등록된 복수의 디바이스를 제1 그룹으로 지정할 수 있다. 따라서, 한 장소 안에 있는 디바이스들을 하나의 그룹으로 손쉽게 지정할 수 있다. 다른 장소에 가서 촬영 및 등록을 하게 되면, 새로운 그룹이 자동으로 생성될 수 있다. 그룹 이름은 제1 그룹, 제2 그룹과 같은 명칭으로 생성될 수 있고, 또는 촬영된 장소에 대한 영상 분석을 통해 어떤 장소인지를 식별하여, 해당 장소에 맞는 명칭으로 생성될 수 있다. 예컨대, 거실, 주방 등과 같은 이름으로 그룹 명칭이 생성될 수 있다.
제어 디바이스(200)는 특정 그룹의 상태를 체크하기 위한 사용자 입력이 수신되면, 그 그룹의 등록된 복수의 디바이스들을 촬영한 영상 및 상기 등록된 복수의 디바이스의 상태에 대한 정보를 포함하는 UI를 제공할 수 있다.
등록 이후, 제어 디바이스(200)는 등록된 디바이스를 제어할 수 있다. 피제어 디바이스(100)가 등록된 경우, 제어 디바이스(200)는 피제어 디바이스(100)로 각종 제어 신호를 전송할 수 있다.
본 개시의 일 실시 예에 따르면, 기 설정된 사용자 입력이 수신되면, 제어 디바이스(200)는 촬영된 영상과 그 안에 등록된 디바이스를 나타내는 그래픽 오브젝트를 포함하는 UI(User interface)를 표시할 수 있고, 이 UI를 통해 등록된 디바이스를 선택하는 사용자 입력이 수신되면, 제어 디바이스(200)는 등록된 디바이스를 제어하기 위한 UI를 표시할 수 있다.
한편, 제어 디바이스(200)는 서버(300)로부터 등록된 디바이스에 대한 상태 정보가 수신되면, 등록된 디바이스가 포함되어 촬영된 영상과 함께 상태 정보를 표시할 수 있다. 따라서, 사용자는 자신이 직접 촬영한 영상을 바탕으로, 디바이스의 상태 정보를 확인할 수 있으므로, 상태 정보가 지시하는 디바이스가 어떤 것인지 직관적으로 알 수 있게 된다.
도 4는 본 개시의 일 실시 예에 따른 등록 절차를 설명하기 위한 시퀀스도이고, 도 5 내지 도 19를 참고하여 등록 절차의 각 단계와 등록 이후의 동작들에 대해 설명하도록 한다.
도 4 를 참고하면, 사용자는 제어 디바이스(200)에서 스마트 제어 애플리케이션을 실행한다(S41). 스마트 제어 애플리케이션은 미리 임베디드된 것이거나, 또는 Google Play™, Samsung Apps™와 같은 애플리케이션 스토어에서 다운로드 가능하다. 도 5는 제어 디바이스(200)에서 스마트 제어 애플리케이션이 실행되었을 때 표시되는 UI(User Interface)의 일 예를 도시한 것이다.
그리고 제어 디바이스(200)는 사용자 ID 및 패스워드 또는 생채 정보(지문, 홍채, 음성 등)과 같은 로그인 정보를 이용하여 서버(300)에 로그인할 수 있다(S43). 일 실시 예에 따르면, 서버(300)에 로그인하기 위해 사용자는 매번 사용자 ID 및 패스워드를 입력할 것을 요구 받을 수 있다. 또 다른 실시 예에 따르면, 스마트 제어 애플리케이션이 실행되면 자동으로 로그인이 수행될 수 있다.
그리고 제어 디바이스(200)는 외부 디바이스를 등록하기 위한 사용자 입력을 수신할 수 있다(S45). 예컨대, 사용자는 도 5에 도시한 UI에서 외부 디바이스를 등록하기 위한 UI 요소(510)을 선택할 수 있다.
외부 디바이스를 등록하기 위한 사용자 입력이 수신되면, 제어 디바이스(200)의 카메라를 통해 촬영을 수행하여 영상을 획득한다(S47). 예컨대, 도 5의 UI 요소(510)가 선택되면, 도 6에 도시한 바와 같이 제어 디바이스(200)의 카메라를 통해 촬영을 수행할 수 있다. UI 요소(510)를 선택하는 방식 이외에도, 등록 가능한 디바이스로부터 신호가 수신되면 팝업 메시지 형태로 등록을 유도하는 UI가 자동으로 표시될 수 있고, 이 UI가 선택되면 도 6에 도시한 바와 같이 제어 디바이스(200)의 카메라를 통해 촬영을 수행할 수 있다.
그리고, 제어 디바이스(200)는 촬영된 영상 내에 포함된 적어도 하나의 디바이스 중 등록 가능한 디바이스를 식별할 수 있다(S49). 제어 디바이스(200)가 촬영한 영상에 피제어 디바이스(100)가 포함되어 있다고 가정하고 설명하도록 한다.
피제어 디바이스(100)는 블루투스, Zigbee, Z-wave등의 무선통신 방법으로 신호를 전송할 수 있고, 이를 수신한 제어 디바이스(100)는 피제어 디바이스(100)의 존재를 인식할 수 있다.
본 개시의 일 실시 예에 따르면, 피제어 디바이스(100)는 소프트 AP 방식의 통신 프로토콜을 지원할 수 있다. 피제어 디바이스(100)는 소프트 AP 기능을 실행하여 주기적으로 비콘(Beacon)을 송신할 수 있다. 비콘은 피제어 디바이스(100)가 자신의 존재를 주변에 알려서 주변 디바이스가 자신을 감지하고 상호 교신에 참여할 수 있게 하기 위한 신호이다. 비콘은 피제어 디바이스(100)의 SSID (Service Set Identifier), 비콘 주기(Beacon Interval), 능력 정보(Capability Information) 등을 포함할 수 있으며, 공급자 특정(Vendor Specific) 필드를 이용하여 다양하게 표현될 수 있다.
소프트 AP 기능은 수동 또는 자동으로 실행될 수 있다. 수동으로 실행되는 실시 예에 따르면 예컨대, 사용자가 피제어 디바이스(100)에 마련된 버튼 등을 누름으로써 소프트 AP 기능이 실행될 수 있다. 자동으로 실행되는 실시 예에 따르면 피제어 디바이스(100)는 자신이 미등록된 상태이면 소프트 AP 기능을 자동으로 실행할 수 있다. 예를 들어 사용자가 피제어 디바이스(100)를 구입하여 전원을 연결하면 피제어 디바이스(100)는 자동으로 소프트 AP 기능을 실행시킬 수 있다. 또 다른 실시 예에 따르면, 제어 디바이스(200)가 피제어 디바이스(100)의 소프트AP 기능을 실행시키는 것도 가능하다. 예컨대, 제어 디바이스(200)는 소프트 AP 기능 실행을 위한 신호(IR 신호, 초음파 신호 등)를 피제어 디바이스(100)에 전송할 수 있다.
본 개시의 일 실시 예에 따르면 피제어 디바이스(100)가 송신하는 비콘에 포함된 SSID는 피제어 디바이스가 어떤 장치인지를 인식할 수 있게 하는 문자열을 포함할 수 있고 개별 디바이스 별로 또는 동일한 모델의 디바이스 별로 고유하게 할당될 수 있다. SSID는 필요한 경우, 동적으로 할당될 수 있으며, 애플리케이션을 통하여 일정한 규칙(rule)을 이용해 할당될 수도 있다. 피제어 디바이스(100)가 예컨대 스마트 홈 디바이스인 경우, SSID는 스마트 홈 디바이스임을 나타내는 인디케이터인 SHP(Smart Home Protocol), 디바이스의 종류, 생산일, 버전 등을 기초로 생성될 수 있다. 예를 들어, 피제어 디바이스(100)가 스마트 홈 기능을 지원하는 TV이고 2018년에 생산된 경우, 피제어 디바이스(100)의 SSID는 "SHP.TV.2018" 와 같이 구성될 수 있다.
한편, 제어 디바이스(200)는 촬영 단계(S47)에서 촬영된 영상을 분석하여 영상 내에 어떤 종류의 디바이스가 포함되어 있는지 식별할 수 있다. 그리고 제어 디바이스(200)는 영상 내에 포함되어 있는 디바이스 중에서, 외부 디바이스로부터 수신된 신호에 포함된 디바이스 정보에 대응되는 디바이스를, 등록 가능한 디바이스로서 식별할 수 있다. 예컨대, 촬영된 영상을 분석하여 영상 내에 TV인 피제어 디바이스(100)가 포함되어 있고, "SHP.TV.2018"라는 SSID를 포함한 신호가 피제어 디바이스(100)로부터 수신되는 경우, 제어 디바이스(200)는 촬영된 영상 내에서 TV가 등록 가능한 디바이스라고 식별할 수 있다.
본 개시의 일 실시 예에 따르면, 동일 종류의 디바이스가 여러 대인 경우에 각각을 식별할 수 있다. 예컨대, 한 가정 내에 여러 대의 TV가 있을 수 있다. 도 6을 참고하여 설명하자면, 거실을 촬영된 영상 내에서는 TV가 한대 이지만, 안방에도 다른 TV가 있을 수 있다. 이러한 경우에 있어서, 촬영된 영상 내에 있는 TV가, 거실에 있는 TV로부터 수신되는 신호에 대응되는 TV인지, 아니면 안방에 있는 TV로부터 수신되는 신호에 대응되는 TV인지 판단이 필요하다.
이를 위해, 본 개시의 일 실시 예에 따르면, 영상 분석을 통해 파악된 디바이스의 형상을 바탕으로 동일 종류의 디바이스들을 구분할 수 있다. 즉, 디바이스들은 제조사마다, 또는 동일 제조사라 하더라도 모델마다 서로 다른 디자인을 가지므로, 이를 구별하는 것이다.
예컨대, 도 6을 참고하여 설명하자면, 미리 마련된 다양한 제품의 이미지들과의 비교 작업을 통해, 촬영된 영상 내의 TV가 SAMSUNG의 모델명 "UN65NU7400F-S" 제품이라고 식별할 수 있다. 그리고 제어 디바이스(200)가 거실의 TV로부터 모델명 "UN65NU7400F-S"에 대응되는 정보를 포함한 신호를 수신하고, 안방의 TV로부터 상기 모델명과는 다른 모델명"QN75Q9FAMFN"에 대응되는 정보를 포함한 신호를 수신하였다면, "UN65NU7400F-S"에 대응되는 정보를 포함한 신호를 전송한 거실의 TV와, 촬영된 영상 내의 TV를 매칭시킬 수 있다.
본 개시의 또 다른 실시 예에 따르면, 제어 디바이스(200)는 외부 디바이스들로부터 수신되는 신호를 바탕으로 제어 디바이스(200)와 외부 디바이스들의 거리, 제어 디바이스(200)를 기준으로 외부 디바이스들이 배치된 방향 등을 판단할 수 있고, 이와 같은 디바이스들의 위치를 기반으로, 촬영된 영상 내의 디바이스가 실제 어떤 디바이스에 대응되는지 식별할 수 있다.
일 실시 예에 따르면, 제어 디바이스(200)는 복수의 안테나를 포함하고, 복수의 안테나를 통해 수신되는 신호의 진폭, 위상, 수신 시간 등을 비교해서 신호를 전송하는 디바이스의 방향을 판단할 수 있다. 예를 들어, 도 6을 참고하여 설명하면, 촬영된 영상 안에 있는 거실의 TV는 제어 디바이스(200)를 기준으로 왼쪽 방향에 있고, 보이진 않지만 안방의 TV는 제어 디바이스(200)를 기준으로 오른쪽에 있을 때, 제어 디바이스(200)는 거실의 TV와 안방의 TV로부터 수신되는 신호를 바탕으로 각각이 어느 방향에 위치하고 있는지 판단하여, 영상에서 왼쪽에 위치하고 있는 TV가 거실의 TV로부터 수신되는 신호에 대응되는 TV라고 인식할 수 있다.
한편, 본 개시의 또 다른 실시 예에 따르면, 제어 디바이스(200)는 복수의 안테나를 이용하여 수신된 외부 디바이스들로부터의 신호를 바탕으로 외부 디바이스들의 상대적 위치를 식별하고, 영상 내의 디바이스들의 상대적 위치를 식별해서, 양자를 비교하여 등록 가능한 디바이스를 식별할 수 있다.
예를 들어, 도 6을 참고하여 설명하면, 제어 디바이스(200)는 영상 분석을 통해 TV 오른쪽에 에어컨, 에어컨 오른쪽에 천장등, 천장등 오른쪽에 스탠드가 있음을 식별할 수 있고, 외부 디바이스들로부터 수신되는 신호의 세기, 위상차 등을 바탕으로 신호들을 전송하는 장치들의 상대적 위치를 파악할 수 있다. 그리고 제어 디바이스(200)는 영상 분석을 통해 파악된 상대적 위치와, 신호를 바탕으로 파악된 상대적 위치를 비교해서 영상 내 디바이스들과 이들이 전송하는 신호를 매칭시킬 수 있다.
제어 디바이스(200)는 등록 가능한 디바이스가 식별되었으면, 촬영된 영상 내에 등록 가능한 디바이스를 나타내는 그래픽 오브젝트를 표시할 수 있다(S51). 등록 가능한 디바이스가 복수 개 이면 복수 개 디바이스 각각을 나타내는 그래픽 오브젝트가 표시될 수 있다.
그래픽 오브젝트는 촬영된 영상에서 등록 가능한 디바이스가 무엇인지를 식별가능하게 하는 형태이면 어떠한 형태라도 가능하다. 예컨대 도 7에 도시한 바와 같이, 제어 디바이스(200)는 촬영된 영상(710)내에서 등록 가능한 디바이스들이 어떤 것인지를 나타내기 위해, TV, Air conditioner, Ceiling light, Floor stand, Outlet 과 같은 텍스트(71) 및 인디케이터(73)를 표시할 수 있다. 한편, 너무 작아 잘 보이지 않는 디바이스의 경우에, 그 디바이스에 대한 대표 이미지(711)가 표시될 수 있다. 사용자는 대표 이미지(711)를 드래그하여 위치를 이동시키는 등과 같은 편집을 할 수 있다. 또한, 실제 디바이스가 촬영된 이미지들도 편집 및 이동이 가능한 오브젝트로 취급되어 배경과 구분되어 저장될 수 있다. 예컨대, 영상(710)에 포함된 TV 이미지가 사용자 드래그를 통해 이동될 수 있다. 또한 사용자는 영상(710) 내에서 오브젝트의 이름을 편집할 수도 있다. 예컨대, 텍스트 "TV"(71)는 "나의 TV"로 명칭 변경될 수 있다.
한편, 본 개시의 또 다른 실시 예에 따르면, 촬영 기능 미실행 시, 등록 가능한 디바이스들의 대표 이미지를 제공할 수 있다. 예컨대 제어 디바이스(200)는 외부 디바이스들로부터 수신된 신호에 포함된 외부 디바이스들에 대한 정보 또는, 외부 디바이스들이 동일 망 내의 AP(400)에 연결되어 있는 경우 AP(400)로부터 수신한 외부 디바이스들에 대한 정보를 서버(300)에 전송할 수 있다. 그리고 제어 디바이스(200)는 서버(300)로부터 외부 디바이스들에 대한 정보(기기군, 기기명, 대표 이미지 등)를 수신할 수 있다. 그리고 제어 디바이스(300)는 예컨대 도 8에 도시한 것과 같이, 서버(300)로부터 수신한 대표 이미지들을 바탕으로 등록 가능한 디바이스들을 시각화할 수 있다. 본 실시 예의 경우, 대표 이미지들의 배치는 외부 디바이스들의 실제 위치에 근거하여 결정될 수 있다. 예컨대, 제어 디바이스(200)는 외부 디바이스들로부터 수신된 신호 세기, 위상차 등을 바탕으로 외부 디바이스들의 위치를 파악할 수 있고, 파악한 위치에 근거하여 대표 이미지들을 배열할 수 있다.
제어 디바이스(200)는 영상(710)내에 등록 가능한 디바이스들로 식별된 디바이스들과 각 디바이스로부터 수신되는 신호에 포함된 정보를 연관시켜 저장할 수 있다. 예컨대, 제어 디바이스(200)는 영상(710)내에서 식별된 TV와 실제 그 TV로부터 수신되는 SSID "SHP.TV.2018"를 대응시키고, 영상(710)내에서 식별된 에어컨과 실제 그 에어컨으로부터 수신되는 SSID "SHP.Airconditioner.2018"를 대응시키는 등 이와 같이 대응 관계를 설명하는 룩업 테이블을 생성하여 저장할 수 있다.
이후, 제어 디바이스(200)는 영상 내에서 등록 가능한 디바이스로 식별된 디바이스들을 등록하기 위한 사용자 입력을 수신한다(S53). 예컨대, 사용자는 도 7 또는 도 8의 UI 요소(713)를 선택할 수 있다. 이 경우, 촬영 영상(710)에 포함된 등록 가능한 디바이스들 모두에 대해서 등록 절차가 수행될 수 있다. 한편, 또 다른 실시 예에 따르면, 별도로 등록을 위한 UI 요소를 선택하지 않더라도, 촬영을 위한 UI 요소(61)를 선택하는 것만으로도 등록 절차가 수행될 수 있다. 즉, 등록 가능한 디바이스들을 촬영하는 것만으로도 자동으로 등록이 진행될 수 있다.
한편, 그래픽 오브젝트(71, 73)나 등록을 위한 UI 요소(713) 등은 촬영을 위한 UI 요소(61)가 선택되고 나서 표시될 수 있고, 또는, 촬영 버튼이 선택되기 전 상태인 촬영 프리뷰 상황에서 표시되는 것도 가능하다. 즉, 제어 디바이스(200)는 촬영 프리뷰 상태에서 제어 디바이스(200)를 통해 보여지는 촬영 화면을 실시간으로 분석해서 등록 가능한 디바이스들을 식별해낼 수 있다. 예컨대, 도 6과 같은 상황에서 사용자가 제어 디바이스(200)를 오른쪽으로 움직이면 촬영 영상에서 TV는 사라지게 되므로 TV를 나타내는 그래픽 오브젝트도 함께 사라질 수 있다.
본 개시의 실시 예에 따르면, 사용자는 등록할 디바이스를 선택한 후 등록을 진행할 수 있다. 예컨대, 도 9를 참고하여 설명하면, 등록 가능한 디바이스들에 대한 선택 또는 선택 해제가 가능하다. 선택된 상태와 미선택된 상태는 서로 구분되게 표시될 수 있다. 예컨대, 사용자가 촬영 영상(710) 내에서 TV와 스탠드(Floor stand)를 선택하면, 선택된 디바이스들에 대한 인디케이터들(91, 93)에는 미선택된 디바이스들의 인디케이터와는 다르게 체크 표시가 표시될 수 있다. 촬영 영상(710) 내에서 TV와 스탠드(Floor stand)가 선택된 상태에서 사용자가 등록하기 위한 UI 요소(713)를 선택하면, TV와 스탠드(Floor stand)에 대해서만 등록 절차가 진행될 수 있다.
이하에선 촬영된 영상(710)에서 등록 가능한 디바이스로 식별된 TV, 에어컨(Air conditioner), 천장등(Ceiling light), 스탠드 등(Floor stand), 콘센트(Outlet)를 일괄적으로 등록할 것을 요청하는 사용자 입력이 수신된 경우에 있어서 등록 절차의 일 실시 예를 설명하도록 한다.
먼저, 제어 디바이스(200)는 TV, 에어컨(Air conditioner), 천장등(Ceiling light), 스탠드 등(Floor stand), 콘센트(Outlet) 중 어느 하나의 디바이스, 예컨대 TV(피제어 디바이스(100))와 통신 연결을 수행한다(S55).
통신 연결은, 디바이스들 간의 페어링 과정을 포함할 수 있다. 페어링 과정에서 보안을 위해 핀 코드(또는 비밀 번호) 입력이 요구될 수 있으나, 자동으로 페어링이 이루어지는 것도 가능하다. 제어 디바이스(200)는 TV, 에어컨(Air conditioner), 천장등(Ceiling light), 스탠드 등(Floor stand) 및 콘센트(Outlet)와 동시에 페어링될 수 있다. 그리고 상호 정보를 주고 받기 위한 연결은 각 디바이스 별로 순차적으로 수행될 수 있다.
소프트 AP 기능을 이용하는 본 개시의 일 실시 예에 따르면, 피제어 디바이스(100)는 소프트 AP로서 동작하고 있기 때문에 마치 AP처럼 제어 디바이스(200)의 접속을 허용할 수 있다.
소프트 AP 방식 이외에도 Wi-Fi P2P 통신 방식, BLE(Bluetooth Low Energy), 블루투스, 직비(ZigBee), RF (Radio Frequency) 통신, Z-wave 등의 다양한 통신 방식을 통하여 피제어 디바이스(100)와 제어 디바이스(200)가 연결될 수 있다.
피제어 디바이스(100)와 제어 디바이스(200)가 통신 연결되면, 제어 디바이스(200)는 기 저장된 엑세스 포인트(AP)(400)에 대한 정보를 피제어 디바이스(100)로 전송할 수 있다(S57). 제어 디바이스(200)는 AP(400)와 연결된 적이 있기 때문에, AP(400)에 대한 정보를 저장하고 있다. AP(400)에 대한 정보는 예컨대 AP(400)의 SSID 및 보안 타입(securityType), 암호화 타입(encryptionType), 보안 키(securityKey) 등을 포함할 수 있다.
피제어 디바이스(100)는 제어 디바이스(200)로부터 전송된 AP(400)에 대한 정보를 이용하여 AP(400)에 접속할 수 있다(S59). 그리고 피제어 디바이스(100)는 AP(400)로부터 IP 주소를 할당 받는다(S61). 이로써, 피제어 디바이스(100)는 AP(400)를 통하여 서버(300)와 같은 외부 장치와 통신할 수 있게 된다.
그리고 피제어 디바이스(100)는 할당 받은 IP 주소와 피제어 디바이스(100)의 식별 정보를 포함한 등록 요청 메시지를 제어 디바이스(200)에 전송할 수 있다(S63). 피제어 디바이스(100)의 식별 정보는 타 장치가 피제어 디바이스(100)를 식별할 수 있도록 하기 위한 정보로서, 예컨대 타입(type), 이름(name), 디스크립션(description), 제조사(manufacturer), 모델 ID, 시리얼 번호(serialNumber), 판매 지역(salesLocation), 버전(versions) 등을 포함할 수 있다.
제어 디바이스(200)는 피제어 디바이스(100)로부터 수신된 정보를 등록한다(S65). 피제어 디바이스(100)로부터 수신된 정보는 피제어 디바이스(100)의 등록 요청(S67)에 사용될 수 있다.
이후, 도시되지 않았지만 제어 디바이스(200)는 피제어 디바이스(100)와의 연결을 끊고, AP(400)와 연결할 수 있다.
그리고 제어 디바이스(200)는 피제어 디바이스(100)를 등록해줄 것을 요청하는 등록 요청 메시지를 서버(300)로 전송할 수 있다(S67). 이때 전송되는 등록 요청 메시지는 피제어 디바이스(100)의 식별 정보를 포함할 수 있고, 추가로 제어 디바이스(200)의 설치 위치에 대한 정보를 포함할 수 있다.
서버(300)는 제어 디바이스(200)로부터 수신한 등록요청 메시지를 기초로 로그인된 사용자의 계정에 피제어 디바이스(100)를 등록할 수 있다(S69).
상술한 것과 같은 방식으로 나머지 디바이스들인 에어컨(Air conditioner), 천장등(Ceiling light), 스탠드 등(Floor stand), 콘센트(Outlet)에 대한 등록도 순차적으로 수행될 수 있다.
이와 같은 등록 절차 동안, 제어 디바이스(200)에서는 등록이 진행 중임을 알리는 UI가 제공될 수 있다. 예컨대 제어 디바이스(200)는 도 10에 도시한 바와 같은 UI를 제공할 수 있다.
등록이 모두 완료되면 제어 디바이스(200)는 등록이 완료되었음을 나타내는 UI를 제공할 수 있다.
TV, 에어컨(Air conditioner), 천장등(Ceiling light), 스탠드 등(Floor stand), 콘센트(Outlet)에 대한 일괄 등록이 완료되면, 제어 디바이스(200)는 등록된 디바이스들을 하나의 그룹으로 지정할 수 있다. 즉, 한 촬영 영상 안에 있는 디바이스들은 같은 그룹으로 지정될 수 있다. 종래 기술에 따르면 디바이스마다 개별적으로 그룹을 지정해야 했지만, 본 실시 예에 따르면 촬영을 하는 것만으로 여러 디바이스를 하나의 그룹으로 지정할 수 있다는 장점이 있다.
본 개시의 일 실시 예에 따르면, 사용자가 그룹 이름을 수동으로 지정할 수 있고, 또는 그룹 이름은 자동으로 생성될 수 있다. 일 실시 예에 따르면, 제어 디바이스(200)는 촬영된 영상에 대한 영상 분석을 통해 거실인지, 주방인지 등 어떤 장소인지를 식별할 수 있고, 식별된 장소의 이름을 그룹 이름으로 결정할 수 있다. 제어 디바이스(200)는 그룹된 디바이스들을 포함한 UI를 제공할 수 있다. 도 11은 그룹명이 "Living room"으로 지정된 경우를 도시한 것이다. 자동으로 생성된 그룹 이름에 대해서 사용자가 추후 편집하는 것도 가능하다. 제어 디바이스(200)는 등록된 디바이스들을 나타내는 그래픽 오브젝트 및 그룹명을 포함한 UI(1110)를 표시할 수 있다. 이 그룹 "Living room"에 대한 UI(1110)는 제어 디바이스(200) 또는 서버(300) 등에 저장되어 있다가 추후 사용자 요청에 따라 불려올 수 있고, "Living room" 그룹 내 속한 디바이스들의 상태 정보 보기, 제어를 위해 활용될 수 있다.
도 12는 사용자가 주방을 촬영하여 디바이스들을 등록하는 상황을 도시한 것으로서, 주방을 촬영하면, 주방 내 등록 가능한 디바이스들이 제어 가능한 디바이스들로 등록되고, 등록된 디바이스들에 대한 그룹 "Kitchen"이 생성될 수 있다. 그룹 "Kitchen"에 대한 UI(1210)는 "Kitchen" 그룹 내 속한 디바이스들의 상태 정보 보기, 제어를 위해 활용될 수 있다.
이와 같이 그룹을 생성함으로써, 그룹별로 디바이스 관리가 가능하고, 그룹 내 디바이스들에 대한 일괄 제어가 가능하다. 예컨대, 도 13에 도시한 바와 같이 그룹별 디바이스들의 리스트 UI가 제공될 수 있는데, "Kitchen"그룹(1310)과 "Living room" 그룹(1320)으로 구분하여 각 그룹에 속한 디바이스들의 상태 표시 및 제어를 위한 메뉴를 제공할 수 있다. 그리고 제어 디바이스(200)는 그룹 보기를 위한 UI 요소(1311, 1321)를 제공할 수 있다. 예컨대, UI 요소(1311)가 선택되면, 제어 디바이스(200)는 도 12에 도시한 것과 같은 그룹 "Kitchen"에 대한 UI(1210)를 제공할 수 있다. 그리고 UI 요소(1321)가 선택되면, 제어 디바이스(200)는 도 11 또는 도 18에 도시한 것과 같은 그룹 "Living room"에 대한 UI(1110)를 제공할 수 있다. 그룹에 대한 UI를 활용하여 기기를 제어하는 실시 예에 대해선 이하 도 18 내지 도 19를 참고하여 설명하도록 한다.
도 14는 등록된 디바이스와 등록되지 않은 디바이스가 같이 있는 환경에 관한 일 실시 예를 설명하기 위한 도면이다.
도 14를 참고하면, 이미 냉장고(Refrigerator)와 식기세척기(Dish Washer)는 등록되어 있고, 오븐(Oven)은 등록되어 있지 않은 경우, 오븐은 냉장고와 식기세척기와는 다르게 표시될 수 있다. 예컨대, 도 14에 도시한 것처럼 냉장고, 식기세척기에 대해선 원형 그래픽 오브젝트가 표시되고 오븐에 대해선 별 형태의 그래픽 오브젝트(1410)가 표시될 수 있다. 사용자가 등록을 위한 UI(1420)을 선택하면, 오븐(Oven)에 대한 등록이 수행될 수 있다.
도 15 내지 도 16은 상태 알림에 관한 본 개시의 일 실시 예를 설명하기 위한 도면이다.
도 15를 참고하면, 서버(300)로부터 등록된 디바이스에 대한 상태 정보가 수신되면, 제어 디바이스(200)는 도 15에 도시한 것과 같이 알림 메시지(1510)를 표시할 수 있다. 이러한 알림 메시지(1510)는 제어 디바이스(200)가 잠금 상태, 잠금 해제 상태에서 모두 제공될 수 있다. 사용자가 알림 메시지(1510)를 선택하면, 제어 디바이스(200)는 수신된 상태 정보에 대응하는 디바이스를 포함하고 있는 그룹에 대한 UI를 검색하여 도 16에 도시한 바와 같이 제공할 수 있다. 즉, 상태 정보에 대응하는 디바이스인 에어컨이 포함된, "Living room"그룹에 대한 UI를 표시하면서 상태 정보(1620)도 함께 표시할 수 있다. 이 경우, 어떤 디바이스에 대한 상태 정보인지를 좀 더 명확히 나타내기 위해 디바이스를 지칭하기 위한, 예컨대 도 16에 도시한 점선과 같은 그래픽 오브젝트(1610)도 표시할 수 있다.
한편, 알림 메시지(1510)의 선택 과정을 거치지 않더라도, 서버(300)로부터 디바이스의 상태 정보가 수신되면 바로 도 16와 같은 UI가 제공되는 것도 가능하다.
또한, 제어 디바이스(200)는 등록된 디바이스들의 상태정보를 한 눈에 확인할 수 있는 UI를 제공할 수 있다. 예컨대, 도 17에 도시한 바와 같이, "Living room"그룹에 대한 UI에 각 기기들의 상태 정보 UI 요소(1710, 1720, 1730, 1740)를 제공할 수 있다. 상태 정보 UI 요소들은 해당 기기 근처에 표시될 수 있다.
일 실시 예에 따르면, 상태 정보 UI 요소에서는 간략한 정보가 제공되고, 상태 정보 UI 요소를 선택하면, 상세 정보가 제공될 수 있다. 예컨대, 사용자가 스탠드에 대한 상태 정보 UI요소(1740)를 선택하면, 제어 디바이스(200)는 스탠드의 밝기, 스탠드에 포함된 LED의 개수, LED의 잔여 수명 등에 대한 상세 정보를 표시할 수 있다.도 18 내지 도 19는 등록된 디바이스들을 포함하는 UI를 활용하여 디바이스를 제어하는 일 실시 예를 설명하기 위한 도면이다.
도 18을 참고하면, 제어 디바이스(200)는 등록된 디바이스들을 나타내는 그래픽 오브젝트를 포함하는 UI(1110)를 제공할 수 있다. 본 영상은 앞서 도 13에서 설명한 그룹 보기를 위한 UI 요소(1321)의 선택에 따라 제공될 수 있으나 이에 한정되는 것은 아니다.
UI(1110)에서 사용자가 특정 디바이스를 선택하면, 제어 디바이스(200)는 해당 디바이스를 제어할 수 있는 UI 화면을 제공할 수 있다. 예컨대, 도 18에 도시한 것처럼 사용자가 영상 내에서 TV를 선택하면, 도 19에 도시한 바와 같이 제어 디바이스(200)는 TV를 제어할 수 있는 UI를 제공할 수 있다. 디바이스를 제어하기 위한 UI는 도 19에 도시한 것처럼 도 18의 UI(1110)와는 별도의 화면으로 제공될 수 있고, 또는 도 18의 UI(1110) 내에 제공될 수도 있다. 이 경우, 예컨대 도 18의 UI(1110) 내의 TV가 위치한 곳 주변에 TV를 제어하기 위한 UI가 제공될 수 있다.
상술한 실시 예들에 따르면, 사용자가 디바이스 등록을 좀 더 직관적으로 용이하게 할 수 있다. 종래에는 등록 가능한 디바이스들의 이름을 리스트 형태로만 제공하여, 사용자가 리스트에 포함된 디바이스 명칭이 실제 어떤 디바이스와 대응되는 것인지를 파악하기 곤란하였고, 또한 리스트 이름들이 서로 비슷하여 더욱 구분이 어려웠으나, 상술한 본 개시의 실시 예들에 따르면 촬영된 영상을 통해 직관적으로 디바이스들을 식별할 수 있고, 디바이스들끼리 구별이 쉽다.
이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합으로 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
본 개시의 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장될 수 있는 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기(machine)는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들의 제어 디바이스(200)를 포함할 수 있다.
이러한 명령어가 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령어에 해당하는 기능을 수행할 수 있다. 명령어는 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 예컨대, 저장매체에 저장된 명령어가 프로세서에 의해 실행됨으로써, 상술한 제어 디바이스(200)의 제어방법이 실행될 수 있다. 일 예로, 저장매체에 저장된 명령어가 기기(또는 전자 장치)의 프로세서에 의해 실행됨으로써, 외부 디바이스를 등록하기 위한 사용자 입력이 수신되면 기기의 카메라를 통해 촬영을 수행하여 영상을 획득하는 단계, 외부 디바이스로부터 수신되는 신호를 바탕으로 상기 영상 내에 포함된 적어도 하나의 디바이스 중 등록 가능한 디바이스를 식별하는 단계, 상기 영상 내에 상기 등록 가능한 디바이스를 나타내는 그래픽 오브젝트를 표시하는 단계 및 상기 등록 가능한 디바이스를 등록하기 위한 사용자 입력이 수신되면 상기 등록 가능한 디바이스를 제어 가능한 디바이스로 등록하는 단계를 포함하는 제어방법이 수행될 수 있다.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어™, 앱스토어™)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100: 피제어 디바이스 200: 제어 디바이스
300: 서버 400: 엑세스 포인트

Claims (20)

  1. 전자 장치의 제어방법에 있어서,
    적어도 하나의 외부 디바이스를 등록하기 위한 사용자 입력이 수신되면, 상기 전자 장치의 카메라를 통해 복수의 외부 디바이스를 포함하는 영상을 촬영하는 단계;
    상기 복수의 외부 디바이스 중에서 상기 적어도 하나의 외부 디바이스의 종류에 대한 정보를 획득하는 단계;
    상기 적어도 하나의 외부 디바이스로부터 상기 적어도 하나의 외부 디바이스의 정보를 수신하는 단계;
    상기 수신된 적어도 하나의 외부 디바이스의 정보 및 상기 촬영된 영상으로부터 획득된 상기 적어도 하나의 외부 디바이스의 종류에 대한 정보에 기초하여 상기 영상 내에 포함된 상기 복수의 외부 디바이스 중 적어도 하나의 등록 가능한 외부 디바이스를 식별하는 단계;
    상기 영상 내에 상기 복수의 외부 디바이스 중에서 상기 식별된 적어도 하나의 등록 가능한 외부 디바이스에 적어도 하나의 그래픽 오브젝트를 표시하는 단계; 및
    상기 적어도 하나의 그래픽 오브젝트를 선택하는 사용자 입력이 수신되면, 상기 선택된 적어도 하나의 그래픽 오브젝트에 대응되는 적어도 하나의 등록 가능한 외부 디바이스를 상기 전자 장치에 등록하는 단계;를 포함하고,
    상기 식별하는 단계는,
    영상 분석을 통해 상기 영상에 포함되어 있는 상기 복수의 외부 디바이스의 제1 상대적인 위치를 식별하는 단계;
    상기 복수의 외부 디바이스로부터 수신된 신호의 세기 및 위상차를 바탕으로 상기 복수의 외부 디바이스의 제2 상대적인 위치를 식별하는 단계;
    상기 제1 상대적인 위치와 상기 제2 상대적인 위치를 비교하는 단계; 및
    상기 비교 결과에 기초하여 상기 제1 상대적인 위치가 상기 제2 상대적인 위치에 대응되는 적어도 하나의 디바이스를 상기 적어도 하나의 등록 가능한 외부 디바이스로 식별하는 단계;를 포함하며,
    상기 적어도 하나의 그래픽 오브젝트는 상기 적어도 하나의 등록 가능한 외부 디바이스가 상기 전자 장치에 등록될 수 있다는 것을 나타내는 제어방법.
  2. 제1항에 있어서,
    상기 전자 장치에 등록된 적어도 하나의 외부 디바이스에 대한 상태 정보를 서버로부터 수신하면, 상기 영상과 상기 상태 정보를 함께 표시하는 단계;를 더 포함하는 제어방법.
  3. 제1항에 있어서,
    상기 적어도 하나의 등록된 외부 디바이스를 제어하는 UI(User interface)를 표시하는 단계; 및
    상기 전자 장치에 등록된 적어도 하나의 외부 디바이스를 제어하는 UI를 통해 사용자 입력이 수신되면, 상기 적어도 하나의 등록된 외부 디바이스를 제어하는 제어 커맨드를 전송하는 단계;를 더 포함하는 제어방법.
  4. 제1항에 있어서,
    상기 적어도 하나의 그래픽 오브젝트를 표시하는 단계는,
    상기 영상 분석을 통해 식별된 상기 적어도 하나의 외부 디바이스의 종류를 바탕으로 상기 적어도 하나의 등록 가능한 외부 디바이스를 나타내는 텍스트를 표시하는 제어방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 적어도 하나의 그래픽 오브젝트를 표시하는 단계는,
    상기 수신된 신호에 포함된 SSID(Service Set Identifier)를 바탕으로 상기 적어도 하나의 등록 가능한 외부 디바이스를 나타내는 텍스트를 표시하는 제어방법.
  7. 제1항에 있어서,
    상기 영상 내에서 식별된 등록 가능한 외부 디바이스가 복수 개이고, 상기 복수의 등록 가능한 외부 디바이스가 제어 가능한 외부 디바이스로 등록되면, 상기 복수의 등록된 외부 디바이스를 제1 그룹으로 지정하는 단계;를 더 포함하는 제어방법.
  8. 제7항에 있어서,
    상기 제1 그룹의 상태를 체크하기 위한 사용자 입력이 수신되면, 상기 영상 및 상기 복수의 등록된 외부 디바이스의 상태에 대한 정보를 포함하는 UI를 제공하는 단계;를 더 포함하는 제어방법.
  9. 제1항에 있어서,
    상기 등록하는 단계는,
    상기 적어도 하나의 등록 가능한 외부 디바이스를 등록하기 위한 사용자 입력이 수신되면 상기 적어도 하나의 등록 가능한 외부 디바이스로부터 디바이스 정보를 수신하고, 상기 수신된 디바이스 정보를 서버에 전송하여 등록하는 제어방법.
  10. 제1항에 있어서,
    상기 등록하는 단계는,
    상기 영상 내에서 식별된 등록 가능한 외부 디바이스가 복수 개이고, 상기 복수의 등록 가능한 외부 디바이스를 등록하기 위한 사용자 입력이 수신되면, 상기 복수의 등록 가능한 외부 디바이스로부터 순차적으로 디바이스 정보를 수신하여 상기 수신된 디바이스 정보에 기초한 등록 요청을 서버에 전송하는 제어방법.
  11. 전자 장치의 프로세서에 의해 실행될 때 상기 전자 장치로 하여금,
    적어도 하나의 외부 디바이스를 등록하기 위한 사용자 입력이 수신되면 상기 전자 장치의 카메라를 통해 복수의 외부 디바이스를 포함하는 영상을 촬영하는 단계;
    상기 복수의 외부 디바이스 중에서 상기 적어도 하나의 외부 디바이스의 종류에 대한 정보를 획득하는 단계;
    상기 적어도 하나의 외부 디바이스로부터 상기 적어도 하나의 외부 디바이스의 정보를 수신하는 단계;
    상기 수신된 적어도 하나의 외부 디바이스의 정보 및 상기 촬영된 영상으로부터 획득된 상기 적어도 하나의 외부 디바이스의 종류에 대한 정보에 기초하여 상기 영상 내에 포함된 상기 복수의 외부 디바이스 중 적어도 하나의 등록 가능한 외부 디바이스를 식별하는 단계;
    상기 영상 내에 상기 복수의 외부 디바이스 중에서 상기 식별된 적어도 하나의 등록 가능한 외부 디바이스에 적어도 하나의 그래픽 오브젝트를 표시하는 단계; 및
    상기 적어도 하나의 그래픽 오브젝트를 선택하는 사용자 입력이 수신되면, 상기 선택된 적어도 하나의 그래픽 오브젝트에 대응되는 적어도 하나의 등록 가능한 외부 디바이스를 상기 전자 장치에 등록하는 단계;를 포함하고,
    상기 식별하는 단계는,
    영상 분석을 통해 상기 영상에 포함되어 있는 상기 복수의 외부 디바이스의 제1 상대적인 위치를 식별하는 단계;
    상기 복수의 외부 디바이스로부터 수신된 신호의 세기 및 위상차를 바탕으로 상기 복수의 외부 디바이스의 제2 상대적인 위치를 식별하는 단계;
    상기 제1 상대적인 위치와 상기 제2 상대적인 위치를 비교하는 단계; 및
    상기 비교 결과에 기초하여 상기 제1 상대적인 위치가 상기 제2 상대적인 위치에 대응되는 적어도 하나의 디바이스를 상기 적어도 하나의 등록 가능한 외부 디바이스로 식별하는 단계;를 포함하며,
    상기 적어도 하나의 그래픽 오브젝트는 상기 적어도 하나의 등록 가능한 외부 디바이스가 상기 전자 장치에 등록될 수 있다는 것을 나타내는 제어방법을 수행하게 하는 컴퓨터 실행가능 명령어(computer executable instructions)를 저장하는 컴퓨터 판독 가능 저장 매체.
  12. 제11항에 있어서,
    상기 제어방법은,
    상기 전자 장치에 등록된 적어도 하나의 외부 디바이스에 대한 상태 정보를 서버로부터 수신하면, 상기 영상과 상기 상태 정보를 함께 표시하는 단계;를 더 포함하는 컴퓨터 판독 가능 저장 매체.
  13. 제11항에 있어서,
    상기 제어방법은,
    상기 적어도 하나의 등록된 외부 디바이스를 제어하는 UI(User interface)를 표시하는 단계; 및
    상기 전자 장치에 등록된 적어도 하나의 외부 디바아스를 제어하는 UI를 통해 사용자 입력이 수신되면, 상기 적어도 하나의 등록된 외부 디바이스를 제어하는 제어 커맨드를 전송하는 단계;를 더 포함하는 컴퓨터 판독 가능 저장 매체.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020180080401A 2018-07-11 2018-07-11 전자 장치의 제어방법 및 컴퓨터 판독 가능 기록매체 KR102484647B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180080401A KR102484647B1 (ko) 2018-07-11 2018-07-11 전자 장치의 제어방법 및 컴퓨터 판독 가능 기록매체
US16/252,078 US11363522B2 (en) 2018-07-11 2019-01-18 Method of controlling electronic apparatus and computer-readable recording medium
EP19152741.5A EP3595277B1 (en) 2018-07-11 2019-01-21 Method of controlling electronic apparatus and computer-readable recording medium
PCT/KR2019/001625 WO2020013413A1 (en) 2018-07-11 2019-02-11 Method of controlling electronic apparatus and computer-readable recording medium
CN201910220997.4A CN110716717B (zh) 2018-07-11 2019-03-22 控制电子设备的方法和计算机可读记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180080401A KR102484647B1 (ko) 2018-07-11 2018-07-11 전자 장치의 제어방법 및 컴퓨터 판독 가능 기록매체

Publications (2)

Publication Number Publication Date
KR20200006707A KR20200006707A (ko) 2020-01-21
KR102484647B1 true KR102484647B1 (ko) 2023-01-04

Family

ID=65234404

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180080401A KR102484647B1 (ko) 2018-07-11 2018-07-11 전자 장치의 제어방법 및 컴퓨터 판독 가능 기록매체

Country Status (5)

Country Link
US (1) US11363522B2 (ko)
EP (1) EP3595277B1 (ko)
KR (1) KR102484647B1 (ko)
CN (1) CN110716717B (ko)
WO (1) WO2020013413A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018200740A2 (en) 2017-04-26 2018-11-01 View, Inc. Tintable window system for building services
US11892738B2 (en) 2017-04-26 2024-02-06 View, Inc. Tandem vision window and media display
EP4145775A1 (en) * 2018-09-24 2023-03-08 Google LLC Controlling a device based on processing of image data that captures the device and/or an installation environment of the device
JP7170212B2 (ja) * 2019-02-04 2022-11-14 パナソニックＩｐマネジメント株式会社 通信装置、通信方法およびコンピュータプログラム
KR20210123859A (ko) * 2020-04-06 2021-10-14 삼성전자주식회사 전자 장치 및 그의 제어 방법
EP3937430B1 (de) * 2020-07-07 2022-12-07 Deutsche Telekom AG Verfahren und system zur erkennung netzwerkfähiger geräte in einem heimnetzwerk
TW202225941A (zh) * 2020-11-03 2022-07-01 美商視野公司 虛擬檢視設施中之裝置
US20230152947A1 (en) * 2021-11-17 2023-05-18 Snap Inc. Point and control object
WO2023238265A1 (ja) * 2022-06-08 2023-12-14 マクセル株式会社 携帯情報端末、無線接続可能な外部デバイス、及びそれらに用いる情報処理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150133051A1 (en) * 2012-04-12 2015-05-14 Telefonaktiebolaget L M Ericsson (Publ) Pairing A Mobile Terminal With A Wireless Device
US20150348403A1 (en) * 2014-05-30 2015-12-03 Qualcomm Incorporated Methods, Smart Objects, and Systems for Naming and Interacting with Smart Objects

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101526963B1 (ko) * 2007-09-19 2015-06-11 엘지전자 주식회사 이동 단말기, 이동 단말기의 데이터 표시 방법, 및 이동단말기의 데이터 편집 방법
JP2011205485A (ja) 2010-03-26 2011-10-13 Panasonic Corp 無線通信機器登録システムおよび無線通信機器登録方法
KR101722784B1 (ko) 2010-09-10 2017-04-04 주식회사 엘지유플러스 증강현실을 이용한 사용자 인터페이스 제공방법 및 그 방법을 이용한 이동 단말기
KR101245667B1 (ko) 2010-09-13 2013-03-20 주식회사 마인드웨어코퍼레이션즈 휴대기기를 이용한 제품의 사후관리방법
KR101176141B1 (ko) * 2010-10-27 2012-09-07 서울대학교산학협력단 무선 신호의 신호 세기를 이용한 위치 추적 시스템 및 위치 추적 장치
KR101444407B1 (ko) 2010-11-02 2014-09-29 한국전자통신연구원 근거리 무선 통신을 이용한 증강현실 기반의 기기 제어 장치 및 그 방법
JP5644449B2 (ja) 2010-12-06 2014-12-24 ソニー株式会社 機器制御装置、機器制御装置の登録方法およびプログラム
KR101837082B1 (ko) 2011-01-20 2018-03-09 삼성전자주식회사 기기 제어 방법 및 그 장치
KR101923487B1 (ko) * 2011-09-29 2018-11-30 삼성전자 주식회사 통신 연결 서비스 제공 방법 및 장치
JP5734810B2 (ja) 2011-11-14 2015-06-17 株式会社東芝 機器制御装置、その方法、及び、そのプログラム
KR102046928B1 (ko) * 2013-01-07 2019-12-02 엘지전자 주식회사 이동 단말기, 및 그 동작 방법
KR102105463B1 (ko) 2013-09-02 2020-04-28 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR101580365B1 (ko) 2013-11-12 2015-12-23 주식회사 엘지유플러스 네트워크를 통해 전자기기를 원격 제어하는 통신단말기 및 그 전자기기 원격 제어방법, 전자기기의 원격제어를 지원하는 전자기기 제어서버, 카메라 및 그 원격제어 지원방법
KR102437104B1 (ko) * 2014-07-29 2022-08-29 삼성전자주식회사 모바일 디바이스에서 촬영된 전자 기기와 페어링하는 방법 및 장치
WO2016017945A1 (en) 2014-07-29 2016-02-04 Samsung Electronics Co., Ltd. Mobile device and method of pairing the same with electronic device
DE202015006055U1 (de) * 2014-09-02 2016-02-02 Apple Inc. Benutzeroberfläche zum Empfangen von Benutzereingaben
KR20170055295A (ko) * 2015-11-11 2017-05-19 엘지전자 주식회사 이동 단말기 및 그 이동 단말기의 제어 방법
KR101847200B1 (ko) * 2015-12-23 2018-04-09 삼성전자주식회사 객체 제어 방법 및 시스템
KR20170078459A (ko) 2015-12-29 2017-07-07 주식회사 아이디어피스 사용자 프로그램 작성 지원 IoT 플랫폼 및 이를 이용한 IoT 기기 제어용 프로그램 개발 방법
KR101730180B1 (ko) 2016-02-11 2017-04-25 가온미디어 주식회사 인티그레이션 매니저의 통합 연계를 활용한 셋톱박스 기반의 개방형 홈 IoT 서비스 시스템
KR102650444B1 (ko) 2016-02-18 2024-03-26 삼성전자 주식회사 스마트 홈 시스템에서 스마트 홈 장치를 등록하기 위한 전자 장치 및 방법
WO2018084087A1 (ja) * 2016-11-01 2018-05-11 株式会社ソニー・インタラクティブエンタテインメント 画像表示システム、画像表示装置、その制御方法、及びプログラム
US11567164B2 (en) * 2016-12-01 2023-01-31 U-Blox Ag Intercepting an uplink signal to assist in timing or positioning calculations
KR101935000B1 (ko) 2018-03-05 2019-01-03 삼성전자주식회사 기기 제어 방법 및 그 장치
US11593634B2 (en) * 2018-06-19 2023-02-28 Adobe Inc. Asynchronously training machine learning models across client devices for adaptive intelligence

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150133051A1 (en) * 2012-04-12 2015-05-14 Telefonaktiebolaget L M Ericsson (Publ) Pairing A Mobile Terminal With A Wireless Device
US20150348403A1 (en) * 2014-05-30 2015-12-03 Qualcomm Incorporated Methods, Smart Objects, and Systems for Naming and Interacting with Smart Objects

Also Published As

Publication number Publication date
EP3595277A1 (en) 2020-01-15
US20200022072A1 (en) 2020-01-16
US11363522B2 (en) 2022-06-14
CN110716717A (zh) 2020-01-21
EP3595277B1 (en) 2020-07-01
CN110716717B (zh) 2024-04-30
KR20200006707A (ko) 2020-01-21
WO2020013413A1 (en) 2020-01-16

Similar Documents

Publication Publication Date Title
KR102484647B1 (ko) 전자 장치의 제어방법 및 컴퓨터 판독 가능 기록매체
EP3549004B1 (en) Augmented reality control of internet of things devices
US10978044B2 (en) Electronic apparatus, controlling method of electronic apparatus and server
KR102505787B1 (ko) 외부의 IoT 장치를 관리 및 제어하는 방법 및 이를 지원하는 전자 장치
US9661121B2 (en) Intuitive way to point, access, and control appliances and other objects in building interiors
JP6203957B2 (ja) 帯域外シグナリング／メタデータを光学画像と併せて使用したＩｏＴデバイス／モノ／人の特定
CN109672720B (zh) 用于控制IoT装置的电子装置及其操作方法
KR102481486B1 (ko) 오디오 제공 방법 및 그 장치
US11140734B2 (en) Electronic device and method for controlling electronic device
KR20160136806A (ko) 전자 장치 및 그의 무선 통신 수행 방법
CN108432213B (zh) 电子设备及其控制方法
CN105573489A (zh) 控制外部对象的电子设备和方法
KR20160075079A (ko) 다른 전자 장치를 제어하는 전자 장치 및 제어 방법
KR20170126698A (ko) 콘텐트 제공을 위한 전자 장치 및 방법
CN107969143A (zh) 判定支援装置、判定支援方法以及程序
KR102465092B1 (ko) 전자 장치 및 그 제어 방법
KR102411001B1 (ko) 전자장치 및 전자장치의 데이터 전송 방법
JP6352077B2 (ja) 遠隔操作システム、及び専用操作器
US20230100908A1 (en) Thermostat and system and method for use of same
KR20130090181A (ko) 스마트 클라우드를 이용한 가전기기 제어 장치
KR20210152850A (ko) 전자 장치의 근접성을 결정하는 방법 및 장치
KR101958198B1 (ko) 홍채 정보 등록장치 및 방법
JP2018151759A (ja) 対象物選択システム、対象物選択方法、及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right