KR102269035B1 - 서버 및 서버의 그룹 액션 제어방법 - Google Patents

서버 및 서버의 그룹 액션 제어방법 Download PDF

Info

Publication number
KR102269035B1
KR102269035B1 KR1020150056173A KR20150056173A KR102269035B1 KR 102269035 B1 KR102269035 B1 KR 102269035B1 KR 1020150056173 A KR1020150056173 A KR 1020150056173A KR 20150056173 A KR20150056173 A KR 20150056173A KR 102269035 B1 KR102269035 B1 KR 102269035B1
Authority
KR
South Korea
Prior art keywords
group action
action
group
electronic device
information
Prior art date
Application number
KR1020150056173A
Other languages
English (en)
Other versions
KR20160125244A (ko
Inventor
하지훈
홍문기
이재근
이준호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150056173A priority Critical patent/KR102269035B1/ko
Priority to US15/098,911 priority patent/US10505755B2/en
Priority to CN201680023501.9A priority patent/CN107533422B/zh
Priority to PCT/KR2016/004021 priority patent/WO2016171440A1/en
Publication of KR20160125244A publication Critical patent/KR20160125244A/ko
Application granted granted Critical
Publication of KR102269035B1 publication Critical patent/KR102269035B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/2821—Avoiding conflicts related to the use of home appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/60—Subscription-based services using application servers or record carriers, e.g. SIM application toolkits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/18—Service support devices; Network management devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0383—Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

서버 및 서버의 그룹 액션 제어방법이 제공된다. 보다 상세하게는 실행중인 제1 그룹 액션 및 실행 요청된 제2 그룹 액션의 충돌을 결정가능한 서버 및 서버의 그룹 액션 제어방법이 제공된다. 개시된 실시예 중 일부는 제1 전자 장치에서부터 수신되어 실행되는 제1 그룹 액션 및 제2 전자 장치에서부터 수신되어 실행 요청된 제2 그룹 액션을 이용하여 결정된 그룹 액션의 충돌에 대응되는 그룹 액션 솔루션 정보를 제2 전자 장치로 전송가능한 서버 및 서버의 그룹 액션 제어방법이 제공된다.

Description

서버 및 서버의 그룹 액션 제어방법{SERVER AND METHOD FOR CONTROLLING A GROUP ACTION}
아래 실시예들은 서버 및 서버의 그룹 액션 제어방법에 관한 것으로, 상세하게는 제1 전자 장치의 요청에 의해 실행중인 제1 그룹 액션 및 제2 전자 장치에서부터 실행 요청된 제2 그룹 액션의 충돌에 대응되는 그룹 액션 솔루션 정보를 생성가능한 서버 및 서버의 그룹 액션 제어방법에 관한 것이다.
최근 전자 장치에서 제공하는 다양한 서비스 및 기능들은 점차 확대되고, 멀티 태스킹도 가능하다. IoT(Internet of things) 환경에서 전자 장치 및 서버에 의해 이용될 수 있는 다양한 어플리케이션이 개발되고 있다.
IoT 환경은 사물(things)이 각종 통신 기술을 이용하여 인터넷에 접속되는 환경을 의미한다. IoT 환경에서 사용자 주위의 사물들이 인터넷을 통해 상호 통신이 가능하고, 사용자와 사물과의 통신도 가능할 수 있다.
IoT 환경에서, 스마트 공간(예를 들어, 홈 네트워크 등) 내 복수의 사물들은 설정에 따라 하나 또는 복수의 그룹 액션 서비스를 수행할 수 있다. 하나의 사물은 하나 또는 복수의 그룹 액션 서비스의 제공에 이용될 수 있다. 하나 또는 복수의 그룹 액션에 대응하여 하나의 사물은 서비스를 제공할 수 있다.
복수의 사용자 단말을 통해 하나의 사물에 복수의 그룹 액션 서비스가 순차적으로 요청될 수 있다. 순차적인 복수의 그룹 액션 서비스가 요청되는 경우, 복수의 그룹 액션 서비스 사이에 충돌(conflict)가 발생될 수 있다. 복수의 그룹 액션 서비스에서 발생 가능한 충돌에 대한 솔루션이 필요할 수 있다.
본 발명의 실시예에 따른 서버의 그룹 액션 제어방법은 서버와 연결되는 하나 또는 복수의 외부 장치를 제어하는 제1 그룹 액션의 실행을 제1 전자 장치에서부터 수신하는 단계, 상기 외부 장치의 일부를 제어하는 제2 그룹 액션의 실행 요청을 제2 전자 장치에서부터 수신하는 단계, 실행 중인 상기 제1 그룹 액션과 실행 요청된 상기 제2 그룹 액션의 충돌에 대응되는 그룹 액션 솔루션을 생성하는 단계, 및, 상기 그룹 액션 솔루션 정보를 상기 제2 전자 장치로 전송하는 단계를 포함하고, 상기 그룹 액션의 충돌은 상기 제1 그룹 액션 및 상기 제2 그룹 액션에 포함되는 동일한 외부 장치에 의해 결정된다.
본 발명의 일측에 따르면, 상기 그룹 액션 솔루션 정보는 상기 그룹 액션 충돌에 대응되는 추천 그룹 액션 및 알람 설정 중 하나를 포함할 수 있다.
본 발명의 실시예에 따른 서버는 제1 전자 장치, 제2 전자 장치 및 외부 장치를 연결하는 통신부, 및 상기 통신부를 제어하는 제어부를 포함하고, 상기 제어부는, 상기 통신부를 통해 제1 전자 장치에서부터 요청된 상기 외부 장치를 제어하는 제1 그룹 액션을 실행하고, 제2 전자 장치에서부터 수신된 상기 외부 장치 중 일부 외부 장치를 제어하는 제2 그룹 액션의 실행 요청에 대응하여 결정된 상기 제2 그룹 액션의 충동에 대응되는 그룹 액션 솔루션 정보를 상기 통신부를 통해 상기 제2 전자 장치로 전송한다.
본 발명의 다른 실시예에 따른 전자 장치의 그룹 액션 제어방법은 외부 장치 및 서버와 연결가능한 전자 장치에서 상기 외부 장치를 제어하는 어플리케이션을 실행하는 단계, 그룹 액션 리스트에서 선택된 상기 외부 장치 중 일부 외부 장치의 상태를 변경하는 제1 그룹 액션의 실행을 상기 서버로 요청하는 단계, 상기 서버에서부터 다른 전자 장치에서 실행 요청된 제2 그룹 액션과 상기 제1 그룹 액션의 충돌에 대응되는 그룹 액션 솔루션 정보를 수신하는 단계, 및 수신된 상기 그룹 액션 솔루션 정보를 표시하는 단계를 포함한다.
외부 장치를 통해 기 실행 중인 제1 그룹 액션 및 실행 요청된 제2 그룹 액션 사이의 충돌 여부를 결정가능한 서버 및 서버의 그룹 액션 제어방법이 제공될 수 있다.
외부 장치를 통해 기 실행 중인 제1 그룹 액션 및 실행 요청된 제2 그룹 액션 사이의 충돌에 대응되는 그룹 액션 충돌 정보를 제공가능한 서버 및 서버의 그룹 액션 제어방법이 제공될 수 있다.
외부 장치를 통해 기 실행 중인 제1 그룹 액션 및 실행 요청된 제2 그룹 액션 사이의 충돌에 대응되는 그룹 액션 솔루션 정보를 제공가능한 서버 및 서버의 그룹 액션 제어방법이 제공될 수 있다.
외부 장치를 통해 기 실행 중인 제1 그룹 액션 및 실행 요청된 제2 그룹 액션 사이의 충돌에 대응되는 추천 그룹 액션을 제공가능한 서버 및 서버의 그룹 액션 제어방법이 제공될 수 있다.
사용자에 의해 실행 요청된 제1 그룹 액션과 실행중인 다른 그룹 액션 사이의 충돌에 대응되는 그룹 액션 충돌 정보를 사용자에게 제공가능한 서버 및 서버의 그룹 액션 제어방법이 제공될 수 있다.
사용자에 의해 실행 요청된 제1 그룹 액션과 실행중인 다른 그룹 액션 사이의 충돌에 대응되는 그룹 액션 솔루션 정보를 사용자에게 제공가능한 서버 및 서버의 그룹 액션 제어방법이 제공될 수 있다.
사용자에 의해 실행 요청된 제1 그룹 액션과 실행중인 다른 그룹 액션 사이의 충돌에 대응되는 솔루션 중 하나인 추천 그룹 액션을 사용자에게 제공가능한 서버 및 서버의 그룹 액션 제어방법이 제공될 수 있다.
이에 한정되지 않고 본 발명의 다양한 실시예에 따르면, 기 실행 중인 제1 그룹 액션 및 실행 요청된 제2 그룹 액션 사이의 충돌에 대응되는 추천 그룹 솔루션 정보를 생성가능한 서버 및 서버의 그룹 액션 제어방법이 제공될 수 있다.
도 1은 본 발명의 실시예에 따른 전자 장치, 외부 장치 및 서버의 연결을 나타내는 개략적인 도면이다.
도 2a는 본 발명의 실시예에 따른 전자 장치를 나타내는 개략적인 블럭도이다.
도 2b는 본 발명의 실시예에 따른 외부 장치를 나타내는 개략적인 블럭도이다.
도 2c는 본 발명의 실시예에 따른 서버를 나타내는 개략적인 블럭도이다.
도 3a는 본 발명의 실시예에 따른 서버의 그룹 액션 제어방법을 나타내는 개략적인 순서도이다.
도 3b는 본 발명의 실시예에 따른 전자 장치의 그룹 액션 제어방법을 나타내는 개략적인 순서도이다.
도 4a는 본 발명의 실시예에 따른 전자 장치, 외부 장치, 서버 및 전자 장치의 그룹 액션 제어방법을 나타내는 개략적인 연속도(sequence diagram)이다.
도 4b는 본 발명의 다른 실시예에 따른 전자 장치, 외부 장치, 서버 및 전자 장치의 그룹 액션 제어방법을 나타내는 개략적인 연속도(sequence diagram)이다.
도 5a 내지 5i는 본 발명의 실시예에 따른 전자 장치의 화면 예를 나타내는 도면이다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시예를 상세하게 설명한다. 또한, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명을 제조하고 사용하는 방법을 상세히 설명한다. 각 도면에서 제시된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다.
“제1”, “제2” 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있으며, 상술된 구성 요소들은 상술된 용어들에 의해 한정되지 않는다. 상술된 용어들은 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위에서 제1 구성 요소는 제2 구성 요소로 명명될 수 있다. 또한, 제2 구성 요소는 제1 구성 요소로 명명될 수도 있다. “및/또는” 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다.
어플리케이션(application)은 컴퓨터용 OS(Operating System) 또는 모바일 OS 위에서 실행되어 사용자가 사용하는 소프트웨어를 의미한다. 예를 들어, 어플리케이션은 워드 프로세서, 스프레드 시트, 연락처(contacts) 어플리케이션, 캘린더(calendar) 어플리케이션, 메모(memo) 어플리케이션, 알람(alarm) 어플리케이션, SNS(Social Network System) 어플리케이션, 채팅(chatting) 어플리케이션, 지도(Map) 어플리케이션, 뮤직 플레이어 또는 비디오 플레이어를 포함할 수 있다. 본 발명의 실시예에 따른 어플리케이션은 전자 장치 또는 전자 장치와 무선 또는 유선으로 연결되는 외부 장치(예를 들어, 서버 등)에서 실행되는 소프트웨어를 의미할 수 있다. 또한, 본 발명의 실시예에 따른 어플리케이션은 수신되는 사용자 입력에 대응하여 전자 장치에서 실행되는 소프트웨어를 의미할 수 있다.
본 발명의 실시예에서, 외부 장치(200)의 상태는 외부 장치(200)의 상황(context)를 의미할 수 있다. 외부 장치(200)의 상태에 대응되는 상태 정보는 외부 장치(200)의 상황 정보(context information)를 의미할 수 있다. 외부 장치(200)의 상태 변경은 외부 장치(200)의 상황 변경과 동일한 의미일 수 있다.
콘텐트(content)는 실행되는 어플리케이션에서 표시될 수 있다. 예를 들어, 어플리케이션 중 하나인 비디오 플레이어에서 재생되는 비디오 파일 또는 오디오 파일, 뮤직 플레이어에서 재생되는 뮤직 파일, 포토 갤러리에서 표시되는 포토 파일, 웹 브라우저에서 표시되는 웹 페이지 파일 등을 포함할 수 있다. 콘텐트는 어플리케이션에서 표시 또는 실행되는 비디오 파일, 오디오 파일, 텍스트 파일, 이미지 파일 또는 웹 페이지를 포함할 수 있다. 본 발명의 실시예에서 “비디오”라는 용어는 동영상과 동일한 의미로 사용될 수 있다. 또한, 콘텐트는 수신되는 사용자 입력(예를 들어, 터치 등)에 대응하여 실행되는 비디오 파일, 오디오 파일, 텍스트 파일, 이미지 파일 또는 웹 페이지를 포함할 수 있다.
콘텐트는 실행되는 어플리케이션 화면 및 어플리케이션 화면을 구성하는 유저 인터페이스(user interface)를 포함할 수 있다. 또한, 콘텐트는 하나의 콘텐트 또는 복수의 콘텐츠를 포함할 수도 있다.
위젯(widget)은 사용자와 어플리케이션 또는 OS와의 상호 작용을 보다 원활하게 지원해주는 그래픽 유저 인터페이스(GUI, Graphic User Interface) 중 하나인 미니 어플리케이션을 의미한다. 예를 들어, 날씨 위젯, 계산기 위젯, 시계 위젯 등이 있다.
본 명세서에서 그룹 액션은 하나 또는 복수의 외부 장치의 액션들의 집합(set)을 의미할 수 있으며, 그룹 액션에 포함되는 적어도 하나의 액션은 대응되는 외부 장치의 상태를 변경하는 액션(예를 들어, 제어 명령어)을 포함할 수 있다. 그룹 액션이 생성되는 경우, 그룹 액션에 대응되는 그룹 액션 정보가 생성되어 저장될 수 있다. 그룹 액션 정보는 설정된 상황에 대응되는 외부 장치들의 설정된 동작(예를 들어, 상태 변경)을 수행하여야 하는 지에 관한 정보를 포함할 수 있다. 예를 들어, 그룹 액션 정보는 그룹 액션 타이틀, 외부 장치 식별자(ID), 외부 장치 이름, 외부 장치의 상태 변경 정보(예를 들어, On ↔ Off 등) 또는 외부 장치의 상태 변경 조건 정보(예를 들어, 제한 기간 5분) 등을 포함할 수 있으며, 이에 한정되지 않는다. 또한, 그룹 액션 정보는 외부 장치의 동작을 제어하기 위한 제어 명령어를 포함할 수 있다. 예를 들어, 그룹 액션 정보는 외부 장치의 상태를 변경하기 위한 제어 명령어를 포함할 수 있다.
본 출원서에서 사용한 용어는 실시예를 설명하기 위해 사용된 것으로, 본 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 각 도면에 제시된 동일한 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.
도 1은 본 발명의 실시예에 따른 전자 장치, 외부 장치 및 서버의 연결을 나타내는 개략적인 도면이다.
도 1을 참조하면, 전자 장치(100), 전자 장치(101), 서버(300) 및 외부 장치(200)는 각각의 통신부(도 2 참조)를 이용하여 무선으로 서로 연결될 수 있다. 예를 들어, 전자 장치(100), 전자 장치(101), 서버(300) 및 외부 장치(200)는 애드 혹 모드(ad-hoc mode) 또는 AP(access point)를 통해 무선으로 상호 연결되는 인프라스트럭쳐 모드(infra-structure mode)로 연결될 수 있다. 전자 장치(100), 전자 장치(101) 및 외부 장치(200)는 서버(300)와 무선으로 연결될 수 있다. 또한, 전자 장치(100) 및 전자 장치(101)는 직접 외부 장치(200)와 무선으로 연결될 수 있다. 전자 장치(100)은 제1 전자 장치이고, 전자 장치(101)은 제2 전자 장치일 수 있다.
전자 장치(100)는 집 안의 외부 장치(200)와 서버(300)를 통하거나 또는 직접 무선으로 연결할 수 있다. 전자 장치(101)는 집 안의 외부 장치(200)와 서버(300)를 통하거나 또는 직접 무선으로 연결할 수 있다. 서버(300)는 집 안에 위치하거나 또는 외부(예를 들어, 클라우드)에 위치할 수 있다.
무선 통신은 예를 들어, 무선 랜(Wi-Fi), 블루투스, 블루투스 저 에너지(Bluetooth low energy), 지그비, WFD(Wi-Fi Direct), UWB(ultra wideband), 적외선 통신(IrDA, infrared Data Association), NFC(Near Field Communication) 등이 있을 수 있으나, 이에 한정되는 것은 아니다. 또한, 전자 장치(100), 전자 장치(101), 서버(300) 및 외부 장치(200)는 커넥터를 통해 유선으로도 연결 가능하다.
전자 장치(100)는 어플리케이션을 통해 외부 장치(200) 중 하나인 디스플레이 장치(201)의 상태 변경(예를 들어, 전원 온/오프, 채널 변경 등)에 대응되는 상태 변경 정보를 서버(300)를 통해 수신할 수 있다. 또한, 전자 장치(100)는 어플리케이션을 통해 외부 장치(200) 중 하나인 디스플레이 장치(201)의 상태 변경(예를 들어, 전원 온/오프, 채널 변경 등) 에 대응되는 상태 변경 정보를 디스플레이 장치(201)에서부터 직접 수신할 수도 있다.
전자 장치(100)는 어플리케이션 및 서버(300)을 통해 외부 장치(200) 중 하나인 디스플레이 장치(201)의 상태를 변경(예를 들어, 전원 온)할 수 있다. 또한, 전자 장치(100)는 어플리케이션을 통해 외부 장치(200) 중 하나인 디스플레이 장치(201)의 상태를 직접 변경(예를 들어, 전원 온)할 수도 있다.
도 1에서, 전자 장치(100), 전자 장치(101), 서버(300) 및 외부 장치(200)가 직접 연결되는 것으로 도시하고 설명하였지만, 각각의 장치는 공유기, 라우터, 또는, 무선 인터넷 망 등을 통하여 연결될 수도 있다.
도 2a는 본 발명의 실시예에 따른 전자 장치를 나타내는 개략적인 블럭도이다.
도 2a를 참조하면, 전자 장치(100)는 이동 통신부(120), 서브 통신부(130) 및 커넥터(165)를 이용하여 다른 장치(예를 들어, 외부 장치(200), 또는 서버(300))와 유선 또는 무선으로 연결될 수 있다. 전자 장치(100)는 휴대폰, 스마트폰, MP3 플레이어, 동영상 플레이어, 태블릿 PC, 신체에 착용 가능한 웨어러블 장치, 전자 칠판, 또는 디스플레이 장치(201) 등을 포함할 수 있다. 디스플레이 장치(201)는 아날로그 TV, 디지털 TV, 3D-TV, 스마트 TV, LED TV, OLED TV, 플라즈마 TV, 모니터, 고정 곡률(curvature)인 화면을 가지는 커브드(curved) TV, 고정 곡률인 화면을 가지는 플렉시블(flexible) TV, 고정 곡률인 화면을 가지는 벤디드(bended) TV, 및/또는 수신되는 사용자 입력에 의해 현재 화면의 곡률을 변경가능한 곡률 가변형 TV 등으로 구현될 수 있으나, 이에 한정되지 않는다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
전자 장치(100)는 터치 스크린을 가지고 통신부(120 또는 130)를 통해 데이터(또는 콘텐트)를 외부로 송신 또는 외부에서부터 수신할 수 있다. 전자 장치(100)는 입력 펜 및 터치 스크린을 가지고 통신부(120 또는 130)를 통해 데이터(또는 콘텐트)를 외부로 송신 또는 외부에서부터 수신할 수 있다. 전자 장치(100)는 터치 스크린(190)에서 입력되는 인터랙션(예를 들어, 터치 또는 터치 제스처)을 이용하여 외부 장치와 데이터(또는 콘텐트)를 외부로 송신 또는 외부에서부터 수신할 수 있다. 또한, 전자 장치(100)는 디스플레이부(예를 들어, 터치 패널은 없고 디스플레이 패널만 있는, 도시되지 아니함)를 가지고 통신부(120 또는 130)를 통해 데이터(또는 콘텐트)를 외부로 송신 또는 외부에서부터 수신할 수 있다. 전자 장치(100)는 하나 또는 둘 이상의 터치 스크린을 가질 수 있다. 또한, 전자 장치(100)는 하나의 터치 스크린에 각각 구분되는 복수의 화면을 가질 수도 있다.
전자 장치(100)는 제어부(110), 이동 통신부(120), 서브 통신부(130), 멀티미디어부(140), 카메라(150), GPS(155), 입/출력부(160), 센서부(170), 저장부(175) 및 전원 공급부(180)를 포함한다. 전자 장치(100)는 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 포함한다.
제어부(110)는 프로세서(Processor, 111), 전자 장치(100)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 112) 및 전자 장치(100)의 외부로부터 입력되는 신호 또는 데이터를 저장하거나, 전자 장치(100)에서 수행되는 다양한 작업에 대한 저장 영역으로 사용되는 램(RAM, 113)을 포함할 수 있다.
제어부(110)는 전자 장치(100)의 전반적인 동작 및 전자 장치(100)의 내부 구성 요소들(120 내지 195)간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(110)는 전원 공급부(180)를 이용하여 내부 구성 요소들(120 내지 195)에게 전원 공급을 제어한다. 또한, 사용자의 입력 또는 설정된 조건을 만족하는 경우, 제어부(110)는 센서부(170)의 센서, 저장부(175)에 저장된 OS(Operation System) 또는 어플리케이션을 실행할 수 있다.
프로세서(111)는 그래픽 처리를 위한 GPU(Graphic Processing Unit, 도시되지 아니함)를 포함할 수 있다. 프로세서(111)는 코어(core, 도시되지 아니함)와 GPU(도시되지 아니함)를 포함하는 SoC(System On Chip) 형태로 구현될 수 있다. 프로세서(111)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 또한, 프로세서(111), 롬(112) 및 램(113)은 버스(bus)로 상호 연결될 수 있다.
제어부(110)는 이동 통신부(120), 서브 통신부(130), 멀티미디어부(140), 카메라(150), GPS(155), 입/출력부(160), 센서부(170), 저장부(175), 전원 공급부(180), 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 제어할 수 있다.
본 발명의 실시예에 따른 제어부(110)는 외부 장치 및 서버와 연결가능한 전자 장치에서 상기 외부 장치를 제어하는 어플리케이션을 실행하고, 그룹 액션 리스트에서 선택된 상기 외부 장치 중 일부 외부 장치의 상태를 변경하는 제1 그룹 액션의 실행을 상기 서버로 요청하고, 상기 서버에서부터 다른 전자 장치에서 요청된 제2 그룹 액션과 상기 제1 그룹 액션의 충돌에 대응되는 그룹 액션 충돌 정보를 수신하고, 수신된 상기 그룹 액션 충돌 정보를 표시한다.
제어부(110)는 상기 그룹 액션 충돌 정보에 상기 제1 그룹 액션 및 상기 제2 그룹 액션에 공통으로 포함되는 외부 장치 이름을 표시하도록 제어할 수 있다.
제어부(110)는 서버(300)에서부터 수신된 상기 제1 그룹 액션의 충돌에 대응되는 그룹 액션 솔루션 정보를 표시하도록 제어할 수 있다.
제어부(110)는 상기 그룹 액션 솔루션 정보에 상기 제1 그룹 액션 및 상기 제2 그룹 액션에 공통으로 포함되는 외부 장치 이름을 표시하도록 제어할 수 있다.
제어부(110)는 상기 그룹 액션 솔루션 정보 및 상기 그룹 액션 충돌 정보를 함께 표시하도록 제어할 수 있다.
제어부(110)는 상기 그룹 액션 솔루션 정보에 포함되는 상기 제2 그룹 액션의 충돌에 대응되는 추천 그룹 액션 및 알람 설정 중 하나를 표시하도록 제어할 수 있다.
제어부(110)는 그룹 액션에 대응되는 피드백을 제공하도록 전자 장치(100)를 제어할 수 있다. 예를 들어, 제어부(110)는 그룹 액션의 생성, 그룹 액션의 실행, 그룹 액션 충돌 정보의 수신, 그룹 액션 솔루션 정보의 수신, 또는, 추천 그룹 액션의 수신에 대응하여 시각, 청각 및 촉각 피드백 중 적어도 하나의 피드백을 제공하도록 제어할 수 있다.
제어부(110)는 제1 그룹 액션의 실행에 대응되는 컨트롤 패킷을 상기 서버(300)로 전송하도록 제어할 수 있다.
본 발명의 실시예에서 “제어부”이라는 용어는 프로세서(111), 롬(112) 및 램(113)을 포함한다.
이동 통신부(120)는 제어부(110)의 제어에 의해 하나 또는 둘 이상의 안테나를 이용하여 이동 통신망을 통해 다른 장치(예를 들어, 외부 장치(200) 또는 서버(300))와 연결할 수 있다. 이동 통신부(120)는 연결가능한 전화 번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿PC 또는 다른 전자 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS), 멀티미디어 메시지(MMS) 및 데이터 통신을 위한 무선 신호를 송/수신할 수 있다.
서브 통신부(130)는 제어부(110)의 제어에 의해 무선랜(131), 근거리 통신부(132)를 통해 다른 장치(예를 들어, 웨어러블 장치(200) 또는 서버(300))와 연결할 수 있다. 서브 통신부(130)는 무선랜(131)과 근거리 통신부(132) 중 적어도 하나(예를 들어, 무선랜(131) 및 근거리 통신부(132) 중 하나, 또는 무선랜(131)과 근거리 통신부(132) 모두)를 포함할 수 있다.
무선랜(131)은 제어부(110)의 제어에 의해 AP(access point)가 설치된 장소에서 무선으로 AP와 연결될 수 있다. 무선랜(131)은 예를 들어, 와이-파이(Wi-Fi)를 포함할 수 있다. 무선랜(131)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리 통신부(132)은 제어부(110)의 제어에 의해 AP없이 무선으로 전자 장치(100)와 외부 장치 사이에 근거리 통신을 할 수 있다. 근거리 통신은 블루투스(bluetooth), 블루투스 저 에너지(bluetooth low energy), 적외선 통신(IrDA, infrared data association), UWB(Ultra Wideband) 및 NFC(Near Field Communication) 등을 포함할 수 있다.
전자 장치(100)는 성능에 따라 이동 통신부(120), 무선랜(131), 및 근거리 통신부(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 전자 장치(100)는 이동 통신부(120), 무선랜(131), 및 근거리 통신부(132) 중 하나, 또는 이동 통신부(120), 무선랜(131), 및 근거리 통신부(132)의 조합을 포함할 수 있다. 전자 장치(100)는 이동 통신부(120) 및 서브 통신부(130) 중 하나를 이용하여 외부의 액세서리(예를 들어, 무선 스피커, 무선 헤드셋 등)와 연결할 수 있다.
본 발명의 실시예에서 “통신부”라는 용어는 이동 통신부(120), 서브 통신부(130)를 포함한다.
멀티 미디어부(140)는 제어부(110)의 제어에 의해 외부의 방송을 수신, 오디오 및/또는 동영상을 재생할 수 있다. 멀티 미디어부(140)는 방송 수신부(141), 오디오 재생부(142) 또는 동영상 재생부(143)를 포함할 수 있다.
방송 수신부(141)는 제어부(110)의 제어에 의해 안테나(도시되지 아니함)를 통해 외부의 방송국에서부터 송출되는 방송 신호(예를 들어, TV 방송 신호, 라디오 방송 신호 또는 데이터 방송 신호) 및 방송 부가 정보(예를 들어, EPS(Electronic Program Guide) 또는 ESG(Electronic Service Guide))를 수신할 수 있다. 또한, 제어부(110)는 수신된 방송 신호 및 방송 부가 정보를 터치 스크린, 비디오 코덱(video code, 도시되지 아니함) 및 오디오 코덱(audio codec, 도시되지 아니함)을 이용하여 재생할 수 있다.
오디오 재생부(142)는 제어부(110)의 제어에 의해 전자 장치(100)의 저장부(175)에 기 저장되거나 또는 외부에서부터 수신되는 오디오 소스(예를 들어, 파일 확장자가 mp3, wma, ogg 또는 wav를 포함하는 오디오 파일)를 오디오 코덱을 이용하여 재생할 수 있다.
본 발명의 실시예에 따라 오디오 재생부(142)는 그룹 액션에 대응되는 청각 피드백을 재생할 수 있다. 예를 들어, 오디오 재생부(142)는 제어부(110)의 제어에 의해 그룹 액션의 생성, 그룹 액션의 실행, 그룹 액션 충돌 정보의 수신, 그룹 액션 솔루션 정보의 수신, 또는, 추천 그룹 액션의 수신에 대응되는 청각 피드백(예를 들어, 저장부에 저장된 오디오 소스의 출력 등)을 오디오 코덱을 통해 재생할 수 있다.
본 발명의 실시예에 따라 오디오 재생부(142)는 제어부(110)의 제어에 의해 터치 스크린(190)에서 검출되는 터치 또는 터치의 연속적인 움직임에 대응되는 청각 피드백(예를 들어, 저장부에 저장된 오디오 소스의 출력 등)을 오디오 코덱을 통해 재생할 수 있다.
동영상 재생부(143)는 제어부(110)의 제어에 의해 전자 장치(100)의 저장부(175)에 기 저장되거나 또는 외부에서부터 수신되는 디지털 동영상 소스(예를 들어, 파일 확장자가 mpeg, mpg, mp4, avi, mov, 또는 mkv를 포함하는 비디오 파일)을 비디오 코덱을 이용하여 재생할 수 있다.
전자 장치(100)에 설치가능한 멀티미디어 어플리케이션은 오디오 코덱 및/또는 비디오 코덱을 이용하여 오디오 소스 또는 동영상 소스를 재생할 수 있다. 또한, 전자 장치(100)에 설치가능한 멀티미디어 어플리케이션은 하드웨어 코덱(도시되지 아니함) 및/또는 소프트웨어 코덱(도시되지 아니함)을 이용하여 동영상 소스를 재생할 수 있다.
본 발명의 실시예에 따라 동영상 재생부(143)는 그룹 액션에 관련된 시각 피드백을 재생할 수 있다. 예를 들어, 동영상 재생부(143)은 제어부(110)의 제어에 의해 그룹 액션의 생성, 그룹 액션의 실행, 그룹 액션 충돌 정보의 수신, 그룹 액션 솔루션 정보의 수신, 또는, 추천 그룹 액션의 수신에 대응되는 시각 피드백(예를 들어, 저장부에 저장된 동영상 소스의 출력 등)을 비디오 코덱을 통해 재생할 수 있다.
다양한 파일 확장자를 가지는 오디오/비디오 파일을 재생가능한 다양한 종류의 비디오 코덱 및 오디오 코덱이 생산 및 판매되고 있다는 것은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
멀티미디어부(140)는 전자 장치(100)의 성능 또는 구조에 대응하여 방송 수신부(141)을 제외하고 오디오 재생부(142)과 동영상 재생부(143)를 포함할 수 있다. 또한, 제어부(110)는 멀티미디어부(140)의 오디오 재생부(142) 또는 동영상 재생부(143)를 포함할 수 있다.
본 발명의 실시예에서 “오디오 코덱”이라는 용어는 하나 또는 둘 이상의 오디오 코덱을 포함할 수 있다. 본 발명의 실시예에서 “비디오 코덱”이라는 용어는 하나 또는 둘 이상의 비디오 코덱을 포함할 수 있다.
카메라(150)는 제어부(110)의 제어에 의해 정지 이미지 또는 동영상을 촬영할 수 있다. 카메라(150)는 전면(도 1a의 100a)의 제1 카메라(도 1a의 151) 및 후면(도시되지 아니함)의 제2 카메라(152) 중 적어도 하나를 포함할 수 있다. 예를 들어, 카메라(150)는 제1 카메라(151) 및 제2 카메라(152) 중 하나 또는 양자를 모두 포함할 수 있다. 또한, 제1 카메라(151) 또는 제2 카메라(152)는 촬영에 필요한 광량을 제공하는 보조 광원(예를 들어, 플래시(153))을 포함할 수 있다.
제어부(110)는 전면의 제1 카메라(151) 및 제1 카메라(151)에 인접(예를 들어, 제1 카메라(151)와의 간격이 30 mm 보다 크고 80 mm 보다 작은)되게 위치하는 추가 카메라(예를 들어, 제3 카메라(도시되지 아니함))를 이용하여 3차원 정지 이미지 또는 3차원 동영상을 촬영할 수 있다. 또한 제어부(110)는 후면의 제2 카메라(152) 및 제2 카메라(152)에 인접(예를 들어, 제2 카메라(152)와의 간격이 30 mm 보다 크고 80 mm 보다 작은)되게 위치하는 추가 카메라(예를 들어, 제4 카메라(도시되지 아니함))를 이용하여 3차원 정지 이미지 또는 3차원 동영상을 촬영할 수 있다. 또한, 카메라(151, 152)는 별도의 어댑터(도시되지 아니함)에 착탈가능한 추가 렌즈(도시되지 아니함)를 이용하여 광각, 망원 및 접사 촬영을 할 수 있다.
GPS(155)는 지구 궤도상에 있는 복수의 GPS 위성(도시되지 아니함)에서부터 주기적으로 신호(예를 들어, GPS 위성의 궤도 정보, 위성의 시간 정보 및 항법 메시지 등)를 수신한다. 실외의 경우, 전자 장치(100)는 복수의 GPS위성(도시되지 아니함)에서부터 수신되는 신호를 이용하여 복수의 GPS 위성(도시되지 아니함)과 전자 장치(100)의 위치를 산출하고, 송/수신 시간차를 이용하여 거리를 산출할 수 있다. 삼각 측량을 통해 전자 장치(100)의 위치, 시간 또는 이동 속도를 산출할 수 있다. 궤도 보정 또는 시간 보정을 위해 추가의 GPS 위성이 필요할 수 있다. 복수의 GPS 위성(도시되지 아니함)에서부터 GPS(155)를 통해 신호가 수신되는 실내의 경우도 전자 장치(100)는 전자 장치(100)의 위치, 시간 또는 이동 속도를 산출할 수 있다.
실내의 경우, 전자 장치(100)는 무선 AP(도시되지 아니함)를 이용하여 전자 장치(100)의 위치 또는 이동 속도를 검출할 수 있다. 실내에서 전자 장치(100)의 위치 검출은 무선 AP의 ID를 이용한 셀 아이디(cell-ID) 방식, 무선 AP의 ID와 RSS(Received signal strength)를 이용한 강화 셀 아이디(enhanced cell-ID) 방식 또는 AP에서부터 전송된 신호의 전자 장치(100)에 수신되는 각도를 이용한 AoA(Angle of Arrival) 방식을 이용할 수 있다.
또한, 전자 장치(100)는 무선 비컨(beacon, 도시되지 아니함)을 이용하여 실내에 위치하는 전자 장치(100)의 위치 또는 이동 속도를 검출할 수 있다. 상술의 방식뿐만 아니라 다양한 방식을 통해 전자 장치(100)의 실내 위치를 검출할 수 있다는 것은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
입/출력부(160)는 하나 또는 둘 이상의 버튼(161), 마이크(162), 스피커(163), 진동 모터(164), 커넥터(165), 키패드(166) 및 입력 펜(167) 중 적어도 하나를 포함할 수 있다.
도 1을 참조하면, 버튼(161)은 전면(100a)의 하부에 있는 홈 버튼(161a), 메뉴 버튼(161b), 및 돌아가기 버튼(161c)을 포함한다. 버튼(161)은 측면(100b)의 전원/잠금 버튼(161d) 및 적어도 하나의 볼륨 버튼(161e)을 포함할 수 있다. 또한, 전자 장치(100)의 버튼(161)은 홈 버튼(161a), 전원/잠금 버튼(161d) 및 볼륨 버튼(161e)만을 포함할 수 있다. 전자 장치(100)의 버튼(161)은 물리적 버튼뿐만 아니라 터치 스크린(190) 외부의 베젤에 터치 버튼으로도 구현될 수 있다. 또한, 전자 장치(100)의 버튼(161)은 터치 스크린(190)상에 텍스트, 이미지 또는 아이콘 형태로 표시될 수 있다.
마이크(162)는 제어부(110)의 제어에 의해 외부에서부터 음성(voice) 또는 사운드(sound)를 입력 받아 전기적인 신호를 생성한다. 마이크(162)에서 생성된 전기적인 신호는 오디오 코덱에서 변환되어 저장부(175)에 저장되거나 또는 스피커(163)를 통해 출력될 수 있다. 마이크(162)는 전자 장치(100)의 전면(100a), 측면(100b) 및 후면에 하나 또는 둘 이상 위치할 수 있다. 또한, 전자 장치(100)의 측면(100b)에만 하나 또는 둘 이상의 마이크가 위치할 수도 있다.
스피커(163)는 제어부(110)의 제어에 의해 오디오 코덱을 이용하여 이동 통신부(120), 서브 통신부(130), 멀티미디어부(140) 또는 카메라(150)의 다양한 신호(예를 들어, 무선 신호, 방송 신호, 오디오 소스, 동영상 파일 또는 사진 촬영 등)에 대응되는 사운드를 전자 장치(100)의 외부로 출력할 수 있다.
스피커(163)는 전자 장치(100)가 수행하는 기능에 대응되는 사운드(예를 들어, 전화 번호 입력에 대응되는 터치 조작음, 또는 사진 촬영버튼 조작음)를 출력할 수 있다. 전자 장치(100)의 전면(100a), 측면(100b) 및 후면에 하나 또는 복수의 스피커(163)가 위치할 수 있다. 도 1 및 도 2a를 참조하면, 전자 장치(100)의 전면(100a)에 복수의 스피커가 위치할 수 있다. 또한, 전자 장치(100)의 전면(100a)과 후면에 각각 스피커가 위치할 수 있다. 전자 장치(100)의 전면(100a)에 하나의 스피커(163a) 및 후면에 복수의 스피커(163b, 추가 스피커(도시되지 아니함))이 위치할 수 있다. 또한, 측면(100b)에 복수의 스피커(도시되지 아니함)가 위치할 수 있다. 측면(100b)에 추가 스피커(도시되지 아니함)가 위치하는 전자 장치(100)는 전면(100a) 및 후면에 스피커가 위치하는 전자 장치(도시되지 아니함)와 다른 사운드 효과를 사용자에게 제공할 수 있다.
본 발명의 실시예에 따라 스피커(163)는 그룹 액션에 대응되는 청각 피드백을 출력할 수 있다. 예를 들어, 스피커(163)는 제어부(110)의 제어에 의해 그룹 액션의 생성, 그룹 액션의 실행, 그룹 액션 충돌 정보의 수신, 그룹 액션 솔루션 정보의 수신, 또는, 추천 그룹 액션의 수신에 대응하여 청각 피드백을 출력할 수 있다.
진동 모터(164)는 제어부(110)의 제어에 의해 전기적 신호를 기계적 진동으로 변환할 수 있다. 진동 모터(164)는 리니어 진동 모터, 바 타입 진동 모터, 코인 타입 진동 모터 또는 압전 소자 진동 모터를 포함할 수 있다. 예를 들어, 다른 전자 장치(도시되지 아니함)에서부터 음성 통화 요청이 수신되는 경우, 진동 모드인 전자 장치(100)의 진동 모터(164)는 제어부(110)의 제어에 의해 동작할 수 있다. 진동 모터(164)는 전자 장치(100)에 하나 또는 둘 이상으로 위치할 수 있다. 또한, 진동 모터(164)는 전자 장치(100) 전체를 진동되게 하거나 또는 전자 장치(100)의 일 부분만을 진동되게 할 수도 있다.
본 발명의 실시예에 따라 진동 모터(164)는 그룹 액션에 대응되는 촉각 피드백을 출력할 수 있다. 예를 들어, 진동 모터(164)는 제어부(110)의 제어에 의해 그룹 액션의 생성, 그룹 액션의 실행, 그룹 액션 충돌 정보의 수신, 그룹 액션 솔루션 정보의 수신, 또는, 추천 그룹 액션의 수신에 대응하여 촉각 피드백을 출력할 수 있다. 또한, 진동 모터(164)는 제어부(110)의 제어 명령에 기초하여 기 저장되거나 외부에서부터 수신된 다양한 촉각 피드백(예를 들어, 진동의 세기 및 진동 지속 시간)을 제공할 수 있다.
커넥터(165)는 전자 장치(100)와 외부 장치(도시되지 아니함) 또는 전원 소스(도시되지 아니함)를 연결하기 위한 인터페이스로 이용될 수 있다. 제어부(110)의 제어에 의해 전자 장치(100)는 커넥터(165)에 연결된 유선 케이블을 통해 저장부(175)에 저장된 데이터를 외부 장치(도시되지 아니함)로 전송하거나 또는 외부 장치(도시되지 아니함)에서부터 데이터를 수신할 수 있다. 전자 장치(100)는 커넥터(165)에 연결된 유선 케이블을 통해 전원소스(도시되지 아니함)에서부터 전원을 입력 받거나 또는 배터리(도시되지 아니함)를 충전할 수 있다. 또한, 전자 장치(100)는 커넥터(165)를 통해 외부의 액세서리(예를 들어, 스피커(도시되지 아니함), 키보드 도크(keyboard dock, 도시되지 아니함))와 연결할 수 있다.
키패드(166)는 전자 장치(100)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 키패드(166)는 전자 장치(100)에 전면(100a)에 형성되는 물리적인 키패드(도시되지 아니함), 터치 스크린(190)내 표시되는 가상 키패드(도시되지 아니함) 및 무선 또는 유선으로 연결가능한 물리적인 키패드(도시되지 아니함)를 포함한다. 전자 장치(100)의 전면(100a)에 형성되는 물리적인 키패드(도시되지 아니함)는 전자 장치(100)의 성능 또는 구조에 따라 제외될 수 있다는 것은 당해 기술분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
입력 펜(167)은 전자 장치(100)의 터치 스크린(190)의 홈 화면(191) 또는 필기/그리기 어플리케이션에 표시되는 화면(예를 들어, 메모 화면, 노트 패드 화면, 캘린더 화면, 등)에 표시되는(구성하는) 오브젝트(object, 예를 들어, 메뉴, 텍스트, 이미지, 비디오, 도형, 아이콘 및 단축아이콘)를 터치하거나 선택할 수 있다. 입력 펜(167)은 전자 장치(100)의 터치 스크린(190) 또는 필기/그리기 어플리케이션에 표시되는 화면(예를 들어, 메모 화면, 노트 화면, 캘린더 화면 등)에 표시되는 콘텐트(content, 예를 들어, 텍스트 파일, 이미지 파일, 오디오 파일, 비디오 파일 또는 웹 페이지)를 터치하거나 선택할 수 있다. 또한, 입력 펜(166)은 전자 장치(100)의 터치 스크린(190)에 표시되는 필기 어플리케이션(예를 들어, 메모 화면 등) 또는 그리기 어플리케이션의 화면(예를 들어, 캔버스 화면 등)에서 필기(handwriting) 또는 그리기(drawing, painting or sketching)를 할 수 있다.
입력 펜(167)은 정전 용량 방식, 저항막 방식, 또는 전자기 공명(electromagnetic resonance, EMR)의 터치 스크린을 터치하거나 또는 표시되는 가상 키패드를 이용하여 문자 등을 입력할 수 있다. 입력 펜(167)은 스타일러스 펜 또는 내장된 진동 소자(예를 들어, 액추에이터(actuator) 또는 진동 모터)가 진동하는 햅틱 펜(haptic pen, 도시되지 아니함)을 포함할 수 있다. 또한, 입력 펜(167)은 전자 장치(100)에서부터 수신되는 제어 정보뿐만 아니라 입력 펜(167)에 내장된 센서(예를 들어, 가속도 센서, 도시되지 아니함)에서 검출된 센싱 정보에 대응하여 진동 소자를 동작(예를 들어, 진동)시킬 수 있다.
입력 펜(167)이 삽입구(도시되지 아니함)에서 인출되는 경우, 제어부(110)는 설정된 필기/그리기 어플리케이션을 실행하여 터치 스크린(190)에 필기/그리기 어플리케이션의 화면(도시되지 아니함)을 표시할 수 있다.
입력 펜(167)은 사용자의 손가락(예를 들어, 엄지를 포함)을 포함할 수 있다. 예를 들어, 정전 용량 방식 터치 스크린 또는 저항막 방식 터치 스크린에 표시되는 어플리케이션에서, 사용자의 손가락에 의해 필기 또는 그리기가 입력될 수 있다.
정전 용량 방식 터치 스크린 또는 저항막 방식 터치 스크린에 표시되는 어플리케이션에서 사용자의 손가락에 의해 필기 또는 그리기가 입력되는 경우, 제어부(110)는 엄지를 포함하는 손가락 중 하나의 터치를 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 이용하여 검출할 수 있다.
전자 장치(100)의 삽입구(도시되지 아니함) 및 입력 펜(167)의 형상(예를 들어, 원형 단면 또는 다각형 단면) 또는 구조(예를 들어, 배터리(도시되지 아니함)를 포함)는 전자 장치(100)의 성능 또는 구조에 따라 변경될 수 있다는 것은 당해 기술분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
센서부(170)는 전자 장치(100)의 상태를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 센서부(170)는 사용자의 전자 장치(100)에 대한 접근 여부를 검출하는 근접 센서(171), 전자 장치(100) 주변의 빛의 양을 검출하는 조도 센서(172), 전자 장치(100)의 회전관성을 이용하여 방향을 검출하는 자이로 센서(173)를 포함할 수 있다. 또한, 센서부(170)는 전자 장치(100)에 가해지는 3축(예를 들어, x축, y축, z축)의 가속도를 검출하는 가속도 센서(도시되지 아니함), 중력의 작용 방향을 검출하는 중력 센서(Gravity Sensor), 또는 대기의 압력을 측정하여 고도를 검출하는 고도계(Altimeter)를 포함할 수 있다.
센서부(170)는 전자 장치(100)의 운동 가속도와 중력 가속도를 각각 측정할 수 있다. 전자 장치(170)가 움직이지 않는 경우, 센서부(170)는 중력 가속도만을 측정할 수 있다. 또한, 센서부(170)는 사용자의 지문을 검출하는 지문 센서(도시되지 아니함), 또는 사용자의 심장 박동을 검출하는 심박 센서(도시되지 아니함)를 더 포함할 수 있다.
센서부(170)에 포함되는 적어도 하나의 센서는 전자 장치(100)의 상태를 검출하고, 검출에 대응되는 전기적인 신호를 생성하여 제어부(110)로 전송한다. 센서부(170)에 포함되는 센서는 전자 장치(100)의 성능에 따라 추가되거나 삭제될 수 있다는 것은 당해 기술 분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
저장부(175)는 제어부(110)의 제어에 의해 이동 통신부(120), 서브 통신부(130), 멀티미디어부(140), 카메라(150), GPS(155), 입/출력부(160), 센서부(170), 및 터치 스크린(190)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(175)는 전자 장치(100) 또는 제어부(110)의 제어를 위한 제어 프로그램과 제조사에서 제공되거나 외부로부터 다운로드 받은 어플리케이션과 관련된 GUI(graphical user interface), GUI를 제공하기 위한 이미지들, 사용자 정보, 문서, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다.
본 발명의 실시예에 따른 저장부(175)는 전자 장치(100)의 장치 정보, 외부 장치(200)의 장치 정보 또는 서버(300)의 장치 정보를 저장할 수 있다.
저장부(175)는 서버(300)에서부터 수신된 외부 장치 상태 정보, 그룹 액션 리스트, 그룹 액션 충돌 정보, 그룹 액션 솔루션 정보, 추천 그룹 액션 또는 알림 설정 정보를 저장할 수 있다.
저장부(175)는 제1 그룹 액션에 대응되는 컨트롤 패킷을 저장할 수 있다.
저장부(175)는 제1 터치 내지 제7 터치, 제1 터치 위치 내지 제7 터치 위치, 제1 터치 위치 정보 및 제7 터치 위치 정보를 저장할 수 있다.
저장부(175)는 그룹 액션의 생성, 그룹 액션의 실행, 그룹 액션 충돌 정보의 수신, 그룹 액션 솔루션 정보의 수신, 또는, 추천 그룹 액션의 수신에 대응하여 터치 스크린(190)에 출력되는 사용자가 인지가능한 시각 피드백(예를 들어, 비디오 소스 등), 스피커(163)에서 출력되는 사용자가 인지가능한 청각 피드백(예를 들어, 사운드 소스 등) 및 진동 모터(164)에서 출력되는 사용자가 인지가능한 촉각 피드백(예를 들어, 햅틱 패턴 등)을 저장할 수 있다.
저장부(175)는 사용자에게 제공되는 피드백의 피드백 제공 시간(예를 들어, 300 msec)을 저장할 수 있다.
본 발명의 실시예에서 “저장부”라는 용어는 저장부(175), 제어부(110) 내 롬(112), 램(113) 또는 전자 장치(100)에 장착되는 메모리 카드(도시되지 아니함)(예를 들어, micro SD 카드, 메모리 스틱)를 포함한다. 저장부는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
전원 공급부(180)는 제어부(110)의 제어에 의해 전자 장치(100) 내부에 위치하는 구성 요소(120 내지 195)에게 전원을 공급할 수 있다. 전원 공급부(180)는 제어부(110)의 제어에 의해 커넥터(165)와 연결된 유선 케이블(도시되지 아니함)을 통해 외부의 전원 소스(도시되지 아니함)에서부터 입력되는 전원을 전자 장치(100)로 공급할 수 있다. 또한, 전원 공급부(180)는 제어부(110)의 제어에 의해 하나 또는 둘 이상의 배터리(도시되지 아니함)에 전원을 공급하여 출전할 수 있다. 하나 또는 둘 이상의 배터리(도시되지 아니함)는 전면(100a)에 위치하는 터치 스크린(190)과 후면(100c) 사이에 위치할 수 있다.
전원 공급부(180)는 제어부(110)의 제어에 의해 하나 또는 둘 이상의 배터리(도시되지 아니함)를 무선 충전(예를 들어, 자기 공명 방식, 전자기파 방식, 또는 자기 유도 방식)할 수 있다.
터치 스크린(190)은 터치 입력을 수신하는 터치 패널(도시되지 아니함)과 화면 표시를 위한 디스플레이 패널(도시되지 아니함)을 포함한다. 터치 스크린(190)은 사용자에게 다양한 서비스(예를 들어, 음성 통화, 영상 통화, 데이터 전송, 방송 수신, 사진 촬영, 동영상 보기, 또는 어플리케이션 실행)에 대응되는 GUI(Graphical User Interface)를 제공할 수 있다. 터치 스크린(190)은 홈 화면(191) 또는 GUI를 통해 입력되는 싱글 터치 또는 멀티 터치에 대응되는 아날로그 신호를 터치 스크린 컨트롤러(195)로 전송한다. 터치 스크린(190)은 사용자의 신체(예를 들어, 엄지를 포함하는 손가락) 또는 입력 펜(167)을 통해 싱글 터치 또는 멀티 터치를 입력 받을 수 있다.
디스플레이 패널(도시되지 아니함)은 다수의 픽셀들(pixels)을 구비하고, 상기 픽셀들을 통해 영상을 표시한다. 예를 들어, 디스플레이 패널(도시되지 아니함)로는 액정 표시 장치(LCD), 유기 발광 다이오드(Organic LED), LED 등이 있다. 디스플레이 패널(도시되지 아니함)은 전자 장치(100)의 각종 동작 상태, 애플리케이션 또는 서비스 실행 등에 따른 다양한 영상과 복수의 객체들을 표시할 수 있다.
본 발명의 실시예에서 터치는 터치 스크린(190)과 사용자의 신체 또는 입력 펜(167)의 접촉에 한정되지 않고, 비접촉을 포함한다. 예를 들어, 비접촉은 터치 스크린(190)과 사용자의 신체 또는 입력 펜(167)과의 간격이 50 mm 이하의 호버링(hovering)을 포함할 수 있다. 터치 스크린(190)에서 검출가능한 비접촉 간격은 전자 장치(100)의 성능 또는 구조에 따라 변경될 수 있다는 것은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
터치 스크린(190)은 예를 들어, 저항막(resistive) 방식, 정전 용량(capacitive) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식으로 구현될 수 있다.
터치 스크린(190)은 전자기 공명 방식(electromagnetic resonance, EMR) 을 포함할 수 있다. 전자기 공명 방식의 터치 스크린은 전자기 공명 방식의 루프 코일에 공진하는 공진 회로를 가지는 입력 펜(도시되지 아니함)의 입력을 수신하기 위한 별도의 전자기 공명 방식의 터치 패널(도시되지 아니함)을 더 포함한다.
본 발명의 실시예에 따른 터치 스크린(190)는 그룹 액션에 대응되는 시각 피드백을 출력할 수 있다. 터치 스크린(190)는 제어부(110)의 제어에 의해 그룹 액션의 생성, 그룹 액션의 실행, 그룹 액션 충돌 정보의 수신, 그룹 액션 솔루션 정보의 수신, 또는, 추천 그룹 액션의 수신에 대응되는 시각 피드백을 표시할 수 있다.
터치 스크린 컨트롤러(195)는 터치 스크린(190)에서부터 수신된 싱글 터치 또는 멀티 터치에 대응되는 아날로그 신호를 디지털 신호로 변환하여 제어부(110)로 전송한다. 제어부(110)는 터치 스크린 컨트롤러(195)에서부터 수신된 디지털 신호를 이용하여 터치 스크린(190) 상의 터치 위치에 대응되는 X와 Y좌표를 산출할 수도 있다.
제어부(110)는 터치 스크린 컨트롤러(195)에서부터 수신된 디지털 신호를 이용하여 터치 스크린(190)을 제어할 수 있다. 예를 들어, 제어부(110)는 입력된 터치에 응답하여 터치 스크린(190)에 표시된 단축 아이콘(예를 들어, 도 1의 193a)을 다른 단축 아이콘(예를 들어, 193b 내지 193h)과 구분되게 표시하거나 또는 선택된 단축 아이콘(도 1의 193a)에 대응되는 어플리케이션(예를 들어, 전화)를 실행하여 터치 스크린(190)에 어플리케이션 화면을 표시할 수 있다.
터치 스크린 컨트롤러(195)는 하나 또는 복수의 터치 스크린 컨트롤러(195)로 구현될 수 있다. 전자 장치(100)의 성능 또는 구조에 대응하여 터치 스크린 컨트롤러(195)는 제어부(110)에 포함될 수도 있다.
터치 스크린 컨트롤러(195)는 터치 스크린(190)에서부터 수신된 싱글 터치 또는 멀티 터치에 대응되는 아날로그 신호와 별개로 전자기 공명 방식의 터치 스크린에서 수신되는 터치에 대응되는 아날로그 신호를 디지털 신호로 변환하여 제어부(110)로 전송한다. 제어부(110)는 터치 스크린 컨트롤러(195)에서부터 수신된 디지털 신호를 이용하여 전자기 공명 방식의 터치 스크린에서 상의 터치 위치에 대응되는 X와 Y좌표를 산출할 수도 있다. 또한, 전자기 공명 방식의 터치 스크린의 경우, 전자기 공명 방식의 터치 스크린 컨트롤러(도시되지 아니함)를 이용할 수 있다.
도 1 및 도 2a에서 도시된 전자 장치(100)는 하나의 터치 스크린에 대해서만 도시하였으나, 복수의 터치 스크린을 구비할 수 있다. 각각의 터치 스크린은 각각의 하우징(도시되지 아니함)에 위치하며 각각의 하우징(도시되지 아니함)은 힌지(도시되지 아니함)에 의해 상호 연결될 수 있다. 또한, 하나의 하우징(도시되지 아니함)에 플렉시블한 복수의 터치 스크린이 위치할 수 있다. 플렉시블한 복수의 터치 스크린은 하나의 디스플레이 패널과 복수의 터치 패널을 포함하여 구성될 수 있다. 플렉시블한 복수의 터치 스크린은 복수의 디스플레이 패널에 대응되는 하나의 터치 패널을 포함하여 구성될 수 있다. 또한, 플렉시블한 복수의 터치 스크린은 복수의 디스플레이 패널에 대응되는 복수의 터치 패널을 포함하여 구성될 수 있다.
도 2에 도시된 전자 장치(100)의 구성 요소들은 전자 장치(100)의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
도 2b는 본 발명의 실시예에 따른 외부 장치를 나타내는 개략적인 블럭도이다.
도 2b를 참조하면, 외부 장치(200)는 통신부(230)를 이용하여 전자 장치(100, 101), 다른 외부 장치 또는 서버(300)와 유선 또는 무선으로 연결될 수 있다.
외부 장치(200)는 디스플레이 장치(201), 로봇 청소기(202), 세탁기(203), 에어컨(204), 전등(205) 또는 자동 잠금 장치(auto door lock, 206)을 포함할 수 있다. 또한, 외부 장치(200)는 커튼(도시되지 아니함), 온도 센서를 포함하는 센서(도시되지 아니함), 창문(도시되지 아니함), 냉장고(도시되지 아니함), 선풍기(도시되지 아니함), 차고(garage), 홈 시어터(home theater, 도시되지 아니함), 무선 사운드 바(sound-bar, 도시되지 아니함), 무선 헤드셋(headset, 도시되지 아니함), 무선 이어폰(earphone, 도시되지 아니함), 무선 헤드폰(headphone, 도시되지 아니함), 모니터(도시되지 아니함), 웨어러블 장치(도시되지 아니함), 책갈피(도시되지 아니함), 휴대폰(도시되지 아니함) 또는 스마트 폰(도시되지 아니함)을 포함할 수 있다.
외부 장치(200)는 통신부(230)를 이용하여 전자 장치(100, 101) 또는 서버(300)와 연결할 수 있다. 외부 장치(200)는 제어부(210)의 제어에 의해 기능부(260) 또는 센서부(270)를 이용하여 외부 장치(200)의 내부 또는 외부의 상태를 검출하고, 검출된 상태를 통신부(230)를 통해 전자 장치(100, 101) 또는 서버(300)로 전송할 수 있다. 외부 장치(200)는 각각의 외부 장치(201 내지 206)의 집합을 포함할 수 있다.
외부 장치(200)는 외부 장치(200)의 고유한 기능(function)을 수행할 수 있다. 예를 들어, 외부 장치(200)의 고유 기능은 디스플레이 장치(201)의 방송 수신 기능, 로봇 청소기(202)의 자동 청소 기능, 세탁기(203)의 세탁 기능, 에어컨(204)의 냉방 기능, 전등(205)의 조명 기능, 자동 잠금 장치(206)의 잠금 기능, 냉장고(도시되지 아니함)의 냉장/냉동 기능, 또는 오디오 장치(도시되지 아니함)의 오디오 출력 등을 포함할 수 있다. 외부 장치(200)의 고유 기능은 상기의 기능만으로 한정되지 않는다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
외부 장치(200)는 제어부(210), 통신부(230), 기능부(260), 센서부(270), 저장부(275), 전원 공급부(280) 및 디스플레이부(290)를 포함할 수 있다.
제어부(210)는 프로세서(Processor, 211), 외부 장치(200)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 212) 및 외부 장치(200)의 외부로부터 입력되는 신호 또는 데이터를 저장하거나, 외부 장치(200)에서 수행되는 다양한 작업에 대한 저장 영역으로 사용되는 램(RAM, 213)을 포함할 수 있다.
제어부(210)는 외부 장치(200)의 전반적인 동작 및 외부 장치(200)의 내부 구성 요소들(220 내지 290)간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(210)는 전원 공급부(280)를 이용하여 내부 구성 요소들(220 내지 290)에게 전원 공급을 제어한다. 또한, 사용자의 입력 또는 설정된 조건을 만족하는 경우, 제어부(210)는 센서부(270)의 센서, 저장부(275)에 저장된 OS(Operation System) 또는, 어플리케이션을 실행할 수 있다.
프로세서(211)는 그래픽 처리를 위한 GPU(Graphic Processing Unit, 도시되지 아니함)를 포함할 수 있다. 프로세서(211)는 코어(core, 도시되지 아니함)와 GPU(도시되지 아니함)를 포함하는 SoC(System On Chip) 형태로 구현될 수 있다. 프로세서(211)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 또한, 프로세서(211), 롬(212) 및 램(213)은 버스(bus)로 상호 연결될 수 있다.
제어부(210)는 통신부(230), 기능부(260), 센서부(270), 저장부(275), 전원 공급부(280), 및 디스플레이부(290)를 제어할 수 있다.
본 발명의 실시예에 따른 제어부(210)는 센서부(270) 및 별도의 센서(도시되지 아니함)을 통해 외부 장치(200)의 상태 및 상태 변경을 검출하도록 제어할 수 있다.
제어부(210)는 통신부(230) 및 저장부(275)에 저장된 서버 장치 정보를 이용하여 변경된 외부 장치 상태 정보를 서버(300)로 전송하도록 제어할 수 있다.
제어부(210)는 통신부(230)를 통해 서버(300)에서부터 실행 요청된 그룹 액션에 대응되는 컨트롤 패킷을 수신하도록 제어할 수 있다.
제어부(210)는 서버(300)에서부터 수신된 컨트롤 패킷에 대응하여 외부 장치(200)를 제어할 수 있다.
제어부(210)는 서버 장치 정보, 외부 장치 상태 정보, 또는 그룹 액션 실행에 대응되는 컨트롤 패킷을 저장부(275)에 저장되도록 제어할 수 있다.
본 발명의 실시예에서 “외부 장치의 제어부(210)”이라는 용어는 프로세서(211), 롬(212) 및 램(213)을 포함한다.
본 발명의 실시예에서, 외부 장치(200)의 제어부(210)는 각각의 외부 장치(201 내지 206)의 제어부를 의미할 수 있다.
외부 장치(200)는 이동 통신부(도시되지 아니함)를 포함할 수 있다.
외부 장치(200)의 이동 통신부(도시되지 아니함)는 연결가능한 전화 번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿 PC, 태블릿 장치 또는 다른 전자 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS), 멀티미디어 메시지(MMS) 및 데이터 통신을 위한 무선 신호를 송/수신할 수 있다.
통신부(230)는 무선랜(231), 근거리 통신부(232) 및 유선 이더넷(233) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜(231), 근거리 통신부(232) 및 유선 이더넷(233) 중 하나만 포함하거나 또는 무선랜(231), 근거리 통신부(232) 및 유선 이더넷(233)의 조합을 포함할 수 있다.
무선랜(231)은 제어부(210)의 제어에 의해 AP(access point)가 설치된 장소에서 무선으로 AP와 연결될 수 있다. 무선랜(131)은 예를 들어, 와이-파이(Wi-Fi)를 포함할 수 있다. 무선랜(231)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리 통신부(232)은 제어부(210)의 제어에 의해 AP없이 무선으로 전자 장치(100)와 외부 장치 사이에 근거리 통신을 할 수 있다. 근거리 통신은 블루투스(bluetooth), 블루투스 저 에너지(bluetooth low energy), 적외선 통신(IrDA, infrared data association), UWB(Ultra Wideband) 및 NFC(Near Field Communication) 등을 포함할 수 있다.
통신부(230)는 제어부(210)의 제어에 의해 기능부(260)에서 검출된(또는 저장된) 환경 정보 또는 상태 정보를 서버(300)로 전송할 수 있다. 통신부(230)는 제어부(210)의 제어에 의해 기능부(260)에서 검출된(또는 저장된) 환경 정보 또는 상태 정보를 서버(300)로 주기적(예를 들어, 1 sec, 변경 가능)으로 전송할 수 있다. 또한, 통신부(230)는 서버(300) 및 전자 장치(100) 중 하나에서부터 검출된(또는 저장된) 환경 정보 또는 상태 정보의 전송 요청을 수신할 수 있다.
외부 장치(200)는 통신부(230)를 이용하여 다른 외부 장치(예를 들어, 무선 스피커, 무선 헤드셋 등)와 연결할 수 있다.
외부 장치(200)는 제어부(210)의 제어에 의해 정지 이미지 또는 동영상을 촬영하는 전면의 카메라(도시되지 아니함)를 포함할 수 있다.
외부 장치(200)는 GPS(도시되지 아니함)를 포함할 수 있다. GPS(도시되지 아니함)는 지구 궤도상에 있는 복수의 GPS위성(도시되지 아니함)에서부터 주기적으로 정보(예를 들어, 외부 장치(200)에서 수신가능한 GPS위성의 정확한 위치 정보와 시간 정보)를 수신한다.
기능부(260)는 외부 장치(200)와 다른 장치들과 차별되는 기능을 수행할 수 있다. 기능은 디스플레이 장치의 방송 수신 기능, 로봇 청소기의 자동 청소 기능, 세탁기의 세탁 기능, 에어컨의 냉방 기능, 전등의 조명 기능, 자동 잠금 장치의 잠금 기능, 냉장고의 냉장/냉동 기능, 또는 오디오 장치의 오디오 출력, 등을 포함할 수 있다.
외부 장치(200)가 디스플레이 장치(201)인 경우, 기능부(260)는 제어부(210)의 제어에 의해 디스플레이 패널(도시되지 아니함) 및 튜너(도시되지 아니함)를 통해 수신된 방송 신호에 포함된 비디오를 화면에 표시할 수 있다. 또한, 기능부(260)는 제어부(210)의 제어에 의해 수신된 방송 신호에 포함된 오디오를 스피커(도시되지 아니함)를 통해 출력할 수 있다.
외부 장치(200)가 로봇 청소기(202)인 경우, 기능부(260)는 제어부(210)의 제어에 의해 모터(도시되지 아니함) 및 필터(도시되지 아니함)를 통해 바닥의 먼지를 흡입할 수 있다. 또한, 기능부(260)는 주변 장애물을 피하고 자율 주행을 위한 휠(도시되지 아니함)을 포함할 수 있다.
외부 장치(200)가 세탁기(203)인 경우, 기능부(260)는 제어부(210)의 제어에 의해 뚜껑, 세탁조(도시되지 아니함) 및 모터(도시되지 아니함)를 통해 세탁조에 수납된 세탁물을 세탁할 수 있다. 또한, 기능부(260)는 회전에 의해 진동되는 세탁조의 진동을 감쇠하는 진동 저감 부재(예를 들어, 밸런서(balancer)를 포함할 수 있다.
외부 장치(200)가 에어컨(204)인 경우, 기능부(260)는 제어부(210)의 제어에 의해 냉동 사이클(refrigerating cycle)을 구성하는 압축기(compressor, 도시되지 아니함), 응축기(condenser, 도시되지 아니함), 팽창 밸브(expansion valve, 도시되지 아니함) 및 증발기(evaporator, 도시되지 아니함)을 이용하여 주위 온도를 냉각할 수 있다. 또한, 기능부(260)는 냉매(도시되지 아니함) 및 냉매가 이동하는 튜브(도시되지 아니함)를 포함할 수 있다. 외부 장치가 냉장고인 경우에도 동일하게 적용될 수 있다.
외부 장치(200)가 전등(205)인 경우, 기능부(260)는 제어부(210)의 제어에 의해 소켓에 장착된 전구의 온/오프 또는 전구의 밝기를 변경할 수 있다.
외부 장치(200)가 자동 잠금 장치(206)인 경우, 기능부(260)는 제어부(210)의 제어에 의해 문(door)를 선택적으로 잠금(lock) 또는 잠금 해제(unlock)할 수 있다. 또한, 기능부(260)는 제어부(210)의 제어에 의해 비정상적인 상황에 스피커(도시되지 아니함)를 통해 경고음을 출력할 수 있다.
외부 장치(200)가 DVD 플레이어(207)인 경우, 기능부(260)는 제어부(210)의 제어에 의해 DVD를 재생 시작하거나 또는 재생을 종료할 수 있다. 또한, 기능부(260)는 제어부(210)의 제어에 의해 재생을 일시 정지할 수 있다.
외부 장치(200)가 오디오 장치(도시되지 아니함)인 경우, 기능부(260)는 제어부(210)의 제어에 의해 통신부(230)를 통해 수신되는 오디오 스트리밍을 출력할 수 있다. 또한, 기능부(260)는 제어부(210)의 제어에 의해 오디오를 출력할 수 있다.
외부 장치(200)가 센서(도시되지 아니함)인 경우, 기능부(260)는 센서의 고유 기능을 수행할 수 있다. 기능부(260)에서 검출된 환경 정보(예를 들어, 온도, 기울기, 이동 속도 등) 또는 상태 정보(예를 들어, 전원 온, 대기, 동작 등)을 저장부(275)에 저장할 수 있다. 또한, 센서(도시되지 아니함)는 제어부(260)의 제어에 의해 통신부(230)를 통해 전자 장치(100)로 환경 정보 또는 상태 정보를 전송할 수 있다.
예를 들어, 조도 센서인 경우, 기능부(260)는 주변 조도를 검출할 수 있다. 온도 센서인 경우, 기능부(260)는 온도를 검출할 수 있다. 습도 센서인 경우, 기능부(260)는 주변의 습도를 검출할 수 있다. 가속도 센서인 경우, 기능부(260)는 3축(예를 들어, x축, y축, z축)의 가속도를 검출할 수 있다. 자이로 센서인 경우, 회전 관성을 이용하여 방향을 검출할 수 있다. 상기의 센서뿐만 아니라 다양한 센서로 기능부(260)가 구현될 수 있다는 것은 당해 기술 분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
센서부(270)는 제어부(210)의 제어에 의해 외부 장치(200)의 내부 또는 외부의 상태를 검출할 수 있다. 센서부(270)는 제어부(210)의 제어에 의해 외부 장치(200)의 내부 또는 외부의 상태 변경을 검출할 수 있다. 외부 장치(200)가 센서가 아닌 경우, 외부 장치(200)는 기능부(260) 및 센서부(270)를 모두 포함할 수 있다. 또한, 외부 장치(200)가 센서인 경우, 외부 장치(200)의 센서부(270)는 기능부(260)에 의해 대체될 수 있다.
저장부(275)는 제어부(210)의 제어에 의해 통신부(230), 기능부(260), 센서부(270), 및 디스플레이부(290)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(275)는 외부 장치(200) 또는 제어부(210)의 제어를 위한 제어 프로그램과 제조사에서 제공되거나 외부로부터 다운로드 받은 어플리케이션과 관련된 GUI(graphical user interface), GUI를 제공하기 위한 이미지들, 사용자 정보, 문서, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다.
저장부(275)는 제어부(210)의 제어에 의해 기능부(260)의 동작에 관련된 데이터 또는 센서부(270)에 의해 검출된 환경 정보(예를 들어, 온도, 가속도, 조도 등) 또는 상태 정보(예를 들어, 전원 온, 동작 등)를 저장할 수 있다.
저장부(275)는 서버 장치 정보, 외부 장치 상태 정보, 또는 그룹 액션 실행에 대응되는 컨트롤 패킷을 저장할 수 있다.
전원 공급부(280)는 제어부(210)의 제어에 의해 외부 장치(200) 내부에 위치하는 구성 요소(230 내지 290)에게 전원을 공급할 수 있다. 전원 공급부(280)는 제어부(210)의 제어에 의해 커넥터(도시되지 아니함)와 연결된 유선 케이블(도시되지 아니함)을 통해 외부의 전원 소스(도시되지 아니함)에서부터 입력되는 전원을 외부 장치(200)로 공급할 수 있다. 또한, 전원 공급부(280)는 제어부(210)의 제어에 의해 하나 또는 둘 이상의 배터리(도시되지 아니함)에 전원을 공급하여 출전할 수 있다.
전원 공급부(280)는 제어부(210)의 제어에 의해 하나 또는 둘 이상의 배터리(도시되지 아니함)를 무선 충전(예를 들어, 자기 공명 방식, 전자기파 방식, 또는 자기 유도 방식)할 수 있다.
디스플레이부(290)는 제어부(210)의 제어에 의해 사용자에게 다양한 서비스(예를 들어, 음성 통화, 영상 통화, 데이터 전송, 방송 수신, 사진 촬영, 동영상 보기, 또는 어플리케이션 실행)에 대응되는 GUI(Graphical User Interface)를 제공할 수 있다. 디스플레이 패널(도시되지 아니함)은 다수의 픽셀들(pixels)을 구비하고, 상기 픽셀들을 통해 영상을 표시한다. 예를 들어, 디스플레이 패널(도시되지 아니함)로는 액정 표시 장치(LCD), 유기 발광 다이오드(Organic LED), LED 등이 있다. 디스플레이 패널(도시되지 아니함)은 외부 장치(200)의 각종 동작 상태, 애플리케이션 또는 서비스 실행 등에 따른 다양한 영상과 복수의 객체들을 표시할 수 있다.
디스플레이부(290)는 디스플레이 패널(도시되지 아니함) 및 터치 패널(도시되지 아니함)을 포함하는 터치 스크린(도시되지 아니함)를 포함할 수 있다. 터치 스크린(290)은 예를 들어, 저항막(resistive) 방식, 정전 용량(capacitive) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식으로 구현될 수 있다.
본 발명의 실시예에 따라 디스플레이부(290)는 제어부(210)의 제어에 의해 그룹 액션의 실행에 대응되는 시각 피드백을 출력할 수 있다.
도 1, 도 2a 및 도 2b에서, 전자 장치(100)와 외부 장치(200)로 구분하였으나, 동일 종류인 복수의 전자 장치(예를 들어, 태블릿 장치1, 2)로 구현될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
도 2b에 도시된 외부 장치(200)의 구성 요소들은 외부 장치(200)의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
도 2c는 본 발명의 실시예에 따른 서버를 나타내는 개략적인 블럭도이다.
도 2c를 참조하면, 서버(300)는 통신부(330)를 통해 전자 장치(100) 및 외부 장치(200) 중 적어도 하나와 무선 또는 유선으로 연결할 수 있다. 서버(300)는 외부 장치(200)에게 상태 정보를 요청할 수 있다. 서버(300)는 외부 장치(200)에서부터 상태 정보를 수신할 수 있다. 서버(300)는 전자 장치(100)에서부터 외부 장치(200)의 상태 정보의 전송에 대응되는 요청을 수신할 수 있다. 서버(300)는 전자 장치(100)로 외부 장치(200)의 상태 정보를 전송할 수 있다.
본 발명의 실시예에서, 서버(300)는 외부 장치(200)에서부터 수신된 상태 정보를 저장하고, 저장된 상태 정보를 전자 장치(100) 및/또는 전자 장치(101)로 전송할 수 있는 컴퓨팅 장치(computing apparatus)를 의미할 수 있다. 서버(300)는 게이트웨이(gateway, 도시되지 아니함), 홈 네트워크 서버(도시되지 아니함) 또는 클라우드 서버(cloud server, 도시되지 아니함)를 포함할 수 있다. 디스플레이 장치 또는 냉장고가 서버(300) 역할을 수행할 수도 있다.
서버(300)는 제어부(310), 통신부(330), 저장부(375), 전원 공급부(380) 및 디스플레이부(370)를 포함할 수 있다.
제어부(310)은 프로세서(Processor, 311)를 포함한다. 제어부(310)은 프로세서(311) 및 서버(300)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 312)을 포함할 수 있다. 또한, 제어부(310)은 프로세서(311), 롬(312) 및 서버(300)의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 서버(300)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램(RAM, 313)을 포함할 수 있다.
제어부(310)은 전원 공급부(390)에서부터 내부 구성요소들(330 내지 390)에게 공급되는 전원을 제어한다.
제어부(310)는 통신부(330), 저장부(375), 전원 공급부(380) 및 디스플레이부(370)를 제어할 수 있다.
제어부(310)는 서버와 연결되는 하나 또는 복수의 외부 장치를 제어하는 제2 그룹 액션의 실행 요청을 제2 전자 장치에서부터 수신하고, 상기 외부 장치의 일부를 제어하는 제1 그룹 액션의 실행 요청을 제1 전자 장치에서부터 수신하여 실행 중인 상기 제2 그룹 액션과 실행 요청된 상기 제2 그룹 액션의 충돌에 대응되는 그룹 액션 솔루션 정보를 상기 제1 전자 장치로 전송하도록 제어할 수 있다.
제어부(310)는 상기 그룹 액션 솔루션 정보에 포함되는 상기 그룹 액션 충돌에 대응되는 추천 그룹 액션 및 알람 설정 중 하나를 상기 제1 전자 장치로 전송되도록 제어할 수 있다.
제어부(310)는 상기 그룹 액션 충돌에 대응되는 하나의 추천 그룹 액션 및 복수의 추천 그룹 액션 중 하나를 상기 제1 전자 장치로 전송되도록 제어할 수 있다.
제어부(310)는 상기 그룹 액션의 충돌을 상기 제1 그룹 액션 및 상기 제2 그룹 액션에 포함되는 동일한 외부 장치에 의해 결정되도록 제어할 수 있다.
제어부(310)는 상기 그룹 액션의 충돌을 상기 제1 그룹 액션에 대응되는 제1 그룹 액션 동작 영역 및 상기 제2 그룹 액션에 포함되는 제2 그룹 액션 동작 영역을 이용하여 결정되도록 제어할 수 있다.
제어부(310)는 상기 그룹 액션의 충돌을 상기 제1 그룹 액션에 대응되는 제1 그룹 액션 특성 및 상기 제2 그룹 액션에 대응되는 제2 그룹 액션 특성에 의해 결정되도록 제어할 수 있다.
제어부(310)는 상기 그룹 액션의 충돌을 상기 제2 그룹 액션의 실행에 대응되어 변경된 상기 외부 장치의 상태 정보와 상기 제1 그룹 액션에 대응되는 상기 외부 장치 중 일부 외부 장치의 상태 정보를 이용하여 결정되도록 제어할 있다.
제어부(310)는 수신된 상기 제1 그룹 액션의 실행 요청에 의해 상기 제1 그룹 액션에 대응되는 상기 외부 장치 중 일부 외부 장치에게 상태 정보를 요청하도록 제어할 수 있다.
제어부(310)는 상기 제1 그룹 액션의 충돌에 대응되는 그룹 액션 충돌 정보를 상기 제1 전자 장치로 전송하도록 제어할 수 있다.
제어부(310)는 상기 제1 그룹 액션의 충돌에 대응되는 그룹 액션 솔루션 정보를 상기 제1 전자 장치로 전송하도록 제어할 수 있다.
제어부(310)은 통신부(330)를 통해 외부 장치(200)에서부터 각각의 외부 장치 상태 정보를 수신할 수 있다. 제어부(310)는 수신된 각각의 외부 장치 상태 정보를 통신부(330)를 통해 전자 장치(100, 또는 101)로 전송할 수 있다.
제어부(310)는 통신부(330)를 통해 수신된 각각의 외부 장치 상태 정보를 이용하여 그룹 액션, 추천 그룹 액션, 또는, 추천 그룹 액션(또는 추천 그룹 액션 리스트)를 생성하여 전자 장치(100, 101)로 전송할 수 있다.
제어부(310)는 통신부(330)을 통해 그룹 액션 실행에 대응되는 컨트롤 패킷을 전자 장치(100, 101)에서부터 수신할 수 있다.
제어부(310)는 통신부(330)를 통해 수신된 외부 장치 상태 정보를 관리 소프트웨어를 이용하여 분석하고, 그룹 액션 충돌 정보(group action conflict information) 또는 그룹 액션 충돌 이력(group action conflict history)을 생성할 수 있다.
제어부(310)는 실행 요청된 제1 그룹 액션 및 실행 중인 제2 그룹 액션 사이에 발생되는 그룹 액션 충돌에 대응되는 솔루션 정보를 생성할 수 있다.
제어부(310)는 통신부(330)를 통해 그룹 액션 충돌 정보, 그룹 액션 충돌 이력, 또는 그룹 액션 솔루션 정보를 전자 장치(100)로 전송할 수 있다.
통신부(330)은 제어부(310)의 제어에 의해 전자 장치(100, 101) 및 외부 장치(200)와 무선 또는 유선으로 연결될 수 있다. 통신부(330)는 무선랜(331), 근거리 통신부(332) 및 유선 이더넷(333) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜(331), 근거리 통신부(332) 및 유선 이더넷(333) 중 하나만 포함하거나 또는 무선랜(331), 근거리 통신부(332) 및 유선 이더넷(333)의 조합을 포함할 수 있다.
무선랜(331)은 제어부(310)의 제어에 의해 AP(access point)가 설치된 장소에서 무선으로 AP와 연결될 수 있다. 무선랜(131)은 예를 들어, 와이파이(Wi-Fi)를 포함할 수 있다. 무선랜(331)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리 통신부(332)은 제어부의 제어에 의해 AP없이 무선으로 전자 장치(100) 및 외부 장치(200)와 근거리 통신을 할 수 있다. 근거리 통신부(332)는 예를 들어, 블루투스(bluetooth), 블루투스 저 에너지(bluetooth low energy), 적외선 통신(IrDA, infrared data association), UWB(Ultra Wideband), 또는, NFC(Near Field Communication) 등을 포함할 수 있다.
통신부(330)는 제어부(310)의 제어에 의해 외부 장치(200)에서부터 외부 장치 환경 정보 또는 외부 장치 상태 정보를 수신할 수 있다.
통신부(330)는 제어부(310)의 제어에 의해 전자 장치(100, 101)에서부터 외부 장치 환경 정보 또는 외부 장치 상태 정보의 전송에 대응되는 요청을 수신할 수 있다.
통신부(330)는 제어부(310)의 제어에 의해 전자 장치(100, 101)로 외부 장치 환경 정보 또는 외부 장치 상태 정보를 전송할 수 있다.
통신부(330)는 제어부(310)의 제어에 의해 충돌 정보, 그룹 액션 충돌 이력, 또는 솔루션 정보를 전자 장치(100, 101)로 전송할 수 있다.
서버(300)는 오디오를 출력하는 스피커(도시되지 아니함)를 포함할 수 있다.
저장부(375)는 제어부(310)의 제어에 의해 서버(300)를 구동하고 제어하기 위한 다양한 데이터, 제어 프로그램을 저장할 수 있다. 저장부(375)는 통신부(330), 전원 공급부(380) 및 디스플레이부(390)의 구동에 대응되는 입력/출력되는 신호 또는 데이터를 저장할 수 있다.
저장부(375)는 외부 장치 환경 정보, 외부 장치 상태 정보, 전자 장치 환경 정보, 또는, 전자 장치 상태 정보를 저장할 수 있다.
저장부(375)는 하나 또는 복수의 그룹 액션을 저장할 수 있다.
저장부(375)는 그룹 액션의 실행에 대응되는 컨트롤 패킷을 저장할 수 있다.
저장부(375)는 전자 장치(100, 101), 외부 장치(200), 전자 장치(100, 101)의 상태 정보 및 외부 장치(200)의 상태 정보를 관리하는 관리 소프트웨어(도시되지 아니함)를 저장할 수 있다.
저장부(375)는 외부 장치(200)로 전송된 컨트롤 패킷에 대응하여 수신되는 변경된 외부 장치의 상태 정보를 저장할 수 있다.
저장부(375)는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
전원 공급부(380)는 제어부(310)의 제어에 의해 서버(300) 내부의 구성 요소들(330 내지 380)에게 외부의 전원 소스에서부터 입력되는 전원을 공급한다.
디스플레이부(390)는 제어부(310)의 제어에 의해 전자 장치(100) 또는 외부 장치(200)에서부터 수신된 정보(예를 들어, 환경 정보, 상태 정보, 제어 커맨드 등)에 대응되는 심볼, 이미지 또는 텍스트를 표시할 수 있다. 디스플레이부(390)는 예를 들어, LCD(liquid crystal display) 방식, OLED(Organic Light Emitting Diodes) 방식, PDP(Plasma Display Panel) 방식, 또는 VFD(Vacuum fluorescent display) 방식을 포함할 수 있다. 디스플레이 방식에 따라 표시가능한 비디오 및/또는 텍스트 정보가 다를 수 있다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
도 1 및 도 2c의 서버(300)에 도시된 구성 요소들(예를 들어, 330 내지 280)은 서버(300)의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
도 3a는 본 발명의 실시예에 따른 서버 및 서버의 그룹 액션 제어방법을 나타내는 개략적인 순서도이다.
도 4a 및 도 4b는 본 발명의 다른 실시예에 따른 전자 장치, 외부 장치, 서버 및 전자 장치의 그룹 액션 제어방법을 나타내는 개략적인 연속도(sequence diagram)이다.
도 5a 내지 5i는 본 발명의 실시예에 따른 전자 장치의 화면 예를 나타내는 도면이다.
도 3a의 단계(S301)에서, 제2 전자 장치에서 제2 그룹 액션 실행의 요청이 수신된다.
제2 사용자의 입력이 수신되는 경우, 제2 전자 장치(101)는 제2 그룹 액션의 실행을 서버(300)에게 요청할 수 있다. 서버(300)는 제2 그룹 액션의 실행 요청을 제2 전자 장치(101)에서부터 수신할 수 있다.
도 4a, 도 4b 및, 도 5a를 참조하면, 제2 사용자는 제2 전자 장치(101)에서 제2 그룹 액션을 실행할 수 있다(401. 402, 403, 451, 453, 454)
제2 전자 장치(101)에서 제2 사용자가 제2 그룹 액션을 실행하기 전, 제2 사용자는 제2 전자 장치(101)의 화면에 표시된 단축 아이콘(도 1의 193a 내지 193h) 중에서 선택 대상인 어플리케이션(예를 들어, 댁내 외부 장치 제어 어플리케이션)에 대응되는 단축 아이콘(도 1의 193a)을 터치(도시되지 아니함)할 수 있다. 제어부(110)는 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 이용하여 터치(도시되지 아니함)를 검출할 수 있다. 제어부(110)는 터치 스크린 컨트롤러(195)에서부터 수신되는 전기 신호를 이용하여 터치(도시되지 아니함)에 대응되는 터치 위치(예를 들어, X와 Y좌표, 도시되지 아니함)를 산출할 수 있다.
제어부(110)는 터치 위치(도시되지 아니함)에 대응되는 터치 위치 정보를 저장부(175)에 저장할 수 있다. 저장되는 터치 위치 정보는 이력 관리를 위한 터치 식별자(ID), 터치 위치, 터치 검출 시간, 또는 터치 정보(예를 들어, 터치 압력, 터치 방향, 터치 지속 시간 등)를 포함할 수 있다.
도 5a 및 도 5b를 참조하면, 제2 전자 장치(101)의 제어부(110)는 터치(도시되지 아니함)에 대응되는 어플리케이션 화면(500)을 표시할 수 있다.
어플리케이션 화면(500)은 어플리케이션 이름 영역(application title area, 510), 표시 영역(display area, 520) 및 인터랙션 영역(interaction area, 530)을 포함할 수 있다. 어플리케이션 화면(500)에서, 표시 영역(520)은 인터랙션 영역(530)을 포함할 수 있다. 표시 영역(520)이 인터랙션 영역(530)을 포함하는 경우, 어플리케이션 화면(500)은 어플리케이션 이름 영역(510) 및 표시 영역(520)으로 표시될 수도 있다.
어플리케이션 이름 영역(510)은 어플리케이션 이름(application title, 511), 메뉴(menu, 512) 또는 새로 고침(refresh, 513)을 포함할 수 있다. 메뉴(512) 및/또는 새로 고침(513)은 텍스트, 이미지 및 심볼(symbol) 중 하나로 표시될 수 있다.
표시 영역(520)에 어플리케이션에서 제공하는 다양한 화면이 표시될 수 있다. 예를 들어, 그룹 액션 리스트 화면(group action list screen, 540), 그룹 액션 상세 화면(group action detail screen, 550), 그룹 액션 충돌 화면(group action conflict screen, 560), 그룹 액션 솔루션 화면(group action solution screen, 570), 솔루션 상세 화면(solution detail screen, 580) 또는 그룹 액션 알림 설정 화면(group action notification setting screen, 590)을 포함할 수 있다. 또한, 제2 전자 장치(101)는 표시 영역(520)을 통해 다양한 화면의 표시뿐만 아니라 사용자 입력(예를 들어, 터치, 터치 제스처 등) 또는 입력 유닛(예를 들어, 스타일러스 등, 도시되지 아니함)의 입력을 수신할 수 있다.
표시 영역(520)에 표시되는 다양한 화면에 대한 상세한 설명은 각각의 단계에서 후술하겠다.
어플리케이션 화면(500)은 어플리케이션에서부터 사용자에게 제공되는 인터랙션(예를 들어, 텍스트 또는 이미지 등)을 표시하거나 또는 사용자에서부터 어플리케이션으로 입력되는 인터랙션(예를 들어, 터치 또는 터치 제스처 등)을 수신하는 인터랙션 영역(530)을 포함할 수 있다.
도 5a에서, 표시 영역(520)에 그룹 액션 리스트 화면(540)이 표시된다.
도 4a 및 도 4b를 참조하면, 사용자는 하나 또는 복수의 그룹 액션을 등록할 수 있다(401).
등록된 하나 또는 복수의 그룹 액션은 서버(300)의 저장부(375) 또는 전자 장치(100)의 저장부(175)에 저장될 수 있다.
그룹 액션 리스트 화면(540)은 표시 영역 이름(display area title, 541), 사용자(예를 들어, 제2 사용자)가 선택가능한 하나 또는 복수의 그룹 액션(542) 및 선택 박스(543)를 포함할 수 있다. 사용자에 의해 선택가능한 하나 또는 복수의 그룹 액션(542)이 표시될 수 있다.
그룹 액션 리스트 화면(540)에 표시되는 사용자가 선택가능한 그룹 액션(542)은 청소(cleaning home, 542a), 비디오 시청(smart video watching, 542b), 에너지 절약(energy saving, 542c), 취침(sleeping, 542d), 저녁 식사(dinner, 542e) 또는 공부(studying, 542f)를 포함할 수 있다. 또한, 도시되지 아니한 그룹 액션은 방해 금지(blocking mode), 긴급(urgent mode), 지연(delay mode), 안전(safe mode), 냉방(cooling mode), 난방(heating mode), 밝음(bright mode), 또는 어두움(dark mode)를 포함할 수 있다. 상술된 그룹 액션은 하나의 실시예이며, 사용자에 의해 추가, 변경 또는 삭제될 수 있다는 것은 당해 기술 분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
제2 사용자는 그룹 액션 리스트(542)의 하나의 그룹 액션(예를 들어, 제2 그룹 액션, 542b)에 제1 터치를 한다. 또한, 제2 사용자는 그룹 액션 리스트 화면(540)에서 비디오 시청(542b)에 대응되는 선택 박스(543b)에 제1 터치(501)를 할 수 있다.
제2 전자 장치(101)의 제어부(110)는 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 이용하여 제1 터치(501)를 검출할 수 있다. 제2 전자 장치(101)의 제어부(110)는 터치 스크린 컨트롤러(195)에서부터 수신되는 전기 신호를 이용하여 제1 터치(501)에 대응되는 제1 터치 위치(501a, 예를 들어, X1와 Y1좌표)를 산출할 수 있다.
제2 전자 장치(101)의 제어부(110)는 제1 터치 위치(501a)에 대응되는 제1 터치 위치 정보를 저장부(175)에 저장할 수 있다. 저장되는 제1 터치 위치 정보는 이력 관리를 위한 터치 식별자(ID), 터치 위치, 터치 검출 시간, 또는 터치 정보(예를 들어, 터치 압력, 터치 방향, 터치 지속 시간 등)를 포함할 수 있다.
제2 전자 장치(101)의 제어부(110)는 제1 터치(501)에 대응하여 선택 박스(543b)에 체크 마크(543b1)을 표시할 수 있다. 또한, 제2 전자 장치(101)의 제어부(110)는 제1 터치(501)에 대응하여 그룹 액션 상세 화면(group action detail screen, 550)를 표시할 수 있다.
도 5b에서, 표시 영역(520)에 그룹 액션 상세 화면(550)이 표시된다.
그룹 액션 상세 화면(550)은 표시 영역 이름(551), 외부 장치(200)에 대응되는 식별자(ID, 예를 들어, 아이콘, 552) 및 외부 장치(200)의 상태(status, 553)를 표시할 수 있다. 그룹 액션 상세 화면(550)은 제2 사용자의 선택을 표시하는 선택 박스(554)를 더 포함할 수 있다. 또한, 그룹 액션 상세 화면(550)은 그룹 액션에 대응되는 외부 장치(200)의 동작 영역(working area)을 나타내는 그룹 액션 동작 영역(555) 또는 그룹 액션에 대응되는 외부 장치(200)의 동작 특성(working characteristic)에 대응되는 그룹 액션 특성(556)을 표시할 수 있다.
비디오 시청(542b)에 대응되는 그룹 액션 상세 화면(550)에서, 디스플레이 장치(552a), DVD 플레이어(552b), 전등(552c) 및 자동 잠금 장치(552d) 중 디스플레이 장치(552a), DVD 플레이어(552b) 및 전등(552c)이 선택(예를 들어, 선택 박스(554a 내지 554c)에 체크 마크(554a1 내지 554c1)가 표시)되어 있다.
그룹 액션 상세 화면(550)에 표시되는 외부 장치(200)의 식별자(552)는 디스플레이 장치(552a), DVD 플레이어(552b), 전등(552c) 또는 자동 잠금 장치(552d)를 포함할 수 있다. 또한, 그룹 액션 상세 화면(550)에 표시되는 외부 장치(200)의 식별자(552)는 로봇 청소기(552e, 도 5d 참조) 또는, 에어컨(552f, 도 5d 참조)를 포함할 수 있다.
도시되지 아니한 외부 장치(200)는 통신부(230)를 이용하여 전자 장치(100, 101) 또는 서버(300)와 연결할 수 있다. 외부 장치(200)는 제어부(210)의 제어에 의해 기능부(260) 또는 센서부(270)를 이용하여 외부 장치(200)의 내부 또는 외부의 상태를 검출하고, 검출된 상태를 통신부(230)를 통해 전자 장치(100, 101) 또는 서버(300)로 전송할 수 있다.
상술된 외부 장치에 한정되지 않고 통신부를 통해 전송 시점의 상태 정보 또는 변경된 상태 정보를 전송가능한 다양한 외부 장치가 있다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
본 발명의 실시예에서, 외부 장치(200)의 상태는 외부 장치(200)의 상황(context)를 의미할 수 있다. 외부 장치(200)의 상태에 대응되는 상태 정보는 외부 장치(200)의 상황 정보(context information)를 의미할 수 있다. 외부 장치(200)의 상태 변경은 외부 장치(200)의 상황 정보 변경과 동일한 의미일 수 있다.
외부 장치(200)의 상태 정보는 식별자(ID), 외부 장치 이름, 외부 장치의 동작 정보(operation information, 예를 들어, 동작(busy), 대기(standby), 전원 온/오프(power on/off), 데이터 전송(data transfer) 등에 관한 정보), 외부 장치(200)의 공간 정보(예를 들어, 위치, 이동 방향, 이동 속도 등에 관한 정보), 외부 장치(200)의 주변 환경 정보(예를 들어, 온도, 습도, 조도, 소음 등에 관한 정보), 외부 장치(200)의 가용 자원 정보(예를 들어, 배터리 잔량, 디스플레이 해상도, 프로세서 클락 스피드, 메모리 리소스 등에 관한 정보), 외부 장치(200)의 동작에 대응되는 이력 정보(예를 들어, 동작 시간, 대기 시간 등에 관한 이력 정보) 또는 외부 장치(200)의 장애 정보(예를 들어, 장애 부위, 장애 발생 시간, A/S 조치, A/S 일자 등에 관한 정보) 등의 항목을 포함할 수 있다.
전자 장치(100)의 상태 정보는 식별자(ID), 전자 장치 이름, 전자 장치(100)의 동작 정보(예를 들어, 동작(busy), 대기(standby), 전원 온/오프(power on/off), 데이터 전송(data transfer) 등에 관한 정보), 전자 장치(100)의 공간 정보(예를 들어, 위치, 이동 방향, 이동 속도 등에 관한 정보), 전자 장치(100)의 주변 환경 정보(예를 들어, 온도, 습도, 조도, 소음 등에 관한 정보), 전자 장치(100)의 가용 자원 정보(예를 들어, 배터리 잔량, 디스플레이 해상도, 프로세서 클락 스피드, 메모리 리소스 등에 관한 정보), 전자 장치(100)의 동작에 대응되는 이력 정보(예를 들어, 동작 시간, 대기 시간 등에 관한 정보) 또는 전자 장치(100)의 장애 정보(예를 들어, 장애 부위, 장애 발생 시간, A/S 조치, A/S 일자 등에 관한 정보) 등의 항목을 포함할 수 있다. 또한, 전자 장치(100)의 상태 정보는 전자 장치(100)를 휴대하는 사용자에 대응되는 사용자 정보(예를 들어, 사용자 식별자(ID), 패스워드, 사용자 이름. 사용자의 생체 정보(예를 들어, 지문, 홍채, 맥박, 혈압, 체온 등에 관한 정보) 등을 포함할 수 있다.
사용자 입력에 의해 사용자의 주변(예를 들어, 거실, 주방, 방, 사무실, 또는 회의실 등)에 위치하는 외부 장치(200)의 상태(state)가 변경될 수 있다. 외부 장치(200)의 상태 및 상태 변경은 외부 장치(200)의 센서부(270) 또는 기계식/전자식 스위치의 움직임을 검출하는 센서(도시되지 아니함)를 통해 검출될 수 있다.
기설정된 조건(예를 들어, 일몰, 우천 등)에 의해 주변에 위치하는 외부 장치(200)의 상태가 자동으로 변경될 수 있다. 외부 장치(200)는 사용자의 상태 변경(예를 들어, 외출 등) 또는 설정 조건(예를 들어, 오후 3시에 청소)의 충족에 대응하여 상태 변경(예를 들어, 청소 시작)될 수 있다.
사용자는 사용자의 상태(예를 들어, 사용자의 외출, 사용자의 취침 등) 변경에 대응하여 주변에 위치하는 외부 장치(200)의 상태를 자동 또는 수동으로 변경할 수 있다. 사용자에 의한 외부 장치(200)의 수동 상태 변경은 사용자가 직접 외부 장치(200)의 상태를 변경(예를 들어, 외부 장치(200)의 전원 버튼을 누름) 또는 사용자에 의해 전자 장치(100)의 어플리케이션을 이용하여 외부 장치(200)의 상태를 변경을 포함할 수 있다.
사용자가 집 밖으로 나가기 전, 사용자는 수동으로 디스플레이 장치(201)의 전원 오프(off), 로봇 청소기(202)의 청소 시작(on), 세탁기(203)의 세탁 시작, 에어컨(204)의 전원 오프, 전등(205)의 전원 오프 또는 자동 잠금 장치(auto door lock, 206)의 잠금(lock)으로 상태를 변경할 수 있다. 또한, 사용자가 집 밖으로 나가기 전, 사용자는 집 안에 있는 외부 장치(201 내지 206)를 사용자에게 익숙한 다양한 조합으로 상태 변경할 수 있다. 예를 들어, 다양한 조합은 외부 장치의 상태 변경 순서 또는 외부 장치의 상태 변경 개수 (예를 들어, 하나의 외부 장치만 상태 변경, 2개의 외부 장치만 상태 변경, 3개의 외부 장치만 상태 변경, 4개의 외부 장치만 상태 변경, 5개의 외부 장치만 상태 변경, 또는 모든 외부 장치의 상태 변경 등)를 포함할 수 있다.
그룹 액션 상세 화면(550)에 표시되는 그룹 액션 동작 영역(555)은 집 전체 (home), 거실, 주방, 방, 사무실, 또는 회의실 등을 포함할 수 있다. 그룹 액션이 생성되는 경우, 사용자는 그룹 액션이 수행될 공간을 나타내는 그룹 액션 동작 영역(555)을 설정할 수 있다. 이에 따라 그룹 액션 동작 영역(555)으로 설정된 공간 에서 외부 장치(200)가 그룹 액션을 수행할 수 있다. 예를 들어, 선택된 그룹 액션에 포함되는 전등(205)의 온/오프를 설정(예를 들어, 집 전체 전등을 온/오프, 거실 전등을 어둡게, 또는, 공부방 전등을 가장 밝게 등)할 수 있다. 선택된 그룹 액션에 포함되는 로봇 청소기(202)의 청소 영역을 설정(예를 들어, 집 전체 또는, 거실 등)할 수 있다.
상기의 그룹 액션 동작 영역에 한정되지 않고 다양한 그룹 액션 동작 영역이 있다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
본 발명의 실시예에서, 서버(300)의 제어부(310)는 그룹 액션 동작 영역(555)을 이용하여 실행 요청된 그룹 액션과 실행중인 그룹 액션의 그룹 액션 충돌을 결정할 수 있다. 또한, 전자 장치(100)의 제어부(110)는 그룹 액션 동작 영역(555)을 이용하여 요청된 그룹 액션과 실행중인 그룹 액션의 그룹 액션 충돌을 결정할 수 있다.
그룹 액션 상세 화면(550)에 표시되는 그룹 액션 특성(556)은 침묵(silent), 어둡게(dim), 침묵 및 어둡게(silent & dim), 소음(noise), 추운(cold), 또는, 더운(hot) 등을 포함할 수 있다. 그룹 액션 특성(556)은 조합(예를 들어, 침묵 및 어둡게)할 수도 있다. 그룹 액션이 생성되는 경우, 사용자는 그룹 액션에 대응되는 외부 장치(200)의 동작 특성에 대응되는 그룹 액션 특성(556)를 설정할 수 있다. 예를 들어, 그룹 액션 중 하나인 청소(542a)의 그룹 액션 특성은 소음(noise)일 수 있다. 그룹 액션 중 다른 하나인 비디오 시청(542b)의 그룹 액션 특성은 “침묵 및 어둡게” 일 수 있다.
상기의 그룹 액션 특성에 한정되지 않고 다양한 그룹 액션 특성이 있다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
본 발명의 실시예에서, 서버(300)의 제어부(310)는 그룹 액션 특성(556)을 이용하여 실행 요청된 그룹 액션과 실행중인 그룹 액션의 그룹 액션 충돌을 결정할 수 있다. 또한, 전자 장치(100)의 제어부(110)는 그룹 액션 특성(556)을 이용하여 실행 요청된 그룹 액션과 실행중인 그룹 액션의 그룹 액션 충돌을 결정할 수 있다.
제2 사용자는 그룹 액션 상세 화면(550)의 선택 박스(554a 내지 554d)에 대한 선택을 변경할 수 있다. 제2 사용자의 터치(도시되지 아니함)에 의해 선택 박스(554a 내지 554d)에 대한 선택이 변경될 수 있다. 예를 들어, 제2 사용자가 전등(552c)에 대응되는 선택 박스(554c)에 터치(도시되지 아니함)를 하는 경우, 제2 전자 장치(101)의 제어부(110)는 제2 사용자의 터치에 대응하여 선택 박스(554c)의 체크 마크(554c1)를 사라지게 할 수 있다. 또한, 제2 사용자의 추가 터치(도시되지 아니함)에 대응하여 제2 전자 장치(101)의 제어부(110)는 다른 선택 박스(554a 또는 554b)의 체크 마크(554a1 또는 554c1)를 사라지게 할 수 있다.
제2 사용자는 선택된 그룹 액션인 비디오 시청(542b)의 실행에 대응되는 버튼(531)에 제2 터치(502)를 한다.
제2 전자 장치(101)의 제어부(110)는 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 이용하여 제2 터치(502)를 검출할 수 있다.
제2 전자 장치(101)의 제어부(110)는 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 이용하여 제2 터치(502)를 검출할 수 있다. 제2 전자 장치(101)의 제어부(110)는 터치 스크린 컨트롤러(195)에서부터 수신되는 전기 신호를 이용하여 제2 터치(502)에 대응되는 제2 터치 위치(502a, 예를 들어, X2와 Y2좌표)를 산출할 수 있다.
제2 전자 장치(101)의 제어부(110)는 제2 터치 위치(502a)에 대응되는 제2 터치 위치 정보를 저장부(175)에 저장할 수 있다. 저장되는 제2 터치 위치 정보는 이력 관리를 위한 터치 식별자(ID), 터치 위치, 터치 검출 시간, 또는 터치 정보(예를 들어, 터치 압력, 터치 방향, 터치 지속 시간 등)를 포함할 수 있다.
도 4a 및 도 4b를 참조하면, 제2 터치(502)가 검출되는 경우, 제2 전자 장치(101)의 제어부(110)는 선택된 제2 그룹 액션(542b)의 실행을 서버(300)로 요청할 수 있다(402, 453).
또한, 제2 터치(502)가 검출되는 경우, 제2 전자 장치(101)의 제어부(110)는 표시된 제2 그룹 액션(542b)의 실행을 제2 그룹 액션(542b)에 대응되는 외부 장치(200)에게 직접 요청할 수 있다.
제2 터치(502)가 검출되는 경우, 제2 전자 장치(100)의 제어부(110)는 제2 그룹 액션(542b)에 대응되는 제2 그룹 액션 정보에 포함되는 외부 장치(200)의 상태를 변경하는 제어 커맨드(예를 들어, 컨트롤 패킷)를 생성할 수 있다.
제2 전자 장치(101)의 제어부(110)는 생성된 제어 커맨드를 통신부(130)를 통해 서버(300)로 전송할 수 있다. 제어부(110)는 제어 커맨드를 외부 장치(200)에 대응하여 각각(예를 들어, 디스플레이 장치(201)에 대응되는 제어 커맨드 등) 생성할 수 있다. 또한, 제2 전자 장치(101)의 제어부(110)는 제어 커맨드를 외부 장치200) 모두에 대응하여 하나의 통합 제어 커맨드를 생성할 수도 있다. 통신부(130)를 통해 전송되는 제어 커맨드의 구조는 계층적(hierarchical) 구조를 가질 수 있다.
제어 커맨드에 대응되는 컨트롤 패킷은 수신처(예를 들어, 서버) 주소 및 길이(length)에 대응되는 MAC 헤더(MAC header, 도시되지 아니함), 외부 장치의 상태 정보 변경에 대응되는 페이로드(payload, 도시되지 아니함) 및 전송 오류 검출에 대응되는 CRC(cyclical redundancy check, 도시되지 아니함)를 포함하는 3개의 프레임으로 구성될 수 있다.
저장부(175)는 제2 전자 장치(101)의 제어부(110)의 제어에 의해 제2 그룹 액션(542b)의 실행에 대응하여 생성된 제어 커맨드를 저장할 수 있다.
서버(300)의 제어부(310)는 제2 전자 장치(101)에서 전송된 제2 그룹 액션(542b)에 대응되는 제어 커맨드를 통신부(330)를 통해 수신할 수 있다. 수신된 제어 커맨드는 제어부(310)의 제어에 의해 저장부(375)에 저장될 수 있다.
아래 <표 1>는 제2 전자 장치(101)에서부터 전송되어 서버(300)의 저장부(375)에 저장된 제2 그룹 액션(542b)에 대응되는 제어 커맨드의 예를 나타낼 수 있다.
Variable Example Description
Name Smart Video Watching Group action name
Owner User 2 Group action owner
User User 2 Group action executor
Start Time PM 05:06:00 Group action start time
End Time PM 07:46:27 Group action end time
Member TV, DVD Player, Lighter Group action resources member
Dominant Member DVD Player Group action dominant member
Action List 3
Service Area (On, Home) Group action Resource working area(Semantic Location)
Service
Characteristic		 (On, Silent)
(On, Darkness)		 Group action Characteristic
User Request No interrupt mode User input service mode.
i.e., "No interrupt mode" →
!MAKE_SOUND && !BRIGHTNESS
여기서, 그룹 액션 정보는 그룹 액션 이름, 그룹 액션 생성한 유저 이름, 그룹 액션 실행 유저 이름, 그룹 액션 시작 시간, 그룹 액션 종료 시간, 그룹 액션에 포함되는 외부 장치 멤버, 그룹 액션의 서비스 실행 여부를 결정하는 그룹 액션의 주 멤버, 그룹 액션 리스트, 그룹 액션에 포함되는 액션 수, 그룹 액션이 실행되는 서비스 영역, 그룹 액션의 특성 또는 그룹 액션 실행에 있어 사용자가 직접 선택한 서비스 모드인 유저 요청 사항을 포함할 수 있다.
상술된 항목에 한정되지 않고 외부 장치의 다양한 상태를 나타낼 수 있는 항목들을 포함한다는 것은 당해 기술 분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
서버(300)의 제어부(310)는 저장된 외부 장치 정보 및 수신된 제어 커맨드를 이용하여 그룹 액션(542b) 실행 대상인 외부 장치(201, 205, 207)로 외부 장치 상태 정보의 요청에 대응되는 제어 커맨드를 생성할 수 있다. 서버(300)의 제어부(310)는 생성된 제어 커맨드를 외부 장치(201, 205, 207)로 각각 전송할 수 있다. 또한, 제어부(310)는 외부 장치 상태 정보의 요청에 대응되는 하나의 통합 제어 커맨드를 외부 장치(201, 205, 207)로 각각 전송할 수도 있다.
서버(300)의 제어부(310)는 그룹 액션(542b)에서 주 외부 장치(예를 들어, DVD 플레이어)를 결정할 수 있다. 주 외부 장치는 실행 요청된 그룹 액션(542b)의 서비스 실행에 주요한 외부 장치일 수 있다. 예를 들어, 그룹 액션이 비디오 시청인 경우, 주 외부 장치는 비디오를 재생하는 DVD 플레이어(207)일 수 있다. 그룹 액션이 청소인 경우, 주 외부 장치는 로봇 청소기(202)일 수 있다. 그룹 액션의 주 외부 장치는 서버(예를 들어, 관리 소프트웨어, 300) 또는 사용자 입력에 의해 결정될 수 있다.
외부 장치(201, 205, 207)의 제어부(210)는 통신부(230)를 통해 제어 커맨드를 수신할 수 있다. 외부 장치(201, 205, 207)의 각 제어부(210)는 수신된 제어 커맨드를 저장부(275)에 저장할 수 있다. 외부 장치(201, 205, 207)의 제어부(210)는 수신된 외부 장치 상태 정보의 요청에 대응되는 통합 제어 커맨드에서 각각의 외부 장치(201, 205, 207)에 대응되는 제어 커맨드만을 추출할 수 있다.
외부 장치(201, 205, 207)의 각 제어부(210)는 수신된 제어 커맨드에 대응하여 외부 장치(201, 205, 207)의 상태를 결정할 수 있다. 예를 들어, 디스플레이 장치(201)의 제어부(210)는 전원 오프(off)를 결정할 수 있다. 전등(205)의 제어부(210)는 전원 온을 결정할 수 있다. 또한, DVD 플레이어(207)의 제어부(210)는 전원 오프를 결정할 수 있다. 각각의 외부 장치(201, 205, 207)의 제어부는 결정된 외부 장치 상태 정보를 각각의 저장부(275)에 저장할 수 있다.
외부 장치(201, 205, 207)의 각 제어부(210)는 외부 장치 상태 정보를 서버(300)로 각각 전송할 수 있다. 외부 장치(201, 205, 207)의 각 제어부(210)는 외부 장치 상태 정보를 주기적(예를 들어, 500 msec, 설정에 의해 변경 가능)으로 서버(300)로 각각 전송할 수 있다. 또한, 외부 장치(201, 205, 207)에서 상태 변경(예를 들어, DVD 플레이어(207)의 전원 온 등)되는 경우, 외부 장치(201, 205, 207)의 각 제어부(210)는 변경된 외부 장치 상태 정보를 서버(300)로 각각 전송할 수 있다.
서버(300)는 외부 장치(201, 205, 207)에서부터 외부 장치 상태 정보를 통신부(330)를 통해 수신할 수 있다.
아래 <표 2>는 서버(300)의 저장부(375)에 저장된 제2 그룹 액션(542b)에 포함되는 외부 장치(예를 들어, DVD 플레이어(207))의 외부 장치 상태 정보의 예를 나타낼 수 있다.
Variable Example Description
Name TV Resource name
URI 192.168.0.2:1000/core/TV Resource URI
State Off Resource State
여기서, 외부 장치 상태 정보는 외부 장치 이름, 외부 장치 URI 및, 외부 장치 상태를 나타내는 복수의 항목을 포함할 수 있으며, 이에 한정되지 않고 외부 장치의 다양한 상태를 나타낼 수 있는 항목들을 포함한다는 것은 당해 기술 분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
제어부(310)는 통신부(330)를 통해 제2 그룹 액션(542b)에 포함되지 않는 하나 또는 복수의 외부 장치에게 외부 장치 상태 정보를 요청할 수 있다. 또한, 제어부(310)는 통신부(330)를 통해 제2 그룹 액션(542b)에 포함되지 않는 하나 또는 복수의 외부 장치에서부터 외부 장치 상태 정보를 수신할 수 있다는 것은 당해 기술 분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
서버(300)의 제어부(310)는 제2 그룹 액션(542b)에 대응되는 외부 장치(201, 205, 207)의 상태 정보를 이용하여 외부 장치(201, 205, 207)의 상태를 결정할 수 있다.
서버(300)의 제어부(310)는 제2 그룹 액션(542b)에 대응되는 액션 정보(예를 들어, 액션에 대응되는 제어 커맨드)을 생성할 수 있다.
서버(300)의 제어부(310)는 생성된 액션 정보(예를 들어, 액션에 대응되는 제어 커맨드)를 외부 장치(201, 205, 207)로 각각 전송할 수 있다(403, 454).
저장부(375)는 서버(300)의 제어부(310)의 제어에 따라 생성된 액션 정보를 저장할 수 있다. 아래 <표 3>는 서버(300)의 저장부(375)에 저장된 제2 그룹 액션(542b)에 포함되는 외부 장치(201, 205, 207) 중 하나인 DVD 플레이어(207)의 액션 정보에 대응되는 제어 커맨드의 예를 나타낼 수 있다.
Variable Example Description
Name TV Resource name
URI 192.168.0.2:1000/core/TV Resource URI
State On Resource state
Start Time PM 05:06:00 Resource action start time
Duration 2 Hours Resource action duration
여기서, 외부 장치 상태 정보는 외부 장치 이름, 외부 장치 URI, 외부 장치 상태, 외부 장치 액션 시작 시간, 및 액션 지속 시간을 나타내는 복수의 항목을 포함할 수 있으며, 이에 한정되지 않고 외부 장치의 다양한 상태를 나타낼 수 있는 항목들을 포함한다는 것은 당해 기술 분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
외부 장치(201, 205, 207)의 제어부(210)는 통신부(230)를 통해 액션 정보에 대응되는 제어 커맨드를 수신할 수 있다. 외부 장치(201, 205, 207)의 제어부(210)는 수신된 액션 정보에 대응되는 제어 커맨드를 저장부(275)에 저장할 수 있다.
외부 장치(201, 205, 207)의 각 제어부(210)는 수신된 액션 정보에 대응하여 외부 장치(201, 205, 207)를 실행(예를 들어, 상태 변경)할 수 있다. 예를 들어, 디스플레이 장치(201)의 제어부(210)는 전원 온 할 수 있다. 전등(205)의 제어부(210)는 전원 오프 할 수 있다. 또한, DVD 플레이어(207)의 제어부(210)는 전원 온 할 수 있다. 각각의 외부 장치(201, 205, 207)의 제어부는 액션 정보에 대응하여 변경된 외부 장치 상태 정보를 각각의 저장부(275)에 저장할 수 있다.
외부 장치(201, 205, 207)의 각 제어부(210)는 액션 정보에 대응하여 변경된 외부 장치 상태 정보를 서버(300)로 각각 전송할 수 있다. 외부 장치(201, 205, 207)의 각 제어부(210)는 외부 장치 상태 정보를 주기적(예를 들어, 500 msec, 설정에 의해 변경 가능)으로 서버(300)로 각각 전송할 수 있다. 또한, 외부 장치(201, 205, 207)에서 상태 변경(예를 들어, DVD 플레이어(207)의 일시 정지 등)되는 경우, 외부 장치(201, 205, 207)의 각 제어부(210)는 변경된 외부 장치 상태 정보를 서버(300)로 각각 전송할 수 있다.
서버(300)는 외부 장치(201, 205, 207)에서부터 외부 장치 상태 정보를 통신부(330)를 통해 수신할 수 있다.
아래 <표 4>는 제2 그룹 액션(542b)에 대응되는 외부 장치(201, 205, 207) 중 DVD 플레이어(207)에서부터 수신되어 서버(300)의 저장부(375)에 저장된 변경된 외부 장치 상태 정보의 예를 나타낼 수 있다.
Variable Example Description
Name TV Resource name
URI 192.168.0.2:1000/core/TV Resource URI
Present State On Resource State
Start Time PM 05:06:00 Resource action start time
Duration 2 Hours Resource action duration
Service Area (On, Living room) Resource working area
Service
Characteristic
여기서, 외부 장치 상태 정보는 외부 장치 이름, 외부 장치 URI, 외부 장치 현재 상태, 외부 장치 액션 시작 시간, 및 액션 지속 시간을 나타내는 복수의 항목을 포함할 수 있으며, 이에 한정되지 않고 외부 장치의 다양한 상태를 나타낼 수 있는 항목들을 포함한다는 것은 당해 기술 분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
저장부(375)는 서버(300)의 제어부(310)의 제어에 따라 수신된 액션 정보에 대응하여 변경된 외부 장치 상태 정보를 저장할 수 있다.
서버(300)의 제어부(310)는 변경된 외부 장치 상태 정보를 이용하여 실행 중인 그룹 액션(842b)와 다른 그룹 액션의 충돌 여부를 결정할 수 있다. 또한, 서버(300)의 제어부(310)는 주기적(예를 들어, 500 msec, 설정에 의해 변경 가능)으로 수신되는 변경된 외부 장치 상태 정보를 이용하여 실행 중인 그룹 액션(842b)와 다른 그룹 액션의 충돌 여부를 결정할 수 있다.
도 3a의 단계(S302)에서 제1 전자 장치에서 제1 그룹 액션 실행의 요청이 수신된다.
제1 사용자의 입력이 수신되는 경우, 제1 전자 장치(100)는 제1 그룹 액션의 실행을 서버(300)에게 요청할 수 있다. 서버(300)는 제1 그룹 액션의 실행 요청을 제1 전자 장치(101)에서부터 수신할 수 있다.
도 4a, 도 4b, 및, 도 5a를 참조하면, 제1 사용자는 제1 전자 장치(100)에서 제1 그룹 액션을 실행할 수 있다(404, 452, 455).
도 5a를 참조하면, 제1 사용자는 제1 그룹 액션의 설정 및 실행을 위한 사용자 입력을 제1 전자 장치(101)에 입력할 수 있다. 제1 사용자 및 제2 사용자의 동일인이거나 서로 다른 사용자일 수 있다.
제1 전자 장치(100)에서 제1 사용자가 제1 그룹 액션을 실행하기 전, 제1 사용자의 어플리케이션(예를 들어, 댁내 외부 장치 제어 어플리케이션) 실행은 도 3a의 단계(S301)에서 제2 사용자의 어플리케이션(예를 들어, 댁내 외부 장치 제어 어플리케이션) 실행과 실질적으로 유사(예를 들어, 전자 장치가 다름)하므로 중복되는 설명은 생략된다.
도 5c 및 도 5d를 참조하면, 제1 전자 장치(100)의 제어부(110)는 터치(도시되지 아니함)에 대응되는 어플리케이션 화면(500)을 표시할 수 있다. 표시되는 어플리케이션 화면(500)은 어플리케이션 이름 영역(510), 표시 영역(520) 및 인터랙션 영역(530)을 포함할 수 있다. 제1 전자 장치(100)에서 표시되는 어플리케이션 화면(500)은 제2 전자 장치(101)에서 표시되는 어플리케이션 화면(500)과 동일하므로 중복되는 설명은 생략된다.
도 5c에서, 표시 영역(520)에 그룹 액션 리스트 화면(540)이 표시된다.
그룹 액션 리스트 화면(540)은 표시 영역 이름(541), 사용자(예를 들어, 제1 사용자)가 선택가능한 하나 또는 복수의 그룹 액션(542) 및 선택 박스(543)를 표시할 수 있다. 제1 전자 장치(100)에서 표시되는 그룹 액션 리스트 화면(540)은 제2 전자 장치(101)에서 표시되는 그룹 액션 리스트 화면(540)과 동일하므로 중복되는 설명은 생략된다.
제1 사용자는 그룹 액션 리스트(542)에서 하나의 그룹 액션(542a)에 제3 터치를 한다. 또한, 제1 사용자는 그룹 액션 리스트 화면(540)에서 비디오 시청(542b)에 대응되는 선택 박스(543a)에 제3 터치(503)를 할 수 있다.
제1 전자 장치(100)의 제어부(110)는 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 이용하여 제3 터치(503)를 검출할 수 있다. 제1 전자 장치(100)의 제어부(110)는 터치 스크린 컨트롤러(195)에서부터 수신되는 전기 신호를 이용하여 제3 터치(503)에 대응되는 제3 터치 위치(503a, 예를 들어, X3와 Y3좌표)를 산출할 수 있다.
제1 전자 장치(100)의 제어부(110)는 제3 터치 위치(503a)에 대응되는 제3 터치 위치 정보를 저장부(175)에 저장할 수 있다. 저장되는 제3 터치 위치 정보는 이력 관리를 위한 터치 식별자(ID), 터치 위치, 터치 검출 시간, 또는 터치 정보(예를 들어, 터치 압력, 터치 방향, 터치 지속 시간 등)를 포함할 수 있다.
제1 전자 장치(100)의 제어부(110)는 제3 터치(503)에 대응하여 선택 박스(543a)에 체크 마크(543a1)을 표시할 수 있다. 또한, 제1 전자 장치(100)의 제어부(110)는 제3 터치(503)에 대응하여 그룹 액션 상세 화면(group action detail screen, 550a)를 표시할 수 있다. 그룹 액션 상세 화면(550a)는 청소(Cleaning home)에 대응되는 그룹 액션의 상세 화면이다. 또한, 그룹 액션 상세 화면(550)는 비디오 시청에 대응되는 그룹 액션의 상세 화면이다.
도 5d에서, 표시 영역(520)에 그룹 액션 상세 화면(550a)이 표시된다.
그룹 액션 상세 화면(550a)은 표시 영역 이름(551), 외부 장치(200)에 대응되는 식별자(ID, 예를 들어, 아이콘, 552) 및 외부 장치(200)의 상태(status, 553)를 표시할 수 있다. 그룹 액션 상세 화면(550)은 제1 사용자의 선택을 표시하는 선택 박스(554)를 더 포함할 수 있다. 또한, 그룹 액션 상세 화면(550)은 그룹 액션의 동작 영역에 대응되는 그룹 액션 동작 영역(555a) 또는 그룹 액션의 동작 특성에 대응되는 그룹 액션 특성(556a)을 표시할 수 있다.
청소(542a)에 대응되는 그룹 액션 상세 화면(550a)에서, 로봇 청소기(552e), 에어컨(558f) 및 전등(552c) 선택(예를 들어, 선택 박스(554e, 554f 및 554c)에 체크 마크(554e1, 554f1 및 554c1)가 표시)되어 있다.
도 4b를 참조하면, 그룹 액션 상세 화면(550a)의 그룹 액션 동작 영역(555a)에 기 설정된 “집 전체(home)”가 표시된다(452). 또한, 그룹 액션 상세 화면(550)의 그룹 액션 특성(556)에 “소음”이 표시된다(452). 또한, 제1 사용자는 그룹 액션 상세 화면(550)의 선택 박스(554e, 554f 및, 554c)에 대한 선택을 변경할 수 있다.
제1 전자 장치(100)에서 표시되는 그룹 액션 상세 화면(550a)은 제2 전자 장치(101)에서 표시되는 그룹 액션 상세 화면(550)과 실질적으로 유사(예를 들어, 그룹 액션 차이)하므로 중복되는 설명은 생략된다.
제1 사용자는 선택된 그룹 액션인 비디오 시청(542a)의 실행에 대응되는 버튼(531a)에 제4 터치(504)를 한다.
제1 전자 장치(100)의 제어부(110)는 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 이용하여 제4 터치(504)를 검출할 수 있다. 제1 전자 장치(100)의 제어부(110)는 터치 스크린 컨트롤러(195)에서부터 수신되는 전기 신호를 이용하여 제4 터치(504)에 대응되는 제4 터치 위치(504a, 예를 들어, X4와 Y4좌표)를 산출할 수 있다.
제1 전자 장치(100)의 제어부(110)는 제4 터치 위치(504a)에 대응되는 제4 터치 위치 정보를 저장부(175)에 저장할 수 있다. 저장되는 제4 터치 위치 정보는 이력 관리를 위한 터치 식별자(ID), 터치 위치, 터치 검출 시간, 또는 터치 정보(예를 들어, 터치 압력, 터치 방향, 터치 지속 시간 등)를 포함할 수 있다.
도 4a 및 도 4b를 참조하면, 제4 터치(504)에 대응하여 제1 전자 장치(100)의 제어부(110)는 선택된 그룹 액션(542a)의 실행을 서버(300)로 요청할 수 있다(404, 455).
제4 터치(504)에 대응하여 제1 전자 장치(100)의 제어부(110)는 선택된 그룹 액션(542a)의 실행을 그룹 액션(542a)에 대응되는 외부 장치(200)에게 직접 요청할 수 있다.
제2 터치(502)가 검출되는 경우, 제어부(110)는 제1 그룹 액션(542a)에 대응되는 제1 그룹 액션 정보에 포함되는 외부 장치(200)의 상태를 변경하는 제어 커맨드(예를 들어, 컨트롤 패킷)를 생성할 수 있다. 제1 전자 장치(100)의 제어부(110)는 생성된 제어 커맨드를 통신부(130)를 통해 서버(300)로 전송할 수 있다.
도 3a의 단계(S302)에서 제1 전자 장치(100)에서 제1 그룹 액션(542a)의 실행 요청은 도 3a의 단계(S301)에서 제2 전자 장치(101)에서 제2 그룹 액션(542b)의 실행 요청과 실질적으로 유사(예를 들어, 그룹 액션 차이)하므로 중복되는 설명은 생략된다.
예를 들어, 제1 그룹 액션(542a)에 대응되는 제어 커맨드의 예는 상술된 <표 1>의 제2 그룹 액션(542b)에 대응되는 제어 커맨드의 예와 실질적으로 유사(예를 들어, 그룹 액션의 차이)할 수 있다. 제1 그룹 액션(542a)에 대응되는 외부 장치(202, 204, 205)의 외부 장치 상태 정보의 예는 상술된 <표 2>의 제2 그룹 액션(542b)에 대응되는 외부 장치(201, 205, 207)에서부터 외부 장치 상태 정보의 예와 실질적으로 유사(예를 들어, 그룹 액션의 차이)할 수 있다.
제1 그룹 액션(542a)에 포함되는 외부 장치(202, 204, 205)의 액션 정보에 대응되는 제어 커맨드의 예는 상술된 <표 3>의 제2 그룹 액션(542b)에 포함되는 외부 장치(201, 205, 207) 중 하나인 디스플레이 장치(201)의 액션 정보에 대응되는 제어 커맨드의 예와 실질적으로 유사(예를 들어, 그룹 액션의 차이)할 수 있다. 또한, 제1 그룹 액션(542a)에 포함되는 외부 장치(202, 204, 205)의 액션 정보에 대응되어 변경된 외부 장치 상태 정보의 예는 <표 4>의 제2 그룹 액션(542b)에 포함되는 외부 장치(201, 205, 207) 중 하나인 디스플레이 장치(201)의 의 액션 정보에 대응되어 변경된 외부 장치 상태 정보의 예와 실질적으로 유사(예를 들어, 그룹 액션의 차이)할 수 있다.
저장부(175)는 제1 전자 장치(100)의 제어부(110)의 제어에 의해 제1 그룹 액션(542a)에 대응되는 제어 커맨드, 제1 그룹 액션(542a)에 대응되는 외부 장치(202, 204, 205)의 외부 장치 상태 정보, 제1 그룹 액션(542a)에 포함되는 외부 장치(202, 204, 205)의 액션 정보에 대응되는 제어 커맨드 또는 제1 그룹 액션(542a)에 포함되는 외부 장치(202, 204, 205)의 액션 정보에 대응되어 변경된 외부 장치 상태 정보를 저장할 수 있다.
도 3a의 단계(S302)와 도 3a의 단계(S301)는 실질적으로 유사(예를 들어, 전자 장치, 그룹 액션 및 외부 장치의 차이)하므로 중복되는 설명은 생략된다.
도 3a의 단계(S303)에서, 실행 요청된 제1 그룹 액션이 분석된다.
서버(300)의 제어부(310)는 전자 장치(100)에서부터 전송된 제1 그룹 액션(542a)에 대응되는 제어 커맨드를 통신부(330)를 통해 수신할 수 있다. 수신된 제어 커맨드는 제어부(310)의 제어에 의해 저장부(375)에 저장될 수 있다.
아래 <표 5>는 제1 전자 장치(100)에서부터 전송되어 서버(300)의 저장부(375)에 저장된 제1 그룹 액션(542a)에 대응되는 제어 커맨드의 예를 나타낼 수 있다.
Variable Example Description
Name Cleaning Home Group action name
Owner User 2 Group action owner
User User 1 Group action executor
Start Time PM 06:05:00 Group action start time
End Time PM 07:10:11 Group action end time
Member Vacuum, Air conditioner, Lighter Group action resources member
Dominant Member Vacuum Group action dominant member
Action List 3
Service Area (On, Home) Group action Resource working area(Semantic Location)
Service
Characteristic		 (On, Noise)
(On, Brightness)		 Group action Characteristic
User Request No interrupt mode User input service mode.
i.e., "No interrupt mode" →
!MAKE_SOUND && !BRIGHTNESS
여기서, 그룹 액션 정보는 그룹 액션 이름, 그룹 액션 생성한 유저 이름, 그룹 액션 실행 유저 이름, 그룹 액션 시작 시간, 그룹 액션 종료 시간, 그룹 액션에 포함되는 외부 장치 멤버, 그룹 액션의 서비스 실행 여부를 결정하는 그룹 액션의 주 멤버, 그룹 액션 리스트, 그룹 액션에 포함되는 액션 수, 그룹 액션이 실행되는 서비스 영역, 그룹 액션의 특성 또는 그룹 액션 실행에 있어 사용자가 직접 선택한 서비스 모드인 유저 요청 사항에 관한 정보를 포함할 수 있다. 상술된 항목에 한정되지 않고 외부 장치의 다양한 상태를 나타낼 수 있는 항목들이 제어 커맨드 테이블에 포함될 수 있다는 것은 당해 기술 분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
제어부(310)는 저장된 외부 장치 정보 및 수신된 제어 커맨드를 이용하여 제1 그룹 액션(542a) 실행 대상인 외부 장치(202, 204, 205)로 외부 장치 상태 정보의 요청에 대응되는 제어 커맨드를 각각 전송할 수 있다. 또한, 제어부(310)는 외부 장치 상태 정보의 요청에 대응되는 하나의 통합 제어 커맨드를 외부 장치(202, 204, 205)로 각각 전송할 수도 있다.
외부 장치(202, 204, 205)의 제어부(210)는 통신부(230)를 통해 제어 커맨드를 수신할 수 있다. 외부 장치(202, 204, 205)의 각 제어부(210)는 수신된 제어 커맨드를 저장부(275)에 저장할 수 있다. 외부 장치(202, 204, 205)의 제어부(210)는 수신된 외부 장치 상태 정보의 요청에 대응되는 통합 제어 커맨드에서 각각의 외부 장치(202, 204, 205)에 대응되는 제어 커맨드만을 추출할 수 있다.
외부 장치(202, 204, 205)의 각 제어부(210)는 수신된 제어 커맨드에 대응하여 외부 장치(202, 204, 205)의 상태를 결정할 수 있다. 예를 들어, 로봇 청소기(202)의 제어부(210)는 전원 오프(off)를 결정할 수 있다. 에어컨(204)의 제어부(210)는 전원 오프를 결정할 수 있다. 또한, 전등(205)의 제어부(210)는 전원 오프를 결정할 수 있다. 각각의 외부 장치(202, 204, 205)의 제어부는 결정된 외부 장치 상태 정보를 각각의 저장부(275)에 저장할 수 있다.
외부 장치(202, 204, 205)의 각 제어부(210)는 변경된 외부 장치 상태 정보를 서버(300)로 각각 전송할 수 있다.
외부 장치(202, 204, 205)의 각 제어부(210)는 변경된 외부 장치 상태 정보를 주기적(예를 들어, 500 msec, 설정에 의해 변경 가능)으로 서버(300)로 각각 전송할 수 있다. 또한, 외부 장치(202, 204, 205)에서 상태 변경(예를 들어, 로봇 청소기(202)의 일시 정지 등)되는 경우, 외부 장치(202, 204, 205)의 각 제어부(210)는 변경된 외부 장치 상태 정보를 서버(300)로 각각 전송할 수 있다.
서버(300)는 외부 장치(202, 204, 205)의 변경된 외부 장치 상태 정보를 통신부(330)를 통해 수신할 수 있다.
아래 <표 6>는 서버(300)의 저장부(375)에 저장된 제2 그룹 액션(542b)에 포함되는 외부 장치(예를 들어, 전등(205))의 외부 장치 상태 정보의 예를 나타낼 수 있다.
Variable Example Description
Name Lighter Resource name
URI 192.168.0.2:1000/core/TV Resource URI
State Off Resource State
여기서, 외부 장치 상태 정보는 외부 장치 이름, 외부 장치 URI 및, 외부 장치 상태를 나타내는 복수의 항목을 포함할 수 있으며, 이에 한정되지 않고 외부 장치의 다양한 상태를 나타낼 수 있는 항목들을 포함한다는 것은 당해 기술 분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
서버(300)의 제어부(310)는 제1 그룹 액션(542a)에 대응되는 외부 장치(202, 204, 205)의 상태 정보를 이용하여 외부 장치(202, 204, 205)의 상태를 결정할 수 있다.
도 3a의 단계(S304)에서, 그룹 액션 충돌이 결정된다.
도 4a를 참조하면, 제2 그룹 액션 및 제1 그룹 액션에 공통으로 포함되는 외부 장치를 결정할 수 있다(405). 또한, 도 4b를 참조하면, 제2 그룹 액션이 실행됨을 결정할 수 있다(456)
서버(300)의 제어부(310)는 제1 그룹 액션(542a)에 대응되는 제어 커맨드 및 제1 그룹 액션(542a)을 실행하는 외부 장치(202, 204, 205)의 외부 장치 상태 정보를 이용하여 그룹 액션 충돌 여부를 결정할 수 있다.
서버(300)의 제어부(310)는 외부 장치(202, 204, 205)에서 실행 예정인 제1 그룹 액션(542a)에 대응되는 제어 커맨드 및 외부 장치(201, 205, 207)에서 실행 중인 제2 그룹 액션(542b)에 대응되는 제어 커맨드를 이용하여 그룹 액션 충돌 여부를 결정할 수 있다. 또한, 서버(300)의 제어부(310)는 제1 그룹 액션(542a)에 대응되는 제어 커맨드 및 제1 그룹 액션(542a)을 실행하는 외부 장치(202, 204, 205)의 외부 장치 상태 정보와 제2 그룹 액션(542b)을 실행중인 대응되는 제어 커맨드 및 제2 그룹 액션(542b)에 포함되는 외부 장치(201, 205, 207)의 외부 장치 상태 정보를 이용하여 그룹 액션 충돌 여부를 결정할 수 있다.
서버(300)의 제어부(310)는 실행중인 제2 그룹 액션(542b) 및 실행 요청된 제1 그룹 액션(542a)에 공통으로 포함되는 외부 장치를 결정할 수 있다(405). 본 발명의 실시예에서, 실행중인 제2 그룹 액션(542b) 및 실행 요청된 제1 그룹 액션(542a)에 공통으로 포함되는 외부 장치는 전등(205)일 수 있다.
서버(300)의 제어부(310)는 공통 외부 장치(200)을 이용하여 그룹 액션 충돌 여부를 결정할 수 있다. 서버(300)의 제어부(310)는 공통 외부 장치(200)인 전등(205)의 그룹 액션 충돌 여부를 결정할 수 있다. 예를 들어, 그룹 액션 충돌을 결정하기 전, 서버(300)의 제어부(310)는 전원 오프인 전등(제2 그룹 액션(542b)의 실행에 의해, 205)을 제1 그룹 액션(542a)의 실행에 대응하여 전원 온 할 수 없다.
도 4a를 참조하면, 서버(300)의 제어부(310)는 제2 그룹 액션(542b)의 주 외부 장치를 결정할 수 있다(406). 제2 그룹 액션(542b)의 주 외부 장치는 DVD Player(207)이다.
도 4a를 참조하면, 서버(300)의 제어부(310)는 제2 그룹 액션(542b)의 주 외부 장치인 DVD Player(207)에게 그룹 액션 상태 정보를 요청할 수 있다(407) 또한, 서버(300)의 제어부(310)는 제2 그룹 액션(542b)의 실행에 대응하여 저장부(375)에 기저장된 DVD 플레이어(207)의 외부 장치 상태 정보(예를 들어, <표 2>)를 이용할 수 있다.
도 4a를 참조하면, DVD Player(207)의 제어부(210)는 서버(300)의 요청에 대응하여 DVD Player(207)의 그룹 액션 상태 정보를 통신부를 통해 서버(300)로 전송할 수 있다(408)
도 4a를 참조하면, 서버(300)의 제어부(310)는 DVD 플레이어(207)에서 수신된 외부 장치 상태 정보 및 제2 그룹 액션(542b)의 실행에 대응하여 저장부(375)에 기저장된 DVD 플레이어(207)의 외부 장치 상태 정보 중 하나를 이용하여 제2 그룹 액션(542b)의 실행을 결정할 수 있다(409)
제1 그룹 액션과 제2 그룹 액션이 충돌되는 경우, 제1 그룹 액션에 포함되는 외부 장치의 개수는 제2 그룹 액션에 포함되는 외부 장치의 개수와 비교하여 같거나 작을 수 있다. 제1 그룹 액션과 제2 그룹 액션이 충돌되는 경우, 제1 그룹 액션 및 제2 그룹 액션에 동일하게 포함되는 외부 장치의 개수는 제1 그룹 액션에 포함되는 전체 외부 장치의 개수보다 같거나 적을 수 있다.
예를 들어, 제1 그룹 액션에 포함되는 외부 장치의 개수가 3이고, 제2 그룹 액션에 포함되는 외부 장치의 개수가 5이고, 제1 그룹 액션 및 제2 그룹 액션에 동일하게 포함되는 외부 장치의 개수가 3인 경우, 제1 그룹 액션 및 제2 그룹 액션에 동일하게 포함되는 외부 장치의 개수와 제1 그룹 액션에 포함되는 외부 장치의 개수는 동일하다. 또한, 제1 그룹 액션에 포함되는 외부 장치의 개수가 3이고, 제2 그룹 액션에 포함되는 외부 장치의 개수가 5이고, 제1 그룹 액션 및 제2 그룹 액션에 동일하게 포함되는 외부 장치의 개수가 2이하인 경우, 제1 그룹 액션 및 제2 그룹 액션에 동일하게 포함되는 외부 장치의 개수는 제1 그룹 액션에 포함되는 외부 장치의 개수보다 작을 수 있다.
도 4a를 참조하면, 제1 그룹 액션과 제2 그룹 액션이 충돌되는 경우, 서버(300)의 제어부(310)는 제1 그룹 액션(542a)의 실행 요청을 거부할 수 있다(410). 서버(300)의 제어부(310)는 실행 요청 거부에 대응되는 실행 요청 거부 정보(도시되지 아니함)를 제1 전자 장치(101)로 전송할 수 있다.
저장부(375)는 서버(300)의 제어부(310)의 제어에 의해 그룹 액션 충돌에 대응되는 그룹 액션 충돌 정보를 저장할 수 있다.
아래 <표 7>는 서버(300)의 저장부(375)에 저장된 그룹 액션 충돌 정보의 예를 나타낼 수 있다.
Variable Example Description
Name Lighter Group action conflict Resource name
Group action Name Smart video watching, Cleaning home Conflict group action name
URI 192.168.0.2:1000/core/lighter Resource URI
State Off Resource state
Time PM 06:05:00 Conflict estimated time
여기서, 그룹 액션 충돌 정보는 외부 장치 이름, 외부 장치 URI, 외부 장치 상태 및 충돌 예상 시간을 나타내는 복수의 항목을 포함할 수 있으며, 이에 한정되지 않고 외부 장치의 다양한 상태를 나타낼 수 있는 항목들을 포함한다는 것은 당해 기술 분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
서버(300)의 제어부(310)는 실행중인 제2 그룹 액션(542b)의 영역 및 실행 요청된 제1 그룹 액션(542a)의 영역을 이용하여 그룹 액션 충돌 여부를 결정할 수 있다(457). 예를 들어, 서버(300)의 제어부(310)는 실행중인 제2 그룹 액션(542b)의 영역(예를 들어, “거실”) 및 실행 요청된 제1 그룹 액션(542a)의 영역(예를 들어, “집 전체”)을 이용하여 그룹 액션 충돌 여부를 결정할 수 있다.
서버(300)의 제어부(310)는 실행중인 제2 그룹 액션(542b)의 특성 및 실행 요청된 제1 그룹 액션(542a)의 특성을 이용하여 그룹 액션 충돌 여부를 결정할 수 있다(457). 예를 들어, 예를 들어, 서버(300)의 제어부(310)는 실행중인 제2 그룹 액션(542b)의 특성(예를 들어, “침묵 & 어둡게”) 및 실행 요청된 제1 그룹 액션(542a)의 특성(예를 들어, “소음”)을 이용하여 그룹 액션 충돌 여부를 결정할 수 있다.
도 3a의 단계(S304)에서, 그룹 액션이 충돌되는 경우, 도 3a의 단계(S305)로 진행한다. 도 3a의 단계(S304)에서, 그룹 액션이 충돌되지 않는 경우, 도 3a의 단계(S304)에서 서버(300)는 외부 장치(202, 204, 205)에서 제 1 그룹 액션이 실행되도록 할 수 있다. 또한, 도 3a의 단계(S304)에서, 그룹 액션이 충돌되지 않는 경우, 서버 및 서버의 그룹 액션 제어방법이 종료된다.
도 3a의 단계(S305)에서, 제1 전자 장치(100)로 그룹 액션 충돌에 대응되는 솔루션 정보를 전송한다.
도 4b를 참조하면, 서버(300)의 제어부(310)는 추천 그룹 액션을 생성할 수 있다(458)
서버(300)의 제어부(310)는 생성된 그룹 액션 솔루션 정보(예를 들어, 추천 그룹 액션)에 대응되는 제어 커맨드를 제1 전자 장치(100)로 전송할 수 있다(459). 또한, 서버(300)의 제어부(310)는 생성된 그룹 액션 충돌 정보에 대응되는 제어 커맨드를 제2 전자 장치(101)로 전송할 수도 있다.
서버(300)의 제어부(310)는 관리 소프트웨어(도시되지 아니함)를 이용하여 외부 장치 상태 정보, 그룹 액션, 그룹 액션 리스트, 그룹 액션 충돌 판단, 그룹 액션 충돌 정보, 그룹 액션 솔루션 정보, 또는 그룹 액션 충돌 이력을 관리할 수 있다.
관리 소프트웨어는 외부 장치(200)의 상태 정보, 및 그룹 액션 분석을 위해 예를 들어, 시계열(time-series) 유사성 탐색을 하는 K-평균 클러스터링(K-means clustering) 알고리즘 또는 교차상관(Cross-correlation) 알고리즘을 이용할 수 있다. 상술된 알고리즘뿐만 아니라 다양한 유사성 탐색 알고리즘이 이용될 수 있다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
관리 소프트웨어는 전자 장치(100)의 상태 정보, 외부 장치(200)의 상태 정보 또는 그룹 액션 정보(예를 들어, 복수의 그룹 액션에 포함되는 외부 장치 여부, 그룹 액션 작동 영역, 또는 그룹 액션 특성 등에 관한 정보)를 이용하여 외부 장치의 상태 정보, 외부 장치의 상태 정보에서 특징을 추출하고, 학습하여 추론할 수 있다. 관리 소프트웨어는 외부 장치(200)의 상태 정보 또는 그룹 액션 정보(예를 들어, 복수의 그룹 액션에 포함되는 외부 장치 여부, 그룹 액션 작동 영역, 또는 그룹 액션 특성 등에 관한 정보)를 이용하여 그룹 액션의 특징을 추출하고, 학습하여 그룹 액션의 충돌 여부를 추론할 수 있다.
관리 소프트웨어는 외부 장치(200)의 상태 정보 또는 그룹 액션 정보(예를 들어, 복수의 그룹 액션에 포함되는 외부 장치 여부, 그룹 액션 작동 영역, 또는 그룹 액션 특성 등에 관한 정보)를 이용하여 그룹 액션 충돌의 특징을 추출하고, 학습하여 그룹 액션의 충돌에 대응되는 그룹 액션 솔루션을 추론할 수 있다.
서버(300)의 저장부(375)는 제어부(310)의 제어에 의해 수신된 외부 장치(200)의 상태 정보 변경에 대응되는 사용자의 외부 장치 사용 이력 및 전자 장치(100)의 상태 정보 변경에 대응되는 사용자의 전자 장치 사용 이력을 저장할 수 있다. 저장된 각각의 사용 이력은 관리 소프트웨어(도시되지 아니함)에 의해 관리될 수 있다. 관리 소프트웨어는 외부 장치 사용 이력에서 특징을 추출하고, 학습하여 그룹 액션의 충돌 여부 및/또는 그룹 액션의 충돌에 대응되는 그룹 액션 솔루션 정보를 추론할 수 있다. 또한, 관리 소프트웨어는 전자 장치 사용 이력에서 특징을 추출하고, 학습하여 그룹 액션의 충돌 여부 및/또는 그룹 액션의 충돌에 대응되는 그룹 액션 솔루션 정보를 추론할 수 있다.
관리 소프트웨어는 제어부(310)의 제어에 의해 그룹 액션 충돌에 대한 분석 결과에 대응되는 그룹 액션 솔루션 정보를 생성할 수 있다. 관리 소프트웨어는 제어부(310)의 제어에 의해 그룹 액션 솔루션 정보에 대응되는 별도의 추천 그룹 액션(예를 들어, 집 전체 청소가 아닌 거실을 제외한 청소)를 생성할 수 있다. 관리 소프트웨어는 제어부(310)의 제어에 의해 그룹 액션의 충돌을 해결 가능한 별도의 추천 그룹 액션을 생성할 수 있다.
관리 소프트웨어는 제어부(310)의 제어에 의해 그룹 액션 솔루션 정보에 대응되는 추천 그룹 액션(예를 들어, 집 전체 청소가 아닌 거실을 제외한 청소)를 생성할 수 있다(458). 또한, 관리 소프트웨어는 제어부(310)의 제어에 의해 그룹 액션 솔루션 정보에 대응되는 추천 그룹 액션을 하나 또는 복수로 생성할 수 있다. 관리 소프트웨어는 그룹 액션 솔루션 정보에 대응되는 외부 장치(200)의 상태를 확인할 수 있다.
저장부(375)는 제어부(310)의 제어에 의해 생성된 하나 또는 복수의 그룹 액션 충돌 솔루션, 또는 그룹 액션 충돌 솔루션에 대응되는 추천 그룹 액션을 저장할 수 있다.
도 4b를 참조하면, 서버(300)의 제어부(310)는 생성된 그룹 액션 솔루션에 대응되는 제어 커맨드를 제1 전자 장치(100)로 전송할 수 있다(459).
제1 전자 장치(100)의 제어부(110)는 통신부(130)를 통해 그룹 액션 충돌 정보에 대응되는 제어 커맨드를 수신할 수 있다. 저장부(175)는 수신된 그룹 액션 충돌 정보에 대응되는 제어 커맨드를 제1 전자 장치(100)의 제어부(110)의 제어에 의해 저장할 수 있다.
도 5e를 참조하면, 제1 전자 장치(100)의 제어부(110)는 서버(300)에서부터 수신된 그룹 액션 충돌 정보를 표시할 수 있다. 제1 전자 장치(100)의 제어부(110)는 어플리케이션 화면(500)의 표시 영역(520)에 그룹 액션 충돌 정보에 대응되는 그룹 액션 충돌 화면(560)을 표시할 수 있다.
그룹 액션 충돌 화면(560)은 표시 영역 이름(561), 상세 충돌 정보(562)를 표시할 수 있다. 상세 충돌 정보(562)는 실행 중인 그룹 액션 충돌 상세 화면 영역(562a) 또는 실행 요청된 그룹 액션 충돌 상세 화면 영역(562b)을 표시할 수 있다. 또한, 실행 중인 그룹 액션 충돌 상세 화면 영역과 실행 요청된 그룹 액션 충돌 상세 화면 영역은 하나의 화면 영역으로 표시될 수도 있다.
그룹 액션 충돌 화면(560)에 실행 요청된 제1 그룹 액션(542a)과 실행중인 제2 그룹 액션(542b)의 충돌에 대응되는 정보가 표시된다. 그룹 액션 충돌 화면(560)에 실행 요청된 제1 그룹 액션(542a)과 실행중인 제2 그룹 액션(542b)에 모두 포함되는 전등(205)에 의해 그룹 액션의 충돌이 발생됨을 표시할 수 있다.
제1 사용자는 그룹 액션 충돌에 대응되는 솔루션(solution, 532)에 제5 터치(505)를 한다.
제1 전자 장치(100)의 제어부(110)는 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 이용하여 제5 터치(505)를 검출할 수 있다. 제1 전자 장치(100)의 제어부(110)는 터치 스크린 컨트롤러(195)에서부터 수신되는 전기 신호를 이용하여 제5 터치(505)에 대응되는 제5 터치 위치(505a, 예를 들어, X5와 Y5좌표)를 산출할 수 있다.
제1 전자 장치(100)의 제어부(110)는 제5 터치 위치(505a)에 대응되는 제5 터치 위치 정보를 저장부(175)에 저장할 수 있다. 저장되는 제5 터치 위치 정보는 이력 관리를 위한 터치 식별자(ID), 터치 위치, 터치 검출 시간, 또는 터치 정보(예를 들어, 터치 압력, 터치 방향, 터치 지속 시간 등)를 포함할 수 있다.
도 5f를 참조하면, 제1 전자 장치(100)의 제어부(110)는 제5 터치(505)에 대응하여 표시 영역(520)에 그룹 액션 솔루션 화면(570)을 표시할 수 있다. 표시 영역(520)에 그룹 액션 솔루션 화면(570)만 표시되는 경우, 그룹 액션 솔루션 화면(570)은 표시 영역 이름(도시되지 아니함) 및 솔루션 정보(572)를 포함할 수 있다. 또한, 제1 전자 장치(100)의 제어부(110)는 제5 터치(505)에 대응하여 표시 영역(520)에 그룹 액션 솔루션 화면(570)과 그룹 액션 충돌 화면(560)을 함께 표시할 수 있다.
제1 사용자는 그룹 액션 솔루션 화면(570)의 솔루션 영역(572)에 그룹 액션 충돌에 대응되는 솔루션(예를 들어, 거실을 제외한 청소(cleaning except living room), 752)이 표시될 수 있다.
표시 영역(520)에 표시되는 그룹 액션 솔루션 화면(570)의 면적은 그룹 액션 충돌 화면(560)의 면적과 동일하거나 다를 수 있다. 그룹 액션 솔루션 화면(570)과 그룹 액션 충돌 화면(560)을 함께 표시되는 경우, 도 5f에서의 그룹 액션 충돌 화면(560)의 면적은 도 5e에서의 그룹 액션 충돌 화면(560)의 면적보다 작을 수 있다(예를 들어, 도 5e에서의 그룹 액션 충돌 화면(560)의 면적의 90 % 보다 작고 10% 보다 큰)
본 발명의 다른 실시예에서, 도 5i를 참조하면, 제1 전자 장치(100)의 제어부(110)는 제5 터치(505)에 대응하여 표시 영역(520)에 알림 설정을 위한 알림 설정 화면(notification setting screen, 590)을 표시할 수 있다. 알림 설정 화면(590)은 표시 영역 이름(591) 및 알림 설정 상세 영역(592)를 포함할 수 있다. 그룹 액션 솔루션 정보는 추천 그룹 액션 또는 알림 설정을 포함할 수 있다.
알림 설정 상세 영역(592)은 알림 설정 상세 영역(592)에는 제1 사용자에게 제1 그룹 액션의 실행 여부를 문의하기 위한 알람에 관한 설정을 위한 GUI가 표시될 수 있으며, 사용자는 표시된 GUI를 통하여 알림 시간 및/또는 알림 조건 등을 설정할 수 있다. 제1 사용자는 알림 설정 상세 영역(592)에서 알림 시간 및 알림 조건 중 적어도 하나를 선택할 수 있다.
제1 사용자가 돌아가기(return)에 터치(도시되지 아니함)를 하는 경우, 제1 전자 장치(100)의 제어부(110)는 도 5h(또는 도 5f)의 그룹 액션 충돌 화면(560)을 표시할 수 있다.
도 5f를 참조하면, 제1 사용자는 그룹 액션 솔루션 화면(570)의 솔루션 영역(572)에 제6 터치(506)를 한다.
제1 전자 장치(100)의 제어부(110)는 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 이용하여 제6 터치(506)를 검출할 수 있다. 제1 전자 장치(100)의 제어부(110)는 터치 스크린 컨트롤러(195)에서부터 수신되는 전기 신호를 이용하여 제6 터치(506)에 대응되는 제6 터치 위치(506a, 예를 들어, X6와 Y6좌표)를 산출할 수 있다.
제1 전자 장치(100)의 제어부(110)는 제6 터치 위치(506a)에 대응되는 제6 터치 위치 정보를 저장부(175)에 저장할 수 있다. 저장되는 제6 터치 위치 정보는 이력 관리를 위한 터치 식별자(ID), 터치 위치, 터치 검출 시간, 또는 터치 정보(예를 들어, 터치 압력, 터치 방향, 터치 지속 시간 등)를 포함할 수 있다.
도 5g를 참조하면, 제1 전자 장치(100)의 제어부(110)는 제6 터치(506)에 대응하여 표시 영역(520)에 솔루션 상세 화면(580)을 표시할 수 있다.
솔루션 상세 화면(580)은 표시 영역 이름(581) 및 솔루션 상세 영역(582)를 포함할 수 있다. 솔루션 상세 영역(582)은 솔루션 적용 이전에 대응되는 이전 영역(before area, 582a) 및 추천 솔루션 적용에 대응되는 추천 영역(after area, 582b)을 포함할 수 있다.
제1 사용자가 추천 영역(582b)에 터치하는 경우, 제1 전자 장치(100)의 제어부(110)는 다른 그룹 액션 솔루션 정보를 제공할 수도 있다.
제1 사용자가 돌아가기(return, 533)에 터치(도시되지 아니함)를 하는 경우, 제1 전자 장치(100)의 제어부(110)는 도 5h(또는 도 5f)의 그룹 액션 충돌 화면(560)을 표시할 수 있다.
도 5h를 참조하면, 제1 사용자는 그룹 액션 충돌 화면(560)에서 그룹 액션 실행(Activate group action, 534)에 제7 터치(507)를 한다.
제1 전자 장치(100)의 제어부(110)는 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 이용하여 제7 터치(507)를 검출할 수 있다. 제1 전자 장치(100)의 제어부(110)는 터치 스크린 컨트롤러(195)에서부터 수신되는 전기 신호를 이용하여 제7 터치(507)에 대응되는 제7 터치 위치(507a, 예를 들어, X7와 Y7좌표)를 산출할 수 있다.
제1 전자 장치(100)의 제어부(110)는 제7 터치 위치(507a)에 대응되는 제7 터치 위치 정보를 저장부(175)에 저장할 수 있다. 저장되는 제7 터치 위치 정보는 이력 관리를 위한 터치 식별자(ID), 터치 위치, 터치 검출 시간, 또는 터치 정보(예를 들어, 터치 압력, 터치 방향, 터치 지속 시간 등)를 포함할 수 있다.
제1 전자 장치(100)의 제어부(110)는 제7 터치(507)에 대응하여 추천 그룹 액션(582b)에 포함되는 외부 장치(202, 204, 205)의 상태를 변경하는 제어 커맨드(예를 들어, 컨트롤 패킷)를 생성할 수 있다.
도 4b를 참조하면, 제7 터치(507)에 대응하여 제1 전자 장치(100)의 제어부(110)는 생성된 제어 커맨드를 통신부(130)를 통해 서버(300)로 전송할 수 있다(460). 예를 들어, 서버(300)로 전송되는 추천 그룹 액션(582b)에 대응되는 제어 커맨드는 <표 1>에서 서비스 영역이 변경된 제어 커맨드일 수 있다. 제1 사용자에 의해 선택된 제1 그룹 액션은 전송되는 제어 커맨드에 대응하여 변경될 수 있다.
서버(300)의 제어부(310)은 추천 그룹 액션(582b)에 대응되는 제어 커맨드를 수신할 수 있다. 수신된 추천 그룹 액션(582b)에 대응되는 제어 커맨드는 제어부(310)의 제어에 의해 저장부(375)에 저장될 수 있다.
서버(300)의 제어부(310)는 추천 그룹 액션(582b)에 대응되는 외부 장치(202)로 추천 그룹 액션(582b)에 대응되는 액션 정보(예를 들어, 액션에 대응되는 제어 커맨드)를 전송할 수 있다(461)
도 3a의 단계(S305)에서 제1 전자 장치(100)의 추천 그룹 액션에 대응되는 제어 커맨드 전송은 도 3a의 단계(S301)에서 제2 전자 장치(100)의 제2 그룹 액션 실행 요청에 대응되는 제어 커맨드 전송과 실질적으로 유사하므로 중복되는 설명은 생략된다.
도 3a의 단계(S305)에서, 제1 전자 장치(100)로 그룹 액션 충돌에 대응되는 솔루션 정보를 전송하는 경우, 서버의 그룹 액션 제어방법이 종료된다.
도 3b는 본 발명의 실시예에 따른 전자 장치 및 전자 장치의 그룹 액션 제어방법을 나타내는 개략적인 순서도이다.
도 3b의 단계(351)에서, 서버로 제1 전자 장치에서 제1 그룹 액션의 실행이 요청된다.
도 5c 및 도 5d를 참조하면, 제1 사용자는 제1 그룹 액션의 실행에 대응되는 제4 터치(504)를 한다. 제4 터치(504)에 대응하여 제1 전자 장치(100)의 제어부(110)는 제1 그룹 액션(542a)의 실행을 서버(300)로 요청할 수 있다. 도 3b의 단계(S351)은 도 3a의 단계(S302)와 실질적으로 유사(예를 들어, 서버와 제1 전자 장치)하므로 중복되는 설명은 생략된다.
도 3b의 단계(S352)에서, 서버에서부터 제1 그룹 액션 충돌에 대응되는 회신이 수신된다.
도 5e를 참조하면, 제1 전자 장치(100)의 제어부(110)는 서버(300)에서부터 제1 그룹 액션과 제2 그룹 액션의 그룹 액션 충돌에 대응되는 회신(예를 들어, 그룹 액션 충돌 정보)을 수신할 수 있다. 제1 전자 장치(100)의 제어부(110)는 어플리케이션 화면(500)에 그룹 액션 충돌에 대응되는 그룹 액션 충돌 화면(560)을 표시할 수 있다.
도 3b의 단계(S352)에서 서버에서부터 제1 그룹 액션 충돌에 대응되는 회신의 수신은 도 3a의 단계(S305)에서 서버에서부터 그룹 액션 충돌 정보의 수신과 실질적으로 유사하므로 중복되는 설명은 생략된다.
도 3b의 단계(S353)에서, 서버에서부터 제1 그룹 액션 충돌에 대응되는 그룹 액션 솔루션 정보가 수신된다.
도 5f를 참조하면, 제1 전자 장치(100)의 제어부(110)는 서버(300)에서부터 그룹 액션 충돌에 대응되는 그룹 액션 솔루션 정보를 수신할 수 있다. 제1 전자 장치(100)의 제어부(110)는 어플리케이션 화면(500)에 그룹 액션 충돌에 대응되는 그룹 액션 솔루션 화면(570)을 표시할 수 있다.
도 3b의 단계(S353)에서 서버에서부터 제1 그룹 액션 충돌에 대응되는 솔루션 정보의 수신은 도 3a의 단계(S305)에서 서버에서부터 그룹 액션 충돌에 대응되는 솔루션 정보의 수신과 실질적으로 유사하므로 중복되는 설명은 생략된다.
도 3b의 단계(S354)에서, 제1 그룹 액션이 변경된다.
도 5h를 참조하면, 제1 사용자는 그룹 액션 충돌 화면(560)에서 그룹 액션 실행(534)에 터치(507)를 한다. 제1 전자 장치(100)의 제어부(110)는 터치(507)에 대응하여 추천 그룹 액션(582b)에 포함되는 외부 장치(202, 204, 205)의 상태를 변경하는 제어 커맨드(예를 들어, 컨트롤 패킷)를 생성할 수 있다.
서버(300)로 전송되는 추천 그룹 액션(582b)에 대응되는 제어 커맨드는 <표 1>에서 서비스 영역에 대응되는 값이 변경된 제어 커맨드일 수 있다. 제1 사용자에 의해 추천 그룹 액션(582b)가 선택되는 경우, 제1 전자 장치(100)의 제어부(110)는 제1 그룹 액션을 변경할 수 있다. 추천 그룹 액션(582b)에 대응되는 제어 커맨드가 생성되는 경우, 제1 전자 장치(100)의 제어부(110)는 제1 사용자에 의해 선택된 제1 그룹 액션을 제어 커맨드에 대응되게 변경할 수 있다.
제1 전자 장치(100)의 제어부(110)는 추천 그룹 액션(582b)에 대응되는 생성된 제어 커맨드를 통신부(130)를 통해 서버(300)로 전송할 수 있다.
도 3b의 단계(S354)에서 제1 그룹 액션의 변경은 도 3a의 도 305에서 제1 그룹 액션의 변경과 실질적으로 유사하므로 중복되는 설명은 생략된다.
도 3b의 단계(S354)에서 제1 그룹 액션이 변경되는 경우, 전자 장치의 그룹 액션 제어방법이 종료된다.
본 발명의 예시적 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 예를 들어, 상기 컴퓨터 판독 가능 매체는 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 이동 단말 내에 포함될 수 있는 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 예시적 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 예시적 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 예시적 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100, 101: 전자 장치 110: 전자 장치 제어부
130: 전자 장치 통신부 175: 전자 장치 저장부
190: 전자 장치 터치 스크린
200: 외부 장치 210: 외부 장치 제어부
230: 외부 장치 통신부 275: 외부 장치 저장부
300: 서버 310: 서버 제어부
330: 서버 통신부 375: 서버 저장부

Claims (20)

  1. 서버와 연결되는 하나 이상의 가전 기기를 제어하는 제1 그룹 액션의 실행을 제1 전자 장치에서부터 수신하는 단계;
    상기 가전 기기의 일부를 제어하는 제2 그룹 액션의 실행 요청을 제2 전자 장치에서부터 수신하는 단계;
    실행 중인 상기 제1 그룹 액션과 실행 요청된 상기 제2 그룹 액션의 충돌에 대응되는 그룹 액션 솔루션 정보를 생성하는 단계; 및,
    상기 그룹 액션 솔루션 정보를 상기 제2 전자 장치로 전송하는 단계를 포함하고,
    상기 그룹 액션의 충돌은 상기 제1 그룹 액션 및 상기 제2 그룹 액션에 포함되는 동일한 가전 기기에 의해 결정되며,
    상기 그룹 액션 솔루션 정보는,
    i)상기 가전 기기의 상태 정보,
    ii)상기 제1 그룹 액션 및 상기 제2 그룹 액션 모두에 관련된 가전 기기에 관한 정보, 및
    iii)상기 제1 그룹 액션의 제1 그룹 액션 동작 영역, 상기 제2 그룹 액션의 제2 그룹 액션 동작 영역, 상기 제1 그룹 액션에 대응되는 제1 그룹 액션 특성 및 상기 제2 그룹 액션에 대응되는 제2 그룹 액션 특성에 관한 정보,
    중 적어도 하나를 포함하는 그룹 액션 정보에 기초하여 결정되며,
    상기 제2 그룹 액션과 관련하여 상기 제2 전자 장치에 표시되는 GUI는, 상기 제2 그룹 액션의 충돌 여부를 나타내는 객체 및 상기 제2 그룹 액션에 대응되는 가전 기기들 중에서 상기 충돌에 관련된 가전 기기의 식별 값을 포함하며,
    상기 제2 전자 장치에게 제공된 상기 그룹 액션 솔루션 정보는, 상기 제2 전자 장치에 의해, 상기 제2 그룹 액션에 관련된 상기 GUI를 변경하는데 이용되는 것인 서버의 그룹 액션 제어방법.
  2. 제1항에 있어서,
    상기 그룹 액션 솔루션 정보는 상기 충돌에 대응되는 추천 그룹 액션 및 알람 설정 중 하나를 포함하는 서버의 그룹 액션 제어방법.
  3. 제1항에 있어서,
    상기 그룹 액션의 충돌은 상기 제1 그룹 액션에 대응되는 상기 제1 그룹 액션 동작 영역 및 상기 제2 그룹 액션에 대응되는 상기 제2 그룹 액션 동작 영역을 이용하여 결정되는 서버의 그룹 액션 제어방법.
  4. 제1항에 있어서,
    상기 그룹 액션의 충돌은 상기 제1 그룹 액션에 대응되는 상기 제1 그룹 액션 특성 및 상기 제2 그룹 액션에 대응되는 상기 제2 그룹 액션 특성에 의해 결정되는 서버의 그룹 액션 제어방법.
  5. 제1항에 있어서,
    상기 그룹 액션의 충돌은 상기 제1 그룹 액션의 실행에 대응되어 변경된 상기 가전 기기의 상태 정보와 상기 제2 그룹 액션에 대응되는 상기 가전 기기 중 일부 가전 기기의 상태 정보를 이용하여 결정되는 서버의 그룹 액션 제어방법.
  6. 제1항에 있어서,
    수신된 상기 제2 그룹 액션의 실행 요청에 대응하여 실행 중인 상기 제1 그룹 액션에 대응되는 가전 기기에게 상태 정보를 요청하는 단계를 더 포함하는 서버의 그룹 액션 제어방법.
  7. 제1항에 있어서,
    상기 그룹 액션의 충돌에 대응되는 그룹 액션 충돌 정보를 상기 제1 전자 장치로 전송하는 단계를 더 포함하고,
    상기 그룹 액션 충돌 정보는 상기 그룹 액션의 충돌에 대응되는 가전 기기의 이름을 포함하는 서버의 그룹 액션 제어방법.
  8. 제1항에 있어서,
    상기 그룹 액션 솔루션 정보는 하나의 추천 그룹 액션 및 복수의 추천 그룹 액션 중 하나를 포함하는 서버의 그룹 액션 제어방법.
  9. 제1항에 있어서,
    상기 제1 그룹 액션의 충돌을 결정하는 단계에 있어서,
    상기 제1 그룹 액션과 상기 제2 그룹 액션이 충돌되는 경우, 상기 제1 그룹 액션 및 상기 제2 그룹 액션에 동일하게 포함되는 가전 기기의 개수는 상기 제1 그룹 액션에 포함되는 전체 가전 기기의 개수보다 같거나 적은 서버의 그룹 액션 제어 방법.
  10. 제1 전자 장치, 제2 전자 장치 및 하나 이상의 가전 기기를 연결하는 통신부; 및,
    상기 통신부를 제어하는 제어부를 포함하고,
    상기 제어부는,
    상기 통신부를 통해 상기 제1 전자 장치에서부터 요청된 상기 가전 기기를 제어하는 제1 그룹 액션을 실행하고, 상기 제2 전자 장치에서부터 수신된 상기 가전 기기 중 일부 가전 기기를 제어하는 제2 그룹 액션의 실행 요청에 대응하여 결정된 상기 제2 그룹 액션의 충돌에 대응되는 그룹 액션 솔루션 정보를 상기 통신부를 통해 상기 제2 전자 장치로 전송하며,
    상기 그룹 액션 솔루션 정보는,
    i)상기 가전 기기의 상태 정보,
    ii)상기 제1 그룹 액션 및 상기 제2 그룹 액션 모두에 관련된 가전 기기에 관한 정보, 및
    iii)상기 제1 그룹 액션의 제1 그룹 액션 동작 영역, 상기 제2 그룹 액션의 제2 그룹 액션 동작 영역, 상기 제1 그룹 액션에 대응되는 제1 그룹 액션 특성 및 상기 제2 그룹 액션에 대응되는 제2 그룹 액션 특성에 관한 정보,
    중 적어도 하나를 포함하는 그룹 액션 정보에 기초하여 결정되며,
    상기 제2 그룹 액션과 관련하여 상기 제2 전자 장치에 표시되는 GUI는, 상기 제2 그룹 액션의 충돌 여부를 나타내는 객체 및 상기 제2 그룹 액션에 대응되는 가전 기기들 중에서 상기 충돌에 관련된 가전 기기의 식별 값을 포함하며,
    상기 제2 전자 장치에게 제공된 상기 그룹 액션 솔루션 정보는, 상기 제2 전자 장치에 의해, 상기 제2 그룹 액션에 관련된 상기 GUI를 변경하는데 이용되는 것인 서버.
  11. 제10항에 있어서,
    상기 그룹 액션 솔루션 정보는 상기 제2 그룹 액션의 충돌에 대응되는 추천 그룹 액션 및 알람 설정 중 하나를 포함하는 서버.
  12. 제10항에 있어서,
    상기 제어부는,
    상기 제2 그룹 액션의 충돌을 상기 제1 그룹 액션 및 상기 제2 그룹 액션에 포함되는 동일한 가전 기기를 이용하여 결정하는 서버.
  13. 제10항에 있어서,
    상기 제어부는,
    상기 제2 그룹 액션의 충돌을 상기 제1 그룹 액션에 대응되는 상기 제1 그룹 액션 동작 영역 및 상기 제2 그룹 액션에 포함되는 상기 제2 그룹 액션 동작 영역을 이용하여 결정 및 상기 제1 그룹 액션에 대응되는 상기 제1 그룹 액션 특성 및 상기 제2 그룹 액션에 대응되는 상기 제2 그룹 액션 특성에 의해 결정 중 하나를 이용하여 결정하는 서버.
  14. 제10항에 있어서,
    상기 제어부는 상기 통신부를 통해 상기 제2 그룹 액션에 포함되는 상기 일부 가전 기기에서부터 요청된 가전 기기 상태 정보를 수신하는 서버.
  15. 하나 이상의 가전 기기 및 서버와 연결가능한 전자 장치에서 상기 가전 기기를 제어하는 어플리케이션을 실행하는 단계;
    그룹 액션 리스트에서 선택된 상기 가전 기기 중 일부 가전 기기의 상태를 변경하는 제1 그룹 액션의 실행을 상기 서버로 요청하는 단계;
    상기 서버에서부터 다른 전자 장치에서 실행 요청된 제2 그룹 액션과 상기 제1 그룹 액션의 충돌에 대응되는 그룹 액션 솔루션 정보를 수신하는 단계; 및
    수신된 상기 그룹 액션 솔루션 정보를 표시하는 단계;를 포함하며,
    상기 그룹 액션 솔루션 정보는,
    i)상기 가전 기기의 상태 정보,
    ii)상기 제1 그룹 액션 및 상기 제2 그룹 액션 모두에 관련된 가전 기기에 관한 정보, 및
    iii)상기 제1 그룹 액션의 제1 그룹 액션 동작 영역, 상기 제2 그룹 액션의 제2 그룹 액션 동작 영역, 상기 제1 그룹 액션에 대응되는 제1 그룹 액션 특성 및 상기 제2 그룹 액션에 대응되는 제2 그룹 액션 특성에 관한 정보,
    중 적어도 하나를 포함하는 그룹 액션 정보에 기초하여 결정되며,
    상기 제1 그룹 액션과 관련하여 상기 전자 장치에 표시되는 GUI는, 상기 제1 그룹 액션의 충돌 여부를 나타내는 객체 및 상기 제1 그룹 액션에 대응되는 가전 기기들 중에서 상기 충돌에 관련된 가전 기기의 식별 값을 포함하며,
    상기 그룹 액션 솔루션 정보는, 상기 전자 장치에 의해, 상기 제1 그룹 액션에 관련된 상기 GUI를 변경하는데 이용되는 것인 전자 장치의 그룹 액션 제어방법.
  16. 제15항에 있어서,
    상기 그룹 액션 솔루션 정보는 상기 제1 그룹 액션의 충돌에 대응되는 추천 그룹 액션 및 알람 설정 중 하나를 포함하는 전자 장치의 그룹 액션 제어방법.
  17. 제15항에 있어서,
    상기 그룹 액션 솔루션 정보에 상기 제1 그룹 액션 및 상기 제2 그룹 액션에 공통으로 포함되는 가전 기기 이름이 포함되는 전자 장치의 그룹 액션 제어방법.
  18. 제15항에 있어서,
    상기 서버에서부터 수신된 상기 제1 그룹 액션의 충돌에 대응되는 그룹 액션 충돌 정보를 표시하는 단계를 더 포함하는 전자 장치의 그룹 액션 제어방법.
  19. 제18항에 있어서,
    상기 그룹 액션 솔루션 정보 및 상기 그룹 액션 충돌 정보를 함께 표시하는 전자 장치의 그룹 액션 제어방법.
  20. 제15항에 있어서,
    상기 그룹 액션 솔루션 정보를 수신에 대응하여 시각 피드백, 청각 피드백 및 촉각 피드백 중 적어도 하나를 사용자에게 제공하는 전자 장치의 그룹 액션 제어방법.
KR1020150056173A 2015-04-21 2015-04-21 서버 및 서버의 그룹 액션 제어방법 KR102269035B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020150056173A KR102269035B1 (ko) 2015-04-21 2015-04-21 서버 및 서버의 그룹 액션 제어방법
US15/098,911 US10505755B2 (en) 2015-04-21 2016-04-14 Server and method of managing group actions of external apparatuses
CN201680023501.9A CN107533422B (zh) 2015-04-21 2016-04-18 服务器和服务器的控制群组行为的方法
PCT/KR2016/004021 WO2016171440A1 (en) 2015-04-21 2016-04-18 Server and method of controlling group action of server

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150056173A KR102269035B1 (ko) 2015-04-21 2015-04-21 서버 및 서버의 그룹 액션 제어방법

Publications (2)

Publication Number Publication Date
KR20160125244A KR20160125244A (ko) 2016-10-31
KR102269035B1 true KR102269035B1 (ko) 2021-06-24

Family

ID=57143220

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150056173A KR102269035B1 (ko) 2015-04-21 2015-04-21 서버 및 서버의 그룹 액션 제어방법

Country Status (4)

Country Link
US (1) US10505755B2 (ko)
KR (1) KR102269035B1 (ko)
CN (1) CN107533422B (ko)
WO (1) WO2016171440A1 (ko)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
EP3809407A1 (en) 2013-02-07 2021-04-21 Apple Inc. Voice trigger for a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US10796384B2 (en) * 2014-05-30 2020-10-06 Google Llc Suggesting pre-created groups based on a user web identity and online interactions
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
EP3104553B1 (en) * 2015-06-12 2017-12-13 Panasonic Intellectual Property Corporation of America Method for controlling multiple devices connected via network
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10938910B2 (en) 2015-07-01 2021-03-02 International Business Machines Corporation Discovering capabilities of entities in an internet of things setting
US10812541B2 (en) * 2015-07-06 2020-10-20 International Business Machines Corporation Actuation using collaboration models in an internet of things setting
KR20170007050A (ko) * 2015-07-10 2017-01-18 삼성전자주식회사 전자 장치 및 전자 장치의 알림 방법
JP6538482B2 (ja) * 2015-08-25 2019-07-03 Ｄｙｎａｂｏｏｋ株式会社 電子機器及び方法
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
AU2017285019B2 (en) * 2016-06-15 2022-11-10 Irobot Corporation Systems and methods to control an autonomous mobile robot
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US20180356946A1 (en) * 2017-06-12 2018-12-13 Shih Ning CHOU Scene-mode switching system and state conflict displaying method
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10496705B1 (en) * 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US10944588B2 (en) 2018-11-29 2021-03-09 International Business Machines Corporation Resolving conflicting commands received by an electronic device
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11025743B2 (en) * 2019-04-30 2021-06-01 Slack Technologies, Inc. Systems and methods for initiating processing actions utilizing automatically generated data of a group-based communication system
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
CN112822903B (zh) * 2019-11-15 2022-09-13 中国移动通信集团甘肃有限公司 一种基于人工智能的数据中心制冷方法和系统
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US20230005377A1 (en) * 2021-06-30 2023-01-05 Honeywell International Inc. Systems and methods for presenting messages to flight crew
US20230087711A1 (en) * 2021-09-10 2023-03-23 Fujifilm Business Innovation Corp. Information processing apparatus, information processing method, and non-transitory computer readable medium
CN114500142B (zh) * 2022-01-29 2023-10-31 海信视像科技股份有限公司 一种控制装置及家电设备的控制方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8531276B2 (en) * 2000-03-15 2013-09-10 Logitech Europe S.A. State-based remote control system
US6642852B2 (en) * 2002-03-01 2003-11-04 Universal Electronics Inc. Remote control device with appliance power awareness
US20080228904A1 (en) * 2002-03-20 2008-09-18 Daniel Crespo-Dubie Home Gateway Architecture and State Based Distributed System and Method
EP1349316A1 (en) 2002-03-27 2003-10-01 BRITISH TELECOMMUNICATIONS public limited company Policy based system management
KR100622303B1 (ko) 2004-12-07 2006-09-19 한국전자통신연구원 디지털 홈 네트워크 시스템의 지능형 관리 장치 및 관리방법
US8972449B2 (en) 2005-12-29 2015-03-03 Nextlabs, Inc. Preventing conflicts of interests between two or more groups
US20080126287A1 (en) * 2006-11-03 2008-05-29 Motorola, Inc. Method for management of policy conflict in a policy continuum
KR100901504B1 (ko) * 2007-08-24 2009-06-08 (주)오로라 디자인랩 온톨로지 기반의 지능형 홈 네트워크 서비스 방법
US20100011027A1 (en) * 2008-07-11 2010-01-14 Motorola, Inc. Policy rule conflict detection and management
JP5595035B2 (ja) * 2009-12-28 2014-09-24 キヤノン株式会社 情報処理装置、その方法及びプログラム
KR101651134B1 (ko) * 2010-06-24 2016-08-29 엘지전자 주식회사 이동 단말기 및 이것의 그룹 동작 제어 방법
US8510142B2 (en) * 2011-07-20 2013-08-13 Fluor Technologies Corporation Conflicting expert systems
KR20130037610A (ko) 2011-10-06 2013-04-16 삼성전자주식회사 스마트 그리드 네트워크에서 명령 충돌을 방지하기 위한 장치 및 방법
WO2013093682A1 (en) 2011-12-21 2013-06-27 International Business Machines Corporation Detecting cases with conflicting rules
CN103297468B (zh) * 2012-02-29 2017-12-01 华为技术有限公司 针对群组资源的操作方法、群组服务器
CN104093050B (zh) * 2014-06-12 2017-10-20 华南理工大学 基于多个智能遥控器的受控终端的受控决策方法和装置

Also Published As

Publication number Publication date
CN107533422A (zh) 2018-01-02
CN107533422B (zh) 2021-03-05
KR20160125244A (ko) 2016-10-31
WO2016171440A1 (en) 2016-10-27
US10505755B2 (en) 2019-12-10
US20160315996A1 (en) 2016-10-27

Similar Documents

Publication Publication Date Title
KR102269035B1 (ko) 서버 및 서버의 그룹 액션 제어방법
US10505752B2 (en) Electronic apparatus and method of controlling group action
US10362438B2 (en) Portable apparatus and method of controlling location information of portable apparatus
EP3122038B1 (en) Portable apparatus, display apparatus, and method for displaying photo thereof
KR102481878B1 (ko) 휴대 장치 및 휴대 장치의 화면 표시방법
US8666523B2 (en) Device, method and timeline user interface for controlling home devices
US8766912B2 (en) Environment-dependent dynamic range control for gesture recognition
CN105634881B (zh) 应用场景推荐方法及装置
AU2014201856B2 (en) APP operating method and device and app output device supporting the same
KR101276846B1 (ko) 미디어 데이터의 스트리밍 제어방법 및 제어장치
US9930392B2 (en) Apparatus for displaying an image and method of operating the same
CN113728293A (zh) 用于基于位所的设备控制的系统和界面
KR102655584B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
CN108932116A (zh) 音量的调节方法及装置
CN107852425B (zh) 图像显示装置及其操作方法
KR102290992B1 (ko) 전자 장치 및 전자 장치의 그룹 액션 제어방법
US11662832B1 (en) System and method for enhancing functionality of electronic devices
CN115525189A (zh) 一种空调设备的管理方法、设备及存储介质
CN114721281A (zh) 智能场景配置方法、移动终端及服务器

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right