KR20140088449A - 중앙 제어 장치 및 그것의 제어 방법 - Google Patents

중앙 제어 장치 및 그것의 제어 방법 Download PDF

Info

Publication number
KR20140088449A
KR20140088449A KR1020130000330A KR20130000330A KR20140088449A KR 20140088449 A KR20140088449 A KR 20140088449A KR 1020130000330 A KR1020130000330 A KR 1020130000330A KR 20130000330 A KR20130000330 A KR 20130000330A KR 20140088449 A KR20140088449 A KR 20140088449A
Authority
KR
South Korea
Prior art keywords
electronic device
unit
information
control unit
voice
Prior art date
Application number
KR1020130000330A
Other languages
English (en)
Inventor
김경진
김대구
하유빈
박준수
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020130000330A priority Critical patent/KR20140088449A/ko
Priority to US14/144,223 priority patent/US20140188485A1/en
Priority to EP13199795.9A priority patent/EP2753021A1/en
Priority to CN201410001438.1A priority patent/CN103914032A/zh
Publication of KR20140088449A publication Critical patent/KR20140088449A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/12—Arrangements for remote connection or disconnection of substations or of equipment thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2827—Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2823—Reporting information sensed by appliance or service execution status of appliance services in a home automation network
    • H04L12/2827—Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality
    • H04L12/2829—Reporting to a device within the home network; wherein the reception of the information reported automatically triggers the execution of a home appliance functionality involving user profiles according to which the execution of a home appliance functionality is automatically triggered
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/2847—Home automation networks characterised by the type of home appliance used
    • H04L2012/2849—Audio/video appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L2012/2847—Home automation networks characterised by the type of home appliance used
    • H04L2012/285—Generic home appliances, e.g. refrigerators

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Telephone Function (AREA)
  • Selective Calling Equipment (AREA)

Abstract

본 발명은 무선 통신을 이용하여 전자기기를 제어하는 것이 가능한 중앙 제어 장치 및 그것의 제어 방법에 관한 것이다. 본 발명의 일 실시 예에 따른 중앙 제어 장치는 마이크, 청각정보를 출력하는 오디오 출력부, 무선신호를 이용하여 전자기기와 통신하는 무선 통신부, 상기 무선 통신부를 통해, 상기 전자기기에서 발생한 이벤트에 대응되는 이벤트 정보를 수신하는 이벤트부 및 상기 수신된 이벤트 정보에 기초하여, 상기 전자기기의 상태를 알리는 안내 음성이 출력되도록 상기 오디오 출력부를 제어하는 제어부를 포함하고, 상기 전자기기를 제어하기 위한 음성이 상기 마이크에 입력되면, 상기 음성에 대응되는 제어명령이 상기 전자기기로 전송되도록 상기 무선 통신부를 제어하는 것을 특징으로 한다.

Description

중앙 제어 장치 및 그것의 제어 방법{CENTRAL CONTROLLER AND METHOD FOR THE CENTRAL CONTROLLER}
본 발명은 무선 통신을 이용하여 전자기기를 제어하는 것이 가능한 중앙 제어 장치 및 그것의 제어 방법에 관한 것이다.
최근에는 통신기술의 발달로, 가정 또는 사무실 등과 같이, 일정 규모를 갖는 공간 내에 포함된 전자기기들을 네트워크로 연결하여 사용하는 것이 가능해졌다. 예를 들어, 가정 내에서 네트워크를 통해 전자기기들이 연결된 경우, 이를 홈 네트워크라고 명명할 수 있는데, 이러한 홈 네트워크가 구축된 가정 내에서는 중앙 서버를 통해 홈 네트워크에 연결된 전자기기들을 제어하는 것이 가능해졌다. 그러나, 이러한 홈 네트워크는 전자기기들의 동작을 온(on)/(off)하기 위하여 주로 사용되고 있다. 이에, 이러한 홈 네트워크를 보다 효율적으로 사용하는 방안이 필요한 실정이다.
본 발명의 일 목적은 전자기기에서 발생한 이벤트를 효율적으로 관리할 수 있는 중앙 제어 장치 및 그것의 제어 방법에 관한 것이다.
본 발명의 일 실시 예에 따른 중앙 제어 장치는 마이크, 청각정보를 출력하는 오디오 출력부, 무선신호를 이용하여 전자기기와 통신하는 무선 통신부, 상기 무선 통신부를 통해, 상기 전자기기에서 발생한 이벤트에 대응되는 이벤트 정보를 수신하는 이벤트부 및 상기 수신된 이벤트 정보에 기초하여, 상기 전자기기의 상태를 알리는 안내 음성이 출력되도록 상기 오디오 출력부를 제어하는 제어부를 포함하고, 상기 전자기기를 제어하기 위한 음성이 상기 마이크에 입력되면, 상기 음성에 대응되는 제어명령이 상기 전자기기로 전송되도록 상기 무선 통신부를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는 상기 이벤트 정보가 수신되는 것에 응답하여, 상기 전자기기로 상기 제어명령을 전송하기 위하여 상기 마이크에 음성이 입력되는 것을 대기하는 웨이크업 모드를 활성화 하고, 상기 웨이크업 모드에서는 상기 마이크가 음성을 입력받을 수 있도록 활성화되는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 웨이크업 모드가 활성화 된 후 기 설정된 시간 동안 상기 마이크에 음성이 입력되지 않은 경우, 상기 웨이크업 모드가 비활성화되는 것을 특징으로 한다.
일 실시 예에 있어서, 정보를 출력하도록 이루어지는 디스플레이부를 포함하고, 상기 제어부는 상기 수신된 이벤트 정보에 근거하여 상기 전자기기의 상태정보를 상기 디스플레이부 상에 출력시키는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 디스플레이부에는 상기 전자기기의 상태정보와 함께 상기 전자기기에서 사용된 전력량이 표시되고, 상기 전자기기에서 사용된 전력량은 실시간 또는 설정된 시간 간격으로 상기 전자기기로부터 수신되는 것을 특징으로 한다.
일 실시 예에 있어서, 사람이 인접 또는 근접하는 것을 감지하도록 형성되는 감지부를 포함하고, 상기 제어부는 상기 감지부에 의해 사람이 감지되는 것에 응답하여, 상기 디스플레이부를 활성화 시키고, 상기 디스플레이부 상에 상기 상태정보 및 전력량이 출력되도록 상기 디스플레이부를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는 상기 전자기기에서 사용된 전력량이 기준 전력량을 초과한 경우, 상기 오디오 출력부 및 상기 디스플레이부 중 적어도 하나를 이용하여 경고 메시지를 출력하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는 상기 전자기기의 동작모드를 절전모드로 전환하기 위한 제어신호가 상기 전자기기로 전송될 수 있도록 상기 무선 통신부를 제어하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제어부는 상기 이벤트 정보가 수신되는 것에 응답하여, 상기 수신된 이벤트 정보를 기 설정된 중앙 제어 장치로 전송하고, 상기 중앙 제어 장치로부터 상기 전자기기를 제어하기 위한 제어신호가 수신되면, 수신된 제어신호를 상기 전자기기로 전송하도록 상기 무선 통신부를 제어하는 특징으로 한다.
일 실시 예에 있어서, 상기 전자기기에서 발생되는 이벤트는 상기 전자기기에서 수행되던 태스크(task)가 종료 또는 중단 되거나, 상기 전자기기에서 수행될 수 있는 태스크(task)가 존재하는 경우는 발생하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 중앙 제어 장치의 제어 방법은 전자기기와 통신하는 단계, 상기 전자기기에서 발생한 이벤트에 대응되는 이벤트 정보를 수신하는 단계, 상기 수신된 이벤트 정보에 기초하여 상기 전자기기의 상태를 알리는 안내 음성을 출력하는 단계, 상기 전자기기를 제어하기 위한 음성을 수신하는 단계 및 상기 수신된 음성에 대응되는 제어명령을 상기 전자기기로 전송하는 단계를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 안내 음성을 출력하는 단계에서는 디스플레이부를 기준으로 기 설정된 거리 이내에서 사용자가 감지되는 경우, 상기 디스플레이부 상에 상기 이벤트 정보에 대응되는 상기 전자기기의 상태정보를 출력하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 이벤트 정보를 수신하는 단계에서는 상기 전자기기에서 사용된 전력량 정보가 함께 수신되고, 상기 수신된 전력량 정보에 근거하여 상기 전자기기에서 사용된 전력량이 기준 전력량을 초과한 경우, 청각적 및 시각적 방법 중 적어도 하나를 통해 경고 메시지가 출력되는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 전자기기에서 사용된 전력량이 기준 전력량을 초과한 경우, 상기 전자기기의 동작모드를 절전모드로 전환하기 위한 제어신호가 생성하고, 생성된 제어신호를 상기 전자기기로 전송하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 일 실시 예에 따른 중앙 제어 장치 및 그것의 제어 방법은 무선 통신을 통해 연결된 전자기기로부터 이벤트 정보를 수신하고, 수신된 이벤트 정보를 안내 음성을 통해 출력할 수 있다. 따라서, 사용자는 전자기기가 이벤트가 경우, 이에 대한 정보를 즉각적으로 인지할 수 있다.
나아가, 본 발명의 일 실시 예에 따른 중앙 제어 장치 및 그것의 제어 방법은 사용자의 음성 제어명령에 대응하여, 전자기기를 제어할 수 있다. 따라서, 사용자가 몸을 움직여 전자기기 상에 직접 제어명령을 인가하는 번거로움을 줄일 수 있다.
또한, 본 발명의 일 실시 예에 다른 중앙 제어 장치 및 그것의 제어 방법은 전자기기에서 사용된 전력량과 관련된 정보를 제공할 수 있다. 따라서, 사용자는 현재 사용된 전력량에 대한 정보를 인지하고, 관리할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 중앙 제어 장치를 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 중앙 제어 장치를 설명하기 위한 개념도이다.
도 3은 본 발명의 일 실시 예에 따른 중앙 제어 장치의 동작을 설명하기 위한 흐름도이다.
도 4는 도 3에서 살펴본 중앙 제어 장치의 동작을 설명하기 위한 개념도이다.
도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 중앙 제어 장치에서 정보를 표시하는 방법을 설명하기 위한 개념도이다.
도 6a 및 도 6b는 본 발명의 일 실시 예에 따른 중앙 제어 장치에서 전력량 정보를 제공하는 방법을 설명하기 위한 개념도이다.
도 7은 본 발명의 일 실시 예에 따른 중앙 제어 장치에서 중앙 제어 장치와 통신하는 방법을 설명하기 위한 개념도이다.
도 8a 및 도 8b는 본 발명의 일 실시 예에 따른 중앙 제어 장치의 외관 형상을 설명하기 위한 개념도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
본 명세서에서 설명되는 중앙 제어 장치는 적어도 하나의 전자기기(미도시됨)와 유선 또는 무선 통신을 통해 연결되어, 적어도 하나의 전자기기에 대한 정보를 출력하거나, 제어하기 위한 것이다. 이러한, 중앙 제어 장치는 일 예로서, 홈 네트워크(Home Network)에서 활용될 수 있다. 홈 네트워크는 가정에서 쓰이는 적어도 하나의 전자기기 또는 전자제품이 유선 또는 무선으로 하나의 시스템으로 연결된 것을 말한다. 이러한, 홈 네트워크 또는 네트워크가 구축된 환경에서에서, 본 명세서에서 설명되는 중앙 제어 장치는 유선 또는 무선 통신을 통해 통신하는 적어도 하나의 전자기기의 정보를 전송받아 사용자에게 이를 효과적으로 알려주거나, 사용자로부터 입력받은 제어명령에 대응하여, 적어도 하나의 전자기기를 제어하는 것이 가능하다. 이하에서는, 이러한 중앙 제어 장치에 대하여 첨부된 도면과 함께 보다 구체적으로 살펴본다.
도 1은 본 명세서에 개시된 일 실시 예에 따른 중앙 제어 장치를 나타내는 블록도이다.
상기 중앙 제어 장치(100)는 무선 통신부(110), A/V 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 중앙 제어 장치가 구현될 수도 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
무선 통신부(110)는 중앙 제어 장치(100)와 무선 통신 시스템 사이 또는 중앙 제어 장치(100)와 적어도 하나의 전자기기(미도시됨)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115) 등을 포함할 수 있다.
방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다.
상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다.
상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.
상기 방송 수신 모듈(111)은, 예를 들어, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(111)은, 상술한 디지털 방송 시스템뿐만 아니라 다른 방송 시스템에 적합하도록 구성될 수도 있다.
방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.
이동통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
상기 이동통신 모듈(112)은 화상통화모드 및 음성통화모드를 구현하도록 이루어진다. 화상통화모드는 상대방의 영상을 보면서 통화하는 상태를 지칭하고, 음성통화모드는 상대방의 영상을 보지 않으면서 통화를 하는 상태를 지칭한다. 화상통화모드 및 음성통화모드를 구현하기 위하여 이동통신 모듈(112)은 음성 및 영상 중 적어도 하나를 송수신하도록 형성된다.
무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 중앙 제어 장치(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.
위치정보 모듈(115)은 중앙 제어 장치의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다.
도 1을 참조하면, A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 여기에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라는(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.
카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라는 사용 환경에 따라 2개 이상이 구비될 수도 있다.
마이크(122)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자 입력부(130)는 사용자가 중앙 제어 장치의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
감지부(또는 센싱부, 140)는 중앙 제어 장치(100)의 위치, 사용자의 인접 또는 근접 정도 등을 감지할 수 있다. 이와 같은 감지 신호는 제어부(180)로 전달되는 것이 가능하다. 또한, 감지부(140)는 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등을 센싱할 수도 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(151), 음향 출력 모듈(152), 알람부(153) 및 햅틱 모듈(154) 등이 포함될 수 있다.
디스플레이부(151)는 중앙 제어 장치(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 중앙 제어 장치(100)가 이벤트 정보 출력 모드인 경우, 수신된 이벤트에 대응되는 전자기기 및 수신된 이벤트 정보와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다.
또한, 예를 들어, 중앙 제어 장치가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다.
디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display), 전자종이(e-paper)중에서 적어도 하나를 포함할 수 있다.
디스플레이부(151)가 전자종이로 구현된 경우, 디스플레이부(151) 상에 정보를 표시하기 위한 전력을 감소시키는 효과를 얻을 수 있다.
한편, 디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치스크린'이라 함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
터치 센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.
터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
도 1을 참조하면, 상기 터치스크린에 의해 감싸지는 중앙 제어 장치의 내부 영역 또는 상기 터치스크린의 근처에 근접 센서가 배치될 수 있다. 상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.
상기 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치스크린(터치 센서)은 근접 센서로 분류될 수도 있다.
이하에서는 설명의 편의를 위해, 상기 터치스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. 상기 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치스크린에 대해 수직으로 대응되는 위치를 의미한다.
상기 근접센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.
음향 출력 모듈(152)은 이벤트 정보 출력 모드, 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(152)은 중앙 제어 장치(100)에서 수행되는 기능(예를 들어, 전력량 사용 초과, 이벤트 정보 출력 모드)등과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다. 한편, 이러한 음향 출력 모듈(152)에 포함된 스피커는 박막형으로 구현될 수 있다.
알람부(153)는 중앙 제어 장치(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 중앙 제어 장치에서 발생 되는 이벤트의 예로는 이벤트 정보 수신, 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 알람부(153)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 상기 비디오 신호나 오디오 신호는 디스플레이부(151)나 음향 출력 모듈(152)을 통해서도 출력될 수 있어서, 그들(151,152)은 알람부(153)의 일부로 분류될 수도 있다.
메모리(160)는 제어부(180)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 전원 전력 사용량, 평균 전력 사용량, 전자기기 사용패턴 등을 저장할 수도 있다. 상기 메모리(160)는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 중앙 제어 장치(100)는 인터넷(internet)상에서 상기 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
인터페이스부(170)는 중앙 제어 장치(100)에 연결되는 모든 외부 기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 중앙 제어 장치(100) 내부의 각 구성요소에 전달하거나, 중앙 제어 장치(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다.
식별 모듈은 중앙 제어 장치(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(user identify module; UIM), 가입자 인증 모듈(subscriber identify module; SIM), 범용 사용자 인증 모듈(universal subscriber identity module; USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 단말기(100)와 연결될 수 있다.
상기 인터페이스부(170)는 중앙 제어 장치(100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 중앙 제어 장치(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 중앙 제어 장치로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 중앙 제어 장치가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.
제어부(controller, 180)는 통상적으로 중앙 제어 장치의 전반적인 동작을 제어한다. 예를 들어 이벤트 정보 출력, 전력량 정보 출력, 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 제어부(180)는 멀티미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 멀티미디어 모듈(181)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.
또한, 상기 제어부(180)는 상기 터치스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.
전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
여기에 설명되는 다양한 실시 예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시 예는 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 제어부(180) 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 애플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.
이하에서는, 상기 도 1에서 살펴본 본 발명의 일 실시 예에 따른 중앙 제어 장치와 전자기기의 연결관계에 대하여 첨부된 도면과 보다 구체적으로 살펴본다. 도 2는 본 발명의 일 실시 예에 따른 중앙 제어 장치를 설명하기 위한 개념도이다.
본 발명의 일 실시 예에 따른 중앙 제어 장치(100)는 도 2에 도시된 것과 같이, 적어도 하나의 전자기기(210, 220, 230)와 무선 통신을 통해 연결될 수 있다. 여기에서, 중앙 제어 장치(100)의 무선 통신부(110)는 적어도 하나의 전자기기(210, 220, 230)와 Wi-Fi(Wireless-Fidelity), DLNA(Digital Living Network Alliance), NFC(Near Field Communication), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, BT(BlueTooth) 및 Wi-Fi Direct 통신방식 중 적어도 하나를 이용하여 통신할 수 있다.
여기에서, 중앙 제어 장치(100)와 전자기기들(210, 220, 230)이 통신하는 방식은 사용자의 선택에 의해 설정되거나, 기기들 간에 자동 인식을 통해 설정될 수 있다. 도 2에 도시된 것과 같이, 본 발명의 일 실시 예에 따른 중앙 제어 장치(100)는 스마트 TV(210), 세탁기(220), 에어컨(230) 등과 연결될 수 있다. 또한, 도 2에 도시된 것 외에도, 중앙 제어 장치(100)는 무선 통신부(110)와 무선 통신이 가능한 영역(또는 공간) 내에 위치하는 적어도 하나의 전자기기와 통신할 수 있다.
이하에서는, 전자기기와 통신하는 중앙 제어 장치(100)에서, 전자기기에서 발생한 이벤트 정보를 수신 및 이에 대한 제어신호를 생성하는 방법에 대하여 첨부된 도면과 함께 보다 구체적으로 살펴본다. 도 3은 본 발명의 일 실시 예에 따른 중앙 제어 장치의 동작을 설명하기 위한 흐름도이고, 도 4는 도 3에서 살펴본 중앙 제어 장치의 동작을 설명하기 위한 개념도이다.
앞서 살펴본 것과 같이, 본 발명의 일 실시 예에 따른 중앙 제어 장치(100)에서는, 전자기기에서 발생한 이벤트에 대응되는 이벤트 정보가 수신되는 단계가 진행된다(S310). 앞서, 살펴본 것과 같이, 중앙 제어 장치(100)의 무선 통신부(110)는 Wi-Fi(Wireless-Fidelity), DLNA(Digital Living Network Alliance), NFC(Near Field Communication), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, BT(BlueTooth) 및 Wi-Fi Direct 통신방식 중 적어도 하나를 이용하여, 전자기기와 통신할 수 있다.
여기에서, 전자기기는, 상기와 같은 통신방식으로 중앙 제어 장치(100)와 통신이 가능하면, 그 종류에는 무관하다. 또한, 이러한 전자기기는 이벤트가 발생한 경우, 발생한 이벤트에 대응되는 이벤트 정보를 중앙 제어 장치(100)로 전송할 수 있다.
전자기기에서 발생되는 이벤트는 이벤트부(182)에서 수신될 수 있으며, 이러한 이벤트는 전자기기에서 수행되던 태스크(task, 또는 작업)이 종료 또는 중단되거나, 전자기기에서 수행될 수 있는 태스크(task)rk 존재하는 경우, 발생될 수 있다.
일 예로서, 전자기기가 "세탁기" 인 경우, 세탁기에서, "세탁이 완료된 경우" 또는 "세탁이 완료 된 후, 기 설정된 시간 동안 세탁물을 꺼내지 않은 경우", "고장난 경우" 등의 상황에서 이벤트가 발생할 수 있다.
다른 일 예로서, 전자기기가 "에어컨"인 경우, 에어컨이 고장난 경우, 에너지가 소모되는 양이 가장 많은 시간인 경우, 실내 온도가 적정 온도인 경우, 실내공기가 불쾌지수가 높은 온도인 경우 등의 상황에서 이벤트가 발생할 수 있다.
다른 일 예로서, 전자기기가 "냉장고"인 경우, 냉장고의 전원이 꺼진 경우, 냉장고 문이 열린 경우, 절전모드로 변경가능한 경우 등의 상황에서 이벤트가 발생할 수 있다.
또 다른 일 예로서, 전자기기가 "TV"인 경우, 예약 프로그램이 시작되는 경우, 절전모드로 변경가능한 경우 등의 상황에서 이벤트가 발생할 수 있다.
또 다른 일 예로서, 전자기기가 "전자렌지(또는 광파오븐)"인 경우, 요리가 종료된 경우, 기기가 고장난 경우, 절전모드로 변경가능한 경우 등의 상황에서 이벤트가 발생할 수 있다.
위에서 살펴본 것과 같이, 중앙 제어 장치(100)는 전자기기에서 발생하는 이벤트에 대한 이벤트 정보를 수신할 수 있다.
그리고, 이러한 중앙 제어 장치(100)에서는, 수신된 이벤트 정보에 기초하여 전자기기의 상태를 알리는 안내 음성이 출력되는 단계가 진행된다(S320). 즉, 제어부(180)는 전자기기로부터 이벤트 정보가 수신된 경우, 수신된 이벤트 정보에 기초하여 전자기기의 상태를 알리는 이벤트 정보가 출력되도록 오디오 출력부(152)를 제어할 수 있다. 따라서, 사용자는 중앙 제어 장치(100) 근처에 없는 경우라도, 안내 음성을 통해 전자기기에서 발생한 이벤트를 인지할 수 있다.
나아가, 본 발명의 일 실시 예에 따른 중앙 제어 장치(100)는 무선 통신이 가능한 영역 내에, 적어도 하나의 보조 제어 장치(미도시됨)을 구비하여, 사용자가 상기 무선 통신이 가능한 영역 내에 위치한 경우, 언제라도 이벤트 정보를 인지할 수 있도록 할 수 있다. 이 경우, 제어부(180)는 사용자의 위치를 중앙 제어 장치(100) 또는 보조 제어 장치를 통해 인식하여, 사용자가 위치한 곳에 있는 중앙 제어 장치(100) 또는 보조 제어 장치로 이벤트 정보를 출력할 수 있다(이하의 설명에서는, 중앙 제어 장치(100) 또는 보조 제어 장치를 별도로 구분하지않고, 사용자가 이벤트 정보를 인지할 수 있는 영역 내에 위치함을 전제로 한다). 한편, 이러한 사용자의 위치는 감지부(140)를 통해 감지될 수 있으며, 제어부(180)는 사용자와 중앙 제어 장치(100) 본체와의 거리에 따라, 출력되는 음성의 크기가 달라지도록 오디오 출력부(152)를 제어할 수 있다.
이와 같이, 오디오 출력부(152)를 통해, 수신된 이벤트 이벤트 정보에 기초하여, 전자기기의 상태를 알리는 안내 음성이 출력되고 난 후, 중앙 제어 장치(100)에서는 마이크(122)를 통해, 상기 전자기기를 제어하기 위한 음성을 수신하는 단계가 진행된다(S330). 이와 같이, 음성이 수신되면, 중앙 제어 장치(100)에서는 수신된 음성에 대응되는 제어명령을 전자기기로 전송하는 단계가 진행된다(S340).
즉, 제어부(180)는, 마이크(122)를 통해 입력되는 사용자의 음성을 이용하여, 전자기기를 제어하기 위한 제어신호를 생성할 수 있다. 그리고, 이러한 제어신호는, 무선 통신부(110)를 통해, 전자기기로 전송됨으로써, 전자기기는 결국 사용자의 음성에 근거하여 제어되는 것이 가능하다. 따라서, 사용자는 전자기기에서 발생한 이벤트에 즉각적인 대응이 가능하다.
한편, 제어부(180)는 전자기기로부터 수신되는 이벤트 정보가 수신되는 것에 응답하여, 이벤트가 발생한 전자기기로 제어명령을 전송하기 위해, 마이크(122)에 음성이 입력되는 것을 대기하는 웨이크업 모드를 활성화할 수 있다. 예를 들어, 항상 마이크(122)가 활성화되어 있는 경우, 제어부(180)는 전자기기를 제어하기 위한 음성이 아닌 경우에도, 이를 전자기기를 제어하는 음성으로 인지하는 문제가 발생할 수 있다. 따라서, 마이크(122)는 기 설정된 경우에만, 활성화(또는 웨이크업 모드가 활성화)화 되도록 제어될 수 있다. 이러한, 기 설정된 경우는, 위에서 살펴본 것과 같이, 전자기기로부터 이벤트 정보가 수신된 경우가 될 수 있다. 한편, 이와 같이, 마이크(122)의 웨이크업 모드가 활성화된 후, 기 설정된 시간 동안 마이크(122)로 음성이 입력되지 않는 경우, 마이크(122)의 웨이크업 모드는 비활성화 될 수 있다. 즉, 마이크(122)의 웨이크업 모드가 비활성화 된 경우에는, 사용자가 전자기기로 음성을 입력하더라도, 제어부(180)는 이를 전자기기를 제어하기 위한 제어명령으로 인식하지 않을 수 있다. 이러한 경우, 사용자는 중앙 제어 장치(100)에 대한 별도의 조작을 통해, 마이크(122)의 웨이크업 모드를 다시 활성활 시킬 수 있다.
한편, 제어부(180)는 마이크(120)를 통해 음성이 입력되는 경우, 입력된 음성을 분석하여, 분석된 음성에 대응되는 제어명령을 생성할 수 있다.
일 예로서, 제어부(180)는 입력되는 음성을 TTS(text to sppeech)기술을 이용하여, 텍스트로 변환할 수 있다. 그리고, 메모리(160)에 기 저장된 제어명령과 변환된 텍스트를 비교하여, 변환된 텍스트에 대응되는 제어명령을 선택할 수 있다.
다른 예로서, 제어부(180)는 자연어 처리(Natural Language Processing) 기술을 이용하여, 입력되는 음성에 대응되는 언어를 이해하여, 이에 대응되는 제어명령을 생성할 수 있다. 즉, 제어부(180)는 입력되는 음성을 의미를 분석하여 이에 하는 제어명령을 생성하고, 이를 전자기기로 전송시킬 수 있다.
한편, 위에서 살펴본 제어명령은 제어신호의 형태로 무선 통신을 통해 전자기기로 전송될 수 있다.
이상에서 살펴본 중앙 제어 장치의 제어방법에 대하여, 도 4와 함께 보다 구체적으로 살펴보면, 도 4의 (a)에 도시된 것과 같이, 전자기기, 예를 들어, 세탁기(410)에서 이벤트가 발생되고, 이러한 이벤트 정보가 수신되면, 제어부(180)는 도 4의 (b)에 도시된 것과 같이, 오디오 출력부(152)를 통해, 이벤트 정보에 대응되는 전자기기(410)의 상태정보를 출력한다. 예를 들어, 오디오 출력부(152)는 "세탁 완료 이벤트"에 대응하여, "세탁이 완료되었습니다"라는 상태정보를 출력할 수 있다. 그리고, 도 4의 (c)에 도시되 것과 같이, 사용자로부터 음성이 입력되면, 예를 들어, "건조 시작해줘", 제어부(180)는 입력된 음성에 대응되는 제어명령을 생성하고, 도 4의 (d)에 도시된 것과 같이, 이에 대응되는 제어신호를 전자기기로 전송시킬 수 있다. 따라서, 전자기기는 무선 통신부(110)를 통해 전송된 제어신호에 응답하여, 사용자의 음성에 따른 동작을 수행할 수 있다.
이상에서 살펴본 것과 같이, 본 발명의 일 실시 예에 따른 중앙 제어 장치 및 그것의 제어방법에서는, 전자기기의 이벤트 정보를 안내 음성을 통해 출력하고, 음성을 통해 제어명령을 수신받음으로써, 사용자가 중앙 제어 장치와 가깝게 있지 않은 경우라도, 언제든지 이벤트를 인지하고, 전자기기로 제어명령을 인가할 수 있어 사용자 편의성을 높일 수 있다.
위에서는, 안내 음성을 통해 전자기기에서 발생한 이벤트 정보를 출력하는 방법에 대하여 살펴보았다. 이하에서는, 음성과 같은 청각적 정보와 함께, 시각정 정보를 함께 출력하는 방법에 대하여 첨부된 도면과 함께 보다 구체적으로 살펴본다. 도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 중앙 제어 장치에서 정보를 표시하는 방법을 설명하기 위한 개념도이다.
본 발명의 일 실시 예에 따른 중앙 제어 장치(100)에서는 정보를 출력하도록 이루어지는 디스플레이부(151)를 포함할 수 있다. 이러한, 디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display), 전자종이(e-paper) 중 어느 하나로 구현될 수 있다. 한편, 디스플레이부(151)가 전자종이로 구현된 경우, 디스플레이부(151) 상에 정보를 표시하기 위한 전력을 감소시키는 효과를 얻을 수 있다.
이러한, 디스플레이부(151)에는 중앙 제어 장치(100)에서 처리되는 정보를 표시(출력)될 수 있으며, 예를 들어, 전자기기로부터 이벤트 정보가 수신된 경우, 디스플레이부(151)에는 수신된 이벤트에 대응되는 전자기기 및 수신된 이벤트 정보와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시될 수 있다.
디스플레이부(151)에 출력되는 정보를 살펴보면, 일 예로서, 도 5a의 (a)에 도시된 것과 같이, 전자기기(예를 들어, 전자렌지)로부터 이벤트 정보(예를 들어, "요리완료")가 수신된 경우, 제어부(180)는 디스플레이부(151) 상에, "요리가 종료되었습니다"라는 수신된 이벤트 정보(또는 이벤트 정보에 대응되는 전자기기의 상태정보)를 출력시킬 수 있다. 이 경우, 제어부(180)는 이벤트 정보가 오디오 출력부(152)를 통해 안내 음성으로 함께 출력될 수 있도록, 상기 오디오 출력부(152)를 제어할 수 있다.
한편, 이와 같이, 이벤트 정보가 디스플레이부(151) 상에 출력되는 경우, 제어부(180)는 디스플레이부(151)를 통해 사용자로부터 제어명령을 수신할 수 있다. 따라서, 디스플레이부(151)에는 전자기기로 전송가능한 제어명령(예를 들어, 요리시간 연장, 전원끄기 등)에 각각 대응되는 그래픽 아이콘(511, 512)이 출력될 수 있다. 또한, 디스플레이부(151)는 이러한 이벤트 정보 외에, 중앙 제어 장치와 통신 가능한 다른 전자기기를 제어하기 위한 기능 아이콘(520)이 함께 출력될 수 있다.
디스플레이부(151)에 출력되는 정보의 다른 일 예를 살펴보면, 도 5a의 (b)에 도시된 것과 같이, 디스플레이부(151)에는, 중앙 제어 장치(100)와 통신 가능한 적어도 하나의 전자기기를 제어하기 위한 제어 아이콘 및 이러한 전자기기의 상태정보가 함께 출력될 수 있다.
따라서, 사용자는 디스플레이부(151)를 통해, 전자기기에서 이벤트가 발생하지 않은 경우라도, 전자기기의 현재 상태를 확인할 수 있다. 이러한, 전자기기의 현재 상태와 관련된 정보는, 기 설정된 시간 간격 또는 실시간 간격으로, 전자기기로부터 수신될 수 있다.
한편, 본 발명의 일 실시 예에 따른 중앙 제어 장치(100)에서 제어부(180)는 사용자가 디스플레이부(151)를 볼 수 없는 상황인 경우에, 디스플레이부(151)를 통해 정보가 출력되어, 불필요한 전력이 낭비되는 것을 방지할 수 있다. 즉, 제어부(180)는 감지부(140)를 통해, 디스플레이부(151) 주변에 사람이 감지되는 경우에 한하여, 디스플레이부(151) 상에 정보를 출력시킬 수 있다.
예를 들어, 전자기기에서 이벤트가 발생하여, 이벤트 정보가 수신된 경우, 제어부(180)는 도 5b의 (a)에 도시된 것과 같이, 디스플레이부(151)에서 일정 거리(a 거리: 감지부(140)가 사람이 주변에 있다고 인식 가능한 거리) 내에서, 사람이 감지되는 경우, 이벤트 정보를 디스플레이부(151) 상에 함께 출력시킬 수 있다. 한편 이 경우, 이벤트 정보에 대응되는 안내 음성 또한 함께 출력될 수 있다.
그리고, 도 5b의 (b)에 도시된 것과 같이, 전자기기에서 이벤트가 발생하여, 이벤트 정보가 수신된 경우, 디스플레이부(151)에서 일정 거리(a 거리: 감지부(140)가 사람이 주변에 있다고 인식 가능한 거리) 이내에 사람이 위치하지 않으면, 디스플레이부(151)에는 이벤트 정보가 출력되지 않고, 안내 음성만이 출력될 수 있다.
또한, 비록 도시되지는 않았지만, 제어부(180)는 사용자가 디스플레이부(151) 주변에 위치하는 경우, 자동으로 디스플레이부(151)를 활성화시켜, 전자기기의 상태 정보 및 제어 아이콘을 출력시킬 수 있으며, 나아가, 전자기기의 상태 정보를 안내 음성을 통해 함께 출력시킬 수 있다.
이상에서 살펴본 것과 같이, 본 발명의 일 실시 예에 따른 중앙 제어 장치 및 그것의 제어방법은 사용자가 디스플레이부를 확인할 수 있는 경우에 한하여, 디스플레이부를 활성화 시킴으로써, 불필요한 전력소모를 줄일 수 있다.
이하에서는, 전자기기에서 사용된 전력량 정보를 함께 출력하는 방법에 대하여 첨부된 도면과 함께 보다 구체적으로 살펴본다. 도 6a 및 도 6b는 본 발명의 일 실시 예에 따른 중앙 제어 장치에서 전력량 정보를 제공하는 방법을 설명하기 위한 개념도이다.
본 발명의 일 실시 예에 따른 중앙 제어 장치(100)에서는, 전자기기에서 발생한 이벤트에 대한 정보 및 전자기기의 상태에 대한 정보를 제공하는 것외에, 전자기기에서 사용된 전력량 정보를 함께 제공할 수 있다. 나아가, 제어부(180)는 복수개의 전자기기 각각에서 사용된 전력량 정보를 개별적으로 제공하는 것을 물론, 상기 복수개의 전자기기에서 사용된 총 전력량 정보를 제공할 수 있다. 나아가, 제어부(180)는 외부서버로부터 평균 전력 사용량 정보를 수신받아, 전자기기들에서 사용된 전력량과, 평균 전력 사용량을 비교하여, 이에 대한 정보를 사용자에게 제공할 수 있다. 또한, 제어부(180)는 사용 전력량을 전기요금으로 환산하여 사용자에게 알려줄 수 있다. 또한, 제어부(180)는 전기 누진세 정보를 참조하여, 사용자가 누진세를 내지 않기 위해서, 사용해야할 전력량 정보를 알려줄 수 있다.
이러한 전력량 정보는, 오디오 출력부(152)를 통해 청각적으로 출력되는 것이 가능하며, 디스플레이부(151)를 통해 시각적으로 출력되는 것 또한 가능하다.
또한, 이러한 전력량 정보는, 앞서 도 5b와 함께 살펴본 것과 같이, 디스플레이부(151)가 활성화되는 경우에, 항상 사용자에게 알려줄 수 있다.
디스플레이부(151)를 통해 전력량 정보를 제공하는 일 예를 살펴보면, 도 6a에 도시된 것과 같이, 전자기기에서 이벤트가 발생되어, 이벤트 정보가 수신된 경우, 이벤트 정보의 출력과 함께 전력량 정보가 제공될 수 있다. 즉, 제어부(180)는 이벤트가 발생한 전자기기(예를 들어, 세탁기)에서 사용된 전력량을 적어도 하나의 기준에 각각 대응되도록 제공할 수 있다. 예를 들어, 도시된 것과 같이, 제어부(180)는 이번 달 세탁기에서 사용된 전력량 정보, 전 달에 세탁기에서 사용된 총 전력량 정보, 이번달 전체 전력량 정보를 함께 제공할 수 있다. 또한, 이러한 전력량 정보는 사용자의 선택에 따라, 전기 요금으로 환산되어 출력되는 것이 가능하다. 한편, 이러한 전력량 정보는 전자기기로부터 실시간 또는 기 설정된 시간 간격으로 수신될 수 있다.
또한, 제어부(180)는 전력량 사용량이 전기 누진세가 과금될 위험이 있거나, 평균 사용량을 초과한 경우, 또는 사용자가 미리 설정해 놓은 목표 사용량에 근접하거나 도달 또는 초과한 경우에는 전자기기에서 이벤트가 발생한 경우가 아니라도, 이를 사용자에게 알려줄 수 있다. 예를 들어, 도 6b에 도시된 것과 같이, 제어부(180)는 디스플레이부(151) 및 오디오 출력부(152) 중 적어도 하나를 이용하여, 전력 사용량에 대한 정보(예를 들어, 경고 메시지)를 출력할 수 있다.
또한, 이와 같이, 전력 사용량이 많은 경우, 제어부(180)는 전자기기의 동작모드를 절전모드 또는 대기모드로 전환시키기 위한 제어신호를 사용자의 설정 또는 자동으로 전자기기에 전송시킬 수 있다. 그리고, 이러한 제어신호를 수신한 전자기기에서는, 디스플레이부의 밝기를 조절하거나, 온도를 조절하는 등의 방식으로, 전력 사용량을 줄이거나, 전원을 오프할 수 있다.
이상에서 살펴본 것과 같이, 본 발명의 일 실시 예에 따른 중앙 제어 장치 및 그것의 제어방법에서는 사용자에게 전력량에 대한 정보를 제공함으로써, 사용자가 전자기기에서 사용되는 전력량 및 전기요금을 쉽게 파악할 수 있다.
이하에서는 전자기기에서 발생한 이벤트 정보를 이동 단말기로 전송하는 방법에 대하여 첨부된 도면과 함께 보다 구체적으로 살펴본다. 도 7은 본 발명의 일 실시 예에 따른 중앙 제어 장치에서 중앙 제어 장치와 통신하는 방법을 설명하기 위한 개념도이다.
본 발명의 일 실시 예에 따른 중앙 제어 장치(100)에서는, 도 7에 도시된 것과 같이, 전자기기로부터 이벤트 정보가 수신된 경우, 수신된 이벤트 정보를 다시, 무선 통신부(110)를 이용하여 사용자의 이동 단말기(720, 예를 들어, 휴대폰 또는 스마트폰, 태블릿 PC 등)로 전송할 수 있다. 그리고, 이러한 이동 단말기(720)에서, 전자기기를 제어하기 위한 제어신호가 수신되면, 중앙 제어 장치(100)는 다시, 이러한 제어신호 무선 통신부(110)를 이용하여 전자기기로 전송할 수 있다. 따라서, 사용자는 중앙 제어 장치(100)를 직접 확인하지 못하는 경우에도, 이동 단말기를 통해, 전자기기의 상태를 확인하고, 전자기기를 제어할 수 있다.
한편, 이러한 경우에도, 제어부(180)는 디스플레이부(151) 및 오디오 출력부(152)를 중 적어도 하나를 이용하여, 수신된 이벤트 정보를 출력하는 것 또한 가능하다.
이하에서는, 본 발명의 일 실시 예에 따른 중앙 제어 장치의 외관에 대하여 첨부된 도면과 함께 보다 구체적으로 살펴본다. 도 8a 및 도 8b는 본 발명의 일 실시 예에 따른 중앙 제어 장치의 외관 형상을 설명하기 위한 개념도이다.
본 발명의 일 실시 예에 따른 중앙 제어 장치(100)는 앞서, 도 4와 함께 살펴본 것과 같이, 이벤트 정보를 출력하기 위하여, 오디오 출력부(152)를 포함할 수 있다. 즉, 중앙 제어 장치(100)는 디스플레이부(151)를 통한 정보의 출력 없이, 오디오 출력부(152)를 통해서만, 정보를 출력하는 것이 가능하다. 이 경우, 중앙 제어 장치(100)는 설치 공간을 최소화할 수 있다.
일 예로서, 중앙 제어 장치(100)는 가정 또는 사무실 등의 건물에 기 설치된 스위치(810)와 함께 설치될 수 있도록, 스위치(810)의 테두리를 감쌀 수 있도록 형성될 수 있다. 즉, 중앙 제어 장치(100)는 가운데가 관통되면서 폐루프를 이루는 형상을 갖을 수 있으며, 관통된 가운데 영역으로 스위치(810)를 감쌀수 있다. 또한, 이러한 폐루프는 오디오 출력부(예를 들어, 스피커, 152) 역할을 수행할 수 있다. 그리고, 이러한 폐루프의 일 영역에는 마이크(122)가 구비될 수 있다. 이러한, 경우, 사용자는 중앙 제어 장치(100)를 별도로 설치하기 위하여, 설치 장소를 고민해야 하는 번거로움을 줄일 수 있다.
또한, 다른 일 예로서, 이러한 중앙 제어 장치(100)는 기존 스위치가 배치되었던 위치에, 기존 스위치를 제거하고 배치될 수 있도록, 기존 스위치의 역할을 함께할 수 있다. 도시된 것과 같이, 중앙 제어 장치(100)는 이벤트 정보를 출력하기 위한 오디오 출력부(152), 사용자의 음성을 입력받기 위한 마이크(122) 및 오디오 출력부(152)의 음량을 조절하기 위한 사용자 입력부(130)가 구비될 수 있다. 나아가, 이러한 중앙 제어 장치(100)에는, 기존의 스위치 기능을 함께 수행하기 위하여, 기존의 스위치가 조명인 경우, 조명을 제어하기 위한 기능부(예를 들어, 다이얼, 820)를 더 구비할 수 있다.
이상에서 살펴본 것과 같이, 본 발명의 일 실시 예에 다른 중앙 제어 장치 및 그것의 제어방법은 기존의 스위치와 함께 배치되어, 별도의 설치장소가 필요 없으며, 기존 스위치에 대한 전원을 그대로 사용할 수 있다.
또한, 본 발명의 일 실시 예에 따른 중앙 제어 장치 및 그것의 제어 방법은 무선 통신을 통해 연결된 전자기기로부터 이벤트 정보를 수신하고, 수신된 이벤트 정보를 안내 음성을 통해 출력할 수 있다. 따라서, 사용자는 전자기기가 이벤트가 경우, 이에 대한 정보를 즉각적으로 인지할 수 있다.
나아가, 본 발명의 일 실시 예에 따른 중앙 제어 장치 및 그것의 제어 방법은 사용자의 음성 제어명령에 대응하여, 전자기기를 제어할 수 있다. 따라서, 사용자가 몸을 움직여 전자기기 상에 직접 제어명령을 인가하는 번거로움을 줄일 수 있다.
또한, 본 발명의 일 실시 예에 다른 중앙 제어 장치 및 그것의 제어 방법은 전자기기에서 사용된 전력량과 관련된 정보를 제공할 수 있다. 따라서, 사용자는 현재 사용된 전력량에 대한 정보를 인지하고, 관리할 수 있다.
이상으로 본 실시 예로서 상술한 방법은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기와 같이 설명된 중앙 제어 장치는 상기 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (14)

  1. 마이크;
    청각정보를 출력하는 오디오 출력부;
    무선신호를 이용하여 전자기기와 통신하는 무선 통신부;
    상기 무선 통신부를 통해, 상기 전자기기에서 발생한 이벤트에 대응되는 이벤트 정보를 수신하는 이벤트부; 및
    상기 수신된 이벤트 정보에 기초하여, 상기 전자기기의 상태를 알리는 안내 음성이 출력되도록 상기 오디오 출력부를 제어하는 제어부를 포함하고,
    상기 전자기기를 제어하기 위한 음성이 상기 마이크에 입력되면, 상기 음성에 대응되는 제어명령이 상기 전자기기로 전송되도록 상기 무선 통신부를 제어하는 것을 특징으로 하는 중앙 제어 장치.
  2. 제1항에 있어서, 상기 제어부는
    상기 이벤트 정보가 수신되는 것에 응답하여, 상기 전자기기로 상기 제어명령을 전송하기 위하여 상기 마이크에 음성이 입력되는 것을 대기하는 웨이크업 모드를 활성화 하고,
    상기 웨이크업 모드에서는 상기 마이크가 음성을 입력받을 수 있도록 활성화되는 것을 특징으로 하는 중앙 제어 장치.
  3. 제2항에 있어서,
    상기 웨이크업 모드가 활성화 된 후 기 설정된 시간 동안 상기 마이크에 음성이 입력되지 않은 경우, 상기 웨이크업 모드가 비활성화되는 것을 특징으로 하는 중앙 제어 장치.
  4. 제1항에 있어서,
    정보를 출력하도록 이루어지는 디스플레이부를 포함하고,
    상기 제어부는
    상기 수신된 이벤트 정보에 근거하여 상기 전자기기의 상태정보를 상기 디스플레이부 상에 출력시키는 것을 특징으로 하는 중앙 제어 장치.
  5. 제4항에 있어서,
    상기 디스플레이부에는 상기 전자기기의 상태정보와 함께 상기 전자기기에서 사용된 전력량이 표시되고,
    상기 전자기기에서 사용된 전력량은 실시간 또는 설정된 시간 간격으로 상기 전자기기로부터 수신되는 것을 특징으로 하는 중앙 제어 장치.
  6. 제5항에 있어서, 상기 제어부는
    상기 전자기기에서 사용된 전력량이 기준 전력량을 초과한 경우, 상기 오디오 출력부 및 상기 디스플레이부 중 적어도 하나를 이용하여 경고 메시지를 출력하는 것을 특징으로 하는 중앙 제어 장치.
  7. 제7항에 있어서, 상기 제어부는
    상기 전자기기의 동작모드를 절전모드로 전환하기 위한 제어신호가 상기 전자기기로 전송될 수 있도록 상기 무선 통신부를 제어하는 것을 특징으로 하는 중앙 제어 장치.
  8. 제4항에 있어서,
    사람이 인접 또는 근접하는 것을 감지하도록 형성되는 감지부를 포함하고,
    상기 제어부는
    상기 감지부에 의해 사람이 감지되는 것에 응답하여, 상기 디스플레이부를 활성화시키고, 상기 상태정보가 표시되도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 중앙 제어 장치.
  9. 제1항에 있어서, 상기 제어부는
    상기 이벤트 정보가 수신되는 것에 응답하여, 상기 수신된 이벤트 정보를 기 설정된 중앙 제어 장치로 전송하고,
    상기 중앙 제어 장치로부터 상기 전자기기를 제어하기 위한 제어신호가 수신되면, 수신된 제어신호를 상기 전자기기로 전송하도록 상기 무선 통신부를 제어하는 것을 특징으로 하는 중앙 제어 장치.
  10. 제1항에 있어서,
    상기 전자기기에서 발생되는 이벤트는 상기 전자기기에서 수행되던 태스크(task)가 종료 또는 중단되거나, 상기 전자기기에서 수행될 수 있는 태스크(task)가 존재하는 경우는 발생하는 것을 특징으로 하는 중앙 제어 장치.
  11. 전자기기와 통신하는 단계;
    상기 전자기기에서 발생한 이벤트에 대응되는 이벤트 정보를 수신하는 단계;
    상기 수신된 이벤트 정보에 기초하여 상기 전자기기의 상태를 알리는 안내 음성을 출력하는 단계;
    상기 전자기기를 제어하기 위한 음성을 수신하는 단계; 및
    상기 수신된 음성에 대응되는 제어명령을 상기 전자기기로 전송하는 단계를 포함하는 것을 특징으로 하는 중앙 제어 장치의 제어 방법.
  12. 제11항에 있어서, 상기 안내 음성을 출력하는 단계에서는
    디스플레이부를 기준으로 기 설정된 거리 이내에서 사용자가 감지되는 경우, 상기 디스플레이부 상에 상기 이벤트 정보에 대응되는 상기 전자기기의 상태정보를 출력하는 것을 특징으로 하는 중앙 제어 장치의 제어 방법.
  13. 제11항에 있어서, 상기 이벤트 정보를 수신하는 단계에서는
    상기 전자기기에서 사용된 전력량 정보가 함께 수신되고,
    상기 수신된 전력량 정보에 근거하여 상기 전자기기에서 사용된 전력량이 기준 전력량을 초과한 경우, 청각적 및 시각적 방법 중 적어도 하나를 통해 경고 메시지가 출력되는 것을 특징으로 하는 중앙 제어 장치의 제어 방법.
  14. 제13항에 있어서,
    상기 전자기기에서 사용된 전력량이 기준 전력량을 초과한 경우, 상기 전자기기의 동작모드를 절전모드로 전환하기 위한 제어신호가 생성하고, 생성된 제어신호를 상기 전자기기로 전송하는 단계를 포함하는 것을 특징으로 하는 중앙 제어 장치의 제어 방법.

KR1020130000330A 2013-01-02 2013-01-02 중앙 제어 장치 및 그것의 제어 방법 KR20140088449A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130000330A KR20140088449A (ko) 2013-01-02 2013-01-02 중앙 제어 장치 및 그것의 제어 방법
US14/144,223 US20140188485A1 (en) 2013-01-02 2013-12-30 Central controller and method for controlling the same
EP13199795.9A EP2753021A1 (en) 2013-01-02 2013-12-30 Central controller and method for controlling the same
CN201410001438.1A CN103914032A (zh) 2013-01-02 2014-01-02 中央控制器及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130000330A KR20140088449A (ko) 2013-01-02 2013-01-02 중앙 제어 장치 및 그것의 제어 방법

Publications (1)

Publication Number Publication Date
KR20140088449A true KR20140088449A (ko) 2014-07-10

Family

ID=50071384

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130000330A KR20140088449A (ko) 2013-01-02 2013-01-02 중앙 제어 장치 및 그것의 제어 방법

Country Status (4)

Country Link
US (1) US20140188485A1 (ko)
EP (1) EP2753021A1 (ko)
KR (1) KR20140088449A (ko)
CN (1) CN103914032A (ko)

Cited By (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160134007A (ko) * 2015-05-14 2016-11-23 엘에스산전 주식회사 전력기기 제어 장치
WO2017142163A1 (ko) * 2016-02-17 2017-08-24 삼성전자 주식회사 디스플레이 장치 및 그 동작 방법
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11853647B2 (en) 2015-12-23 2023-12-26 Apple Inc. Proactive assistance based on dialog communication between devices
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016024212A (ja) * 2014-07-16 2016-02-08 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2016017978A1 (en) * 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Device and method for performing functions
JP6114249B2 (ja) * 2014-11-20 2017-04-12 ヤマハ株式会社 情報送信装置および情報送信方法
TWI613919B (zh) * 2015-09-16 2018-02-01 新唐科技股份有限公司 家電控制系統及其控制方法
US10018977B2 (en) * 2015-10-05 2018-07-10 Savant Systems, Llc History-based key phrase suggestions for voice control of a home automation system
CN106814639A (zh) * 2015-11-27 2017-06-09 富泰华工业（深圳）有限公司 语音控制系统及方法
JP2017123564A (ja) * 2016-01-07 2017-07-13 ソニー株式会社 制御装置、表示装置、方法及びプログラム
MX2017005610A (es) 2016-05-02 2018-08-20 Norman R Byrne Modulo de comunicaciones inalámbricas para unidades de energia y datos de superficies de trabajo.
US10417881B2 (en) * 2016-05-02 2019-09-17 Norman R. Byrne Wireless status indicator light
US10175996B2 (en) 2016-05-02 2019-01-08 Norman R. Byrne Information display and control for work areas
US10621113B2 (en) 2016-05-02 2020-04-14 Byrne Norman R Information and control via voice communications module for work surface power and data units
MX366613B (es) 2016-07-08 2019-07-15 Norman R Byrne Sistema de alerta inalambrico integrado.
US10506204B2 (en) 2016-10-10 2019-12-10 At&T Digital Life, Inc. State detection and voice guided setup for a video doorbell unit
EP4220630A1 (en) 2016-11-03 2023-08-02 Samsung Electronics Co., Ltd. Electronic device and controlling method thereof
KR20180049787A (ko) * 2016-11-03 2018-05-11 삼성전자주식회사 전자 장치, 그의 제어 방법
KR101925034B1 (ko) * 2017-03-28 2018-12-04 엘지전자 주식회사 스마트 컨트롤링 디바이스 및 그 제어 방법
KR102389041B1 (ko) * 2017-08-11 2022-04-21 엘지전자 주식회사 이동단말기 및 머신 러닝을 이용한 이동 단말기의 제어방법
JP7378388B2 (ja) * 2017-09-06 2023-11-13 ランディス・ギア イノベーションズ インコーポレイテッド 音声起動型エネルギ管理システム
KR102419597B1 (ko) * 2017-09-29 2022-07-11 삼성전자주식회사 입력 디바이스와 전자 장치, 이를 포함하는 시스템 및 그 제어 방법
CN107911267A (zh) * 2017-11-01 2018-04-13 广州视源电子科技股份有限公司 智能家电信息显示位置调整方法和装置
US10931471B2 (en) 2018-03-27 2021-02-23 Rovi Guides, Inc. Systems and methods for avoiding interruptions from network-connected devices during media viewing
US10461955B2 (en) * 2018-03-27 2019-10-29 Rovi Guides, Inc. Systems and methods for preemptively preventing interruptions from network-connected devices from occurring during media viewing
JP6477954B2 (ja) * 2018-04-18 2019-03-06 三菱電機株式会社 家電機器の音声ガイダンスシステム及びその方法
KR20200013162A (ko) 2018-07-19 2020-02-06 삼성전자주식회사 전자 장치 및 그의 제어 방법
CN112740626B (zh) * 2018-09-21 2022-09-27 三星电子株式会社 用于通过使多个电子装置协同工作来提供通知的方法和设备
US10650819B2 (en) 2018-10-15 2020-05-12 Midea Group Co., Ltd. System and method for providing portable natural language processing interface across multiple appliances
JP7269812B2 (ja) * 2019-07-18 2023-05-09 東芝ライフスタイル株式会社 家電機器
US11849169B2 (en) * 2020-03-12 2023-12-19 Universal Electronics Inc. System and method for a self adaptive, multi-user program guide

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5924486A (en) * 1997-10-29 1999-07-20 Tecom, Inc. Environmental condition control and energy management system and method
JP2001319045A (ja) * 2000-05-11 2001-11-16 Matsushita Electric Works Ltd 音声マンマシンインタフェースを用いたホームエージェントシステム、及びプログラム記録媒体
JP2003044184A (ja) * 2001-08-01 2003-02-14 Canon Inc データ処理装置及び電力制御方法
KR100559026B1 (ko) * 2003-05-30 2006-03-10 엘지전자 주식회사 홈 네트워크 시스템
JP4164815B2 (ja) * 2004-02-23 2008-10-15 富士フイルム株式会社 サービスサーバおよび音声メッセージ収集方法
KR100630103B1 (ko) * 2005-05-24 2006-09-27 삼성전자주식회사 통합 리모트컨트롤 시스템
US8472935B1 (en) * 2007-10-29 2013-06-25 Iwao Fujisaki Communication device
CN101424924A (zh) * 2007-10-31 2009-05-06 陈修志 声控智能家居控制系统
WO2010028220A2 (en) * 2008-09-04 2010-03-11 Nicole Dubrow Point-of-use energy monitoring and management
KR101060302B1 (ko) * 2008-12-24 2011-08-29 전자부품연구원 가전 및 홈네트워크 기기의 에너지 소비 모니터링 및 대기전력 절감 시스템 및 방법
KR101649157B1 (ko) * 2010-05-18 2016-08-18 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
CN102377959A (zh) * 2010-08-21 2012-03-14 青岛海尔软件有限公司 智能家居声控机顶盒系统
WO2012031351A1 (en) * 2010-09-10 2012-03-15 Energate Inc. Portable information display dockable to a base thermostat
CN201788408U (zh) * 2010-09-25 2011-04-06 厦门万安智能股份有限公司 一种用于智能家居集控系统的手持式控制装置
CN102411342B (zh) * 2010-09-26 2013-12-18 比亚迪股份有限公司 一种汽车常电模块供电系统及控制方法
KR101721225B1 (ko) * 2010-09-28 2017-03-29 삼성전자주식회사 디바이스 제어 방법 및 장치와 컴퓨터로 읽을 수 있는 저장 매체
US8261972B2 (en) * 2010-10-11 2012-09-11 Andrew Ziegler Stand alone product, promotional product sample, container, or packaging comprised of interactive quick response (QR code, MS tag) or other scan-able interactive code linked to one or more internet uniform resource locators (URLs) for instantly delivering wide band digital content, promotions and infotainment brand engagement features between consumers and marketers
JP5695447B2 (ja) * 2011-03-01 2015-04-08 株式会社東芝 テレビジョン装置及び遠隔操作装置
CN102768508B (zh) * 2011-05-04 2015-03-18 张宝强 智能家居安防控制系统
CN102307126B (zh) * 2011-08-15 2014-06-11 武汉安通科技产业发展有限公司 多网接入多功能数字家庭智能终端及其控制方法
US8340975B1 (en) * 2011-10-04 2012-12-25 Theodore Alfred Rosenberger Interactive speech recognition device and system for hands-free building control
CN102447787B (zh) * 2011-12-09 2014-10-29 惠州Tcl移动通信有限公司 一种手机及其提示音控制方法
CN202475345U (zh) * 2012-03-02 2012-10-03 中山大洋电机股份有限公司 一种直流无刷电机控制器
KR102062580B1 (ko) * 2012-12-13 2020-02-11 삼성전자주식회사 홈 네트워크 시스템에서 디바이스 제어 방법 및 장치
EP3691179A1 (en) * 2012-12-18 2020-08-05 Samsung Electronics Co., Ltd. Method and device for controlling home device remotely in home network system
JP6132577B2 (ja) * 2013-02-13 2017-05-24 キヤノン株式会社 画像処理装置、画像処理方法、プログラム

Cited By (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11979836B2 (en) 2007-04-03 2024-05-07 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US11900936B2 (en) 2008-10-02 2024-02-13 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11636869B2 (en) 2013-02-07 2023-04-25 Apple Inc. Voice trigger for a digital assistant
US11557310B2 (en) 2013-02-07 2023-01-17 Apple Inc. Voice trigger for a digital assistant
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US11862186B2 (en) 2013-02-07 2024-01-02 Apple Inc. Voice trigger for a digital assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US11699448B2 (en) 2014-05-30 2023-07-11 Apple Inc. Intelligent assistant for home automation
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US11810562B2 (en) 2014-05-30 2023-11-07 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11838579B2 (en) 2014-06-30 2023-12-05 Apple Inc. Intelligent automated assistant for TV user interactions
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
KR20160134007A (ko) * 2015-05-14 2016-11-23 엘에스산전 주식회사 전력기기 제어 장치
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11954405B2 (en) 2015-09-08 2024-04-09 Apple Inc. Zero latency digital assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11550542B2 (en) 2015-09-08 2023-01-10 Apple Inc. Zero latency digital assistant
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11809886B2 (en) 2015-11-06 2023-11-07 Apple Inc. Intelligent automated assistant in a messaging environment
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US11853647B2 (en) 2015-12-23 2023-12-26 Apple Inc. Proactive assistance based on dialog communication between devices
WO2017142163A1 (ko) * 2016-02-17 2017-08-24 삼성전자 주식회사 디스플레이 장치 및 그 동작 방법
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11657820B2 (en) 2016-06-10 2023-05-23 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US11749275B2 (en) 2016-06-11 2023-09-05 Apple Inc. Application integration with a digital assistant
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11862151B2 (en) 2017-05-12 2024-01-02 Apple Inc. Low-latency intelligent automated assistant
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US11538469B2 (en) 2017-05-12 2022-12-27 Apple Inc. Low-latency intelligent automated assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11907436B2 (en) 2018-05-07 2024-02-20 Apple Inc. Raise to speak
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11487364B2 (en) 2018-05-07 2022-11-01 Apple Inc. Raise to speak
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11630525B2 (en) 2018-06-01 2023-04-18 Apple Inc. Attention aware virtual assistant dismissal
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US11360577B2 (en) 2018-06-01 2022-06-14 Apple Inc. Attention aware virtual assistant dismissal
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11924254B2 (en) 2020-05-11 2024-03-05 Apple Inc. Digital assistant hardware abstraction
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11750962B2 (en) 2020-07-21 2023-09-05 Apple Inc. User identification using headphones
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones

Also Published As

Publication number Publication date
US20140188485A1 (en) 2014-07-03
CN103914032A (zh) 2014-07-09
EP2753021A1 (en) 2014-07-09

Similar Documents

Publication Publication Date Title
KR20140088449A (ko) 중앙 제어 장치 및 그것의 제어 방법
KR102158208B1 (ko) 전자기기 및 그것의 제어 방법
KR101850825B1 (ko) 이동 단말기 및 그 제어방법
KR101887059B1 (ko) 이동 단말기 및 그 제어 방법
US10222928B2 (en) Electronic device
KR20120071163A (ko) 이동 단말기 및 그 동작 제어 방법
KR101679420B1 (ko) 이동 통신 단말기의 제어방법 및 이를 적용한 이동 통신 단말기
KR20120072518A (ko) 이동 단말기 및 그 제어 방법
KR101875744B1 (ko) 전자 기기 및 전자 기기의 제어 방법
KR102246555B1 (ko) 디지털 디바이스 및 그 제어 방법
KR20100093345A (ko) 이동 단말기 및 이것의 위험 메시지 수신 알림 방법
KR20150120102A (ko) 웨어러블 디바이스와 연동되는 모바일 기기에서의 정보 표시 제어 방법
KR20100089383A (ko) 호 착신 알림장치 및 방법
KR20150044128A (ko) 얼굴 인식을 이용한 통화 모드 전환 방법 및 그 단말기
KR20140088448A (ko) 전원 제어 장치 및 그것의 제어방법
KR101995234B1 (ko) 단말기 및 그 제어 방법
KR20140067291A (ko) 단말기 및 아이콘 표시 방법
KR20150089525A (ko) 통신 메시지 운용 방법 및 이를 지원하는 전자 장치
KR101688156B1 (ko) 이동단말기 및 그 액세스 포인트 탐색 방법
KR20140140306A (ko) 전자기기 및 그의 동작방법
KR20130064421A (ko) 휴대 전자기기 및 이의 제어 방법
KR20140045761A (ko) 단말기 및 그 동작 방법
KR20150033301A (ko) 단말기 및 그 동작 방법
KR20150020785A (ko) 이동 단말기 및 그것의 제어방법
KR20140136809A (ko) 이동통신기기의 제어방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid