KR102003267B1 - 전자 장치 및 그의 제어 방법 - Google Patents

전자 장치 및 그의 제어 방법 Download PDF

Info

Publication number
KR102003267B1
KR102003267B1 KR1020110147512A KR20110147512A KR102003267B1 KR 102003267 B1 KR102003267 B1 KR 102003267B1 KR 1020110147512 A KR1020110147512 A KR 1020110147512A KR 20110147512 A KR20110147512 A KR 20110147512A KR 102003267 B1 KR102003267 B1 KR 102003267B1
Authority
KR
South Korea
Prior art keywords
voice
guide information
input
user
electronic device
Prior art date
Application number
KR1020110147512A
Other languages
English (en)
Other versions
KR20130078518A (ko
Inventor
한상진
권용환
김정근
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110147512A priority Critical patent/KR102003267B1/ko
Priority to US13/687,771 priority patent/US9552057B2/en
Priority to EP12198524.6A priority patent/EP2610864A3/en
Priority to JP2012286588A priority patent/JP6184098B2/ja
Priority to CN201210592980.XA priority patent/CN103188541B/zh
Publication of KR20130078518A publication Critical patent/KR20130078518A/ko
Application granted granted Critical
Publication of KR102003267B1 publication Critical patent/KR102003267B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Selective Calling Equipment (AREA)
  • Details Of Television Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치 및 그의 제어 방법이 제공된다. 본 전자 장치의 제어 방법은 전자 장치를 제어하기 위한 사용자 음성을 안내하는 제1 음성 가이드 정보를 디스플레이하고, 전자 장치에 연결된 외부기기를 제어하기 위한 사용자 명령이 입력되면, 제1 음성 가이드 정보를 상기 외부기기를 제어하기 위한 사용자 음성을 안내하는 제2 음성 가이드 정보로 변경하여 디스플레이한다. 이에 의해, 사용자는 음성 인식을 통해 더욱 효율적이고 직관적으로 외부기기를 제어할 수 있게 된다.

Description

전자 장치 및 그의 제어 방법{Electronic apparatus and Method for controlling electronic apparatus thereof}
본 발명은 전자 장치 및 그의 제어 방법에 관한 것으로, 더욱 상세하게는 사용자 음성 또는 사용자 모션에 따라 제어되는 전자 장치 및 그의 제어 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 종류의 전자 장치가 개발되어 보급되고 있다. 특히, 최근에는 TV를 비롯한 다양한 유형의 전자 장치들이 일반 가정에서 사용되고 있다. 이들 전자 장치들은 사용자의 요구에 따라 점차 다양한 기능을 구비하게 되었다. 특히, TV의 경우, 최근에는 인터넷과 연결되어 인터넷 서비스까지 지원하고 있다. 또한, 사용자는 TV를 통해 많은 수의 디지털 방송 채널까지 시청할 수 있게 되었다.
이에 따라, 전자 장치의 다양한 기능들을 효율적으로 사용하기 위한 다양한 입력 방법이 요구되고 있다. 예를 들어, 리모컨을 이용한 입력 방법, 마우스를 이용한 입력 방법 및 터치 패드를 이용한 입력 방법 등이 전자 장치에 적용되고 있다.
하지만, 이러한 단순한 입력 방법만으로는, 전자 장치의 다양한 기능을 효과적으로 사용하기에는 어려움이 있었다. 가령, 전자 장치의 모든 기능들을 리모컨만으로 제어하도록 구현하게 되면, 리모컨의 버튼 수를 늘리는 것이 불가피하였다. 이 경우, 일반 사용자가 리모컨의 사용법을 익히는 것은 결코 용이하지 않은 일이었다. 또한, 다양한 메뉴들을 화면상에 표시하여 사용자가 해당 메뉴를 찾아서 선택하도록 하는 방법의 경우, 사용자가 복잡한 메뉴 트리를 일일이 확인하여, 자신이 원하는 메뉴를 선택하여야 한다는 번거로움이 있었다.
따라서, 근래에는 전자 장치를 조금 더 편리하고 직관적으로 제어하기 위하여 음성 인식 및 모션 인식을 이용한 기술이 개발되고 있다. 특히, 사용자가 음성 인식 또는 모션 인식을 이용하여 더욱 효율적으로 전자 장치를 제어하기 위해, 전자 장치는 음성 인식 또는 모션 인식을 안내하는 UI가 필요하게 된다.
그러나, 기존의 음성 인식 및 모션 인식을 안내하는 UI는 전자 장치의 기능 및 외부기기와의 연결 상태와 상관없이 동일한 형태로 제공되고 있다. 예를 들어, 전자 장치가 TV인 경우, 전자 장치가 셋탑박스와 연결되어 방송 수신 기능을 수행하든, 전자 장치가 DVD와 연결되어 영상 재생 기능을 수행하든 동일한 형태의 UI가 제공되는 문제점이 존재하였다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 전자 장치가 연결된 외부기기의 종류 및 기능에 따라 상이한 음성 가이드 정보 또는 모션 가이드 정보를 제공하는 전자 장치의 제어 방법 및 이를 이용한 전자 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치의 제어 방법은, 상기 전자 장치를 제어하기 위한 사용자 음성을 안내하는 제1 음성 가이드 정보를 디스플레이하는 단계; 상기 전자 장치에 연결된 외부기기를 제어하기 위한 사용자 명령을 입력받는 단계; 및 상기 사용자 명령이 입력되면, 상기 제1 음성 가이드 정보를 상기 외부기기를 제어하기 위한 사용자 음성을 안내하는 제2 음성 가이드 정보로 변경하여 디스플레이하는 단계;를 포함한다.
그리고, 상기 전자 장치에 기 저장된 복수의 음성 가이드 정보 중 상기 외부기기에 대응되는 제2 음성 가이드 정보를 검색하여 독출하는 단계;를 더 포함할 수 있다.
또한, 상기 전자 장치가 TV인 경우, 상기 제1 음성 가이드 정보는 전원 제어에 관한 음성 아이템, 외부기기 실행에 관한 음성 아이템, 채널 설정에 관한 음성 아이템, 볼륨 설정에 관한 음성 아이템 중 적어도 하나를 포함하고, 상기 외부기기가 DVD 플레이어 및 BD 플레이어 중 하나인 경우, 상기 제2 음성 가이드 정보는 전원 제어에 관한 음성 아이템, 외부기기 실행에 관한 음성 아이템, 재생 설정에 관한 음성 아이템 중 적어도 하나를 포함할 수 있다.
그리고, 상기 제1 음성 가이드 정보가 디스플레이된 경우, 상기 제1 음성 가이드 정보에 포함된 사용자 음성이 입력되면, 상기 사용자 음성에 따라, 상기 전자 장치를 제어하는 단계; 및 상기 제2 음성 가이드 정보가 디스플레이된 경우, 상기 제2 음성 가이드 정보에 포함된 사용자 음성이 입력되면, 상기 입력된 사용자 음성에 대응되는 제어 신호를 생성하여 상기 생성된 제어 신호를 상기 외부기기에 전송하는 단계;를 더 포함할 수 있다.
또한, 상기 제2 음성 가이드 정보가 디스플레이된 경우, 상기 제2 음성 가이드 정보에 포함된 음성 아이템 중 하나에 대응되는 사용자 음성이 입력되면, 상기 입력된 사용자 음성에 대응되는 제어 신호를 생성하는 단계; 및 상기 생성된 제어 신호를 상기 외부기기에 전송하기 위한 중계기기에 무선으로 전송하는 단계;를 더 포함할 수 있다.
그리고, 상기 생성된 제어 신호는 블루투스 통신에 의해 상기 중계기기로 전송되며, 상기 중계기기는, 상기 전송된 제어 신호를 IR 신호로 변환하여 상기 외부기기에 전송할 수 있다.
또한, 상기 제1 음성 가이드 정보 및 상기 제2 음성 가이드 정보 각각은, 상기 전자 장치의 모드가 음성 제어 모드임을 나타내는 아이콘을 포함하는 것을 특징으로 하는 제어 방법.
그리고, 상기 제1 음성 가이드 정보 및 상기 제2 음성 가이드 정보는 컨텐츠가 디스플레이되는 화면 하단에 디스플레이될 수 있다.
또한, 상기 사용자 명령은, 외부기기를 제어하기 위한 음성 입력부를 통해 입력된 사용자 음성일 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치는, 사용자 음성을 입력받는 음성 입력부; 디스플레이부; 및 상기 전자 장치를 제어하기 위한 사용자 음성을 안내하는 제1 음성 가이드 정보를 상기 디스플레이부에 디스플레이하고, 상기 전자 장치에 연결된 외부기기를 제어하기 위한 사용자 명령이 입력되면, 상기 제1 음성 가이드 정보를 상기 외부기기를 제어하기 위한 사용자 음성을 안내하는 제2 음성 가이드 정보로 변경하여 디스플레이하도록 상기 디스플레이부를 제어하는 제어부;를 포함한다.
그리고, 복수의 음성 가이드 정보를 저장하는 저장부;를 더 포함하며, 상기 제어부는, 상기 저장부에 저장된 복수의 음성 가이드 정보 중 상기 외부기기에 대응되는 제2 음성 가이드 정보를 검색하여 독출할 수 있다.
또한, 상기 전자 장치가 TV인 경우, 상기 제1 음성 가이드 정보는 전원 제어에 관한 음성 아이템, 외부기기 실행에 관한 음성 아이템, 채널 설정에 관한 음성 아이템, 볼륨 설정에 관한 음성 아이템 중 적어도 하나를 포함하고, 상기 외부기기가 DVD 플레이어 및 BD 플레이어 중 하나인 경우, 상기 제2 음성 가이드 정보는 전원 제어에 관한 음성 아이템, 외부기기 실행에 관한 음성 아이템, 재생 설정에 관한 음성 아이템 중 적어도 하나를 포함할 수 있다.
그리고, 상기 외부기기와 통신을 수행하는 외부단자 입력부;를 더 포함하며, 상기 제어부는, 상기 제1 음성 가이드 정보가 디스플레이된 경우, 상기 제1 음성 가이드 정보에 포함된 사용자 음성이 입력되면, 상기 사용자 음성에 따라, 상기 전자 장치를 제어하고, 상기 제2 음성 가이드 정보가 디스플레이된 경우, 상기 제2 음성 가이드 정보에 포함된 사용자 음성이 입력되면, 상기 입력된 사용자 음성에 대응되는 제어 신호를 생성하여 상기 생성된 제어 신호를 상기 외부단자 입력부를 통해 상기 외부기기에 전송할 수 있다.
또한, 상기 외부기기와 통신을 수행하는 중계기기와 통신을 수행하는 네트워크 인터페이스부;를 더 포함하며, 상기 제어부는, 상기 제2 음성 가이드 정보가 디스플레이된 경우, 상기 제2 음성 가이드 정보에 포함된 음성 아이템 중 하나에 대응되는 사용자 음성이 입력되면, 상기 입력된 사용자 음성에 대응되는 제어 신호를 생성하고, 상기 생성된 제어 신호를 상기 네트워크 인터페이스부를 통해 상기 중계기기에 무선으로 전송할 수 있다.
그리고, 상기 생성된 제어 신호는 블루투스 통신에 의해 상기 중계기기로 전송되며, 상기 중계기기는, 상기 전송된 제어 신호를 IR 신호로 변환하여 상기 외부기기에 전송할 수 있다.
또한, 상기 제1 음성 가이드 정보 및 상기 제2 음성 가이드 정보 각각은, 상기 전자 장치의 모드가 음성 제어 모드임을 나타내는 아이콘을 포함할 수 있다.
그리고, 상기 제1 음성 가이드 정보 및 상기 제2 음성 가이드 정보는 컨텐츠가 디스플레이되는 화면 하단에 디스플레이될 수 있다.
또한, 상기 사용자 명령은, 상기 외부기기를 제어하기 위한 상기 음성 입력부를 통해 입력된 사용자 음성일 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치의 제어 방법은, 상기 전자 장치를 제어하기 위한 사용자 모션을 안내하는 제1 모션 가이드 정보를 디스플레이하는 단계; 상기 전자 장치에 연결된 외부기기를 제어하기 위한 사용자 명령 입력받는 단계; 및 상기 사용자 명령이 입력되면, 상기 제1 모션 가이드 정보를 상기 외부기기를 제어하기 위한 사용자 모션을 안내하는 제2 모션 가이드 정보로 변경하여 디스플레이하는 단계;를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전자 장치는, 사용자 모션을 입력받는 모션 입력부; 디스플레이부; 및 상기 전자 장치를 제어하기 위한 사용자 모션을 안내하는 제1 모션 가이드 정보를 상기 디스플레이부에 디스플레이하고, 상기 전자 장치에 연결된 외부기기를 제어하기 위한 사용자 명령이 입력되면, 상기 제1 모션 가이드 정보를 상기 외부기기를 제어하기 위한 사용자 모션을 안내하는 제2 모션 가이드 정보로 변경하여 디스플레이하도록 상기 디스플레이부를 제어하는 제어부;를 포함한다.
상술한 바와 같은 본 발명의 다양한 실시예에 의하면, 전자 장치와 연결된 외부기기의 종류 및 기능에 따라 상이한 음성 가이드 정보 또는 모션 가이드 정보를 제공함으로써, 사용자는 더욱 효율적이고 직관적으로 외부기기를 제어할 수 있게 된다.
도 1 내지 3은 본 발명의 다양한 실시 예에 따른, 전자 장치의 구성을 설명하기 위한 블럭도,
도 4 내지 도 7은 본 발명의 일 실시예에 따른, 전자 장치와 연결된 외부기기에 따라 상이한 음성 가이드 정보를 제공하는 방법을 설명하기 위한 도면,
도 8은 본 발명의 일 실시예에 따른, 전자 장치와 연결된 외부기기에 따라 상이한 음성 가이드 정보를 제공하는 방법을 설명하기 위한 흐름도, 그리고,
도 9는 본 발명의 일 실시예에 따른, 전자 장치, 외부기기 및 전자 장치와 외부기기를 중계하는 중계기기를 포함하는 시스템을 도시한 도면이다.
도 1은 본 발명의 실시 예에 따른 전자 장치를 나타내는 개략적인 블럭도이다.
도 1을 참조하면, 전자 장치(100)는 음성 입력부(110), 모션 입력부(120), 저장부(130), 제어부(140) 및 디스플레이부(193)를 포함한다. 전자 장치(100)는 외부의 네트워크와 연결될 수 있는 스마트 TV, 셋탑박스, PC로, 또는 디지털 TV, 휴대폰 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다.
음성 입력부(110)는 사용자가 발화(utterance)한 음성을 입력받는다. 음성 입력부(110)는 입력된 음성 신호를 전기 신호로 변환하여 제어부(140)로 출력한다. 예를 들어, 음성 입력부(110)는 마이크로폰으로 구현될 수 있다. 또한, 음성 입력부(110)는 전자 장치(100)와 일체형(all-in-one)뿐만 아니라 분리된 형태로 구현될 수 있다. 분리된 음성 입력부(110)는 전자 장치(100)와 유선 또는 무선 네트워크를 통하여 연결될 수 있다.
모션 입력부(120)는 사용자의 모션을 촬상한 영상 신호(예를 들어, 연속되는 프레임)를 입력받아 제어부(140)로 제공한다. 예를 들어, 모션 입력부(120)는 렌즈 및 이미지센서로 구성되는 모션 입력부(120) 유닛으로 구현될 수 있다. 또한, 모션 입력부(120)는 전자 장치(100)와 일체형뿐만 아니라 분리된 형태로 구현될 수 있다. 분리된 모션 입력부(120)는 전자 장치(100)와 유선 또는 무선 네트워크를 통하여 연결될 수 있다.
저장부(130)는 전자 장치(100)를 구동하고 제어하기 위한 다양한 데이터 및 프로그램을 저장한다. 저장부(130)는 음성 입력부(110)를 통해 입력된 음성을 인식하기 위한 음성 인식 모듈 및 모션 입력부(120)를 통해 입력된 모션을 인식하기 위한 모션 인식 모듈을 저장한다.
저장부(130)는 음성 데이터베이스 및 모션 데이터베이스를 포함할 수 있다. 음성 데이터베이스는 기 설정된 음성 및 기 설정된 음성에 매칭되는 음성 태스크가 기록된 데이터베이스를 의미한다. 모션 데이터베이스는 기 설정된 모션 및 기 설정된 모션에 매칭되는 모션 태스크가 기록된 데이터베이스를 의미한다.
디스플레이부(193)는 방송 수신부를 통해 수신된 방송 신호에 대응되는 영상을 표시한다. 디스플레이부(193)는 외부 단자 입력부를 통해 입력되는 영상 데이터(예를 들어, 동영상)을 표시할 수 있다. 디스플레이부(193)는 제어부(140)의 제어에 의해 음성 태스크를 수행하기 위한 음성 가이드 정보 및 모션 태스크를 수행하기 위한 모션 가이드 정보를 표시할 수 있다.
제어부(140)는 음성 입력부(110), 모션 입력부(120), 및 저장부(130)를 제어한다. 제어부(140)는 CPU(central processing unit) 및 전자 장치(100)를 제어하기 위한 모듈 및 데이터를 저장하는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
음성 입력부(110)를 통해 음성이 입력되는 경우, 제어부(140)는 음성 인식 모듈 및 음성 데이터베이스를 이용하여 음성을 인식한다. 음성 인식(voice recognition)은 입력되는 음성의 형태에 따라, 각각의 단어를 구분하여 발화한 음성을 인식하는 고립단어 인식(isolated word recognition), 연속단어, 연속문장 및 대화체 음성을 인식하는 연속 음성 인식(continuous speech recognition) 및 고립단어 인식과 연속음성 인식의 중간형태로, 미리 정해진 핵심어를 검출하여 인식하는 핵심어 검출(keyword spotting)으로 구분될 수 있다.
사용자 음성이 입력되는 경우, 제어부(140)는 입력된 음성 신호 내에서 사용자가 발화한 음성의 시작과 끝을 검출하여 음성 구간을 판단한다. 제어부(140)는 입력된 음성 신호의 에너지를 계산하고, 계산된 에너지에 따라 음성 신호의 에너지 레벨을 분류하여, 동적 프로그래밍을 통해 음성 구간을 검출할 수 있다. 제어부(140)은 검출된 음성 구간 내의 음성 신호에서 음향 모델(Acoustic Model)을 기초로 음성의 최소 단위인 음소를 검출하여 음소 데이터를 생성한다. 제어부(140)은 생성된 음소 데이터에 HMM(Hidden Markov Model) 확률 모델을 적용하여 텍스트 정보를 생성한다. 그러나, 상술한 바와 같이, 사용자의 음성을 인식하는 방법은 일 실시예에 불과할 뿐, 다른 방법을 이용하여 사용자 음성을 인식할 수 있다. 이에 따라, 제어부(140)는 음성 신호 중에 포함된 사용자의 음성을 인식할 수 있다.
모션 입력부(120)를 통해 모션이 입력되는 경우, 제어부(140)는 모션 감지 모듈 및 모션 데이터베이스를 이용하여 모션을 인식한다. 모션 인식(motion recognition)은 모션 입력부(120)를 통해 입력되는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 모션 인식 모듈을 이용하여 주위 배경과 손(예를 들어, 손가락을 펴거나 손가락을 오므려 주먹을 쥐는) 영역으로 분리하고, 연속되는 손의 움직임을 인식할 수 있다. 사용자 모션이 입력되는 경우, 제어부(140)는 수신된 영상을 프레임 단위로 저장하고, 저장된 프레임을 이용하여 사용자 모션의 대상인 오브젝트(예를 들어, 사용자의 손)를 감지한다. 제어부(140)는 프레임에 포함된 오브젝트의 형태, 색깔, 움직임 중 적어도 하나를 감지하여 오브젝트를 검출한다. 제어부(140)는 복수 개의 프레임에 포함된 각각의 오브젝트의 위치를 이용하여 검출된 오브젝트의 움직임을 추적할 수 있다.
제어부(140)는 추적된 오브젝트의 형태 및 움직임에 따라 모션을 판단한다. 예를 들어, 제어부(140)는 오브젝트의 형태의 변화, 속도, 위치, 방향 중 적어도 하나를 이용하여 사용자의 모션을 판단한다. 사용자의 모션은 손을 쥐는 모션인 그랩(grab), 표시된 커서를 손으로 이동시키는 모션인 포인팅 이동(pointing move), 손을 일정 속도 이상으로 한쪽 방향으로 움직이는 모션인 슬랩(slap), 손을 좌/우 또는 상/하로 흔드는 모션인 쉐이크(shake) 및 손을 회전하는 모션인 회전을 포함한다. 상술한 실시 예에 이외의 다른 모션에도 본 발명의 기술적 사상이 적용될 수 있다. 예를 들어, 쥐어진 손을 펴는 스프레드(spread) 모션 등이 더 포함될 수 있다.
제어부(140)는 사용자의 모션이 포인팅 이동인지, 슬랩인지 여부를 판단하기 위해, 오브젝트가 결정된 시간(예를 들어, 800ms) 내에 결정된 영역(예를 들어, 40cm x 40cm의 사각형)을 벗어났는지를 판단한다. 오브젝트가 결정된 시간 내에 결정된 영역을 벗어나지 않는 경우, 제어부(140)는 사용자의 모션을 포인팅 이동으로 판단할 수 있다. 오브젝트가 결정된 시간 내에 결정된 영역을 벗어난 경우, 제어부(140)는 사용자의 모션을 슬랩으로 판단할 수 있다. 다른 일 예로, 오브젝트의 속도가 기설정된 속도(예를 들어, 30 cm/s) 이하인 것으로 판단된 경우, 제어부(140)는 사용자의 모션을 포인팅 이동으로 판단한다. 오브젝트의 속도가 기설정된 속도 초과인 것으로 판단되는 경우, 제어부(140)는 사용자의 모션을 슬랩으로 판단한다.
제어부(140)는 상술한 바와 같이, 인식된 음성 및 모션을 이용하여, 전자 장치(100)의 태스크(task)를 수행한다. 전자 장치(100)의 태스크는 채널 변경, 볼륨 조절, 컨텐츠(예를 들어, 동영상, 음악, 사진 등)의 재생 또는 인터넷 브라우징 등과 같이, 전자 장치(100)에 의해 수행될 수 있는 기능 중 적어도 하나를 포함한다.
또한, 제어부(140)는 음성 태스크 모드에서 전자 장치(100)를 제어하기 위한 사용자 음성을 안내하는 제1 음성 가이드 정보를 디스플레이부(193)에 디스플레이한다. 이때, 음성 태스크 모드는 음성 입력부(110)를 통해 음성 개시 명령(trigger voice)가 입력된 후, 음성 입력부(110)에 의해 입력되는 사용자 음성에 의해 전자 장치(100)가 제어되는 모드이다.
그리고, 전자 장치(100)에 연결된 외부기기를 제어하기 위한 사용자 명령이 입력되면, 제어부(140)는 제1 음성 가이드 정보를 외부기기를 제어하기 위한 사용자 음성을 안내하는 제2 음성 가이드 정보로 변경하여 디스플레이하도록 디스플레이부(193)를 제어한다. 특히, 복수의 음성 가이드 정보가 저장부(130)에 저장되어 있으며, 제어부(140)는 저장부(130)에 저장된 복수의 음성 가이드 정보 중 외부기기에 대응되는 제2 음성 가이드 정보를 검색하여 독출하고, 독출된 제2 음성 가이드 정보를 디스플레이부(193)에 디스플레이할 수 있다.
이때, 제1 음성 가이드 정보와 제2 음성 가이드 정보는 서로 다른 음성 아이템을 포함할 수 있다. 예를 들어, 전자 장치(100)가 TV인 경우, 제1 음성 가이드 정보에는 전원 제어에 관한 음성 아이템, 외부기기 실행에 관한 음성 아이템, 채널 설정에 관한 음성 아이템, 볼륨 설정에 관한 음성 아이템이 포함될 수 있다. 그리고, 외부기기가 DVD 플레이어 및 BD 플레이어 중 하나인 경우, 제2 음성 가이드 정보에는 전원 제어에 관한 음성 아이템, 외부기기 실행에 관한 음성 아이템, 재생 설정에 관한 음성 아이템이 포함될 수 있다.
특히, 제1 음성 가이드 정보가 디스플레이된 경우, 음성 입력부(110)를 통해 제1 음성 가이드 정보에 포함된 사용자 음성이 입력되면, 제어부(140)는 사용자 음성에 따라 전자 장치(100)를 바로 제어한다.
그러나, 제2 음성 가이드 정보가 디스플레이된 경우, 음성 입력부(110)를 통해 제2 음성 가이드 정보에 포함된 사용자 음성이 입력되면, 제어부(130)는 입력된 사용자 음성에 대응되는 제어 신호를 생성하고, 생성된 제어 신호를 외부단자 입력부(160)를 통해 외부기기에 전송할 수 있다.
전자 장치(100)가 외부단자 입력부(160)에 의해 외부기기와 연결된 것이 아닌 중계기기를 통해 외부기기와 연결된 경우, 음성 입력부(110)를 통해 제2 음성 가이드 정보에 포함된 사용자 음성이 입력되면, 제어부(140)는 입력된 사용자 음성에 대응되는 제어 신호를 생성하고, 생성된 제어 신호를 네트워크 인터페이스부(180)를 통해 중계기기에 무선으로 전송할 수 있다. 여기서, 생성된 제어 신호는 블루투스 통신에 의해 중계기기로 전송될 수 있으며, 중계기기는 전송된 제어 신호를 IR 신호로 변환하여 외부기기에 제어 신호를 전송할 수 있다.
연결된 외부기기에 따라, 음성 가이드 정보를 제공하는 구체적인 실시예에 대해서는 추후에 도 4 내지 도 7을 참조하여 자세히 설명하도록 한다.
도 2는 본 발명의 또 다른 실시 예에 따른, 전자 장치(100)의 구성을 나타내는 블럭도를 도시한 도면이다. 도 2를 참조하면, 전자 장치(100)는 음성 입력부(110), 모션 입력부(120), 저장부(130), 제어부(140), 방송 수신부(150), 외부단자 입력부(160), 리모컨 신호 수신부(170), 네트워크 인터페이스부(180) 및 영상 출력부(190)를 포함한다. 도 2에 도시된 전자 장치(100)는 셋탑박스(set-top box)로 구현될 수 있다.
한편, 도 2에 도시된 음성 입력부(110), 모션 입력부(120), 저장부(130) 및 제어부(140)에 대한 설명은 도 1에서 설명한 음성 입력부(110), 모션 입력부(120), 저장부(130) 및 제어부(140)에 대한 설명과 같으므로, 자세한 설명은 생략한다.
방송 수신부(150)는 유, 무선으로 외부로부터 방송 신호를 수신한다. 방송 신호는 영상(video), 오디오(audio) 및 부가 데이터(예를 들어, EPG)를 포함한다. 방송 수신부(150)는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 신호를 수신할 수 있다.
외부단자 입력부(160)는 전자 장치(100)의 외부로부터 영상 데이터(예를 들어, 동영상 사진 등), 오디오 데이터(예를 들어, 음악 등) 등을 수신한다. 외부 단자 입력부(160)는 HDMI입력 단자(High-Definition Multimedia Interface input), 컴포넌트 입력 단자, PC 입력 단자, 또는 USB 입력 단자 중 적어도 하나를 포함할 수 있다. 리모컨 신호 수신부(170)는 외부의 리모컨으로부터 입력되는 리모컨 신호를 수신한다. 리모컨 신호 수신부(170)는 전자 장치(100)가 음성 태스크 모드이거나 모션 태스크 모드에서도 리모컨 신호를 수신할 수 있다.
네트워크 인터페이스부(180)는 제어부(140)의 제어에 의해 전자 장치(100)와 외부 장치(예를 들어, 서버)를 연결할 수 있다. 제어부(140)는 네트워크 인터페이스부(180)를 통해 연결된 외부 장치로부터 어플리케이션을 다운로드 하거나 웹 브라우징을 할 수 있다. 네트워크 인터페이스부(180)는 이더넷(Ethernet), 무선랜(182) 및 블루투스(bluetooth) 중 적어도 하나를 제공할 수 있다.
영상 출력부(190)는 방송 수신부(150)를 통해 수신되는 외부의 방송 신호, 또는 외부단자 입력부(160)에서 입력되는 영상 데이터, 또는 저장부(130)에 저장된 영상 데이터를 외부의 전자 장치(예를 들어, 모니터, TV)로 출력한다.
도 3은 본 발명의 또 다른 실시 예에 따른, 전자 장치(100)의 블럭도를 도시한 도면이다. 도 3에 도시된 바와 같이, 전자 장치(100)는 음성 입력부(110), 모션 입력부(120), 저장부(130), 제어부(140), 방송 수신부(150), 외부단자 입력부(160), 리모컨 신호 수신부(170), 네트워크 인터페이스부(180), 디스플레이부(193) 및 오디오 출력부(196)를 포함한다. 이때, 전자 장치(100)는 디지털 TV일 수 있으나, 이에 한정되는 것은 아니다.
한편, 도 3에서 음성 입력부(110), 모션 입력부(120), 저장부(130), 제어부(140), 방송 수신부(150), 외부단자 입력부(160), 리모컨신호 수신부(170), 네트워크 인터페이스부(180) 및 디스플레이부(193)에 대한 설명은 도 1 및 도 2에서 동일한 참조번호를 가지는 구성에 대한 설명과 같으므로, 자세한 설명은 생략한다.
오디오 출력부(196)는 제어부(140)의 제어에 의해 방송 신호에 대응되는 음성을 출력한다. 오디오 출력부(196)는 스피커(196a), 헤드폰 출력 단자(196b) 또는 S/PDIF 출력 단자(163c) 중 적어도 하나를 포함할 수 있다.
한편, 저장부(130)는 도 3에 도시된 바와 같이, 전원 제어 모듈(130a), 채널 제어 모듈(130b), 볼륨 제어 모듈(130c), 외부입력 제어 모듈(130d), 화면 제어 모듈(130e), 오디오 제어 모듈(130f), 인터넷 제어 모듈(130g), 어플리케이션 모듈(130h), 검색 제어 모듈(130i), UI 처리 모듈(130j), 음성 인식 모듈(130k), 모션 인식 모듈(130l), 음성 데이터베이스(130m) 및 모션 데이터베이스(130n)를 포함한다. 이들 모듈들(130a 내지 130n)은 각각 전원 제어 기능, 채널 제어 기능, 볼륨 제어 기능, 외부 입력 제어 기능, 화면 제어 기능, 오디오 제어 기능, 인터넷 제어 기능, 어플리케이션 실행 기능, 검색 제어 기능, UI 처리 기능을 수행하기 위하여 소프트웨어로 구현될 수 있다. 제어부(140)는 저장부(130)에 저장된 이들 소프트웨어를 실행시켜 해당 기능을 수행할 수 있다.
이하에서는 도 4 내지 도 7을 참조하여, 본 발명의 다양한 실시 예에 대해 설명하기로 한다.
제어부(140)는 방송 수신부(150)를 통해 외부의 방송국으로부터 송출되는 방송 신호를 수신하고, 수신된 방송 신호에 대한 신호처리를 수행한다. 그리고, 도 4에 도시된 바와 같이,제어부(140)는 신호처리된 방송 영상을 디스플레이부(193)에 디스플레이한다.
그리고, 음성 입력부(110)를 통해 "지니"라는 음성 개시 명령(trigger voice)이 입력되면, 제어부(140)는 음성 개시 명령을 인식하여 음성 태스크 모드로 전환한다. 이때, 음성 개시 명령은 음성 태스크 모드로 전환되기 위한 사용자 명령이며, 음성 태스크 모드는 전자 장치(100)가 음성 입력부(110)에 입력된 사용자 음성에 의해서 제어되는 모드이다.
그리고, 음성 태스크 모드로 전환되면, 제어부(140)는 도 5에 도시된 바와 같이, 음성 태스크 모드를 수행하기 위한 제1 음성 가이드 정보(500)를 디스플레이한다. 이때, 제1 음성 가이드 정보(500)는 방송 영상이 디스플레이되는 화면 하단에 디스플레이된다. 또한, 제1 음성 가이드 정보(500)는 현재 디스플레이 장치의 모드가 음성 태스크 모드임을 알리는 아이콘(510) 및 사용자의 음성을 안내하는 복수의 음성 아이템(521 내지 526, 530)이 포함된다. 복수의 음성 아이템에는 전원끄기 음성 아이템(521), 외부입력 음성 아이템(522), 채널 바로가기 음성 아이템(523), 채널 올려/내려(UP/DOWN) 음성 아이템(524), 볼륨 올려/내려(UP/DOWN) 음성 아이템(525), 소리끄기 음성 아이템(526) 및 MORE 음성 아이템(530)이 포함된다. MORE 음성 아이템(530)은 디스플레이된 음성 아이템 이외의 음성 아이템을 더 보기 위한 아이템이다. 그러나, 상술한 바와 같은 제1 음성 가이드 정보(500)에 포함된 음성 아이템은 일 실시예에 불과할 뿐, 다른 음성 아이템(예를 들어, 채널 리스트 음성 아이템 등)이 포함될 수 있다.
제1 음성 가이드 정보가 디스플레이된 상태에서 음성 입력부(110)를 통해 "Universal Control"이라는 사용자 음성이 입력되면, 제어부(140)는 도 6에 도시된 바와 같은, 전자 장치(100)의 기능 및 제어할 수 있는 외부기기가 포함되도록 제3 음성 가이드 정보(600)로 변경한다. 이때, 제3 음성 가이드 정보(600)에는 현재 디스플레이 장치의 모드가 음성 태스크 모드임을 알리는 아이콘(610) 및 사용자의 음성을 안내하는 복수의 음성 아이템(621 내지 625, 630)이 포함된다. 복수의 음성 아이템에는 Watch TV 음성 아이템(621). Watch Video 음성 아이템(622), TV 음성 아이템(623), 셋탑박스(STB) 음성 아이템(624), 블루레이 디스크 플레이어(BD) 음성 아이템(625) 및 MORE 음성 아이템(630)이 포함된다. 그러나, 상술한 바와 같은 제3 음성 가이드 정보(600)에 포함된 음성 아이템은 일 실시예에 불과할 뿐, 다른 음성 아이템(예를 들어, DVD 플레이어 음성 아이템, USB 음성 아이템 등)이 포함될 수 있다.
제3 음성 가이드 정보가 디스플레이된 상태에서 음성 입력부(110)를 통해 "BD"라는 사용자 음성이 입력되면, 제어부(140)는 외부단자 입력부(160)를 통해 BD와 연결되고, 사용자 음성을 이용하여 BD를 제어한다. 그리고, 제어부(140)는 저장부(130)에 저장된 복수의 음성 가이드 정보 중에 BD를 제어하기 위한 음성 가이드 정보를 검색한다. 그리고, 제어부(140)는 도 7에 도시된 바와 같이, BD를 제어하기 위한 사용자 음성을 안내하는 제2 음성 가이드 정보(700)를 디스플레이한다.
즉, 제어부(140)는 방송 수신 기능을 하는 경우, 도 5에 도시된 바와 같은 제1 음성 가이드 정보(500)를 디스플레이하나, BD와 연결되면, 도 7에 도시된 바와 같은 제2 음성 가이드 정보(700)로 변경하여 디스플레이한다. 이때, 제2 음성 가이드 정보(700)에는 현재 디스플레이 장치의 모드가 음성 태스크 모드임을 알리는 아이콘(710) 및 사용자의 음성을 안내하는 복수의 음성 아이템(721 내지 726, 730)이 포함된다. 복수의 음성 아이템에는 전원끄기 음성 아이템(721), 외부입력 음성 아이템(722), 재생(일시정지) 음성 아이템(723), 이전 파일 음성 아이템(724), 다음 파일 음성 아이템(725), 볼륨 올려/내려 음성 아이템(726)이 포함된다. 그러나, 상술한 바와 같은 제2 음성 가이드 정보(700)에 포함된 음성 아이템은 일 실시예에 불과할 뿐, 다른 음성 아이템(예를 들어, 빨리감기 음성 아이템, 뒤로감기 음성 아이템 등)이 포함될 수 있다.
따라서, 상술한 바와 같이, 외부기기의 연결 여부 및 연결된 외부기기의 종류에 따라, 상이한 음성 가이드 정보를 제공함으로써, 사용자는 음성 인식을 이용하여 더욱 편리하고 직관적으로 외부기기를 제어할 수 있게 된다.
한편, 상술한 실시예에서는 음성 인식을 이용한 사용자 명령을 통해 BD와 연결하였으나, 이는 일 실시예에 불과할 뿐, 외부의 리모컨 등을 이용하여 BD와 연결할 수 있다. 즉, 전자 장치(100)는 리모컨의 외부입력 버튼을 이용하여 도 6 과정을 생략하고, 도 5에서 바로 도 7을 디스플레이할 수 있다.
또한, 상술한 실시예에서는 외부기기의 연결 여부 및 연결된 외부기기의 종류에 따라 음성 태스크 모드에서 음성 가이드 정보가 상이하게 제공되는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 외부기기의 연결 여부 및 연결된 외부기기의 종류에 따라 모션 태스크 모드에서 모션 가이드 정보가 상이하게 제공될 수 있다.
이하에서는 도 8을 참조하여 본 발명의 일 실시예에 따른, 전자 장치의 제어 방법을 설명하도록 한다.
우선, 전자 장치(100)는 음성 태스크 모드로 전환한다(S810). 구체적으로, 전자 장치(100)의 음성 입력부(110)를 통해 음성 개시 명령이 입력되면, 전자 장치(100)는 전자 장치(100)의 모드를 사용자 음성에 의해 전자 장치(100)가 제어되는 음성 태스크 모드로 전환한다.
음성 태스크 모드로 전환되면, 전자 장치(100)는 제1 음성 가이드 정보를 디스플레이한다(S820). 이때, 전자 장치(100)가 방송 수신 기능을 하는 경우, 제1 음성 가이드 정보는 방송 수신 기능을 제어하기 위한 음성 아이템이 포함된다. 예를 들어, 제1 음성 가이드 정보에는 채널 설정을 위한 음성 아이템이 포함될 수 있다.
그리고, 전자 장치(100)는 외부기기를 제어하고자 하는 사용자 명령을 입력받았는지 여부를 판단한다(S830). 이때, 사용자 명령은 도 6에서 설명한 바와 같은 사용자 음성 명령일 수 있으며, 전자 장치(100)와 연동하는 리모컨에 구비된 외부입력 변경 버튼에 의한 명령일 수 있다.
외부기기를 제어하고자 하는 사용자 명령이 입력되면(S830-Y), 전자 장치(100)는 제1 음성 가이드 정보를 제2 음성 가이드 정보로 변경하여 디스플레이한다(S840). 이때, 외부기기가 BD(Blue-ray) 플레이어 또는 DVD 플레이어인 경우, 제2 음성 가이드 정보에는 채널 설정을 위한 음성 아이템이 사라지고, 영상 재생을 위한 음성 아이템(예를 들어, 재생 정지를 위한 음성 아이템, 다음 파일 재생을 위한 음성 아이템 등)이 포함될 수 있다.
상술한 바와 같이, 외부기기의 연결 여부 및 연결된 외부기기의 종류에 따라 음성 가이드 정보가 상이하게 디스플레이됨으로써, 사용자는 음성 인식을 이용하여 연결된 외부기기를 더욱 편리하고 직관적으로 제어할 수 있게 된다.
한편, 상술한 실시예에서는 전자 장치(100)가 외부단자 입력부(160)를 통해 직접 외부기기와 연결되는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 전자 장치(100)가 네트워크 인터페이스부(180)를 통해 연결된 중계기기를 이용하여 외부 기기와 연결되는 실시예 역시 본 발명의 기술적 사상이 적용된다. 구체적으로, 도 9에 도시된 바와 같은 시스템(10)은 전자 장치(100), 중계 기기(200) 및 외부기기(300)를 포함한다. 이때, 전자 장치(100)는 중계기기(200)를 통해 외부기기(300)와 연결될 수 있다.
구체적으로, 음성 입력부(110)를 통해 제2 음성 가이드 정보에 포함된 사용자 음성이 입력되면, 전자 장치(100)는 입력된 사용자 음성에 대응되는 제어 신호를 생성한다. 그리고, 전자 장치(100)는 네트워크 인터페이스부(180)의 블루투스 통신을 이용하여 중계기기(200)로 제어 신호를 전송한다. 제어 신호가 전송되면, 중계기기(200)는 수신된 제어 신호를 IR 신호 형태로 변환하여 외부기기(300)에 전송한다. 외부기기(300)가 IR 신호를 수신하면, 외부기기(300)는 IR 신호를 복조하고, 전자 장치(100)에 입력된 사용자 음성에 따라 제어된다.
또한, 이상과 같은 다양한 실시 예에 따른 제어 방법을 수행하기 위한 프로그램 코드는 다양한 유형의 기록 매체에 저장될 수 있다. 구체적으로는, RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110: 음성 입력부 120: 모션 입력
130: 저장부 140: 제어부
150: 방송 수신부 160: 외부단자 입력부
170: 리모컨 신호 수신부 180: 네트워크 인터페이스부
190: 영상 출력부 193: 디스플레이부
196: 오디오 출력부

Claims (20)

  1. 전자 장치의 제어 방법에 있어서,
    컨텐츠 및 상기 전자 장치를 제어하기 위한 사용자 음성을 안내하는 제1 음성 가이드 정보를 디스플레이하는 단계;
    상기 전자 장치에 연결된 복수의 외부기기에 대응되는 제2 음성 가이드 정보를 표시하기 위한 사용자 명령을 입력받는 단계;
    상기 사용자 명령이 입력되면, 상기 컨텐츠를 디스플레이하는 동안, 상기 입력된 사용자 명령에 기초하여 상기 복수의 외부기기에 대응되는 복수의 음성 명령을 포함하는 제2 음성 가이드 정보를 디스플레이하는 단계;
    상기 복수의 외부기기 중에서 하나의 외부기기에 대응되는 사용자 명령을 입력받는 단계; 및
    상기 사용자 명령이 입력되면, 상기 컨텐츠를 디스플레이하는 동안, 상기 입력된 사용자 명령에 대응되는 상기 외부기기를 제어하기 위한 사용자 음성을 안내하는 제3 음성 가이드 정보를 디스플레이하는 단계;를 포함하는 제어 방법.
  2. 제1항에 있어서,
    상기 전자 장치에 기 저장된 복수의 음성 가이드 정보 중 상기 외부기기에 대응되는 제3 음성 가이드 정보를 검색하여 독출하는 단계;를 더 포함하는 제어 방법.
  3. 제1항에 있어서,
    상기 전자 장치가 TV인 경우,
    상기 제1 음성 가이드 정보는 전원 제어에 관한 음성 아이템, 외부기기 실행에 관한 음성 아이템, 채널 설정에 관한 음성 아이템, 볼륨 설정에 관한 음성 아이템 중 적어도 하나를 포함하고,
    상기 외부기기가 DVD 플레이어 및 BD 플레이어 중 하나인 경우,
    상기 제3 음성 가이드 정보는 전원 제어에 관한 음성 아이템, 외부기기 실행에 관한 음성 아이템, 재생 설정에 관한 음성 아이템 중 적어도 하나를 포함하는 것을 특징으로 하는 제어 방법.
  4. 제1항에 있어서,
    상기 제1 음성 가이드 정보가 디스플레이된 경우, 상기 제1 음성 가이드 정보에 포함된 사용자 음성이 입력되면, 상기 사용자 음성에 따라, 상기 전자 장치를 제어하는 단계; 및
    상기 제3 음성 가이드 정보가 디스플레이된 경우, 상기 제3 음성 가이드 정보에 포함된 사용자 음성이 입력되면, 상기 입력된 사용자 음성에 대응되는 제어 신호를 생성하여 상기 생성된 제어 신호를 상기 외부기기에 전송하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  5. 제1항에 있어서,
    상기 제3 음성 가이드 정보가 디스플레이된 경우, 상기 제3 음성 가이드 정보에 포함된 음성 아이템 중 하나에 대응되는 사용자 음성이 입력되면, 상기 입력된 사용자 음성에 대응되는 제어 신호를 생성하는 단계; 및
    상기 생성된 제어 신호를 상기 외부기기에 전송하기 위한 중계기기에 무선으로 전송하는 단계;를 더 포함하는 제어 방법.
  6. 제5항에 있어서,
    상기 생성된 제어 신호는 블루투스 통신에 의해 상기 중계기기로 전송되며,
    상기 중계기기는,
    상기 전송된 제어 신호를 IR 신호로 변환하여 상기 외부기기에 전송하는 것을 특징으로 하는 제어 방법.
  7. 제1항에 있어서,
    상기 제1 음성 가이드 정보 내지 상기 제3 음성 가이드 정보 각각은, 상기 전자 장치의 모드가 음성 제어 모드임을 나타내는 아이콘을 포함하는 것을 특징으로 하는 제어 방법.
  8. 제1항에 있어서,
    상기 제1 음성 가이드 정보 내지 상기 제3 음성 가이드 정보는 상기 컨텐츠가 디스플레이 되는 화면 하단에 디스플레이되는 것을 특징으로 하는 제어 방법.
  9. 제1항에 있어서,
    상기 사용자 명령은,
    외부기기를 제어하기 위한 음성 입력부를 통해 입력된 사용자 음성인 것을 특징으로 하는 제어 방법.
  10. 전자 장치에 있어서,
    음성 입력부;
    디스플레이부; 및
    컨텐츠 및 상기 전자 장치를 제어하기 위한 사용자 음성을 안내하는 제1 음성 가이드 정보를 디스플레이하도록 상기 디스플레이부를 제어하고,
    상기 전자 장치에 연결된 복수의 외부기기에 대응되는 제2 음성 가이드 정보를 표시하기 위한 사용자 명령이 입력되면, 상기 컨텐츠를 디스플레이하는 동안, 상기 입력된 사용자 명령에 기초하여 상기 복수의 외부기기에 대응되는 복수의 음성 명령을 포함하는 제2 음성 가이드 정보를 디스플레이하도록 상기 디스플레이부를 제어하고,
    상기 복수의 외부기기 중에서 하나의 외부기기에 대응되는 사용자 명령이 입력되면, 상기 컨텐츠를 디스플레이하는 동안 상기 입력된 사용자 명령에 대응되는 상기 외부기기를 제어하기 위한 사용자 음성을 안내하는 제3 음성 가이드 정보를 디스플레이하도록 상기 디스플레이부를 제어하는 제어부;를 포함하는 전자 장치.
  11. 제10항에 있어서,
    복수의 음성 가이드 정보를 저장하는 저장부;를 더 포함하며,
    상기 제어부는,
    상기 저장부에 저장된 복수의 음성 가이드 정보 중 상기 외부기기에 대응되는 제3 음성 가이드 정보를 검색하여 독출하는 것을 특징으로 하는 전자 장치.
  12. 제10항에 있어서,
    상기 전자 장치가 TV인 경우,
    상기 제1 음성 가이드 정보는 전원 제어에 관한 음성 아이템, 외부기기 실행에 관한 음성 아이템, 채널 설정에 관한 음성 아이템, 볼륨 설정에 관한 음성 아이템 중 적어도 하나를 포함하고,
    상기 외부기기가 DVD 플레이어 및 BD 플레이어 중 하나인 경우,
    상기 제3 음성 가이드 정보는 전원 제어에 관한 음성 아이템, 외부기기 실행에 관한 음성 아이템, 재생 설정에 관한 음성 아이템 중 적어도 하나를 포함하는 것을 특징으로 하는 전자 장치.
  13. 제10항에 있어서,
    상기 외부기기와 연결을 수행하는 외부단자 입력부;를 더 포함하며,
    상기 제어부는,
    상기 제1 음성 가이드 정보가 디스플레이된 경우, 상기 제1 음성 가이드 정보에 포함된 사용자 음성이 입력되면, 상기 사용자 음성에 따라, 상기 전자 장치를 제어하고,
    상기 제3 음성 가이드 정보가 디스플레이된 경우, 상기 제3 음성 가이드 정보에 포함된 사용자 음성이 입력되면, 상기 입력된 사용자 음성에 대응되는 제어 신호를 생성하여 상기 생성된 제어 신호를 상기 외부단자 입력부를 통해 상기 외부기기에 전송하는 것을 특징으로 하는 전자 장치.
  14. 제10항에 있어서,
    상기 외부기기와 통신을 수행하는 중계기기와 통신을 수행하는 네트워크 인터페이스부;를 더 포함하며,
    상기 제어부는,
    상기 제3 음성 가이드 정보가 디스플레이된 경우, 상기 제3 음성 가이드 정보에 포함된 음성 아이템 중 하나에 대응되는 사용자 음성이 입력되면, 상기 입력된 사용자 음성에 대응되는 제어 신호를 생성하고, 상기 생성된 제어 신호를 상기 네트워크 인터페이스부를 통해 상기 중계기기에 무선으로 전송하는 것을 특징으로 하는 전자 장치.
  15. 제14항에 있어서,
    상기 생성된 제어 신호는 블루투스 통신에 의해 상기 중계기기로 전송되며,
    상기 중계기기는,
    상기 전송된 제어 신호를 IR 신호로 변환하여 상기 외부기기에 전송하는 것을 특징으로 하는 전자 장치.
  16. 제10항에 있어서,
    상기 제1 음성 가이드 정보 내지 상기 제3 음성 가이드 정보 각각은, 상기 전자 장치의 모드가 음성 제어 모드임을 나타내는 아이콘을 포함하는 것을 특징으로 하는 전자 장치.
  17. 제10항에 있어서,
    상기 제1 음성 가이드 정보 내지 상기 제3 음성 가이드 정보는 상기 컨텐츠가 디스플레이 되는 화면 하단에 디스플레이되는 것을 특징으로 하는 전자 장치.
  18. 제10항에 있어서,
    상기 사용자 명령은,
    상기 외부기기를 제어하기 위한 상기 음성 입력부를 통해 입력된 사용자 음성인 것을 특징으로 하는 전자 장치.
  19. 삭제
  20. 삭제
KR1020110147512A 2011-12-30 2011-12-30 전자 장치 및 그의 제어 방법 KR102003267B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020110147512A KR102003267B1 (ko) 2011-12-30 2011-12-30 전자 장치 및 그의 제어 방법
US13/687,771 US9552057B2 (en) 2011-12-30 2012-11-28 Electronic apparatus and method for controlling the same
EP12198524.6A EP2610864A3 (en) 2011-12-30 2012-12-20 Electronic apparatus and method for controlling the same by voice
JP2012286588A JP6184098B2 (ja) 2011-12-30 2012-12-28 電子装置及びその制御方法
CN201210592980.XA CN103188541B (zh) 2011-12-30 2012-12-31 电子设备和控制电子设备的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110147512A KR102003267B1 (ko) 2011-12-30 2011-12-30 전자 장치 및 그의 제어 방법

Publications (2)

Publication Number Publication Date
KR20130078518A KR20130078518A (ko) 2013-07-10
KR102003267B1 true KR102003267B1 (ko) 2019-10-02

Family

ID=47720239

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110147512A KR102003267B1 (ko) 2011-12-30 2011-12-30 전자 장치 및 그의 제어 방법

Country Status (5)

Country Link
US (1) US9552057B2 (ko)
EP (1) EP2610864A3 (ko)
JP (1) JP6184098B2 (ko)
KR (1) KR102003267B1 (ko)
CN (1) CN103188541B (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2958183T3 (es) * 2011-08-05 2024-02-05 Samsung Electronics Co Ltd Procedimiento de control de aparatos electrónicos basado en el reconocimiento de voz y de movimiento, y aparato electrónico que aplica el mismo
CN104142791A (zh) * 2013-05-09 2014-11-12 腾讯科技（深圳）有限公司 资源更换方法、装置及终端
KR102179506B1 (ko) 2013-12-23 2020-11-17 삼성전자 주식회사 전자장치 및 그 제어방법
US10321204B2 (en) * 2014-07-11 2019-06-11 Lenovo (Singapore) Pte. Ltd. Intelligent closed captioning
KR101736109B1 (ko) * 2015-08-20 2017-05-16 현대자동차주식회사 음성인식 장치, 이를 포함하는 차량, 및 그 제어방법
CN106488286A (zh) * 2015-08-28 2017-03-08 上海欢众信息科技有限公司 云端信息收集系统
US10431218B2 (en) * 2016-02-15 2019-10-01 EVA Automation, Inc. Integration and probabilistic control of electronic devices
EP3291580A1 (en) * 2016-08-29 2018-03-07 Oticon A/s Hearing aid device with speech control functionality
KR101925034B1 (ko) 2017-03-28 2018-12-04 엘지전자 주식회사 스마트 컨트롤링 디바이스 및 그 제어 방법
CN110544473B (zh) * 2018-05-28 2022-11-08 百度在线网络技术（北京）有限公司 语音交互方法和装置
US11197067B2 (en) * 2018-09-20 2021-12-07 At&T Intellectual Property I, L.P. System and method to enable users to voice interact with video advertisements
US10958969B2 (en) 2018-09-20 2021-03-23 At&T Intellectual Property I, L.P. Pause screen video ads
CN112788422A (zh) * 2019-11-04 2021-05-11 海信视像科技股份有限公司 显示设备
JP7314102B2 (ja) * 2020-07-09 2023-07-25 Ｔｖｓ Ｒｅｇｚａ株式会社 制御信号生成回路、受信装置、システム、生成方法、およびプログラム
CN112073668B (zh) * 2020-08-25 2023-10-31 恒峰信息技术有限公司 一种远程教室互动方法、系统、装置和存储介质
KR20220048374A (ko) * 2020-10-12 2022-04-19 삼성전자주식회사 전자 장치 및 이의 제어 방법
CN112164398B (zh) * 2020-11-05 2023-08-15 佛山市顺德区美的电子科技有限公司 语音设备及其唤醒方法、装置以及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000203357A (ja) * 1999-01-14 2000-07-25 Nissan Shatai Co Ltd 音声操作装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2783625B1 (fr) 1998-09-21 2000-10-13 Thomson Multimedia Sa Systeme comprenant un appareil telecommande et un dispositif de telecommande vocale de l'appareil
JP4314680B2 (ja) * 1999-07-27 2009-08-19 ソニー株式会社 音声認識制御システム及び音声認識制御方法
US20030069996A1 (en) 1999-08-30 2003-04-10 William M. Parrott Infrared to radio frequency adapter and method for using the same
JP2001197379A (ja) 2000-01-05 2001-07-19 Matsushita Electric Ind Co Ltd 機器設定装置、機器設定システムおよび機器設定処理プログラムを記録した記録媒体
JP2002108390A (ja) 2000-09-27 2002-04-10 Sharp Corp 音声認識装置及びコンピュータ読み取り可能な記録媒体
US7424291B1 (en) * 2001-01-24 2008-09-09 Palmsource, Inc. Method and system for enabling timed events of a portable computing device to trigger remote control of external devices
AU2002256441A1 (en) 2001-05-03 2002-11-18 Mitsubishi Digital Electronics America, Inc. Control system and user interface for network of input devices
JP2003241784A (ja) 2002-02-21 2003-08-29 Nissan Motor Co Ltd 音声入出力装置
JP2004031999A (ja) 2002-05-31 2004-01-29 Open Interface Inc 無線／赤外線変換アダプタ、無線／赤外線変換アダプタを使用したアプリケーションシステム、及びアプリケーション方法
WO2004090713A1 (en) * 2003-04-07 2004-10-21 Nokia Corporation Method and device for providing speech-enabled input in an electronic device having a user interface
US20050114140A1 (en) * 2003-11-26 2005-05-26 Brackett Charles C. Method and apparatus for contextual voice cues
JP4802522B2 (ja) 2005-03-10 2011-10-26 日産自動車株式会社 音声入力装置および音声入力方法
JP2007052397A (ja) * 2005-07-21 2007-03-01 Denso Corp 操作装置
WO2007070543A2 (en) * 2005-12-12 2007-06-21 Infocus Corporation Video dock for portable media player
JP2007171809A (ja) * 2005-12-26 2007-07-05 Canon Inc 情報処理装置及び情報処理方法
KR100783105B1 (ko) * 2006-08-22 2007-12-07 삼성전자주식회사 음성인식 기능을 구비한 전화기의 전화통화 방법 및 장치
KR101304461B1 (ko) * 2006-12-04 2013-09-04 삼성전자주식회사 제스처 기반 사용자 인터페이스 방법 및 장치
CN101202074A (zh) 2006-12-15 2008-06-18 天津三星电子有限公司 一种带有声音遥控装置的dvd刻录机
KR101357158B1 (ko) 2007-03-15 2014-02-03 삼성전자 주식회사 화상 통신용 디스플레이 장치 및 화상 통신 방법
TW200928315A (en) * 2007-12-24 2009-07-01 Mitac Int Corp Voice-controlled navigation device and method thereof
JP5151644B2 (ja) 2008-04-16 2013-02-27 ソニー株式会社 リモートコントロールシステム及びリモートコントロール信号処理方法
CN101420543A (zh) 2008-12-05 2009-04-29 天津三星电子显示器有限公司 一种语音控制电视机的方法及其电视机
KR20100135145A (ko) * 2009-06-16 2010-12-24 삼성전자주식회사 원격제어장치 및 그의 디스플레이방법
US20120260167A1 (en) * 2011-04-07 2012-10-11 Sony Corporation User interface for audio video display device such as tv
US20130073293A1 (en) * 2011-09-20 2013-03-21 Lg Electronics Inc. Electronic device and method for controlling the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000203357A (ja) * 1999-01-14 2000-07-25 Nissan Shatai Co Ltd 音声操作装置

Also Published As

Publication number Publication date
CN103188541A (zh) 2013-07-03
US9552057B2 (en) 2017-01-24
JP2013141237A (ja) 2013-07-18
KR20130078518A (ko) 2013-07-10
JP6184098B2 (ja) 2017-08-23
EP2610864A2 (en) 2013-07-03
EP2610864A3 (en) 2013-07-24
US20130169525A1 (en) 2013-07-04
CN103188541B (zh) 2017-09-08

Similar Documents

Publication Publication Date Title
KR102003267B1 (ko) 전자 장치 및 그의 제어 방법
JP5535298B2 (ja) 電子装置及びその制御方法
US9544633B2 (en) Display device and operating method thereof
KR20130078486A (ko) 전자 장치 및 그의 제어 방법
EP2626771B1 (en) Display apparatus and method for controlling a camera mounted on a display apparatus
KR101262700B1 (ko) 음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치
JP2013037689A (ja) 電子装置及びその制御方法
KR101237472B1 (ko) 전자 장치 및 그의 제어 방법
KR20140085055A (ko) 전자 장치 및 그의 제어 방법
KR20130078483A (ko) 전자 장치 및 그의 제어 방법
KR102066564B1 (ko) 전자 장치 및 그의 제어 방법
KR101324232B1 (ko) 전자 장치 및 그의 제어 방법
KR20130080380A (ko) 전자 장치 및 그의 제어 방법
JP2015535971A (ja) ディスプレイ装置及びその制御方法
KR20130078490A (ko) 전자 장치 및 그의 제어 방법
KR20130078489A (ko) 전자 장치 및 이의 화각 설정 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant