KR102179506B1 - 전자장치 및 그 제어방법 - Google Patents

전자장치 및 그 제어방법 Download PDF

Info

Publication number
KR102179506B1
KR102179506B1 KR1020130161138A KR20130161138A KR102179506B1 KR 102179506 B1 KR102179506 B1 KR 102179506B1 KR 1020130161138 A KR1020130161138 A KR 1020130161138A KR 20130161138 A KR20130161138 A KR 20130161138A KR 102179506 B1 KR102179506 B1 KR 102179506B1
Authority
KR
South Korea
Prior art keywords
reserved word
voice
received
candidate
unit
Prior art date
Application number
KR1020130161138A
Other languages
English (en)
Other versions
KR20150073441A (ko
Inventor
유영준
김동완
배재현
신기훈
조남국
고병섭
김기범
류희섭
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020130161138A priority Critical patent/KR102179506B1/ko
Priority to CN201480070712.9A priority patent/CN105850115B/zh
Priority to EP14874861.9A priority patent/EP3055992B1/en
Priority to PCT/KR2014/012249 priority patent/WO2015099336A1/en
Priority to US14/571,440 priority patent/US9830907B2/en
Publication of KR20150073441A publication Critical patent/KR20150073441A/ko
Priority to US15/667,747 priority patent/US10468023B2/en
Application granted granted Critical
Publication of KR102179506B1 publication Critical patent/KR102179506B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/63—Generation or supply of power specially adapted for television receivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215—Monitoring of peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3265—Power saving in display device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/32—Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4436—Power management, e.g. shutting down unused components of the receiver

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuits Of Receivers In General (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 전자장치 및 그 제어방법에 관한 것으로서, 전자장치는, 사용자가 발화하는 음성을 수신하는 음성수신부와; 상기 수신된 음성이, 상기 전자장치가 미리 정해진 동작을 수행할 것을 명령하는 예약어에 해당할 가능성이 높은 예약어 후보인지 여부를 판단하는 제1음성인식부와; 상기 수신된 음성이 상기 예약어 후보인 것으로 판단되면, 절전상태로부터 정상상태가 되어, 상기 수신된 음성이 상기 예약어인지 여부를 판단하는 제2음성인식부와; 상기 수신된 음성이 상기 예약어인 경우, 상기 미리 정해진 동작을 수행하는 동작수행부를 포함한다.
이에 의하여, 전력소모를 최소화하면서 낮은 비용으로 보다 신뢰성 높게 사용자의 음성을 인식하여 동작을 수행할 수 있다.

Description

전자장치 및 그 제어방법{ELECTRONIC APPARATUS AND CONTROL METHOD THEREOF}
본 발명은, 전자장치 및 그 제어방법에 관한 것으로서, 사용자의 음성을 수신하고, 수신된 음성에 따라 동작하는 전자장치 및 그 제어방법에 관한 것이다.
TV와 같은 디스플레이장치, 게임기기, 차량 네비게이션기기 등의 전자장치에서는 사용자의 음성을 통한 장치 제어가 점차 확대되어가고 있다. 예컨대, 사용자가 전자장치의 전원을 끈 상황(이하, '대기모드'라고도 함)에서, 사용자가 음성을 발화하여 전자장치의 전원을 켜는 기능은, 사용자의 음성을 통하여 전자장치를 제어하는 하나의 응용 형태가 될 수 있다.
　도 1은 본 발명과 관련된 전자장치가 대기모드에서 사용자의 음성에 따라 동작을 수행하는 하나의 예를 도시한다. 먼저, 전자장치는 대기모드에서 음성(sound)을 수신한다(11). 전자장치가 수신하는 음성은 사용자의 음성(voice)일 수도 있고, 사용자의 음성이 아닌 그 외의 소리(sound)일 수도 있다. 사용자의 음성 중에는, 특히, 전자장치가 대응하는 미리 정해진 동작을 수행하도록 하는 명령어(이하, '예약어'라고도 함)가 포함된다. 다음으로, 전자장치는 수신된 음성이 예약어인지 여부를 인식한다(12). 만일, 수신된 음성이 예약어인 경우라면(13), 전자장치는 해당 예약어에 대응하는 동작을 수행한다(14). 예컨대, 예약어가 전원을 켜는 예약어라면, 전자장치는 대기모드에서 벗어나 전원을 켜는 동작을 수행한다.
그런데, 전자장치가 대기모드에서 음성을 수신하고, 예약어를 인식하려면 이에 대응하는 음성인식수단(15)이 대기모드에서 켜져 있고 언제든지 동작할 준비가 되어 있어야 한다. 이러한 음성인식수단(15)은, 예컨대, 마이크로프로세서 등으로 구현될 수 있다. 그러므로, 음성인식수단(15)은 대기모드 시 불가피하게 전력을 소모할 수 밖에 없다. 반면, 최근 대기모드 시 전자장치의 소비전력을 가급적 낮추고자 하는 요구가 커지고 있다. 따라서, 대기모드 시 동작하는 음성인식수단(15)의 전력 소모를 최소화할 필요가 있다.
한편, 음성인식수단(15)이 예약어를 인식함에 있어서의 신뢰성은 음성인식수단(15)의 하드웨어적인 성능이나, 소프트웨어적인 수준을 높일수록 좋아진다. 그러나, 음성인식수단(15)의 하드웨어적인 성능이나, 소프트웨어적인 수준을 높일수록 비용이 증가할 수 밖에 없다. 또한, 음성인식수단(15)의 하드웨어적인 성능이나, 소프트웨어적인 수준이 높아지면, 이에 따라 전력 소모도 증가하게 된다. 따라서, 음성인식수단(15)의 신뢰성을 향상하기 위해서는, 비용이나, 전력소모를 고려하여 보다 효율적으로 음성인식수단(15)을 설계할 필요가 있다.
따라서 본 발명의 목적은, 대기모드 시 전력소모를 최소화하면서 사용자의 음성에 따라 동작을 수행할 수 있는 전자장치 및 그 제어방법을 제공하는 것이다.
또한, 본 발명의 다른 목적은, 비용 혹은 전력소모를 최소화하면서도 보다 높은 신뢰성을 가지고 사용자의 음성을 인식하여 동작을 수행할 수 있는 전자장치 및 그 제어방법을 제공하는 것이다.
본 발명의 상기 목적은, 디스플레이장치에 있어서, 방송신호를 수신하는 신호수신부와; 상기 수신된 방송신호에 기초하여 영상을 표시하는 디스플레이부와; 사용자가 발화하는 음성을 수신하는 음성수신부와; 상기 디스플레이장치가 대기모드인 경우 전원이 공급되며, 상기 대기모드에서 상기 음성수신부에 의해 수신된 음성이, 상기 디스플레이장치가 미리 정해진 동작을 수행할 것을 명령하는 예약어에 해당할 가능성이 높은 예약어 후보인지 여부를 판단(determine)하는 제1음성인식부와; 상기 대기모드에서 전원 공급이 차단되며, 상기 수신된 음성이 상기 예약어 후보인 것으로 판단되면, 전원이 공급되어, 상기 수신된 음성이 상기 예약어인지 여부를 판단하는 제2음성인식부와; 상기 수신된 음성이 상기 예약어인 경우, 상기 미리 정해진 동작이 수행되도록 제어하는 제어부를 포함하는 디스플레이장치에 의해서 달성될 수 있다..
상기 제1음성인식부는, 상기 수신된 음성의 레벨을 포함하는 에너지 특징에 기초하여 상기 수신된 음성이 상기 예약어 후보인지 여부를 판단할 수 있다.
상기 제1음성인식부는, 상기 수신된 음성의 제로크로싱 비율, 공간평탄도 및 발화존재가능성 중 적어도 하나를 포함하는 사람의 음성 특징에 기초하여 상기 수신된 음성이 상기 예약어 후보인지 여부를 판단할 수 있다.
상기 제1음성인식부는, 상기 예약어와의 유사 여부에 기초하여 상기 수신된 음성이 상기 예약어 후보인지 여부를 판단할 수 있다.
상기 제1음성인식부는, 에너지 특징, 사람의 음성 특징 및 상기 예약어와의 유사 여부 중 현재의 상황에 따라 선택된 적어도 하나에 기초하여 상기 수신된 음성이 상기 예약어 후보인지 여부를 판단할 수 있다.
상기 신호수신부 및 상기 디스플레이부 중 상기 판단된 예약어에 대응하는 적어도 하나는, 상기 대기모드 시 전원 공급이 차단되며, 상기 수신된 음성이 상기 예약어인 것으로 판단되면, 전원이 공급될 수 있다.
상기 예약어는, 제1예약어 및 제2예약어를 포함하며, 상기 제1음성인식부는, 상기 대기모드에서 수신된 음성이 상기 제1예약어에 대응하는 예약어 후보인지 여부를 판단하고, 상기 디스플레이장치가 정상모드인 경우 상기 수신된 음성이 상기 제2예약어에 대응하는 예약어 후보인지 여부를 판단할 수 있다.
상기 제2예약어에 대응하는 명령어의 개수는 상기 제1예약어에 대응하는 명령어의 개수보다 많을 수 있다.
본 발명의 상기 목적은, 수신된 방송신호에 기초하여 영상을 표시하는 디스플레이장치의 제어방법에 있어서, 상기 디스플레이장치가 대기모드인 경우 사용자가 발화하는 음성을 수신하는 단계와; 상기 대기모드에서 전원이 공급되는 제1음성인식부를 이용하여, 상기 수신된 음성이, 상기 디스플레이장치가 미리 정해진 동작을 수행할 것을 명령하는 예약어에 해당할 가능성이 높은 예약어 후보인지 여부를 판단하는 단계와; 상기 대기모드에서 전원 공급이 차단되며, 상기 수신된 음성이 상기 예약어 후보인 것으로 판단되면, 전원이 공급되는 제2음성인식부를 이용하여, 상기 수신된 음성이 상기 예약어인지 여부를 판단하는 단계와; 상기 수신된 음성이 상기 예약어인 경우, 상기 미리 정해진 동작을 수행하는 단계를 포함하는 디스플레이장치의 제어방법에 의해서도 달성될 수 있다.
상기 예약어 후보인지 여부를 판단하는 단계는, 상기 수신된 음성의 레벨을 포함하는 에너지 특징에 기초하여 상기 수신된 음성이 상기 예약어 후보인지 여부를 판단하는 단계를 포함할 수 있다.
상기 예약어 후보인지 여부를 판단하는 단계는, 상기 수신된 음성의 제로크로싱 비율, 공간평탄도 및 발화존재가능성 중 적어도 하나를 포함하는 사람의 음성 특징에 기초하여 상기 수신된 음성이 상기 예약어 후보인지 여부를 판단하는 단계를 포함할 수 있다.
상기 예약어 후보인지 여부를 판단하는 단계는, 상기 예약어와의 유사 여부에 기초하여 상기 수신된 음성이 상기 예약어 후보인지 여부를 판단하는 단계를 포함할 수 있다.
상기 예약어 후보인지 여부를 판단하는 단계는, 에너지 특징, 사람의 음성 특징 및 상기 예약어와의 유사 여부 중 현재의 상황에 따라 선택된 적어도 하나에 기초하여 상기 수신된 음성이 상기 예약어 후보인지 여부를 판단하는 단계를 포함할 수 있다.
디스플레이장치의 제어방법은, 상기 대기모드 시 상기 예약어에 대응하는 동작을 수행하는 동작수행부에 전원 공급을 차단하고, 상기 수신된 음성이 상기 예약어인 것으로 판단되면, 상기 동작수행부에 전원을 공급하는 단계를 더 포함할 수 있다.
상기 예약어는, 제1예약어 및 제2예약어를 포함하며, 상기 예약어 후보인지 여부를 판단하는 단계는, 상기 대기모드에서 수신된 음성이 상기 제1예약어에 대응하는 예약어 후보인지 여부를 판단하는 단계와; 상기 디스플레이장치가 정상모드인 경우 상기 수신된 음성이 상기 제2예약어에 대응하는 예약어 후보인지 여부를 판단하는 단계를 포함할 수 있다.
상기 제2예약어에 대응하는 명령어의 개수는 상기 제1예약어에 대응하는 명령어의 개수보다 많을 수 있다.
상기한 바와 같이, 본 발명에 의하면, 대기모드 시 전력소모를 최소화하면서 사용자의 음성에 따라 동작을 수행할 수 있다.
또한, 본 발명에 의하면, 비용 혹은 전력소모를 최소화하면서도 보다 높은 신뢰성을 가지고 사용자의 음성을 인식하여 동작을 수행할 수 있다.
도 1은 본 발명과 관련된 전자장치가 대기모드에서 사용자의 음성에 따라 동작을 수행하는 하나의 예를 도시하며,
도 2는 본 발명의 일실시예에 의한 전자장치의 구성을 나타내는 블록도이며,
도 3은 본 발명의 일실시예에 의한 전자장치의 음성수신부가 수신하는 음성의 종류를 나타내며,
도 4는 본 발명의 일실시예에 의한 전자장치의 동작을 도시하는 흐름도이며,
도 5는 본 발명의 일실시예에 의한 전자장치의 제1음성인식부의 구성의 예들을 도시한 블록도이며,
도 6은 본 발명의 일실시예에 의한 전자장치의 동작의 다른 예를 도시하는 흐름도이며,
도 7은 본 발명의 일실시예에 의한 디스플레이장치의 구성을 도시한 블록도이며,
도 8은 본 발명의 일실시예에 의한 디스플레이장치의 대기모드 시 동작을 나타내며,
도 9는 본 발명의 일실시예에 의한 디스플레이장치의 동작을 도시한 흐름도이다.
이하, 본 발명의 일실시예에 관하여 상세히 설명한다. 도 2는 본 발명의 일실시예에 의한 전자장치의 구성을 나타내는 블록도이다. 도 2에 도시된 바와 같은 전자장치(2)는 TV와 같은 디스플레이장치, 게임기기, 차량 네비게이션기기 등으로 구현될 수 있으며, 음성을 인식하여 동작할 수 있는 어떠한 기기도 포함될 수 있다. 전자장치(2)는, 도 2에 도시된 바와 같이, 음성수신부(sound receiver; 21), 제1음성인식부(first sound recognizer; 22), 제2음성인식부(second sound recognizer; 23) 및 동작수행부(operation performer; 24)를 포함한다.
음성수신부(21)는 음성(sound)을 수신한다. 음성수신부(2)는 마이크로 구현될 수 있다. 음성수신부(2)가 수신하는 음성은 사용자의 음성(voice)일 수도 있고, 사용자의 음성이 아닌 그 외의 소리(sound)일 수도 있다. 도 3은 음성수신부(21)가 수신하는 음성의 종류를 나타낸다. 먼저, 음성수신부(21)가 수신하는 모든 음성(31) 중에는 잡음 등이 포함되며, 특히, 레벨이 큰 음성(32)이 포함될 수 있다. 다음으로, 레벨이 큰 음성(32) 중에는, 예컨대 레벨이 큰 잡음도 있을 수 있지만, 이 중에는 동물의 음성(33)과, 사람의 음성(34)이 있을 수 있다. 다음으로, 사람의 음성(33) 중에는 미리 정해진 예약어에 해당할 가능성이 높은 음성(35; 이하, '예약어 후보'라고도 함)이 있을 수가 있다. 마지막으로, 예약어 후보(35) 중에는 미리 정해진 예약어(36)가 포함된다. 도 3에 도시된 바와 같이, 좌측으로 갈수록 음성 인식에 드는 비용이나, 전력 소모가 작아지고, 우측으로 갈수록 비용이나, 전력 소모가 커짐을 나타낸다.
다시 도 2를 참조하면, 제1음성인식부(22) 및 제2음성인식부(23)는 음성수신부(21)가 수신하는 음성에 대하여 음성 인식을 각각 수행한다. 제1음성인식부(22)는 제2음성인식부(23)의 동작에 대한 전처리 단계로서 음성 인식(이하, '제1음성 인식'이라고도 함)을 수행한다. 제2음성인식부(23)는 제1음성인식부(22)의 동작에 대한 후처리 단계로서 음성 인식(이하, '제2음성 인식'이라고도 함)을 수행한다. 즉, 제1음성인식부(22)의 제1음성인식은 기본적이거나, 개괄적인 인식이 될 수 있으며, 제2음성인식부(23)의 제2음성인식은, 보다 구체적이거나, 심층적인 인식이 될 수 있다. 구체적으로, 제1음성인식부(22)는 음성수신부(21)에 의해 수신된 음성이 미리 정해진 예약어에 대응하는 예약어 후보인지 여부를 판단(determine)한다. 한편, 제2음성인식부(23)는 음성수신부(21)가 수신한 음성이 미리 정해진 예약어인지 여부를 판단한다.
도 2를 참조하면, 동작수행부(24)는 예약어에 대응하는 동작을 수행한다. 동작수행부(24)는 전자장치(2)의 용도나 기능에 대응하는 적어도 하나 이상의 다양한 동작을 수행할 수 있다. 예컨대, 전자장치(2)가 TV와 같은 디스플레이장치인 경우, 동작수행부(24)는 영상신호를 처리하여 영상을 표시하는 동작을 수행할 수 있다. 동작수행부(24)는 하드웨어, 소프트웨어, 또는 그 조합으로 구현될 수 있으며, 복수 개로 구현될 수 있다.
도 4는 본 발명의 일실시예에 의한 전자장치(2)의 동작을 도시하는 흐름도이다. 동작 S41에서, 전자장치(2)는, 음성을 수신한다. 다음으로, 동작 S42에서, 전자장치(2)는 수신된 음성이 미리 정해진 예약어 후보인지 여부를 판단한다. 만일, 수신된 음성이 미리 정해진 예약어 후보가 아니라고 판단되면(S42의 No), 전자장치(2)는 동작을 종료한다. 만일, 수신된 음성이 미리 정해진 예약어 후보라고 판단되면(S42의 Yes), 동작 S43에서, 전자장치(2)는 수신된 음성이 미리 정해진 예약어인지 여부를 판단한다. 만일, 수신된 음성이 미리 정해진 예약어가 아니라고 판단되면(S43의 No), 전자장치(2)는 동작을 종료한다. 만일, 수신된 음성이 미리 정해진 예약어라고 판단되면(S43의 Yes), 동작 S44에서, 전자장치(2)는 판단된 예약어에 대응하는 동작을 수행한다.
이와 같이, 본 발명의 일실시예에 의하면, 수신되는 음성에 대한 인식을 전처리 단계로서의 제1음성 인식과, 후처리 단계로서의 제2음성 인식으로 나누어 수행한다. 즉, 기본적이고, 개괄적인 인식을 수행하는 제1음성 인식에 의해, 수신된 음성 중에서 예약어의 가능성이 낮은 음성들은 사전에 걸러지게 되고, 예약어의 가능성이 높은 예약어 후보에 대응하는 음성에 대해서만 구체적이고, 심층적인 제2음성 인식을 수행할 수 있게 된다. 이는, 제1음성 인식과, 제2음성 인식 각각에 대한 역할 분담을 가능하게 하는 것이며, 제1음성 인식과, 제2음성 인식 각각의 특성에 맞게끔 효율적이고 최적화된 설계가 가능해진다. 또한, 예약어에 앞서 예약어의 가능성이 높은 예약어 후보인지 여부를 사전에 판단하여 예약어의 가능성이 낮은 음성을 걸러 줌으로써, 예약어에 대한 인식 성공율을 향상시킬 수 있다. 따라서, 본 발명의 일실시예에 의한 전자장치(2)는, 음성인식의 신뢰성 향상을 위하여, 제한된 단일의 음성인식수단에 대해서 하드웨어적 성능이나, 소프트웨어적 수준을 높여야만 하는 경우와 대비하여, 비용을 최소화하면서 보다 높은 신뢰성으로 음성 인식을 수행할 수 있다.
도 2를 다시 참조하면, 제1음성인식부(22)는, 에너지 특징, 음성 특징 및 예약어와의 유사 여부 중 적어도 하나에 기초하여, 음성수신부(21)에 의해 수신된 음성이 예약어 후보에 해당하는지 여부를 판단할 수 있다. 예컨대, 제1음성인식부(22)는, 음성의 에너지 특징에 기초하여 수신된 모든 음성(31) 중에서 레벨이 큰 음성(32)을 판별할 수 있다. 또한, 제1음성인식부(22)는, 동물 내지 사람의 음성 특징에 기초하여, 모든 음성(31) 혹은 레벨이 큰 음성(32) 중에서 동물의 음성(33)과, 사람의 음성(34)을 판별할 수 있다. 또한, 제1음성인식부(22)는, 미리 정해진 예약어와의 유사 여부에 기초하여, 모든 음성(31), 레벨이 큰 음성(32), 동물의 음성(33) 혹은 사람의 음성(34) 중에서 예약어 후보(35)를 판별할 수 있다.
제1음성인식부(22)는, 수신된 음성의 구간을 판단하여 해당 음성의 에너지 특징 또는 음성 특징을 검출할 수 있다. 제1음성인식부(22)는, 음성의 시간 영역 또는 주파수 영역에서 해당 음성의 에너지 특징 또는 음성 특징을 판단할 수 있다. 제1음성인식부(22)는, 수신된 음성의 특정 에너지 레벨 조건을 기준으로 해당 음성의 에너지 특징을 검출할 수 있다. 제1음성인식부(22)는, 수신된 음성의 특정 크기(dB)를 임계점으로 하여 해당 음성의 에너지 특징을 판단할 수 있다. 또는, 제1음성인식부(22)는, 수신된 음성의 크기와, 기준 음성의 크기 간 상대적 비율로 에너지 특징을 판단할 수도 있다. 또는, 제1음성인식부(22)는, 수신된 음성에 대한 판단 구간의 유지 시간으로 에너지 특징을 판단할 수도 있다.
제1음성인식부(22)는, 수신된 음성의 제로 크로싱 비율(Zero Crossing Rate)에 기초하여 동물 또는 사람의 음성 특징을 판단할 수 있다. 제1음성인식부(22)는, 평균 무음 구간 레벨 기준으로 +/- 교차된 횟수로 수신된 음성의 제로 크로싱 비율을 결정할 수 있다. 또는, 제1음성인식부(22)는, 주파수 영역에서의 입력 신호 분포의 기울기, 즉, 공간 평탄도(Spectral Flatness)에 기초하여 수신된 음성의 특징을 판단할 수 있다. 또는, 제1음성인식부(22)는, 발화/잡음(Speech/Noise)에 대한 확률 모델 기반, 즉, 발화 존재 가능성(Speech Presence Probability)에 기초하여 수신된 음성의 특징을 판단할 수 있다.
제1음성인식부(22)는, 수신된 음성이 미리 정해진 예약어와 유사한지 여부에 기초하여 예약어 후보인지 여부를 판단할 수 있다. 제1음성인식부(22)는 전자장치(2)를 제어할 수 있는 복수의 명령어 중에서 선택된 일부 명령어에 대응하는 예약어와의 유사 여부를 판단할 수 있다. 제1음성인식부(22)는 제2음성인식부(23)의 제2음성 인식과 대비하여 상대적으로 경량화된 모델 혹은 계층화(Classification) 기반으로 예약어와의 유사 여부를 판단할 수 있다.
제1음성인식부(22)는, 에너지 특징, 사람의 음성 특징 및 예약어와의 유사 여부 중 현재의 상황에 따라 선택된 적어도 하나에 기초하여 수신된 음성이 예약어 후보인지 여부를 판단할 수 있다. 도 5는 본 발명의 일실시예에 의한 제1음성인식부(22)의 구성의 예들을 도시한 블록도이다. 도 5에 도시된 바와 같이, 제1음성인식부(22)는, 에너지 특징, 사람의 음성 특징 및 예약어와의 유사 여부 중 어느 하나만을 이용하여 수신된 음성이 예약어 후보인지 여부를 판단할 수 있다(도 5의 (a), (b) 및 (c) 참조). 혹은, 제1음성인식부(22)는, 에너지 특징, 사람의 음성 특징 및 예약어와의 유사 여부 중 선택된 2개를 순차 조합한 형태로 이용하여 수신된 음성이 예약어 후보인지 여부를 판단할 수 있다(도 5의 (d), (e) 및 (f) 참조). 혹은, 제1음성인식부(22)는, 에너지 특징, 사람의 음성 특징 및 예약어와의 유사 여부 모두를 순차 조합한 형태로 이용하여 수신된 음성이 예약어 후보인지 여부를 판단할 수 있다(도 5의 (g) 참조).
에너지 특징의 경우, 적은 알고리즘 계산량이 요구되는 특성이 있는 반면, 신뢰성이 상대적으로 낮은 특성이 있다. 음성 특징의 경우, 에너지 특징에 비하여, 알고리즘 계산량과, 신뢰성은 상대적으로 높은 특성이 있다. 예약어와의 유사 여부의 경우는, 에너지 특징 및 음성 특징에 비하여, 알고리즘 계산량과, 신뢰성은 상대적으로 가장 높으나, 전력 소비가 상대적으로 큰 특성이 있다. 에너지 특징, 사람의 음성 특징 및 예약어와의 유사 여부 중 어느 것을 선택할 것인지는, 에너지 특징, 사람의 음성 특징 및 예약어와의 유사 여부 각각의 특성을 고려하여, 전자장치(2)의 상태, 주위의 환경 또는 사용자의 요청 등에 따라 결정될 수 있다. 도 6은 본 발명의 일실시예에 의한 전자장치(2)의 동작의 다른 예를 도시하는 흐름도이다. 동작 S61에서, 전자장치(2)는, 현재의 상황을 판단한다. 다음으로, 동작 S62에서, 전자장치(2)는, 판단된 현재의 상황에 따라 에너지 특징, 사람의 음성 특징 및 예약어와의 유사 여부 중 현재의 상황에 대응하는 적어도 하나를 선택할 수 있다. 전자장치(2)는, 적어도 하나의 센서, 예컨대, 마이크, 카메라, 동작센서, 압력센서, 온도센서 또는 외부장치로부터 현재의 상황을 나타내는 정보를 수집하고, 수집된 정보에 기초하여 에너지 특징, 사람의 음성 특징 및 예약어와의 유사 여부 중 현재의 상황에 대응하는 적어도 하나를 선택할 수 있다. 다음으로, 동작 S63에서, 전자장치(2)의 제1음성인식부(22)는, 에너지 특징, 사람의 음성 특징 및 예약어와의 유사 여부 중 선택된 적어도 하나에 기초하여 수신된 음성이 예약어 후보인지 여부를 판단할 수 있다.
전자장치(2)가 대기모드인 경우, 제1음성인식부(22)는 전원이 공급되는 정상상태를 유지하도록 하는 한편, 제2음성인식부(23) 및 동작수행부(24)는 전원 공급이 차단되는 절전상태가 되도록 할 수 있다. 제1음성인식부(22)는 대기모드 시 정상적으로 동작하여, 수신된 음성이 예약어 후보인지 여부를 판단할 수 있다. 제2음성인식부(23)는 대기모드 시 절전상태로 있다가, 수신된 음성이 제1음성인식부(22)에 의해 예약어 후보인 것으로 판단되면, 절전상태로부터 전원이 공급되는 정상상태가 되며, 제2음성 인식을 수행할 수 있다. 다른 실시예로서, 제2음성인식부(23)는 전원은 공급되나 전력 소모 수준이 소정치 미만이 되는 절전상태가 될 수도 있다.
따라서, 전자장치(2)가 대기모드인 경우, 제1음성인식부(22)가 제1음성 인식을 수행하는 동안, 제2음성인식부(23)를 절전상태로 만들 수 있으므로, 대기모드 시 음성 인식은 수행하면서도 전자장치(2)의 전력 소모를 최소화시킬 수 있다. 한편, 동작수행부(24)는 수신된 음성이 제2음성인식부(23)에 의해 예약어인 것으로 판단되면, 절전상태로부터 정상상태가 되어 예약어에 대응하는 동작을 수행할 수 있다. 이에 따라, 대기모드 등의 경우 음성 인식은 수행하면서도 전자장치(2)의 전력 소모를 보다 저감시킬 수 있다.
본 발명의 일실시예에 의한 전자장치(2)는 TV와 같은 디스플레이장치로 구현될 수 있다. 도 7은 본 발명의 일실시예에 의한 디스플레이장치의 구성을 도시한 블록도이다. 디스플레이장치(7)는 음성수신부(75), 제1음성인식부(76), 제2음성인식부(77), 동작수행부(71), 입력수신부(input receiver; 72), 부제어부(sub controller; 73) 및 전원공급부(power supply; 74)를 포함할 수 있다. 도 7에 도시된 음성수신부(75), 제1음성인식부(76) 및 제2음성인식부(77)는 특별한 다른 설명이 없으면 도 2 내지 도 6을 참조하여 설명한 음성수신부(21), 제1음성인식부(22) 및 제2음성인식부(23)와 동일 내지 유사한 구성을 가진다. 동작수행부(71)는 도 7에 도시된 바와 같이, 신호수신부(signal receiver; 711), 신호처리부(signal processor; 712), 디스플레이부(display; 713), 음성출력부(sound output; 714), 저장부(storage; 715), 통신부(communicator; 717) 및 주제어부(716)를 포함할 수 있다. 다만, 도 7에 도시된 디스플레이장치(7)의 구성은 하나의 실시예에 불과하며, 경우에 따라서는 이와 다르게 구성될 수도 있다. 즉, 도시되지는 않았으나, 도 7에 도시된 디스플레이장치(7)의 구성 중 적어도 어느 하나가 배제되거나, 새로운 구성이 추가될 수도 있다.
신호수신부(711)는 영상, 음성 및 데이터 중 적어도 하나가 포함된 신호를 수신한다. 신호수신부(711)는 튜너부를 구비하여 방송신호와 같은 신호를 수신할 수 있다. 튜너부는 주제어부(716)의 제어에 따라 복수의 채널 중 선택된 어느 하나의 채널의 신호를 튜닝하여 수신할 수 있다. 채널의 선택은 사용자에 의해 이루어질 수 있다. 입력수신부(72)는, 사용자의 입력을 수신할 수 있다. 입력수신부(72)는 채널의 선택에 관한 사용자의 입력을 수신하여 주제어부(716)로 전달한다. 입력수신부(72)는 디스플레이장치(7)에 마련되는 조작패널을 구비하여 사용자의 입력을 수신하거나, 리모컨신호수신부를 포함하여, 리모컨으로부터 사용자의 입력이 포함된 리모컨신호를 수신할 수 있다. 다른 실시예로서, 입력수신부(72)는 카메라와 같은 이미지수신부를 포함하고, 사용자의 입력으로서 제스처와 같은 동작을 촬상한 이미지를 수신할 수도 있다. 신호수신부(711)는, 다른 실시예로서, 셋탑박스, DVD 등과 같은 영상기기 혹은 PC와 같은 사용자단말기로부터 신호를 수신할 수도 있다.
신호처리부(712)는 수신되는 신호에 대하여 영상처리, 음성처리 혹은 데이터처리를 수행하여 디스플레이부(713)에 영상 및/또는 정보가 표시되도록 하거나, 음성출력부(714)를 통하여 음성이 출력되도록 한다. 신호처리부(712)는 수신되는 신호에 대하여, 예컨대, 모듈레이션, 디모듈레이션, 멀티플렉싱, 디멀티플렉싱, 아날로그-디지털변환, 디지털-아날로그변환, 디코딩, 인코딩, 이미지인핸스먼트, 스케일링 등의 영상처리를 수행할 수 있다.
디스플레이부(713)는 신호처리부(712)에 의해 처리되는 신호에 기초하여 영상 및/또는 정보를 표시한다. 디스플레이부(713)는 LCD, PDP, OLED 등 다양한 방식으로 영상을 표시할 수 있다. 음성출력부(714)는 스피커를 포함할 수 있으며, 신호처리부(712)에 의해 처리되는 신호에 기초하여 음성을 출력한다. 저장부(715)는 플래시메모리, 하드디스크 등과 같은 비휘발성의 메모리로 구현되며, 디스플레이장치(7)의 동작에 필요한 프로그램, 정보 및 데이터를 저장한다. 통신부(717)는 유선 혹은 무선 네트워크를 통하여 외부장치와의 통신을 수행하여, 외부장치와 디스플레이장치(7)의 동작에 필요한 정보 및/또는 데이터를 주고 받는다. 통신부(717)는 인터넷과 같은 네트워크를 통하여 서버로부터 영상 등이 포함된 신호를 수신하거나, 혹은, 로컬 무선 네트워크를 통하여 주변의 랩탑PC, 스마트폰, 스마트패드 등으로부터 영상 등이 포함된 신호를 수신할 수 있다. 통신부(717)를 통하여 수신된 신호는 신호처리부(712)에 의해 처리될 수 있다.
주제어부(716)는 미리 설정된 정보에 따라, 혹은 입력수신부(72)나 음성수신부(75)를 통하여 입력되는 사용자의 명령에 따라, 디스플레이장치(7)가 동작을 수행하도록 제어한다. 예컨대, 주제어부(716)는 사용자가 선국한 채널의 신호에 기초하여 영상이 표시되도록 신호수신부(711) 및 신호처리부(712)를 제어할 수 있다. 주제어부(716)는 이와 같은 제어의 수행을 위한 제어프로그램과, 제어프로그램의 전부 또는 일부가 저장되는 비휘발성의 메모리 및 휘발성의 메모리와, 제어프로그램을 실행하는 마이크로프로세서를 포함할 수 있다.
전원공급부(74)는 음성수신부(75), 제1음성인식부(76), 제2음성인식부(77), 입력수신부(72), 부제어부(73) 및 동작수행부(71)가 동작할 수 있도록 전원을 공급한다. 전원공급부(74)는 AC전원을 입력 받아 소정 레벨의 DC전압을 출력하며, AC-DC컨버터, DC-DC컨버터 등을 포함할 수 있다.
부제어부(73)는 주제어부(716)를 보조하여 디스플레이장치(7)가 동작하도록 제어를 수행한다. 예컨대, 대기모드 시, 동작수행부(71) 및 제2음성인식부(77)는 절전상태(혹은 슬립상태)가 될 수 있다. 부제어부(73)는 대기모드 중에 동작수행부(71) 등이 깨어나야 하는 이벤트가 발생하는지를 판단하고, 해당 이벤트가 발생하면 동작수행부(71) 등을 깨어나도록 하여, 즉, 절전상태로부터 정상상태가 되도록 하여, 동작수행부(71) 등이 발생한 이벤트에 대응하는 동작을 수행하도록 제어한다. 대기모드 시 발생한 이벤트는, 음성수신부(75)를 통하여 수신되는 음성일 수 있다. 혹은, 대기모드 시 발생한 이벤트는, 입력수신부(72)를 통하여 수신되는 사용자의 입력을 포함할 수도 있다. 부제어부(73)는 대기모드 시 발생한 이벤트가 동작수행부(71)가 수행하는 어떠한 동작에 해당하는지를 판단하는 동작판단부(732)를 포함할 수 있다. 또한, 부제어부(73)는 대기모드 시 발생한 이벤트에 따라 전원공급부(74)를 제어하여 동작수행부(71) 등에 전원을 공급하거나 전원을 차단하도록 하는 전원제어부(731)를 포함할 수 있다.
도 8은 본 발명의 일실시예에 의한 디스플레이장치(7)의 대기모드 시 동작을 나타낸다. 도 8에 도시된 디스플레이장치(7)는 단계적인 전원상태(811 내지 81n)를 가진다. 즉, 디스플레이장치(7)는 전력 소비가 가작 적은 '전원상태1'(811)에서부터 전력 소비가 가장 큰 '전원상태n'(81n)을 가질 수 있다. 한편, 동작수행부(73)는 '동작수행부1'(861) 내지 '동작수행부n'(86n)을 가진다. '동작수행부1'(861) 내지 '동작수행부n'(86n)는 도 7에 도시된 동작수행부(73)에 포함된 신호수신부(711) 등을 각각 나타낸다. '동작수행부1'(861) 내지 '동작수행부n'(86n)가 순차적으로 절전상태로부터 정상상태가 되면서, '전원상태1'(811)에서 '전원상태n'(81n)으로 단계적으로 전환될 수 있다.
먼저 대기모드 시, '전원상태2'(812)에서, 제2음성인식부(77)는 절전상태에 있는 것으로 한다. 이 때, 음성수신부(75)가 음성을 수신한다(82). 다음으로, 제1음성인식부(76)는 음성수신부(75)에 의해 수신된 음성이 예약어 후보인지 여부를 판단한다(83). 예약어 후보는 디스플레이장치(7)의 전원이 켜지도록 하는 예약어, 예컨대, 'Hi, TV 전원 켜기'에 대응할 수 있다. 만일, 음성수신부(75)에 의해 수신된 음성이 예약어 후보인 것으로 판단되면(84, Yes), 전원제어부(731)는 전원공급부(74)를 제어하여 제2음성인식부(77)가 절전상태로부터 정상상태가 되도록 할 수 있다(851). 다음으로, 제2음성인식부(77)는 음성수신부(75)에 의해 수신된 음성이 미리 정해진 예약어인지 여부를 판단한다(87). 만일, 음성수신부(75)에 의해 수신된 음성이 미리 정해진 예약어인 것으로 판단되면(88, Yes), 동작판단부(732)는 해당 예약어에 대응하는 '동작수행부3'(863)를 결정하고(89), 전원제어부(731)는 전원공급부(74)를 제어하여, 결정된 '동작수행부3'(863)가 절전상태로부터 정상상태가 되어 해당 예약어에 대응하는 동작을 수행하도록 한다(852). 예컨대, 예약어, 'Hi, TV 전원 켜기'인 경우, 부제어부(73)는 주제어부(716) 등을 절전상태로부터 정상상태가 되도록 하며, 주제어부(716) 등은 초기 동작을 수행하여 디스플레이장치(7)는 사용자가 사용할 준비가 된다.
다른 실시예로서, 예약어가 '뉴스 요약'인 경우, 부제어부(73)는 주제어부(716) 외에 신호수신부(711) 혹은 통신부(717)와, 신호처리부(712) 음성출력부(714)를 절전상태로부터 정상상태가 되도록 한다. 신호수신부(711) 혹은 통신부(717)는 뉴스 요약에 관한 정보를 방송신호를 통하여 수신하거나 혹은 외부 서버로부터 수신한다. 신호처리부(712)는 방송신호 등을 처리하여 뉴스 요약에 관한 정보를 얻어내고, 음성출력부(714)는 뉴스 요약에 관한 정보를 음성으로 출력할 수 있다. 이 경우, 디스플레이부(713) 등은 계속하여 절전상태를 유지할 수 있다. 또 다른 실시예로서, 예약어가 '날씨 요약'인 경우, '뉴스 요약'의 경우와 비슷한 방법으로, 대응하는 동작수행부(71)의 구성을 절전상태로부터 정상상태로 되도록 하여 날씨 요약에 관한 정보를 출력하도록 하거나, 또 다른 예로서 예약어가 '약속 시간'의 경우 사용자가 미리 설정해 둔 약속 시간에 관한 정보를 출력하도록 할 수 있다.
이와 같이, 본 발명의 일실시예에 의한 디스플레이장치(7)에 따르면, 대기모드에서 절전상태에 있는 동작수행부(71)의 복수의 구성 중에서 예약어에 해당하는 일부의 구성만을 정상상태로 동작시키고, 나머지 구성들은 계속하여 절전상태를 유지시킬 수 있으므로, 불필요한 전력 소비를 최소화시킬 수 있다.
디스플레이장치(7)의 제1음성인식부(76)는 상황에 따라 예약어 후보를 달리하여 음성 인식을 수행할 수 있다. 도 9는 본 발명의 일실시예에 의한 디스플레이장치(7)의 동작을 도시한 흐름도이다. 먼저, 동작 S91에서, 디스플레이장치(7)는 현재의 동작모드를 판단한다. 예컨대, 동작모드는 대기모드, 정상모드 등을 포함한다. 다음으로, 현재의 동작모드가 제1동작모드에 해당하는 경우(S92의 Yes), 동작 S93에서, 디스플레이장치(7)의 제1음성인식부(76)는 수신된 음성이 제1예약어에 대응하는 예약어 후보인지 여부를 판단한다. 예컨대 제1동작모드가 대기모드인 경우, 제1음성인식부(76)는 수신된 음성이 'Hi, TV 전원 켜기'와 같은 제1예약어에 대응하는 예약어 후보인지 여부를 판단한다. 만일, 현재의 동작모드가 제1동작모드에 해당하지 않는 경우(S92의 Yes), 동작 S94에서, 디스플레이장치(7)는 현재의 동작모드가 제2동작모드에 해당하는지 여부를 판단한다. 현재의 동작모드가 제2동작모드에 해당하는 경우(S94의 Yes), 동작 S95에서, 제1음성인식부(76)는 수신된 음성이 제2예약어에 대응하는 예약어 후보인지 여부를 판단한다. 예컨대 제2동작모드가 정상모드인 경우, 제1음성인식부(76)는 수신된 음성이 '채널 올려', '채널 내려', '볼륨 올려', '볼륨 내려'와 같은 제2예약어에 대응하는 예약어 후보인지 여부를 판단한다. 제2예약어에 해당하는 명령어의 개수는, 제1예약어에 해당하는 명령어의 개수보다 많을 수 있다. 즉, 대기모드 등의 경우에는, 소수의 제1예약어만으로 음성 인식이 이루어지도록 하여, 제1음성인식부(76)를 이용하여 제1예약어의 가능성이 낮은 음성은 차단함으로써, 절전상태에 있던 제2음성인식부(77)나, 동작수행부(71)가 불필요하게 동작하지 않도록 할 수 있다. 한편, 정상모드 등의 경우에는, 통상적으로 이용되는 다양한 제2예약어에 대한 음성 인식을 수행하도록 하여, 제1음성인식부(76)가 제2예약어의 가능성이 높은 음성을 인식하여 예약어 후보로 판단된 음성을 제2음성인식부(77)로 원활히 전달할 수 있도록 한다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.
2: 전자장치
21: 음성수신부
22: 제1음성인식부
23: 제2음성인식부
24; 동작수행부
7: 디스플레이장치

Claims (16)

  1. 디스플레이장치에 있어서,
    방송신호를 수신하는 신호수신부와;
    상기 수신된 방송신호에 기초하여 영상을 표시하는 디스플레이부와;
    사용자가 발화하는 음성을 수신하는 음성수신부와;
    상기 디스플레이장치가 정상모드 또는 대기모드 시에 전원이 공급되며, 상기 대기모드 시에 상기 음성수신부에 의해 수신된 음성이 상기 디스플레이장치가 미리 정해진 제1동작을 수행할 것을 명령하는 제1예약어에 해당할 가능성이 높은 제1예약어 후보인지 여부를 판단하고, 상기 정상모드 시에 상기 수신된 음성이 상기 제1동작과 상이한 제2동작을 수행할 것을 명령하는 제2예약어에 해당할 가능성이 높은 제2예약어 후보인지 여부를 판단하는 제1음성인식부와;
    상기 정상모드 시 전원이 공급되고 상기 대기모드 시 전원 공급이 차단되며, 상기 대기모드 시 상기 수신된 음성이 상기 제1예약어 후보인 것으로 판단되면 전원이 공급되어 상기 수신된 음성이 상기 제1예약어인지 여부를 판단하고, 상기 정상모드 시 상기 수신된 음성이 상기 제2예약어 후보인 것으로 판단되면 상기 수신된 음성이 상기 제2예약어인지 여부를 판단하는 제2음성인식부와;
    상기 수신된 음성이 상기 제1예약어 또는 상기 제2예약어로 판단되는 것에 기초하여, 상기 제1동작 또는 상기 제2동작이 수행되도록 제어하는 제어부를 포함하는 디스플레이장치.
  2. 제1항에 있어서,
    상기 제1음성인식부는, 상기 수신된 음성의 레벨을 포함하는 에너지 특징에 기초하여 상기 수신된 음성이 상기 제1예약어 후보 또는 상기 제2예약어 후보인지 여부를 판단하는 디스플레이장치.
  3. 제1항에 있어서,
    상기 제1음성인식부는, 상기 수신된 음성의 제로크로싱 비율, 공간평탄도 및 발화존재가능성 중 적어도 하나를 포함하는 사람의 음성 특징에 기초하여 상기 수신된 음성이 상기 제1예약어 후보 또는 상기 제2예약어 후보인지 여부를 판단하는 디스플레이장치.
  4. 제1항에 있어서,
    상기 제1음성인식부는, 상기 제1예약어 또는 상기 제2예약어와의 유사 여부에 기초하여 상기 수신된 음성이 상기 제1예약어 후보 또는 상기 제2예약어 후보인지 여부를 판단하는 디스플레이장치.
  5. 제1항에 있어서,
    상기 제1음성인식부는, 에너지 특징, 사람의 음성 특징, 및 상기 제1예약어 또는 상기 제2예약어와의 유사 여부 중 현재의 상황에 따라 선택된 적어도 하나에 기초하여 상기 수신된 음성이 상기 제1예약어 후보 또는 상기 제2예약어 후보인지 여부를 판단하는 디스플레이장치.
  6. 제1항에 있어서,
    상기 대기모드 시 상기 신호수신부 또는 상기 디스플레이부에 대한 전원 공급이 차단되며,
    상기 수신된 음성이 상기 신호수신부 또는 상기 디스플레이부에 대응하는 상기 제1예약어인 것으로 판단되면, 상기 판단된 제1예약어에 대응하는 상기 신호수신부 또는 상기 디스플레이부에 전원이 공급되도록 마련되는 디스플레이장치.
  7. 삭제
  8. 제1항에 있어서,
    상기 제2예약어에 대응하는 명령어의 개수는 상기 제1예약어에 대응하는 명령어의 개수보다 많은 디스플레이장치.
  9. 수신된 방송신호에 기초하여 영상을 표시하는 디스플레이장치의 제어방법에 있어서,
    사용자가 발화하는 음성을 수신하는 단계와;
    상기 디스플레이장치가 정상모드 또는 대기모드 시에 전원이 공급되는 제1음성인식부를 이용하여, 상기 대기모드 시에 수신된 상기 음성이 상기 디스플레이장치가 미리 정해진 제1동작을 수행할 것을 명령하는 제1예약어에 해당할 가능성이 높은 제1예약어 후보인지 여부를 판단하고, 상기 정상모드 시에 수신된 상기 음성이 상기 제1동작과 상이한 제2동작을 수행할 것을 명령하는 제2예약어에 해당할 가능성이 높은 제2예약어 후보인지 여부를 판단하는 단계와;
    상기 정상모드 시 전원이 공급되고 상기 대기모드 시 전원 공급이 차단되는 제2음성인식부를 이용하여, 상기 대기모드 시 상기 음성이 상기 제1예약어 후보인 것으로 판단되면 상기 음성이 상기 제1예약어인지 여부를 판단하고, 상기 정상모드 시 상기 음성이 상기 제2예약어 후보인 것으로 판단되면 상기 음성이 상기 제2예약어인지 여부를 판단하는 단계와;
    상기 수신된 음성이 상기 제1예약어 또는 상기 제2예약어로 판단되는 것에 기초하여, 상기 제1동작 또는 상기 제2동작을 수행하는 단계를 포함하는 디스플레이장치의 제어방법.
  10. 제9항에 있어서,
    상기 제1예약어 후보 또는 상기 제2예약어 후보인지 여부를 판단하는 단계는, 상기 수신된 음성의 레벨을 포함하는 에너지 특징에 기초하여 판단하는 단계를 포함하는 디스플레이장치의 제어방법.
  11. 제9항에 있어서,
    상기 제1예약어 후보 또는 상기 제2예약어 후보인지 여부를 판단하는 단계는, 상기 수신된 음성의 제로크로싱 비율, 공간평탄도 및 발화존재가능성 중 적어도 하나를 포함하는 사람의 음성 특징에 기초하여 판단하는 단계를 포함하는 디스플레이장치의 제어방법.
  12. 제9항에 있어서,
    상기 제1예약어 후보 또는 상기 제2예약어 후보인지 여부를 판단하는 단계는, 상기 제1예약어 또는 상기 제2예약어와의 유사 여부에 기초하여 판단하는 단계를 포함하는 디스플레이장치의 제어방법.
  13. 제9항에 있어서,
    상기 제1예약어 후보 또는 상기 제2예약어 후보인지 여부를 판단하는 단계는, 에너지 특징, 사람의 음성 특징, 및 상기 제1예약어 또는 상기 제2예약어와의 유사 여부 중 현재의 상황에 따라 선택된 적어도 하나에 기초하여 판단하는 단계를 포함하는 디스플레이장치의 제어방법.
  14. 제9항에 있어서,
    상기 대기모드 시 상기 제1예약어에 대응하는 동작을 수행하는 동작수행부에 전원 공급을 차단하고, 상기 수신된 음성이 상기 제1예약어인 것으로 판단되면, 상기 동작수행부에 전원을 공급하는 단계를 더 포함하는 디스플레이장치의 제어방법.
  15. 삭제
  16. 제9항에 있어서,
    상기 제2예약어에 대응하는 명령어의 개수는 상기 제1예약어에 대응하는 명령어의 개수보다 많은 디스플레이장치의 제어방법.
KR1020130161138A 2013-12-23 2013-12-23 전자장치 및 그 제어방법 KR102179506B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020130161138A KR102179506B1 (ko) 2013-12-23 2013-12-23 전자장치 및 그 제어방법
CN201480070712.9A CN105850115B (zh) 2013-12-23 2014-12-12 电子设备及其控制方法
EP14874861.9A EP3055992B1 (en) 2013-12-23 2014-12-12 Electronic apparatus and control method thereof
PCT/KR2014/012249 WO2015099336A1 (en) 2013-12-23 2014-12-12 Electronic apparatus and control method thereof
US14/571,440 US9830907B2 (en) 2013-12-23 2014-12-16 Electronic apparatus and control method for voice recognition on electric power control
US15/667,747 US10468023B2 (en) 2013-12-23 2017-08-03 Electronic apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130161138A KR102179506B1 (ko) 2013-12-23 2013-12-23 전자장치 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20150073441A KR20150073441A (ko) 2015-07-01
KR102179506B1 true KR102179506B1 (ko) 2020-11-17

Family

ID=53400695

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130161138A KR102179506B1 (ko) 2013-12-23 2013-12-23 전자장치 및 그 제어방법

Country Status (5)

Country Link
US (2) US9830907B2 (ko)
EP (1) EP3055992B1 (ko)
KR (1) KR102179506B1 (ko)
CN (1) CN105850115B (ko)
WO (1) WO2015099336A1 (ko)

Families Citing this family (128)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
EP3809407A1 (en) 2013-02-07 2021-04-21 Apple Inc. Voice trigger for a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
KR102179506B1 (ko) * 2013-12-23 2020-11-17 삼성전자 주식회사 전자장치 및 그 제어방법
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9886953B2 (en) * 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
CN107767880B (zh) * 2016-08-16 2021-04-16 杭州萤石网络有限公司 一种语音检测方法、摄像机和智能家居看护系统
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
KR102492727B1 (ko) 2017-12-04 2023-02-01 삼성전자주식회사 전자장치 및 그 제어방법
EP3496108A1 (en) * 2017-12-06 2019-06-12 Withings Apparatus, methods and computer programs for analysing heartbeat signals
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
CN108231079B (zh) * 2018-02-01 2021-12-07 北京百度网讯科技有限公司 用于控制电子设备的方法、装置、设备以及计算机可读存储介质
KR20190101865A (ko) * 2018-02-23 2019-09-02 삼성전자주식회사 세탁 기기 및 그의 제어 방법
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
CN108847224A (zh) * 2018-07-05 2018-11-20 广州势必可赢网络科技有限公司 一种声音墙画面显示方法及装置
US20200090821A1 (en) * 2018-09-17 2020-03-19 Vet24seven Inc. Veterinary Services Inquiry System
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
CN109688474A (zh) * 2018-12-28 2019-04-26 南京创维信息技术研究院有限公司 电视语音控制方法、装置和计算机可读存储介质
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
CN110265011B (zh) * 2019-06-10 2020-10-23 龙马智芯（珠海横琴）科技有限公司 一种电子设备的交互方法及其电子设备
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
KR20210125356A (ko) * 2020-04-08 2021-10-18 삼성전자주식회사 전자 장치 및 그 동작 방법
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
CN114108229B (zh) * 2020-08-28 2023-11-07 青岛海尔洗衣机有限公司 衣物处理装置的控制方法及服务器

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5774859A (en) * 1995-01-03 1998-06-30 Scientific-Atlanta, Inc. Information system having a speech interface
US6070140A (en) 1995-06-05 2000-05-30 Tran; Bao Q. Speech recognizer
JP3726448B2 (ja) 1997-03-12 2005-12-14 セイコーエプソン株式会社 認識対象音声検出方法およびその装置
US6046549A (en) 1997-09-29 2000-04-04 U.S. Energy, Inc. Energy saving lighting controller
KR20000026987A (ko) 1998-10-22 2000-05-15 구자홍 절전모드 제어장치 및 방법
JP2000315120A (ja) 1999-05-06 2000-11-14 Canon Inc 情報処理装置、情報処理方法、情報処理プログラムを格納した記憶媒体
US6397186B1 (en) 1999-12-22 2002-05-28 Ambush Interactive, Inc. Hands-free, voice-operated remote control transmitter
KR100385020B1 (ko) 2000-03-02 2003-05-22 삼성전자주식회사 리모트 컨트롤러로 구동되는 컴퓨터 시스템의 자동 암호확인 방법
KR20010094229A (ko) 2000-04-04 2001-10-31 이수성 전화기의 음성인식 조작 방법 및 시스템
JP3480923B2 (ja) 2000-07-26 2003-12-22 株式会社東芝 ネットワーク上の機器制御方法およびこの制御方法を用いる映像機器
EP1341380A1 (en) 2002-02-27 2003-09-03 Koninklijke Philips Electronics N.V. Power standby mode circuitry for audiovisual device
US20030216909A1 (en) 2002-05-14 2003-11-20 Davis Wallace K. Voice activity detection
JP2004289710A (ja) * 2003-03-25 2004-10-14 Toshiba Corp ハンズフリーシステムおよび携帯電話機
US7295199B2 (en) 2003-08-25 2007-11-13 Motorola Inc Matrix display having addressable display elements and methods
US7418392B1 (en) * 2003-09-25 2008-08-26 Sensory, Inc. System and method for controlling the operation of a device by voice commands
JP2005267099A (ja) 2004-03-17 2005-09-29 Ricoh Co Ltd ネットワーク制御装置、画像形成装置、画像形成システム、ネットワーク制御方法、コンピュータプログラム及び記録媒体
JP4444710B2 (ja) 2004-03-26 2010-03-31 キヤノン株式会社 画像処理装置、その制御方法、プログラムおよび記憶媒体
JP3846504B2 (ja) 2005-01-07 2006-11-15 オンキヨー株式会社 低消費電力装置
DE102005053531A1 (de) * 2005-11-08 2007-05-10 Man Turbo Ag Wärmedämmende Schutzschicht für ein Bauteil innerhalb des Heißgasbereiches einer Gasturbine
JP4736889B2 (ja) 2006-03-28 2011-07-27 富士通株式会社 情報処理システムおよび情報処理装置
JP2007296723A (ja) 2006-04-28 2007-11-15 Ricoh Co Ltd 電力切換え機能を持つ制御装置，画像形成装置および画像読取装置
TW200745803A (en) 2006-06-05 2007-12-16 Asustek Comp Inc Computer system controlled by remote control signal
JP4982304B2 (ja) 2007-09-04 2012-07-25 株式会社日立製作所 電源障害の発生を把握するストレージシステム
WO2009055819A1 (en) * 2007-10-26 2009-04-30 Honda Motor Co., Ltd. Improving free-speech command classification for car navigation system
US8339626B2 (en) 2009-09-08 2012-12-25 Samsung Electronics Co., Ltd. Image forming apparatus and controlling method thereof
CN102025383A (zh) 2009-09-10 2011-04-20 鸿富锦精密工业（深圳）有限公司 信号接收装置及信号接收方法
KR101688655B1 (ko) 2009-12-03 2016-12-21 엘지전자 주식회사 사용자의 프레전스 검출에 의한 제스쳐 인식 장치의 전력 제어 방법
KR101657565B1 (ko) 2010-04-21 2016-09-19 엘지전자 주식회사 증강 원격제어장치 및 그 동작 방법
US8736243B2 (en) 2009-12-19 2014-05-27 Lanery Mgmt. Limited Liability Company Control multiplexor for a switch mode power supply
KR20110080958A (ko) 2010-01-07 2011-07-13 삼성전자주식회사 비주얼 디스플레이 기기의 대기 전력을 공급하기 위한 대기전력 공급방법, 대기 전력 공급장치, 배터리 충전 방법 및 이를 적용한 비주얼 디스플레이 기기
JP5555032B2 (ja) 2010-04-06 2014-07-23 ヤマト包装技術研究所株式会社 梱包ユニット
JP5625458B2 (ja) 2010-04-12 2014-11-19 ブラザー工業株式会社 画像処理装置
US9921803B2 (en) * 2010-08-23 2018-03-20 Nokia Technologies Oy Audio user interface apparatus and method
TWI486024B (zh) 2010-11-25 2015-05-21 Realtek Semiconductor Corp 控制電路之省電機制與防止誤喚醒的機制及其方法
EP2527895B1 (en) * 2011-05-26 2013-12-04 CCS Technology, Inc. Fiber optic distribution device
US8452597B2 (en) 2011-09-30 2013-05-28 Google Inc. Systems and methods for continual speech recognition and detection in mobile computing devices
KR102003267B1 (ko) * 2011-12-30 2019-10-02 삼성전자주식회사 전자 장치 및 그의 제어 방법
EP2860726B1 (en) * 2011-12-30 2017-12-06 Samsung Electronics Co., Ltd Electronic apparatus and method of controlling electronic apparatus
EP2639793B1 (en) * 2012-03-15 2016-04-20 Samsung Electronics Co., Ltd Electronic device and method for controlling power using voice recognition
KR20130105219A (ko) * 2012-03-15 2013-09-25 삼성전자주식회사 음성 인식을 이용하여 전원을 제어하는 전자 장치 및 이의 전원 제어 방법
KR102117841B1 (ko) 2012-10-30 2020-06-02 삼성전자주식회사 전자장치 및 그 제어방법
US9959865B2 (en) * 2012-11-13 2018-05-01 Beijing Lenovo Software Ltd. Information processing method with voice recognition
CN103021411A (zh) 2012-11-27 2013-04-03 威盛电子股份有限公司 语音控制装置和语音控制方法
US9542933B2 (en) * 2013-03-08 2017-01-10 Analog Devices Global Microphone circuit assembly and system with speech recognition
CN105493180B (zh) * 2013-08-26 2019-08-30 三星电子株式会社 用于语音识别的电子装置和方法
US9245527B2 (en) * 2013-10-11 2016-01-26 Apple Inc. Speech recognition wake-up of a handheld portable electronic device
KR102179506B1 (ko) * 2013-12-23 2020-11-17 삼성전자 주식회사 전자장치 및 그 제어방법

Also Published As

Publication number Publication date
US20170330568A1 (en) 2017-11-16
WO2015099336A1 (en) 2015-07-02
US9830907B2 (en) 2017-11-28
EP3055992A4 (en) 2017-06-07
CN105850115A (zh) 2016-08-10
US20150179176A1 (en) 2015-06-25
CN105850115B (zh) 2019-10-18
EP3055992B1 (en) 2019-07-17
US10468023B2 (en) 2019-11-05
EP3055992A1 (en) 2016-08-17
KR20150073441A (ko) 2015-07-01

Similar Documents

Publication Publication Date Title
KR102179506B1 (ko) 전자장치 및 그 제어방법
JP6824316B2 (ja) 映像処理装置及びその制御方法、並びに映像処理システム
US11488591B1 (en) Altering audio to improve automatic speech recognition
KR102210433B1 (ko) 전자 장치 및 이의 음성 인식 방법
US9047857B1 (en) Voice commands for transitioning between device states
KR101309794B1 (ko) 디스플레이 장치, 디스플레이 장치의 제어 방법 및 대화형 시스템
RU2641480C2 (ru) Электронное устройство и способ его управления
US10261566B2 (en) Remote control apparatus and method for controlling power
US9466286B1 (en) Transitioning an electronic device between device states
KR102411619B1 (ko) 전자 장치 및 그 제어 방법
KR102622950B1 (ko) 디스플레이장치, 그 제어방법 및 기록매체
KR20140089863A (ko) 디스플레이 장치, 및 이의 제어 방법, 그리고 음성 인식 시스템의 디스플레이 장치 제어 방법
KR20140002417A (ko) 디스플레이 장치, 전자 장치, 대화형 시스템 및 이들의 제어 방법
CN112489413B (zh) 遥控器的控制方法及系统、存储介质、电子设备
KR102517219B1 (ko) 전자장치 및 그 제어방법
CN111385624B (zh) 一种基于语音的数据传输控制方法、智能电视及存储介质
KR102623998B1 (ko) 음성인식을 위한 전자장치 및 그 제어 방법
CN108922523B (zh) 位置提示方法、装置、存储介质及电子设备
KR20210078682A (ko) 전자장치 및 그 제어방법
KR102480728B1 (ko) 전자장치 및 그 제어방법
US10671136B1 (en) Detecting and recovering from device faults
JP2020061046A (ja) 音声操作装置、音声操作方法、コンピュータプログラムおよび音声操作システム
KR102089593B1 (ko) 디스플레이 장치, 및 이의 제어 방법, 그리고 음성 인식 시스템의 디스플레이 장치 제어 방법
KR102594683B1 (ko) 전자 장치 및 이의 음성 인식 방법
KR20140026220A (ko) 단말 장치 및 단말 장치의 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant