KR102188090B1 - 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템 - Google Patents

스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템 Download PDF

Info

Publication number
KR102188090B1
KR102188090B1 KR1020130153713A KR20130153713A KR102188090B1 KR 102188090 B1 KR102188090 B1 KR 102188090B1 KR 1020130153713 A KR1020130153713 A KR 1020130153713A KR 20130153713 A KR20130153713 A KR 20130153713A KR 102188090 B1 KR102188090 B1 KR 102188090B1
Authority
KR
South Korea
Prior art keywords
voice
unit
user
home appliance
smart home
Prior art date
Application number
KR1020130153713A
Other languages
English (en)
Other versions
KR20150068013A (ko
Inventor
이주완
김락용
신태동
서대근
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020130153713A priority Critical patent/KR102188090B1/ko
Priority to US15/103,528 priority patent/US10269344B2/en
Priority to EP14870553.6A priority patent/EP3080678A4/en
Priority to EP20187912.9A priority patent/EP3761309B1/en
Priority to CN201480072279.2A priority patent/CN105874405A/zh
Priority to PCT/KR2014/010536 priority patent/WO2015088141A1/en
Publication of KR20150068013A publication Critical patent/KR20150068013A/ko
Priority to US16/289,558 priority patent/US20190267004A1/en
Application granted granted Critical
Publication of KR102188090B1 publication Critical patent/KR102188090B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/027—Concept to speech synthesisers; Generation of natural phrases from machine-based concepts
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Quality & Reliability (AREA)
  • Child & Adolescent Psychology (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템에 관한 것이다.
본 발명의 실시예에 따른 스마트 가전제품에는, 음성이 수집되는 음성 입력부; 상기 음성 입력부를 통하여 수집된 음성에 대응하는 텍스트를 인식하는 음성 인식부; 사용자의 안면 또는 얼굴을 감지하기 위한 영상을 수집하는 촬상부; 상기 음성 인식부에서 인식된 텍스트와 설정기능을 매핑하여 저장한 메모리부; 및 상기 촬상부에서 수집된 영상 정보 및 상기 음성 입력부에서 수집된 음성 정보 중 적어도 하나의 정보에 기초하여, 음성인식 서비스의 수행여부를 결정하는 제어부가 포함된다.

Description

스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템 {A smart home appliance, a method for operating the same and a system for voice recognition using the same}
본 발명은 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템에 관한 것이다.
가전제품은 가정등에 구비되는 전기제품으로서 냉장고, 에어컨, 조리기기 및 청소기 등이 구비된다. 종래에는, 이러한 가전제품을 작동하게 위하여 가전제품에 다가가서 직접 조작하거나, 리모컨등을 이용하여 원격 조정하는 방법이 사용되었다.
그러나, 최근에는 통신기술의 발달로, 음성을 이용하여 가전제품의 작동을 위한 명령을 입력하고, 가전제품은 입력된 음성의 내용을 인식하여 구동되는 기술이 선보이고 있다.
도 1은 종래의 가전제품의 구성 및 그 작동방법이 도시된다.
종래의 가전제품(1)에는, 음성 인식부(2), 제어부(3), 메모리(4) 및 구동부(5)가 포함된다.
사용자가 특정 명령을 의미하는 음성을 발화하면, 상기 가전제품(1)은 발화된 음성을 수집하고 상기 음성 인식부(2)를 이용하여 수집된 음성을 해석하게 된다.
상기 수집된 음성의 해석 결과로서, 음성에 대응하는 텍스트(text)가 추출될 수 있으며, 상기 제어부(3)는 추출된 제 1 텍스트 정보와, 상기 메모리(4)에 저장된 제 2 텍스트 정보를 비교하여 텍스트의 매칭여부를 판단한다.
상기 제 1,2 텍스트 정보가 매칭되면, 상기 제어부(3)는 상기 제 2 텍스트 정보에 대응하는 가전제품의 소정 기능을 인식할 수 있다.
그리고, 상기 제어부(3)는 인식된 기능에 기초하여, 상기 구동부(5)를 동작시킬 수 있게 된다.
이러한 종래의 가전제품에 의하면, 주변에서 발생된 소음원이 음성으로 잘못 인식되거나, 사용자가 음성 인식을 위한 명령을 발화한 것이 아니라 단순히 가전제품의 근처에서 대화하는 경우에도 가전제품이 잘못 인식하여 오 동작하는 문제점이 있었다.
본 발명은 이러한 문제점을 해결하기 위하여 제안된 것으로서, 음성 인식률이 개선된 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템을 제공하는 것을 목적으로 한다.
본 발명의 실시예에 따른 스마트 가전제품에는, 음성이 수집되는 음성 입력부; 상기 음성 입력부를 통하여 수집된 음성에 대응하는 텍스트를 인식하는 음성 인식부; 사용자의 안면 또는 얼굴을 감지하기 위한 영상을 수집하는 촬상부; 상기 음성 인식부에서 인식된 텍스트와 설정기능을 매핑하여 저장한 메모리부; 및 상기 촬상부에서 수집된 영상 정보 및 상기 음성 입력부에서 수집된 음성 정보 중 적어도 하나의 정보에 기초하여, 음성인식 서비스의 수행여부를 결정하는 제어부가 포함된다.
또한, 상기 제어부에는, 상기 촬상부를 통하여 사용자의 안면 또는 얼굴에 관한 영상 정보를 설정시간 동안 이상 수집하면, 사용자가 음성입력을 위한 응시상태에 있는 것으로 인식하는 안면 감지부가 포함된다.
또한, 상기 제어부는, 상기 음성 입력부를 통하여 음성 중 키워드 정보가 포함된 것으로 인식되고, 상기 안면 감지부를 통하여 상기 응시상태에 있는 것으로 인식되면, 음성인식 서비스 활성화 상태에 돌입하는 것으로 결정한다.
또한, 상기 음성 입력부를 통하여 입력된 음성 중 노이즈 음을 제거하기 위한 필터부; 및 상기 음성 입력부를 통하여 입력된 음성 중, 상기 스마트 가전제품의 작동과 관련된 음성정보와, 상기 스마트 가전제품의 작동과 관련없는 음성정보를 미리 매핑하여 저장하는 메모리부가 더 포함된다.
다른 측면에 따른 스마트 가전제품의 작동방법에는, 음성 입력부를 통하여 음성이 수집되는 단계; 상기 수집된 음성 중 키워드 정보가 포함되는지 여부가 인식되는 단계; 스마트 가전제품에 구비되는 촬상부를 통하여 사용자의 안면 또는 얼굴에 관한 영상 정보가 수집되는 단계; 및 상기 사용자의 안면 또는 얼굴에 관한 영상 정보에 기초하여, 음성인식 서비스의 활성화 상태에 돌입되는 단계가 포함된다.
또한, 상기 사용자의 안면 또는 얼굴에 관한 영상 정보가 설정시간 이상 수집되면, 사용자가 음성입력을 위한 응시상태에 있는 것으로 인식되는 것을 특징으로 한다.
또한, 상기 음성 중 키워드 정보가 포함된 것으로 인식되고, 상기 사용자가 음성입력을 위한 응시상태에 있는 것으로 인식되면, 상기 음성인식 서비스의 활성화 상태에 돌입되는 것을 특징으로 한다.
또 다른 측면에 따른 스마트 가전제품을 이용한 음성인식 시스템에는, 음성이 수집되는 음성 입력부가 구비되는 모바일 장치; 상기 음성 입력부를 통하여 수집된 음성에 기초하여, 작동 제어되는 스마트 가전제품; 및 상기 모바일 장치와 스마트 가전제품에 각각 구비되는 통신모듈이 포함되며, 상기 모바일 장치에는, 상기 모바일 장치의 움직임을 감지하여, 상기 스마트 가전제품의 음성인식 서비스의 활성화 여부가 결정되도록 하는 움직임 감지부가 포함된다.
또한, 상기 움직임 감지부에는, 상기 모바일 장치의 기울어진 각도의 변화를 감지하는 가속도 센서 또는 자이로 센서가 포함되는 것을 특징으로 한다.
또한, 상기 음성 입력부는 모바일 장치의 하부에 배치되고, 사용자가 상기 모바일 장치를 파지한 상태에서 음성 입력을 위하여, 상기 음성 입력부를 사용자의 입쪽으로 갖다대면 상기 가속도 센서 또는 자이로 센서에서 감지된 각도값이 감소되는 것을 특징으로 한다.
또한, 상기 움직임 감지부에는, 상기 모바일 장치에 수집되는 외부 광(光)의 세기를 감지하는 조도 센서가 포함되는 것을 특징으로 한다.
또한, 사용자가 상기 모바일 장치를 파지한 상태에서 음성 입력을 위하여, 상기 음성 입력부를 사용자의 입쪽으로 갖다대면 상기 조도 센서에서 감지된 광의 세기 값이 증대되는 것을 특징으로 한다.
이러한 본 발명에 의하면, 사용자가 음성을 통하여 스마트 가전제품의 운전을 제어할 수 있으므로, 사용 편의성이 증대될 수 있다는 효과가 나타난다.
또한, 사용자의 안면 또는 모바일 장치를 조작하는 행위를 인식하고, 이를 통하여 사용자가 음성 명령을 발화할 의도가 있는지 여부를 파악함으로써, 음성 오인식을 방지할 수 있다는 장점이 있다.
도 1은 종래의 가전제품의 구성 및 그 작동방법을 보여주는 도면이다.
도 2는 본 발명의 제 1 실시예에 따른 스마트 가전제품의 일례로서 공기 조화기의 구성을 보여주는 도면이다.
도 3 및 도 4는 상기 공기 조화기의 구성을 보여주는 블럭도이다.
도 5는 본 발명의 제 1 실시예에 따른 스마트 가전제품의 제어방법을 보여주는 플로우 챠트이다.
도 6은 본 발명의 제 2 실시예에 따른 음성인식 시스템의 구성을 보여주는 개략도이다.
도 7은 본 발명의 제 2 실시예에 따른 음성인식 시스템의 구성을 보여주는 블럭도이다.
도 8은 본 발명의 제 2 실시예에 따른 스마트 가전제품의 제어방법을 보여주는 플로우 챠트이다.
도 9는 본 발명의 제 2 실시예에 따른 모바일 장치를 이용하여, 사용자가 음성인식을 시작하기 위한 행동을 수행하는 모습의 일례를 보여주는 도면이다.
이하에서는 도면을 참조하여, 본 발명의 구체적인 실시예를 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 실시예를 용이하게 제안할 수 있을 것이다.
도 2는 본 발명의 제 1 실시예에 따른 스마트 가전제품의 일례로서 공기 조화기의 구성을 보여주는 도면이고, 도 3 및 도 4는 상기 공기 조화기의 구성을 보여주는 블럭도이다.
이하에서는, 스마트 가전제품의 일례로서 공기 조화기를 예로 들어 설명하나, 공기 조화기 고유의 설정기능을 제외하고, 음성인식 또는 통신(정보 제공) 절차와 관련한 사상은 다른 스마트 가전제품, 일례로 청소기, 조리기기, 세탁기 또는 냉장고에도 적용될 수 있음을 미리 밝혀둔다.
도 2 내지 도 4를 참조하면, 본 발명의 제 1 실시예에 따른 공기 조화기(10)에는, 흡입부(22) 및 토출부(25,42)를 구비하며 외관을 형성하는 케이스(20)가 포함된다. 도 2에 도시된 공기 조화기(10)는 실내 공간에 설치되어 공기를 토출하는 실내기일 수 있다.
상기 흡입부(22)는 상기 케이스(20)의 후면에 형성될 수 있다. 그리고, 상기 토출부(25,42)에는, 상기 흡입부(22)를 통하여 흡입된 공기가 상기 케이스(20)의 전방 또는 측방으로 토출되도록 하는 메인 토출부(25) 및 하방으로 토출되도록 하는 하부 토출부(42)가 포함된다.
상기 메인 토출부(25)는 상기 케이스(20)의 양측에 형성되며, 토출 베인(26)에 의하여 그 개폐 정도가 조절될 수 있다. 상기 토출 베인(26)은 상기 메인 토출부(25)의 일측에 회전 가능하게 제공될 수 있다.
상기 하부 토출부(42)는 하부 토출베인(44)에 의하여 그 개폐 정도가 조절될 수 있다.
상기 케이스(20)의 상부에는, 상하 방향으로 이동 가능하게 제공되는 상부 토출장치(30)가 제공된다.
상기 공기 조화기(10)가 ON 되면 상기 상부 토출장치(30)는 상기 케이스(20)의 상단으로부터 상방으로 돌출되도록 이동되고, 상기 공기 조화기(10)가 OFF 되면 상기 상부 토출장치(30)는 하방으로 이동하여 상기 케이스(20)의 내부에 수용될 수 있다.
상기 상부 토출장치(30)의 전면에는 공기가 토출되는 상부 토출부(32)가 규정되며, 상기 상부 토출장치(30)의 내부에는 토출되는 공기의 유동방향을 조절할 수 있는 상부 토출베인(34)이 구비된다. 상기 상부 토출베인(34)은 회전 가능하게 제공될 수 있다.
상기 케이스(20)의 적어도 일측에는, 사용자의 음성이 입력될 수 있는 음성 입력부(110)가 구비된다. 일례로, 상기 음성 입력부(110)는 상기 케이스(20)의 좌측면 및 우측면에 구비될 수 있다.
상기 음성 입력부(110)는 음성을 수집할 수 있는 점에서 "음성 수집부"라 명명할 수도 있다. 상기 음성 입력부(110)에는, 마이크(micro-phone)이 포함될 수 있다.
상기 음성 입력부(110)는 상기 메인 토출부(25)로부터 토출되는 공기에 영향을 받지 않기 위하여, 상기 메인 토출부(25)의 후방에 배치될 수 있다.
상기 공기 조화기(10)에는, 상기 음성 입력부(110)를 통하여 입력된 음성 중 노이즈 음을 제거하기 위한 필터부(115)가 제공된다. 음성은 상기 필터부(115)를 거치면서 음성정보를 인식하기 용이한 음성주파수로 필터링 될 수 있다.
상기 공기 조화기(10)에는, 상기 필터부(115)를 거친 음성정보로부터 공기 조화기(10)의 작동을 위한 정보로 인식하는 제어부(120,150)가 포함된다.
상기 제어부(120,150)에는, 공기 조화기의 작동을 위하여 구동부(140)의 작동을 제어할 수 있는 메인 제어부(120) 및 상기 메인 제어부(120)와 통신 가능하게 연결되며, 상기 공기 조화기의 작동정보를 외부에 디스플레이 하기 위하여 출력부(160)를 제어할 수 있는 디스플레이 제어부(150)가 포함된다.
상기 구동부(140)에는, 압축기 또는 송풍팬등이 포함될 수 있다. 그리고, 상기 출력부(160)에는, 상기 공기 조화기(10)의 작동정보를 영상으로 표시하는 디스플레이부 및 음성으로 표시하는 음성 출력부가 포함된다. 상기 음성 출력부는 스피커일 수 있다.
상기 음성 출력부는 상기 케이스(20)의 일측면에 배치될 수 있으며, 상기 음성 입력부(110)와 구분되어 별도로 제공될 수 있다.
그리고, 상기 공기 조화기(10)에는, 상기 음성 입력부(110)를 통하여 입력된 음성 중, 상기 공기 조화기(10)의 작동과 관련된 음성정보와, 상기 공기 조화기(10)의 작동과 관련없는 음성정보를 미리 매핑하여 저장하는 메모리부(130)가 포함된다.
상기 메모리부(130)에는, 제 1 음성정보, 제 2 음성정보 및 제 3 음성정보가 저장된다. 상세히, 상기 메모리부(130)에는, 상기 제 1 내지 3 음성정보를 규정하는 주파수 정보가 저장될 수 있다.
상기 제 1 음성정보는 상기 공기 조화기(10)의 작동과 관련된 음성정보, 즉 키워드 정보로서 이해된다. 상기 제 1 음성정보가 입력된 것으로 인식되면, 입력된 제 1 음성정보에 대응하는 공기 조화기의 운전이 수행되거나, 정지될 수 있다. 상기 메모리부(130)에는, 상기 제 1 음성정보에 대응하는 텍스트 정보 및 상기 텍스트 정보에 대응하는 설정기능에 관한 정보가 저장될 수 있다.
일례로, 상기 제 1 음성정보가 공기 조화기의 ON에 대응하는 경우, 상기 제 1 음성정보가 인식되면 상기 공기 조화기(10)의 운전이 시작된다. 반면에, 상기 제 1 음성정보가 공기 조화기의 OFF에 대응하는 경우, 상기 제 1 음성정보가 인식되면 상기 공기 조화기(10)의 운전이 정지된다.
다른 예로서, 상기 제 1 음성정보가 공기 조화기의 일 운전모드, 즉 냉방, 난방, 송풍 또는 제습에 대응하는 경우, 상기 제 1 음성정보가 인식되면 해당 운전모드가 수행될 수 있다.
결국, 상기 메모리부(130)에는, 상기 제 1 음성정보 및 상기 제 1 음성정보에 대응하는 공기 조화기의 운전방식(온오프 여부, 운전모드)이 미리 매핑되어 있을 수 있다.
상기 제 2 음성정보는 상기 공기 조화기(10)의 작동과 관련한 제 1 음성정보와 유사한 주파수 정보를 가지고 있으나, 실질적으로 공기 조화기(10)의 작동과 관련한 음성정보로서 이해된다. 여기서, 상기 제 1 음성정보와 유사한 주파수 정보란 상기 제 1 음성정보와 설정범위 내의 주파수 차이를 보이는 주파수 정보라 이해될 수 있다.
상기 제 2 음성정보가 입력된 것으로 인식되면, 해당 음성정보는 노이즈 정보로서 필터링 될 수 있다. 즉, 상기 메인 제어부(120)는 상기 제 2 음성정보를 인식하여, 상기 공기 조화기의 작동을 수행하지 않을 수 있다.
상기 제 3 음성정보는 상기 공기 조화기(10)의 작동과 전혀 관련없는 음성정보로서 이해된다. 상기 제 3 음성정보는 상기 제 1 음성정보와 설정범위 외의 주파수 차이를 보이는 주파수 정보라 이해될 수 있다.
상기 제 2 음성정보와 제 3 음성정보는 공기 조화기의 작동과 관련없는 음성정보인 점에서, "미관련 정보"라 이름할 수 있을 것이다.
이와 같이, 스마트 가전제품에는 입력된 음성 중, 가전제품의 작동과 관련된 음성정보와, 가전제품의 작동과 관련없는 음성정보를 미리 매핑하여 저장될 수 있으므로, 음성인식이 효과적으로 이루어질 수 있다는 장점이 있다.
상기 공기 조화기(10)에는, 사용자의 얼굴 또는 안면을 촬상할 수 있는 "촬상부"로서의 카메라(50)가 포함된다. 일례로, 상기 카메라(50)는 상기 공기 조화기(10)의 전면부에 설치될 수 있다.
상기 공기 조화기(10)에는, 상기 카메라(50)를 통하여 촬상된 모습으로부터, 사용자가 음성 인식을 위하여 공기 조화기(10)를 바라보고 있는 것으로 인식하는 안면 감지부(180)가 더 포함된다. 상기 안면 감지부(180)는 상기 카메라(50)의 일 기능으로서 상기 카메라(50)의 내부에 설치되거나, 상기 케이스(20)의 내부에 별도로 설치될 수 있다.
상기 카메라(50)가, 사용자의 얼굴 또는 안면을 설정시간 이상동안 촬상하는 경우, 상기 안면 감지부(180)는 사용자가 음성 입력을 위하여 공기 조화기(10)를 바라보고 있는 것(응시상태)으로 인식할 수 있다.
상기 공기 조화기(10)에는, 상기 음성 입력부(110)를 통하여 수집된 음성으로부터 텍스트 정보를 추출하고, 추출된 텍스트 정보에 기초하여 상기 공기 조화기(10)의 설정기능을 인식하는 음성 인식부(170)가 더 포함된다.
상기 음성 인식부(170) 또는 안면 감지부(180)에서 인식된 정보는 상기 메인 제어부(120)로 전달될 수 있다. 상기 메인 제어부(120)는 상기 음성 인식부(170) 및 안면 감지부(180)에서 인식된 정보에 기초하여, 사용자가 음성 인식서비스를 이용하고자 하는 의도를 파악하여, 음성인식 활성화(stand by) 상태에 돌입할 수 있다.
도 4에서는, 음성 인식부(170), 안면 감지부(180) 및 메인 제어부(120)가 별도로 구성되는 것으로 설명되었으나, 상기 음성 인식부(170) 및 안면 감지부(180)는 상기 메인 제어부(120)의 일 구성요소로서 설치될 수 있다.
즉, 상기 음성 인식부(170)는 음성인식 기능을 수행하기 위한 메인 제어부(120)의 기능요소로서 이해되며, 상기 안면 감지부(180)는 안면감지 기능을 수행하기 위한 메인 제어부(120)의 기능요소로서 이해될 수 있다.
도 5는 본 발명의 제 1 실시예에 따른 스마트 가전제품의 제어방법을 보여주는 플로우 챠트이다.
도 5를 참조하면, 본 발명의 제 1 실시예에 따른 스마트 가전제품을 제어함에 있어서, 음성인식 서비스가 온(ON) 설정될 수 있다. 상기 음성인식 서비스라 함은, 음성명령을 입력하여 공기 조화기(10)의 작동을 제어하기 위한 서비스로서 이해된다.
일례로, 상기 음성인식 서비스를 온(ON) 설정하기 위하여, 소정의 입력부(미도시)를 조작할 수 있다. 물론, 사용자가 음성인식 서비스를 사용하고자 하지 않을 때에는, 상기 음성인식 서비스를 오프(OFF) 설정할 수 있다(S11).
그리고, 사용자는 소정의 음성명령을 발화한다(S12). 발화된 음성은 상기 음성 입력부(110)를 통하여 수집된다. 수집된 음성 중 음성인식을 활성화 하기 위한 키워드 정보가 포함되었는지 여부가 인식된다.
상기 키워드 정보는, 상기 메모리부(130)에 저장된 제 1 음성정보로서, 음성인식 서비스를 시작하기 위하여 사용자가 입력할 수 있는 정보로서 이해된다. 즉, 상기 음성인식 서비스가 온 설정되었더라도, 사용자가 현재시간 이후에 음성인식 서비스를 사용하겠다는 의지를 나타내기 위하여, 상기 키워드 정보를 입력할 수 있다.
일례로, 상기 키워드 정보에는, "에어컨 켜" 또는 "음성인식 시작"과 같은 미리 매핑된 정보가 포함될 수 있다. 이와 같이, 음성인식 서비를 이용하고자 하는 초기에, 상기 키워드 정보가 입력되도록 함으로써, 사용자가 주변의 소음 또는 대화를 최소화 할 수 있도록 준비할 수 있는 여유를 제공하게 된다.
상기 음성 입력부(110)를 통하여 입력된 음성 명령에 상기 키워드 정보가 포함된 것으로 인식된 경우에는, 사용자가 진정으로 음성 명령을 하기 위한 의도를 가졌는지 여부가 인식된다(S13,S14).
반면에, 상기 음성 명령에 상기 키워드 정보가 포함되지 않은 것으로 인식된 경우에는, 상기 공기 조화기(10)의 출력부(160)로부터 키워드 정보를 재입력 하라는 요청 메세지가 출력될 수 있다(S17).
사용자가 진정으로 음성 명령을 하기 위한 의도를 가졌는지 여부는, 상기 카메라(50)를 통하여 사용자의 안면 또는 얼굴이 설정시간 이상 감지되었는지 여부에 따라 결정될 수 있다. 일례로, 상기 설정시간은 2~3초 일 수 있다.
사용자가 상기 공기 조화기(10)의 전방에 서서, 상기 카메라(50)를 설정시간 동안 바라보는 경우, 상기 카메라(50)는 사용자의 안면 또는 얼굴을 촬상하여, 상기 안면 감지부(180)로 전송한다.
그리고, 상기 안면 감지부(180)는 사용자가 상기 카메라(50)를 설정시간 동안 응시하고 있는지 여부를 인식할 수 있으며, 사용자의 응시상태를 인식한 경우 상기 메인 제어부(120)는 사용자가 음성 명령을 하기 위한 의도를 가진 것으로 판별하여, 음성인식 활성화(stand by) 상태에 돌입할 수 있다.
상기 음성인식 활성화 상태에 돌입하면, 이후에 상기 공기 조화기(10)의 입력부(110)를 통하여 수집된 모든 음성정보에 대하여, 필터링 과정을 거친후 음성명령 여부를 인식하게 된다.
상기 음성인식 활성화(stand by) 상태의 종료는, 사용자가 음성인식 종료를 위한 키워드 정보를 음성으로 입력하거나, 별도의 입력부를 조작하는 것에 의하여 수행될 수 있다(S16).
이와 같이, 단순히 음성 입력에 따른 키워드 정보의 인식여부 뿐만 아니라, 카메라를 이용하여 사용자의 안면 또는 얼굴을 감지하여 음성인식 서비스의 활성화 여부를 판단할 수 있으므로, 음성 오인식의 문제를 방지할 수 있다는 장점이 있다.
도 5에서는 음성 키워드 정보인식 단계수행 후, 사용자의 안면 감지 단계를 수행하는 것으로 설명되었으나, 이와는 달리 상기 사용자의 안면 감지 단계를 수행한 이후, 음성 키워드 정보인식 단계를 수행하는 것으로 구성될 수도 있을 것이다.
다른 예로서, 도 5에서는 음성 키워드 정보인식 및 사용자의 안면 감지에 관한 2가지의 조건이 충족된 경우, 음성인식 활성화에 돌입되는 것으로 설명되었으나, 상기 음성 키워드 정보인식 및 사용자의 안면 감지 중 어느 하나의 조건이 충족된 경우에 상기 음성인식 활성화에 돌입하는 것으로 구성될 수도 있을 것이다.
이하에서는, 본 발명의 제 2 실시예에 대하여 설명한다. 본 실시예는 모바일 장치를 통하여 음성인식 서비스를 수행하는 점에서 제 1 실시예와 차이가 있으므로, 차이점을 위주로 설명하며 제 1 실시예와 동일한 부분에 대하여는 제 1 실시예의 설명과 도면부호를 원용한다.
도 6은 본 발명의 제 2 실시예에 따른 음성인식 시스템의 구성을 보여주는 개략도이다.
도 6을 참조하면, 본 발명의 제 2 실시예에 따른 음성인식 시스템에는, 사용자의 음성 입력이 가능한 모바일 장치(200) 및 상기 모바일 장치(200)에서 입력된 음성에 기초하여 작동 제어되는 공기 조화기(10)가 포함된다. 상기 공기 조화기(10)는 스마트 가전제품의 일례일 뿐, 본 실시예에 따른 사상은 다른 스마트 가전제품에도 적용 가능할 것이다.
상기 모바일 장치(200)에는, 스마트 폰, 리모컨, 탭 북등이 포함될 수 있다.
상기 모바일 장치(200)에는, 음성 입력이 가능한 음성 입력부(220), 조작이 가능한 입력부(210), 전면부에 구비되어 모바일 장치(200)의 작동상태에 관한 정보 또는 모바일 장치(200)에서 제공하는 정보가 표시되는 디스플레이부(260) 및 상기 모바일 장치(200)의 움직임을 감지하는 움직임 감지부(230)가 포함된다.
상기 음성 입력부(220)에는 마이크가 포함될 수 있다. 상기 음성 입력부(220)는 상기 모바일 장치(200)의 하부에 배치될 수 있다.
상기 입력부(210)에는 사용자의 누름 조작이 가능한 버튼 또는 터치 조작이 가능한 터치 패널이 포함될 수 있다.
그리고, 상기 움직임 감지부(230)에는, 가속도 센서 또는 자이로 센서(gyro sensor)가 포함될 수 있다. 상기 가속도 센서 또는 자이로 센서는 상기 모바일 장치(200)의 기울어진 각도, 일례로 지면에 대하여 기울어진 각도에 관한 정보를 감지할 수 있다.
일례로, 사용자가 모바일 장치(200)의 디스플레이부(260)를 응시하기 위하여 상기 모바일 장치(200)를 세우는 경우와, 사용자가 상기 음성 입력부(220)를 통하여 음성 명령을 입력하고자 할 때 상기 모바일 장치(200)를 눕히는 경우, 상기 가속도 센서 또는 자이로 센서는 상기 모바일 장치(200)의 세워진 정도에 따라 다른 각도값을 감지할 수 있다.
다른 예로서, 상기 움직임 감지부(230)에는, 조도 센서가 포함될 수 있다. 상기 조도 센서는 상기 모바일 장치(200)의 세워진 정도에 따라서 수집될 수 있는 외부 광(光)의 세기를 감지할 수 있다.
일례로, 사용자가 모바일 장치(200)의 디스플레이부(260)를 응시하기 위하여 상기 모바일 장치(200)를 세우는 경우와, 사용자가 상기 음성 입력부(220)를 통하여 음성 명령을 입력하고자 할 때 상기 모바일 장치(200)를 눕히는 경우, 상기 조도 센서는 상기 모바일 장치(200)의 디스플레이부(260)에 수집되는 광의 세기를 서로 다르게 감지할 수 있다.
상기 모바일 장치(200)에는, 상기 입력부(210), 음성 입력부(230), 디스플레이부(260) 및 움직임 감지부(230)에서 감지된 정보를 수신하여, 사용자의 음성 명령 입력의도 여부를 인식하는 제어부(250) 및 상기 공기 조화기(10)와 통신 가능하게 제공되는 통신모듈(270)이 더 포함된다.
상기 공기 조화기(10)의 통신모듈과 상기 모바일 장치(200)의 통신모듈(270)은 직접 통신할 수 있다. 즉, 와이파이 다이렉트(WiFi-Direct) 기술 또는 애드혹(Ad-Hoc) 모드(또는 네트워크)를 이용하여 무선 공유기를 거치지 않고 직접 통신이 가능하다.
상세히, 와이파이 다이렉트란, 공유기의 설치에 관계없이 802.11a,b,g,n 등의 통신 규격을 이용하여 빠른 속도로 통신할 수 있는 기술을 의미한다. 이 기술은, 인터넷 망이 없이도 무선으로 상기 공기 조화기(10)와 상기 모바일 장치(200)를 와이파이로 연결하게 해주는 통신 기술로서 이해된다.
애드혹 모드(또는 애드혹 네트워크)는, 고정된 유선망을 가지지 않고 이동 호스트(mobile host)로만 이루어져 통신되는 망으로서, 호스트의 이동에 제약이 없고 유선망과 기지국이 필요 없기 때문에, 빠른 망 구성이 가능하고 비용이 저렵하다. 즉, 상기 공유기가 없더라도 무선 통신을 가능하게 한다. 따라서, 애드혹 모드에서는, 상기 공유기가 없더라도 상기 공기 조화기(10)와 상기 모바일 장치(200)가 무선 통신이 가능하다.
블루투스 통신은 근거리 무선 통신 방법으로서, 상기 공기 조화기(10)의 통신모듈(제 1 블루투스 모듈)과 상기 모바일 장치(200)의 통신모듈(270, 제 2 블루투스 모듈) 간 페어링(pairing) 과정을 거치면 특정 범위 내에서 무선 통신이 가능하다.
또는, 상기 공기 조화기(10)와 모바일 장치(200)는 공유기(Access Point) 및 서버(미도시)를 통하여 통신하거나, 유선망을 통하여 통신할 수 있다.
상기 제어부(250)는 사용자의 음성명령 의도를 인식한 경우, 상기 통신모듈(270)을 통하여, 음성인식 서비스 활성화(stand by)상태에 돌입하였다는 정보를 상기 공기 조화기(10)에 송신할 수 있다.
도 8은 본 발명의 제 2 실시예에 따른 스마트 가전제품의 제어방법을 보여주는 플로우 챠트이고, 도 9는 본 발명의 제 2 실시예에 따른 모바일 장치를 이용하여, 사용자가 음성인식을 시작하기 위한 행동을 수행하는 모습의 일례를 보여주는 도면이다.
도 8을 참조하면, 본 발명의 제 2 실시예에 따른 스마트 가전제품을 제어함에 있어서, 음성인식 서비스가 온(ON) 설정될 수 있다(S21).
그리고, 사용자는 상기 입력부(210)의 조작을 통하여, 또는 상기 음성 입력부(220)를 통하여 음성인식 활성화 준비상태에 관한 명령을 입력 또는 발화할 수 있다.
상기 입력부(210)의 입력이 인식되거나, 상기 음성 입력부(220)를 통하여 수집된 음성 중에 음성인식 활성화를 위한 키워드 정보가 포함된 것으로 인식된 경우에는, "음성인식 활성화 준비상태"에 돌입한 것으로 판단된다.
상기 키워드 정보는, 제 1 실시예에서 설명한 바와 같이, 상기 메모리부(130)에 저장된 제 1 음성정보로서, 음성인식 서비스를 시작하기 위하여 사용자가 입력할 수 있는 정보로서 이해된다(S22,S23).
상기 "음성인식 활성화 준비상태"에 돌입한 것으로 인식된 경우에는, 사용자가 진정으로 음성 명령을 하기 위한 의도를 가졌는지 여부가 인식된다.
반면에, 상기 "음성인식 활성화 준비상태"에 돌입한 것으로 인식되지 않은 경우에는, S22 단계 이하의 과정이 다시 수행될 수 있다.
사용자가 진정으로 음성 명령을 하기 위한 의도를 가졌는지 여부는, 상기 움직임 감지부(230)에서의 감지값이 변화되었는지 여부에 기초하여, 결정될 수 있다.
예를 들어, 상기 움직임 감지부(230)에 가속도 센서 또는 자이로 센서가 포함되는 경우, 상기 가속도 센서 또는 자이로 센서에서 감지된 값에 변화가 발생하였는지 여부가 인식된다. 상기 변화는, 상기 모바일 장치(200)가 세워진 상태에서의 기울기 값(또는 범위)이, 눕혀진 상태에서의 기울기 값(또는 범위)으로 변경되었는지 여부에 따를 수 있다.
도 9에 도시된 바와 같이, 사용자가 상기 모바일 장치(200)를 파지한 상태에서 디스플레이부(260)를 응시하고 있을 때에는, 상기 모바일 장치(200)가 다소 세워진 상태에 있을 수 있다. 이 때, 상기 모바일 장치(200)가 지면에 대하여 이루는 각도는 α1일 수 있다.
반면에, 사용자가 상기 모바일 장치(200)를 파지한 상태에서, 상기 모바일 장치(200)의 하부에 위치한 음성 입력부(220)를 통하여 소정의 음성 명령을 입력하고자 할 때에는, 상기 모바일 장치(200)가 다소 눕혀진 상태에 있을 수 있다. 이 때, 상기 모바일 장치(200)가 지면에 대하여 이루는 각도는 α2일 수 있다.
그리고, 상기 α1 > α2일 수 있다. 상기 α1 및 α2에 관한 값은, 소정의 설정범위로 미리 결정되어 있을 수 있다.
상기 가속도 센서 또는 자이로 센서에서 감지된 값이, α1의 설정 범위에서 α2의 설정범위로 변경된 것으로 감지되면, 사용자가 상기 음성 입력부(220)를 사용자의 입 근처에 갖다댄 것으로 인식될 수 있다. 이 경우, 사용자가 음성 명령을 하기 위한 의도를 가진 것으로 인식된다.
다른 예로서, 상기 움직임 감지부(230)에 조도 센서가 포함되는 경우, 상기 조도 센서에서 감지된 값에 변화가 발생하였는지 여부가 인식된다. 상기 변화는, 상기 모바일 장치(200)가 세워진 상태에서 수집된 광의 세기(제 1 세기)가, 눕혀진 상태에서 수집된 광의 세기(제 2 세기)로 변경되었는지 여부에 따를 수 있다.
여기서, 상기 제 2 세기는 제 1 세기보다 크게 형성될 수 있다. 즉, 모바일 장치(200)가 세워졌을 때 외부로부터 수집되는 광의 세기보다 눕혀졌을 때 외부로부터 수집되는 광의 세기가 클 수 있다. 여기서, 상기 제 1 세기 및 제 2 세기에 관한 값은, 소정의 설정범위로 미리 결정되어 있을 수 있다.
상기 조도 센서에서 감지된 값이, 상기 제 1 세기의 설정 범위에서 상기 제 2 세기의 설정범위로 변경된 것으로 감지되면, 사용자가 상기 음성 입력부(220)를 사용자의 입 근처에 갖다댄 것으로 인식될 수 있다. 이 경우, 사용자가 음성 명령을 하기 위한 의도를 가진 것으로 인식된다.
이와 같은 방법에 의하여, 사용자가 음성 명령을 하기 위한 의도를 가진 것으로 인식되면, 음성인식 활성화 상태에 돌입할 수 있다. 상기 음성인식 활성화 상태에 돌입하면, 이후에 상기 공기 조화기(10)의 음성 입력부(220)를 통하여 수집된 모든 음성정보에 대하여, 필터링 과정을 거친후 음성명령 여부를 인식하게 된다.
상기 음성인식 활성화(stand by) 상태의 종료는, 사용자가 음성인식 종료를 위한 키워드 정보를 음성으로 입력하거나, 별도의 입력부를 조작하는 것에 의하여 수행될 수 있다(S26).
이와 같이, 단순히 음성 입력에 따른 키워드 정보의 인식여부 뿐만 아니라, 모바일 장치의 움직임을 감지하여 음성인식 서비스의 활성화 여부를 판단할 수 있으므로, 음성 오인식의 문제를 방지할 수 있다는 장점이 있다.
도 8에서는 사용자의 버튼(터치) 입력 또는 음성 입력단계 이후, 모바일 장치의 움직임 감지단계를 수행하는 것으로 설명되었으나, 이와는 달리 모바일 장치의 움직임 감지 단계를 수행한 이후, 사용자의 버튼(터치) 입력 또는 음성 입력단계를 수행하는 것으로 구성될 수도 있을 것이다.
다른 예로서, 도 8에서는 사용자의 버튼(터치) 입력 또는 음성 입력단계와, 모바일 장치의 움직임 감지단계에 관한 2가지의 조건이 충족된 경우, 음성인식 활성화에 돌입되는 것으로 설명되었으나, 상기 사용자의 버튼(터치) 입력 또는 음성 입력조건과, 모바일 장치의 움직임 감지조건 중 어느 하나의 조건이 충족된 경우에 상기 음성인식 활성화에 돌입하는 것으로 구성될 수도 있을 것이다.
10 : 공기 조화기 50 : 카메라
110 : 음성 입력부 115 : 필터부
120 : 메인 제어부 130 : 메모리부
140 : 구동부 150 : 디스플레이 제어부
160 : 출력부 170 : 음성 인식부
180 : 안면 감지부 200 : 모바일 장치
210 : 입력부 220 : 음성 입력부
230 : 움직임 감지부 250 : 제어부
260 : 디스플레이부 270 : 통신모듈

Claims (12)

  1. 음성이 수집되는 음성 입력부;
    상기 음성 입력부를 통하여 수집된 음성에 대응하는 텍스트를 인식하는 음성 인식부;
    사용자의 안면 또는 얼굴을 감지하기 위한 영상을 수집하는 촬상부;
    음성 인식 서비스를 시작하기 위해 사용자가 입력할 수 있는 키워드 정보를 저장하고, 상기 음성 인식부에서 인식된 텍스트와 설정기능을 매핑하여 저장한 메모리부; 및
    상기 촬상부에서 수집된 영상 정보 및 상기 음성 입력부에서 수집된 음성 정보 중 적어도 하나의 정보에 기초하여, 음성인식 서비스의 수행여부를 결정하는 제어부가 포함되고,
    상기 제어부에는,
    상기 촬상부를 통하여 사용자의 안면 또는 얼굴에 관한 영상 정보를 설정시간 동안 이상 수집하면, 사용자가 음성입력을 위한 응시상태에 있는 것으로 인식하는 안면 감지부가 포함되며,
    상기 제어부는,
    상기 음성 입력부를 통하여 입력된 음성 중 상기 키워드 정보가 포함된 것으로 인식되고, 상기 안면 감지부를 통하여 상기 응시상태에 있는 것으로 인식되면, 음성인식 서비스 활성화 상태에 돌입하는 것으로 결정하는 스마트 가전제품.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 음성 입력부를 통하여 입력된 음성 중 노이즈 음을 제거하기 위한 필터부; 및
    상기 음성 입력부를 통하여 입력된 음성 중, 상기 스마트 가전제품의 작동과 관련된 음성정보와, 상기 스마트 가전제품의 작동과 관련없는 음성정보를 미리 매핑하여 저장하는 메모리부가 더 포함되는 스마트 가전제품.
  5. 음성 입력부를 통하여 음성이 수집되는 단계;
    상기 수집된 음성 중 키워드 정보가 포함되는지 여부가 인식되는 단계;
    스마트 가전제품에 구비되는 촬상부를 통하여 사용자의 안면 또는 얼굴에 관한 영상 정보가 수집되는 단계; 및
    상기 사용자의 안면 또는 얼굴에 관한 영상 정보에 기초하여, 음성인식 서비스의 활성화 상태에 돌입되는 단계가 포함되고,
    상기 스마트 가전제품의 메모리부에는, 음성 인식 서비스를 시작하기 위해 사용자가 입력할 수 있는 키워드 정보가 저장되고,
    상기 사용자의 안면 또는 얼굴에 관한 영상 정보가 설정시간 이상 수집되면, 사용자가 음성입력을 위한 응시상태에 있는 것으로 인식되고,
    상기 수집된 음성 중 상기 키워드 정보가 포함된 것으로 인식되고, 상기 사용자가 음성입력을 위한 응시상태에 있는 것으로 인식되면, 상기 음성인식 서비스의 활성화 상태에 돌입되는 스마트 가전제품의 작동방법.
  6. 삭제
  7. 삭제
  8. 음성이 수집되는 음성 입력부가 구비되는 모바일 장치;
    상기 음성 입력부를 통하여 수집된 음성에 기초하여, 작동 제어되는 스마트 가전제품; 및
    상기 모바일 장치와 스마트 가전제품에 각각 구비되는 통신모듈이 포함되며,
    상기 모바일 장치에는,
    상기 모바일 장치의 움직임을 감지하여, 상기 스마트 가전제품의 음성인식 서비스의 활성화 여부가 결정되도록 하는 움직임 감지부가 포함되고,
    상기 움직임 감지부는,
    상기 음성 입력부를 통하여 입력된 음성 중 미리 저장된 키워드 정보가 포함된 것으로 인식되면, 상기 모바일 장치의 세워진 정도에 따라 감지되는 센서값에 기초하여 상기 스마트 가전제품의 음성인식 서비스의 활성화 여부가 결정되도록 하는 스마트 가전제품을 이용한 음성인식 시스템.
  9. 제 8 항에 있어서,
    상기 움직임 감지부에는,
    상기 모바일 장치의 기울어진 각도의 변화를 감지하는 가속도 센서 또는 자이로 센서가 포함되는 것을 특징으로 하는 스마트 가전제품을 이용한 음성인식 시스템.
  10. 제 9 항에 있어서,
    상기 음성 입력부는 모바일 장치의 하부에 배치되고,
    사용자가 상기 모바일 장치를 파지한 상태에서 음성 입력을 위하여, 상기 음성 입력부를 사용자의 입쪽으로 갖다대면 상기 가속도 센서 또는 자이로 센서에서 감지된 각도값이 감소되는 것을 특징으로 하는 스마트 가전제품을 이용한 음성인식 시스템.
  11. 제 8 항에 있어서,
    상기 움직임 감지부에는,
    상기 모바일 장치에 수집되는 외부 광(光)의 세기를 감지하는 조도 센서가 포함되는 것을 특징으로 하는 스마트 가전제품을 이용한 음성인식 시스템.
  12. 제 11 항에 있어서,
    사용자가 상기 모바일 장치를 파지한 상태에서 음성 입력을 위하여, 상기 음성 입력부를 사용자의 입쪽으로 갖다대면 상기 조도 센서에서 감지된 광의 세기 값이 증대되는 것을 특징으로 하는 스마트 가전제품을 이용한 음성인식 시스템.
KR1020130153713A 2013-12-11 2013-12-11 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템 KR102188090B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020130153713A KR102188090B1 (ko) 2013-12-11 2013-12-11 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템
US15/103,528 US10269344B2 (en) 2013-12-11 2014-11-04 Smart home appliances, operating method of thereof, and voice recognition system using the smart home appliances
EP14870553.6A EP3080678A4 (en) 2013-12-11 2014-11-04 Smart home appliances, operating method of thereof, and voice recognition system using the smart home appliances
EP20187912.9A EP3761309B1 (en) 2013-12-11 2014-11-04 Smart home appliances, operating method of thereof, and voice recognition system using the smart home appliances
CN201480072279.2A CN105874405A (zh) 2013-12-11 2014-11-04 智能家用电器、其操作方法及使用智能家用电器的语音识别系统
PCT/KR2014/010536 WO2015088141A1 (en) 2013-12-11 2014-11-04 Smart home appliances, operating method of thereof, and voice recognition system using the smart home appliances
US16/289,558 US20190267004A1 (en) 2013-12-11 2019-02-28 Smart home appliances, operating method of thereof, and voice recognition system using the smart home appliances

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130153713A KR102188090B1 (ko) 2013-12-11 2013-12-11 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템

Publications (2)

Publication Number Publication Date
KR20150068013A KR20150068013A (ko) 2015-06-19
KR102188090B1 true KR102188090B1 (ko) 2020-12-04

Family

ID=53371410

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130153713A KR102188090B1 (ko) 2013-12-11 2013-12-11 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템

Country Status (5)

Country Link
US (2) US10269344B2 (ko)
EP (2) EP3761309B1 (ko)
KR (1) KR102188090B1 (ko)
CN (1) CN105874405A (ko)
WO (1) WO2015088141A1 (ko)

Families Citing this family (145)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102559017B1 (ko) 2007-09-24 2023-07-25 애플 인크. 전자 장치 내의 내장형 인증 시스템들
US8600120B2 (en) 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US10410648B1 (en) * 2013-12-31 2019-09-10 Allscripts Software, Llc Moderating system response using stress content of voice command
DE102014107163A1 (de) 2014-05-21 2015-11-26 Vorwerk & Co. Interholding Gmbh Elektrisch betriebenes Haushaltsgerät
US10043185B2 (en) 2014-05-29 2018-08-07 Apple Inc. User interface for payments
CN104284486A (zh) * 2014-09-26 2015-01-14 生迪光电科技股份有限公司 智能照明装置、系统及智能照明控制方法
US20160162592A1 (en) * 2014-12-09 2016-06-09 Chian Chiu Li Systems And Methods For Performing Task Using Simple Code
US9984686B1 (en) * 2015-03-17 2018-05-29 Amazon Technologies, Inc. Mapping device capabilities to a predefined set
US10655951B1 (en) 2015-06-25 2020-05-19 Amazon Technologies, Inc. Determining relative positions of user devices
US10365620B1 (en) 2015-06-30 2019-07-30 Amazon Technologies, Inc. Interoperability of secondary-device hubs
DE102015009157A1 (de) * 2015-07-14 2017-01-19 Liebherr-Hausgeräte Ochsenhausen GmbH Kühl- und/oder Gefriergerät
WO2017039219A1 (ko) 2015-09-03 2017-03-09 삼성전자주식회사 냉장고
US10018977B2 (en) * 2015-10-05 2018-07-10 Savant Systems, Llc History-based key phrase suggestions for voice control of a home automation system
KR102453603B1 (ko) 2015-11-10 2022-10-12 삼성전자주식회사 전자 장치 및 그 제어 방법
US9946862B2 (en) * 2015-12-01 2018-04-17 Qualcomm Incorporated Electronic device generating notification based on context data in response to speech phrase from user
WO2017111234A1 (en) * 2015-12-23 2017-06-29 Samsung Electronics Co., Ltd. Method for electronic device to control object and electronic device
CN106982155A (zh) * 2016-01-18 2017-07-25 中兴通讯股份有限公司 一种语音指令处理方法、装置及智能网关
CN105872685A (zh) * 2016-03-24 2016-08-17 深圳市国华识别科技开发有限公司 智能终端控制方法和系统、智能终端
CN105974804A (zh) * 2016-05-09 2016-09-28 北京小米移动软件有限公司 控制设备的方法及装置
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
US10853761B1 (en) 2016-06-24 2020-12-01 Amazon Technologies, Inc. Speech-based inventory management system and method
US11315071B1 (en) * 2016-06-24 2022-04-26 Amazon Technologies, Inc. Speech-based storage tracking
CN105976817B (zh) * 2016-07-04 2020-03-20 佛山市顺德区美的电热电器制造有限公司 烹饪器具的语音控制方法、语音控制装置和烹饪器具
KR102193036B1 (ko) * 2016-07-05 2020-12-18 삼성전자주식회사 디스플레이장치, 디스플레이장치의 구동방법 및 컴퓨터 판독가능 기록매체
WO2018023516A1 (zh) * 2016-08-04 2018-02-08 易晓阳 一种语音交互识别控制方法
WO2018023512A1 (zh) * 2016-08-04 2018-02-08 易晓阳 一种多维识别家居控制方法
WO2018023517A1 (zh) * 2016-08-04 2018-02-08 易晓阳 一种语音交互识别控制系统
WO2018023518A1 (zh) * 2016-08-04 2018-02-08 易晓阳 一种语音交互识别智能终端
WO2018023514A1 (zh) * 2016-08-04 2018-02-08 易晓阳 一种家居背景音乐控制系统
WO2018023523A1 (zh) * 2016-08-04 2018-02-08 易晓阳 一种运动及情感识别家居控制系统
WO2018023515A1 (zh) * 2016-08-04 2018-02-08 易晓阳 一种手势及情感识别家居控制系统
WO2018023513A1 (zh) * 2016-08-04 2018-02-08 易晓阳 一种基于运动识别的家居控制方法
CN106200396A (zh) * 2016-08-05 2016-12-07 易晓阳 一种基于运动识别的家居控制方法
CN106228989A (zh) * 2016-08-05 2016-12-14 易晓阳 一种语音交互识别控制方法
CN106125566A (zh) * 2016-08-05 2016-11-16 易晓阳 一种家居背景音乐控制系统
CN106200395A (zh) * 2016-08-05 2016-12-07 易晓阳 一种多维识别家居控制方法
CN106297783A (zh) * 2016-08-05 2017-01-04 易晓阳 一种语音交互识别智能终端
CN106254186A (zh) * 2016-08-05 2016-12-21 易晓阳 一种语音交互识别控制系统
CN106125565A (zh) * 2016-08-05 2016-11-16 易晓阳 一种运动及情感识别家居控制系统
CN106019977A (zh) * 2016-08-05 2016-10-12 易晓阳 一种手势及情感识别家居控制系统
WO2018027506A1 (zh) * 2016-08-09 2018-02-15 曹鸿鹏 一种基于情感识别的灯光控制方法
CN107765838A (zh) * 2016-08-18 2018-03-06 北京北信源软件股份有限公司 人机交互辅助方法及装置
WO2018045303A1 (en) * 2016-09-02 2018-03-08 Bose Corporation Application-based messaging system using headphones
CN106354263A (zh) * 2016-09-09 2017-01-25 电子科技大学 基于面部特征追踪的实时人机交互系统及其工作方法
CN106354264A (zh) * 2016-09-09 2017-01-25 电子科技大学 基于视线追踪的实时人机交互系统及其工作方法
CN106448652A (zh) * 2016-09-12 2017-02-22 珠海格力电器股份有限公司 空调器的控制方法和装置
KR20180049787A (ko) * 2016-11-03 2018-05-11 삼성전자주식회사 전자 장치, 그의 제어 방법
WO2018084576A1 (en) * 2016-11-03 2018-05-11 Samsung Electronics Co., Ltd. Electronic device and controlling method thereof
US10783883B2 (en) * 2016-11-03 2020-09-22 Google Llc Focus session at a voice interface device
CN106776926A (zh) * 2016-12-01 2017-05-31 竹间智能科技（上海）有限公司 改善机器人对话时的应答能力的方法及系统
CN106895552A (zh) * 2017-02-14 2017-06-27 珠海格力电器股份有限公司 空调的控制方法、装置及系统
US10122854B2 (en) * 2017-02-18 2018-11-06 Motorola Mobility Llc Interactive voice response (IVR) using voice input for tactile input based on context
KR20180098079A (ko) * 2017-02-24 2018-09-03 삼성전자주식회사 비전 기반의 사물 인식 장치 및 그 제어 방법
JPWO2018158894A1 (ja) * 2017-03-01 2019-12-12 三菱電機株式会社 空調制御装置、空調制御方法及びプログラム
CN106782521A (zh) * 2017-03-22 2017-05-31 海南职业技术学院 一种语音识别系统
KR102363794B1 (ko) * 2017-03-31 2022-02-16 삼성전자주식회사 정보 제공 방법 및 이를 지원하는 전자 장치
CN107038462B (zh) * 2017-04-14 2020-12-15 广州机智云物联网科技有限公司 设备控制操作方法及系统
KR20180118471A (ko) * 2017-04-21 2018-10-31 엘지전자 주식회사 음성 인식 장치
KR20180118470A (ko) * 2017-04-21 2018-10-31 엘지전자 주식회사 음성 인식 장치 및 음성 인식 방법
CN107018611B (zh) * 2017-04-23 2020-04-24 湖北德龙自动化科技有限公司 一种基于语音识别和情感的智慧灯控制系统及控制方法
US10275651B2 (en) 2017-05-16 2019-04-30 Google Llc Resolving automated assistant requests that are based on image(s) and/or other sensor data
KR102112564B1 (ko) * 2017-05-19 2020-06-04 엘지전자 주식회사 홈 어플라이언스 및 그 동작 방법
KR102112565B1 (ko) * 2017-05-19 2020-05-19 엘지전자 주식회사 홈 어플라이언스 및 음성 인식 서버 시스템의 동작 방법
US10468020B2 (en) 2017-06-06 2019-11-05 Cypress Semiconductor Corporation Systems and methods for removing interference for audio pattern recognition
GB2563255B (en) * 2017-06-07 2022-12-28 Kenwood Ltd Kitchen appliance and system therefor
CN107403617A (zh) * 2017-06-26 2017-11-28 合肥美的智能科技有限公司 冰箱、语音控制方法、计算机设备、可读存储介质
KR102203720B1 (ko) * 2017-06-26 2021-01-15 에스케이텔레콤 주식회사 음성 인식 방법 및 장치
CN109215643B (zh) * 2017-07-05 2023-10-24 阿里巴巴集团控股有限公司 一种交互方法、电子设备及服务器
US11005993B2 (en) * 2017-07-14 2021-05-11 Google Llc Computational assistant extension device
EP3653945A4 (en) * 2017-07-14 2021-07-28 Daikin Industries, Ltd. AIR CONDITIONING, AIR CONDITIONING SYSTEM, COMMUNICATION SYSTEM, CONTROL SYSTEM, MACHINE CONTROL SYSTEM, MACHINE MANAGEMENT SYSTEM AND SOUND INFORMATION ANALYSIS SYSTEM
WO2019032996A1 (en) * 2017-08-10 2019-02-14 Facet Labs, Llc ORAL COMMUNICATION DEVICE AND COMPUTER ARCHITECTURE FOR PROCESSING DATA AND DELIVERING USER FEEDBACK OUTPUT, AND ASSOCIATED METHODS
CN107370649B (zh) * 2017-08-31 2020-09-11 广东美的制冷设备有限公司 家电控制方法、系统、控制终端、及存储介质
KR102143148B1 (ko) 2017-09-09 2020-08-10 애플 인크. 생체측정 인증의 구현
KR102185854B1 (ko) 2017-09-09 2020-12-02 애플 인크. 생체측정 인증의 구현
WO2019053864A1 (ja) * 2017-09-14 2019-03-21 株式会社ソシオネクスト 電子機器制御システム、音声出力装置及びそれらの方法
KR102455199B1 (ko) * 2017-10-27 2022-10-18 엘지전자 주식회사 인공지능 디바이스
US20190138095A1 (en) * 2017-11-03 2019-05-09 Qualcomm Incorporated Descriptive text-based input based on non-audible sensor data
WO2019118089A1 (en) 2017-12-11 2019-06-20 Analog Devices, Inc. Multi-modal far field user interfaces and vision-assisted audio processing
JP2019109567A (ja) * 2017-12-15 2019-07-04 オンキヨー株式会社 電子機器、及び、電子機器の制御プログラム
CN110033502B (zh) * 2018-01-10 2020-11-13 Oppo广东移动通信有限公司 视频制作方法、装置、存储介质及电子设备
CN108198553B (zh) * 2018-01-23 2021-08-06 北京百度网讯科技有限公司 语音交互方法、装置、设备和计算机可读存储介质
US10636416B2 (en) * 2018-02-06 2020-04-28 Wistron Neweb Corporation Smart network device and method thereof
JP7281683B2 (ja) * 2018-02-22 2023-05-26 パナソニックＩｐマネジメント株式会社 音声制御情報出力システム、音声制御情報出力方法およびプログラム
KR20190102509A (ko) * 2018-02-26 2019-09-04 삼성전자주식회사 음성 명령을 수행하는 방법 및 시스템
CN108600511A (zh) * 2018-03-22 2018-09-28 上海摩软通讯技术有限公司 智能语音助手设备的控制系统及方法
KR20190114321A (ko) * 2018-03-29 2019-10-10 삼성전자주식회사 전자 장치 및 그 제어 방법
CN108600911B (zh) * 2018-03-30 2021-05-18 联想(北京)有限公司 一种输出方法及电子设备
WO2019192869A1 (en) * 2018-04-02 2019-10-10 Signify Holding B.V. System and methods for augmenting voice commands using connected lighting systems
CN110377145B (zh) * 2018-04-13 2021-03-30 北京京东尚科信息技术有限公司 电子设备确定方法、系统、计算机系统和可读存储介质
KR102443052B1 (ko) * 2018-04-13 2022-09-14 삼성전자주식회사 공기 조화기 및 공기 조화기의 제어 방법
US10621983B2 (en) 2018-04-20 2020-04-14 Spotify Ab Systems and methods for enhancing responsiveness to utterances having detectable emotion
US10566010B2 (en) 2018-04-20 2020-02-18 Spotify Ab Systems and methods for enhancing responsiveness to utterances having detectable emotion
US10622007B2 (en) * 2018-04-20 2020-04-14 Spotify Ab Systems and methods for enhancing responsiveness to utterances having detectable emotion
KR102520069B1 (ko) 2018-05-07 2023-04-10 구글 엘엘씨 다양한 연결 디바이스를 제어하기 위한 복합 그래픽 어시스턴트 인터페이스 제공
KR102458336B1 (ko) * 2018-05-18 2022-10-25 삼성전자주식회사 공기 조화 장치 및 이의 제어 방법
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
CN108877334B (zh) * 2018-06-12 2021-03-12 广东小天才科技有限公司 一种语音搜题方法及电子设备
CN108927809A (zh) * 2018-06-21 2018-12-04 佛山市豪洋电子有限公司 一种家庭鞋子机器人
CN110719544A (zh) * 2018-07-11 2020-01-21 惠州迪芬尼声学科技股份有限公司 提供vui特定回应的方法及其应用在智能音箱
KR20200013162A (ko) 2018-07-19 2020-02-06 삼성전자주식회사 전자 장치 및 그의 제어 방법
CN108882454B (zh) * 2018-07-20 2023-09-22 佛山科学技术学院 一种基于情绪判断的智能语音识别交互照明方法及系统
CN108917113A (zh) * 2018-08-01 2018-11-30 珠海格力电器股份有限公司 辅助语音控制方法、装置以及空调
KR102635434B1 (ko) * 2018-08-07 2024-02-07 엘지전자 주식회사 인공지능을 이용하여 홈어플라이언스 및 클라우드 서버에서 수행되는 사고 예방 제어 방법
WO2020049687A1 (ja) * 2018-09-06 2020-03-12 日本電気株式会社 音声処理装置、音声処理方法、およびプログラム記録媒体
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
US10860096B2 (en) * 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
CN110968774B (zh) * 2018-09-29 2023-04-14 宁波方太厨具有限公司 基于语音识别的智能菜谱推荐方法
US10942637B2 (en) * 2018-10-09 2021-03-09 Midea Group Co., Ltd. Method and system for providing control user interfaces for home appliances
JP7242248B2 (ja) * 2018-10-31 2023-03-20 キヤノン株式会社 電子機器、その制御方法、およびそのプログラム
JP7202853B2 (ja) * 2018-11-08 2023-01-12 シャープ株式会社 冷蔵庫
JP7220058B2 (ja) * 2018-11-15 2023-02-09 東芝ライフスタイル株式会社 冷蔵庫の音声対話装置、および冷蔵庫
US11233671B2 (en) * 2018-11-28 2022-01-25 Motorola Mobility Llc Smart internet of things menus with cameras
CN109859751A (zh) * 2018-12-03 2019-06-07 珠海格力电器股份有限公司 一种控制设备及其执行指令的方法
CN109933782B (zh) * 2018-12-03 2023-11-28 创新先进技术有限公司 用户情绪预测方法和装置
US11393478B2 (en) * 2018-12-12 2022-07-19 Sonos, Inc. User specific context switching
KR102570384B1 (ko) * 2018-12-27 2023-08-25 삼성전자주식회사 가전기기 및 이의 음성 인식 방법
CN109599112B (zh) * 2019-01-02 2021-07-06 珠海格力电器股份有限公司 一种语音控制方法、装置、存储介质及空调
CN111490915A (zh) * 2019-01-29 2020-08-04 佛山市顺德区美的电热电器制造有限公司 语音控制智能家电的方法及其系统
CN109991867A (zh) * 2019-04-16 2019-07-09 彭雪海 一种具有面部识别的智能家居系统
JP7241601B2 (ja) * 2019-05-21 2023-03-17 リンナイ株式会社 加熱システム
WO2020241911A1 (ko) * 2019-05-28 2020-12-03 엘지전자 주식회사 Iot 기기 제어 장치 및 그 장치의 제어 방법
KR102323656B1 (ko) * 2019-06-04 2021-11-08 엘지전자 주식회사 홈 어플라이언스 제어 장치 및 방법, 홈 어플라이언스 및 홈 어플라이언스 동작 방법
CN112152667A (zh) * 2019-06-11 2020-12-29 华为技术有限公司 一种识别电器的方法及装置
DE102019134874A1 (de) * 2019-06-25 2020-12-31 Miele & Cie. Kg Verfahren zur Bedienung eines Geräts durch einen Benutzer mittels einer Sprachsteuerung
US10976432B2 (en) * 2019-06-28 2021-04-13 Synaptics Incorporated Acoustic locationing for smart environments
US11508375B2 (en) * 2019-07-03 2022-11-22 Samsung Electronics Co., Ltd. Electronic apparatus including control command identification tool generated by using a control command identified by voice recognition identifying a control command corresponding to a user voice and control method thereof
KR20190092332A (ko) 2019-07-19 2019-08-07 엘지전자 주식회사 스마트 조명 및 이의 동작방법
CN110491379B (zh) * 2019-07-22 2021-11-26 青岛海信日立空调系统有限公司 一种家用电器的语音控制方法、语音控制器和空调器
US11695809B2 (en) 2019-07-29 2023-07-04 Samsung Electronics Co., Ltd. System and method for registering device for voice assistant service
EP4027334A4 (en) * 2019-09-06 2023-08-16 LG Electronics Inc. INDICATOR
IT201900017000A1 (it) * 2019-09-23 2021-03-23 Candy Spa Metodo e sistema per controllare e/o comunicare con un elettrodomestico mediante comandi vocali e visualizzazioni testuali
KR102629796B1 (ko) * 2019-10-15 2024-01-26 삼성전자 주식회사 음성 인식의 향상을 지원하는 전자 장치
US11743070B2 (en) 2019-12-11 2023-08-29 At&T Intellectual Property I, L.P. Variable information communication
TWI732409B (zh) * 2020-01-02 2021-07-01 台灣松下電器股份有限公司 智慧家電操控方法
CN113154783A (zh) * 2020-01-22 2021-07-23 青岛海尔电冰箱有限公司 冰箱交互控制方法、冰箱、计算机可读存储介质
US11966964B2 (en) * 2020-01-31 2024-04-23 Walmart Apollo, Llc Voice-enabled recipe selection
KR20210147678A (ko) * 2020-05-29 2021-12-07 엘지전자 주식회사 인공 지능 장치
CN112180747A (zh) * 2020-09-28 2021-01-05 上海连尚网络科技有限公司 一种用于调节智能家居设备的方法与设备
CN112562662A (zh) * 2020-11-09 2021-03-26 金茂智慧科技(广州)有限公司 一种语义理解的智能家电控制设备
CN112712683B (zh) * 2020-12-14 2022-06-14 珠海格力电器股份有限公司 家电设备的控制方法、系统、遥控器和服务器
CN112667762B (zh) * 2020-12-25 2023-04-25 贵州北斗空间信息技术有限公司 一种零编程快速构建gis系统的方法
CN113793588A (zh) * 2021-09-15 2021-12-14 深圳创维－Rgb电子有限公司 智能语音提示方法、装置、设备及存储介质
CN114190823B (zh) * 2021-10-21 2023-05-09 湖南师范大学 一种智慧家用机器人及控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060192775A1 (en) * 2005-02-25 2006-08-31 Microsoft Corporation Using detected visual cues to change computer system operating states
JP2010055375A (ja) * 2008-08-28 2010-03-11 Toshiba Corp 電子機器操作指示装置およびその操作方法

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5226090A (en) * 1989-12-29 1993-07-06 Pioneer Electronic Corporation Voice-operated remote control system
DE69232407T2 (de) * 1991-11-18 2002-09-12 Toshiba Kawasaki Kk Sprach-Dialog-System zur Erleichterung von Rechner-Mensch-Wechselwirkung
JP3674990B2 (ja) * 1995-08-21 2005-07-27 セイコーエプソン株式会社 音声認識対話装置および音声認識対話処理方法
US6359270B1 (en) * 1998-09-04 2002-03-19 Ncr Corporation Communications module mounting for domestic appliance
JP4314680B2 (ja) * 1999-07-27 2009-08-19 ソニー株式会社 音声認識制御システム及び音声認識制御方法
JP4292646B2 (ja) * 1999-09-16 2009-07-08 株式会社デンソー ユーザインタフェース装置、ナビゲーションシステム、情報処理装置及び記録媒体
US6999932B1 (en) * 2000-10-10 2006-02-14 Intel Corporation Language independent voice-based search system
US6721706B1 (en) * 2000-10-30 2004-04-13 Koninklijke Philips Electronics N.V. Environment-responsive user interface/entertainment device that simulates personal interaction
US6922488B2 (en) 2001-02-16 2005-07-26 International Business Machines Corporation Method and system for providing application launch by identifying a user via a digital camera, utilizing an edge detection algorithm
GB0107689D0 (en) * 2001-03-28 2001-05-16 Ncr Int Inc Self service terminal
US7698228B2 (en) * 2001-04-27 2010-04-13 Accenture Llp Tracking purchases in a location-based services system
US8068881B2 (en) 2002-08-09 2011-11-29 Avon Associates, Inc. Voice controlled multimedia and communications system
US20040054534A1 (en) * 2002-09-13 2004-03-18 Junqua Jean-Claude Client-server voice customization
US7058578B2 (en) * 2002-09-24 2006-06-06 Rockwell Electronic Commerce Technologies, L.L.C. Media translator for transaction processing system
CN1174337C (zh) * 2002-10-17 2004-11-03 南开大学 识别人眼注视与否的方法和装置及其应用
GB0224806D0 (en) * 2002-10-24 2002-12-04 Ibm Method and apparatus for a interactive voice response system
DE102004001863A1 (de) * 2004-01-13 2005-08-11 Siemens Ag Verfahren und Vorrichtung zur Bearbeitung eines Sprachsignals
KR20050081470A (ko) * 2004-02-13 2005-08-19 주식회사 엑스텔테크놀러지 음성인식 가능한 메시지 녹음/재생방법
JP2006033795A (ja) * 2004-06-15 2006-02-02 Sanyo Electric Co Ltd リモートコントロールシステム、コントローラ、コンピュータにコントローラの機能を付与するプログラム、当該プログラムを格納した記憶媒体、およびサーバ。
US7672931B2 (en) * 2005-06-30 2010-03-02 Microsoft Corporation Searching for content using voice search queries
US8725518B2 (en) * 2006-04-25 2014-05-13 Nice Systems Ltd. Automatic speech analysis
US7523108B2 (en) * 2006-06-07 2009-04-21 Platformation, Inc. Methods and apparatus for searching with awareness of geography and languages
US7822606B2 (en) * 2006-07-14 2010-10-26 Qualcomm Incorporated Method and apparatus for generating audio information from received synthesis information
WO2008032329A2 (en) 2006-09-13 2008-03-20 Alon Atsmon Providing content responsive to multimedia signals
US8886521B2 (en) * 2007-05-17 2014-11-11 Redstart Systems, Inc. System and method of dictation for a speech recognition command system
US8688459B2 (en) * 2007-10-08 2014-04-01 The Regents Of The University Of California Voice-controlled clinical information dashboard
US8144939B2 (en) * 2007-11-08 2012-03-27 Sony Ericsson Mobile Communications Ab Automatic identifying
WO2009067676A1 (en) 2007-11-21 2009-05-28 Gesturetek, Inc. Device access control
KR20100026353A (ko) * 2008-08-29 2010-03-10 엘지전자 주식회사 공기조화기 및 그 제어방법
US20110110534A1 (en) * 2009-11-12 2011-05-12 Apple Inc. Adjustable voice output based on device status
CN101808047A (zh) * 2010-02-10 2010-08-18 深圳先进技术研究院 即时通讯伴侣机器人及具有通讯伴侣的即时通讯方法
US8417530B1 (en) * 2010-08-20 2013-04-09 Google Inc. Accent-influenced search results
KR101165537B1 (ko) * 2010-10-27 2012-07-16 삼성에스디에스 주식회사 사용자 장치 및 그의 사용자의 상황 인지 방법
TW201223231A (en) * 2010-11-26 2012-06-01 Hon Hai Prec Ind Co Ltd Handheld device and method for constructing user interface thereof
RU2455676C2 (ru) * 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
CN102867005A (zh) * 2011-07-06 2013-01-09 阿尔派株式会社 检索装置、检索方法以及车载导航装置
KR20130084543A (ko) * 2012-01-17 2013-07-25 삼성전자주식회사 사용자 인터페이스 제공 장치 및 방법
US20130212501A1 (en) * 2012-02-10 2013-08-15 Glen J. Anderson Perceptual computing with conversational agent
US9401140B1 (en) * 2012-08-22 2016-07-26 Amazon Technologies, Inc. Unsupervised acoustic model training
CN103024521B (zh) * 2012-12-27 2017-02-08 深圳Tcl新技术有限公司 节目筛选方法、系统及具有该系统的电视
US8571851B1 (en) * 2012-12-31 2013-10-29 Google Inc. Semantic interpretation using user gaze order
CN203132059U (zh) * 2013-02-17 2013-08-14 海尔集团公司 空调器控制系统
US9443527B1 (en) * 2013-09-27 2016-09-13 Amazon Technologies, Inc. Speech recognition capability generation and control
US9812126B2 (en) * 2014-11-28 2017-11-07 Microsoft Technology Licensing, Llc Device arbitration for listening devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060192775A1 (en) * 2005-02-25 2006-08-31 Microsoft Corporation Using detected visual cues to change computer system operating states
JP2010055375A (ja) * 2008-08-28 2010-03-11 Toshiba Corp 電子機器操作指示装置およびその操作方法

Also Published As

Publication number Publication date
WO2015088141A1 (en) 2015-06-18
CN105874405A (zh) 2016-08-17
KR20150068013A (ko) 2015-06-19
EP3761309B1 (en) 2024-05-08
US20190267004A1 (en) 2019-08-29
US20170004828A1 (en) 2017-01-05
US10269344B2 (en) 2019-04-23
EP3080678A4 (en) 2018-01-24
EP3080678A1 (en) 2016-10-19
EP3761309A1 (en) 2021-01-06

Similar Documents

Publication Publication Date Title
KR102188090B1 (ko) 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템
KR101800887B1 (ko) 네트워크 시스템
KR20140046098A (ko) 공기 조화기 및 그 제어방법
US20120169584A1 (en) Air conditioning apparatus and a method for controlling an air conditioning apparatus
KR20090115586A (ko) 공기조화기 및 그 동작방법
KR101924963B1 (ko) 홈 어플라이언스의 동작 방법
KR102373652B1 (ko) 인공지능 공기조화기의 동작 방법
KR20100026353A (ko) 공기조화기 및 그 제어방법
KR20180110979A (ko) 음성 서버, 음성 인식 서버 시스템 및 그 동작 방법
JP7204840B2 (ja) 空調制御装置、空調システム、空調制御方法及びプログラム
CN108375911B (zh) 一种设备控制方法、装置、存储介质及设备
KR20180110974A (ko) 음성 서버, 음성 인식 서버 시스템 및 그 동작 방법
KR20140065590A (ko) 공기조화기, 및 그 동작방법
KR101949363B1 (ko) 홈 어플라이언스 및 그 동작 방법
KR101965880B1 (ko) 음성 인식 방법
KR101708301B1 (ko) 로봇 청소기 및 원격 제어 시스템
KR20190069380A (ko) 음성 서버, 음성 인식 서버 시스템 및 그 동작 방법
KR102004523B1 (ko) 공기 조화기의 실내기 및 공기 조화 시스템
WO2020177168A1 (zh) 空调设备安防功能控制方法、装置及设备
CN111176594B (zh) 一种智能音箱的屏幕显示方法及智能音箱、存储介质
KR101936640B1 (ko) 홈 어플라이언스, 및 음성 인식 모듈
KR20090087365A (ko) 공기조화기 및 그 제어방법
US20220230637A1 (en) Method of controlling electronic devices
KR20180110973A (ko) 홈 어플라이언스 및 그 동작 방법
KR20150068012A (ko) 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right