KR20200063521A - 전자 장치 및 이의 제어 방법 - Google Patents

전자 장치 및 이의 제어 방법 Download PDF

Info

Publication number
KR20200063521A
KR20200063521A KR1020180149304A KR20180149304A KR20200063521A KR 20200063521 A KR20200063521 A KR 20200063521A KR 1020180149304 A KR1020180149304 A KR 1020180149304A KR 20180149304 A KR20180149304 A KR 20180149304A KR 20200063521 A KR20200063521 A KR 20200063521A
Authority
KR
South Korea
Prior art keywords
information
voice
similarity
spoken
related information
Prior art date
Application number
KR1020180149304A
Other languages
English (en)
Inventor
최찬희
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180149304A priority Critical patent/KR20200063521A/ko
Priority to EP19888741.6A priority patent/EP3850621A4/en
Priority to PCT/KR2019/095045 priority patent/WO2020111919A1/en
Priority to US16/697,934 priority patent/US11417327B2/en
Publication of KR20200063521A publication Critical patent/KR20200063521A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/065—Adaptation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/187—Phonemic context, e.g. pronunciation rules, phonotactical constraints or phoneme n-grams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G10L2015/0635—Training updating or merging of old and new templates; Mean values; Weighting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L2025/783—Detection of presence or absence of voice signals based on threshold decision

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Machine Translation (AREA)
  • Telephonic Communication Services (AREA)

Abstract

전자 장치가 개시된다. 전자 장치는 음성 인식 모드로 진입하기 위한 트리거 워드(trigger word)의 인식 관련 정보 및 오인식 관련 정보 저장된 스토리지 및 수신된 발화 음성의 특성 정보 및 인식 관련 정보에 기초하여 음성 인식 모드의 활성화 여부를 식별하고, 상기 수신된 발화 음성의 텍스트 정보 및 트리거 워드의 텍스트 정보 간 유사도를 식별하고, 음성 인식 모드의 활성화 여부 및 유사도에 기초하여 인식 관련 정보 또는 오인식 관련 정보 중 적어도 하나를 업데이트하는 프로세서를 포함한다.

Description

전자 장치 및 이의 제어 방법{ Electronic device and control method thereof }
본 발명은 전자 장치 및 이의 제어 방법에 관한 것으로, 더욱 상세하게는 음성 인식을 수행하는 전자 장치 및 이의 제어 방법에 관한 것이다.
최근, 다수의 전자 장치에 음성 인식 기능이 탑재되고 있다. 사용자는 지정된 트리거 워드(trigger word)를 발화하여 손쉽게 음성 인식 기능을 실행시킬 수 있다.
전자 장치는 사용자가 트리거 워드를 발화한 것으로 판단하면, 음성 인식 모드를 활성화하여 사용자의 음성 명령에 포함된 의도(intend)를 파악하여 대응되는 동작을 수행할 수 있다.
종래에는, 사용자가 트리거 워드를 발화하지 않았음에도 전자 장치의 주변 잡음 등을 트리거 워드로 오인식하여 음성 인식 모드를 활성화하는 경우가 있었다. 또한, 사용자가 트리거 워드를 발화하였음에도 주변 잡음으로 인해 전자 장치가 이를 인식하지 못하는 경우가 빈번하였다.
이에 따라, 사용자가 트리거 워드를 재발화하여야만 음성 인식 모드가 활성화되는 불편함이 존재하였다.
따라서, 전자 장치가 주변의 잡음에 상관없이 트리거 워드를 제대로 인식할 수 있도록 하는 기술에 대한 필요성이 대두되었다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은 사용자의 발화 음성에서 텍스트 정보를 획득하여 트리거 워드 인식율을 개선하는 전자 장치 및 이의 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 전자 장치는 음성 인식 모드로 진입하기 위한 트리거 워드(trigger word)의 인식 관련 정보 및 오인식 관련 정보 저장된 스토리지 및 수신된 발화 음성의 특성 정보 및 상기 인식 관련 정보에 기초하여 상기 음성 인식 모드의 활성화 여부를 식별하고, 상기 수신된 발화 음성의 텍스트 정보 및 상기 트리거 워드의 텍스트 정보 간 유사도를 식별하고, 상기 음성 인식 모드의 활성화 여부 및 상기 유사도에 기초하여 상기 인식 관련 정보 또는 상기 오인식 관련 정보 중 적어도 하나를 업데이트하는 프로세서를 포함한다.
여기서, 상기 프로세서는, 상기 음성 인식 모드가 활성화되고 상기 유사도가 제1 임계 값 미만이면, 상기 발화 음성의 특성 정보에 기초하여 상기 오인식 관련 정보를 업데이트할 수 있다.
여기서, 상기 프로세서는, 상기 전자 장치가 일반 모드에서 상기 음성 인식 모드로 변환되고 상기 유사도가 상기 제1 임계 값 미만이면, 상기 오인식 관련 정보를 업데이트할 수 있다.
또한, 상기 프로세서는, 상기 음성 인식 모드가 비활성화되고 상기 유사도가 제1 임계 값 이상이면, 상기 발화 음성의 특성 정보에 기초하여 상기 인식 관련 정보를 업데이트할 수 있다.
또한, 상기 프로세서는, 상기 발화 음성의 특성 정보 및 상기 인식 관련 정보 간 유사도가 제2 임계 값 이상이고, 상기 발화 음성의 특성 정보 및 상기 오인식 관련 정보 간 유사도가 제3 임계 값 미만이면, 상기 음성 인식 모드를 활성화할 수 있다.
여기서, 상기 트리거 워드의 인식 관련 정보는, 상기 트리거 워드의 발화 주파수, 발화 길이 정보 또는 발음열 정보 중 적어도 하나를 포함하고, 상기 트리거 워드의 오인식 관련 정보는, 상기 트리거 워드와 관련된 오인식 워드의 발화 주파수, 발화 길이 정보 또는 발음열 정보 중 적어도 하나를 포함하고, 상기 발화 음성의 특성 정보는, 상기 발화 음성의 발화 주파수, 발화 길이 정보 또는 발음열 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 프로세서는, 상기 발화 음성의 텍스트 정보에 포함된 문자(character)의 개수 및 상기 트리거 워드의 텍스트 정보에 포함된 문자의 개수 간 유사도, 또는 상기 발화 음성의 텍스트 정보 중 첫 문자 및 마지막 문자와 상기 트리거 워드의 텍스트 정보에 포함된 첫 문자 및 마지막 문자 간 유사도중 적어도 하나에 기초하여 상기 유사도를 획득할 수 있다.
또한, 상기 프로세서는, 상기 발화 음성을 상기 스토리지에 저장하고, 상기 스토리지에 복수의 발화 음성이 저장되면, 상기 저장된 복수의 발화 음성 각각에 대응되는 텍스트 정보를 획득하고, 상기 발화 음성 각각에 대응되는 텍스트 정보 및 상기 트리거 워드의 텍스트 정보 간 유사도를 획득할 수 있다.
또한, 상기 전자 장치는 디스플레이를 포함하고, 상기 프로세서는, 상기 복수의 발화 음성에 대응되는 복수의 음성 파일 리스트를 상기 디스플레이를 통해 제공하고, 상기 복수의 음성 파일 중 하나에 대한 선택 명령이 수신되면, 상기 선택된 음성 파일에 대응되는 발화 음성에 기초하여 상기 오인식 관련 정보를 업데이트할 수 있다.
한편, 본 개시의 일 실시 예에 따른 음성 인식 모드로 진입하기 위한 트리거 워드(trigger word)의 인식 관련 정보 및 오인식 관련 정보가 저장된 전자 장치의 제어 방법은, 사용자의 발화 음성이 수신되면, 상기 발화 음성의 특성 정보 및 상기 인식 관련 정보에 기초하여 상기 음성 인식 모드의 활성화 여부를 식별하는 단계, 상기 발화 음성의 텍스트 정보 및 상기 트리거 워드의 텍스트 정보 간 유사도를 식별하는 단계 및 상기 음성 인식 모드의 활성화 여부 및 상기 유사도에 기초하여 상기 인식 관련 정보 또는 상기 오인식 관련 정보 중 적어도 하나를 업데이트 하는 단계를 포함한다.
여기서, 상기 업데이트하는 단계는, 상기 음성 인식 모드가 활성화되고 상기 유사도가 제1 임계 값 미만이면, 상기 발화 음성의 특성 정보에 기초하여 상기 오인식 관련 정보를 업데이트하는 단계를 포함할 수 있다.
여기서, 상기 업데이트하는 단계는, 상기 전자 장치가 일반 모드에서 상기 음성 인식 모드로 변환되고 상기 유사도가 상기 제1 임계 값 미만이면, 상기 오인식 관련 정보를 업데이트할 수 있다.
또한, 상기 업데이트하는 단계는, 상기 음성 인식 모드가 비활성화되고 상기 유사도가 제1 임계 값 이상이면, 상기 발화 음성의 특성 정보에 기초하여 상기 인식 관련 정보를 업데이트하는 단계를 포함할 수 있다.
또한, 상기 음성 인식 모드의 활성화 여부를 식별하는 단계는, 상기 발화 음성의 특성 정보 및 상기 인식 관련 정보 간 유사도가 제2 임계 값 이상이고, 상기 발화 음성의 특성 정보 및 상기 오인식 관련 정보 간 유사도가 제3 임계 값 미만이면, 상기 음성 인식 모드를 활성화하는 단계를 포함할 수 있다.
한편, 상기 트리거 워드의 인식 관련 정보는, 상기 트리거 워드의 발화 주파수, 발화 길이 정보 또는 발음열 정보 중 적어도 하나를 포함하고, 상기 트리거 워드의 오인식 관련 정보는, 상기 트리거 워드와 관련된 오인식 워드의 발화 주파수, 발화 길이 정보 또는 발음열 정보 중 적어도 하나를 포함하고, 상기 발화 음성의 특성 정보는, 상기 발화 음성의 발화 주파수, 발화 길이 정보 또는 발음열 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 제2 유사도를 식별하는 단계는, 상기 발화 음성의 텍스트 정보에 포함된 문자(character)의 개수 및 상기 트리거 워드의 텍스트 정보에 포함된 문자의 개수 간 유사도, 또는 상기 발화 음성의 텍스트 정보 중 첫 문자 및 마지막 문자와 상기 트리거 워드의 텍스트 정보에 포함된 첫 문자 및 마지막 문자 간 유사도중 적어도 하나에 기초하여 상기 유사도를 획득하는 단계를 포함할 수 있다.
또한, 상기 발화 음성을 스토리지에 저장하는 단계를 포함하고, 상기 유사도를 식별하는 단계는, 상기 스토리지에 복수의 발화 음성이 저장되면, 상기 저장된 복수의 발화 음성 각각에 대응되는 텍스트 정보를 획득하고, 상기 발화 음성 각각에 대응되는 텍스트 정보 및 상기 트리거 워드의 텍스트 정보 간 유사도를 획득하는 단계를 포함할 수 있다.
또한, 상기 복수의 발화 음성에 대응되는 복수의 음성 파일 리스트를 제공하는 단계 및 상기 복수의 음성 파일 중 하나에 대한 선택 명령이 수신되면, 상기 선택된 음성 파일에 대응되는 발화 음성에 기초하여 상기 오인식 관련 정보를 업데이트하는 단계를 포함할 수 있다.
한편, 본 개시의 일 실시 예에 따른 전자 장치의 프로세서에 의해 실행되는 경우 상기 전자 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 상기 동작은, 사용자의 발화 음성이 수신되면, 상기 발화 음성의 특성 정보 및 트리거 워드(trigger word)의 인식 관련 정보에 기초하여 음성 인식 모드의 활성화 여부를 식별하는 단계, 상기 발화 음성의 텍스트 정보 및 상기 트리거 워드의 텍스트 정보 간 유사도를 식별하는 단계 및 상기 음성 인식 모드의 활성화 여부 및 상기 유사도에 기초하여 상기 인식 관련 정보 또는 오인식 관련 정보 중 적어도 하나를 업데이트 하는 단계를 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 전자 장치는 주변 환경의 소음, 사용자의 발화 특성 등을 고려하여 트리거 워드 발화 여부를 인식할 수 있고, 트리거 워드의 오인식율이 감소하여 사용자의 의도에 따라 음성 인식 모드가 활성화 또는 비활성화될 수 있다.
도 1은 본 개시의 일 실시 예에 따른 음성 인식 모드를 활성화하는 동작을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 도시한 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 세부 구성을 나타내는 블록도이다.
도 4는 본 개시의 일 실시 예에 따른 음성 인식 모드를 활성화하는 동작을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 음성 인식 모드를 비활성화하는 동작을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 음성 파일 리스트를 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 발화 음성을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 9는 본 개시의 일 실시 예에 따른 인식 또는 오인식 관련 정보를 업데이트하는 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
본 명세서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시예를 보다 상세하게 설명한다.
도 1은 본 개시의 일 실시 예에 따른 음성 인식 모드를 활성화하는 동작을 설명하기 위한 도면이다.
도 1을 참조하면, 전자 장치(100)는 사용자의 발화 음성(10)에 따라 음성 인식 모드로 진입할 수 있다.
도 1에서는 전자 장치(100)가 TV로 도시되었으나, 이는 일 실시 예에 불과할 뿐 전자 장치(100)는 다양한 형태로 구현될 수 있다. 본 명세서의 다양한 실시 예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 사용자의 발화 음성(10)을 수신할 수 있다. 예를 들어, 전자 장치(100)는 마이크(미도시)를 구비하고, 마이크를 통해 사용자의 발화 음성(10)을 수신할 수 있다. 다른 예로, 전자 장치(100)는 마이크가 구비된 원격 제어 장치(미도시) 또는 외부 전자 장치(미도시)로부터 발화 음성(10)을 수신할 수도 있다. 전자 장치(100)는 수신된 발화 음성(10)에 기초하여 음성 인식 모드를 활성화할 수 있다. 여기서, 음성 인식 모드는 전자 장치(100)가 사용자의 발화 음성(10)을 인식하고, 이에 대응하는 기능을 수행하는 모드이다. 예를 들어, 전자 장치(100)는 사용자의 발화 음성(10)으로부터 획득한 특정 키워드에 대응되는 기능을 수행할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 사용자의 발화 음성(10)이 기 설정된 단어인지 여부를 식별할 수 있다. 여기서, 기 설정된 단어는 음성 인식 모드를 활성화하는 기 설정된 세네음절 길이의 단어일 수 있다. 도 1의 (a)를 참조하면, 전자 장치(100)가 사용자의 발화 음성(10) ‘Hi Samsung’을 수신한 경우를 상정할 수 있다. 도 1의 (b)에 도시된 바와 같이, 전자 장치(100)는 ‘Hi Samsung’이 기 설정된 단어에 대응하는 것으로 식별되면, 음성 인식 모드를 활성화할 수 있다. 여기서, 음성 인식 모드의 활성화라 함은 사용자의 발화 음성을 인식할 수 있는 모드(예를 들어, 음성 인식과 관련된 구성요소가 스탠 바이 모드에서 노멀 모드로 전입하는 상태, 음성 인식과 관련된 구성요소에 전원이 공급되는 상태 등)로 진입하는 것을 의미할 수 있다. 일 예에 따라 일반 모드에서 음성 인식 모드로 스위칭되는 경우를 포함할 수 있다.
일 예에 따라 음성 인식 모드에서는 일반 모드에서 사용자에게 제공 중에 있던 컨텐츠를 일 영역에 표시하고, 나머지 영역에 음성 인식 모드로 전환되었음을 나타내는 UI를 디스플레이 할 수 있다. 한편, 이는 일 실시 예로서, 이에 한정되는 것은 아니다. 다른 예로, 전자 장치(100)는 사운드(예를 들어, 비프음) 등을 통해 음성 인식 모드가 활성화(또는, 일반 모드에서 음성 인식 모드로 전환)되었음을 사용자에게 노티할 수 있다. 이하에서는, 설명의 편의를 위해 음성 인식 모드의 활성화가 전자 장치(100)의 일반 모드에서 음성 인식 모드로 전환(또는, 스위칭(switching))된 경우를 포함하는 경우로 상정하도록 한다.
다른 예로, 전자 장치(100)는 사용자의 발화 음성(10) ‘Hi Samsung’이 기 설정된 단어에 대응하지 않는 것으로 식별되면, 음성 인식 모드를 비활성화할 수 있다.
한편, 기 설정된 단어는 트리거 워드(trigger word), 웨이크업 워드(wakeup word) 등으로 불릴 수 있다. 이하에서는 설명의 편의를 위해 웨이크업 워드로 통칭하도록 한다. 웨이크업 워드는 전자 장치(100)의 제조 단계에서 기 설정될 수도 있고, 사용자의 설정에 따라 추가, 삭제 등의 편집이 가능함은 물론이다. 다른 예로, 웨이크업 워드는 펌웨어 업데이트 등을 통해 변경, 추가될 수도 있다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 도시한 블록도이다.
도 2를 참조하면, 전자 장치(100)는 스토리지(110) 및 프로세서(120)를 포함한다.
스토리지(110)는 전자 장치(100)를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 각종 멀티미디어 콘텐츠와 같은 다양한 데이터를 저장한다.
특히, 스토리지(110)는 음성 인식 모드로 진입하기 위한 웨이크업 워드의 인식 관련 정보 및 오인식 관련 정보를 저장할 수 있다.
웨이크업 워드의 인식 관련 정보는 음성 인식 모드를 활성화시키는 웨이크업 워드의 발화 주파수, 발화 길이 정보 또는 발음열 정보 중 적어도 하나를 포함할 수 있다. 여기서, 발화 주파수는 사람의 웨이크업 워드 발화 시 주파수 변화률, 진폭 변화률 등에 대한 정보를 포함할 수 있다. 사람의 입, 성대, 목구멍 등의 구조, 나이, 성별, 인종 등에 따라 웨이크업 워드의 발화 주파수는 다양할 수 있다. 본 개시의 일 실시 예에 따른 인식 관련 정보는 복수의 발화 주파수를 포함할 수 있다. 여기서, 발화 주파수는 발성 주파수 등으로 불릴 수 있으나, 이하에서는 설명의 편의를 위해 발화 주파수로 통칭하도록 한다.
웨이크업 워드의 발화 길이 정보는 사람의 웨이크업 워드 발화 시 평균 발화 길이, 최단(lower) 내지 최장(upper) 발화 길이 등을 포함할 수 있다.
웨이크업 워드의 발음열 정보는 사람의 웨이크업 워드 발화 시의 발음을 표기한 것일 수 있다. 예를 들어, 웨이크업 워드 ‘Hi TV’는 사람에 따라 다양하게 발음되기 때문에 발음열 정보는 복수의 발음열을 포함할 수 있다.
본 개시의 일 실시 예에 따른 오인식 관련 정보는 웨이크업 워드와 관련된 오인식 워드의 발화 주파수, 발화 길이 정보 또는 발음열 정보 중 적어도 하나를 포함할 수 있다.
여기서, 웨이크업 워드와 관련된 오인식 워드는 웨이크업 워드는 아니나, 음성 잡음 및 비음성 잡음을 통해 학습한 결과에 따라 전자 장치(100)가 웨이크업 워드로 오인식할 수 있는 다양한 워드를 의미할 수 있다. 여기서, 웨이크업 워드와 관련된 오인식 워드는 반드시 언어적인 의미를 가지는 단어에 한정되지 않는다.
일 예로, 본 개시의 일 실시 예에 따른 스토리지(110)는 다양한 형태의 잡음을 수집하고, 수집된 잡음에 기초하여 학습(Training)된 오인식 관련 정보를 포함할 수 있다. 예를 들어, 전자 장치(100)는 음성 잡음 및 비음성 잡음을 수집하고, 수집된 잡음을 가우시안 믹스처 모델(Gaussian Mixture Model, GMM)을 통해 학습하여 획득된 오인식 관련 정보를 포함할 수 있다. 여기서, 음성 잡음은 언어적으로 의미 있는 의사전달 단위가 아닌, 사람이 내는 소리를 의미할 수 있다. 예를 들어, 재채기, 트림, 숨소리, 코고는 소리, 웃음소리, 울음소리, 감탄사, 외국인에 의해 발성된 외국어 등이 음성 잡음에 포함될 수 있다. 비음성 잡음은 사람이 내는 음성을 제외한 모든 종류의 잡음을 의미할 수 있다. 예를 들어, 가정 및 사무실에서 발생하는 잡음, 채널 잡음, 배경 잡음, 음악 소리, 전화 벨소리 등이 비음성 잡음에 포함될 수 있다.
음성 및 비음성 잡음이 웨이크업 워드가 아님에도 불구하고, 전자 장치(100)에 의해 웨이크업 워드로 인식되고 음성 인식 모드로 진입되는 경우가 종종 있다. 이를 방지하기 위해 음성 및 비음성 잡음에 기초하여 기계 학습(Machine training)된 오인식 관련 정보가 스토리지(110)에 저장될 수 있다.
본 개시의 일 실시 예에 따른 웨이크업 워드와 관련된 오인식 워드의 발화 주파수는 학습 결과에 따라 웨이크업 워드는 아니나, 전자 장치(100)에서 웨이크업 워드로 인식되는 것으로 식별된 워드의 발화 시 주파수 변화률, 진폭 변화률 등에 대한 정보를 포함할 수 있다. 오인식 워드가 잡음이면, 발화 주파수는 잡음의 주파수 변화률, 진폭 변화률 등에 대한 정보를 포함할 수 있다.
오인식 워드의 발화 길이 정보는 사람의 오인식 워드 발화 시 평균 발화 길이, 최단(lower) 내지 최장(upper) 발화 길이 등을 포함할 수 있다. 오인식 워드가 잡음이면, 발화 길이 정보는 잡음의 길이를 포함할 수 있다.
오인식 워드의 발음열 정보는 사람의 오인식 워드 발화 시의 발음을 표기한 것일 수 있다. 예를 들어, 웨이크업 워드가 ‘Hi Bixby’이고, 웨이크업 워드와 관련된 오인식 워드가 ‘Hi Bibi’인 경우를 상정할 수 있다. 발음열 정보는 사람에 따라 다양하게 발음되는 ‘Hi Bibi’의 발음열을 포함할 수 있다.
한편, 오인식 관련 정보는 가비지 모델(Garbage Model) 등으로 불릴 수도 있으나, 이하에서는 설명의 편의를 위해 오인식 관련 정보로 통칭하도록 한다.
프로세서(120)는 전자 장치(100)의 전반적인 동작을 제어한다.
프로세서(120)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), GPU(graphics-processing unit) 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(120)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 프로세서(120)는 스토리지(110)에 저장된 컴퓨터 실행가능 명령어(computer executable instructions)를 실행함으로써 다양한 기능을 수행할 수 있다.
특히, 프로세서(120)는 사용자의 발화 음성(10)이 수신되면, 발화 음성의 특성 정보 및 인식 관련 정보에 기초하여 음성 인식 모드의 활성화 여부를 식별할 수 있다. 일 예로, 프로세서(120)는 사용자의 발화 음성(10)을 분석하여 특성 정보를 획득할 수 있다. 여기서, 특성 정보는 발화 주파수, 발화 길이 정보 또는 발음열 정보 중 적어도 하나를 포함할 수 있다. 이어서, 프로세서(120)는 발화 음성(10)의 특성 정보 및 인식 관련 정보 간 유사도에 기초하여 음성 인식 모드의 활성화 여부를 식별할 수 있다. 이하에서는, 설명의 편의를 위해 발화 음성(10)의 특성 정보 및 인식 관련 정보 간 유사도를 제1 유사도로 통칭하도록 한다.
본 개시의 일 실시 예에 따른, 특성 정보 중 발화 주파수는 수신된 발화 음성(10)의 주파수 변화률, 진폭 변화률 등에 대한 정보를 포함할 수 있다. 프로세서(120)는 특성 정보에 따른 발화 주파수와 인식 관련 정보에 포함된 발화 주파수 간 제1 유사도를 식별할 수 있다.
특성 정보 중 발화 길이 정보는 발화 음성(10)의 길이, 지속 시간 등을 포함할 수 있다. 프로세서(120)는 특성 정보에 따른 발화 길이 정보와 인식 관련 정보에 포함된 발화 길이 정보 간 제1 유사도를 식별할 수 있다.
본 개시의 일 실시 예에 따른 특성 정보 중 발음열 정보는 발화 음성(10)을 음소 단위로 분해하여 획득한 음소별 발음의 집합을 의미할 수 있다. 여기서, 음소란 구별 가능한 최소의 소리 단위를 의미한다. 프로세서(120)는 특성 정보에 따른 발음열 정보와 인식 관련 정보에 포함된 발음열 정보 간 제1 유사도를 식별할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(120)는 발화 음성(10)의 특성 정보 및 인식 관련 정보 간 제1 유사도가 임계 값 이상이면, 음성 인식 모드를 활성화할 수 있다. 예를 들어, 발화 음성(10)의 특성 정보 및 인식 관련 정보 간 제1 유사도가 임계 값 0.5 이상이면, 사용자의 발화 음성(10)이 웨이크업 워드에 해당하는 것으로 식별하여 음성 인식 모드를 활성화할 수 있다. 이에 대해서는 도 4에서 구체적으로 설명하도록 한다.
다른 예로, 프로세서(120)는 발화 음성(10)의 특성 정보 및 인식 관련 정보 간 제1 유사도가 임계 값 미만이면, 사용자의 발화 음성(10)이 웨이크업 워드에 해당하지 않는 것으로 식별하여 음성 인식 모드를 비활성화할 수 있다. 이에 대해서는 도 5에서 구체적으로 설명하도록 한다.
여기서, 프로세서(120)는 유사도를 판단하기 위해 다양한 유사도 측정 알고리즘을 이용할 수 있다. 예를 들어, 프로세서(120)는 발화 음성(10)의 특성 정보의 주파수 도메인의 벡터 값 및 인식 관련 정보의 주파수 도메인의 벡터 값에 기초하여 0 내지 1의 값을 가지는 제1 유사도를 획득할 수 있다. 발화 음성(10)의 특성 정보와 인식 관련 정보가 유사할수록 제1 유사도는 1에 가까운 값을 가지고, 유사하지 않을수록 제1 유사도는 0에 가까운 값을 가질 수 있다. 임계 값은 제조사에 의해 설정될 수 있으며, 사용자의 설정, 펌웨어 업그레이드 등을 통해 변경될 수도 있음은 물론이다.
본 개시의 일 실시 예에 따른 프로세서(120)는 발화 음성(10)의 텍스트 정보를 획득할 수 있다. 예를 들어, 프로세서(120)는 STT(음성 텍스트 변환, Speech To Text) 기능을 적용하여 발화 음성(10)에 대응되는 텍스트 정보를 획득할 수 있다. 한편, 프로세서(120)가 직접 발화 음성(10)에 STT 기능을 적용하여 텍스트 정보를 획득할 수 있으며, 경우에 따라서는 서버(미도시)로부터 발화 음성(10)에 대응되는 텍스트 정보를 수신하는 것도 가능하다. 일 예로, 프로세서(120)는 수신된 발화 음성(10)을 서버로 전송할 수 있다. 서버는 STT를 이용하여 발화 음성(10)을 텍스트 정보로 변환하고, 텍스트 정보를 전자 장치(100)로 전송할 수도 있다.
일 실시 예에 따른 프로세서(120)는 발화 음성(10)의 텍스트 정보와 웨이크업 워드의 텍스트 정보 간 유사도를 식별할 수 있다. 이하에서는, 제1 유사도와 혼동되지 않도록, 발화 음성(10)의 텍스트 정보와 웨이크업 워드의 텍스트 정보 간 유사도를 제2 유사도로 통칭하도록 한다.
프로세서(120)는 다양한 유형의 텍스트 유사도 알고리즘, 단어 유사도 알고리즘을 이용하여 제2 유사도를 식별할 수 있다. 예를 들어, 프로세서(120)는 발화 음성(10)의 텍스트 정보 ‘Hi TV’를 획득할 수 있다. 이어서, 프로세서(120)는 획득된 텍스트 정보 ‘Hi TV’와 웨이크업 워드의 텍스트 정보 ‘Hi TV’ 간 단어 유사도 알고리즘을 이용하여 제2 유사도를 식별할 수 있다.
일 실시 예에 따른 프로세서(120)는 자연어 이해 모듈(natural language understanding)(NLU) 모듈을 이용하여 발화 음성(10)의 텍스트 정보에 문법적 분석(syntactic analyze)을 수행할 수 있다. 여기서, 문법적 분석을 텍스트 정보를 문법적 단위(예를 들어, 단어, 구, 형태소 등)으로 구분하여 텍스트 정보가 어떤 문법적인 요소를 가지는지 식별할 수 있다. 프로세서(120)는 발화 음성(10)에 포함된 문법적인 요소 및 웨이크업 워드에 포함된 문법적인 요소 간 제2 유사도를 식별할 수 있다. 프로세서(120)는 발화 음성(10)의 텍스트 정보에 포함된 단어 및 웨이크업 워드의 텍스트 정보에 포함된 단어 간 제2 유사도를 식별할 수도 있음은 물론이다.
본 개시의 일 실시 예에 따른 프로세서(120)는 발화 음성의 텍스트 정보에 포함된 문자(character)의 개수 및 웨이크업 워드의 텍스트 정보에 포함된 문자의 개수 간 유사도에 기초하여 제2 유사도를 획득할 수 있다. 다른 예로, 프로세서(120)는 발화 음성의 텍스트 정보 중 첫 문자 및 마지막 문자와 웨이크업 워드의 텍스트 정보에 포함된 첫 문자 및 마지막 문자 간 유사도중 적어도 하나에 기초하여 제2 유사도를 획득할 수도 있다.
한편, 이는 일 실시 예로서 프로세서(120)는 다양한 유사도 측정 알고리즘을 이용하여 제2 유사도를 획득할 수 있다. 예를 들어, 프로세서(120)는 편집 거리 알고리즘(Levenshtein Distance, Edit Distance)을 이용하여 두 텍스트 정보 간 제2 유사도를 식별할 수 있다. 또한, 제2 유사도는 0 내지 1의 값을 가질 수 있다. 발화 음성(10)의 텍스트 정보와 웨이크업 워드의 텍스트 정보 간 제2 유사도가 상대적으로 높을수록 제2 유사도는 1에 가까운 값을 가지고, 두 텍스트 정보 간 제2 유사도가 상대적으로 낮을수록 제2 유사도는 0에 가까운 값을 가질 수 있다. 한편, 이는 일 실시 예로서 알고리즘에 따라 제2 유사도는 다양한 범위의 값을 가질 수 있다.
한편, 자연어 이해(NLU) 모듈은 자연어 처리(natural language processing) 등 다양하게 불릴 수 있으나, 이하에서는 자연어 이해 모듈로 통칭하도록 한다. 자연어 이해 모듈이 별도의 하드웨어로 구현되는 것으로 기재하였으나, 프로세서(120)가 자연어 이해 모듈의 기능을 수행할 수도 있음은 물론이다. 다른 예로, 서버가 자연어 이해 모듈의 기능을 수행하고, 식별 결과를 전자 장치(100)로 전송하는 것도 가능하다.
본 개시의 일 실시 예에 따른 프로세서(120)는 음성 인식 모드의 활성화 여부 및 제2 유사도에 기초하여 인식 관련 정보 또는 오인식 관련 정보 중 적어도 하나를 업데이트할 수 있다.
일 예로, 프로세서(120)는 음성 인식 모드가 활성화되고 제2 유사도가 제1 임계 값 미만이면, 발화 음성(10)의 특성 정보에 기초하여 오인식 관련 정보를 업데이트할 수 있다. 이에 대해서는 도4를 참조하여 설명하도록 한다.
도 4는 본 개시의 일 실시 예에 따른 음성 인식 모드를 활성화하는 동작을 설명하기 위한 도면이다.
도 4를 참조하면, 프로세서(120)는 수신된 발화 음성(10)의 특성 정보를 획득할 수 있다. 이어서, 프로세서(120)는 발화 음성(10)의 특성 정보와 인식 관련 정보(20) 간 제1 유사도를 획득할 수 있다. 프로세서(120)는 제1 유사도가 제2 임계 값 이상이면, 음성 인식 모드를 활성화할 수 있다.
한편, 본 개시의 다른 실시 예에 따른 프로세서(120)는 발화 음성(10)의 특성 정보와 오인식 관련 정보(30) 간 유사도를 획득할 수 있다. 이하에서는, 제1 및 제2 유사도와 혼동되지 않도록, 발화 음성(10)의 발화 음성(10)의 특성 정보와 오인식 관련 정보(30) 간 유사도를 제3 유사도로 통칭하도록 한다.
프로세서(120)는 제1 유사도가 제2 임계 값 이상이고, 제3 유사도가 제3 임계 값 미만이면 음성 인식 모드를 활성화할 수 있다. 예를 들어, 제2 임계 값이 0.5이고, 제3 임계 값이 0.3인 경우를 상정할 수 있다. 프로세서(120)는 발화 음성(10)의 특성 정보와 인식 관련 정보(20) 간 제1 유사도가 제2 임계 값 0.5 이상이고 발화 음성(10)의 특성 정보와 오인식 관련 정보(30) 간 제3 유사도가 제3 임계 값 0.3 미만이면, 음성 인식 모드를 활성화할 수 있다. 한편, 제2 임계 값과 제3 임계 값의 구체적인 값은 일 실시 예로서 제2 임계 값과 제3 임계 값이 동일할 수도 있고 상이할 수도 있음은 물론이다.
본 개시의 일 실시 예에 따른 프로세서(120)는 발화 음성(10)의 텍스트 정보(예를 들어, AAAABB)를 획득할 수 있다. 이어서, 프로세서(120)는 발화 음성(10)의 텍스트 정보와 웨이크업 워드의 텍스트 정보(예를 들어, AAAAAA) 간 제2 유사도를 식별할 수 있다. 프로세서(120)는 제2 유사도가 제1 임계 값 미만이면, 발화 음성의 특성 정보에 기초하여 오인식 관련 정보를 업데이트할 수 있다.
예를 들어, 발화 음성(10)의 텍스트 정보가 웨이크업 워드의 텍스트 정보에 해당하지 않음(예를 들어, AAAABB ≠ AAAAAA)에도 불구하고, 전자 장치(100)가 위치한 주변 환경에서 발생하는 음성 및 비음성 잡음으로 인하여 수신된 발화 음성(10)의 특성 정보와 인식 관련 정보 간 제1 유사도가 제2 임계 값 이상인 경우를 상정할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(120)는 음성 인식 모드가 활성화되기 전에 수신된 발화 음성(10)에 STT 기능 또는 자연어 이해(NLU) 모듈을 적용하지 않을 수 있다. 이에 따라, 발화 음성(10)의 텍스트 정보가 웨이크업 워드의 텍스트 정보에 해당하지 않음(예를 들어, AAAABB ≠ AAAAAA)에도 불구하고, 프로세서(120)는 음성 인식 모드를 활성화할 수 있다.
일 실시 예에 따른 프로세서(120)는 음성 인식 모드가 활성화되고 제2 유사도가 제1 임계 값 미만이면, 발화 음성(10)을 오인식한 것으로 식별할 수 있다. 이어서, 프로세서(120)는 발화 음성(10)의 특성 정보에 기초하여 오인식 관련 정보(30)를 업데이트할 수 있다. 예를 들어, 프로세서(120)는 발화 음성(10)의 특성 정보에 포함된 발화 음성(10)의 발화 주파수, 발화 길이 또는 발음열 정보 중 적어도 하나를 오인식 관련 정보(30)에 추가할 수 있다.
일 실시 예에 따른 프로세서(120)는 전자 장치(100)가 수신된 발화 음성에 따라 일반 모드에서 음성 인식 모드로 전환되고 제2 유사도가 제1 임계 값 미만이면, 발화 음성(10)을 오인식한 것으로 식별할 수 있다. 이어서, 프로세서(120)는 발화 음성(10)의 특성 정보에 기초하여 오인식 관련 정보(30)를 업데이트할 수 있다.
추후에 수신된 발화 음성(10’)과 업데이트된 오인식 관련 정보(30) 간 제3 유사도는 제3 임계 값 이상일 수 있다. 이 경우, 프로세서(120)는 음성 인식 모드를 활성화하지 않을 수 있다.
도 2로 돌아와서, 다른 예로 프로세서(120)는 음성 인식 모드가 비활성화되고 제2 유사도가 제1 임계 값 이상이면, 발화 음성(10)의 특성 정보에 기초하여 인식 관련 정보를 업데이트할 수 있다. 이에 대해서는 도5를 참조하여 설명하도록 한다.
도 5는 본 개시의 일 실시 예에 따른 음성 인식 모드를 비활성화하는 동작을 설명하기 위한 도면이다.
도 5를 참조하면, 프로세서(120)는 발화 음성(10)의 특성 정보와 인식 관련 정보(20) 간 제1 유사도를 획득할 수 있다. 프로세서(120)는 제1 유사도가 제2 임계 값 미만이면, 음성 인식 모드를 비활성화할 수 있다.
한편, 본 개시의 다른 실시 예에 따른 프로세서(120)는 발화 음성(10)의 특성 정보와 오인식 관련 정보(30) 간 제3 유사도를 획득할 수 있다. 프로세서(120)는 제1 유사도가 제2 임계 값 미만이고, 제3 유사도가 제3 임계 값 이상이면 음성 인식 모드를 비활성화할 수 있다. 예를 들어, 프로세서(120)는 발화 음성(10)의 특성 정보와 인식 관련 정보(20) 간 제1 유사도가 제2 임계 값 0.5 미만이고 발화 음성(10)의 특성 정보와 오인식 관련 정보(30) 간 제3 유사도가 제3 임계 값 0.3 이상이면, 음성 인식 모드를 비활성화할 수 있다. 한편, 제2 임계 값과 제3 임계 값의 구체적인 값은 일 실시 예로서 제2 임계 값과 제3 임계 값은 제조사 또는 사용자의 설정에 따라 다양하게 변경될 수 있음은 물론이다.
본 개시의 일 실시 예에 따른 프로세서(120)는 발화 음성(10)의 텍스트 정보(예를 들어, AAAAAA)를 획득할 수 있다. 이어서, 프로세서(120)는 발화 음성(10)의 텍스트 정보와 웨이크업 워드의 텍스트 정보(예를 들어, AAAAAA) 간 제2 유사도를 식별할 수 있다. 프로세서(120)는 제2 유사도가 제1 임계 값 이상이면, 발화 음성(10)의 특성 정보에 기초하여 인식 관련 정보를 업데이트할 수 있다.
예를 들어, 발화 음성(10)의 텍스트 정보가 웨이크업 워드의 텍스트 정보에 해당함(예를 들어, AAAAAA = AAAAAA)에도 불구하고, 전자 장치(100)가 위치한 주변 환경에서 발생하는 음성 및 비음성 잡음으로 인하여 수신된 발화 음성(10)의 특성 정보와 인식 관련 정보 간 제1 유사도가 제2 임계 값 미만인 경우를 상정할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(120)는 음성 인식 모드가 활성화되기 전에 수신된 발화 음성(10)에 STT 기능 또는 자연어 이해(NLU) 모듈을 적용하지 않을 수 있다. 이에 따라, 발화 음성(10)의 텍스트 정보가 웨이크업 워드의 텍스트 정보에 해당함(예를 들어, AAAAAA = AAAAAA)에도 불구하고, 프로세서(120)는 음성 인식 모드를 비활성화할 수 있다.
일 실시 예에 따른 프로세서(120)는 음성 인식 모드가 비활성화되고 제2 유사도가 제1 임계 값 미만이면, 발화 음성(10)을 오인식한 것으로 식별할 수 있다. 이어서, 프로세서(120)는 발화 음성(10)의 특성 정보에 기초하여 인식 관련 정보(20)를 업데이트할 수 있다. 예를 들어, 프로세서(120)는 발화 음성(10)의 특성 정보에 포함된 발화 음성(10)의 발화 주파수, 발화 길이 또는 발음열 정보 중 적어도 하나를 인식 관련 정보(20)에 추가할 수 있다.
추후에 수신된 발화 음성(10’)과 업데이트된 인식 관련 정보(20) 간 제1 유사도는 제2 임계 값 이상일 수 있다. 이 경우, 프로세서(120)는 음성 인식 모드를 활성화할 수 있다. 한편, 이는 일 실시 예로서 프로세서(120)는 오인식 관련 정보(30)도 업데이트할 수 있음은 물론이다. 이 경우, 추후에 수신된 발화 음성(10’)과 업데이트된 오인식 관련 정보(30) 간 제3 유사도는 제3 임계 값 미만일 수 있다.
도 2로 돌아와서, 본 개시의 일 실시 예에 따른 프로세서(120)는 발화 음성(10)을 스토리지(110)에 저장하고, 스토리지(110)에 복수의 발화 음성이 저장되면, 저장된 복수의 발화 음성 각각에 대응되는 텍스트 정보를 획득하고, 발화 음성 각각에 대응되는 텍스트 정보 및 웨이크업 워드의 텍스트 정보 간 제2 유사도를 획득할 수 있다.
도 6은 본 개시의 일 실시 예에 따른 음성 파일 리스트를 설명하기 위한 도면이다.
도 6을 참조하면, 본 개시의 일 실시 예에 따른 프로세서(120)는 복수의 발화 음성에 대응되는 복수의 음성 파일 리스트(40)를 제공할 수 있다.
리스트(40)에 포함된 복수의 음성 파일 중 사용자의 재생 명령이 수신되면, 프로세서(120)는 명령에 대응되는 음성 파일을 재생할 수 있다.
일 실시 예에 따른 프로세서(120)는 복수의 음성 파일 중 하나에 대한 선택 명령이 수신되면, 수신된 선택 명령에 대응되는 발화 음성의 특성 정보를 인식 관련 정보(20) 또는 오인식 관련 정보(30)에 추가할 수 있다.
예를 들어, 선택된 음성 파일이 웨이크업 워드를 포함하고 있지 않음에도 음성 인식 모드가 활성화된 경우이면, 프로세서(120)는 선택된 음성 파일에서 발화 음성의 특성 정보를 획득하고, 이에 기초하여 오인식 관련 정보(30)를 업데이트할 수 있다.
다른 예로, 선택된 음성 파일이 웨이크업 워드를 포함하고 있음에도 음성 인식 모드가 비활성화된 경우이면, 프로세서(120)는 선택된 음성 파일에서 발화 음성의 특성 정보를 획득하고, 이에 기초하여 인식 관련 정보(20)를 업데이트할 수 있다.
본 개시의 일 실시 예 따른 리스트(40)는 기 설정된 개수의 음성 파일을 포함할 수 있다. 예를 들어, 최근 40개의 발화 음성이 녹음된 음성 파일이 리스트(40)로 제공될 수 있다. 다른 예로, 사용자에 의해 설정된 기간 내에 녹음된 음성 파일이 리스트(40)로 제공될 수도 있음은 물론이다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 세부 구성을 나타내는 블록도이다.
도 3을 참조하면, 본 개시의 일 실시 예의 전자 장치(100)는 스토리지(110), 프로세서(120), 통신 인터페이스(130), 사용자 인터페이스(140), 입출력 인터페이스(150) 및 디스플레이(160)를 포함할 수 있다. 도 3에 도시된 구성 중 도 2에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.
스토리지(110)는 프로세서(120)에 포함된 롬(ROM)(예를 들어, EEPROM(electrically erasable programmable read-only memory)), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(120)와 별도의 메모리로 구현될 수도 있다. 이 경우, 스토리지(110)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현되고, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
프로세서(120)는 전자 장치(100)의 전반적인 동작을 제어하기 위한 구성이다. 예를 들면, 프로세서(120)는 운영 체제, 애플리케이션을 구동하여 프로세서(120)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(120)는 메모리(110)에 저장된 각종 프로그램을 이용하여 전자 장치(100)의 동작을 전반적으로 제어한다.
구체적으로, 프로세서(120)는 RAM(121), ROM(122), 메인 CPU(123), 제1 내지 n 인터페이스(124-1 ~ 134-n), 버스(125)를 포함한다.
RAM(121), ROM(122), 메인 CPU(123), 제1 내지 n 인터페이스(124-1 ~ 124-n) 등은 버스(125)를 통해 서로 연결될 수 있다.
ROM(122)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(123)는 ROM(122)에 저장된 명령어에 따라 메모리(110)에 저장된 O/S를 RAM(121)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(123)는 메모리(110)에 저장된 각종 어플리케이션 프로그램을 RAM(121)에 복사하고, RAM(121)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
메인 CPU(123)는 메모리(110)에 액세스하여, 메모리(110)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메모리(110)에 저장된 각종 프로그램, 컨텐츠 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스(124-1 내지 124-n)는 상술한 각종 구성 요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
한편, 프로세서(120)는 그래픽 처리 기능(비디오 처리 기능)을 수행할 수 있다. 예를 들어, 프로세서(120)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 여기서, 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산할 수 있다. 그리고, 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성할 수 있다. 또한, 프로세서(120)는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
한편, 프로세서(120)는 오디오 데이터에 대한 처리를 수행할 수 있다. 구체적으로, 프로세서(120)는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
통신 인터페이스(130)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 통신 인터페이스(130)는 와이파이 모듈(131), 블루투스 모듈(132), 적외선 통신 모듈(133) 및 무선 통신 모듈(134) 등을 포함한다. 프로세서(120)는 통신 인터페이스(130)를 이용하여 각종 외부 장치와 통신을 수행할 수 있다. 여기서, 외부 장치는 TV와 같인 디스플레이 장치, set-top box와 같은 영상 처리 장치, 외부 서버, 리모컨과 같은 제어 장치, 블루투스 스피커와 같은 음향 출력 장치, 조명 장치, 스마트 청소기, 스마트 냉장고와 같은 가전 기기, IOT 홈 매니저 등과 같은 서버 등을 포함할 수 있다.
와이파이 모듈(131), 블루투스 모듈(132)은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 모듈(131)이나 블루투스 모듈(132)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다.
적외선 통신 모듈(133)은 시 광선과 밀리미터파 사이에 있는 적외선을 이용하여 근거리에 무선으로 데이터를 전송하는 적외선 통신(IrDA, infrared Data Association)기술에 따라 통신을 수행한다.
무선 통신 모듈(134)은 상술한 통신 방식 이외에 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4th Generation), 5G(5th Generation)등과 같은 다양한 무선 통신 규격에 따라 통신을 수행하는 적어도 하나의 통신 칩을 포함할 수 있다.
그 밖에 통신 인터페이스(135)는LAN(Local Area Network) 모듈 또는 이더넷 모듈 중 적어도 하나, 페어 케이블, 동축 케이블 또는 광섬유 케이블 등을 이용하여 통신을 수행하는 유선 통신 모듈 중 적어도 하나를 포함할 수 있다.
일 예에 따라 통신 인터페이스(130)는 리모컨과 같은 외부 장치 및 외부 서버와 통신하기 위해 동일한 통신 모듈(예를 들어, Wi-Fi 모듈)을 이용할 수 있다.
일 예에 따라 통신 인터페이스(130)는 리모컨과 같은 외부 장치 및 외부 서버와 통신하기 위해 상이한 통신 모듈(예를 들어, Wi-Fi 모듈)을 이용할 수 있다. 예를 들어, 통신 인터페이스(130)는 외부 서버와 통신하기 위해 이더넷 모듈 또는 WiFi 모듈 중 적어도 하나를 이용할 수 있고, 리모컨과 같은 외부 장치와 통신하기 위해 BT 모듈을 이용할 수도 있다. 다만 이는 일 실시 예에 불과하며 통신 인터페이스(130)는 복수의 외부 장치 또는 외부 서버와 통신하는 경우 다양한 통신 모듈 중 적어도 하나의 통신 모듈을 이용할 수 있다
본 개시의 일 실시 예에 따르면, 통신 인터페이스(130)는 리모컨과 같은 외부 장치 및 외부 서버와 통신을 수행할 수 있다. 일 예로, 통신 인터페이스(130)는 마이크를 포함하는 외부 장치로부터 사용자의 발화 음성(10)을 수신할 수 있다. 이 경우, 수신된 사용자 발화 음성(10) 또는 음성 신호는 디지털 음성 신호일 수 있으나, 구현 예에 따라 아날로그 음성 신호일 수 있다. 일 예로, 전자 장치(100)는 Bluetooth 또는 Wi-Fi 등의 무선 통신 방법을 통해 사용자 음성 신호를 수신할 수 있다. 여기서, 외부 장치는 원격 제어 장치 또는 스마트폰으로 구현될 수 있다. 본 개시의 일 실시 예에 따라, 외부 장치는 전자 장치(100)를 제어하기 위한 어플리케이션을 제조사의 목적, 사용자의 제어에 따라 설치, 삭제할 수 있음은 물론이다. 일 예로, 스마트폰은 전자 장치(100)를 제어하기 위한 리모콘 어플리케이션을 설치할 수 있다. 이어서, 스마트폰에 구비된 마이크를 통해 사용자 음성을 수신하고, 리모콘 어플리케이션을 통해 수신된 사용자 음성에 대응되는 제어신호를 획득 및 전자 장치(100)로 전송할 수 있다. 한편, 이는 일 실시 예로서, 반드시 이에 한정되는 것은 아니다. 일 예로, 스마트폰은 수신된 사용자 음성을 음성 인식 서버로 전송하고, 음성 인식 서버로부터 사용자 음성에 대응되는 제어신호를 획득하고, 획득된 제어 신호를 전자 장치(100)로 전송할 수도 있음은 물론이다.
전자 장치(100)는 외부 장치로부터 수신된 음성 신호의 음성 인식을 위해, 외부 서버로 해당 음성 신호를 전송할 수 있다. 통신 인터페이스(130)는 외부 서버와 통신을 수행하여 발화 음성(10)의 특성 정보, 발화 음성(10)의 텍스트 정보 등을 수신할 수도 있다.
이 경우, 외부 장치 및 외부 서버와의 통신을 위한 통신 모듈은 하나로 구현되거나, 별개로 구현될 수 있다. 예를 들어, 외부 장치와는 Bluetooth 모듈을 이용하여 통신하고, 외부 서버와는 이더넷 모뎀 또는 Wi-Fi모듈을 이용하여 통신할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 음성 인식 서버로 수신된 디지털 음성 신호, 발화 음성(10)을 전송할 수 있다. 이 경우, 음성 인식 서버는 STT(Speech To Text)를 이용하여 발화 음성(10)을 텍스트 정보로 변환할 수 있다. 이 경우, 음성 인식 서버는 텍스트 정보에 대응되는 검색을 수행하기 위하여 다른 서버 또는 전자 장치로 텍스트 정보를 전송할 수 있으며, 경우에 따라서는 직접 검색을 수행하는 것도 가능하다.
한편, 본 개시의 다른 실시 예에 따른 전자 장치(100)는 발화 음성(10) 및 디지털 음성 신호에 직접 STT(Speech To Text) 기능을 적용하여 텍스트 정보를 획득할 수도 있다. 이어서, 전자 장치(100)가 발화 음성(10)의 텍스트 정보와 웨이크업 워드의 텍스트 정보 간 제2 유사도를 자체적으로 식별할 수 있다. 다른 예로, 전자 장치(100)는 발화 음성(10)의 텍스트 정보를 외부 서버로 전송하고, 외부 서버가 발화 음성(10)의 텍스트 정보와 웨이크업 워드의 텍스트 정보 간 제2 유사도를 식별하여 식별 결과를 전송하면 이를 수신할 수도 있다. 여기서, 외부 서버는 STT를 수행하는 음성 인식 서버일 수도 있고, 음성 인식 서버와는 상이한 외부 서버일 수도 있다.
사용자 인터페이스(140)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린으로도 구현될 수 있다. 여기서, 버튼은 전자 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.
입출력 인터페이스(150)는 HDMI(High Definition Multimedia Interface), MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array)포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface) 중 어느 하나의 인터페이스일 수 있다.
입출력 인터페이스(150)는 오디오 및 비디오 신호 중 적어도 하나를 입출력 할 수 있다.
구현 예에 따라, 입출력 인터페이스(150)는 오디오 신호만을 입출력하는 포트와 비디오 신호만을 입출력하는 포트를 별개의 포트로 포함하거나, 오디오 신호 및 비디오 신호를 모두 입출력하는 하나의 포트로 구현될 수 있다.
전자 장치(100)는 디스플레이를 포함하지 않는 장치로 구현되어, 별도의 디스플레이 장치로 영상 신호를 전송할 수 있다. 다른 예로, 전자 장치(100)는 디스플레이(160), 스피커(미도시) 및 마이크(미도시)를 포함할 수도 있다.
디스플레이(160)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(160) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(160)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.
또한, 본 발명의 일 실시 예에 따른, 디스플레이(160)는 영상을 출력하는 디스플레이 패널뿐만 아니라, 디스플레이 패널을 하우징하는 베젤을 포함할 수 있다. 특히, 본 발명의 일 실시예에 따른, 베젤은 사용자 인터렉션을 감지하기 위한 터치 센서(미도시)를 포함할 수 있다.
스피커(미도시)는 입출력 인터페이스(150)에서 처리된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 구성요소일 수 있다.
한편, 전자 장치(100)는 마이크(미도시)를 더 포함할 수 있다. 마이크는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환하기 위한 구성이다.
마이크(미도시)는 활성화 상태에서 사용자의 음성을 수신할 수 있다. 예를 들어, 마이크는 전자 장치(100)의 상측이나 전면 방향, 측면 방향 등에 일체화된 일체형으로 형성될 수 있다. 마이크는 아날로그 형태의 사용자 음성을 수집하는 마이크, 수집된 사용자 음성을 증폭하는 앰프 회로, 증폭된 사용자 음성을 샘플링하여 디지털 신호로 변환하는 A/D 변환회로, 변환된 디지털 신호로부터 노이즈 성분을 제거하는 필터 회로 등과 같은 다양한 구성을 포함할 수 있다.
한편, 전자 장치(100)는 구현 예에 따라 튜너 및 복조부를 추가적으로 포함할 수 있다.
튜너(미도시)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기 저장된 모든 채널을 튜닝하여 RF 방송 신호를 수신할 수 있다.
복조부(미도시)는 튜너에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조하고, 채널 복호화 등을 수행할 수도 있다.
도 7은 본 개시의 일 실시 예에 따른 발화 음성을 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 수신된 발화 음성(10)을 분석하여 특성 정보를 획득할 수 있다. 여기서, 특성 정보는 발화 음성(10)에 포함된 오디오 신호의 주파수 변화량, 오디오 신호의 길이 또는 발음열 정보를 포함할 수 있다. 여기서, 발음열 정보는 성문 특성을 포함할 수 있다. 여기서, 성문 특성은 사용자의 발화 음성을 주파수 분포의 시계열적 분해의 결과에 기초하여 획득된 사용자 고유의 특성을 의미한다. 예를 들어, 음성이 거쳐 나오는 사람의 구강 구조에 개인마다 상이하므로, 성문 특성도 개인마다 상이할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 특성 정보에 기초하여 수신된 발화 음성(10)이 기 등록된 사용자의 성문 특성에 해당하는지 여부를 식별할 수 있다. 이어서, 전자 장치(100)는 수신된 발화 음성(10)이 기 등록된 사용자의 발화 음성(10)에 해당하는 것으로 식별되면, 발화 음성(10)의 특성 정보와 인식 관련 정보 간 제1 유사도를 식별할 수 있다.
다른 예로, 전자 장치(100)는 수신된 발화 음성(10)이 기 등록된 사용자의 발화 음성(10)에 해당하지 않는 것으로 식별되면, 제1 유사도를 식별하지 않을 수 있다. 다른 예로, 전자 장치(100)는 새로운 사용자의 등록을 가이드하는 UI를 제공할 수도 있다. 전자 장치(100)는 새로운 사용자가 등록되면, 해당 사용자의 발화 음성(10)의 특성 정보를 스토리지(110)에 저장할 수 있다. 한편, 이는 일 실시 예로서 이에 한정되는 것은 아니다. 예를 들어, 전자 장치(100)는 발화 음성(10)의 특성 정보에 기초하여 기 등록된 사용자의 발화 음성(10)에 해당하는지 여부를 식별하는 과정을 수행하지 않을 수도 있음은 물론이다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 연속적으로 수신되는 사용자의 발화 음성(10)에 있어서, 발화의 시작점(Begin of Speech)과 끝점(End of Speech)를 식별하고 해당 부분만을 스토리지(110)에 저장할 수 있다.
도 8은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
본 발명의 일 실시 예에 따른 전자 장치의 제어 방법은 사용자의 발화 음성이 수신되면, 발화 음성의 특성 정보 및 인식 관련 정보에 기초하여 음성 인식 모드의 활성화 여부를 식별한다(S810).
이어서, 발화 음성의 텍스트 정보 및 웨이크업 워드의 텍스트 정보 간 유사도를 식별한다(S820).
이어서, 음성 인식 모드의 활성화 여부 및 유사도에 기초하여 인식 관련 정보 또는 오인식 관련 정보 중 적어도 하나를 업데이트한다(S830).
여기서, 업데이트하는 S830 단계는, 음성 인식 모드가 활성화되고 유사도가 제1 임계 값 미만이면, 발화 음성의 특성 정보에 기초하여 오인식 관련 정보를 업데이트하는 단계를 포함할 수 있다.
또한, 업데이트하는 S830 단계는, 음성 인식 모드가 비활성화되고 유사도가 제1 임계 값 이상이면, 발화 음성의 특성 정보에 기초하여 인식 관련 정보를 업데이트하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따른 음성 인식 모드의 활성화 여부를 식별하는 S810 단계는, 발화 음성의 특성 정보 및 인식 관련 정보 간 유사도가 제2 임계 값 이상이고, 발화 음성의 특성 정보 및 오인식 관련 정보 간 유사도가 제3 임계 값 미만이면, 음성 인식 모드를 활성화하는 단계를 포함할 수 있다.
여기서, 웨이크업 워드의 인식 관련 정보는, 웨이크업 워드의 발화 주파수, 발화 길이 정보 또는 발음열 정보 중 적어도 하나를 포함하고, 웨이크업 워드의 오인식 관련 정보는, 웨이크업 워드와 관련된 오인식 워드의 발화 주파수, 발화 길이 정보 또는 발음열 정보 중 적어도 하나를 포함하고, 발화 음성의 특성 정보는, 발화 음성의 발화 주파수, 발화 길이 정보 또는 발음열 정보 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시 예에 따른 유사도를 식별하는 S820 단계는, 발화 음성의 텍스트 정보에 포함된 문자(character)의 개수 및 웨이크업 워드의 텍스트 정보에 포함된 문자의 개수 간 유사도, 또는 발화 음성의 텍스트 정보 중 첫 문자 및 마지막 문자와 웨이크업 워드의 텍스트 정보에 포함된 첫 문자 및 마지막 문자 간 유사도중 적어도 하나에 기초하여 유사도를 획득하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따른 제어 방법은, 발화 음성을 스토리지에 저장하는 단계를 포함하고, 유사도를 식별하는 S820 단계는, 스토리지에 복수의 발화 음성이 저장되면, 저장된 복수의 발화 음성 각각에 대응되는 텍스트 정보를 획득하고, 발화 음성 각각에 대응되는 텍스트 정보 및 웨이크업 워드의 텍스트 정보 간 유사도를 획득하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따른 제어 방법은, 복수의 발화 음성에 대응되는 복수의 음성 파일 리스트를 제공하는 단계 및 복수의 음성 파일 중 하나에 대한 선택 명령이 수신되면, 선택된 음성 파일에 대응되는 발화 음성에 기초하여 오인식 관련 정보를 업데이트하는 단계를 포함할 수 있다.
도 9는 본 개시의 일 실시 예에 따른 인식 또는 오인식 관련 정보를 업데이트하는 방법을 설명하기 위한 흐름도이다.
도 9를 참조하면, 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은 수신된 발화 음성의 특성 정보 및 인식 관련 정보 간 제1 유사도가 제2 임계 값 이상인지 여부를 식별할 수 있다(S910).
제1 유사도가 제2 임계 값 이상이면(S910: Y), 발화 음성의 특성 정보 및 오인식 관련 정보 간 제3 유사도가 제3 임계 값 미만인지 여부를 식별할 수 있다(S920).
이어서, 제3 유사도가 제3 임계 값 미만이면(S920: Y), 음성 인식 모드를 활성화하고(S930), 발화 음성의 텍스트 정보 및 웨이크업 워드의 텍스트 정보 간 제2 유사도가 제1 임계 값 미만인지 여부를 식별할 수 있다(S950).
한편, 제1 유사도가 제2 임계 값 미만이거나(S910: N) 제3 유사도가 제3 임계 값 이상이면(S920: N), 음성 인식 모드가 비활성화하고(S940), 발화 음성의 텍스트 정보 및 웨이크업 워드의 텍스트 정보 간 제2 유사도가 제1 임계 값 미만인지 여부를 식별할 수 있다(S950).
이어서, 음성 인식 모드가 활성화되고(S930) 제2 유사도가 제1 임계 값 미만이면(S950: Y), 오인식 관련 정보를 업데이트할 수 있다(S960).
다른 예로, 음성 인식 모드가 비활성화되고(S940) 제2 유사도가 제1 임계 값 이상이면(S950: N), 인식 관련 정보를 업데이트할 수 있다(S970).
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치 및 디스플레이 장치 중 적어도 하나의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 전자 장치 110: 스토리지
120: 프로세서

Claims (19)

  1. 음성 인식 모드로 진입하기 위한 트리거 워드(trigger word)의 인식 관련 정보 및 오인식 관련 정보 저장된 스토리지; 및
    수신된 발화 음성의 특성 정보 및 상기 인식 관련 정보에 기초하여 상기 음성 인식 모드의 활성화 여부를 식별하고,
    상기 수신된 발화 음성의 텍스트 정보 및 상기 트리거 워드의 텍스트 정보 간 유사도를 식별하고,
    상기 음성 인식 모드의 활성화 여부 및 상기 유사도에 기초하여 상기 인식 관련 정보 또는 상기 오인식 관련 정보 중 적어도 하나를 업데이트하는 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 음성 인식 모드가 활성화되고 상기 유사도가 제1 임계 값 미만이면, 상기 발화 음성의 특성 정보에 기초하여 상기 오인식 관련 정보를 업데이트하는, 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 전자 장치가 일반 모드에서 상기 음성 인식 모드로 변환되고 상기 유사도가 상기 제1 임계 값 미만이면, 상기 오인식 관련 정보를 업데이트하는, 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 음성 인식 모드가 비활성화되고 상기 유사도가 제1 임계 값 이상이면, 상기 발화 음성의 특성 정보에 기초하여 상기 인식 관련 정보를 업데이트하는, 전자 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 발화 음성의 특성 정보 및 상기 인식 관련 정보 간 유사도가 제2 임계 값 이상이고,
    상기 발화 음성의 특성 정보 및 상기 오인식 관련 정보 간 유사도가 제3 임계 값 미만이면, 상기 음성 인식 모드를 활성화하는, 전자 장치.
  6. 제1항에 있어서,
    상기 트리거 워드의 인식 관련 정보는,
    상기 트리거 워드의 발화 주파수, 발화 길이 정보 또는 발음열 정보 중 적어도 하나를 포함하고,
    상기 트리거 워드의 오인식 관련 정보는,
    상기 트리거 워드와 관련된 오인식 워드의 발화 주파수, 발화 길이 정보 또는 발음열 정보 중 적어도 하나를 포함하고,
    상기 발화 음성의 특성 정보는,
    상기 발화 음성의 발화 주파수, 발화 길이 정보 또는 발음열 정보 중 적어도 하나를 포함하는, 전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 발화 음성의 텍스트 정보에 포함된 문자(character)의 개수 및 상기 트리거 워드의 텍스트 정보에 포함된 문자의 개수 간 유사도, 또는 상기 발화 음성의 텍스트 정보 중 첫 문자 및 마지막 문자와 상기 트리거 워드의 텍스트 정보에 포함된 첫 문자 및 마지막 문자 간 유사도중 적어도 하나에 기초하여 상기 유사도를 획득하는, 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 발화 음성을 상기 스토리지에 저장하고,
    상기 스토리지에 복수의 발화 음성이 저장되면, 상기 저장된 복수의 발화 음성 각각에 대응되는 텍스트 정보를 획득하고, 상기 발화 음성 각각에 대응되는 텍스트 정보 및 상기 트리거 워드의 텍스트 정보 간 유사도를 획득하는, 전자 장치.
  9. 제8항에 있어서,
    디스플레이;를 포함하고,
    상기 프로세서는,
    상기 복수의 발화 음성에 대응되는 복수의 음성 파일 리스트를 상기 디스플레이를 통해 제공하고,
    상기 복수의 음성 파일 중 하나에 대한 선택 명령이 수신되면, 상기 선택된 음성 파일에 대응되는 발화 음성에 기초하여 상기 오인식 관련 정보를 업데이트하는, 전자 장치.
  10. 음성 인식 모드로 진입하기 위한 트리거 워드(trigger word)의 인식 관련 정보 및 오인식 관련 정보가 저장된 전자 장치의 제어 방법에 있어서,
    수신된 발화 음성의 특성 정보 및 상기 인식 관련 정보에 기초하여 상기 음성 인식 모드의 활성화 여부를 식별하는 단계;
    상기 수신된 발화 음성의 텍스트 정보 및 상기 트리거 워드의 텍스트 정보 간 유사도를 식별하는 단계; 및
    상기 음성 인식 모드의 활성화 여부 및 상기 유사도에 기초하여 상기 인식 관련 정보 또는 상기 오인식 관련 정보 중 적어도 하나를 업데이트 하는 단계;를 포함하는 제어 방법.
  11. 제10항에 있어서,
    상기 업데이트하는 단계는,
    상기 음성 인식 모드가 활성화되고 상기 유사도가 제1 임계 값 미만이면, 상기 발화 음성의 특성 정보에 기초하여 상기 오인식 관련 정보를 업데이트하는 단계;를 포함하는, 제어 방법.
  12. 제10항에 있어서,
    상기 업데이트하는 단계는,
    상기 전자 장치가 일반 모드에서 상기 음성 인식 모드로 변환되고 상기 유사도가 상기 제1 임계 값 미만이면, 상기 오인식 관련 정보를 업데이트하는, 제어 방법.
  13. 제10항에 있어서,
    상기 업데이트하는 단계는,
    상기 음성 인식 모드가 비활성화되고 상기 유사도가 제1 임계 값 이상이면, 상기 발화 음성의 특성 정보에 기초하여 상기 인식 관련 정보를 업데이트하는 단계;를 포함하는, 제어 방법.
  14. 제10항에 있어서,
    상기 음성 인식 모드의 활성화 여부를 식별하는 단계는,
    상기 발화 음성의 특성 정보 및 상기 인식 관련 정보 간 유사도가 제2 임계 값 이상이고, 상기 발화 음성의 특성 정보 및 상기 오인식 관련 정보 간 유사도가 제3 임계 값 미만이면, 상기 음성 인식 모드를 활성화하는 단계;를 포함하는, 제어 방법.
  15. 제10항에 있어서,
    상기 트리거 워드의 인식 관련 정보는,
    상기 트리거 워드의 발화 주파수, 발화 길이 정보 또는 발음열 정보 중 적어도 하나를 포함하고,
    상기 트리거 워드의 오인식 관련 정보는,
    상기 트리거 워드와 관련된 오인식 워드의 발화 주파수, 발화 길이 정보 또는 발음열 정보 중 적어도 하나를 포함하고,
    상기 발화 음성의 특성 정보는,
    상기 발화 음성의 발화 주파수, 발화 길이 정보 또는 발음열 정보 중 적어도 하나를 포함하는, 제어 방법.
  16. 제10항에 있어서,
    상기 유사도를 식별하는 단계는,
    상기 발화 음성의 텍스트 정보에 포함된 문자(character)의 개수 및 상기 트리거 워드의 텍스트 정보에 포함된 문자의 개수 간 유사도, 또는 상기 발화 음성의 텍스트 정보 중 첫 문자 및 마지막 문자와 상기 트리거 워드의 텍스트 정보에 포함된 첫 문자 및 마지막 문자 간 유사도중 적어도 하나에 기초하여 상기 유사도를 획득하는 단계;를 포함하는, 제어 방법.
  17. 제10항에 있어서,
    상기 발화 음성을 스토리지에 저장하는 단계;를 포함하고,
    상기 유사도를 식별하는 단계는,
    상기 스토리지에 복수의 발화 음성이 저장되면, 상기 저장된 복수의 발화 음성 각각에 대응되는 텍스트 정보를 획득하고, 상기 발화 음성 각각에 대응되는 텍스트 정보 및 상기 트리거 워드의 텍스트 정보 간 유사도를 획득하는 단계;를 포함하는, 제어 방법.
  18. 제17항에 있어서,
    상기 복수의 발화 음성에 대응되는 복수의 음성 파일 리스트를 제공하는 단계; 및
    상기 복수의 음성 파일 중 하나에 대한 선택 명령이 수신되면, 상기 선택된 음성 파일에 대응되는 발화 음성에 기초하여 상기 오인식 관련 정보를 업데이트하는 단계;를 포함하는, 제어 방법.
  19. 전자 장치의 프로세서에 의해 실행되는 경우 상기 전자 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 상기 동작은,
    사용자의 발화 음성이 수신되면, 상기 발화 음성의 특성 정보 및 트리거 워드(trigger word)의 인식 관련 정보에 기초하여 음성 인식 모드의 활성화 여부를 식별하는 단계;
    상기 발화 음성의 텍스트 정보 및 상기 트리거 워드의 텍스트 정보 간 유사도를 식별하는 단계; 및
    상기 음성 인식 모드의 활성화 여부 및 상기 유사도에 기초하여 상기 인식 관련 정보 또는 오인식 관련 정보 중 적어도 하나를 업데이트 하는 단계;를 포함하는 비일시적 컴퓨터 판독 가능 매체.
KR1020180149304A 2018-11-28 2018-11-28 전자 장치 및 이의 제어 방법 KR20200063521A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180149304A KR20200063521A (ko) 2018-11-28 2018-11-28 전자 장치 및 이의 제어 방법
EP19888741.6A EP3850621A4 (en) 2018-11-28 2019-11-12 Electronic device and control method thereof
PCT/KR2019/095045 WO2020111919A1 (en) 2018-11-28 2019-11-12 Electronic device and control method thereof
US16/697,934 US11417327B2 (en) 2018-11-28 2019-11-27 Electronic device and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180149304A KR20200063521A (ko) 2018-11-28 2018-11-28 전자 장치 및 이의 제어 방법

Publications (1)

Publication Number Publication Date
KR20200063521A true KR20200063521A (ko) 2020-06-05

Family

ID=70770404

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180149304A KR20200063521A (ko) 2018-11-28 2018-11-28 전자 장치 및 이의 제어 방법

Country Status (4)

Country Link
US (1) US11417327B2 (ko)
EP (1) EP3850621A4 (ko)
KR (1) KR20200063521A (ko)
WO (1) WO2020111919A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023085699A1 (ko) * 2021-11-10 2023-05-19 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2023106678A1 (ko) * 2021-12-10 2023-06-15 삼성전자 주식회사 오인식된 음성 신호를 처리하는 방법 및 이를 위한 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022028094A (ja) * 2018-12-21 2022-02-15 ソニーグループ株式会社 情報処理装置、制御方法、情報処理端末、情報処理方法
KR102392992B1 (ko) * 2020-06-04 2022-05-02 주식회사 카카오엔터프라이즈 음성 인식 기능을 활성화시키는 호출 명령어 설정에 관한 사용자 인터페이싱 장치 및 방법
EP4174850A4 (en) * 2020-09-09 2023-12-06 Samsung Electronics Co., Ltd. ELECTRONIC VOICE RECOGNITION DEVICE AND CONTROL METHOD THEREFOR
KR20220033325A (ko) * 2020-09-09 2022-03-16 삼성전자주식회사 음성 인식을 위한 전자장치 및 그 제어방법

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5716595B2 (ko) 1974-10-16 1982-04-06
US5842165A (en) 1996-02-29 1998-11-24 Nynex Science & Technology, Inc. Methods and apparatus for generating and using garbage models for speaker dependent speech recognition purposes
US5832429A (en) * 1996-09-11 1998-11-03 Texas Instruments Incorporated Method and system for enrolling addresses in a speech recognition database
US6275800B1 (en) 1999-02-23 2001-08-14 Motorola, Inc. Voice recognition system and method
AU2003235868A1 (en) 2002-05-10 2003-11-11 Asahi Kasei Kabushiki Kaisha Speech recognition device
WO2007097176A1 (ja) * 2006-02-23 2007-08-30 Nec Corporation 音声認識辞書作成支援システム、音声認識辞書作成支援方法及び音声認識辞書作成支援用プログラム
KR20060109865A (ko) * 2006-10-11 2006-10-23 삼성전자주식회사 음성인식방법 및 장치
US20110060587A1 (en) * 2007-03-07 2011-03-10 Phillips Michael S Command and control utilizing ancillary information in a mobile voice-to-speech application
JP2009258369A (ja) 2008-04-16 2009-11-05 Mitsubishi Electric Corp 音声認識辞書生成装置及び音声認識処理装置
KR101068122B1 (ko) 2008-12-15 2011-09-28 한국전자통신연구원 음성인식기에서 가비지 및 반단어 모델 기반의 거절 장치 및 방법
JP5716595B2 (ja) 2011-01-28 2015-05-13 富士通株式会社 音声補正装置、音声補正方法及び音声補正プログラム
US9275637B1 (en) * 2012-11-06 2016-03-01 Amazon Technologies, Inc. Wake word evaluation
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
US20140350933A1 (en) * 2013-05-24 2014-11-27 Samsung Electronics Co., Ltd. Voice recognition apparatus and control method thereof
US8719039B1 (en) * 2013-12-05 2014-05-06 Google Inc. Promoting voice actions to hotwords
KR101598948B1 (ko) * 2014-07-28 2016-03-02 현대자동차주식회사 음성 인식 장치, 이를 포함하는 차량 및 음성 인식 방법
US10446141B2 (en) * 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US10789041B2 (en) * 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
KR101619260B1 (ko) * 2014-11-10 2016-05-10 현대자동차 주식회사 차량 내 음성인식 장치 및 방법
JP2016119588A (ja) 2014-12-22 2016-06-30 アイシン・エィ・ダブリュ株式会社 音声情報修正システム、音声情報修正方法、及び音声情報修正プログラム
KR101614746B1 (ko) 2015-02-10 2016-05-02 미디어젠(주) 사용자 패턴에 기반한 오류 db모듈을 적용한 임베디드 음성인식 처리방법 및 시스템
US10304449B2 (en) * 2015-03-27 2019-05-28 Panasonic Intellectual Property Management Co., Ltd. Speech recognition using reject information
KR102420450B1 (ko) * 2015-09-23 2022-07-14 삼성전자주식회사 음성인식장치, 음성인식방법 및 컴퓨터 판독가능 기록매체
KR20170081897A (ko) 2016-01-05 2017-07-13 한국전자통신연구원 음성 데이터 인식 시스템 및 방법
KR102623272B1 (ko) 2016-10-12 2024-01-11 삼성전자주식회사 전자 장치 및 이의 제어 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023085699A1 (ko) * 2021-11-10 2023-05-19 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2023106678A1 (ko) * 2021-12-10 2023-06-15 삼성전자 주식회사 오인식된 음성 신호를 처리하는 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
US20200168223A1 (en) 2020-05-28
US11417327B2 (en) 2022-08-16
EP3850621A1 (en) 2021-07-21
WO2020111919A1 (en) 2020-06-04
EP3850621A4 (en) 2021-12-29

Similar Documents

Publication Publication Date Title
US11417327B2 (en) Electronic device and control method thereof
US20180342237A1 (en) Electronic apparatus for recognizing keyword included in your utterance to change to operating state and controlling method thereof
US10825453B2 (en) Electronic device for providing speech recognition service and method thereof
KR102495517B1 (ko) 전자 장치, 전자 장치의 음성 인식 방법
KR102416782B1 (ko) 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
KR102346026B1 (ko) 전자 장치 및 이의 제어 방법
KR102356623B1 (ko) 가상 비서 전자 장치 및 그 제어 방법
US11709655B2 (en) Electronic device and control method thereof
KR102391298B1 (ko) 음성 인식 서비스를 제공하는 전자 장치 및 그 방법
US10714082B2 (en) Information processing apparatus, information processing method, and program
US11443116B2 (en) Electronic apparatus and control method thereof
EP3857545B1 (en) Electronic apparatus and control method thereof
US11972762B2 (en) Electronic apparatus and controlling method thereof
US11417323B2 (en) Electronic apparatus and control method thereof
KR20200080389A (ko) 전자 장치 및 그 제어 방법
US20210158824A1 (en) Electronic device and method for controlling the same, and storage medium
US11710498B2 (en) Electronic device and control method therefor
KR20200084730A (ko) 전자 장치 및 이의 제어 방법
US11399216B2 (en) Electronic apparatus and controlling method thereof
US20230095334A1 (en) Electronic device and control method thereof
KR20230043562A (ko) 전자 장치 및 그 제어 방법
KR20200092763A (ko) 사용자 음성을 처리하는 전자장치 및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination