KR101598948B1 - 음성 인식 장치, 이를 포함하는 차량 및 음성 인식 방법 - Google Patents

음성 인식 장치, 이를 포함하는 차량 및 음성 인식 방법 Download PDF

Info

Publication number
KR101598948B1
KR101598948B1 KR1020140095891A KR20140095891A KR101598948B1 KR 101598948 B1 KR101598948 B1 KR 101598948B1 KR 1020140095891 A KR1020140095891 A KR 1020140095891A KR 20140095891 A KR20140095891 A KR 20140095891A KR 101598948 B1 KR101598948 B1 KR 101598948B1
Authority
KR
South Korea
Prior art keywords
recognition
voice
speech
input
command
Prior art date
Application number
KR1020140095891A
Other languages
English (en)
Other versions
KR20160013720A (ko
Inventor
이창헌
방규섭
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020140095891A priority Critical patent/KR101598948B1/ko
Priority to US14/562,243 priority patent/US9812125B2/en
Publication of KR20160013720A publication Critical patent/KR20160013720A/ko
Application granted granted Critical
Publication of KR101598948B1 publication Critical patent/KR101598948B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/01—Assessment or evaluation of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Navigation (AREA)

Abstract

사용자의 음성이 잘못 인식된 경우에 이전 단계로 다시 돌아가거나 음성을 재입력하지 않고서도 음성 인식을 재시도할 수 있게 함으로써 사용성을 향상시킬 수 있는 음성 인식 장치, 이를 포함하는 차량 및 음성 인식 방법을 제공한다.
또한, 사용자의 음성이 잘못 인식되거나, 인식된 음성의 신뢰도가 낮아 거절되어 재인식을 하는 경우에, 검색 환경을 변경함으로써 인식의 정확도를 향상시킬 수 있는 음성 인식 장치, 이를 포함하는 차량 및 음성 인식 방법을 제공한다.
일 실시예에 따른 차량은, 음성을 입력 받는 음성 입력부; 상기 입력된 음성을 인식하고, 상기 입력된 음성에 대한 인식 결과를 출력하는 음성 인식부;를 포함하고, 상기 음성 인식부는, 사용자로부터 재인식 명령이 입력되면, 음성 인식에 적용되는 인식 환경을 재설정하여 상기 입력된 음성을 재인식하고, 상기 재인식이 완료되면 상기 재설정된 인식 환경을 초기값으로 리셋한다.

Description

음성 인식 장치, 이를 포함하는 차량 및 음성 인식 방법{SPEECH RECOGNITION APPARATUS, VEHICLE HAVING THE SAME AND SPEECH RECONGITION METHOD}
개시된 발명은 사용자의 음성을 인식하는 음성 인식 장치, 이를 포함하여 인식된 음성에 따라 특정 기능을 수행하는 차량 및 음성 인식 방법에 관한 것이다.
차량에 대한 기술이 발전함에 따라, 차량이 수행하는 기본적인 기능인 주행 이외에도 사용자의 편의를 위한 다양한 기능이 제공되고 있다.
이처럼 차량이 수행할 수 있는 기능이 다양해지면서 사용자의 조작 부하가 증가되고, 조작 부하의 증가는 운전에 대한 집중도를 저하시켜 안전 운전을 방해하는 요인이 된다. 또한, 기기의 조작이 미숙한 사용자는 차량이 수행할 수 있는 기능을 제대로 활용하지 못하게 된다.
따라서, 사용자의 조작 부하를 감소시키기 위한 사용자 인터페이스에 대한 연구 및 개발이 요구되는바, 특히, 사용자의 음성을 인식하여 해당 음성에 대응되는 기능을 수행하는 음성 인식 기술이 차량에 적용되면, 사용자의 조작 부하를 효과적으로 감소시킬 수 있을 것으로 기대된다.
사용자의 음성이 잘못 인식된 경우에 이전 단계로 다시 돌아가거나 음성을 재입력하지 않고서도 음성 인식을 재시도할 수 있게 함으로써 사용성을 향상시킬 수 있는 음성 인식 장치, 이를 포함하는 차량 및 음성 인식 방법을 제공한다.
또한, 사용자의 음성이 잘못 인식되거나, 인식된 음성의 신뢰도가 낮아 거절되어 재인식을 하는 경우에, 검색 환경을 변경함으로써 인식의 정확도를 향상시킬 수 있는 음성 인식 장치, 이를 포함하는 차량 및 음성 인식 방법을 제공한다.
일 실시예에 따른 차량은, 음성을 입력 받는 음성 입력부; 상기 입력된 음성을 인식하고, 상기 입력된 음성에 대한 인식 결과를 출력하는 음성 인식부;를 포함하고, 상기 음성 인식부는, 사용자로부터 재인식 명령이 입력되면, 음성 인식에 적용되는 인식 환경을 재설정하여 상기 입력된 음성을 재인식하고, 상기 재인식이 완료되면 상기 재설정된 인식 환경을 초기값으로 리셋한다.
상기 음성 인식부는, 상기 입력된 음성에 대응되는 적어도 하나의 명령어를 검색하고, 상기 검색된 명령어 중 신뢰도 점수(confidence score)가 미리 설정된 임계값(threshold)보다 큰 명령어를 상기 인식 결과로서 출력할 수 있다.
상기 인식 환경은,음성 인식의 정확도와 관련된 정확도 파라미터, 상기 신뢰도 점수에 대한 임계값 및 검색 범위 중 적어도 하나를 포함할 수 있다..
상기 정확도 파라미터는, 검색 노드(node)의 수에 관한 정보를 나타내고, 상기 검색 노드의 수가 증가할수록 음성 인식의 정확도가 증가할 수 있다.
상기 음성 인식부는, 상기 정확도 파라미터를 증가시켜 재설정할 수 있다.
상기 음성 인식부는, 상기 신뢰도 점수에 대한 임계값을 감소시켜 재설정할 수 있다.
상기 음성 인식부는, 상기 재인식 명령이 입력되기 전에 출력된 인식 결과를 상기 재인식 시의 검색 범위에서 제외할 수 있다.
상기 음성 인식부는, 상기 입력된 음성을 음성 데이터로 변환하고, 상기 음성 데이터로부터 끝 지점 정보를 검출하여 음성 구간을 판단하고, 상기 음성 구간에서 특징 벡터를 추출하고, 상기 검출된 끝 지점 정보 및 상기 추출된 특징 벡터를 저장하는 메모리를 더 포함할 수 있다.
상기 음성 인식부는, 사용자로부터 재인식 명령이 입력되면, 상기 메모리에 저장된 끝 지점 정보 및 특징 벡터를 이용하여 상기 입력된 음성을 재인식할 수 있다.
상기 음성 인식부는, 상기 검색된 명령어 중 신뢰도 점수(confidence score)가 미리 설정된 임계값(threshold)보다 큰 명령어가 존재하지 않는 경우에는, 음성 인식에 적용되는 인식 환경을 재설정하고, 사용자로부터 재입력된 음성을 상기 재설정된 인식 환경에 따라 인식할 수 있다.
상기 인식 환경은, 음성 인식의 정확도와 관련된 정확도 파라미터 및 상기 신뢰도 점수에 대한 임계값을 포함할 수 있다.
입력된 음성에 관한 정보를 저장하는 메모리; 및 상기 입력된 음성을 인식하고, 상기 입력된 음성에 대한 인식 결과를 출력하는 음성 인식부;를 포함하고, 상기 음성 인식부는, 사용자로부터 재인식 명령이 입력되면, 음성 인식에 적용되는 인식 환경을 재설정하여 상기 입력된 음성을 재인식하고, 상기 재인식이 완료되면 상기 재설정된 인식 환경을 초기값으로 리셋할 수 있다.
상기 음성 인식부는, 상기 입력된 음성에 대응되는 적어도 하나의 명령어를 검색하고, 상기 검색된 명령어 중 신뢰도 점수(confidence score)가 미리 설정된 임계값(threshold)보다 큰 명령어를 상기 인식 결과로서 출력할 수 있다.
상기 인식 환경은, 음성 인식의 정확도와 관련된 정확도 파라미터, 상기 신뢰도 점수에 대한 임계값 및 검색 범위 중 적어도 하나를 포함할 수 있다.
상기 정확도 파라미터는, 검색 노드(node)의 수에 관한 정보를 나타내고, 상기 검색 노드의 수가 증가할수록 음성 인식의 정확도가 증가할 수 있다.
상기 음성 인식부는, 상기 정확도 파라미터를 증가시켜 재설정할 수 있다.
상기 음성 인식부는, 상기 신뢰도 점수에 대한 임계값을 감소시켜 재설정할 수 있다.
상기 음성 인식부는, 상기 재인식 명령이 입력되기 전에 출력된 인식 결과를 재인식 시의 검색 범위에서 제외할 수 있다.
상기 음성 인식부는, 상기 음성 데이터로부터 끝 지점 정보를 검출하여 음성 구간을 판단하고, 상기 음성 구간에서 특징 벡터를 추출하고, 상기 입력된 음성에 관한 정보는, 상기 검출된 끝 지점 정보 및 상기 추출된 특징 벡터를 포함할 수 있다.
상기 음성 인식부는, 사용자로부터 재인식 명령이 입력되면, 상기 메모리에 저장된 끝 지점 정보 및 특징 벡터를 이용하여 상기 입력된 음성을 재인식할 수 있다.
일 실시예에 따른 음성 인식 방법은, 음성이 입력되면, 상기 입력된 음성을 인식하고; 상기 입력된 음성의 인식 결과를 출력하고; 사용자로부터 재인식 명령이 입력되면, 음성 인식의 정확도와 관련된 정확도 파라미터, 신뢰도 점수(confidence score)에 대한 임계값(threshold) 및 검색 범위 중 적어도 하나를 포함하는 인식 환경을 재설정하고; 상기 재설정된 인식 환경을 적용하여 상기 입력된 음성을 다시 인식하는 것을 포함한다.
상기 재인식이 완료되면, 상기 재설정된 인식 환경을 다시 초기값으로 리셋하는 것을 더 포함할 수 있다.
상기 정확도 파라미터는, 검색 노드(node)의 수에 관한 정보를 나타내고, 상기 검색 노드의 수가 증가할수록 음성 인식의 정확도가 증가할 수 있다.
상기 인식 환경을 재설정하는 것은, 상기 정확도 파라미터를 증가시켜 재설정하는 것을 포함할 수 있다.
상기 인식 환경을 재설정하는 것은, 상기 신뢰도 점수에 대한 임계값을 감소시켜 재설정하는 것을 포함할 수 있다.
상기 인식 환경을 재설정하는 것은, 상기 재인식 명령이 입력되기 전에 출력된 인식 결과를 재인식 시의 검색 범위에서 제외하는 것을 포함할 수 있다.
차량 및 그 제어방법에 의하면, 사용자의 음성이 잘못 인식된 경우에 이전 단계로 다시 돌아가거나 음성을 재입력하지 않고서도 음성 인식을 재시도할 수 있게 함으로써 사용성을 향상시킬 수 있다.
또한, 사용자의 음성이 잘못 인식되거나, 인식된 음성의 신뢰도가 낮아 거절되어 재인식을 하는 경우에, 검색 환경을 변경함으로써 인식의 정확도를 향상시킬 수 있다.
도 1은 일 실시예에 따른 차량을 외부에서 바라본 외관도이다.
도 2는 일 실시예에 따른 차량의 내부 구성을 나타낸 도면이다.
도 3은 일 실시예에 따른 차량의 제어 블록도이다.
도 4는 일 실시예에 따른 차량의 음성 인식 장치가 수행하는 음성 인식의 과정을 나타낸 흐름도이다.
도 5는 음성 인식 알고리즘을 적용함에 있어서 정확도 파라미터를 다르게 설정하는 동작을 나타낸 도면이다.
도 6은 음성 인식의 실행 초기에 AVN 디스플레이에 표시될 수 있는 화면의 예시를 나타낸 도면이다.
도 7 및 도 8은 사용자의 발화에 따라 AVN 디스플레이에 표시될 수 있는 화면의 예시를 나타낸 도면이다.
도 9는 신뢰도 점수에 대한 임계값을 낮추어 재설정한 경우에 관한 도면이다.
도 10은 음성 인식 결과가 거절된 경우에 AVN 디스플레이에 표시될 수 있는 화면의 예시를 나타낸 도면이다.
도 11 및 도 12는 사용자의 발화에 따라 AVN 디스플레이에 표시될 수 있는 화면의 다른 예시를 나타낸 도면이다.
도 13은 일 실시예에 따른 음성 인식 방법에 관한 순서도이다.
이하 첨부된 도면을 참조하여 차량 및 그 제어방법에 관한 실시예를 상세하게 설명하도록 한다.
도 1은 일 실시예에 따른 차량을 외부에서 바라본 외관도이고, 도 2는 일 실시예에 따른 차량의 내부 구성을 나타낸 도면이다.
도 1을 참조하면, 일 실시예에 따른 차량(100)은 차량(100)의 외관을 형성하는 본체(1), 차량(100)을 이동시키는 차륜(51, 52), 차륜(51, 52)을 회전시키는 구동 장치(60), 차량(100) 내부를 외부로부터 차폐시키는 도어(71, 72(도 2 참조)), 차량(100) 내부의 운전자에게 차량(100) 전방의 시야를 제공하는 전면 유리(30), 운전자에게 차량(100) 후방의 시야를 제공하는 사이드 미러(81, 82)를 포함한다.
차륜(51, 52)은 차량의 전방에 마련되는 전륜(51), 차량의 후방에 마련되는 후륜(52)을 포함하며, 구동 장치(60)는 본체(1)가 전방 또는 후방으로 이동하도록 전륜(51) 또는 후륜(52)에 회전력을 제공한다. 이와 같은 구동 장치(60)는 화석 연료를 연소시켜 회전력을 생성하는 엔진(engine) 또는 축전기(미도시)로부터 전원을 공급받아 회전력을 생성하는 모터(motor)를 채용할 수 있다.
도어(71, 72)는 본체(1)의 좌측 및 우측에 회동 가능하게 마련되어 개방 시에 운전자가 차량(100)의 내부에 탑승할 수 있도록 하며, 폐쇄 시에 차량(100)의 내부를 외부로부터 차폐시킨다.
전면 유리(30)는 본체(100)의 전방 상측에 마련되어 차량(100) 내부의 운전자가 차량(100) 전방의 시각 정보를 획득할 수 있도록 하는 것으로서, 윈드쉴드 글래스(windshield glass)라고도 한다.
또한, 사이드 미러(81, 82)는 본체(1)의 좌측에 마련되는 좌측 사이드 미러(81) 및 우측에 마련되는 우측 사이드 미러(82)를 포함하며, 차량(100) 내부의 운전자가 차량(100) 측면 및 후방의 시각 정보를 획득할 수 있도록 한다.
이외에도 차량(100)은 후면 또는 측면의 장애물 내지 다른 차량을 감지하는 근접 센서, 강수 여부 및 강수량을 감지하는 레인 센서 등의 감지 장치를 포함할 수 있다.
근접 센서는 차량의 측면 또는 후면에 감지 신호를 발신하고, 다른 차량 등의 장애물로부터 반사되는 반사 신호를 수신할 수 있다. 수신된 반사 신호의 파형을 기초로 차량(100) 측면이나 후면의 장애물의 존재 여부를 감지하고, 장애물의 위치를 검출할 수 있다. 이와 같은 근접 센서의 일 예로서 초음파 또는 적외선을 발신하고, 장애물에 반사된 초음파 또는 적외선을 이용하여 장애물까지의 거리를 검출하는 방식을 채용할 수 있다.
도 2를 참조하여 차량(100)의 내부 구조를 설명한다.
대시보드(10)의 중앙 영역인 센터페시아(11)에는 AVN(Audio Video Navigation) 디스플레이(141)와 AVN 입력부(142)가 마련될 수 있다. AVN 장치(140)는 오디오, 비디오 및 내비게이션 기능을 통합적으로 수행할 수 있는 장치로서, AVN 디스플레이(141)는 오디오 화면, 비디오 화면 및 내비게이션 화면 중 적어도 하나를 선택적으로 표시할 수 있고, 뿐만 아니라 차량(100)의 제어와 관련된 각종 제어 화면 또는 AVN 장치(140)에서 실행할 수 있는 부가 기능과 관련된 화면을 표시할 수 있다.
AVN 디스플레이(141)는 LCD(Liquid Crystal Display), LED(Light Emitting Diode), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diode), CRT(Cathode Ray Tube) 등으로 구현될 수 있다.
사용자는 AVN 입력부(142)를 조작하여 AVN(140)을 제어하기 위한 명령을 입력할 수 있다. AVN 입력부(142)는 도 2에 도시된 바와 같이 AVN 디스플레이(141)와 인접한 영역에 하드 키 타입으로 마련될 수도 있고, AVN 디스플레이(141)가 터치 스크린 타입으로 구현되는 경우에는 AVN 디스플레이(141)가 AVN 입력부(142)의 기능도 함께 수행할 수 있다.
차량(100)의 내부에는 음향을 출력할 수 있는 스피커(143)가 마련되는바, 오디오 기능, 비디오 기능, 내비게이션 기능 및 기타 부가 기능을 수행함에 있어 필요한 음향이 스피커(143)를 통해 출력될 수 있다.
운전석(21) 쪽의 대시보드(10)에는 스티어링 휠(12)이 마련되며, 스티어링 휠(12)에는 휠 입력부(162)가 마련되어 운전 중인 운전자가 스티어링 휠(12)에서 손을 떼지 않은 상태에서도 차량(100)의 제어와 관련된 명령을 입력할 수 있도록 한다
한편, 센터 콘솔(40)에는 죠그 셔틀(jog shuttle) 타입 또는 하드 키 타입의 센터 입력부(43)가 마련될 수 있다. 센터 콘솔(40)은 운전석(21)과 조수석(22) 사이에 위치하여 기어조작 레버(41)와 트레이(42)가 형성된 부분을 의미한다. 센터 입력부(43)는 AVN 입력부(142)의 전부 또는 일부 기능을 수행하거나, 휠 입력부(162)의 전부 또는 일부 기능을 수행할 수 있다.
차량(100)에는 공조 장치가 구비되어 난방 및 냉방을 모두 수행할 수 있으며, 가열되거나 냉각된 공기를 통풍구(153)를 통해 배출하여 차량(100) 내부의 온도를 제어할 수 있다. 온도 제어를 위한 사용자의 명령은 공조 입력부(151)를 통해 입력될 수 있다.
일 실시예에 따른 차량(100)은 사용자가 AVN 입력부(142), 휠 입력부(162) 또는 센터 입력부(43) 등을 조작하여 입력하는 제어 명령을 음성 입력부(110)를 통해 사용자의 음성으로서 입력 받을 수도 있다.
효과적인 음성의 입력을 위하여 음성 입력부(110)는 도 2에 도시된 바와 같이 헤드라이닝(13)에 장착될 수 있으나, 차량(100)의 실시예가 이에 한정되는 것은 아니며, 대시보드(10) 위에 장착되거나 스티어링 휠(12)에 장착되는 것도 가능하다. 이 외에도 운전 중인 사용자의 음성을 입력 받기에 적합한 위치이면 어디든 제한이 없다.
상기 도 1및 도 2에서는 차량(100)이 가질 수 있는 기본적인 외관 및 내부 구조를 설명하였다. 이하 차량(100)이 수행하는 음성 인식의 과정을 구체적으로 설명한다.
도 3은 일 실시예에 따른 차량의 제어 블록도이다.
도 3을 참조하면, 차량(100)은 사용자의 음성을 입력 받는 음성 입력부(110), 입력된 사용자의 음성을 인식하는 음성 인식 장치(120), 인식된 음성에 대응되는 이벤트가 실행되도록 제어하는 제어부(130) 및 명령어와 그에 대응되는 이벤트가 저장된 저장부(170)를 포함한다. 개시된 발명의 실시예에서, 사용자는 차량(100)에 탑승한 운전자 및 동승자를 포함하는 것으로 한다.
음성 입력부(110)는 마이크로폰(microphone)을 포함할 수 있고, 사용자의 발화(utterance)된 음성이 입력되면 이를 전기적 신호로 변환하여 음성 인식 장치(120)로 출력한다. 이하 상술할 실시예에서는 음성 입력부(110)에서 변환한 전기적 신호를 음성 데이터라 하기로 한다.
음성 인식 장치(120)는 음성 입력부(110)로부터 입력된 음성 데이터에 음성 인식(speech recognition) 알고리즘 또는 음성 인식 엔진(speech recognition engine)을 적용하여 사용자의 음성을 인식할 수 있다.
이 때, 음성 데이터는 음성 인식을 위한 더 유용한 형태로 변환될 수 있는바, 음성 인식 장치(120)는 입력된 음성 데이터를 아날로그 형태에서 디지털 형태로 변환하고, 음성의 시작과 끝 지점을 검출하여 음성 데이터에 포함된 실제 음성 구간을 검출한다. 이를 EPD(End Point Detection)이라 한다.
그리고, 검출된 구간 내에서 켑스트럼(Cepstrum), 선형 예측 코딩(Linear Predictive Coefficient: LPC), 멜프리퀀시켑스트럼(Mel Frequency Cepstral Coefficient: MFCC) 또는 필터 뱅크 에너지(Filter Bank Energy) 등의 특징 벡터 추출 기술을 적용하여 음성 데이터의 특징 벡터를 추출할 수 있다.
음성 인식 장치(120)는 데이터를 저장하는 메모리(121)와 음성 인식 엔진을 이용하여 음성 인식을 수행하는 음성 인식부(122)를 포함하는바, 음성 데이터의 끝 지점에 관한 정보 및 특징 벡터는 메모리(121)에 저장된다.
그리고, 추출된 특징 벡터와 훈련된 기준 패턴과의 비교를 통하여 인식 결과를 얻을 수 있다. 이를 위해, 음성의 신호적인 특성을 모델링하여 비교하는 음향 모델(Acoustic Model) 과 인식 어휘에 해당하는 단어나 음절 등의 언어적인 순서 관계를 모델링하는 언어 모델(Language Model)이 사용될 수 있다.
음향 모델은 다시 인식 대상을 특징 벡터 모델로 설정하고 이를 음성 데이터의 특징 벡터와 비교하는 직접 비교 방법과 인식 대상의 특징 벡터를 통계적으로 처리하여 이용하는 통계 방법을 나뉠 수 있다.
직접 비교 방법은 인식 대상이 되는 단어, 음소 등의 단위를 특징 벡터 모델로 설정하고 입력 음성이 이와 얼마나 유사한지를 비교하는 방법으로서, 대표적으로 벡터 양자화(Vector Quantization) 방법이 있다. 벡터 양자화 방법에 의하면 입력된 음성 데이터의 특징 벡터를 기준 모델인 코드북(codebook)과 매핑시켜 대표 값으로 부호화함으로써 이 부호 값들을 서로 비교하는 방법이다.
통계적 모델 방법은 인식 대상에 대한 단위를 상태 열(State Sequence)로 구성하고 상태 열 간의 관계를 이용하는 방법이다. 상태 열은 복수의 노드(node)로 구성될 수 있다. 상태 열 간의 관계를 이용하는 방법은 다시 동적 시간 와핑(Dynamic Time Warping: DTW), 히든 마르코프 모델(Hidden Markov Model: HMM), 신경 회로망을 이용한 방식 등이 있다.
동적 시간 와핑은 같은 사람이 같은 발음을 해도 신호의 길이가 시간에 따라 달라지는 음성의 동적 특성을 고려하여 기준 모델과 비교할 때 시간 축에서의 차이를 보상하는 방법이고, 히든 마르코프 모델은 음성을 상태 천이 확률 및 각 상태에서의 노드(출력 심볼)의 관찰 확률을 갖는 마르코프 프로세스로 가정한 후에 학습 데이터를 통해 상태 천이 확률 및 노드의 관찰 확률을 추정하고, 추정된 모델에서 입력된 음성이 발생할 확률을 계산하는 인식 기술이다.
한편, 단어나 음절 등의 언어적인 순서 관계를 모델링하는 언어 모델은 언어를 구성하는 단위들 간의 순서 관계를 음성 인식에서 얻어진 단위들에 적용함으로써 음향적인 모호성을 줄이고 인식의 오류를 줄일 수 있다. 언어 모델에는 통계적 언어 모델과 유한 상태 네트워크(Finite State Automata: FSA)에 기반한 모델이 있고, 통계적 언어 모델에는 Unigram, Bigram, Trigram 등 단어의 연쇄 확률이 이용된다.
음성 인식 장치(120)는 음성을 인식함에 있어 상술한 방식 중 어느 방식을 사용해도 무방하다. 예를 들어, 히든 마르코프 모델이 적용된 음향 모델을 사용할 수도 있고, 음향 모델과 음성 모델을 통합한 N-best 탐색법을 사용할 수 있다. N-best 탐색법은 음향 모델과 언어 모델을 이용하여 N개까지의 인식 결과 후보를 선택한 후, 이들 후보의 순위를 재평가함으로써 인식 성능을 향상시킬 수 있다.
음성 인식 장치(120)는 인식 결과의 신뢰성을 확보하기 위해 신뢰도 점수(confidence score)를 계산할 수 있다. 신뢰도 점수는 음성 인식 결과에 대해서 그 결과를 얼마나 믿을 만한 것인가를 나타내는 척도로서, 인식된 결과인 음소나 단어에 대해서, 그 외의 다른 음소나 단어로부터 그 말이 발화되었을 확률에 대한 상대값으로 정의할 수 있다. 따라서, 신뢰도 점수는 0 에서 1 사이의 값으로 표현할 수도 있고, 0 에서 100 사이의 값으로 표현할 수도 있다. 신뢰도 점수가 미리 설정된 임계값(threshold)보다 큰 경우에는 인식 결과를 인정하고, 작은 경우에는 인식 결과를 거절(rejection)할 수 있다.
신뢰도 점수가 임계값보다 크나, 사용자로부터 잘못된 인식이라는 피드백이 들어온 경우, 즉, 오인식인 경우, 음성 인식 장치(120)는 재인식을 수행하는바, 이 때 인식 환경을 이전의 인식에서와 동일하게 적용하게 되면 인식 결과가 개선될 가능성이 낮다. 따라서, 음성 인식 장치(120)는 인식 환경을 이전 인식 환경에서와 다르게 설정하여 음성 인식을 다시 수행한다.
또한, 이전의 인식 결과는 사용자가 의도했던 결과가 아니기 때문에 음성 인식 장치(120)는 재인식 과정의 검색 범위에서 이전의 인식 결과를 제외할 수 있다. 이 경우, 검색 범위가 줄어들기 때문에 검색에 소요되는 시간이 단축될 수 있다.
음성 인식 장치(120)에서 음성 재인식을 수행하는 구체적인 동작에 대해서는 후술하도록 한다.
음성 인식 장치(120)는 소프트웨어, 하드웨어 또는 이들의 조합을 이용하여 컴퓨터로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서(processor), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(micro-processor) 등의 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
소프트웨어적인 구현에 의하면, 적어도 하나의 기능 또는 동작을 수행하는 별개의 소프트웨어 모듈과 함께 구현될 수 있고, 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다.
사용자의 발화된 음성에는 차량의 제어를 위한 명령어가 포함될 수 있는바, 저장부(170)는 명령어와 그에 대응되는 이벤트를 미리 저장한다. 또한, 음성 인식 장치(120)나 제어부(130)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수도 있다.
저장부(170)는 플래시 메모리(flash memory), 하드디크스(hard disc), 메모리 카드, 롬(ROM:Read-Only Memory), 램(RAM:Random Access Memory), 메모리 카드, EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 저장 매체를 포함할 수 있다.
제어부(130)는 음성 인식 장치(120)에서의 음성 인식 결과를 AVN 디스플레이(141) 또는 음향 출력부(143)를 통해 사용자에게 제공할 수 있다. 일 예로서, N개의 인식 결과 후보들 중 임계값보다 큰 신뢰도 점수를 갖는 인식 결과 후보들을 제공하는 방법이 있다.
또한, 제어부(130)는 음성 인식 장치(120)에서 인식한 명령어에 대응되는 이벤트를 발생시키기 위한 제어를 실행한다. 예를 들어, 인식된 명령어에 따라 특정인에게 전화를 발신할 수도 있고, 네비게이션 기능을 제어할 수도 있으며, 오디오 기능을 제어할 수도 있다. 또는, 차량 공조 장치를 이용하여 차량(100) 내부의 온도를 제어하는 것도 가능하다.
제어부(130)는 음성 인식 장치(120)와 마찬가지로, 소프트웨어, 하드웨어 또는 이들의 조합을 이용하여 컴퓨터로 읽을 수 있는 기록 매체 내에서 구현될 수 있다.
도 4는 일 실시예에 따른 차량의 음성 인식 장치가 수행하는 음성 인식의 과정을 나타낸 흐름도이고, 도 5는 음성 인식 알고리즘을 적용함에 있어서 정확도 파라미터를 다르게 설정하는 동작을 나타낸 도면이다.
도 4를 참조하면, 사용자의 음성이 입력되면, 음성 인식 장치(120)는 사용자의 음성 데이터로부터 끝 지점 정보를 검출하고, 특징 벡터를 추출한다. 끝 지점 정보와 특징 벡터는 메모리(121)에 저장한다.
그리고, 추출된 특징 벡터를 이용하여 사용자의 음성 데이터에 대응되는 명령어를 검색한다. 전술한 바와 같이, N-best 탐색법에 따라 N개의 명령어 후보를 검색할 수 있고, N개의 명령어 후보에 대해 신뢰도 점수를 산출한다.
N개의 명령어 후보 중 신뢰도 점수가 미리 설정된 임계값보다 큰 명령어가 없는 경우에는 인식 결과에 대한 신뢰성을 보장할 수 없으므로 인식 결과를 거절(rejection)하고, N 개의 명령어 후보 중 신뢰도 점수가 미리 설정된 임계값보다 큰 명령어가 있는 경우에는 그 명령어 후보의 리스트를 사용자에게 제공할 수 있다. 이것이 입력된 음성에 대한 최종 인식 결과가 된다.
사용자에게 제공된 명령어 후보 리스트에 사용자가 의도한 명령어가 포함된 경우, 즉 음성 인식이 제대로 이루어진 경우에는 입력된 명령어에 대응되는 이벤트를 발생시킨다.
그러나, 제공된 명령어 후보의 리스트에 사용자가 의도한 명령어가 포함되지 않는 경우가 있다. 이 경우는 오인식에 해당하는바, 사용자는 피드백을 통해 인식 결과가 잘못되었음을 알린다.
기존에는 오인식에 해당하는 경우에, 다시 이전 단계로 돌아가서 사용자의 음성을 재입력하는 번거로운 과정을 거쳤으나, 일 실시예에 따른 차량(100)에서는 사용자가 재인식을 지시하면, 사용자의 음성을 재입력받지 않고서도 메모리(121)에 저장된 특징 벡터를 이용하여 명령어를 다시 검색할 수 있다.
사용자가 재인식을 지시하는 방법의 일 예로서, 재인식에 대응되는 명령어를 발화하여 음성 입력부(110)를 통해 입력할 수 있는 바, 재인식에 대응되는 명령어는 사용성 및 인식 성능을 고려하여 다양하게 설정될 수 있다. 또는, 차량(100)에 마련된 입력부(142,162,43)를 조작하여 재인식을 지시하는 것도 가능하다.
음성 인식 장치(120)는 명령어를 재인식하기 전에 인식 환경을 변경함으로써, 동일한 인식 결과가 나오는 것을 방지하고 인식 성능을 더 향상시킬 수 있다.
구체적으로, 인식 정확도를 더 향상시키는 방향으로 검색 파라미터(또는 엔진 파라미터)들을 업데이트하여 자동으로 재설정할 수 있다. 일 예로, 검색 파라미터는 정확도 파라미터를 포함할 수 있는바, 정확도 파라미터를 높게 설정할수록 인식 정확도가 향상된다. 따라서, 음성 인식 장치(120)는 명령어를 재인식하기 전에 정확도 파라미터를 높게 재설정할 수 있다.
히든 마르코프 모델을 이용하여 명령어를 검색하는 경우, 음성 인식 장치(120)는 복수의 노드로 이루어진 n개의 상태에 대한 상태 천이 확률 및 노드의 관찰 확률을 추정하고, 추정된 모델에서 입력된 음성이 발생할 확률을 계산한다.
각각의 노드는 음소를 나타내며, 상태의 개수 n은 한 단어를 구성하는 음소의 개수를 나타낼 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 각 상태 별 전체 노드 수가 26개인 경우 풀 검색(full search)을 수행하게 되면, n 번째 상태까지의 천이 확률을 계산하는데 26n 회의 검색이 소요된다. 이 경우, 검색의 정확도는 향상되나, 검색 속도가 느려진다. 정확도 파라미터는 음성 인식에 사용되는 검색 노드 수를 포함할 수 있다.
신속한 검색을 위해, 검색 노드 수의 초기 값은 제한되어 설정될 수 있다. 예를 들어, 검색 노드 수는 초기 값으로 5, 10과 같이 26보다 작은 값으로 축소되어 설정될 수 있다. 이로써 검색에 소요되는 시간을 줄이고 빠른 인식 결과를 얻을 수 있다.
그러나, 이미 이전의 인식 결과가 잘못된 경우에는 빠른 인식보다 정확한 인식이 더 중요해진다. 따라서, 음성 인식 장치(120)는 재인식 명령이 입력된 경우에는 검색 노드 수를 증가시킴으로써 인식 정확도를 향상시킬 수 있다. 이로 인해, 사용자로부터 명령어를 재입력 받지 않고 이전에 입력된 음성 데이터의 정보를 사용하더라도 다른 인식 결과를 얻을 수 있다.
또한, 이전에 인식되어 사용자에게 제공된 명령어 후보 리스트는 사용자가 의도한 명령어를 포함하고 있지 않다. 따라서, 재인식 시에는 검색 범위에서 이전의 최종 인식 결과를 제외한다. 검색 범위가 축소되므로, 검색에 소요되는 시간을 단축시킬 수 있다.
재설정한 정확도 파라미터에 따라 N개의 명령어 후보를 검색한 후, 이들에 대해 신뢰도 점수를 계산하고, 임계값과 비교하여 사용자에게 제공될 최종 명령어 후보 리스트를 추출한다.
이 때, 음성 인식 장치(120)는 임계값도 재설정할 수 있다. 사용자의 발화 상태 또는 주변 환경 등의 음성 입력 환경에 따라서 사용자가 발화한대로 정확한 인식 결과가 나왔음에도 불구하고 계산된 신뢰도 점수가 미리 설정된 임계값 이하이기 때문에 최종 명령어 후보 리스트에서 제외될 수 있다. 또한, 임계값 역시 실험 또는 통계에 따라 설정된 값은 아니기 때문에 정확하지 않은 경우가 있다.
따라서, 음성 인식 장치(120)는 신뢰도 점수와 비교되는 임계값을 초기 설정값보다 더 낮게 재설정함으로써 사용자에게 보다 많은 명령어 후보를 보여줄 수 있다.
다시 도 4를 참조하면, N개의 명령어 후보 중 신뢰도 점수가 미리 설정된 임계값보다 큰 명령어가 없어 거절(rejection)된 경우에는 사용자로부터 음성을 재입력 받고, 재인식을 수행한다. 이 경우에도 음성 인식 장치(120)는 정확도 파라미터 및 신뢰도 점수에 대한 임계값 중 적어도 하나를 재설정할 수 있다.
인식 결과가 거절된 경우 또는 사용자로부터 재인식 명령이 입력된 경우에 정확도 파라미터 또는 신뢰도 점수에 대한 임계값을 재설정하거나 이전의 인식 결과를 검색 범위에서 제외시켜 재인식을 수행한 이후에는 인식 환경을 다시 초기화시킨다. 정확도 파라미터를 증가시킨 경우에는 재인식 후에 다시 미리 설정되어 있던 초기값으로 리셋하고, 신뢰도 점수에 대한 임계값을 재설정한 경우에는 재인식 후에 다시 미리 설정되어 있던 초기값으로 리셋한다.
또한, 이전의 인식 결과를 검색 범위에서 제외시킨 경우에는 재인식 후에 이들을 다시 포함시킨다.
한편, 음성 인식 장치(120)가 N-best 탐색법을 적용하지 않는 경우에도, 상술한 재인식 방식이 동일하게 적용될 수 있다. 예를 들어, 인식 결과에 해당하는 하나의 최종 명령어 후보를 사용자에게 제공할 수 있는바, 이 경우는 N-best 탐색법이 적용된 경우처럼 여러 후보들 중 하나를 선택 받는 것이 아니라, 음성 인식 결과를 사용자에게 최종 확인 받는 것이 된다.
이 경우에도, 사용자가 재인식 명령을 입력하면, 전술한 바와 같이 정확도 파라미터를 높여서 재설정하고, 신뢰도 점수에 대한 임계값은 낮춰서 재설정할 수 있다. 또한, 이전 인식 결과인 최종 명령어 후보는 검색 범위에서 제외된다. 그리고, 재인식이 완료된 이후에는 재설정한 파라미터와 임계값을 다시 초기값으로 리셋하고, 제외되었던 최종 명령어 후보는 다시 검색 범위에 포함시킨다.
이하, 구체적인 예시를 이용하여 차량(100)이 사용자의 음성을 인식하는 동작을 구체적으로 설명하도록 한다.
도 6은 음성 인식의 실행 초기에 AVN 디스플레이에 표시될 수 있는 화면의 예시를 나타낸 도면이고, 도 7 및 도 8은 사용자의 발화에 따라 AVN 디스플레이에 표시될 수 있는 화면의 예시를 나타낸 도면이다.
사용자로부터 음성 인식 실행 명령이 입력될 수 있고, 차량(100)은 상기 음성 인식 실행 명령이 입력된 경우에 음성 인식을 실행하는 것으로 할 수 있다. 예를 들어, 사용자는 스티어링 휠(12)에 마련된 입력부(162)를 조작하여 음성 인식 실행 명령을 입력할 수 있으나, 차량(100)의 실시예가 이에 한정되는 것은 아닌바, 음성 인식 실행 명령을 입력하기 위해AVN 입력부(142)를 조작하는 것도 가능하고 죠그 셔틀(43)을 조작하는 것도 가능하다.
음성 인식 실행 명령이 입력되면, 음성 인식 대기 상태가 된다. 예를 들어, 음성 입력부(110)가 온(on)되어 사용자의 음성을 입력 받을 수 있는 상태가 되고, 도 6에 도시된 바와 같이 자주 사용되는 명령어를 AVN 디스플레이(141)에 표시함으로써 사용자의 발화를 도울 수 있다.
일 예로, 사용자가 전화를 걸기 위해 도 6에 도시된 바와 같이 "Call James"라는 명령어를 발화하여 음성 입력부(110)에 입력한 경우, 음성 인식 장치(120)는 "Call"과 "James"를 인식하기 위해 전술한 바와 같은 음성 인식을 수행한다.
"Call" 이라는 명령어는 전화 걸기 이벤트에 맵핑되어 저장될 수 있고, 전화 수신 대상은 뒤의 <Name>이 된다. 저장부(170)에는 이름과 전화 번호가 매핑되어 저장될 수 있는바, 음성 인식 장치(120)가 "Call"과 "James"를 인식하면, 제어부(130)는 AVN 장치(140)가 "James"에 맵핑되어 저장된 전화 번호에 전화 걸기 동작을 수행하도록 제어할 수 있다.
음성 인식 장치(120)가 "Call"을 인식한 경우, 뒤의 <Name>에 해당하는 단어를 N-best 탐색법에 따라 검색하여 도 7에 도시된 바와 같이 N-best 리스트(141a)로 제공할 수 있다. N-best 리스트에 포함된 단어들은 명령어 후보들에 해당하고, 당해 예시에서는 전화 수신 대상인 <Name>의 후보들에 해당한다.
한편, AVN 디스플레이(141)에는 저장부(170)에 전화 번호와 함께 맵핑되어 저장된 <Name>의 후보들만 표시되는 것도 가능하고, 저장부(170)에 전화 번호와 함께 맵핑되어 저장되지 않았더라도 일단 표시한 이후에 사용자가 최종적으로 선택하면 그와 맵핑되어 저장된 전화 번호가 없음을 알려줄 수도 있다.
도 7을 참조하면, 사용자는 "Call James"라는 명령어를 발화하였으나, AVN 디스플레이(141)에 표시된 N-best 리스트(141a)에는 "James"가 포함되어 있지 않다. 즉, 음성 인식 장치(120)의 최종 인식 결과가 잘못된 경우에 해당하는바, 사용자는 오인식에 해당한다는 피드백을 제공한다.
일 예로, 도 8에 도시된 바와 같이, "Re-searching"이라는 명령어를 발화하여 음성 입력부(110)에 입력할 수 있다. "Re-searching"은 재인식 명령에 맵핑된 명령어의 일 예로서, 이 외에도 사용자의 사용성 및 음성 인식 엔진의 인식 성능을 고려하여 다양한 명령어가 재인식 명령어로서 설정될 수 있다.
음성 인식 장치(120)가 "Re-searching"이라는 명령어를 인식하면, "James"에 대한 음성 인식을 다시 수행한다. 사용자가 처음에 발화하여 메모리(121)에 저장된 음성 데이터를 다시 이용할 수 있으므로, 사용자의 음성을 재입력 받지 않아도 된다.
음성 인식 장치(120)는 인식 정확도를 더 향상시키는 방향으로 검색 파라미터(또는 엔진 파라미터)들을 업데이트하여 자동으로 재설정하는 바, 전술한 바와 같이 검색 노드 수를 포함하는 정확도 파라미터를 증가시켜 재설정할 수 있다.
또한, 신뢰도 점수에 대한 임계값은 낮춰서 재설정할 수도 있다. 다른 인식 환경은 변경하지 않고 신뢰도 점수에 대한 임계값만 낮춰서 재설정한 경우를 나타내는 도면인 도 9의 예시를 이용하여 설명한다.
도 9의 예시에 따르면, 사용자가 발화한 명령어인 "James"도 검색이 되었으나, 신뢰도 점수에 대한 임계값이 100점 만점에 80점으로 설정되어 80점보다 큰 신뢰도 점수를 갖는 명령어 후보인 "Jane", "Jason", "John", "Johnson", "Jay" 만 최종 인식 결과로서 사용자에게 제공되는 경우가 있을 수 있다. 즉, 음성 입력 환경에 따라 실제 입력된 명령어가 낮은 신뢰도 점수를 갖게 되는 경우도 있을 수 있다.
이 경우, 도 9에 도시된 바와 같이 신뢰도 점수에 대한 임계값을 75점으로 낮춰주면 더 많은 명령어 후보들을 사용자에게 제공할 수 있게 되고, 여기에는 "James"가 포함되어 최종적으로 올바른 인식 결과를 제공할 수 있게 된다.
한편, 검색 범위에서 이전의 최종 인식 결과를 제외할 수도 있는바, 도 8의 예시에 따르면, "Jane", "Jason", "John", "Johnson", "Jay" 는 사용자가 의도한 명령어가 아니므로 재인식 시의 검색 범위에서 제외된다. 검색 범위가 축소되므로 검색에 소요되는 시간을 단축시킬 수 있다.
상술한 바에 따라 음성 인식 장치(120)가 재인식을 수행하면, 상기 도 8에 도시된 바와 같이 재인식 결과를 AVN 디스플레이(141)에 표시할 수 있고, 재인식 결과를 나타내는 N-best 리스트(141a)에는 사용자가 발화한 "James"가 포함되어 올바른 인식 결과를 사용자에게 제공할 수 있게 된다.
사용자는 "James" 또는 "James"에 넘버링된 번호 "1"을 발화하여 음성 입력부(110)에 입력할 수 있고, 제어부(130)는 "James"에 맵핑된 전화 번호에 전화를 걸도록 AVN 장치(140)를 제어할수 있다.
도 10은 음성 인식 결과가 거절된 경우에 AVN 디스플레이에 표시될 수 있는 화면의 예시를 나타낸 도면이다.
검색된 명령어 중 신뢰도 점수가 미리 설정된 임계값보다 큰 명령어가 없어 인식 결과가 거절된 경우에는 도 10에 도시된 바와 같이, AVN 디스플레이(141)는 인식 결과가 거절되었음을 사용자에게 알리고 음성의 재입력을 유도할 수 있는 메시지(141b)를 표시할 수 있다.
이 경우에도 인식 환경이 재설정될 수 있고, 여기서 재인식되는 인식 환경에는 정확도 파라미터와 신뢰도 점수에 대한 임계값이 포함될 수 있다.
사용자가 음성을 재입력하면, 재설정된 인식 환경에 따라 음성 인식을 다시 수행한다. 재인식이 완료되면, 재설정된 인식 환경은 다시 초기값으로 리셋한다.
도 11 및 도 12는 사용자의 발화에 따라 AVN 디스플레이에 표시될 수 있는 화면의 다른 예시를 나타낸 도면이다.
전술한 바와 같이, 차량(100)은 N-best 탐색법을 적용하지 않고, 하나의 인식 결과만 제공하여 사용자로부터 확인을 받는 것도 가능하다. 예를 들어, 음성 인식 장치(120)에서 인식한 명령어가 "Johnson"인 경우, 도 11에 도시된 바와 같이 AVN 디스플레이(141)에 Johnson에게 전화를 걸 것인지 여부를 최종적을 확인 받기 위한 메시지(141c)를 표시할 수 있다.
이 경우에도 사용자가 재인식 명령어를 발화하면, 음성 인식 장치(120)는 상술한 바와 같이 재인식을 수행하고, 재인식이 완료되면 다시 그 결과를 사용자에게 제공하여 확인을 받는다. 예를 들어, 재인식으로 인해 "James"가 검색된 경우, 도 12에 도시된 바와 같이 James에게 전화를 것 건인지 여부를 최종적으로 확인 받기 위한 메시지(141d)를 표시할 수 있고, 사용자는 "예"를 발화하여 음성 입력부(110)에 입력할 수 있다.
"예"가 입력된 경우, 제어부(130)는 "James"에 맵핑된 전화 번호에 전화를 걸도록 AVN 장치(140)를 제어할수 있다.
한편, 재인식 결과에도 사용자의 실제 명령어가 포함되지 않은 경우에는 다시 재인식 명령을 입력하여 재인식이 다시 실행되도록 할 수 있다.
상기 예시들에서는 사용자가 전화를 걸기 위한 명령어를 발화한 경우를 예로 들었으나, 라디오를 켜거나 음악 파일을 재생시키거나 목적지를 검색하여 네비게이션을 동작시키는 경우 등 음성 인식이 적용될 수 있는 다른 경우에도 상술한 음성 인식 과정, 특히 재인식 과정이 사용될 수 있다.
이하, 음성 인식 방법의 실시예를 설명한다.
도 13은 일 실시예에 따른 음성 인식 방법에 관한 순서도이다.
일 실시예에 따른 음성 인식 방법에는 전술한 실시예에 따른 차량(100)이 수행한 음성 인식 동작이 적용될 수 있는바, 전술한 설명이 당해 실시예에도 적용될 수 있음은 물론이다.
도 13을 참조하면, 먼저 사용자로부터 명령어를 입력 받는다(211). 이는 음성 인식의 실행을 전제로 하는바, 예를 들어, 사용자는 입력부(162, 142, 43)를 조작하여 음성 인식 실행 명령을 입력한 이후에 음성으로 명령어를 입력할 수 있다. 명령어는 차량(100) 내부에 마련된 음성 입력부(110)를 통해 입력될 수 있다.
명령어가 입력되면, 음성 인식 장치(120)가 입력된 명령어를 음성 데이터로 변환하고 음성 데이터로부터 끝지점을 검출하고 특징 벡터를 추출한다(212). 끝지점에 관한 정보와 특징 벡터는 메모리(121)에 저장될 수 있다.
그리고, 음성 인식 장치(120)는 추출된 특징 벡터를 이용하여 음성 데이터에 대응되는 명령어를 검색한다(213). 음성 데이터에 대응되는 명령어는 음성 인식 엔진의 데이터 베이스에서 검색될 수 있고, 데이터 베이스는 메모리(121)에 포함될 수 있다.
검색 이후에는 그 결과를 검증하기 위해 신뢰도 점수를 계산한다(215). 검색된 명령어가 복수인 경우에는 각각의 명령어에 대해 신뢰도 점수를 계산한다. 계산된 신뢰도 점수가 미리 설정된 임계값보다 모두 작은 경우에는 인식 결과의 신뢰성을 보장할 수 없기 때문에 거절(Rejection)된다(216의 예).
반면에, 하나의 신뢰도 점수라도 미리 설정된 임계값보다 큰 경우에는(216의 아니오) 거절에 해당하지 않으며, 최종 인식 결과를 사용자에게 제공한다.
최종 인식 결과를 사용자에게 제공하는 방식에는 제한이 없는 바, 예를 들어, AVN 디스플레이(141)에 최종 인식 결과를 텍스트로 표시할 수도 있고, 음향 출력부(143)를 통해 음성으로 출력할 수도 있다.
인식 결과가 거절된 경우에는, 인식 환경을 변경한다(217). 즉, 인식 환경을 재설정하는바, 재설정되는 인식 환경은 정확도 파라미터 및 신뢰도 점수에 대한 임계값 중 적어도 하나를 포함할 수 있다.
그리고, 사용자로부터 음성을 재입력 받고(218), 재설정된 인식 환경에 따라 재입력된 음성에 대한 인식을 다시 수행한다(219). 재인식이 완료되면, 재설정된 인식 환경을 다시 초기화시킨다(220).
인식 결과가 거절되지는 않았으나, 사용자에게 제공된 최종 인식 결과에 사용자가 의도한 명령어가 포함되지 않는 경우에는 오인식에 해당하는바(221의 예), 오인식에 해당하는지 여부에 대한 판단은 사용자의 피드백에 기초할 수 있다. 즉, 사용자가 재인식 명령을 입력하면, 오인식에 해당하는 것으로 판단할 수 있다.
오인식에 해당하는 경우에도 인식 환경을 변경하고(222), 재인식을 수행한다(223). 다만, 이 경우에 변경되는 인식 환경에는 정확도 파라미터 및 신뢰도 점수에 대한 임계값뿐만 아니라 검색 범위도 포함될 수 있다. 구체적으로, 사용자에게 제공된 최종 인식 결과를 재인식 시의 검색 범위에서 제외시킬 수 있다.
재인식이 완료되면, 인식 환경을 다시 초기값으로 리셋한다(224).
한편, 재인식이 수행된 경우에도 그 인식 결과에 대한 신뢰도 값에 따라 최종 인식 결과를 사용자에게 제공할 수 있고, 다시 거절되거나 다시 재인식 명령이 입력된 경우에는 상술한 과정을 다시 되풀이할 수 있다.
100 : 차량 110 : 음성 입력부
120 : 음성 인식 장치 121 : 메모리
122 : 음성 인식부 130 : 제어부
140 : AVN 장치 170 : 저장부

Claims (26)

  1. 음성을 입력 받는 음성 입력부;
    상기 입력된 음성을 인식하고, 상기 입력된 음성에 대한 인식 결과에 해당하는 적어도 하나의 명령어를 출력하는 음성 인식부;를 포함하고,
    상기 음성 인식부는,
    사용자로부터 재인식 명령이 입력되면, 음성 인식에 적용되는 인식 환경을 재설정하여 상기 입력된 음성을 재인식하고, 상기 재인식이 완료되면 상기 재설정된 인식 환경을 초기값으로 리셋하는 차량.
  2. 제 1 항에 있어서
    상기 음성 인식부는,
    상기 입력된 음성에 대응되는 적어도 하나의 명령어를 검색하고, 상기 검색된 명령어 중 신뢰도 점수(confidence score)가 미리 설정된 임계값(threshold)보다 큰 명령어를 상기 인식 결과로서 출력하는 차량.
  3. 제 2 항에 있어서,
    상기 인식 환경은,
    음성 인식의 정확도와 관련된 정확도 파라미터, 상기 신뢰도 점수에 대한 임계값 및 검색 범위 중 적어도 하나를 포함하는 차량.
  4. 제 3 항에 있어서
    상기 정확도 파라미터는,
    검색 노드(node)의 수에 관한 정보를 나타내고,
    상기 검색 노드의 수가 증가할수록 음성 인식의 정확도가 증가하는 차량.
  5. 제 4 항에 있어서,
    상기 음성 인식부는,
    상기 정확도 파라미터를 증가시켜 재설정하는 차량.
  6. 제 3 항에 있어서,
    상기 음성 인식부는,
    상기 신뢰도 점수에 대한 임계값을 감소시켜 재설정하는 차량.
  7. 제 3 항에 있어서,
    상기 음성 인식부는,
    상기 재인식 명령이 입력되기 전에 출력된 인식 결과를 상기 재인식 시의 검색 범위에서 제외하는 차량.
  8. 제 1 항에 있어서,
    상기 음성 인식부는,
    상기 입력된 음성을 음성 데이터로 변환하고, 상기 음성 데이터로부터 끝 지점 정보를 검출하여 음성 구간을 판단하고, 상기 음성 구간에서 특징 벡터를 추출하고,
    상기 검출된 끝 지점 정보 및 상기 추출된 특징 벡터를 저장하는 메모리를 더 포함하는 차량.
  9. 제 8 항에 있어서,
    상기 음성 인식부는,
    사용자로부터 재인식 명령이 입력되면, 상기 메모리에 저장된 끝 지점 정보 및 특징 벡터를 이용하여 상기 입력된 음성을 재인식하는 차량.
  10. 제 2 항에 있어서,
    상기 음성 인식부는,
    상기 검색된 명령어 중 신뢰도 점수(confidence score)가 미리 설정된 임계값(threshold)보다 큰 명령어가 존재하지 않는 경우에는, 음성 인식에 적용되는 인식 환경을 재설정하고, 사용자로부터 재입력된 음성을 상기 재설정된 인식 환경에 따라 인식하는 차량.
  11. 제 10 항에 있어서,
    상기 인식 환경은,
    음성 인식의 정확도와 관련된 정확도 파라미터 및 상기 신뢰도 점수에 대한 임계값을 포함하는 차량
  12. 입력된 음성에 관한 정보를 저장하는 메모리; 및
    상기 입력된 음성을 인식하고, 상기 입력된 음성에 대한 인식 결과에 해당하는 적어도 하나의 명령어를 출력하는 음성 인식부;를 포함하고,
    상기 음성 인식부는,
    사용자로부터 재인식 명령이 입력되면, 음성 인식에 적용되는 인식 환경을 재설정하여 상기 입력된 음성을 재인식하고, 상기 재인식이 완료되면 상기 재설정된 인식 환경을 초기값으로 리셋하는 음성 인식 장치.
  13. 제 12 항에 있어서,
    상기 음성 인식부는,
    상기 입력된 음성에 대응되는 적어도 하나의 명령어를 검색하고, 상기 검색된 명령어 중 신뢰도 점수(confidence score)가 미리 설정된 임계값(threshold)보다 큰 명령어를 상기 인식 결과로서 출력하는 음성 인식 장치.
  14. 제 13 항에 있어서
    상기 인식 환경은,
    음성 인식의 정확도와 관련된 정확도 파라미터, 상기 신뢰도 점수에 대한 임계값 및 검색 범위 중 적어도 하나를 포함하는 음성 인식 장치.
  15. 제 14 항에 있어서
    상기 정확도 파라미터는,
    검색 노드(node)의 수에 관한 정보를 나타내고,
    상기 검색 노드의 수가 증가할수록 음성 인식의 정확도가 증가하는 음성 인식 장치.
  16. 제 15 항에 있어서,
    상기 음성 인식부는,
    상기 정확도 파라미터를 증가시켜 재설정하는 음성 인식 장치.
  17. 제 13 항에 있어서,
    상기 음성 인식부는,
    상기 신뢰도 점수에 대한 임계값을 감소시켜 재설정하는 음성 인식 장치.
  18. 제 14 항에 있어서,
    상기 음성 인식부는,
    상기 재인식 명령이 입력되기 전에 출력된 인식 결과를 재인식 시의 검색 범위에서 제외하는 음성 인식 장치.
  19. 제 12 항에 있어서,
    상기 음성 인식부는,
    상기 음성 데이터로부터 끝 지점 정보를 검출하여 음성 구간을 판단하고, 상기 음성 구간에서 특징 벡터를 추출하고,
    상기 입력된 음성에 관한 정보는,
    상기 검출된 끝 지점 정보 및 상기 추출된 특징 벡터를 포함하는 음성 인식 장치.
  20. 제 19 항에 있어서,
    상기 음성 인식부는,
    사용자로부터 재인식 명령이 입력되면, 상기 메모리에 저장된 끝 지점 정보 및 특징 벡터를 이용하여 상기 입력된 음성을 재인식하는 음성 인식 장치.
  21. 음성이 입력되면, 상기 입력된 음성을 인식하고;
    상기 입력된 음성의 인식 결과에 해당하는 적어도 하나의 명령어를 출력하고;
    사용자로부터 재인식 명령이 입력되면, 음성 인식의 정확도와 관련된 정확도 파라미터, 신뢰도 점수(confidence score)에 대한 임계값(threshold) 및 검색 범위 중 적어도 하나를 포함하는 인식 환경을 재설정하고;
    상기 재설정된 인식 환경을 적용하여 상기 입력된 음성을 다시 인식하는 것을 포함하는 음성 인식 방법.
  22. 제 21 항에 있어서
    상기 재인식이 완료되면, 상기 재설정된 인식 환경을 다시 초기값으로 리셋하는 것을 더 포함하는 음성 인식 방법.
  23. 제 21 항에 있어서
    상기 정확도 파라미터는,
    검색 노드(node)의 수에 관한 정보를 나타내고,
    상기 검색 노드의 수가 증가할수록 음성 인식의 정확도가 증가하는 음성 인식 방법.
  24. 제 23 항에 있어서,
    상기 인식 환경을 재설정하는 것은,
    상기 정확도 파라미터를 증가시켜 재설정하는 것을 포함하는 음성 인식 방법.
  25. 제 21 항에 있어서,
    상기 인식 환경을 재설정하는 것은,
    상기 신뢰도 점수에 대한 임계값을 감소시켜 재설정하는 것을 포함하는 음성 인식 방법.
  26. 제 21 항에 있어서,
    상기 인식 환경을 재설정하는 것은,
    상기 재인식 명령이 입력되기 전에 출력된 인식 결과를 재인식 시의 검색 범위에서 제외하는 것을 포함하는 음성 인식 방법.
KR1020140095891A 2014-07-28 2014-07-28 음성 인식 장치, 이를 포함하는 차량 및 음성 인식 방법 KR101598948B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140095891A KR101598948B1 (ko) 2014-07-28 2014-07-28 음성 인식 장치, 이를 포함하는 차량 및 음성 인식 방법
US14/562,243 US9812125B2 (en) 2014-07-28 2014-12-05 Speech recognition device, vehicle having the same, and speech recognition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140095891A KR101598948B1 (ko) 2014-07-28 2014-07-28 음성 인식 장치, 이를 포함하는 차량 및 음성 인식 방법

Publications (2)

Publication Number Publication Date
KR20160013720A KR20160013720A (ko) 2016-02-05
KR101598948B1 true KR101598948B1 (ko) 2016-03-02

Family

ID=55167207

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140095891A KR101598948B1 (ko) 2014-07-28 2014-07-28 음성 인식 장치, 이를 포함하는 차량 및 음성 인식 방법

Country Status (2)

Country Link
US (1) US9812125B2 (ko)
KR (1) KR101598948B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020096078A1 (ko) * 2018-11-06 2020-05-14 주식회사 시스트란인터내셔널 음성인식 서비스를 제공하기 위한 방법 및 장치
US11948569B2 (en) 2021-07-05 2024-04-02 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11126525B2 (en) * 2015-09-09 2021-09-21 Arris Enterprises Llc In-home legacy device onboarding and privacy enhanced monitoring
US10083685B2 (en) * 2015-10-13 2018-09-25 GM Global Technology Operations LLC Dynamically adding or removing functionality to speech recognition systems
US20170365249A1 (en) * 2016-06-21 2017-12-21 Apple Inc. System and method of performing automatic speech recognition using end-pointing markers generated using accelerometer-based voice activity detector
US10607601B2 (en) * 2017-05-11 2020-03-31 International Business Machines Corporation Speech recognition by selecting and refining hot words
KR102441063B1 (ko) * 2017-06-07 2022-09-06 현대자동차주식회사 끝점 검출 장치, 그를 포함한 시스템 및 그 방법
KR101910385B1 (ko) 2017-06-22 2018-10-22 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
US20190096397A1 (en) * 2017-09-22 2019-03-28 GM Global Technology Operations LLC Method and apparatus for providing feedback
KR102485342B1 (ko) * 2017-12-11 2023-01-05 현대자동차주식회사 차량의 환경에 기반한 추천 신뢰도 판단 장치 및 방법
CN108682419A (zh) * 2018-03-30 2018-10-19 京东方科技集团股份有限公司 语音控制方法及设备、计算机可读存储介质及设备
CN110610695B (zh) * 2018-05-28 2022-05-17 宁波方太厨具有限公司 一种基于孤立词的语音识别方法及应用有该方法的吸油烟机
CN108877334B (zh) * 2018-06-12 2021-03-12 广东小天才科技有限公司 一种语音搜题方法及电子设备
US11037556B2 (en) 2018-07-17 2021-06-15 Ford Global Technologies, Llc Speech recognition for vehicle voice commands
KR102613210B1 (ko) * 2018-11-08 2023-12-14 현대자동차주식회사 차량 및 그 제어방법
CN110364162B (zh) * 2018-11-15 2022-03-15 腾讯科技（深圳）有限公司 一种人工智能的重置方法及装置、存储介质
KR20200063521A (ko) * 2018-11-28 2020-06-05 삼성전자주식회사 전자 장치 및 이의 제어 방법
US11620993B2 (en) * 2021-06-09 2023-04-04 Merlyn Mind, Inc. Multimodal intent entity resolver
CN116959421B (zh) * 2023-09-21 2023-12-19 湖北星纪魅族集团有限公司 处理音频数据的方法及装置、音频数据处理设备和介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3926242B2 (ja) 2002-09-19 2007-06-06 富士通株式会社 音声対話システム、音声対話のためのプログラムおよび音声対話方法
WO2009008115A1 (ja) 2007-07-09 2009-01-15 Mitsubishi Electric Corporation 音声認識装置およびナビゲーションシステム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3580643B2 (ja) 1996-07-24 2004-10-27 株式会社デンソー 音声認識方法及び音声認識装置
KR100480506B1 (ko) * 1997-08-01 2005-07-07 엘지전자 주식회사 음성 인식 방법
JP4212947B2 (ja) 2003-05-02 2009-01-21 アルパイン株式会社 音声認識システムおよび音声認識の訂正・学習方法
US8005668B2 (en) * 2004-09-22 2011-08-23 General Motors Llc Adaptive confidence thresholds in telematics system speech recognition
GB2428853A (en) * 2005-07-22 2007-02-07 Novauris Technologies Ltd Speech recognition application specific dictionary
KR100738414B1 (ko) 2006-02-06 2007-07-11 삼성전자주식회사 텔레매틱스 환경에서 음성 인식의 성능을 향상시키기 위한방법 및 상기 방법을 수행하는 장치
JP5089955B2 (ja) 2006-10-06 2012-12-05 三菱電機株式会社 音声対話装置
US8532989B2 (en) * 2009-09-03 2013-09-10 Honda Motor Co., Ltd. Command recognition device, command recognition method, and command recognition robot
KR101724748B1 (ko) * 2011-12-06 2017-04-19 현대자동차주식회사 차량용 음성인식 장치
WO2013170383A1 (en) * 2012-05-16 2013-11-21 Xtreme Interactions Inc. System, device and method for processing interlaced multimodal user input

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3926242B2 (ja) 2002-09-19 2007-06-06 富士通株式会社 音声対話システム、音声対話のためのプログラムおよび音声対話方法
WO2009008115A1 (ja) 2007-07-09 2009-01-15 Mitsubishi Electric Corporation 音声認識装置およびナビゲーションシステム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020096078A1 (ko) * 2018-11-06 2020-05-14 주식회사 시스트란인터내셔널 음성인식 서비스를 제공하기 위한 방법 및 장치
CN113016030A (zh) * 2018-11-06 2021-06-22 株式会社赛斯特安国际 提供语音识别服务的方法及装置
US11948569B2 (en) 2021-07-05 2024-04-02 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof

Also Published As

Publication number Publication date
KR20160013720A (ko) 2016-02-05
US9812125B2 (en) 2017-11-07
US20160027436A1 (en) 2016-01-28

Similar Documents

Publication Publication Date Title
KR101598948B1 (ko) 음성 인식 장치, 이를 포함하는 차량 및 음성 인식 방법
KR101579533B1 (ko) 차량 및 그 제어 방법
US9756161B2 (en) Voice recognition apparatus, vehicle having the same, and method of controlling the vehicle
US10854195B2 (en) Dialogue processing apparatus, a vehicle having same, and a dialogue processing method
JP4412504B2 (ja) 音声認識装置、音声認識方法、及び音声認識用プログラム
JP4188989B2 (ja) 音声認識装置、音声認識方法、及び音声認識プログラム
JP2008064885A (ja) 音声認識装置、音声認識方法、及び音声認識プログラム
JP2008058409A (ja) 音声認識方法及び音声認識装置
US10770070B2 (en) Voice recognition apparatus, vehicle including the same, and control method thereof
JP2008089625A (ja) 音声認識装置、音声認識方法及び音声認識プログラム
US11783806B2 (en) Dialogue system and dialogue processing method
JP2008076811A (ja) 音声認識装置、音声認識方法及び音声認識プログラム
US10158745B2 (en) Vehicle and communication control method for determining communication data connection for the vehicle
KR101875440B1 (ko) 차량 및 그 제어방법
KR101804765B1 (ko) 차량 및 그 제어방법
KR101804766B1 (ko) 음성 인식 장치, 이를 포함하는 차량 및 그 제어방법
KR102527346B1 (ko) 차량용 음성 인식 장치, 이를 이용한 차량의 주행상태를 고려한 응답 제공 방법 및 컴퓨터 프로그램
KR101630159B1 (ko) 차량 및 그 제어방법
JP2005070330A (ja) 音声認識装置及びプログラム
JP2010175921A (ja) 音声認識装置
KR20180075031A (ko) 대화 처리 장치, 이를 포함하는 차량 및 대화 처리 방법
JP2008076812A (ja) 音声認識装置、音声認識方法、及び音声認識プログラム
JP2006184421A (ja) 音声認識装置及び音声認識方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190130

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191219

Year of fee payment: 5