KR101619260B1 - Voice recognition device and method in vehicle - Google Patents

Voice recognition device and method in vehicle Download PDF

Info

Publication number
KR101619260B1
KR101619260B1 KR1020140155660A KR20140155660A KR101619260B1 KR 101619260 B1 KR101619260 B1 KR 101619260B1 KR 1020140155660 A KR1020140155660 A KR 1020140155660A KR 20140155660 A KR20140155660 A KR 20140155660A KR 101619260 B1 KR101619260 B1 KR 101619260B1
Authority
KR
South Korea
Prior art keywords
microphone
vehicle
voice data
voice
unit
Prior art date
Application number
KR1020140155660A
Other languages
Korean (ko)
Inventor
방규섭
Original Assignee
현대자동차 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차 주식회사 filed Critical 현대자동차 주식회사
Priority to KR1020140155660A priority Critical patent/KR101619260B1/en
Priority to US14/931,459 priority patent/US9870770B2/en
Priority to CN201510757125.3A priority patent/CN105590624B/en
Application granted granted Critical
Publication of KR101619260B1 publication Critical patent/KR101619260B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude

Abstract

A voice recognition device and a voice recognition method in a vehicle are disclosed. According to one embodiment of the present invention, the voice recognition device in a vehicle is connected to a mobile device of a passenger in a vehicle through a near field wireless communication. The voice recognition device comprises: a first microphone installed inside the vehicle to collect voice data of the passenger in the vehicle; a noise removal unit removing a noise of the voice data collected from the first microphone or a second microphone of the mobile device; and a voice recognition unit recognizing a voice through the voice data transmitted from the noise removal unit.

Description

차량 내 음성인식 장치 및 방법{VOICE RECOGNITION DEVICE AND METHOD IN VEHICLE}TECHNICAL FIELD [0001] The present invention relates to a voice recognition apparatus and a voice recognition method in a vehicle,

차량 내 음성인식 장치 및 방법이 제공된다.An in-vehicle speech recognition apparatus and method are provided.

최근에는 차량 내 편의장치들이 운전자의 음성 인식 결과에 기초하여 동작하므로 운전자가 직접 편의장치를 조작할 필요가 없다는 점에서 운전 집중도를 높일 수 있다. 그러나, 음성인식장치 또는 핸즈프리장치를 사용하는 경우 차량 운행 중 발생하는 차체소음이나 외부소음으로 인해 음성인식 성능 및 핸즈프리 통화음질이 저하된다. 이러한 문제를 해결하기 위해 차량 내에 고감도 마이크로폰을 설치하거나 2개 이상의 마이크로폰을 갖는 마이크로폰 어레이 시스템을 설치하여 음성인식에 활용하고 있으나, 이러한 방법은 차량 내에 마이크로폰 설치를 위한 공간을 별도로 확보해야 하며 설치 비용이 발생한다.In recent years, since the convenience devices in the vehicle operate based on the result of speech recognition by the driver, the driver can increase the concentration of the driver since it is not necessary to directly operate the convenience device. However, when a voice recognition device or a handsfree device is used, speech recognition performance and hands-free speech quality are deteriorated due to body noise or external noise generated during vehicle operation. In order to solve such a problem, a high-sensitivity microphone is installed in a vehicle or a microphone array system having two or more microphones is installed for voice recognition. However, this method requires a space for installing a microphone in the vehicle, Occurs.

본 발명의 하나의 실시예가 해결하려는 과제는 차량 탑승자의 모바일기기의 마이크로폰과 차량 내에 설치된 마이크로폰을 이용하여 차량 탑승자의 음성데이터를 수집하고 음성인식을 수행하는 차량 내 음성인식 장치 및 방법을 제공하는 것이다.An object to be solved by one embodiment of the present invention is to provide an in-vehicle voice recognition apparatus and method for collecting voice data of a vehicle occupant and performing voice recognition using a microphone of a mobile device of a vehicle occupant and a microphone installed in the vehicle .

상기 과제 이외에도 구체적으로 언급되지 않은 다른 과제를 달성하는 데 본 발명에 따른 실시예가 사용될 수 있다.Embodiments according to the present invention can be used to accomplish other tasks not specifically mentioned other than the above-described tasks.

상기 과제를 해결하기 위해 본 발명의 하나의 실시예는, 차량 탑승자의 모바일기기와 근거리 무선통신으로 연결되는 차량 내 음성인식 장치에 있어서, 차량 내부에 설치되어 차량 탑승자의 음성데이터를 수집하는 제1 마이크로폰, 상기 제1 마이크로폰 또는 상기 모바일기기의 제2 마이크로폰으로부터 수집된 음성데이터의 잡음을 제거하는 잡음제거부, 그리고 상기 잡음제거부로부터 전송된 음성데이터를 통해 음성 인식을 수행하는 음성인식부를 포함하는 차량 내 음성인식 장치를 제안한다.According to an embodiment of the present invention, there is provided an in-vehicle voice recognition device connected to a mobile device of a vehicle occupant by short-distance wireless communication, the voice recognition device comprising: And a voice recognition unit for performing voice recognition through the voice data transmitted from the noise removing unit, and a voice recognition unit for performing voice recognition through the voice data transmitted from the noise removing unit, Vehicle voice recognition apparatus.

여기서, 상기 모바일기기 정보를 수집하고 상기 제2 마이크로폰을 통해 수집된 음성데이터 보정용 필터를 결정하는 필터결정부와, 상기 필터결정부에서 선택된 필터를 이용하여 상기 제2 마이크로폰을 통해 수집된 음성데이터를 보정하는 보정부를 포함할 수 있다.A filter determination unit for collecting the mobile device information and determining a voice data correction filter collected through the second microphone; and a voice recognition unit for extracting voice data collected through the second microphone using the filter selected by the filter determination unit And may include a correction unit for correcting the image.

또한, 상기 제2 마이크로폰은 상기 제1 마이크로폰과 미리 설정된 거리 내에 위치하도록 설치하며, 상기 차량 탑승자가 상기 차량 내 음성인식 장치를 사용하는 경우 상기 차량 탑승자의 음성데이터를 수집할 수 있다.The second microphone may be installed within a predetermined distance from the first microphone, and voice data of the vehicle occupant may be collected when the vehicle occupant uses the voice recognition device in the vehicle.

또한, 상기 음성인식부는 상기 잡음제거부에서 전송된 음성데이터의 특징 파라미터를 추출하는 특징추출부, 상기 특징 파라미터의 인식율에 기초하여 상기 특징 파라미터를 조정하는 파라미터 설정부, 그리고 상기 특징 파라미터가 조정된 음성데이터의 의미를 추출하는 의미 추출부를 포함할 수 있다.The speech recognition unit may further include a feature extraction unit that extracts feature parameters of the speech data transmitted in the noise removing unit, a parameter setting unit that adjusts the feature parameters based on the recognition rate of the feature parameters, And a meaning extraction unit for extracting the meaning of the voice data.

상기 과제를 해결하기 위해 본 발명의 하나의 실시예는, 차량에 설치되어 있는 제1 마이크로폰과 차량 탑승자의 모바일기기에 설치되어 있는 제2 마이크로폰을 통해 차량 탑승자의 음성데이터를 수집하는 단계, 상기 제2 마이크로폰을 통해 수집된 음성데이터를 보정하는 단계, 상기 보정된 음성데이터 또는 상기 제1 마이크로폰을 통해 수집된 음성데이터 내에 포함되어 있는 잡음을 제거하는 단계, 그리고상기 잡음이 제거된 음성데이터에 기초하여 음성인식을 수행하는 단계를 포함하는 차량 내 음성인식 방법을 제안한다.According to one embodiment of the present invention, there is provided a method for controlling a vehicle, comprising the steps of: collecting voice data of a vehicle occupant through a first microphone installed in a vehicle and a second microphone installed in a mobile device of a vehicle occupant; 2 microphone, removing noise included in the corrected voice data or voice data collected through the first microphone, and extracting the voice data based on the noise-removed voice data And performing speech recognition on the in-vehicle speech.

여기서, 상기 음성데이터 수집단계는, 상기 차량 탑승자가 차량 내 음성인식 장치를 사용하면, 상기 모바일기기와 상기 음성인식 장치를 근거리 무선통신을 이용하여 연결하는 단계를 포함할 수 있다.The voice data collecting step may include connecting the mobile device and the voice recognition device using short range wireless communication when the vehicle occupant uses the in-vehicle voice recognition device.

또한, 상기 모바일기기 정보를 수집하고 상기 모바일기기 정보에 기초하여 상기 제2 마이크로폰을 통해 수집된 음성데이터 보정용 필터를 결정하는 단계를 포함할 수 있다.The method may further include collecting the mobile device information and determining a voice data correction filter collected through the second microphone based on the mobile device information.

본 발명의 하나의 실시예에 따르면 차량 내 음성인식 장치의 음성인식 성능을 향상시키고, 핸즈프리 통화음질을 향상시킬 수 있다. 또한, 차량 내에 마이크로폰 어레이 시스템을 구현하는데 있어서 마이크로폰의 추가 설치에 소요되는 비용을 절감할 수 있다.According to one embodiment of the present invention, it is possible to improve the speech recognition performance of the in-vehicle speech recognition device and improve the quality of hands-free speech. In addition, in implementing a microphone array system in a vehicle, it is possible to reduce the cost of additional installation of a microphone.

도 1은 본 발명의 하나의 실시예에 따른 차량 내 음성인식 장치이다.
도 2는 본 발명의 하나의 실시예에 따른 음성인식부 구성이다.
도 3은 본 발명의 하나의 실시예에 따른 차량 내 음성인식 방법이다.
도 4는 본 발명의 하나의 실시예에 따른 파라미터 설정방법이다.1 is an in-vehicle voice recognition apparatus according to an embodiment of the present invention.
2 is a configuration of a speech recognition unit according to an embodiment of the present invention.
3 is a method for recognizing a voice in a vehicle according to an embodiment of the present invention.
4 is a method of setting parameters according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예들을 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부"는 하나 이상의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Whenever a component is referred to as "including" an element throughout the specification, it is to be understood that the element may include other elements, not the exclusion of any other element, unless the context clearly dictates otherwise. In addition, "part" in the description means a unit for processing one or more functions or operations, which may be implemented by hardware, software, or a combination of hardware and software.

명세서 전체에서 차량 탑승자의 모바일기기는 음성 또는 영상 통화를 제공하며 차량 내 음성인식 장치와 근거리 무선통신으로 연결할 수 있는 휴대용 장치를 의미한다.Throughout the specification, a mobile device of a vehicle occupant means a portable device that provides a voice or video call and can be connected to a voice recognition device in a vehicle by short-range wireless communication.

도 1은 본 발명의 하나의 실시예에 따른 차량 내 음성인식 장치이다.1 is an in-vehicle voice recognition apparatus according to an embodiment of the present invention.

도 1의 음성인식 장치(100)는 차량 탑승자의 모바일기기와 근거리 무선통신 예를 들어, 블루투스(Bluetooth) 등으로 연결되며 상기 모바일기기의 마이크로폰(10)(이하 "제2 마이크로폰"이라고 함)을 통해 차량 탑승자의 음성데이터를 수집하고 상기 모바일기기 정보를 수집한다. 이때, 모바일기기 정보는 모바일기기 제조사, 모바일기기 모델명, 또는 기타 정보를 포함할 수 있다.The voice recognition apparatus 100 of FIG. 1 is connected to a mobile device of a vehicle occupant through a short-range wireless communication, for example, Bluetooth or the like, and transmits a microphone 10 (hereinafter referred to as a "second microphone" Collects voice data of the vehicle occupant and collects the mobile device information. At this time, the mobile device information may include a mobile device manufacturer, a mobile device model name, or other information.

도 1에서 음성인식 장치(100)는 제1 마이크로폰(110), 필터결정부(120), 보정부(130), 잡음제거부(140), 그리고 음성인식부(150)를 포함한다.1, the speech recognition apparatus 100 includes a first microphone 110, a filter determination unit 120, a correction unit 130, a noise removing unit 140, and a voice recognition unit 150. [

도 1에서, 제2 마이크로폰(10)은 제1 마이크로폰(110)과 미리 설정된 거리를 유지하는 범위 내에 설치한다. 이때, 상기 미리 설정된 거리는 제1 마이크로폰(110)과 제2 마이크로폰(10)을 통해 수집된 음성데이터가 동일한 탑승자의 음성데이터임을 확인할 수 있는 거리이다. 예를 들어, 제1 마이크로폰(110)을 차량 내에 설치되어 있는 무선 충전장치 또는 거치대 등과 약 50cm 이격된 위치에 설치하고, 제2 마이크로폰(10)을 상기 무선 충전장치 또는 거치대에 고정하여 차량 탑승자의 음성데이터를 수집할 수 있다.In FIG. 1, the second microphone 10 is installed within a range that maintains a predetermined distance from the first microphone 110. At this time, the predetermined distance is a distance at which it is confirmed that the voice data collected through the first microphone 110 and the second microphone 10 are voice data of the same occupant. For example, the first microphone 110 may be installed at a position spaced apart from a wireless charging device or a cradle or the like provided in the vehicle, and the second microphone 10 may be fixed to the wireless charging device or cradle, Voice data can be collected.

제1 마이크로폰(110)은 차량 내부에 설치되며, 차량 탑승자의 음성데이터를 수집한다.The first microphone 110 is installed inside the vehicle and collects voice data of the vehicle occupant.

필터결정부(120)는 상기 모바일기기로부터 수집된 모바일기기 정보에 기초하여 제2 마이크로폰(10)을 통해 수집된 음성데이터의 보정에 사용할 필터를 결정한다.The filter determination unit 120 determines a filter to be used for correction of the voice data collected through the second microphone 10 based on the mobile device information collected from the mobile device.

보정부(130)는 필터결정부(120)에서 선택된 필터를 이용하여 제2 마이크로폰(10)을 통해 수집된 음성데이터의 주파수 특성 또는 이득을 조정한다.The correction unit 130 adjusts the frequency characteristics or gain of the voice data collected through the second microphone 10 using the filter selected by the filter determination unit 120. [

잡음제거부(140)는 보정부(130)에서 전송되는 음성데이터에 포함되어 있는 잡음을 추출하여 제거한다. 또한, 제1 마이크로폰(110)으로부터 수집된 음성데이터에 포함되어 있는 잡음을 추출하여 제거할 수 있다.The noise removing unit 140 extracts noise included in the voice data transmitted from the corrector 130 and removes the noise. In addition, the noise included in the voice data collected from the first microphone 110 can be extracted and removed.

음성인식부(150)는 잡음제거부(140)를 통해 잡음이 제거된 음성데이터의 음성인식을 수행한다.The speech recognition unit 150 performs speech recognition of the noise-removed speech data through the noise removing unit 140.

도 2는 본 발명의 하나의 실시예에 따른 음성인식부 구성이다.2 is a configuration of a speech recognition unit according to an embodiment of the present invention.

도 2의 음성인식부(150)는 잡음이 제거된 음성데이터의 특징 파라미터를 추출하는 특징추출부(151), 상기 특징 파라미터의 인식 또는 오인식 결과에 기초하여 파라미터를 설정하는 파라미터 설정부(152), 상기 특징 파라미터에 기초하여 음성데이터의 의미를 추출하는 의미추출부(153), 그리고 의미 추출에 사용되는 음성인식 데이터를 저장하는 저장부(154)를 포함한다.The speech recognition unit 150 of FIG. 2 includes a feature extraction unit 151 for extracting feature parameters of speech data from which noise has been removed, a parameter setting unit 152 for setting parameters based on recognition or misrecognition of the feature parameters, A semantic extraction unit 153 for extracting the meaning of speech data based on the feature parameters, and a storage unit 154 for storing speech recognition data used for semantic extraction.

도 3은 본 발명의 하나의 실시예에 따른 차량 내 음성인식 방법이다.3 is a method for recognizing a voice in a vehicle according to an embodiment of the present invention.

먼저, 차량 탑승자의 음성인식 장치의 사용 여부를 감지한다(S110).First, it is determined whether or not the voice recognition device of the vehicle occupant is used (S110).

이후, 차량 탑승자가 음성인식 장치를 사용하는 경우 근거리 무선통신으로 차량 탑승자의 모바일기기와 상기 음성인식 장치를 연결하고 차량 내에 설치되어 있는 제1 마이크로폰(110)과 모바일기기의 제2 마이크로폰(10)을 이용하여 탑승자의 음성데이터를 수집한다(S120).Then, when the vehicle occupant uses the voice recognition device, the first microphone 110 installed in the vehicle and the second microphone 10 of the mobile device are connected to each other by a short- To collect the voice data of the passenger (S120).

이후, 보정부(130)를 이용하여 제2 마이크로폰(10)을 통해 수집된 음성데이터의 주파수 특성 또는 이득을 보정한다(S130). 이때, S120단계와 S130단계 사이에 제2 마이크로폰(10)이 설치되어 있는 모바일기기 정보에 기초하여 제2 마이크로폰(10)을 통해 수집된 음성데이터 보정에 사용할 필터를 결정하는 단계를 포함할 수 있다.Thereafter, the frequency characteristic or gain of the voice data collected through the second microphone 10 is corrected using the correction unit 130 (S130). At this time, it may include a step of determining a filter to be used for voice data correction collected through the second microphone 10 based on the mobile device information in which the second microphone 10 is installed between steps S120 and S130 .

이후, 잡음제거부(140)를 통해 보정부(130)에서 출력되는 음성데이터 내에 포함되어 있는 잡음을 제거하거나 제1 마이크로폰(110)을 통해 수집된 음성데이터 내에 포함되어 있는 잡음을 제거한다(S140).Thereafter, the noise included in the voice data output from the calibration unit 130 is removed through the noise removing unit 140, or the noise included in the voice data collected through the first microphone 110 is removed (S 140 ).

마지막으로, 잡음이 제거된 음성데이터에 기초하여 음성인식을 수행하며(150), 음성인식 결과에 기초하여 차량 내 장치를 제어할 수 있다. 이때, S150단계는 음성데이터의 특징 파라미터 추출 결과에 기초하여 파라미터를 설정하는 단계를 포함할 수 있다.Finally, voice recognition is performed 150 based on the voice data from which noise has been removed, and the in-vehicle apparatus can be controlled based on the voice recognition result. In this case, the step S150 may include setting a parameter based on the result of the feature parameter extraction of the voice data.

도 4는 본 발명의 하나의 실시예에 따른 파라미터 설정방법이다.4 is a method of setting parameters according to an embodiment of the present invention.

먼저, 특징추출부(151)의 음성 파라미터 추출 결과에 기초하여 파라미터의 조정 여부를 판단하고(S151), 판단 결과에 따라 음성 인식을 수행한다(S152). 구체적으로, 음성 파라미터 추출 결과 인식횟수와 오인식횟수의 합이 n 미만인 경우 의미추출부(153)를 통해 음성인식을 수행하고, n 이상인 경우 파라미터의 조정이 필요한 것으로 판단하여 인식율을 산출한다. 이때, n은 자연수이며, n이 작을수록 파라미터 설정횟수가 증가한다. 또한, 인식율은 '인식횟수/(인식횟수+오인식횟수)'로 산출한다.First, it is determined whether the parameter is adjusted based on the speech parameter extraction result of the feature extraction unit 151 (S151), and speech recognition is performed according to the determination result (S152). Specifically, when the sum of the recognition frequency and the number of recognition errors is less than n, speech recognition is performed through the semantic extraction unit 153. If the sum is more than n, the parameter is determined to be necessary and the recognition rate is calculated. In this case, n is a natural number, and the smaller the value of n, the more the number of parameter setting increases. The recognition rate is calculated as 'recognition frequency / (recognition frequency + number of false frequencies)'.

이후, 인식율을 미리 설정된 제1 임계값과 비교하고(S153), 인식율이 제1 임계값 미만인 경우 미리 설정된 최대값에 도달할 때까지 특징 파라미터를 증가시키고(S155, S156), 특징 파라미터가 최대값에 도달하면 음성인식을 수행한다(S152).Then, the recognition rate is compared with a predetermined first threshold value (S153). If the recognition rate is less than the first threshold value, the feature parameter is increased until the preset maximum value is reached (S155, S156) The speech recognition is performed (S152).

만약, 인식율이 제1 임계값 이상인 경우 제2 임계값과 비교한다(S154). 비교결과, 인식율이 제2 임계값 이상인 경우 미리 설정된 최소값에 도달할 때까지 특징 파라미터를 감소시키고(S157, S158), 특징 파라미터가 최소값에 도달하면 음성인식을 수행한다(S152).If the recognition rate is equal to or greater than the first threshold value, it is compared with the second threshold value (S154). If the recognition rate is equal to or greater than the second threshold value, the feature parameter is decreased until the preset minimum value is reached (S157 and S158). If the feature parameter reaches the minimum value, speech recognition is performed (S152).

본 발명의 실시예에 따르면 차량 탑승자가 차량 내 음성인식 장치를 사용하는 경우 제2 마이크로폰을 통해 음성데이터를 수집하는 것을 설명하였으나, 이에 한정되는 것은 아니며 차량 탑승자가 모바일기기 핸즈프리를 사용하는 경우 제2 마이크로폰을 통해 음성데이터를 수집할 수도 있다.According to the embodiment of the present invention, when the vehicle occupant uses the in-vehicle voice recognition device, the voice data is collected through the second microphone. However, the present invention is not limited to this, and when the vehicle occupant uses the mobile device hands- It is also possible to collect voice data through a microphone.

본 발명의 실시예에 따르면 차량 내에 설치되어 있는 제1 마이크로폰과 차량 탑승자의 모바일기기의 제2 마이크로폰을 이용하여 마이크로폰 어레이를 구현함으로써 차량의 내부 공간 활용도를 높일 수 있고, 마이크로폰을 추가로 설치하는데 소요되는 비용을 절감할 수 있다.According to the embodiment of the present invention, the use of the first microphone installed in the vehicle and the second microphone of the mobile device of the vehicle occupant can be used to increase the internal space utilization of the vehicle, Cost can be reduced.

본 발명의 실시예에 따르면 음성데이터의 특징 파라미터 추출 결과에 따라 인식율을 산출하고 상기 인식율에 기초하여 특징 파라미터의 증감을 조정함으로써 차량 내 음성인식 장치의 음성인식 성능을 향상시킬 수 있다.According to the embodiment of the present invention, the speech recognition performance of the in-vehicle speech recognition apparatus can be improved by calculating the recognition rate according to the result of extracting the feature parameter of the speech data and adjusting the increase or decrease of the feature parameter based on the recognition rate.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였으나, 본 발명의 권리범위가 이에 한정되는 것은 아니며 본 발명이 속하는 분야에서 통상의 지식을 가진 자가 여러 가지로 변형 및 개량한 형태 또한 본 발명의 권리범위에 속한다.While the present invention has been particularly shown and described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It belongs to the scope.

10 : 제2 마이크로폰 110 : 제1 마이크로폰
120 : 필터결정부 130 : 보정부
140 : 잡음제거부 150 : 음성인식부
151 : 특징추출부 152 : 파라미터설정부
153 : 의미추출부 154 : 저장부10: second microphone 110: first microphone
120: filter determination unit 130:
140: Noise removing unit 150: Voice recognition unit
151: Feature extraction unit 152: Parameter setting unit
153: Meaning extraction unit 154:

Claims (7)

차량 탑승자의 모바일기기와 근거리 무선통신으로 연결되는 차량 내 음성인식 장치에 있어서,
차량 내부에 설치되어 차량 탑승자의 음성데이터를 수집하는 제1 마이크로폰,
상기 제1 마이크로폰 또는 상기 모바일기기의 제2 마이크로폰으로부터 수집된 음성데이터의 잡음을 제거하는 잡음제거부, 그리고
상기 잡음제거부로부터 전송된 음성데이터를 통해 음성 인식을 수행하는 음성인식부
를 포함하며,
상기 모바일기기 정보를 수집하고 상기 제2 마이크로폰을 통해 수집된 음성데이터 보정용 필터를 결정하는 필터결정부를 더 포함하는 차량 내 음성인식 장치.1. An in-vehicle voice recognition device connected to a mobile device of a vehicle occupant through short-distance wireless communication,
A first microphone installed inside the vehicle for collecting voice data of a vehicle occupant,
A noise eliminator for removing noise of the voice data collected from the first microphone or the second microphone of the mobile device, and
A voice recognition unit for performing voice recognition through the voice data transmitted from the noise removing unit,
/ RTI >
Further comprising a filter determination unit for collecting the mobile device information and determining a voice data correction filter collected through the second microphone. 제1항에서,
상기 필터결정부에서 선택된 필터를 이용하여 상기 제2 마이크로폰을 통해 수집된 음성데이터를 보정하는 보정부를 포함하는 차량 내 음성인식 장치.The method of claim 1,
And a correction unit that corrects the voice data collected through the second microphone using the filter selected by the filter determination unit. 제1항에서,
상기 제2 마이크로폰은 상기 제1 마이크로폰과 미리 설정된 거리 내에 위치하도록 설치하며, 상기 차량 탑승자가 상기 차량 내 음성인식 장치를 사용하는 경우 상기 차량 탑승자의 음성데이터를 수집하는 차량 내 음성인식 장치.The method of claim 1,
Wherein the second microphone is installed so as to be located within a predetermined distance from the first microphone, and collects voice data of the vehicle occupant when the vehicle occupant uses the voice recognition device in the vehicle. 제1항에서,
상기 음성인식부는 상기 잡음제거부에서 전송된 음성데이터의 특징 파라미터를 추출하는 특징추출부, 상기 특징 파라미터의 인식율에 기초하여 상기 특징 파라미터를 조정하는 파라미터 설정부, 그리고 상기 특징 파라미터가 조정된 음성데이터의 의미를 추출하는 의미 추출부를 포함하는 차량 내 음성인식 장치.The method of claim 1,
Wherein the speech recognition unit comprises: a feature extraction unit that extracts feature parameters of the speech data transmitted in the noise removing unit; a parameter setting unit that adjusts the feature parameters based on the recognition rate of the feature parameters; And a semantic extraction unit for extracting the semantic meaning of the in-vehicle speech. 차량에 설치되어 있는 제1 마이크로폰과 차량 탑승자의 모바일기기에 설치되어 있는 제2 마이크로폰을 통해 차량 탑승자의 음성데이터를 수집하는 단계,
상기 제2 마이크로폰을 통해 수집된 음성데이터를 보정하는 단계,
상기 보정된 음성데이터 또는 상기 제1 마이크로폰을 통해 수집된 음성데이터 내에 포함되어 있는 잡음을 제거하는 단계, 그리고
상기 잡음이 제거된 음성데이터에 기초하여 음성인식을 수행하는 단계
를 포함하며,
상기 모바일기기 정보를 수집하고 상기 모바일기기 정보에 기초하여 상기 제2 마이크로폰을 통해 수집된 음성데이터 보정용 필터를 결정하는 단계를 더 포함하는 차량 내 음성인식 방법.Collecting voice data of a vehicle occupant through a first microphone installed in the vehicle and a second microphone installed in the mobile device of the vehicle occupant,
Correcting the voice data collected through the second microphone,
Removing noise included in the corrected voice data or voice data collected through the first microphone, and
Performing speech recognition based on the noisy speech data
/ RTI >
Further comprising collecting the mobile device information and determining a voice data correction filter collected through the second microphone based on the mobile device information. 제5항에서,
상기 음성데이터 수집단계는, 상기 차량 탑승자가 차량 내 음성인식 장치를 사용하면, 상기 모바일기기와 상기 음성인식 장치를 근거리 무선통신을 이용하여 연결하는 단계를 포함하는 차량 내 음성인식 방법.The method of claim 5,
Wherein the voice data collection step includes the step of connecting the mobile device and the voice recognition device using short range wireless communication when the vehicle occupant uses the in-vehicle voice recognition device. 삭제delete
KR1020140155660A 2014-11-10 2014-11-10 Voice recognition device and method in vehicle KR101619260B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140155660A KR101619260B1 (en) 2014-11-10 2014-11-10 Voice recognition device and method in vehicle
US14/931,459 US9870770B2 (en) 2014-11-10 2015-11-03 Voice recognition device and method in vehicle
CN201510757125.3A CN105590624B (en) 2014-11-10 2015-11-09 Speech recognition system in vehicle and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140155660A KR101619260B1 (en) 2014-11-10 2014-11-10 Voice recognition device and method in vehicle

Publications (1)

Publication Number Publication Date
KR101619260B1 true KR101619260B1 (en) 2016-05-10

Family

ID=55912715

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140155660A KR101619260B1 (en) 2014-11-10 2014-11-10 Voice recognition device and method in vehicle

Country Status (3)

Country Link
US (1) US9870770B2 (en)
KR (1) KR101619260B1 (en)
CN (1) CN105590624B (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180066662A (en) * 2016-12-09 2018-06-19 현대자동차주식회사 System and method for automatic control of vehicle audio
US11195527B2 (en) 2018-12-12 2021-12-07 Hyundai Motor Company Apparatus and method for processing speech recognition

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10536464B2 (en) * 2016-06-22 2020-01-14 Intel Corporation Secure and smart login engine
CN106427830B (en) * 2016-08-26 2018-12-28 东风汽车公司 Voice picking up system and its method
CN106781500B (en) * 2017-01-11 2020-01-07 深圳市鑫玉锋科技有限公司 Vehicle-mounted intelligent voice recognition system
US11532302B2 (en) * 2017-09-28 2022-12-20 Harman International Industries, Incorporated Pre-voice separation/recognition synchronization of time-based voice collections based on device clockcycle differentials
CN108532670B (en) * 2018-04-23 2019-09-10 胡海明 Excavator speech control system
KR20200063521A (en) * 2018-11-28 2020-06-05 삼성전자주식회사 Electronic device and control method thereof
CN110970024B (en) * 2019-11-18 2022-05-10 北京机械设备研究所 Intelligent sound absorption voice recognition system and method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009300537A (en) 2008-06-10 2009-12-24 Fujitsu Ten Ltd Speech actuation system, speech actuation method and in-vehicle device

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3774580B2 (en) * 1998-11-12 2006-05-17 アルパイン株式会社 Voice input device
KR20000040570A (en) 1998-12-18 2000-07-05 김영환 Apparatus and method for removing car noise using microphone having two channel
KR20010106799A (en) 2000-05-23 2001-12-07 류정열 Apparatus for recognizing speech in a motor vehicle
US6937980B2 (en) * 2001-10-02 2005-08-30 Telefonaktiebolaget Lm Ericsson (Publ) Speech recognition using microphone antenna array
EP1703471B1 (en) * 2005-03-14 2011-05-11 Harman Becker Automotive Systems GmbH Automatic recognition of vehicle operation noises
US20070041589A1 (en) * 2005-08-17 2007-02-22 Gennum Corporation System and method for providing environmental specific noise reduction algorithms
JP2007114413A (en) * 2005-10-19 2007-05-10 Toshiba Corp Voice/non-voice discriminating apparatus, voice period detecting apparatus, voice/non-voice discrimination method, voice period detection method, voice/non-voice discrimination program and voice period detection program
JP2008020872A (en) 2006-06-14 2008-01-31 Denso Corp Voice recognition device for vehicle and navigation device for vehicle
CN101082836A (en) * 2007-06-29 2007-12-05 华中科技大学 Chinese characters input system integrating voice input and hand-written input function
US8326617B2 (en) * 2007-10-24 2012-12-04 Qnx Software Systems Limited Speech enhancement with minimum gating
EP2058803B1 (en) * 2007-10-29 2010-01-20 Harman/Becker Automotive Systems GmbH Partial speech reconstruction
KR101006257B1 (en) 2008-06-13 2011-01-06 주식회사 케이티 Apparatus and method for recognizing speech according to speaking environment and speaker
KR20100029591A (en) 2008-09-08 2010-03-17 엘지이노텍 주식회사 Speech recognition system of vehicle for using multi microphone
CN101551855B (en) * 2009-05-13 2011-06-29 西安电子科技大学 Auxiliary diagnostic system for tracing self-adaptive kernel matching and auxiliary diagnostic method thereof
CN101609485B (en) * 2009-07-24 2011-02-09 西安电子科技大学 Medical image diagnosing system and diagnosing method based on migrated nuclear matching tracing
JP2011154341A (en) * 2009-12-28 2011-08-11 Fujitsu Ltd Device, method and program for speech recognition
US8787987B2 (en) * 2010-10-19 2014-07-22 General Motors Llc Configuring of vehicle communications modules
WO2014063099A1 (en) * 2012-10-19 2014-04-24 Audience, Inc. Microphone placement for noise cancellation in vehicles
KR101967917B1 (en) * 2012-10-30 2019-08-13 삼성전자주식회사 Apparatas and method for recognizing a voice in an electronic device
CN103971680B (en) * 2013-01-24 2018-06-05 华为终端（东莞）有限公司 A kind of method, apparatus of speech recognition
JP6303340B2 (en) * 2013-08-30 2018-04-04 富士通株式会社 Audio processing apparatus, audio processing method, and computer program for audio processing
CN103544959A (en) * 2013-10-25 2014-01-29 华南理工大学 Verbal system and method based on voice enhancement of wireless locating microphone array

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009300537A (en) 2008-06-10 2009-12-24 Fujitsu Ten Ltd Speech actuation system, speech actuation method and in-vehicle device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180066662A (en) * 2016-12-09 2018-06-19 현대자동차주식회사 System and method for automatic control of vehicle audio
KR102406115B1 (en) * 2016-12-09 2022-06-07 현대자동차 주식회사 System and method for automatic control of vehicle audio
US11195527B2 (en) 2018-12-12 2021-12-07 Hyundai Motor Company Apparatus and method for processing speech recognition

Also Published As

Publication number Publication date
CN105590624B (en) 2020-11-03
US20160133252A1 (en) 2016-05-12
CN105590624A (en) 2016-05-18
US9870770B2 (en) 2018-01-16

Similar Documents

Publication Publication Date Title
KR101619260B1 (en) Voice recognition device and method in vehicle
US10403306B2 (en) Method and apparatus for fast recognition of a hearing device user's own voice, and hearing aid
GB2577450A (en) Methods, apparatus and systems for biometric processes
CN102124758B (en) Hearing aid, hearing assistance system, walking detection method, and hearing assistance method
US20170025121A1 (en) Speech Recognition Method and Mobile Terminal
US10861484B2 (en) Methods and systems for speech detection
CN106100676A (en) Control method, user terminal and the interphone terminal of audio frequency output
US20140114665A1 (en) Keyword voice activation in vehicles
KR20200019954A (en) Earbud Speech Estimation
EP2863392B1 (en) Noise reduction in multi-microphone systems
US9691409B2 (en) Earset and control method for the same
CN103325378A (en) Terminal voice noise reducing method and terminal
US10204639B2 (en) Method and device for processing sound signal for communications device
US9723129B2 (en) Voice call establishing method and apparatus
US9761244B2 (en) Voice processing device, noise suppression method, and computer-readable recording medium storing voice processing program
CN108463369B (en) Vehicle infotainment and connectivity system
US20140169574A1 (en) Hearing device considering external environment of user and control method of hearing device
US11170767B2 (en) Portable device for controlling external device, and audio signal processing method therefor
EP4220588A1 (en) Terminal device
EP2830329A1 (en) System for detection of special environments for hearing assistance devices
EP3253034B1 (en) Method and apparatus for controlling sound collection range of multi-microphone de-noising of terminal
KR102460335B1 (en) Electronic device and method for adjusting the output intensity of a speaker based on distance from an external electronic device
US11562763B2 (en) Method for improving sound quality and electronic device using same
WO2018214296A1 (en) Noise reduction method, device, terminal, and computer storage medium
US20180070315A1 (en) Control method for real-time scene detection by a wireless communication apparatus

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190429

Year of fee payment: 4