KR101710695B1 - Microphone control system for voice recognition of automobile and control method therefor - Google Patents

Microphone control system for voice recognition of automobile and control method therefor Download PDF

Info

Publication number
KR101710695B1
KR101710695B1 KR1020150132085A KR20150132085A KR101710695B1 KR 101710695 B1 KR101710695 B1 KR 101710695B1 KR 1020150132085 A KR1020150132085 A KR 1020150132085A KR 20150132085 A KR20150132085 A KR 20150132085A KR 101710695 B1 KR101710695 B1 KR 101710695B1
Authority
KR
South Korea
Prior art keywords
microphone
noise
delete delete
vehicle
subject
Prior art date
Application number
KR1020150132085A
Other languages
Korean (ko)
Inventor
소병호
Original Assignee
주식회사 베이리스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 베이리스 filed Critical 주식회사 베이리스
Priority to KR1020150132085A priority Critical patent/KR101710695B1/en
Application granted granted Critical
Publication of KR101710695B1 publication Critical patent/KR101710695B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L2012/40208—Bus networks characterized by the use of a particular bus standard
    • H04L2012/40215—Controller Area Network CAN
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L2012/40267—Bus for use in transportation systems
    • H04L2012/40273—Bus for use in transportation systems the transportation system being a vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

A microphone control system for voice recognition for an automobile includes: a first microphone which receives a sound for voice recognition; a second microphone for measuring a noise; and a control unit which controls an operation of the first microphone or the second microphone. The control unit controls the operation of the first microphone by using state information of the automobile by controller area network (CAN) communication and noise information inputted from the second microphone. Accordingly, the present invention can efficiently recognize a voice by controlling an amplification gain and an orientation direction of the microphone for voice recognition.

Description

차량용 음성 인식을 위한 마이크로폰 제어 시스템 및 그 제어 방법{MICROPHONE CONTROL SYSTEM FOR VOICE RECOGNITION OF AUTOMOBILE AND CONTROL METHOD THEREFOR}TECHNICAL FIELD [0001] The present invention relates to a microphone control system for voice recognition of a vehicle, and a control method thereof. [0002] MICROPHONE CONTROL SYSTEM FOR VOICE RECOGNITION OF AUTOMOBILE AND CONTROL METHOD THEREFOR [

본 발명은 차량용 음성 인식을 위한 마이크로폰 제어 시스템 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 CAN(Controller Area Network) 통신에 의한 차량의 상태 정보 및 잡음용 마이크로폰으로 입력되는 잡음 정보를 이용하여 음성 인식용 마이크로폰의 증폭 이득 및 지향 방향을 제어하는 것에 의해 더욱 효율적인 음성 인식을 가능하게 하는 차량용 음성 인식을 위한 마이크로폰 제어 시스템 및 그 제어 방법에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a microphone control system for vehicle voice recognition and a control method thereof, and more particularly to a microphone control system for voice recognition using vehicle state information by CAN (Controller Area Network) communication and noise information input by a noise microphone. The present invention relates to a microphone control system for vehicle voice recognition, which enables more efficient voice recognition by controlling the amplification gain and the direction of a microphone for a microphone, and a control method thereof.

음성 인식은 마이크로폰 등의 입력 도구를 통해 시스템으로 전달된 사람의 음성 신호로부터 특징의 추출과 분석의 과정을 수행한 후, 미리 입력된 인식 데이터베이스에서 가장 근접한 결과를 찾아내는 기술이다. Speech recognition is a technique for extracting and analyzing features from a voice signal of a person transmitted to a system through an input tool such as a microphone, and then finding the closest result in a previously inputted recognition database.

이러한 음성 인식 기술은 다양한 분야에 적용되어, 사용자의 편의를 제공하고 있다. 다만, 차량의 경우, 잡음의 영향도 크고, 차량의 운전에 따른 이동과 같은 환경적 요인도 커서 음성 인식에 있어 어려움이 있다.Such speech recognition technology is applied to various fields and provides convenience to users. However, in the case of a vehicle, the influence of noise is large, and environmental factors such as movement of the vehicle due to driving are also large, which makes it difficult to recognize the voice.

국내공개특허공보 제10-2010-0029591호(다중 마이크를 이용한 차량 내 음성인식 시스템, 2010년 3월 17일)에는 음성인식률을 향상시킬 수 있는 다중 마이크를 이용한 차량 내 음성인식 시스템이 개시되어 있다. 그런데 국내공개특허공보 제10-2010-0029591호에는 다중 마이크로부터 검출된 소음 등을 어떻게 음성 인식에 활용할 것인가에 대해서는 구체적으로 개시되어 있지 않다. Japanese Patent Application Laid-Open No. 10-2010-0029591 (on-vehicle voice recognition system using multiple microphones, March 17, 2010) discloses an in-vehicle voice recognition system using multiple microphones capable of improving voice recognition rate . However, Korean Patent Laid-Open No. 10-2010-0029591 does not specifically disclose how to use noise detected from multiple microphones for speech recognition.

본 발명은 전술한 바와 같은 기술적 과제를 해결하는 데 목적이 있는 발명으로서, CAN(Controller Area Network) 통신에 의한 차량의 상태 정보 및 잡음용 마이크로폰으로 입력되는 잡음 정보를 이용하여 음성 인식용 마이크로폰의 증폭 이득 및 지향 방향을 제어하는 것에 의해 더욱 효율적인 음성 인식을 가능하게 하는 차량용 음성 인식을 위한 마이크로폰 제어 시스템 및 그 제어 방법을 제공하는 것에 그 목적이 있다.An object of the present invention is to solve the technical problem as described above. The present invention provides a method of detecting a noise of a voice recognition microphone using the state information of a vehicle by CAN (Controller Area Network) communication and the noise information input by a noise microphone, And more particularly, to a microphone control system and a control method thereof for voice recognition of vehicles that enable more efficient speech recognition by controlling gain and direction of a microphone.

본 발명의 차량용 음성 인식을 위한 마이크로폰 제어 시스템은, 음성 인식용 소리를 입력받는 제 1 마이크로폰; 잡음 측정을 위한 제 2 마이크로폰; 및 상기 제 1 마이크로폰 또는 상기 제 2 마이크로폰의 동작을 제어하는 제어부;를 포함한다.A microphone control system for speech recognition for vehicles according to the present invention comprises: a first microphone for receiving sound for speech recognition; A second microphone for noise measurement; And a controller for controlling operations of the first microphone or the second microphone.

상기 제어부는, CAN(Controller Area Network) 통신에 의한 차량의 상태 정보 및 상기 제 2 마이크로폰으로부터 입력된 잡음 정보를 이용하여, 상기 제 1 마이크로폰의 동작을 제어하는 것을 특징으로 한다. 즉, 상기 제어부는, CAN 통신에 의한 차량의 상태 정보를 이용하여, 상기 제 1 마이크로폰의 증폭 이득을 제어하는 것이 바람직하다.The control unit controls the operation of the first microphone using state information of the vehicle by CAN (Controller Area Network) communication and noise information input from the second microphone. That is, it is preferable that the control unit controls the amplification gain of the first microphone using the state information of the vehicle by the CAN communication.

아울러, 상기 제 2 마이크로폰으로부터 입력된 잡음 정보를 이용하여 상기 제 1 마이크로폰의 지향 방향을 제어하는 것을 특징으로 한다. 또한, 상기 제어부는, 상기 제 2 마이크로폰으로부터 입력된 잡음 정보를 이용하여 상기 제 1 마이크로폰의 지향 방향을 제어한 후, 상기 제 1 마이크로폰의 증폭 이득을 제어하는 것을 특징으로 한다.In addition, the direction of the first microphone is controlled by using the noise information input from the second microphone. The control unit controls the direction of the first microphone using the noise information input from the second microphone, and then controls the amplification gain of the first microphone.

본 발명의 차량용 음성 인식을 위한 마이크로폰 제어 시스템은, 카메라를 이용하여 획득된 음성 인식 대상자의 얼굴 영상을 이용하여 해당 대상자가 말을 하고 있는지를 판단하는 영상 판단부;를 더 포함하는 것이 바람직하다. 또한, 상기 제어부는, 상기 영상 판단부가 해당 대상자가 말을 하고 있지 않은 것으로 판단한 경우, 음성 인식이 수행되지 않도록 제어 신호를 생성한다. The microphone control system for speech recognition for vehicles according to the present invention may further include an image determination unit for determining whether the target person speaks by using the face image of the speech recognition target obtained using the camera. In addition, the control unit generates a control signal such that speech recognition is not performed when the image determination unit determines that the subject does not speak.

아울러, 상기 영상 판단부는, 해당 대상자의 얼굴 방향도 판단할 수 있다. 이때 상기 제어부는, 상기 영상 판단부의 판단 결과에 따른 얼굴 방향에 따라, 상기 제 1 마이크로폰의 지향 방향을 제어하는 것을 특징으로 한다.In addition, the image determining unit may determine the face direction of the subject. In this case, the control unit controls the direction of the first microphone according to the face direction according to the determination result of the image determination unit.

본 발명의 차량용 음성 인식을 위한 마이크로폰 제어 방법은, (a) CAN(Controller Area Network) 통신에 의한 차량의 상태 정보를 입력받는 단계; 및 (b) 상기 (a) 단계의 차량의 상태 정보를 이용하여, 제 1 마이크로폰의 동작을 제어하는 단계;를 포함한다. 상기 (b) 단계는, CAN 통신에 의한 차량의 상태 정보를 이용하여, 상기 제 1 마이크로폰의 증폭 이득을 제어하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a microphone control method for vehicle voice recognition, the method including: (a) receiving state information of a vehicle through CAN (Controller Area Network) communication; And (b) controlling the operation of the first microphone using the state information of the vehicle in the step (a). The step (b) is characterized by controlling the amplification gain of the first microphone using the state information of the vehicle by the CAN communication.

아울러, 본 발명의 차량용 음성 인식을 위한 마이크로폰 제어 방법은, (c) 제 2 마이크로폰으로부터 잡음 정보를 입력받는 단계; 및 (d) 상기 (c) 단계의 차량의 상태 정보를 이용하여, 제 1 마이크로폰의 동작을 제어하는 단계;를 더 포함하는 것이 바람직하다.According to another aspect of the present invention, there is provided a method of controlling a microphone for voice recognition for a vehicle, the method including: (c) receiving noise information from a second microphone; And (d) controlling the operation of the first microphone using the state information of the vehicle in the step (c).

바람직하게는 상기 (d) 단계는, (d-1) 상기 제 2 마이크로폰으로부터 입력된 잡음 정보를 이용하여, 상기 제 1 마이크로폰의 지향 방향을 제어하는 단계; 및 (d-2) 상기 (d-1) 단계의 완료 후, 상기 제 1 마이크로폰의 증폭 이득을 제어하는 단계;를 포함하는 것을 특징으로 한다.Preferably, the step (d) includes the steps of: (d-1) controlling a direction of the first microphone using noise information input from the second microphone; And (d-2) controlling an amplification gain of the first microphone after completion of the step (d-1).

또한, 본 발명의 차량용 음성 인식을 위한 마이크로폰 제어 방법은, (e) 카메라를 이용하여 획득된 음성 인식 대상자의 얼굴 영상을 이용하여 해당 대상자가 말을 하고 있는지를 판단하는 단계; (f) 상기 (e) 단계에서 해당 대상자가 말을 하고 있지 않은 것으로 판단한 경우, 음성 인식이 수행되지 않도록 제어 신호를 생성하는 단계; (g) 카메라를 이용하여 획득된 음성 인식 대상자의 얼굴 영상을 이용하여 해당 대상자의 얼굴 방향을 판단하는 단계; 및 (h) 상기 (g) 단계의 판단 결과에 따른 얼굴 방향에 따라, 상기 제 1 마이크로폰의 지향 방향을 제어하는 단계;를 더 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method of controlling a microphone for speech recognition in a vehicle, the method comprising: (e) determining whether a subject is speaking using a face image of a speech recognition subject obtained using a camera; (f) generating a control signal such that speech recognition is not performed when it is determined in the step (e) that the subject does not speak; (g) determining a face direction of the subject using the face image of the speech recognition subject obtained using the camera; And (h) controlling a direction of the first microphone according to a face direction according to the determination result of step (g).

본 발명의 차량용 음성 인식을 위한 마이크로폰 제어 시스템 및 그 제어 방법에 따르면, CAN(Controller Area Network) 통신에 의한 차량의 상태 정보 및 잡음용 마이크로폰으로 입력되는 잡음 정보를 이용하여 음성 인식용 마이크로폰의 증폭 이득 및 지향 방향을 제어하는 것에 의해 더욱 효율적인 음성 인식을 가능하다.According to the present invention, there is provided a microphone control system for voice recognition of vehicles and a control method thereof, which are capable of detecting amplification gain of a voice recognition microphone using state information of a vehicle by CAN (Controller Area Network) communication and noise information input by a noise microphone And the direction of the direction are controlled, thereby enabling more efficient speech recognition.

도 1은 본 발명의 바람직한 일실시예에 따른 차량용 음성 인식을 위한 마이크로폰 제어 시스템의 구성도.
도 2는 본 발명의 바람직한 일실시예에 따른 차량용 음성 인식을 위한 마이크로폰 제어 방법의 흐름도.1 is a block diagram of a microphone control system for voice recognition for a vehicle according to a preferred embodiment of the present invention;
2 is a flowchart of a microphone control method for voice recognition for a vehicle according to a preferred embodiment of the present invention.

이하, 첨부된 도면을 참조하면서 본 발명의 실시예에 따른 차량용 음성 인식을 위한 마이크로폰 제어 시스템 및 그 제어 방법에 대해 상세히 설명하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a microphone control system and a control method thereof according to embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명의 하기의 실시예는 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술 분야의 전문가가 용이하게 유추할 수 있는 것은 본 발명의 권리 범위에 속하는 것으로 해석된다.It should be understood that the following embodiments of the present invention are only for embodying the present invention and do not limit or limit the scope of the present invention. It will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.

먼저, 도 1은 본 발명의 바람직한 일실시예에 따른 차량용 음성 인식을 위한 마이크로폰 제어 시스템(100)의 구성도를 나타낸다.1 is a block diagram of a microphone control system 100 for voice recognition of a vehicle according to a preferred embodiment of the present invention.

도 1로부터 알 수 있는 바와 같이 본 발명의 바람직한 일실시예에 따른 차량용 음성 인식을 위한 마이크로폰 제어 시스템(100)은, 제 1 마이크로폰(110), 제 2 마이크로폰(120), 영상 판단부(130) 및 제어부(140)를 포함한다.1, a microphone control system 100 for vehicle voice recognition according to an embodiment of the present invention includes a first microphone 110, a second microphone 120, an image determination unit 130, And a control unit 140.

제 1 마이크로폰(110)은 음성 인식용 소리를 입력받기 위한 마이크로폰이다. 아울러, 제 2 마이크로폰(120)은 차량 내의 잡음을 입력받는 잡음 측정을 위한 마이크로폰이다.The first microphone 110 is a microphone for receiving sound for voice recognition. In addition, the second microphone 120 is a microphone for noise measurement that receives noise in the vehicle.

영상 판단부(130)는 카메라를 이용하여 획득된 음성 인식 대상자의 얼굴 영상을 이용하여 해당 대상자가 말을 하고 있는지를 판단하는 역할을 한다. 제어부(140)는 제 1 마이크로폰(110) 및 제 2 마이크로폰(120)의 동작을 제어하는 역할을 한다.The image determination unit 130 determines whether the subject is speaking by using the face image of the speech recognition subject obtained using the camera. The controller 140 controls the operation of the first microphone 110 and the second microphone 120.

제 1 마이크로폰(110) 및 제 2 마이크로폰(120)의 위치는 운전석과 보조석 바로 위에 위치하는 것이 바람직할 것이다. 아울러, 본 발명의 바람직한 일실시예에 따른 차량용 음성 인식을 위한 마이크로폰 제어 시스템(100)은 얼굴 인식과 음성 인식 시스템을 제어하는 통합 시스템으로 구성될 수 있다. 얼굴 인식과 음성 인식 모듈은 제어부(140)와 CAN 통신으로 연결되어 있다.It is preferable that the positions of the first microphone 110 and the second microphone 120 are located directly above the driver's seat and the assistant's seat. In addition, the microphone control system 100 for vehicle voice recognition according to an embodiment of the present invention may be configured as an integrated system for controlling the face recognition and the speech recognition system. The face recognition and voice recognition module are connected to the control unit 140 via CAN communication.

본 발명의 제어부(140)는, 크게 3가지 정보에 의해 제 1 마이크로폰(110) 또는 제 2 마이크로폰(120)의 동작을 제어한다.The controller 140 controls the operation of the first microphone 110 or the second microphone 120 based on three kinds of information.

제 1 정보는 CAN(Controller Area Network) 통신에 의한 차량의 상태 정보이고, 제 2 정보는 제 2 마이크로폰(120)으로부터 입력된 잡음 정보이고, 제 3 정보는 영상 판단부(130)에 의해 판단된 음성 인식 대상자의 얼굴 영상 정보이다.The first information is vehicle status information by CAN (Controller Area Network) communication, the second information is noise information input from the second microphone 120, and the third information is noise information Face image information of the speech recognition target person.

하기에 본 발명의 제어부(140)에 의한 3가지 정보를 이용한 제어 방법에 대해 구체적으로 설명하기로 한다.Hereinafter, a control method using three pieces of information by the control unit 140 of the present invention will be described in detail.

제어부(140)는, CAN 통신에 의한 차량의 상태 정보를 이용하여, 제 1 마이크로폰(110)의 증폭 이득을 제어한다. 아울러, 제어부(140)는, 제 2 마이크로폰(120)으로부터 입력된 잡음 정보를 이용하여, 제 1 마이크로폰(110)의 지향 방향을 제어하는 것이 바람직하다. 또한, 제어부(140)는, 제 2 마이크로폰(120)으로부터 입력된 잡음 정보를 이용하여, 제 1 마이크로폰(110)의 지향 방향을 제어한 후, 제 1 마이크로폰(110)의 증폭 이득을 제어하는 것을 특징으로 한다.The control unit 140 controls the amplification gain of the first microphone 110 using the state information of the vehicle by the CAN communication. In addition, the controller 140 preferably controls the direction of the first microphone 110 using the noise information input from the second microphone 120. The control unit 140 controls the direction of the first microphone 110 using the noise information input from the second microphone 120 and then controls the amplification gain of the first microphone 110 .

예를 들어 설명하자면, 차량이 고속 주행하고 있는 경우 클러스터로부터 현재 차량의 속도를 CAN 통신에 의해 제어부(140)로 전송한다. 차량의 속도 데이터에 의해 제어부(140)는 제 1 마이크로폰(110)으로 입력되는 소리의 증폭 이득을 제어한다. 차량의 속도가 빠르면 빠를수록 차량의 잡음은 커질 것이고 그에 따라 제 1 마이크로폰(110)으로 입력되는 소리의 증폭 이득을 높일 필요가 있을 것이다.For example, if the vehicle is traveling at a high speed, the speed of the current vehicle is transmitted from the cluster to the control unit 140 via the CAN communication. The control unit 140 controls the amplification gain of the sound input to the first microphone 110 according to the vehicle speed data. As the speed of the vehicle becomes faster, the noise of the vehicle will increase, and accordingly, it is necessary to increase the amplification gain of the sound input to the first microphone 110.

그리고 차량 주행 중에 창문을 열었을 때도 마찬가지이다. 창문을 열었을 때 안으로 들어오는 바람은 음성 인식 동작에 치명적이다. 그래서 창문을 연 정도와 차량의 속도를 연관해서 제어부(140)로 데이터를 전송하고, 제어부(140)는 차량의 속도가 점점 높아지고 창문을 연 정도와 관련하여 1차적으로 제 1 마이크로폰(110)으로 들어오는 소리의 증폭 이득을 제어한다. 다만, 이 경우, 제 2 마이크로폰(120)으로 입력되는 잡음 레벨이 증가할 것이므로, 소리의 증폭 이득만 가지고 음성 인식을 정상적으로 동작시킬 수 없을 가능성이 있어, 제 1 마이크로폰(110)의 위치를 최대한 바람에 영향을 받지 않도록 움직이게 제어할 수 있다. 즉, 제 1 마이크로폰(110)이 지향하는 방향을 2차적으로 제어한다. 또한, 변경된 제 1 마이크로폰(110)의 방향에서, 3차적으로 다시 제 1 마이크로폰(110)의 증폭 이득을 제어하게 된다.The same is true when the window is opened while driving. The wind that comes in when you open the window is fatal to speech recognition. Accordingly, the control unit 140 transmits data to the control unit 140 in association with the degree of opening of the window and the speed of the vehicle, and the control unit 140 transmits the data to the first microphone 110 Controls the amplification gain of the incoming sound. In this case, since the noise level input to the second microphone 120 will increase, there is a possibility that speech recognition can not be normally performed only by amplification gain of the sound. Thus, the position of the first microphone 110 can be maximized So as not to be influenced by the user. That is, the direction in which the first microphone 110 is directed is secondarily controlled. In addition, the amplification gain of the first microphone 110 is controlled again in the third direction in the direction of the modified first microphone 110.

차량의 오디오 동작의 경우, 역시 음성 인식에 치명적이라고 할 수 있다. 보통 요즘 차량은 오디오가 나오는 도중에 음성 인식 버튼을 누르면 오디오가 종료가 되고 음성 인식이 시작된다. 그러나, 본 발명의 차량용 음성 인식을 위한 마이크로폰 제어 시스템(100)의 제어부(140)는, 오디오의 볼륨 정보를 CAN 통신에 의해 전송받아 1차적으로 제 1 마이크로폰(110)으로 들어오는 소리의 증폭 이득을 제어하고, 제 2 마이크로폰(120)으로 입력되는 오디오의 잡음이 사람의 목소리를 넘어서면 제 1 마이크로폰(110)을 스피커가 나오는 방향으로부터 최대한 피해서 위치를 하도록 2차적으로 제어하게 된다. 아울러, 변경된 제 1 마이크로폰(110)의 방향에서, 3차적으로 다시 제 1 마이크로폰(110)의 증폭 이득을 제어하게 된다.In the case of the audio operation of the vehicle, it may also be said to be fatal to speech recognition. In most of today's cars, when you press the voice recognition button while audio is being output, the audio ends and voice recognition starts. However, the control unit 140 of the microphone control system 100 for vehicle voice recognition of the present invention receives the volume information of the audio through the CAN communication and primarily receives the amplification gain of the sound coming into the first microphone 110 And when the noise of the audio input to the second microphone 120 exceeds the human voice, the first microphone 110 is controlled to be secondarily controlled to avoid the direction of the speaker as much as possible. In addition, the amplification gain of the first microphone 110 is controlled again in the third direction in the direction of the modified first microphone 110.

마찬가지로 잡음을 일으킬 수 있는 공조 장치나 와이퍼 작동시 발생하는 잡음 같은 경우에도 CAN 통신에 의해 전송받아 1차적으로 제 1 마이크로폰(110)으로 들어오는 소리의 증폭 이득을 제어하고, 그 이후에 제 2 마이크로폰(120)으로 입력되는 오디오의 잡음이 더 커진다면 공조 장치나 와이퍼 작동 소음을 최대한 피하도록 제 1 마이크로폰(110)을 움직여 음성 인식의 성공률을 높일 수 있도록 2차적으로 제어한다. 아울러, 변경된 제 1 마이크로폰(110)의 방향에서, 3차적으로 다시 제 1 마이크로폰(110)의 증폭 이득을 제어하게 된다.Similarly, in the case of an air conditioner capable of generating noises or a noise generated when the wiper is operated, it is controlled by the CAN communication to primarily control the amplification gain of the sound coming into the first microphone 110, If the noise of the audio input to the first microphone 120 is larger, the first microphone 110 is moved to avoid the operation noise of the air conditioner or the wiper as much as possible to secondarily control the success rate of the voice recognition. In addition, the amplification gain of the first microphone 110 is controlled again in the third direction in the direction of the modified first microphone 110.

아울러, 제어부(140)가 CAN 통신에 의해 별도의 정보를 전송받지 못한 경우에도, 차량의 주변 환경에 의해 잡음이 증가하는 경우가 발생할 수 있다. 이 경우에는, 제어부(140)는, 제 2 마이크로폰(120)으로부터 입력된 잡음 정보를 이용하여, 제 1 마이크로폰(110)의 지향 방향을 제어한다. 또한, 제어부(140)는, 제 1 마이크로폰(110)의 지향 방향을 제어한 후, 제 1 마이크로폰(110)의 증폭 이득을 제어하여 제 1 마이크로폰(110)의 증폭 이득 및 지향 방향을 최적화하게 된다.In addition, even if the control unit 140 does not receive any additional information by the CAN communication, the noise may increase due to the surrounding environment of the vehicle. In this case, the control unit 140 controls the direction of the first microphone 110 using the noise information input from the second microphone 120. The control unit 140 controls the direction of the first microphone 110 and then controls the amplification gain of the first microphone 110 to optimize the amplification gain and the direction of the first microphone 110 .

구체적으로 제 1 마이크로폰(110)의 지향 방향의 제어는 다음과 같이 이루어질 수 있다.More specifically, the control of the direction of the first microphone 110 may be performed as follows.

제 2 마이크로폰(120)에 의해 잡음을 측정할 경우, 제어부(140)는 제 2 마이크로폰(120)의 지향 방향을 제어하여 가장 잡음이 크게 입력되는 방향을 파악한 후, 제 1 마이크로폰(110)의 지향 방향을 가장 잡음이 크게 입력되는 방향과 반대되는 방향으로 움직이게 된다.When the noise is measured by the second microphone 120, the controller 140 controls the direction of the second microphone 120 to determine the direction of the greatest noise, The direction is moved in a direction opposite to the direction in which the noise is largely inputted.

영상 판단부(130)는, 카메라를 이용하여 획득된 음성 인식 대상자의 얼굴 영상을 이용하여 해당 대상자가 말을 하고 있는지를 판단하는 역할을 한다. 영상 판단부(130)가 해당 대상자가 말을 하고 있지 않은 것으로 판단한 경우, 제어부(140)는 음성 인식이 수행되지 않도록 제어 신호를 생성하게 된다. 예를 들어, 운전자의 입모양을 검출해서 운전자가 말을 하고 있는지 알 수가 있다. 이런 경우 음성 인식을 수행하지 않는 것에 의해 잡음에 기인한 음성의 오인식을 방지할 수 있다.The image determination unit 130 determines whether the subject is speaking by using the face image of the speech recognition subject obtained using the camera. If the image determination unit 130 determines that the subject does not speak, the control unit 140 generates a control signal so that speech recognition is not performed. For example, you can detect the driver's mouth shape and see if the driver is speaking. In this case, by not performing speech recognition, it is possible to prevent erroneous recognition of speech caused by noise.

제어부(140)가 음성 인식이 수행되지 않도록 제어 신호를 생성하는 방법은, 제 1 마이크로폰(110)으로부터 입력되는 소리 신호 자체를 입력받지 않도록 제 1 마이크로폰(110)을 오프(Off)시키는 제어 신호를 생성하거나, 제 1 마이크로폰(110)으로부터 입력되는 소리 신호는 받더라도 음성 인식 부분에서 음성 인식을 수행하지 않도록 제어 신호를 생성하는 방법이 있을 수 있다.A method of generating a control signal so that the controller 140 does not perform speech recognition may include receiving a control signal for turning off the first microphone 110 so as not to receive the sound signal itself input from the first microphone 110 There may be a method of generating a control signal so as not to perform speech recognition in the speech recognition section even when receiving a sound signal input from the first microphone 110.

아울러, 영상 판단부(130)는, 해당 대상자의 얼굴 방향을 판단할 수도 있다. 영상 판단부(130)의 판단 결과에 따른 얼굴 방향에 따라, 제어부(140)가 제 1 마이크로폰(110)의 지향 방향을 제어할 수 있다. 즉, 영상 판단부(130)는 운전자의 얼굴을 인식하여 운전자의 얼굴 방향을 제어부(140)로 CAN 통신에 의해 전송한다. 제어부(140)는 전송받은 운전자의 얼굴 방향으로 제 1 마이크로폰(110)의 지향 방향을 제어하게 된다. In addition, the image determining unit 130 may determine the face direction of the subject. The control unit 140 can control the direction of the first microphone 110 according to the direction of the face according to the determination result of the image determination unit 130. [ That is, the image determination unit 130 recognizes the face of the driver and transmits the face direction of the driver to the control unit 140 through the CAN communication. The control unit 140 controls the direction of the first microphone 110 in the direction of the face of the driver.

도 2는 본 발명의 바람직한 일실시예에 따른 차량용 음성 인식을 위한 마이크로폰 제어 방법의 흐름도를 나타낸다.2 is a flowchart of a microphone control method for voice recognition for a vehicle according to a preferred embodiment of the present invention.

도 2의 차량용 음성 인식을 위한 마이크로폰 제어 방법은, 차량용 음성 인식을 위한 마이크로폰 제어 시스템(100)을 사용하는 까닭에 차량용 음성 인식을 위한 마이크로폰 제어 시스템(100)의 특징을 모두 포함하고 있음은 물론이다.It is needless to say that the microphone control method for vehicle voice recognition of FIG. 2 includes all the features of the microphone control system 100 for vehicle voice recognition because the microphone control system 100 for vehicle voice recognition is used .

도 2로부터 알 수 있는 바와 같이, 본 발명의 바람직한 일실시예에 따른 차량용 음성 인식을 위한 마이크로폰 제어 방법은, CAN(Controller Area Network) 통신에 의한 차량의 상태 정보를 입력받는 단계(S10), S10 단계의 차량의 상태 정보를 이용하여, 제 1 마이크로폰(110)의 동작을 제어하는 단계(S20), 제 2 마이크로폰(120)으로부터 잡음 정보를 입력받는 단계(S30) 및 S30 단계의 차량의 상태 정보를 이용하여, 제 1 마이크로폰(110)의 동작을 제어하는 단계(S40)을 포함한다.As shown in FIG. 2, the microphone control method for vehicle voice recognition according to the preferred embodiment of the present invention includes steps of receiving (S 10) vehicle status information by CAN (Controller Area Network) communication, (S20) of controlling the operation of the first microphone 110, receiving noise information from the second microphone 120 (S30), and using the state information of the vehicle in step S30 (S40) of controlling the operation of the first microphone 110 using the first microphone 110. [

구체적으로 S20 단계는, CAN 통신에 의한 차량의 상태 정보를 이용하여, 제 1 마이크로폰(110)의 증폭 이득을 제어하는 것을 특징으로 한다.Specifically, step S20 is characterized in that the amplification gain of the first microphone 110 is controlled using the state information of the vehicle by the CAN communication.

아울러, S40 단계는, 제 2 마이크로폰(120)으로부터 입력된 잡음 정보를 이용하여, 제 1 마이크로폰(110)의 지향 방향을 제어하는 단계(S41) 및 S41 단계의 완료 후, 제 1 마이크로폰(110)의 증폭 이득을 제어하는 단계(S42)를 포함하는 것이 바람직하다.In step S40, the direction of the first microphone 110 is controlled using the noise information input from the second microphone 120. In step S41, after the completion of step S41, And a step (S42) of controlling the amplification gain of the amplifier.

또한, 본 발명의 바람직한 일실시예에 따른 차량용 음성 인식을 위한 마이크로폰 제어 방법은, 카메라를 이용하여 획득된 음성 인식 대상자의 얼굴 영상을 이용하여 해당 대상자가 말을 하고 있는지를 판단하는 단계(S50), S50 단계에서 해당 대상자가 말을 하고 있지 않은 것으로 판단한 경우, 음성 인식이 수행되지 않도록 제어 신호를 생성하는 단계(S60), 카메라를 이용하여 획득된 음성 인식 대상자의 얼굴 영상을 이용하여 해당 대상자의 얼굴 방향을 판단하는 단계(S70) 및 S70 단계의 판단 결과에 따른 얼굴 방향에 따라, 제 1 마이크로폰(110)의 지향 방향을 제어하는 단계(S80)를 더 포함하는 것이 바람직하다.According to another aspect of the present invention, there is provided a method for controlling a microphone for speech recognition in a vehicle, the method comprising the steps of: determining whether a subject is speaking using a face image of a speech recognition subject obtained using a camera in operation S50; A step S60 of generating a control signal so that speech recognition is not performed when it is determined in step S50 that the subject is not speaking, a step S60 of generating a control signal so that the face image of the speech recognition subject, It is preferable that the method further comprises a step S80 of controlling the direction of the first microphone 110 according to the face direction determined in step S70 and the determination result in step S70.

상술한 바와 같이 본 발명의 차량용 음성 인식을 위한 마이크로폰 제어 시스템(100) 및 그 제어 방법에 따르면, CAN(Controller Area Network) 통신에 의한 차량의 상태 정보 및 잡음용 마이크로폰으로 입력되는 잡음 정보를 이용하여 음성 인식용 마이크로폰의 증폭 이득 및 지향 방향을 제어하는 것에 의해 더욱 효율적인 음성 인식을 가능함을 알 수 있다.As described above, according to the microphone control system 100 for voice recognition for vehicles of the present invention and the control method thereof, it is possible to use the state information of the vehicle by CAN (Controller Area Network) communication and the noise information input to the noise microphone It can be seen that more efficient voice recognition is possible by controlling the amplification gain and the direction of the voice recognition microphone.

100 : 차량용 음성 인식을 위한 마이크로폰 제어 시스템
110 : 제 1 마이크로폰 120 : 제 2 마이크로폰
130 : 영상 판단부 140 : 제어부100: Microphone control system for vehicle voice recognition
110: first microphone 120: second microphone
130: video determination unit 140:

Claims (17)

음성 인식용 소리를 입력받는 제 1 마이크로폰;
잡음 측정을 위한 제 2 마이크로폰;
상기 제 1 마이크로폰 또는 상기 제 2 마이크로폰의 동작을 제어하는 제어부; 및
카메라를 이용하여 획득된 음성 인식 대상자의 얼굴 영상을 이용하여 해당 대상자가 말을 하고 있는지를 판단하는 영상 판단부;를 포함하되,
상기 제어부는, CAN(Controller Area Network) 통신에 의한 차량의 상태 정보를 이용하여 상기 제 1 마이크로폰의 증폭 이득을 제어하고, 상기 제 2 마이크로폰으로부터 입력된 잡음 정보를 이용하여 상기 제 1 마이크로폰의 지향 방향을 제어한 후, 상기 제 1 마이크로폰의 증폭 이득을 제어하고,
상기 제어부는, 상기 제 2 마이크로폰의 지향 방향을 제어하여 가장 잡음이 크게 입력되는 방향을 파악한 후, 상기 제 1 마이크로폰의 지향 방향을 가장 잡음이 크게 입력되는 방향과 반대되는 방향으로 움직이도록 하고,
상기 제어부는, 상기 영상 판단부가 해당 대상자가 말을 하고 있지 않은 것으로 판단한 경우, 음성 인식이 수행되지 않도록 제어 신호를 생성하고,
상기 영상 판단부는, 해당 대상자의 얼굴 방향도 판단할 수 있고,
상기 제어부는, 상기 영상 판단부의 판단 결과에 따른 얼굴 방향에 따라, 상기 제 1 마이크로폰의 지향 방향을 제어하는 것을 특징으로 하는 차량용 음성 인식을 위한 마이크로폰 제어 시스템.A first microphone for receiving sound for voice recognition;
A second microphone for noise measurement;
A controller for controlling operations of the first microphone or the second microphone; And
And an image determination unit for determining whether the subject is speaking by using the face image of the speech recognition subject obtained using the camera,
Wherein the control unit controls the amplification gain of the first microphone by using the state information of the vehicle by CAN (Controller Area Network) communication and controls the amplification gain of the first microphone by using the noise information inputted from the second microphone, Controls an amplification gain of the first microphone,
Wherein the control unit controls the direction of the second microphone to detect a direction in which the noise is largely input and then moves the direction of the first microphone in a direction opposite to a direction in which the noise is largely input,
Wherein the control unit generates a control signal so that speech recognition is not performed when the image determination unit determines that the subject does not speak,
The image determination unit may also determine a face direction of the subject,
Wherein the control unit controls the direction of the first microphone in accordance with the face direction according to the determination result of the image determination unit. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete (a) CAN(Controller Area Network) 통신에 의한 차량의 상태 정보를 입력받는 단계;
(b) 상기 (a) 단계의 차량의 상태 정보를 이용하여, 제 1 마이크로폰의 동작을 제어하는 단계;
(c) 제 2 마이크로폰으로부터 잡음 정보를 입력받는 단계;
(d) 상기 (c) 단계의 정보를 이용하여, 상기 제 1 마이크로폰의 동작을 제어하는 단계;
(e) 카메라를 이용하여 획득된 음성 인식 대상자의 얼굴 영상을 이용하여 해당 대상자가 말을 하고 있는지를 판단하는 단계;
(f) 상기 (e) 단계에서 해당 대상자가 말을 하고 있지 않은 것으로 판단한 경우, 음성 인식이 수행되지 않도록 제어 신호를 생성하는 단계;
(g) 카메라를 이용하여 획득된 음성 인식 대상자의 얼굴 영상을 이용하여 해당 대상자의 얼굴 방향을 판단하는 단계; 및
(h) 상기 (g) 단계의 판단 결과에 따른 얼굴 방향에 따라, 상기 제 1 마이크로폰의 지향 방향을 제어하는 단계;를 포함하되,
상기 (b) 단계는,
CAN 통신에 의한 차량의 상태 정보를 이용하여 상기 제 1 마이크로폰의 증폭 이득을 제어하고,
상기 (d) 단계는,
(d-1) 상기 제 2 마이크로폰으로부터 입력된 잡음 정보를 이용하여, 상기 제 1 마이크로폰의 지향 방향을 제어하는 단계; 및
(d-2) 상기 (d-1) 단계의 완료 후, 상기 제 1 마이크로폰의 증폭 이득을 제어하는 단계;를 포함하되,
상기 (d-1) 단계는
상기 제 2 마이크로폰의 지향 방향을 제어하여 가장 잡음이 크게 입력되는 방향을 파악한 후, 상기 제 1 마이크로폰의 지향 방향을 가장 잡음이 크게 입력되는 방향과 반대되는 방향으로 움직이도록 하는 것을 특징으로 하는 차량용 음성 인식을 위한 마이크로폰 제어 방법.(a) receiving vehicle status information through CAN (Controller Area Network) communication;
(b) controlling an operation of the first microphone using the state information of the vehicle in the step (a);
(c) receiving noise information from the second microphone;
(d) controlling an operation of the first microphone using the information of step (c);
(e) determining whether the subject is speaking by using the face image of the speech recognition subject obtained using the camera;
(f) generating a control signal such that speech recognition is not performed when it is determined in the step (e) that the subject does not speak;
(g) determining a face direction of the subject using the face image of the speech recognition subject obtained using the camera; And
(h) controlling a direction of the first microphone according to a face direction according to the determination result of step (g)
The step (b)
Controls the amplification gain of the first microphone by using the state information of the vehicle by the CAN communication,
The step (d)
(d-1) controlling a direction of the first microphone using noise information input from the second microphone; And
(d-2) controlling the amplification gain of the first microphone after completion of the (d-1) step,
The step (d-1)
Wherein the control unit controls the direction of the second microphone to determine a direction in which the noise is largely inputted and then moves the direction of the first microphone in a direction opposite to a direction in which noise is largely input. A microphone control method for recognition. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020150132085A 2015-09-18 2015-09-18 Microphone control system for voice recognition of automobile and control method therefor KR101710695B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150132085A KR101710695B1 (en) 2015-09-18 2015-09-18 Microphone control system for voice recognition of automobile and control method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150132085A KR101710695B1 (en) 2015-09-18 2015-09-18 Microphone control system for voice recognition of automobile and control method therefor

Publications (1)

Publication Number Publication Date
KR101710695B1 true KR101710695B1 (en) 2017-02-27

Family

ID=58315798

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150132085A KR101710695B1 (en) 2015-09-18 2015-09-18 Microphone control system for voice recognition of automobile and control method therefor

Country Status (1)

Country Link
KR (1) KR101710695B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112918381A (en) * 2019-12-06 2021-06-08 广州汽车集团股份有限公司 Method, device and system for welcoming and delivering guests by vehicle-mounted robot

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010283506A (en) * 2009-06-03 2010-12-16 Mitsubishi Electric Corp Acoustic processing device for vehicle installation
KR20140051651A (en) * 2012-10-23 2014-05-02 엘지전자 주식회사 Terminal and method for controlling the same
KR20150054306A (en) * 2013-11-11 2015-05-20 현대모비스 주식회사 Apparatus for warning sound output control of vehicle and method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010283506A (en) * 2009-06-03 2010-12-16 Mitsubishi Electric Corp Acoustic processing device for vehicle installation
KR20140051651A (en) * 2012-10-23 2014-05-02 엘지전자 주식회사 Terminal and method for controlling the same
KR20150054306A (en) * 2013-11-11 2015-05-20 현대모비스 주식회사 Apparatus for warning sound output control of vehicle and method thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112918381A (en) * 2019-12-06 2021-06-08 广州汽车集团股份有限公司 Method, device and system for welcoming and delivering guests by vehicle-mounted robot
CN112918381B (en) * 2019-12-06 2023-10-27 广州汽车集团股份有限公司 Vehicle-mounted robot welcome method, device and system

Similar Documents

Publication Publication Date Title
US10643605B2 (en) Automatic multi-performance evaluation system for hybrid speech recognition
WO2017081960A1 (en) Voice recognition control system
JP6604151B2 (en) Speech recognition control system
JP6977004B2 (en) In-vehicle devices, methods and programs for processing vocalizations
CN110770693A (en) Gesture operation device and gesture operation method
CN112397065A (en) Voice interaction method and device, computer readable storage medium and electronic equipment
CN114678021B (en) Audio signal processing method and device, storage medium and vehicle
JP2017090614A (en) Voice recognition control system
KR20130046759A (en) Apparatus and method for recogniting driver command in a vehicle
JP6459330B2 (en) Speech recognition apparatus, speech recognition method, and speech recognition program
JP4910563B2 (en) Voice recognition device
KR101710695B1 (en) Microphone control system for voice recognition of automobile and control method therefor
JP2008250236A (en) Speech recognition device and speech recognition method
US10759447B2 (en) Driving support method, vehicle, and driving support system
JPH11352987A (en) Voice recognition device
JP2005354223A (en) Sound source information processing apparatus, sound source information processing method, and sound source information processing program
JP2020144264A (en) Agent device, control method of agent device, and program
JP4026198B2 (en) Voice recognition device
US20220415318A1 (en) Voice assistant activation system with context determination based on multimodal data
JPWO2020016927A1 (en) Sound field control device and sound field control method
JP7239365B2 (en) AGENT DEVICE, CONTROL METHOD OF AGENT DEVICE, AND PROGRAM
WO2019175960A1 (en) Voice processing device and voice processing method
WO2020240789A1 (en) Speech interaction control device and speech interaction control method
WO2020017166A1 (en) Information processing device, information processing system, information processing method, and program
JP2019191477A (en) Voice recognition device and voice recognition method

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
GRNT Written decision to grant
X701 Decision to grant (after re-examination)
FPAY Annual fee payment

Payment date: 20200210

Year of fee payment: 4