JP2018125822A - In-vehicle conversation support device - Google Patents

In-vehicle conversation support device Download PDF

Info

Publication number
JP2018125822A
JP2018125822A JP2017019149A JP2017019149A JP2018125822A JP 2018125822 A JP2018125822 A JP 2018125822A JP 2017019149 A JP2017019149 A JP 2017019149A JP 2017019149 A JP2017019149 A JP 2017019149A JP 2018125822 A JP2018125822 A JP 2018125822A
Authority
JP
Japan
Prior art keywords
voice
passenger
row
passengers
microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017019149A
Other languages
Japanese (ja)
Other versions
JP6775897B2 (en
Inventor
藤原 学
Manabu Fujiwara
学 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2017019149A priority Critical patent/JP6775897B2/en
Publication of JP2018125822A publication Critical patent/JP2018125822A/en
Application granted granted Critical
Publication of JP6775897B2 publication Critical patent/JP6775897B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an in-vehicle conversation support device capable of improving difficulty in hearing an utterance content occurring in accordance with an utterance volume.SOLUTION: An in-vehicle conversation support device 1 comprises: a microphone 10 that collects a voice of a passenger in a front row; a microphone 30 that collects the voice of the passenger in a rear row; a voice processing part 12 that outputs the voice collected by the microphone 10 from a speaker 36 toward the passenger in the rear row; an amplifier 14; a voice processing part 32 that outputs the voice collected by the microphone 30 from a speaker 16 toward the passenger in the front row; an amplifier 34; a voice output stop determination unit 18 that stops the output of the voice toward the passenger of the rear row from the speaker 36 when an utterance voice of the passenger in the front row reaches to the passenger in the rear row; and a voice output stop determination part 38 that stops the output of the voice toward the passenger in the front row from the speaker 16 when achieving the utterance voice of the passenger in the rear row to the passenger in the front row.SELECTED DRAWING: Figure 1

Description

本発明は、車両に搭載されて、搭乗者の発話音声をマイクロホンで集音してスピーカから出力するようにした車内会話支援装置に関する。   The present invention relates to an in-car conversation support apparatus that is mounted on a vehicle and that collects a utterance voice of a passenger with a microphone and outputs it from a speaker.

従来から、運転席や助手席の搭乗者の発話音声をマイクロホンで集音したり、後部座席の搭乗者の発話音声をマイクロホンで集音してスピーカから出力することにより、走行中の車内において各搭乗者の発話内容を他の搭乗者が聞き取りやすくなるようにした車室内会話補助装置が知られている(例えば、特許文献1参照。)。   Conventionally, the voices of passengers in the driver's seat and passenger's seat are collected with a microphone, or the voices of passengers in the backseat are collected with a microphone and output from a speaker. 2. Description of the Related Art A vehicle interior conversation assist device that makes it easy for other passengers to hear the content of a passenger's utterance is known (see, for example, Patent Document 1).

なお、搭乗者の発話音声に対して音声認識処理を行い、発話内容をテキストでディスプレイに表示するようにした車内会話支援装置も従来から知られている(例えば、特許文献2参照。)。   Note that an in-car conversation support apparatus that performs voice recognition processing on a passenger's uttered voice and displays the utterance content on a display as a text has been conventionally known (see, for example, Patent Document 2).

特開2010−83452号公報JP 2010-83452 A 特開2014−170154号公報JP 2014-170154 A

ところで、上述した特許文献1に開示された車室内会話補助装置では、発話する搭乗者の音量が大きい場合に、この発話音声をスピーカから出力した出力音と発話音声そのものが重なって他の搭乗者に聞こえることがあり、発話内容が聞き取りにくくなるという問題があった。例えば、後部座席の搭乗者の発話音量が大きいと、運転席や助手席の搭乗者に、この発話音声が直接到達するとともに、音声処理等に起因する遅延の後にスピーカから同じ内容の音声が出力されて運転席や助手席の搭乗者に到達することになるため、これらの音声の内容を理解しようとする搭乗者にとっては耳障りな状況となる。   By the way, in the in-vehicle conversation assistance device disclosed in Patent Document 1 described above, when the volume of the occupant speaking is high, the output sound that is output from the speaker and the uttered sound itself are overlapped with another passenger. There was a problem that it was difficult to hear the utterance content. For example, if the utterance volume of the passenger in the rear seat is high, this utterance voice reaches the passenger in the driver's seat or passenger seat directly, and the same sound is output from the speaker after a delay caused by voice processing etc. As a result, it reaches the driver's seat and passenger's seat passenger, which is annoying for passengers who want to understand the contents of these voices.

なお、上述した特許文献2に開示された車内会話支援装置のように、発話内容をテキストで表示した場合には、互いに到達タイミングがずれて音声が到達することはなくなるが、他の搭乗者が直接理解できない程度の小さな音量で発話した内容を、表示されたテキストを読んで理解しなければならないため、会話に要する負担が大きくなるとともに会話の臨場感に欠けることになるため、実用的とは言えない。   In addition, when the utterance content is displayed in text as in the in-car conversation support device disclosed in Patent Document 2 described above, the arrival timing is shifted from each other and the voice does not reach, but other passengers Because it is necessary to read the displayed text to understand the content uttered at a volume that cannot be directly understood, it increases the burden of conversation and lacks the realism of the conversation. I can not say.

本発明は、このような点に鑑みて創作されたものであり、その目的は、発話音量に応じて生じる発話内容の聞き取りにくさを改善することができる車内会話支援装置を提供することにある。   The present invention was created in view of the above points, and an object of the present invention is to provide an in-vehicle conversation support device that can improve difficulty in hearing the utterance content generated according to the utterance volume. .

上述した課題を解決するために、本発明の車内会話支援装置は、前列の搭乗者の音声を集音する第1のマイクロホンと、後列の搭乗者の音声を集音する第2のマイクロホンと、第1のマイクロホンで集音した音声を後列の搭乗者に向けてスピーカから出力する第1の音声出力手段と、第2のマイクロホンで集音した音声を前列の搭乗者に向けてスピーカから出力する第2の音声出力手段と、前列の搭乗者の発話音声が後列の搭乗者に到達したときに、第1の音声出力手段による後列の搭乗者に向けた音声の出力を中止する第1の音声出力中止手段と、後列の搭乗者の発話音声が前列の搭乗者に到達したときに、第2の音声出力手段による前列の搭乗者に向けた音声の出力を中止する第2の音声出力中止手段とを備えている。   In order to solve the above-described problem, the in-vehicle conversation support device of the present invention includes a first microphone that collects the voice of the passenger in the front row, a second microphone that collects the voice of the passenger in the rear row, First sound output means for outputting the sound collected by the first microphone from the speaker toward the passenger in the rear row, and outputting the sound collected by the second microphone from the speaker toward the passenger in the front row. The second voice output means and the first voice that stops outputting the voice toward the passenger in the rear row by the first voice output means when the voice of the passenger in the front row reaches the passenger in the rear row Output canceling means, and second voice output stopping means for canceling the output of the voice toward the front row passengers by the second voice output means when the voice of the rear row passengers reaches the front row passengers And.

後列の搭乗者の発話音声が直接前列の搭乗者に到達するような場合や、前列の搭乗者の発話音声が直接後列の搭乗者に到達するような場合に、スピーカを用いた音声出力を中止するため、同じ発話内容の音声がずれたタイミングで到達することを防止することができ、発話音量が大きい場合に生じる聞き取りにくさを改善することが可能となる。   Audio output using the speaker is canceled when the voice of the passenger in the rear row reaches the passenger in the front row directly or when the voice of the passenger in the front row reaches the passenger in the rear row directly Therefore, it is possible to prevent the voices of the same utterance content from reaching at a timing shifted, and it is possible to improve the difficulty in hearing when the utterance volume is high.

また、上述した前列の搭乗者の発話音声の後列の搭乗者への到達の有無が繰り返し切り替わる場合に、第1のマイクロホンで集音した前列の搭乗者の発話音声の内容を解析して後列の搭乗者に向けて表示する第1の音声認識処理手段と、後列の搭乗者の発話音声の前列の搭乗者への到達の有無が繰り返し切り替わる場合に、第2のマイクロホンで集音した後列の搭乗者の発話音声の内容を解析して前列の搭乗者に向けて表示する第2の音声認識処理手段とをさらに備えることが望ましい。これにより、後列の搭乗者の発話音声が直接前列の搭乗者に到達しているが、音量が不十分で部分的にしかその内容を聞き取れないような場合や、前列の搭乗者の発話音声が直接後列の搭乗者に到達しているが、音量が不十分で部分的にしかその内容を聞き取れないような場合に、発話音声の内容を表示で確認することができ、音量不足による聞き取りにくさを補完することが可能となる。   Further, when the presence or absence of the utterance voice of the front row passengers reaching the rear row passengers is repeatedly switched, the contents of the front row passengers' voices collected by the first microphone are analyzed and the back row passenger speech is analyzed. Boarding in the back row collected by the second microphone when the first speech recognition processing means to be displayed to the passenger and the presence / absence of the speech of the back row passengers reaching the front row passenger are repeatedly switched It is desirable to further include second voice recognition processing means for analyzing the content of the person's uttered voice and displaying it to the front row passengers. As a result, the utterance voice of the passengers in the rear row has reached the passengers in the front row directly, but the volume is insufficient and the contents can only be heard partially, or If you have reached the passenger in the back row directly, but the volume is insufficient and you can only hear the content, you can check the content of the utterance voice on the display, making it difficult to hear due to insufficient volume. Can be complemented.

また、上述した第1の音声出力中止手段は、第1の音声認識処理手段によって前列の搭乗者の発話音声の解析結果が後列の搭乗者に向けて表示されているときに、第1の音声出力手段による後列の搭乗者に向けた音声の出力を中止し、第2の音声出力中止手段は、第2の音声認識処理手段によって後列の搭乗者の発話音声の解析結果が前列の搭乗者に向けて表示されているときに、第2の音声出力手段による前列の搭乗者に向けた音声の出力を中止することが望ましい。これにより、後列の搭乗者の発話音声が直接前列の搭乗者に到達しているが、音量が不十分で部分的にしかその内容を聞き取れないような場合や、前列の搭乗者の発話音声が直接後列の搭乗者に到達しているが、音量が不十分で部分的にしかその内容を聞き取れないような場合に、スピーカから音声が出力されないようにすることで、断片的に生じる耳障りな音声の重複を避けることが可能となる。   In addition, the first voice output stopping unit described above is configured so that the first voice recognition processing unit displays the first voice when the analysis result of the utterance voice of the passenger in the front row is displayed toward the passenger in the rear row. The output means stops outputting the voice toward the passenger in the back row, and the second voice output stop means outputs the analysis result of the utterance voice of the passenger in the back row to the passenger in the front row by the second voice recognition processing means. It is desirable to stop outputting the sound directed to the passengers in the front row by the second sound output means when the information is being displayed. As a result, the utterance voice of the passengers in the rear row has reached the passengers in the front row directly, but the volume is insufficient and the contents can only be heard partially, or Directly reaching the passengers in the rear row, but when the volume is insufficient and the contents can only be heard partially, the harsh sound that is generated in fragments is made by preventing the sound from being output from the speaker. It becomes possible to avoid duplication.

また、上述した第1の音声出力中止手段は、第2のマイクロホンから出力される音声信号に基づいて、前列の搭乗者の発話音声が後列の搭乗者に到達したか否かを判定し、第2の音声出力中止手段は、第1のマイクロホンから出力される音声信号に基づいて、後列の搭乗者の発話音声が前列の搭乗者に到達したか否かを判定することが望ましい。後列の搭乗者の音声を集音する第2のマイクロホンを用いて前列の搭乗者の音声を検出するとともに、前列の搭乗者の音声を集音する第1のマイクロホンを用いて後列の搭乗者の音声を検出することにより、音声検出用の構成を別に用意する必要がなくなるため、部品点数の低減によるコストダウンが可能となる。   In addition, the first audio output stopping unit described above determines whether or not the utterance voice of the front row passenger has reached the back row passenger based on the audio signal output from the second microphone, Preferably, the second audio output canceling means determines whether or not the utterance voice of the rear row passenger has reached the front row passenger based on the audio signal output from the first microphone. The second microphone that collects the voice of the passenger in the rear row is used to detect the voice of the passenger in the front row, and the first microphone that collects the voice of the passenger in the front row is used to detect the voice of the passenger in the rear row. By detecting the sound, it is not necessary to prepare a separate structure for detecting the sound, so that the cost can be reduced by reducing the number of parts.

また、上述した後列の搭乗者の音声を前列の搭乗者の聴取位置近傍で集音する第3のマイクロホンと、前列の搭乗者の音声を後列の搭乗者の聴取位置近傍で集音する第4のマイクロホンとをさらに備え、第1の音声出力中止手段は、第4のマイクロホンから出力される音声信号に基づいて、前列の搭乗者の発話音声が後列の搭乗者に到達したか否かを判定し、第2の音声出力中止手段は、第3のマイクロホンから出力される音声信号に基づいて、後列の搭乗者の発話音声が前列の搭乗者に到達したか否かを判定することが望ましい。これにより、各搭乗者に他の搭乗者の音声が直接到達するか否かをより正確に判定することができ、聞き取りにくさ改善のためにスピーカからの音声出力の有無を適切に切り替えることが可能となる。   Further, the third microphone that collects the voice of the passenger in the rear row in the vicinity of the listening position of the passenger in the front row and the fourth microphone that collects the voice of the passenger in the front row in the vicinity of the listening position of the passenger in the rear row. The first audio output stopping means determines whether or not the utterance voice of the front row passenger has reached the rear row passenger based on the audio signal output from the fourth microphone. Then, it is desirable that the second audio output stopping means determines whether or not the utterance voice of the passenger in the rear row has reached the passenger in the front row based on the audio signal output from the third microphone. As a result, it is possible to more accurately determine whether or not the voices of other passengers reach each passenger directly, and to appropriately switch the presence or absence of voice output from the speaker in order to improve difficulty in hearing. It becomes possible.

第1の実施形態の車内会話支援装置の構成を示す図である。It is a figure which shows the structure of the in-vehicle conversation assistance apparatus of 1st Embodiment. マイクロホンによって検出される搭乗者の発話音声の音量とスピーカから出力される音声の有無との関係を示す図である。It is a figure which shows the relationship between the volume of the passenger's speech sound detected with a microphone, and the presence or absence of the sound output from a speaker. 第2の実施形態の車内会話支援装置の構成を示す図である。It is a figure which shows the structure of the in-vehicle conversation assistance apparatus of 2nd Embodiment. マイクロホンによって検出される搭乗者の発話音声の音量とスピーカから出力される音声の有無および表示部による音声内容表示の有無との関係を示す図である。It is a figure which shows the relationship between the volume of the passenger's speech sound detected with a microphone, the presence or absence of the audio | voice output from a speaker, and the presence or absence of the audio | voice content display by a display part. マイクロホンによって検出される搭乗者の発話音声の音量とスピーカから出力される音声の有無および表示部による音声内容表示の有無との関係を示す変形例の図である。It is a figure of the modification which shows the relationship between the volume of the passenger's speech sound detected with a microphone, the presence or absence of the audio | voice output from a speaker, and the presence or absence of the audio | voice content display by a display part. 音声検出用にマイクロホンを追加した車内会話支援装置の変形例の構成を示す図である。It is a figure which shows the structure of the modification of the in-vehicle conversation assistance apparatus which added the microphone for audio | voice detection. 音声検出用にマイクロホンを追加した車内会話支援装置の他の変形例の構成を示す図である。It is a figure which shows the structure of the other modification of the in-vehicle conversation assistance apparatus which added the microphone for audio | voice detection.

以下、本発明を適用した一実施形態の車内会話支援装置について、図面を参照しながら説明する。   Hereinafter, an in-vehicle conversation support device according to an embodiment to which the present invention is applied will be described with reference to the drawings.

(第1の実施形態)
図1は、第1の実施形態の車内会話支援装置の構成を示す図である。図1に示す車内会話支援装置1は、マイクロホン10、30、音声処理部12、32、増幅器14、34、スピーカ16、36、音声出力中止判定部18、38を含んでい構成されている。この車内会話支援装置は、車両に搭載されている。
(First embodiment)
FIG. 1 is a diagram illustrating a configuration of the in-vehicle conversation support device according to the first embodiment. The in-car conversation support apparatus 1 shown in FIG. 1 includes microphones 10 and 30, audio processing units 12 and 32, amplifiers 14 and 34, speakers 16 and 36, and audio output stop determination units 18 and 38. This in-car conversation support device is mounted on a vehicle.

マイクロホン10は、自車両前列の搭乗者の音声を集音する。マイクロホン10は、運転者と助手席の搭乗者の音声を集音可能な位置、例えば、ダッシュボードや前列席中央上部の天井などに取り付けられている。   The microphone 10 collects the voice of the passenger in the front row of the host vehicle. The microphone 10 is attached to a position where the voices of the driver and the passenger in the passenger seat can be collected, for example, the dashboard or the ceiling at the upper center of the front row seat.

マイクロホン30は、自車両後列の搭乗者の音声を集音する。マイクロホン30は、後列の搭乗者の音声を集音可能な位置、例えば、運転席あるいは助手席のヘッドレストや後列中央上部の天井などに取り付けられている。   The microphone 30 collects the voice of the passenger behind the host vehicle. The microphone 30 is attached to a position where the voices of the passengers in the rear row can be collected, for example, a headrest of a driver seat or a passenger seat, a ceiling in the upper center of the rear row, and the like.

音声処理部12は、前列用のマイクロホン10で集音した音声に対して、風切音やロードノイズなどの集音音声と無関係な成分を除去したり、音声帯域の周波数成分を強調するなどの処理を行う。これらの処理が終了した後の音声は、増幅器14によって増幅されて、後列用のスピーカ36から出力される。このスピーカ36は、後列の搭乗者の聴取に適した位置、例えば、後列座席の左右に搭載されている。   The sound processing unit 12 removes components unrelated to the collected sound such as wind noise and road noise from the sound collected by the microphone 10 for the front row, and emphasizes the frequency component of the sound band. Process. The sound after the completion of these processes is amplified by the amplifier 14 and output from the rear-row speaker 36. The speakers 36 are mounted at positions suitable for listening to the passengers in the rear row, for example, on the left and right sides of the rear row seats.

音声処理部32は、後列用のマイクロホン30で集音した音声に対して、風切音やロードノイズなどの集音音声と無関係な成分を除去したり、音声帯域の周波数成分を強調するなどの処理を行う。これらの処理が終了した後の音声は、増幅器34によって増幅されて、前列用のスピーカ16から出力される。このスピーカ16は、前列の搭乗者の聴取に適した位置、例えば、運転席と助手席の左右に搭載されている。   The sound processing unit 32 removes components unrelated to the collected sound such as wind noise and road noise from the sound collected by the microphone 30 for the back row, or emphasizes the frequency component of the sound band. Process. The sound after the completion of these processes is amplified by the amplifier 34 and output from the front-row speaker 16. The speakers 16 are mounted at positions suitable for listening to the passengers in the front row, for example, on the left and right sides of the driver seat and the passenger seat.

音声出力中止判定部18は、前列の搭乗者の発話音声が後列の搭乗者に到達したときに、音声処理部12、増幅器14、スピーカ36による後列の搭乗者に向けた音声の出力を中止する。具体的には、音声出力中止判定部18は、マイクロホン30から出力される音声信号に基づいて、前列の搭乗者の発話音声が後列の搭乗者に到達したか否かを判定する。前列の搭乗者の発話音声は、前列用のマイクロホン10でも明瞭に集音されており、ロードノイズ等の周辺ノイズから分離することが可能である。また、この前列の搭乗者の発話音声の音量が大きい場合には、ほぼ同時刻に後列用のマイクロホン30でも集音されるはずである。したがって、前列用のマイクロホン10で集音されるタイミング(音声処理部12等を通することによる若干の遅延が生じる)で後列用のマイクロホン30で集音された発話音声の有無を監視することにより、前列の搭乗者の発話音声が後列用のマイクロホン30で集音されたか否か、すなわち、前列の搭乗者の発話音声が後列の搭乗者に到達したか否かを判定することが可能となる。   The voice output stop determination unit 18 stops the output of the voice directed to the passengers in the rear row by the voice processing unit 12, the amplifier 14, and the speaker 36 when the voice of the passengers in the front row reaches the passengers in the rear row. . Specifically, the audio output cancellation determination unit 18 determines whether the utterance voice of the front row passenger has reached the rear row passenger based on the audio signal output from the microphone 30. The voices of the passengers in the front row are clearly collected by the front row microphone 10 and can be separated from ambient noise such as road noise. Further, when the volume of the uttered voice of the passengers in the front row is high, the sound should be collected by the rear row microphone 30 at approximately the same time. Therefore, by monitoring the presence / absence of uttered sound collected by the rear-stage microphone 30 at the timing of collecting the sound by the front-row microphone 10 (a slight delay occurs due to passing through the voice processing unit 12 or the like). It is possible to determine whether or not the utterance voice of the front row passenger has been collected by the rear row microphone 30, that is, whether or not the utterance voice of the front row passenger has reached the rear row passenger. .

音声出力中止判定部38は、後列の搭乗者の発話音声が前列の搭乗者に到達したときに、音声処理部32、増幅器34、スピーカ16による前列の搭乗者に向けた音声の出力を中止する。具体的には、音声出力中止判定部38は、マイクロホン10から出力される音声信号に基づいて、後列の搭乗者の発話音声が前列の搭乗者に到達したか否かを判定する。後列の搭乗者の発話音声は、後列用のマイクロホン30でも明瞭に集音され、ロードノイズ等の周辺ノイズから分離することが可能である。また、この後列の搭乗者の発話音声の音量が大きい場合には、ほぼ同時刻に前列用のマイクロホン10でも集音されるはずである。したがって、後列用のマイクロホン30で集音されるタイミング(音声処理部32等を通することによる若干の遅延が生じる)で前列用のマイクロホン10で集音された発話音声の有無を監視することにより、後列の搭乗者の発話音声が前列用のマイクロホン10で集音されたか否か、すなわち、後列の搭乗者の発話音声が前列の搭乗者に到達したか否かを判定することが可能となる。   The voice output stop determination unit 38 stops the output of the voice toward the front row passengers by the voice processing unit 32, the amplifier 34, and the speaker 16 when the voice of the rear row passengers reaches the front row passengers. . Specifically, the audio output stop determination unit 38 determines whether the utterance voice of the passenger in the rear row has reached the passenger in the front row based on the audio signal output from the microphone 10. Voices of passengers in the rear row are clearly collected by the rear row microphone 30 and can be separated from ambient noise such as road noise. Further, when the volume of the uttered voice of the passengers in the rear row is high, the sound should be collected by the microphone 10 for the front row at approximately the same time. Therefore, by monitoring the presence / absence of the uttered sound collected by the front row microphone 10 at the timing of collecting the sound by the rear row microphone 30 (a slight delay occurs due to passing through the voice processing unit 32). Thus, it is possible to determine whether or not the utterance voice of the passenger in the rear row has been collected by the microphone 10 for the front row, that is, whether or not the voice of the passenger in the rear row has reached the passenger in the front row. .

上述した音声処理部12、増幅器14が第1の音声出力手段に、音声処理部32、増幅器34が第2の音声出力手段に、音声出力中止判定部18が第1の音声出力中止手段に、音声出力中止判定部38が第2の音声出力中止手段にそれぞれ対応する。   The audio processing unit 12 and the amplifier 14 described above are used as the first audio output unit, the audio processing unit 32 and the amplifier 34 are used as the second audio output unit, and the audio output stop determination unit 18 is used as the first audio output stop unit. The sound output stop determination unit 38 corresponds to the second sound output stop unit.

図2は、マイクロホン10、30によって検出される搭乗者の発話音声の音量とスピーカ16、36から出力される音声の有無との関係を示す図である。図2(A)には後列用のマイクロホン30を用いて検出される前列の搭乗者の発話音声の音量とスピーカ36から出力される音声の有無(ON/OFF)との関係が、図2(B)には前列用のマイクロホン10を用いて検出される後列の搭乗者の発話音声の音量とスピーカ16から出力される音声の有無(ON/OFF)との関係がそれぞれ示されている。   FIG. 2 is a diagram showing the relationship between the volume of the uttered voice of the passenger detected by the microphones 10 and 30 and the presence or absence of the voice output from the speakers 16 and 36. FIG. 2A shows the relationship between the volume of the utterance voice of the front row passenger detected using the rear row microphone 30 and the presence or absence (ON / OFF) of the voice output from the speaker 36. B) shows the relationship between the volume of the uttered voice of the passenger in the rear row detected using the front row microphone 10 and the presence or absence (ON / OFF) of the voice output from the speaker 16.

図2(A)に示すように、後列用のマイクロホン30で集音された前列の搭乗者の発話音声の音量が基準値aよりも小さい場合、すなわち、前列の搭乗者の発話音声の音量が小さくて後列の搭乗者に直接到達しない場合には、音声処理部12、増幅器14、スピーカ36の系統が有効であって、前列の搭乗者の発話音声が集音、増幅されてスピーカ36から出力される(スピーカ36 ON)。後列の搭乗者は、このスピーカ36から出力される音声を聞くことにより、前列の搭乗者の発話音声の内容を理解することができる。   As shown in FIG. 2A, when the volume of the utterance voice of the front row passengers collected by the rear row microphone 30 is smaller than the reference value a, that is, the volume of the utterance voice of the front row passengers is When it is small and does not reach the passengers in the rear row directly, the system of the voice processing unit 12, the amplifier 14, and the speaker 36 is effective, and the voices of the passengers in the front row are collected and amplified and output from the speaker 36. (Speaker 36 ON). The passengers in the rear row can understand the contents of the uttered voices of the passengers in the front row by listening to the sound output from the speaker 36.

ところが、後列用のマイクロホン30で集音された前列の搭乗者の発話音声の音量が基準値aよりも大きい場合、すなわち、前列の搭乗者の発話音声の音量が大きくて後列の搭乗者に直接到達する場合には、音声処理部12、増幅器14、スピーカ36の系統が無効になり、前列の搭乗者の発話音声はスピーカ36からは出力されない(スピーカ36 OFF)。しかし、この前列の搭乗者の発話音声は、音量が大きいため、後列の搭乗者は、この発話音声を直接聞くことができ、前列の搭乗者の発話音声の内容を理解することが可能となる。   However, when the volume of the utterance voice of the front row passengers collected by the rear row microphone 30 is larger than the reference value a, that is, the volume of the utterance voice of the front row passengers is large and directly to the rear row passengers. When reaching, the system of the voice processing unit 12, the amplifier 14, and the speaker 36 is invalidated, and the voice of the passenger in the front row is not output from the speaker 36 (speaker 36 OFF). However, since the volume of the utterance voice of the passengers in the front row is high, the passengers in the rear row can directly hear the utterance voices and can understand the contents of the utterance voices of the passengers in the front row. .

また、図2(B)に示すように、前列用のマイクロホン10で集音された後列の搭乗者の発話音声の音量が基準値Aよりも小さい場合、すなわち、後列の搭乗者の発話音声の音量が小さくて前列の搭乗者に直接到達しない場合には、音声処理部32、増幅器34、スピーカ16の系統が有効であって、後列の搭乗者の発話音声が集音、増幅されてスピーカ16から出力される(スピーカ16 ON)。前列の搭乗者は、このスピーカ16から出力される音声を聞くことにより、後列の搭乗者の発話音声の内容を理解することができる。   Further, as shown in FIG. 2B, when the volume of the utterance voice of the rear row passengers collected by the front row microphone 10 is smaller than the reference value A, that is, the utterance voice of the rear row passengers. When the volume is low and does not reach the front row passengers directly, the system of the voice processing unit 32, the amplifier 34, and the speaker 16 is effective, and the voices of the passengers in the rear row are collected and amplified, and the speaker 16 (Speaker 16 ON). The passengers in the front row can understand the contents of the uttered voices of the passengers in the rear row by listening to the sound output from the speaker 16.

ところが、前列用のマイクロホン10で集音された後列の搭乗者の発話音声の音量が基準値Aよりも大きい場合、すなわち、後列の搭乗者の発話音声の音量が大きくて前列の搭乗者に直接到達する場合には、音声処理部32、増幅器34、スピーカ16の系統が無効になり、後列の搭乗者の発話音声はスピーカ16からは出力されない(スピーカ16 OFF)。しかし、この後列の搭乗者の発話音声は、音量が大きいため、前列の搭乗者は、この発話音声を直接聞くことができ、後列の搭乗者の発話音声の内容を理解することが可能となる。   However, if the volume of the utterance voice of the rear row passengers collected by the microphone 10 for the front row is larger than the reference value A, that is, the volume of the utterance voice of the rear row passengers is large and directly to the front row passengers. When reaching, the system of the audio processing unit 32, the amplifier 34, and the speaker 16 becomes invalid, and the utterance voice of the passenger in the rear row is not output from the speaker 16 (speaker 16 OFF). However, since the volume of the utterance voice of the passenger in the rear row is high, the passenger in the front row can directly hear the voice of the utterance and can understand the content of the voice of the passenger in the rear row. .

なお、スピーカ16、36から音声出力を有効/無効にする基準値a、Aは、同じ値を用いる必要はなく、マイクロホン10、30や各搭乗者の配置状態などに応じて適宜異なる値を設定することが望ましい。   Note that the reference values a and A for enabling / disabling audio output from the speakers 16 and 36 do not have to be the same value, and are set to different values depending on the microphones 10 and 30 and the arrangement state of each passenger. It is desirable to do.

このように、本実施形態の車内会話支援装置1では、後列の搭乗者の発話音声が直接前列の搭乗者に到達するような場合や、前列の搭乗者の発話音声が直接後列の搭乗者に到達するような場合に、スピーカ16、36を用いた音声出力を中止するため、同じ発話内容の音声が2系統(直接伝達される系統と、スピーカを介して伝達される系統)でずれたタイミングで到達することを防止することができ、発話音量が大きい場合に生じる聞き取りにくさを改善することが可能となる。   As described above, in the in-car conversation support device 1 according to the present embodiment, the utterance voice of the passenger in the rear row directly reaches the passenger in the front row, or the utterance voice of the passenger in the front row directly reaches the passenger in the rear row. In such a case, the voice output using the speakers 16 and 36 is stopped in such a case, so that the voice of the same utterance content is shifted in two systems (a system that is directly transmitted and a system that is transmitted via the speaker). Can be prevented, and it is possible to improve the difficulty in hearing when the speech volume is high.

また、後列の搭乗者の音声を集音するマイクロホン30を用いて前列の搭乗者の音声を検出するとともに、前列の搭乗者の音声を集音するマイクロホン10を用いて後列の搭乗者の音声を検出することにより、音声検出用の構成を別に用意する必要がなくなるため、部品点数の低減によるコストダウンが可能となる。   In addition, the microphone 30 that collects the voice of the passenger in the rear row is used to detect the voice of the passenger in the front row, and the voice of the passenger in the rear row is obtained using the microphone 10 that collects the voice of the passenger in the front row. By detecting, it is not necessary to prepare a separate configuration for voice detection, so that the cost can be reduced by reducing the number of parts.

(第2の実施形態)
図3は、第2の実施形態の車内会話支援装置の構成を示す図である。図3に示す車内会話支援装置1Aは、図1に示した車内会話支援装置1に対して、音声認識処理部20、40、表示部22、42を追加した点が異なっている。以下では、この追加された構成に着目して説明を行う。
(Second Embodiment)
FIG. 3 is a diagram illustrating a configuration of the in-vehicle conversation support device according to the second embodiment. 3 is different from the in-car conversation support device 1 shown in FIG. 1 in that voice recognition processing units 20 and 40 and display units 22 and 42 are added. In the following, the description will be given focusing on this added configuration.

音声認識処理部20は、前列の搭乗者の発話音声の後列の搭乗者への到達の有無が繰り返し切り替わる場合(聞こえたり聞こえなかったりする場合)に、マイクロホン10で集音した前列の搭乗者の発話音声の内容を解析して後列の搭乗者に向けて表示する。具体的には、この解析によって得られた音声の内容が、後部座席の搭乗者が見ることが可能な位置に設置された表示部42に表示される。表示される音声の内容は、ひらがな表示であってもよいが、漢字仮名交じりの表示とすることが望ましい。   The voice recognition processing unit 20 determines whether the front row of passengers collected by the microphone 10 when the presence / absence of the speech of the front row passengers reaching the back row passengers is repeatedly switched (when it is heard or not heard). The content of the speech is analyzed and displayed for the passengers in the back row. Specifically, the content of the audio obtained by this analysis is displayed on the display unit 42 installed at a position where the passenger in the rear seat can see. The displayed audio content may be hiragana display, but it is desirable to display kanji mixed with kana.

音声認識処理部40は、後列の搭乗者の発話音声の前列の搭乗者への到達の有無が繰り返し切り替わる場合(聞こえたり聞こえなかったりする場合)に、マイクロホン30で集音した後列の搭乗者の発話音声の内容を解析して前列の搭乗者に向けて表示する。具体的には、この解析によって得られた音声の内容が、運転者と助手席の搭乗者が見ることが可能な位置に設置された表示部22に表示される。表示される音声の内容は、ひらがな表示であってもよいが、漢字仮名交じりの表示とすることが望ましい。   The voice recognition processing unit 40, when the presence or absence of the utterance voice of the passengers in the rear row reaches the front row passengers is repeatedly switched (when it can be heard or not heard), Analyzes the content of the speech and displays it to the passengers in the front row. Specifically, the content of the voice obtained by this analysis is displayed on the display unit 22 installed at a position where the driver and the passenger in the passenger seat can see. The displayed audio content may be hiragana display, but it is desirable to display kanji mixed with kana.

上述した音声認識処理部20が第1の音声認識処理手段に、音声認識処理部40が第2の音声認識処理手段にそれぞれ対応する。   The voice recognition processing unit 20 described above corresponds to the first voice recognition processing unit, and the voice recognition processing unit 40 corresponds to the second voice recognition processing unit.

図4は、マイクロホン10、30によって検出される搭乗者の発話音声の音量とスピーカ16、36から出力される音声の有無および表示部22、42による音声内容表示の有無との関係を示す図である。図4(A)には後列用のマイクロホン30を用いて検出される前列の搭乗者の発話音声の音量とスピーカ36から出力される音声の有無(ON/OFF)および表示部42による音声内容表示の有無(ON/OFF)との関係が示されている。また、図4(B)には前列用のマイクロホン10を用いて検出される後列の搭乗者の発話音声の音量とスピーカ16から出力される音声の有無(ON/OFF)および表示部22による音声内容表示の有無(ON/OFF)との関係が示されている。   FIG. 4 is a diagram showing the relationship between the volume of the uttered voice of the passenger detected by the microphones 10 and 30, the presence or absence of voice output from the speakers 16 and 36, and the presence or absence of voice content display by the display units 22 and 42. is there. FIG. 4A shows the volume of the utterance voice of the front row passenger detected using the rear row microphone 30, the presence / absence (ON / OFF) of the voice output from the speaker 36, and the voice content display by the display unit 42. The relationship with the presence / absence (ON / OFF) is shown. 4B shows the volume of the utterance voice of the passengers in the rear row detected by using the front row microphone 10, the presence or absence (ON / OFF) of the voice output from the speaker 16, and the voice from the display unit 22. The relationship with the presence / absence of content display (ON / OFF) is shown.

図4(A)に示すように、後列用のマイクロホン30で集音された前列の搭乗者の発話音声が基準値b1よりも小さい場合、すなわち、前列の搭乗者の発話音声の音量が小さくて後列の搭乗者に全く到達しない場合には、音声処理部12、増幅器14、スピーカ36の系統が有効であって、前列の搭乗者の発話音声が集音、増幅されてスピーカ36から出力される(スピーカ36 ON)。後列の搭乗者は、このスピーカ36から出力される音声を聞くことにより、前列の搭乗者の発話音声の内容を理解することができる。また、後列用のマイクロホン30で集音された前列の搭乗者の発話音声の音量が基準値b2(>b1)よりも大きい場合、すなわち、前列の搭乗者の発話音声の音量が大きくて前列の搭乗者に直接到達する場合には、音声処理部12、増幅器14、スピーカ36の系統が無効になり、前列の搭乗者の発話音声はスピーカ36からは出力されない(スピーカ36 OFF)。しかし、この前列の搭乗者の発話音声は、音量が大きいため、後列の搭乗者は、この発話音声を直接聞くことができ、前列の搭乗者の発話音声の内容を明瞭に理解することが可能となる。なお、これらの場合には発話音声の内容をスピーカ36の出力音声あるいは直接到達する音声により理解することができるため、音声認識処理部20による前列の搭乗者の発話音声の解析結果は、後列の表示部42には表示されない(表示OFF)。   As shown in FIG. 4A, when the utterance voice of the front row passengers collected by the rear row microphone 30 is smaller than the reference value b1, that is, the volume of the utterance voice of the front row passengers is low. When the passengers in the rear row are not reached at all, the system of the voice processing unit 12, the amplifier 14, and the speaker 36 is effective, and the voices of the passengers in the front row are collected and amplified and output from the speaker 36. (Speaker 36 ON). The passengers in the rear row can understand the contents of the uttered voices of the passengers in the front row by listening to the sound output from the speaker 36. Further, when the volume of the utterance voice of the front row passengers collected by the rear row microphone 30 is higher than the reference value b2 (> b1), that is, the volume of the utterance voice of the front row passengers is large and When the passenger directly reaches the passenger, the system of the voice processing unit 12, the amplifier 14, and the speaker 36 is disabled, and the speech voice of the passenger in the front row is not output from the speaker 36 (speaker 36 OFF). However, since the volume of the utterance voice of the passengers in the front row is high, the passengers in the back row can directly hear this utterance voice and can clearly understand the contents of the utterance voices of the passengers in the front row It becomes. In these cases, since the content of the utterance voice can be understood from the output voice of the speaker 36 or the voice that directly reaches, the analysis result of the utterance voice of the passenger in the front row by the voice recognition processing unit 20 is It is not displayed on the display unit 42 (display OFF).

ところで、後列用のマイクロホン30で集音された前列の搭乗者の発話音声の音量が基準値b1とb2の間にある場合、すなわち、前列の搭乗者の発話音声の音量が全く聞き取れないほど小さくはないが明瞭に聞き取れるほど大きくもなく、前列の搭乗者の発話音声の後列の搭乗者への到達の有無が繰り返し切り替わって聞き取れたり聞き取れなかったりする場合には、音声認識処理部20による前列の搭乗者の発話音声の解析結果が後列の表示部42に表示される。なお、この場合には、音声処理部12、増幅器14、スピーカ36の系統が有効であって、前列の搭乗者の発話音声が集音、増幅されてスピーカ36から出力される(スピーカ36 ON)。   By the way, when the volume of the utterance voice of the front row passengers collected by the rear row microphone 30 is between the reference values b1 and b2, that is, the volume of the utterance voice of the front row passengers is so small that it cannot be heard at all. Is not large enough to be heard clearly, and if the presence or absence of the utterances of the passengers in the front row reaches the passengers in the back row is repeatedly switched and can be heard or cannot be heard, the voice recognition processing unit 20 The analysis result of the uttered voice of the passenger is displayed on the display unit 42 in the rear row. In this case, the system of the audio processing unit 12, the amplifier 14, and the speaker 36 is effective, and the voices of the passengers in the front row are collected and amplified and output from the speaker 36 (speaker 36 ON). .

また、図4(B)に示すように、前列用のマイクロホン10で集音された後列の搭乗者の発話音声が基準値B1よりも小さい場合、すなわち、後列の搭乗者の発話音声の音量が小さくて前列の搭乗者に全く到達しない場合には、音声処理部32、増幅器34、スピーカ16の系統が有効であって、後列の搭乗者の発話音声が集音、増幅されてスピーカ16から出力される(スピーカ16 ON)。前列の搭乗者は、このスピーカ16から出力される音声を聞くことにより、後列の搭乗者の発話音声の内容を理解することができる。また、前列用のマイクロホン10で集音された後列の搭乗者の発話音声の音量が基準値B2(>B1)よりも大きい場合、すなわち、後列の搭乗者の発話音声の音量が大きくて前列の搭乗者に直接到達する場合には、音声処理部32、増幅器34、スピーカ16の系統が無効になり、後列の搭乗者の発話音声はスピーカ16からは出力されない(スピーカ16 OFF)。しかし、この後列の搭乗者の発話音声は、音量が大きいため、前列の搭乗者は、この発話音声を直接聞くことができ、後列の搭乗者の発話音声の内容を明瞭に理解することが可能となる。なお、これらの場合には発話音声の内容をスピーカ16の出力音声あるいは直接到達する音声により理解することができるため、音声認識処理部40による後列の搭乗者の発話音声の解析結果は、前列の表示部22には表示されない(表示OFF)。   Also, as shown in FIG. 4B, when the utterance voice of the rear row passengers collected by the front row microphone 10 is smaller than the reference value B1, that is, the volume of the utterance voice of the rear row passengers is When it is small and does not reach the front row passengers at all, the system of the voice processing unit 32, the amplifier 34, and the speaker 16 is effective, and the voices of the back row passengers are collected and amplified and output from the speaker 16 (Speaker 16 ON). The passengers in the front row can understand the contents of the uttered voices of the passengers in the rear row by listening to the sound output from the speaker 16. Further, when the volume of the utterance voice of the rear row passengers collected by the front row microphone 10 is larger than the reference value B2 (> B1), that is, the volume of the utterance voice of the rear row passengers is large, When directly reaching the occupant, the system of the audio processing unit 32, the amplifier 34, and the speaker 16 is disabled, and the utterance voice of the occupant in the rear row is not output from the speaker 16 (speaker 16 OFF). However, since the voices of the passengers in the back row are loud, the passengers in the front row can directly hear the voices of the passengers in the back row and can clearly understand the contents of the voices of the passengers in the back row. It becomes. In these cases, since the content of the uttered voice can be understood by the output voice of the speaker 16 or the voice that directly reaches, the analysis result of the uttered voice of the passenger in the rear row by the voice recognition processing unit 40 is It is not displayed on the display unit 22 (display OFF).

ところで、前列用のマイクロホン10で集音された後列の搭乗者の発話音声の音量が基準値B1とB2の間にある場合、すなわち、後列の搭乗者の発話音声の音量が全く聞き取れないほど小さくはないが明瞭に聞き取れるほど大きくもなく、後列の搭乗者の発話音声の前列の搭乗者への到達の有無が繰り返し切り替わって聞き取れたり聞き取れなかったりする場合には、音声認識処理部40による後列の搭乗者の発話音声の解析結果が前列の表示部22に表示される。なお、この場合には、音声処理部32、増幅器34、スピーカ16の系統が有効であって、後列の搭乗者の発話音声が集音、増幅されてスピーカ16から出力される(スピーカ16 ON)。   By the way, when the volume of the uttered voice of the rear row passengers collected by the front row microphone 10 is between the reference values B1 and B2, that is, the volume of the uttered voice of the rear row passengers is so small that it cannot be heard at all. Is not large enough to be heard clearly, and if the back row passenger's utterance voice has reached the front row passengers repeatedly, it can be heard or cannot be heard. The analysis result of the uttered voice of the passenger is displayed on the display unit 22 in the front row. In this case, the system of the audio processing unit 32, the amplifier 34, and the speaker 16 is effective, and the uttered voice of the passenger in the rear row is collected and amplified and output from the speaker 16 (speaker 16 ON). .

このように、本実施形態の車内会話支援装置1Aでは、後列の搭乗者の発話音声が直接前列の搭乗者に到達しているが、音量が不十分で部分的にしかその内容を聞き取れないような場合や、前列の搭乗者の発話音声が直接後列の搭乗者に到達しているが、音量が不十分で部分的にしかその内容を聞き取れないような場合に、発話音声の内容を表示で確認することができ、音量不足による聞き取りにくさを補完することが可能となる。   As described above, in the in-car conversation support apparatus 1A of the present embodiment, the uttered voice of the passenger in the rear row reaches the passenger in the front row directly, but the volume is insufficient so that the contents can be heard only partially. If the utterance voice of the passenger in the front row reaches the passenger in the rear row directly, but the volume is insufficient and the content can only be heard partially, the content of the utterance voice can be displayed. This makes it possible to confirm the difficulty of hearing due to insufficient volume.

ところで、上述した第2の実施形態では、図4に示したように、発話音声の解析結果を表示している間(表示ON)は、スピーカ16、36から音声出力を行うようにしたが(スピーカ16 ON、スピーカ36 ON)、図5に示すように、発話音声の解析結果を表示している間(表示ON)は、スピーカ16、36からの音声出力を中止するようにしてもよい(スピーカ16 OFF、スピーカ36 OFF)。これにより、同じ発話内容の音声が2系統(直接伝達される系統と、スピーカを介して伝達される系統)で部分的にずれて聞こえることを防止し、断片的に生じる耳障りな音声の重複を避けることが可能となる。   By the way, in the second embodiment described above, as shown in FIG. 4, while the analysis result of the spoken voice is displayed (display ON), the voice output is performed from the speakers 16 and 36 ( (Speaker 16 ON, speaker 36 ON) As shown in FIG. 5, while the analysis result of the uttered voice is displayed (display ON), the voice output from the speakers 16 and 36 may be stopped ( Speaker 16 OFF, speaker 36 OFF). This prevents audio with the same utterance content from being partially misaligned in two systems (systems that are directly transmitted and systems that are transmitted via speakers), and prevents duplication of harsh audio that occurs in fragments. It can be avoided.

なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、前列の搭乗者の発話音声が後列の搭乗者に到達したことを後列用のマイクロホン30を用いて検出し、後列の搭乗者の発話音声が前列の搭乗者に到達したことを前列用のマイクロホン10を用いて検出するようにしたが、これらの音声検出用に別のマイクロホンを用いるようにしてもよい。   In addition, this invention is not limited to the said embodiment, A various deformation | transformation implementation is possible within the range of the summary of this invention. For example, in the above-described embodiment, it is detected by using the rear row microphone 30 that the utterance voice of the front row passenger reaches the rear row passenger, and the rear row passenger speech sound reaches the front row passenger. This is detected using the front row microphone 10, but another microphone may be used for detecting these sounds.

図6は、音声検出用にマイクロホンを追加した車内会話支援装置の変形例の構成を示す図である。図6に示した構成は、図1に示した構成に対して、マイクロホン24、44が追加された点が異なっている。   FIG. 6 is a diagram showing a configuration of a modified example of the in-vehicle conversation support apparatus in which a microphone is added for voice detection. The configuration shown in FIG. 6 is different from the configuration shown in FIG. 1 in that microphones 24 and 44 are added.

図7は、音声検出用にマイクロホンを追加した車内会話支援装置の他の変形例の構成を示す図である。図7に示した構成は、図3に示した構成に対して、マイクロホン24、44が追加された点が異なっている。以下では、これらの変形例において追加されたマイクロホン24、44に着目して説明を行う。   FIG. 7 is a diagram showing a configuration of another modification of the in-vehicle conversation support apparatus to which a microphone is added for voice detection. The configuration shown in FIG. 7 is different from the configuration shown in FIG. 3 in that microphones 24 and 44 are added. Hereinafter, the description will be given focusing on the microphones 24 and 44 added in these modified examples.

一方のマイクロホン24は、後列の搭乗者の発話音声を前列の搭乗者の聴取位置近傍で集音するためのものであり、例えば、運転者の耳の位置に対応する運転席のヘッドレストに設置されている。他方のマイクロホン44は、前列の搭乗者の発話音声を後列の搭乗者の聴取位置近傍で集音するためのものであり、例えば、後列の搭乗者(左右二人の搭乗者のいずれか一方)の耳の位置に対応する後部座席のヘッドレストに設置されている。なお、これらの設置位置は一例であって、適宜変更するようにしてもよい。   One microphone 24 is for collecting the voices of the passengers in the rear row near the listening position of the passengers in the front row, and is installed, for example, in the headrest of the driver's seat corresponding to the position of the driver's ear. ing. The other microphone 44 is for collecting the voice of the front row passengers in the vicinity of the listening position of the rear row passengers. For example, the rear row passengers (one of the two left and right passengers) It is installed in the headrest of the rear seat corresponding to the position of the ears. In addition, these installation positions are examples, and may be changed as appropriate.

音声出力中止判定部18は、後部座席に設置されたマイクロホン44から出力される音声信号に基づいて、前列の搭乗者の発話音声が後列の搭乗者に到達したか否かを判定する。また、音声出力中止判定部38は、運転席に設置されたマイクロホン24から出力される音声信号に基づいて、後列の搭乗者の発話音声が前列の搭乗者に到達したか否かを判定する。   The audio output cancellation determination unit 18 determines whether or not the utterance voice of the passenger in the front row has reached the passenger in the rear row based on the audio signal output from the microphone 44 installed in the rear seat. The voice output stop determination unit 38 determines whether or not the utterance voice of the passenger in the rear row has reached the passenger in the front row based on the voice signal output from the microphone 24 installed in the driver's seat.

このように、音声到達の有無を検出するために追加したマイクロホン24、44を用いることにより、より正確に各搭乗者に他の搭乗者の音声が直接到達するか否かを判定することができ、聞き取りにくさ改善のためにスピーカ16、36からの音声出力の有無を適切に切り替えることが可能となる。   In this way, by using the microphones 24 and 44 added to detect the presence or absence of voice arrival, it is possible to more accurately determine whether or not the voices of other passengers directly reach each passenger. Therefore, it is possible to appropriately switch the presence or absence of audio output from the speakers 16 and 36 in order to improve difficulty in hearing.

また、上述した実施形態では、前列と後列からなる2列シートの車両に本発明を適用したが、3列シート以上の車両に本発明を適用することもできる。   Further, in the above-described embodiment, the present invention is applied to a two-row seat vehicle including a front row and a rear row, but the present invention can also be applied to a vehicle having three or more row seats.

上述したように、本発明によれば、後列の搭乗者の発話音声が直接前列の搭乗者に到達するような場合や、前列の搭乗者の発話音声が直接後列の搭乗者に到達するような場合に、スピーカを用いた音声出力を中止するため、同じ発話内容の音声がずれたタイミングで到達することを防止することができ、発話音量が大きい場合に生じる聞き取りにくさを改善することが可能となる。   As described above, according to the present invention, the utterance voice of the passenger in the rear row directly reaches the passenger in the front row, or the utterance voice of the passenger in the front row directly reaches the passenger in the rear row. In this case, since the sound output using the speaker is stopped, it is possible to prevent the voice of the same utterance content from reaching when it is shifted, and it is possible to improve the difficulty in hearing when the utterance volume is high It becomes.

1 車内会話支援装置
10、24、30、44 マイクロホン
12、32 音声処理部
14、34 増幅器
16、36 スピーカ
18、38 音声出力中止判定部
20、40 音声認識処理部
22、42 表示部
1 In-car conversation support device 10, 24, 30, 44 Microphone 12, 32 Audio processing unit 14, 34 Amplifier 16, 36 Speaker 18, 38 Audio output stop determination unit 20, 40 Voice recognition processing unit 22, 42 Display unit

Claims (5)

前列の搭乗者の音声を集音する第1のマイクロホンと、
後列の搭乗者の音声を集音する第2のマイクロホンと、
前記第1のマイクロホンで集音した音声を前記後列の搭乗者に向けてスピーカから出力する第1の音声出力手段と、
前記第2のマイクロホンで集音した音声を前記前列の搭乗者に向けて前記スピーカから出力する第2の音声出力手段と、
前記前列の搭乗者の発話音声が前記後列の搭乗者に到達したときに、前記第1の音声出力手段による前記後列の搭乗者に向けた音声の出力を中止する第1の音声出力中止手段と、
前記後列の搭乗者の発話音声が前記前列の搭乗者に到達したときに、前記第2の音声出力手段による前記前列の搭乗者に向けた音声の出力を中止する第2の音声出力中止手段と、
を備えることを特徴とする車内会話支援装置。
A first microphone that collects the voices of the front row passengers;
A second microphone that collects the voices of the passengers in the back row;
First sound output means for outputting sound collected by the first microphone from a speaker toward a passenger in the rear row;
Second sound output means for outputting the sound collected by the second microphone from the speaker toward the front row passengers;
First voice output stopping means for stopping the output of the voice directed to the passengers in the rear row by the first voice output means when the voice of the passenger in the front row reaches the passengers in the rear row; ,
Second audio output stopping means for stopping the output of the voice toward the front row passengers by the second audio output means when the uttered voice of the passengers in the rear row reaches the passengers in the front row; ,
An in-car conversation support device comprising:
前記前列の搭乗者の発話音声の前記後列の搭乗者への到達の有無が繰り返し切り替わる場合に、前記第1のマイクロホンで集音した前記前列の搭乗者の発話音声の内容を解析して前記後列の搭乗者に向けて表示する第1の音声認識処理手段と、
前記後列の搭乗者の発話音声の前記前列の搭乗者への到達の有無が繰り返し切り替わる場合に、前記第2のマイクロホンで集音した前記後列の搭乗者の発話音声の内容を解析して前記前列の搭乗者に向けて表示する第2の音声認識処理手段と、
をさらに備えることを特徴とする請求項1に車内会話支援装置。
When the presence / absence of the speech of the front row passengers reaching the back row passengers is repeatedly switched, the back row is analyzed by analyzing the content of speech signals of the front row passengers collected by the first microphone. First speech recognition processing means for displaying to a passenger of the vehicle,
When the presence or absence of the utterance voice of the passengers in the rear row is repeatedly switched, the contents of the voices of the passengers in the rear row collected by the second microphone are analyzed and the front row is analyzed. Second voice recognition processing means for displaying to a passenger of the vehicle,
The in-vehicle conversation support device according to claim 1, further comprising:
前記第1の音声出力中止手段は、前記第1の音声認識処理手段によって前記前列の搭乗者の発話音声の解析結果が前記後列の搭乗者に向けて表示されているときに、前記第1の音声出力手段による前記後列の搭乗者に向けた音声の出力を中止し、
前記第2の音声出力中止手段は、前記第2の音声認識処理手段によって前記後列の搭乗者の発話音声の解析結果が前記前列の搭乗者に向けて表示されているときに、前記第2の音声出力手段による前記前列の搭乗者に向けた音声の出力を中止することを特徴とする請求項2に記載の車内会話支援装置。
The first voice output stopping unit is configured to display the first voice recognition processing unit when the analysis result of the utterance voice of the passenger in the front row is displayed toward the passenger in the rear row. Stop outputting the voice to the passengers in the back row by the voice output means,
The second voice output stopping unit is configured to display the second voice recognition processing unit when the analysis result of the utterance voice of the passenger in the rear row is displayed toward the passenger in the front row. The in-vehicle conversation support device according to claim 2, wherein the voice output means stops outputting the voice toward the front row passengers.
前記第1の音声出力中止手段は、前記第2のマイクロホンから出力される音声信号に基づいて、前記前列の搭乗者の発話音声が前記後列の搭乗者に到達したか否かを判定し、
前記第2の音声出力中止手段は、前記第1のマイクロホンから出力される音声信号に基づいて、前記後列の搭乗者の発話音声が前記前列の搭乗者に到達したか否かを判定することを特徴とする請求項1〜3のいずれか一項に記載の車内会話支援装置。
The first audio output stopping means determines whether or not the utterance voice of the front row passenger has reached the rear row passenger based on the audio signal output from the second microphone,
The second audio output stopping means determines whether or not the utterance voice of the passenger in the rear row has reached the passenger in the front row, based on the audio signal output from the first microphone. The in-vehicle conversation support device according to any one of claims 1 to 3.
前記後列の搭乗者の音声を前記前列の搭乗者の聴取位置近傍で集音する第3のマイクロホンと、
前記前列の搭乗者の音声を前記後列の搭乗者の聴取位置近傍で集音する第4のマイクロホンと、
をさらに備え、前記第1の音声出力中止手段は、前記第4のマイクロホンから出力される音声信号に基づいて、前記前列の搭乗者の発話音声が前記後列の搭乗者に到達したか否かを判定し、
前記第2の音声出力中止手段は、前記第3のマイクロホンから出力される音声信号に基づいて、前記後列の搭乗者の発話音声が前記前列の搭乗者に到達したか否かを判定することを特徴とする請求項1〜3のいずれか一項に記載の車内会話支援装置。
A third microphone for collecting the sound of the passengers in the rear row near the listening position of the passengers in the front row;
A fourth microphone for collecting the sound of the passengers in the front row near the listening position of the passengers in the rear row;
The first audio output stop means further determines whether the utterance voice of the front row passenger has reached the rear row passenger based on the audio signal output from the fourth microphone. Judgment,
The second audio output stopping means determines whether or not the utterance voice of the rear row passenger has reached the front row passenger based on an audio signal output from the third microphone. The in-vehicle conversation support device according to any one of claims 1 to 3.
JP2017019149A 2017-02-04 2017-02-04 In-car conversation support device Active JP6775897B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017019149A JP6775897B2 (en) 2017-02-04 2017-02-04 In-car conversation support device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017019149A JP6775897B2 (en) 2017-02-04 2017-02-04 In-car conversation support device

Publications (2)

Publication Number Publication Date
JP2018125822A true JP2018125822A (en) 2018-08-09
JP6775897B2 JP6775897B2 (en) 2020-10-28

Family

ID=63110491

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017019149A Active JP6775897B2 (en) 2017-02-04 2017-02-04 In-car conversation support device

Country Status (1)

Country Link
JP (1) JP6775897B2 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010083452A (en) * 2008-10-02 2010-04-15 Toyota Boshoku Corp Vehicle-interior conversation assist device
JP2012199801A (en) * 2011-03-22 2012-10-18 Panasonic Corp Conversation support device and method
JP2014170154A (en) * 2013-03-05 2014-09-18 Panasonic Corp In-vehicle conversation support device
JP2015071320A (en) * 2013-10-01 2015-04-16 アルパイン株式会社 Conversation support device, conversation support method, and conversation support program
JP2017027332A (en) * 2015-07-22 2017-02-02 ソニー株式会社 Information processor, information processing method, and program
WO2017038727A1 (en) * 2015-08-28 2017-03-09 旭化成株式会社 Transmission device, transmission system, transmission method, and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010083452A (en) * 2008-10-02 2010-04-15 Toyota Boshoku Corp Vehicle-interior conversation assist device
JP2012199801A (en) * 2011-03-22 2012-10-18 Panasonic Corp Conversation support device and method
JP2014170154A (en) * 2013-03-05 2014-09-18 Panasonic Corp In-vehicle conversation support device
JP2015071320A (en) * 2013-10-01 2015-04-16 アルパイン株式会社 Conversation support device, conversation support method, and conversation support program
JP2017027332A (en) * 2015-07-22 2017-02-02 ソニー株式会社 Information processor, information processing method, and program
WO2017038727A1 (en) * 2015-08-28 2017-03-09 旭化成株式会社 Transmission device, transmission system, transmission method, and program

Also Published As

Publication number Publication date
JP6775897B2 (en) 2020-10-28

Similar Documents

Publication Publication Date Title
US10536791B2 (en) Vehicular sound processing system
US10419868B2 (en) Sound system
JP6284331B2 (en) Conversation support device, conversation support method, and conversation support program
US20170026764A1 (en) Automatic car audio volume control to aid passenger conversation
US9769568B2 (en) System and method for speech reinforcement
US20140003620A1 (en) Devices and methods for conveying audio information in vehicles
JP2014170154A (en) In-vehicle conversation support device
US10932042B2 (en) Conversation assist apparatus and conversation assist method
US11089404B2 (en) Sound processing apparatus and sound processing method
WO2015086895A1 (en) Spatial audio processing apparatus
EP3495942B1 (en) Head-mounted display and control method thereof
EP3618465B1 (en) Vehicle communication system and method of operating vehicle communication systems
CN108574906B (en) Sound processing method and system for automobile and automobile
CN113273223A (en) Acoustic augmented reality system based on hybrid vehicle-mounted loudspeaker and earphone
WO2020142600A1 (en) In-car headphone acoustical augmented reality system
JP6775897B2 (en) In-car conversation support device
JP2017030671A (en) Noise reduction device, noise reduction method, and on-vehicle system
JP7163876B2 (en) In-vehicle conversation support device
JP2019075598A (en) Sensitivity adjustment device, in-vehicle system, car headrest, and signal processing device
JP7192561B2 (en) Audio output device and audio output method
US20240121555A1 (en) Zoned Audio Duck For In Car Conversation
GB2560884A (en) Apparatus and method for privacy enhancement
JP2020106779A (en) Acoustic device and sound field control method
JP3679617B2 (en) Audio transmission method
JP3190554U (en) In-car conversation device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201006

R150 Certificate of patent or registration of utility model

Ref document number: 6775897

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150