JP2018125822A - In-vehicle conversation support device - Google Patents
In-vehicle conversation support device Download PDFInfo
- Publication number
- JP2018125822A JP2018125822A JP2017019149A JP2017019149A JP2018125822A JP 2018125822 A JP2018125822 A JP 2018125822A JP 2017019149 A JP2017019149 A JP 2017019149A JP 2017019149 A JP2017019149 A JP 2017019149A JP 2018125822 A JP2018125822 A JP 2018125822A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- passenger
- row
- passengers
- microphone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、車両に搭載されて、搭乗者の発話音声をマイクロホンで集音してスピーカから出力するようにした車内会話支援装置に関する。 The present invention relates to an in-car conversation support apparatus that is mounted on a vehicle and that collects a utterance voice of a passenger with a microphone and outputs it from a speaker.
従来から、運転席や助手席の搭乗者の発話音声をマイクロホンで集音したり、後部座席の搭乗者の発話音声をマイクロホンで集音してスピーカから出力することにより、走行中の車内において各搭乗者の発話内容を他の搭乗者が聞き取りやすくなるようにした車室内会話補助装置が知られている(例えば、特許文献1参照。)。 Conventionally, the voices of passengers in the driver's seat and passenger's seat are collected with a microphone, or the voices of passengers in the backseat are collected with a microphone and output from a speaker. 2. Description of the Related Art A vehicle interior conversation assist device that makes it easy for other passengers to hear the content of a passenger's utterance is known (see, for example, Patent Document 1).
なお、搭乗者の発話音声に対して音声認識処理を行い、発話内容をテキストでディスプレイに表示するようにした車内会話支援装置も従来から知られている(例えば、特許文献2参照。)。 Note that an in-car conversation support apparatus that performs voice recognition processing on a passenger's uttered voice and displays the utterance content on a display as a text has been conventionally known (see, for example, Patent Document 2).
ところで、上述した特許文献1に開示された車室内会話補助装置では、発話する搭乗者の音量が大きい場合に、この発話音声をスピーカから出力した出力音と発話音声そのものが重なって他の搭乗者に聞こえることがあり、発話内容が聞き取りにくくなるという問題があった。例えば、後部座席の搭乗者の発話音量が大きいと、運転席や助手席の搭乗者に、この発話音声が直接到達するとともに、音声処理等に起因する遅延の後にスピーカから同じ内容の音声が出力されて運転席や助手席の搭乗者に到達することになるため、これらの音声の内容を理解しようとする搭乗者にとっては耳障りな状況となる。
By the way, in the in-vehicle conversation assistance device disclosed in
なお、上述した特許文献2に開示された車内会話支援装置のように、発話内容をテキストで表示した場合には、互いに到達タイミングがずれて音声が到達することはなくなるが、他の搭乗者が直接理解できない程度の小さな音量で発話した内容を、表示されたテキストを読んで理解しなければならないため、会話に要する負担が大きくなるとともに会話の臨場感に欠けることになるため、実用的とは言えない。 In addition, when the utterance content is displayed in text as in the in-car conversation support device disclosed in Patent Document 2 described above, the arrival timing is shifted from each other and the voice does not reach, but other passengers Because it is necessary to read the displayed text to understand the content uttered at a volume that cannot be directly understood, it increases the burden of conversation and lacks the realism of the conversation. I can not say.
本発明は、このような点に鑑みて創作されたものであり、その目的は、発話音量に応じて生じる発話内容の聞き取りにくさを改善することができる車内会話支援装置を提供することにある。 The present invention was created in view of the above points, and an object of the present invention is to provide an in-vehicle conversation support device that can improve difficulty in hearing the utterance content generated according to the utterance volume. .
上述した課題を解決するために、本発明の車内会話支援装置は、前列の搭乗者の音声を集音する第1のマイクロホンと、後列の搭乗者の音声を集音する第2のマイクロホンと、第1のマイクロホンで集音した音声を後列の搭乗者に向けてスピーカから出力する第1の音声出力手段と、第2のマイクロホンで集音した音声を前列の搭乗者に向けてスピーカから出力する第2の音声出力手段と、前列の搭乗者の発話音声が後列の搭乗者に到達したときに、第1の音声出力手段による後列の搭乗者に向けた音声の出力を中止する第1の音声出力中止手段と、後列の搭乗者の発話音声が前列の搭乗者に到達したときに、第2の音声出力手段による前列の搭乗者に向けた音声の出力を中止する第2の音声出力中止手段とを備えている。 In order to solve the above-described problem, the in-vehicle conversation support device of the present invention includes a first microphone that collects the voice of the passenger in the front row, a second microphone that collects the voice of the passenger in the rear row, First sound output means for outputting the sound collected by the first microphone from the speaker toward the passenger in the rear row, and outputting the sound collected by the second microphone from the speaker toward the passenger in the front row. The second voice output means and the first voice that stops outputting the voice toward the passenger in the rear row by the first voice output means when the voice of the passenger in the front row reaches the passenger in the rear row Output canceling means, and second voice output stopping means for canceling the output of the voice toward the front row passengers by the second voice output means when the voice of the rear row passengers reaches the front row passengers And.
後列の搭乗者の発話音声が直接前列の搭乗者に到達するような場合や、前列の搭乗者の発話音声が直接後列の搭乗者に到達するような場合に、スピーカを用いた音声出力を中止するため、同じ発話内容の音声がずれたタイミングで到達することを防止することができ、発話音量が大きい場合に生じる聞き取りにくさを改善することが可能となる。 Audio output using the speaker is canceled when the voice of the passenger in the rear row reaches the passenger in the front row directly or when the voice of the passenger in the front row reaches the passenger in the rear row directly Therefore, it is possible to prevent the voices of the same utterance content from reaching at a timing shifted, and it is possible to improve the difficulty in hearing when the utterance volume is high.
また、上述した前列の搭乗者の発話音声の後列の搭乗者への到達の有無が繰り返し切り替わる場合に、第1のマイクロホンで集音した前列の搭乗者の発話音声の内容を解析して後列の搭乗者に向けて表示する第1の音声認識処理手段と、後列の搭乗者の発話音声の前列の搭乗者への到達の有無が繰り返し切り替わる場合に、第2のマイクロホンで集音した後列の搭乗者の発話音声の内容を解析して前列の搭乗者に向けて表示する第2の音声認識処理手段とをさらに備えることが望ましい。これにより、後列の搭乗者の発話音声が直接前列の搭乗者に到達しているが、音量が不十分で部分的にしかその内容を聞き取れないような場合や、前列の搭乗者の発話音声が直接後列の搭乗者に到達しているが、音量が不十分で部分的にしかその内容を聞き取れないような場合に、発話音声の内容を表示で確認することができ、音量不足による聞き取りにくさを補完することが可能となる。 Further, when the presence or absence of the utterance voice of the front row passengers reaching the rear row passengers is repeatedly switched, the contents of the front row passengers' voices collected by the first microphone are analyzed and the back row passenger speech is analyzed. Boarding in the back row collected by the second microphone when the first speech recognition processing means to be displayed to the passenger and the presence / absence of the speech of the back row passengers reaching the front row passenger are repeatedly switched It is desirable to further include second voice recognition processing means for analyzing the content of the person's uttered voice and displaying it to the front row passengers. As a result, the utterance voice of the passengers in the rear row has reached the passengers in the front row directly, but the volume is insufficient and the contents can only be heard partially, or If you have reached the passenger in the back row directly, but the volume is insufficient and you can only hear the content, you can check the content of the utterance voice on the display, making it difficult to hear due to insufficient volume. Can be complemented.
また、上述した第1の音声出力中止手段は、第1の音声認識処理手段によって前列の搭乗者の発話音声の解析結果が後列の搭乗者に向けて表示されているときに、第1の音声出力手段による後列の搭乗者に向けた音声の出力を中止し、第2の音声出力中止手段は、第2の音声認識処理手段によって後列の搭乗者の発話音声の解析結果が前列の搭乗者に向けて表示されているときに、第2の音声出力手段による前列の搭乗者に向けた音声の出力を中止することが望ましい。これにより、後列の搭乗者の発話音声が直接前列の搭乗者に到達しているが、音量が不十分で部分的にしかその内容を聞き取れないような場合や、前列の搭乗者の発話音声が直接後列の搭乗者に到達しているが、音量が不十分で部分的にしかその内容を聞き取れないような場合に、スピーカから音声が出力されないようにすることで、断片的に生じる耳障りな音声の重複を避けることが可能となる。 In addition, the first voice output stopping unit described above is configured so that the first voice recognition processing unit displays the first voice when the analysis result of the utterance voice of the passenger in the front row is displayed toward the passenger in the rear row. The output means stops outputting the voice toward the passenger in the back row, and the second voice output stop means outputs the analysis result of the utterance voice of the passenger in the back row to the passenger in the front row by the second voice recognition processing means. It is desirable to stop outputting the sound directed to the passengers in the front row by the second sound output means when the information is being displayed. As a result, the utterance voice of the passengers in the rear row has reached the passengers in the front row directly, but the volume is insufficient and the contents can only be heard partially, or Directly reaching the passengers in the rear row, but when the volume is insufficient and the contents can only be heard partially, the harsh sound that is generated in fragments is made by preventing the sound from being output from the speaker. It becomes possible to avoid duplication.
また、上述した第1の音声出力中止手段は、第2のマイクロホンから出力される音声信号に基づいて、前列の搭乗者の発話音声が後列の搭乗者に到達したか否かを判定し、第2の音声出力中止手段は、第1のマイクロホンから出力される音声信号に基づいて、後列の搭乗者の発話音声が前列の搭乗者に到達したか否かを判定することが望ましい。後列の搭乗者の音声を集音する第2のマイクロホンを用いて前列の搭乗者の音声を検出するとともに、前列の搭乗者の音声を集音する第1のマイクロホンを用いて後列の搭乗者の音声を検出することにより、音声検出用の構成を別に用意する必要がなくなるため、部品点数の低減によるコストダウンが可能となる。 In addition, the first audio output stopping unit described above determines whether or not the utterance voice of the front row passenger has reached the back row passenger based on the audio signal output from the second microphone, Preferably, the second audio output canceling means determines whether or not the utterance voice of the rear row passenger has reached the front row passenger based on the audio signal output from the first microphone. The second microphone that collects the voice of the passenger in the rear row is used to detect the voice of the passenger in the front row, and the first microphone that collects the voice of the passenger in the front row is used to detect the voice of the passenger in the rear row. By detecting the sound, it is not necessary to prepare a separate structure for detecting the sound, so that the cost can be reduced by reducing the number of parts.
また、上述した後列の搭乗者の音声を前列の搭乗者の聴取位置近傍で集音する第3のマイクロホンと、前列の搭乗者の音声を後列の搭乗者の聴取位置近傍で集音する第4のマイクロホンとをさらに備え、第1の音声出力中止手段は、第4のマイクロホンから出力される音声信号に基づいて、前列の搭乗者の発話音声が後列の搭乗者に到達したか否かを判定し、第2の音声出力中止手段は、第3のマイクロホンから出力される音声信号に基づいて、後列の搭乗者の発話音声が前列の搭乗者に到達したか否かを判定することが望ましい。これにより、各搭乗者に他の搭乗者の音声が直接到達するか否かをより正確に判定することができ、聞き取りにくさ改善のためにスピーカからの音声出力の有無を適切に切り替えることが可能となる。 Further, the third microphone that collects the voice of the passenger in the rear row in the vicinity of the listening position of the passenger in the front row and the fourth microphone that collects the voice of the passenger in the front row in the vicinity of the listening position of the passenger in the rear row. The first audio output stopping means determines whether or not the utterance voice of the front row passenger has reached the rear row passenger based on the audio signal output from the fourth microphone. Then, it is desirable that the second audio output stopping means determines whether or not the utterance voice of the passenger in the rear row has reached the passenger in the front row based on the audio signal output from the third microphone. As a result, it is possible to more accurately determine whether or not the voices of other passengers reach each passenger directly, and to appropriately switch the presence or absence of voice output from the speaker in order to improve difficulty in hearing. It becomes possible.
以下、本発明を適用した一実施形態の車内会話支援装置について、図面を参照しながら説明する。 Hereinafter, an in-vehicle conversation support device according to an embodiment to which the present invention is applied will be described with reference to the drawings.
(第1の実施形態)
図1は、第1の実施形態の車内会話支援装置の構成を示す図である。図1に示す車内会話支援装置1は、マイクロホン10、30、音声処理部12、32、増幅器14、34、スピーカ16、36、音声出力中止判定部18、38を含んでい構成されている。この車内会話支援装置は、車両に搭載されている。
(First embodiment)
FIG. 1 is a diagram illustrating a configuration of the in-vehicle conversation support device according to the first embodiment. The in-car
マイクロホン10は、自車両前列の搭乗者の音声を集音する。マイクロホン10は、運転者と助手席の搭乗者の音声を集音可能な位置、例えば、ダッシュボードや前列席中央上部の天井などに取り付けられている。
The
マイクロホン30は、自車両後列の搭乗者の音声を集音する。マイクロホン30は、後列の搭乗者の音声を集音可能な位置、例えば、運転席あるいは助手席のヘッドレストや後列中央上部の天井などに取り付けられている。
The
音声処理部12は、前列用のマイクロホン10で集音した音声に対して、風切音やロードノイズなどの集音音声と無関係な成分を除去したり、音声帯域の周波数成分を強調するなどの処理を行う。これらの処理が終了した後の音声は、増幅器14によって増幅されて、後列用のスピーカ36から出力される。このスピーカ36は、後列の搭乗者の聴取に適した位置、例えば、後列座席の左右に搭載されている。
The
音声処理部32は、後列用のマイクロホン30で集音した音声に対して、風切音やロードノイズなどの集音音声と無関係な成分を除去したり、音声帯域の周波数成分を強調するなどの処理を行う。これらの処理が終了した後の音声は、増幅器34によって増幅されて、前列用のスピーカ16から出力される。このスピーカ16は、前列の搭乗者の聴取に適した位置、例えば、運転席と助手席の左右に搭載されている。
The
音声出力中止判定部18は、前列の搭乗者の発話音声が後列の搭乗者に到達したときに、音声処理部12、増幅器14、スピーカ36による後列の搭乗者に向けた音声の出力を中止する。具体的には、音声出力中止判定部18は、マイクロホン30から出力される音声信号に基づいて、前列の搭乗者の発話音声が後列の搭乗者に到達したか否かを判定する。前列の搭乗者の発話音声は、前列用のマイクロホン10でも明瞭に集音されており、ロードノイズ等の周辺ノイズから分離することが可能である。また、この前列の搭乗者の発話音声の音量が大きい場合には、ほぼ同時刻に後列用のマイクロホン30でも集音されるはずである。したがって、前列用のマイクロホン10で集音されるタイミング(音声処理部12等を通することによる若干の遅延が生じる)で後列用のマイクロホン30で集音された発話音声の有無を監視することにより、前列の搭乗者の発話音声が後列用のマイクロホン30で集音されたか否か、すなわち、前列の搭乗者の発話音声が後列の搭乗者に到達したか否かを判定することが可能となる。
The voice output
音声出力中止判定部38は、後列の搭乗者の発話音声が前列の搭乗者に到達したときに、音声処理部32、増幅器34、スピーカ16による前列の搭乗者に向けた音声の出力を中止する。具体的には、音声出力中止判定部38は、マイクロホン10から出力される音声信号に基づいて、後列の搭乗者の発話音声が前列の搭乗者に到達したか否かを判定する。後列の搭乗者の発話音声は、後列用のマイクロホン30でも明瞭に集音され、ロードノイズ等の周辺ノイズから分離することが可能である。また、この後列の搭乗者の発話音声の音量が大きい場合には、ほぼ同時刻に前列用のマイクロホン10でも集音されるはずである。したがって、後列用のマイクロホン30で集音されるタイミング(音声処理部32等を通することによる若干の遅延が生じる)で前列用のマイクロホン10で集音された発話音声の有無を監視することにより、後列の搭乗者の発話音声が前列用のマイクロホン10で集音されたか否か、すなわち、後列の搭乗者の発話音声が前列の搭乗者に到達したか否かを判定することが可能となる。
The voice output
上述した音声処理部12、増幅器14が第1の音声出力手段に、音声処理部32、増幅器34が第2の音声出力手段に、音声出力中止判定部18が第1の音声出力中止手段に、音声出力中止判定部38が第2の音声出力中止手段にそれぞれ対応する。
The
図2は、マイクロホン10、30によって検出される搭乗者の発話音声の音量とスピーカ16、36から出力される音声の有無との関係を示す図である。図2(A)には後列用のマイクロホン30を用いて検出される前列の搭乗者の発話音声の音量とスピーカ36から出力される音声の有無(ON/OFF)との関係が、図2(B)には前列用のマイクロホン10を用いて検出される後列の搭乗者の発話音声の音量とスピーカ16から出力される音声の有無(ON/OFF)との関係がそれぞれ示されている。
FIG. 2 is a diagram showing the relationship between the volume of the uttered voice of the passenger detected by the
図2(A)に示すように、後列用のマイクロホン30で集音された前列の搭乗者の発話音声の音量が基準値aよりも小さい場合、すなわち、前列の搭乗者の発話音声の音量が小さくて後列の搭乗者に直接到達しない場合には、音声処理部12、増幅器14、スピーカ36の系統が有効であって、前列の搭乗者の発話音声が集音、増幅されてスピーカ36から出力される(スピーカ36 ON)。後列の搭乗者は、このスピーカ36から出力される音声を聞くことにより、前列の搭乗者の発話音声の内容を理解することができる。
As shown in FIG. 2A, when the volume of the utterance voice of the front row passengers collected by the
ところが、後列用のマイクロホン30で集音された前列の搭乗者の発話音声の音量が基準値aよりも大きい場合、すなわち、前列の搭乗者の発話音声の音量が大きくて後列の搭乗者に直接到達する場合には、音声処理部12、増幅器14、スピーカ36の系統が無効になり、前列の搭乗者の発話音声はスピーカ36からは出力されない(スピーカ36 OFF)。しかし、この前列の搭乗者の発話音声は、音量が大きいため、後列の搭乗者は、この発話音声を直接聞くことができ、前列の搭乗者の発話音声の内容を理解することが可能となる。
However, when the volume of the utterance voice of the front row passengers collected by the
また、図2(B)に示すように、前列用のマイクロホン10で集音された後列の搭乗者の発話音声の音量が基準値Aよりも小さい場合、すなわち、後列の搭乗者の発話音声の音量が小さくて前列の搭乗者に直接到達しない場合には、音声処理部32、増幅器34、スピーカ16の系統が有効であって、後列の搭乗者の発話音声が集音、増幅されてスピーカ16から出力される(スピーカ16 ON)。前列の搭乗者は、このスピーカ16から出力される音声を聞くことにより、後列の搭乗者の発話音声の内容を理解することができる。
Further, as shown in FIG. 2B, when the volume of the utterance voice of the rear row passengers collected by the
ところが、前列用のマイクロホン10で集音された後列の搭乗者の発話音声の音量が基準値Aよりも大きい場合、すなわち、後列の搭乗者の発話音声の音量が大きくて前列の搭乗者に直接到達する場合には、音声処理部32、増幅器34、スピーカ16の系統が無効になり、後列の搭乗者の発話音声はスピーカ16からは出力されない(スピーカ16 OFF)。しかし、この後列の搭乗者の発話音声は、音量が大きいため、前列の搭乗者は、この発話音声を直接聞くことができ、後列の搭乗者の発話音声の内容を理解することが可能となる。
However, if the volume of the utterance voice of the rear row passengers collected by the
なお、スピーカ16、36から音声出力を有効/無効にする基準値a、Aは、同じ値を用いる必要はなく、マイクロホン10、30や各搭乗者の配置状態などに応じて適宜異なる値を設定することが望ましい。
Note that the reference values a and A for enabling / disabling audio output from the
このように、本実施形態の車内会話支援装置1では、後列の搭乗者の発話音声が直接前列の搭乗者に到達するような場合や、前列の搭乗者の発話音声が直接後列の搭乗者に到達するような場合に、スピーカ16、36を用いた音声出力を中止するため、同じ発話内容の音声が2系統(直接伝達される系統と、スピーカを介して伝達される系統)でずれたタイミングで到達することを防止することができ、発話音量が大きい場合に生じる聞き取りにくさを改善することが可能となる。
As described above, in the in-car
また、後列の搭乗者の音声を集音するマイクロホン30を用いて前列の搭乗者の音声を検出するとともに、前列の搭乗者の音声を集音するマイクロホン10を用いて後列の搭乗者の音声を検出することにより、音声検出用の構成を別に用意する必要がなくなるため、部品点数の低減によるコストダウンが可能となる。
In addition, the
(第2の実施形態)
図3は、第2の実施形態の車内会話支援装置の構成を示す図である。図3に示す車内会話支援装置1Aは、図1に示した車内会話支援装置1に対して、音声認識処理部20、40、表示部22、42を追加した点が異なっている。以下では、この追加された構成に着目して説明を行う。
(Second Embodiment)
FIG. 3 is a diagram illustrating a configuration of the in-vehicle conversation support device according to the second embodiment. 3 is different from the in-car
音声認識処理部20は、前列の搭乗者の発話音声の後列の搭乗者への到達の有無が繰り返し切り替わる場合(聞こえたり聞こえなかったりする場合)に、マイクロホン10で集音した前列の搭乗者の発話音声の内容を解析して後列の搭乗者に向けて表示する。具体的には、この解析によって得られた音声の内容が、後部座席の搭乗者が見ることが可能な位置に設置された表示部42に表示される。表示される音声の内容は、ひらがな表示であってもよいが、漢字仮名交じりの表示とすることが望ましい。
The voice
音声認識処理部40は、後列の搭乗者の発話音声の前列の搭乗者への到達の有無が繰り返し切り替わる場合(聞こえたり聞こえなかったりする場合)に、マイクロホン30で集音した後列の搭乗者の発話音声の内容を解析して前列の搭乗者に向けて表示する。具体的には、この解析によって得られた音声の内容が、運転者と助手席の搭乗者が見ることが可能な位置に設置された表示部22に表示される。表示される音声の内容は、ひらがな表示であってもよいが、漢字仮名交じりの表示とすることが望ましい。
The voice
上述した音声認識処理部20が第1の音声認識処理手段に、音声認識処理部40が第2の音声認識処理手段にそれぞれ対応する。
The voice
図4は、マイクロホン10、30によって検出される搭乗者の発話音声の音量とスピーカ16、36から出力される音声の有無および表示部22、42による音声内容表示の有無との関係を示す図である。図4(A)には後列用のマイクロホン30を用いて検出される前列の搭乗者の発話音声の音量とスピーカ36から出力される音声の有無(ON/OFF)および表示部42による音声内容表示の有無(ON/OFF)との関係が示されている。また、図4(B)には前列用のマイクロホン10を用いて検出される後列の搭乗者の発話音声の音量とスピーカ16から出力される音声の有無(ON/OFF)および表示部22による音声内容表示の有無(ON/OFF)との関係が示されている。
FIG. 4 is a diagram showing the relationship between the volume of the uttered voice of the passenger detected by the
図4(A)に示すように、後列用のマイクロホン30で集音された前列の搭乗者の発話音声が基準値b1よりも小さい場合、すなわち、前列の搭乗者の発話音声の音量が小さくて後列の搭乗者に全く到達しない場合には、音声処理部12、増幅器14、スピーカ36の系統が有効であって、前列の搭乗者の発話音声が集音、増幅されてスピーカ36から出力される(スピーカ36 ON)。後列の搭乗者は、このスピーカ36から出力される音声を聞くことにより、前列の搭乗者の発話音声の内容を理解することができる。また、後列用のマイクロホン30で集音された前列の搭乗者の発話音声の音量が基準値b2(>b1)よりも大きい場合、すなわち、前列の搭乗者の発話音声の音量が大きくて前列の搭乗者に直接到達する場合には、音声処理部12、増幅器14、スピーカ36の系統が無効になり、前列の搭乗者の発話音声はスピーカ36からは出力されない(スピーカ36 OFF)。しかし、この前列の搭乗者の発話音声は、音量が大きいため、後列の搭乗者は、この発話音声を直接聞くことができ、前列の搭乗者の発話音声の内容を明瞭に理解することが可能となる。なお、これらの場合には発話音声の内容をスピーカ36の出力音声あるいは直接到達する音声により理解することができるため、音声認識処理部20による前列の搭乗者の発話音声の解析結果は、後列の表示部42には表示されない(表示OFF)。
As shown in FIG. 4A, when the utterance voice of the front row passengers collected by the
ところで、後列用のマイクロホン30で集音された前列の搭乗者の発話音声の音量が基準値b1とb2の間にある場合、すなわち、前列の搭乗者の発話音声の音量が全く聞き取れないほど小さくはないが明瞭に聞き取れるほど大きくもなく、前列の搭乗者の発話音声の後列の搭乗者への到達の有無が繰り返し切り替わって聞き取れたり聞き取れなかったりする場合には、音声認識処理部20による前列の搭乗者の発話音声の解析結果が後列の表示部42に表示される。なお、この場合には、音声処理部12、増幅器14、スピーカ36の系統が有効であって、前列の搭乗者の発話音声が集音、増幅されてスピーカ36から出力される(スピーカ36 ON)。
By the way, when the volume of the utterance voice of the front row passengers collected by the
また、図4(B)に示すように、前列用のマイクロホン10で集音された後列の搭乗者の発話音声が基準値B1よりも小さい場合、すなわち、後列の搭乗者の発話音声の音量が小さくて前列の搭乗者に全く到達しない場合には、音声処理部32、増幅器34、スピーカ16の系統が有効であって、後列の搭乗者の発話音声が集音、増幅されてスピーカ16から出力される(スピーカ16 ON)。前列の搭乗者は、このスピーカ16から出力される音声を聞くことにより、後列の搭乗者の発話音声の内容を理解することができる。また、前列用のマイクロホン10で集音された後列の搭乗者の発話音声の音量が基準値B2(>B1)よりも大きい場合、すなわち、後列の搭乗者の発話音声の音量が大きくて前列の搭乗者に直接到達する場合には、音声処理部32、増幅器34、スピーカ16の系統が無効になり、後列の搭乗者の発話音声はスピーカ16からは出力されない(スピーカ16 OFF)。しかし、この後列の搭乗者の発話音声は、音量が大きいため、前列の搭乗者は、この発話音声を直接聞くことができ、後列の搭乗者の発話音声の内容を明瞭に理解することが可能となる。なお、これらの場合には発話音声の内容をスピーカ16の出力音声あるいは直接到達する音声により理解することができるため、音声認識処理部40による後列の搭乗者の発話音声の解析結果は、前列の表示部22には表示されない(表示OFF)。
Also, as shown in FIG. 4B, when the utterance voice of the rear row passengers collected by the
ところで、前列用のマイクロホン10で集音された後列の搭乗者の発話音声の音量が基準値B1とB2の間にある場合、すなわち、後列の搭乗者の発話音声の音量が全く聞き取れないほど小さくはないが明瞭に聞き取れるほど大きくもなく、後列の搭乗者の発話音声の前列の搭乗者への到達の有無が繰り返し切り替わって聞き取れたり聞き取れなかったりする場合には、音声認識処理部40による後列の搭乗者の発話音声の解析結果が前列の表示部22に表示される。なお、この場合には、音声処理部32、増幅器34、スピーカ16の系統が有効であって、後列の搭乗者の発話音声が集音、増幅されてスピーカ16から出力される(スピーカ16 ON)。
By the way, when the volume of the uttered voice of the rear row passengers collected by the
このように、本実施形態の車内会話支援装置1Aでは、後列の搭乗者の発話音声が直接前列の搭乗者に到達しているが、音量が不十分で部分的にしかその内容を聞き取れないような場合や、前列の搭乗者の発話音声が直接後列の搭乗者に到達しているが、音量が不十分で部分的にしかその内容を聞き取れないような場合に、発話音声の内容を表示で確認することができ、音量不足による聞き取りにくさを補完することが可能となる。
As described above, in the in-car
ところで、上述した第2の実施形態では、図4に示したように、発話音声の解析結果を表示している間(表示ON)は、スピーカ16、36から音声出力を行うようにしたが(スピーカ16 ON、スピーカ36 ON)、図5に示すように、発話音声の解析結果を表示している間(表示ON)は、スピーカ16、36からの音声出力を中止するようにしてもよい(スピーカ16 OFF、スピーカ36 OFF)。これにより、同じ発話内容の音声が2系統(直接伝達される系統と、スピーカを介して伝達される系統)で部分的にずれて聞こえることを防止し、断片的に生じる耳障りな音声の重複を避けることが可能となる。
By the way, in the second embodiment described above, as shown in FIG. 4, while the analysis result of the spoken voice is displayed (display ON), the voice output is performed from the
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、前列の搭乗者の発話音声が後列の搭乗者に到達したことを後列用のマイクロホン30を用いて検出し、後列の搭乗者の発話音声が前列の搭乗者に到達したことを前列用のマイクロホン10を用いて検出するようにしたが、これらの音声検出用に別のマイクロホンを用いるようにしてもよい。
In addition, this invention is not limited to the said embodiment, A various deformation | transformation implementation is possible within the range of the summary of this invention. For example, in the above-described embodiment, it is detected by using the
図6は、音声検出用にマイクロホンを追加した車内会話支援装置の変形例の構成を示す図である。図6に示した構成は、図1に示した構成に対して、マイクロホン24、44が追加された点が異なっている。
FIG. 6 is a diagram showing a configuration of a modified example of the in-vehicle conversation support apparatus in which a microphone is added for voice detection. The configuration shown in FIG. 6 is different from the configuration shown in FIG. 1 in that
図7は、音声検出用にマイクロホンを追加した車内会話支援装置の他の変形例の構成を示す図である。図7に示した構成は、図3に示した構成に対して、マイクロホン24、44が追加された点が異なっている。以下では、これらの変形例において追加されたマイクロホン24、44に着目して説明を行う。
FIG. 7 is a diagram showing a configuration of another modification of the in-vehicle conversation support apparatus to which a microphone is added for voice detection. The configuration shown in FIG. 7 is different from the configuration shown in FIG. 3 in that
一方のマイクロホン24は、後列の搭乗者の発話音声を前列の搭乗者の聴取位置近傍で集音するためのものであり、例えば、運転者の耳の位置に対応する運転席のヘッドレストに設置されている。他方のマイクロホン44は、前列の搭乗者の発話音声を後列の搭乗者の聴取位置近傍で集音するためのものであり、例えば、後列の搭乗者(左右二人の搭乗者のいずれか一方)の耳の位置に対応する後部座席のヘッドレストに設置されている。なお、これらの設置位置は一例であって、適宜変更するようにしてもよい。
One
音声出力中止判定部18は、後部座席に設置されたマイクロホン44から出力される音声信号に基づいて、前列の搭乗者の発話音声が後列の搭乗者に到達したか否かを判定する。また、音声出力中止判定部38は、運転席に設置されたマイクロホン24から出力される音声信号に基づいて、後列の搭乗者の発話音声が前列の搭乗者に到達したか否かを判定する。
The audio output
このように、音声到達の有無を検出するために追加したマイクロホン24、44を用いることにより、より正確に各搭乗者に他の搭乗者の音声が直接到達するか否かを判定することができ、聞き取りにくさ改善のためにスピーカ16、36からの音声出力の有無を適切に切り替えることが可能となる。
In this way, by using the
また、上述した実施形態では、前列と後列からなる2列シートの車両に本発明を適用したが、3列シート以上の車両に本発明を適用することもできる。 Further, in the above-described embodiment, the present invention is applied to a two-row seat vehicle including a front row and a rear row, but the present invention can also be applied to a vehicle having three or more row seats.
上述したように、本発明によれば、後列の搭乗者の発話音声が直接前列の搭乗者に到達するような場合や、前列の搭乗者の発話音声が直接後列の搭乗者に到達するような場合に、スピーカを用いた音声出力を中止するため、同じ発話内容の音声がずれたタイミングで到達することを防止することができ、発話音量が大きい場合に生じる聞き取りにくさを改善することが可能となる。 As described above, according to the present invention, the utterance voice of the passenger in the rear row directly reaches the passenger in the front row, or the utterance voice of the passenger in the front row directly reaches the passenger in the rear row. In this case, since the sound output using the speaker is stopped, it is possible to prevent the voice of the same utterance content from reaching when it is shifted, and it is possible to improve the difficulty in hearing when the utterance volume is high It becomes.
1 車内会話支援装置
10、24、30、44 マイクロホン
12、32 音声処理部
14、34 増幅器
16、36 スピーカ
18、38 音声出力中止判定部
20、40 音声認識処理部
22、42 表示部
1 In-car
Claims (5)
後列の搭乗者の音声を集音する第2のマイクロホンと、
前記第1のマイクロホンで集音した音声を前記後列の搭乗者に向けてスピーカから出力する第1の音声出力手段と、
前記第2のマイクロホンで集音した音声を前記前列の搭乗者に向けて前記スピーカから出力する第2の音声出力手段と、
前記前列の搭乗者の発話音声が前記後列の搭乗者に到達したときに、前記第1の音声出力手段による前記後列の搭乗者に向けた音声の出力を中止する第1の音声出力中止手段と、
前記後列の搭乗者の発話音声が前記前列の搭乗者に到達したときに、前記第2の音声出力手段による前記前列の搭乗者に向けた音声の出力を中止する第2の音声出力中止手段と、
を備えることを特徴とする車内会話支援装置。 A first microphone that collects the voices of the front row passengers;
A second microphone that collects the voices of the passengers in the back row;
First sound output means for outputting sound collected by the first microphone from a speaker toward a passenger in the rear row;
Second sound output means for outputting the sound collected by the second microphone from the speaker toward the front row passengers;
First voice output stopping means for stopping the output of the voice directed to the passengers in the rear row by the first voice output means when the voice of the passenger in the front row reaches the passengers in the rear row; ,
Second audio output stopping means for stopping the output of the voice toward the front row passengers by the second audio output means when the uttered voice of the passengers in the rear row reaches the passengers in the front row; ,
An in-car conversation support device comprising:
前記後列の搭乗者の発話音声の前記前列の搭乗者への到達の有無が繰り返し切り替わる場合に、前記第2のマイクロホンで集音した前記後列の搭乗者の発話音声の内容を解析して前記前列の搭乗者に向けて表示する第2の音声認識処理手段と、
をさらに備えることを特徴とする請求項1に車内会話支援装置。 When the presence / absence of the speech of the front row passengers reaching the back row passengers is repeatedly switched, the back row is analyzed by analyzing the content of speech signals of the front row passengers collected by the first microphone. First speech recognition processing means for displaying to a passenger of the vehicle,
When the presence or absence of the utterance voice of the passengers in the rear row is repeatedly switched, the contents of the voices of the passengers in the rear row collected by the second microphone are analyzed and the front row is analyzed. Second voice recognition processing means for displaying to a passenger of the vehicle,
The in-vehicle conversation support device according to claim 1, further comprising:
前記第2の音声出力中止手段は、前記第2の音声認識処理手段によって前記後列の搭乗者の発話音声の解析結果が前記前列の搭乗者に向けて表示されているときに、前記第2の音声出力手段による前記前列の搭乗者に向けた音声の出力を中止することを特徴とする請求項2に記載の車内会話支援装置。 The first voice output stopping unit is configured to display the first voice recognition processing unit when the analysis result of the utterance voice of the passenger in the front row is displayed toward the passenger in the rear row. Stop outputting the voice to the passengers in the back row by the voice output means,
The second voice output stopping unit is configured to display the second voice recognition processing unit when the analysis result of the utterance voice of the passenger in the rear row is displayed toward the passenger in the front row. The in-vehicle conversation support device according to claim 2, wherein the voice output means stops outputting the voice toward the front row passengers.
前記第2の音声出力中止手段は、前記第1のマイクロホンから出力される音声信号に基づいて、前記後列の搭乗者の発話音声が前記前列の搭乗者に到達したか否かを判定することを特徴とする請求項1〜3のいずれか一項に記載の車内会話支援装置。 The first audio output stopping means determines whether or not the utterance voice of the front row passenger has reached the rear row passenger based on the audio signal output from the second microphone,
The second audio output stopping means determines whether or not the utterance voice of the passenger in the rear row has reached the passenger in the front row, based on the audio signal output from the first microphone. The in-vehicle conversation support device according to any one of claims 1 to 3.
前記前列の搭乗者の音声を前記後列の搭乗者の聴取位置近傍で集音する第4のマイクロホンと、
をさらに備え、前記第1の音声出力中止手段は、前記第4のマイクロホンから出力される音声信号に基づいて、前記前列の搭乗者の発話音声が前記後列の搭乗者に到達したか否かを判定し、
前記第2の音声出力中止手段は、前記第3のマイクロホンから出力される音声信号に基づいて、前記後列の搭乗者の発話音声が前記前列の搭乗者に到達したか否かを判定することを特徴とする請求項1〜3のいずれか一項に記載の車内会話支援装置。 A third microphone for collecting the sound of the passengers in the rear row near the listening position of the passengers in the front row;
A fourth microphone for collecting the sound of the passengers in the front row near the listening position of the passengers in the rear row;
The first audio output stop means further determines whether the utterance voice of the front row passenger has reached the rear row passenger based on the audio signal output from the fourth microphone. Judgment,
The second audio output stopping means determines whether or not the utterance voice of the rear row passenger has reached the front row passenger based on an audio signal output from the third microphone. The in-vehicle conversation support device according to any one of claims 1 to 3.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017019149A JP6775897B2 (en) | 2017-02-04 | 2017-02-04 | In-car conversation support device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017019149A JP6775897B2 (en) | 2017-02-04 | 2017-02-04 | In-car conversation support device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018125822A true JP2018125822A (en) | 2018-08-09 |
JP6775897B2 JP6775897B2 (en) | 2020-10-28 |
Family
ID=63110491
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017019149A Active JP6775897B2 (en) | 2017-02-04 | 2017-02-04 | In-car conversation support device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6775897B2 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010083452A (en) * | 2008-10-02 | 2010-04-15 | Toyota Boshoku Corp | Vehicle-interior conversation assist device |
JP2012199801A (en) * | 2011-03-22 | 2012-10-18 | Panasonic Corp | Conversation support device and method |
JP2014170154A (en) * | 2013-03-05 | 2014-09-18 | Panasonic Corp | In-vehicle conversation support device |
JP2015071320A (en) * | 2013-10-01 | 2015-04-16 | アルパイン株式会社 | Conversation support device, conversation support method, and conversation support program |
JP2017027332A (en) * | 2015-07-22 | 2017-02-02 | ソニー株式会社 | Information processor, information processing method, and program |
WO2017038727A1 (en) * | 2015-08-28 | 2017-03-09 | 旭化成株式会社 | Transmission device, transmission system, transmission method, and program |
-
2017
- 2017-02-04 JP JP2017019149A patent/JP6775897B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010083452A (en) * | 2008-10-02 | 2010-04-15 | Toyota Boshoku Corp | Vehicle-interior conversation assist device |
JP2012199801A (en) * | 2011-03-22 | 2012-10-18 | Panasonic Corp | Conversation support device and method |
JP2014170154A (en) * | 2013-03-05 | 2014-09-18 | Panasonic Corp | In-vehicle conversation support device |
JP2015071320A (en) * | 2013-10-01 | 2015-04-16 | アルパイン株式会社 | Conversation support device, conversation support method, and conversation support program |
JP2017027332A (en) * | 2015-07-22 | 2017-02-02 | ソニー株式会社 | Information processor, information processing method, and program |
WO2017038727A1 (en) * | 2015-08-28 | 2017-03-09 | 旭化成株式会社 | Transmission device, transmission system, transmission method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP6775897B2 (en) | 2020-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10536791B2 (en) | Vehicular sound processing system | |
US10419868B2 (en) | Sound system | |
JP6284331B2 (en) | Conversation support device, conversation support method, and conversation support program | |
US20170026764A1 (en) | Automatic car audio volume control to aid passenger conversation | |
US9769568B2 (en) | System and method for speech reinforcement | |
US20140003620A1 (en) | Devices and methods for conveying audio information in vehicles | |
JP2014170154A (en) | In-vehicle conversation support device | |
US10932042B2 (en) | Conversation assist apparatus and conversation assist method | |
US11089404B2 (en) | Sound processing apparatus and sound processing method | |
WO2015086895A1 (en) | Spatial audio processing apparatus | |
EP3495942B1 (en) | Head-mounted display and control method thereof | |
EP3618465B1 (en) | Vehicle communication system and method of operating vehicle communication systems | |
CN108574906B (en) | Sound processing method and system for automobile and automobile | |
CN113273223A (en) | Acoustic augmented reality system based on hybrid vehicle-mounted loudspeaker and earphone | |
WO2020142600A1 (en) | In-car headphone acoustical augmented reality system | |
JP6775897B2 (en) | In-car conversation support device | |
JP2017030671A (en) | Noise reduction device, noise reduction method, and on-vehicle system | |
JP7163876B2 (en) | In-vehicle conversation support device | |
JP2019075598A (en) | Sensitivity adjustment device, in-vehicle system, car headrest, and signal processing device | |
JP7192561B2 (en) | Audio output device and audio output method | |
US20240121555A1 (en) | Zoned Audio Duck For In Car Conversation | |
GB2560884A (en) | Apparatus and method for privacy enhancement | |
JP2020106779A (en) | Acoustic device and sound field control method | |
JP3679617B2 (en) | Audio transmission method | |
JP3190554U (en) | In-car conversation device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190827 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200728 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200826 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201006 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201006 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6775897 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |