JP2021009234A - In-vehicle conversation support device - Google Patents
In-vehicle conversation support device Download PDFInfo
- Publication number
- JP2021009234A JP2021009234A JP2019123373A JP2019123373A JP2021009234A JP 2021009234 A JP2021009234 A JP 2021009234A JP 2019123373 A JP2019123373 A JP 2019123373A JP 2019123373 A JP2019123373 A JP 2019123373A JP 2021009234 A JP2021009234 A JP 2021009234A
- Authority
- JP
- Japan
- Prior art keywords
- occupant
- sound
- vehicle
- emitted
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 8
- 230000005236 sound signal Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 230000009191 jumping Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
Description
本発明は、車室内における乗員間の会話を支援する車内会話支援装置に関するものである。 The present invention relates to an in-vehicle conversation support device that supports conversation between occupants in the vehicle interior.
特許文献１に記載の車内会話支援装置は、車両の後部座席に着座した乗員の音声を集音するマイクロフォンと、このマイクロフォンによって集音した音声を前部座席に着座した乗員に向けて出力するスピーカーとを有している。この車内会話支援装置によれば、後部座席の乗員の発話内容を前部座席の乗員が聞き取りやすくなる。 The in-vehicle conversation support device described in Patent Document 1 is a microphone that collects the sound of an occupant seated in the rear seat of the vehicle, and a speaker that outputs the sound collected by the microphone to the occupant seated in the front seat. And have. According to this in-vehicle conversation support device, it becomes easier for the front seat occupant to hear the utterance content of the rear seat occupant.
上記装置では、三列シートの車両において二列目シートと三列目シートとにそれぞれ乗員が着座する場合など、車両の後部座席に複数人が着座している場合に、各乗員の音声をマイクロフォンによってうまく集音することができなくなるおそれがある。この場合には、後部座席の乗員の発話内容を前部座席の乗員が聞き取りにくくなるため、乗員間における会話に支障をきたすおそれがある。 In the above device, when a plurality of passengers are seated in the rear seats of the vehicle, such as when the passengers are seated in the second row seat and the third row seat in a vehicle with three rows of seats, the voice of each passenger is microphoneed. There is a risk that it will not be possible to collect sound properly. In this case, it becomes difficult for the front seat occupants to hear the utterances of the rear seat occupants, which may hinder the conversation between the occupants.
本発明は、そうした実情に鑑みてなされたものであり、その目的は、前部座席乗員と後部座席乗員とのスムーズな会話を実現することのできる車内会話支援装置を提供することにある。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide an in-vehicle conversation support device capable of realizing smooth conversation between a front seat occupant and a rear seat occupant.
上記課題を解決するための車内会話支援装置は、車両の後部座席において発せられた音を、同音が発せられた車室内位置に関連付けた状態で集音する集音部と、前記後部座席で音声が発せられた場合に同音声を発した乗員の車室内位置を特定する特定部と、前記特定部によって特定された前記乗員の車室内位置に基づいて、同車室内位置から発せられた音を、前記集音部によって集音された音の中から抽出する抽出部と、前記抽出部によって抽出した音を、前記車両の前部座席に着座した乗員に出力する前部座席用のスピーカーと、を有する。 The in-vehicle conversation support device for solving the above-mentioned problems includes a sound collecting unit that collects the sound emitted in the rear seat of the vehicle in a state associated with the position in the vehicle interior where the same sound is emitted, and the sound in the rear seat. Based on the specific unit that specifies the vehicle interior position of the occupant who emitted the same sound when is emitted and the vehicle interior position of the occupant specified by the specific unit, the sound emitted from the vehicle interior position is emitted. , An extraction unit that extracts the sound collected by the sound collection unit, a speaker for the front seat that outputs the sound extracted by the extraction unit to the occupant seated in the front seat of the vehicle, and the like. Has.
上記構成によれば、後部座席の乗員が音声を発した場合に、同乗員が発した音声を抽出して前部座席用のスピーカーから出力することができる。これにより、乗員が発した音声を余計な音を除いた状態で前部座席用のスピーカーから出力させることができるため、後部座席乗員が発した音声を前部座席乗員が聞き取りやすくすることができる。したがって、前部座席乗員と後部座席乗員とのスムーズな会話を実現することができる。 According to the above configuration, when the occupant in the rear seat emits a voice, the voice uttered by the occupant can be extracted and output from the speaker for the front seat. As a result, the voice emitted by the occupant can be output from the speaker for the front seat in a state where unnecessary sound is removed, so that the voice uttered by the rear seat occupant can be easily heard by the front seat occupant. .. Therefore, a smooth conversation between the front seat occupant and the rear seat occupant can be realized.
前記車内会話支援装置は、前記後部座席の全乗員を撮影可能なカメラと、前記特定部によって特定した前記車室内位置の乗員についての前記カメラによって撮影した画像を前部座席用モニターに表示する表示部と、を有し、前記特定部は、前記カメラで撮影した画像に基づいて前記音声を発した乗員の車室内位置を特定するものであることが好ましい。 The in-vehicle conversation support device displays on the front seat monitor a camera capable of photographing all the occupants of the rear seat and an image of the occupant at the vehicle interior position specified by the specific unit taken by the camera. It is preferable that the specific unit specifies the position of the passenger inside the vehicle interior, which emits the sound based on the image taken by the camera.
上記構成によれば、カメラによる撮影画像をもとに後部座席で音声を発した乗員の車室内位置を特定することができる。しかも、その乗員を撮影した画像を前部座席用モニターに表示することによって、音声を発した乗員が誰であるかを運転者が明確に認識することができる。これにより、前部座席乗員と後部座席乗員とのよりスムーズな会話を実現することができる。 According to the above configuration, it is possible to identify the position inside the vehicle interior of the occupant who has emitted a voice in the rear seat based on the image taken by the camera. Moreover, by displaying the photographed image of the occupant on the front seat monitor, the driver can clearly recognize who the occupant is the occupant who emitted the voice. As a result, a smoother conversation between the front seat occupant and the rear seat occupant can be realized.
上記装置において、前記表示部は、前記特定部によって前記乗員の車室内位置が複数特定された場合には、同車室内位置が特定された複数の乗員についての前記カメラによって撮影された画像を、前部座席用の操作部の操作を通じて前記複数の乗員のうちのいずれか一人を選択可能な態様で、前記前部座席用モニターに表示するものであり、且つ、前記操作部の操作を通じて前記複数の乗員のうちのいずれか一人が選択された場合には、該選択された乗員についての前記画像のみを前記前部座席用モニターに表示するものであり、前記抽出部は、前記操作部の操作を通じて前記複数の乗員のうちのいずれか一人が選択された場合には、該選択された乗員の車室内位置から発せられた音を、前記集音部によって集音された音の中から抽出するものであることが好ましい。 In the above device, when a plurality of vehicle interior positions of the occupant are specified by the specific unit, the display unit displays images taken by the camera of the plurality of occupants whose vehicle interior positions are specified. One of the plurality of occupants can be selected through the operation of the operation unit for the front seat, and is displayed on the monitor for the front seat, and the plurality of occupants are displayed through the operation of the operation unit. When any one of the occupants is selected, only the image of the selected occupant is displayed on the front seat monitor, and the extraction unit operates the operation unit. When any one of the plurality of occupants is selected through, the sound emitted from the vehicle interior position of the selected occupant is extracted from the sounds collected by the sound collecting unit. It is preferable that it is a thing.
上記構成によれば、後部座席において複数の乗員が同時期に発声した場合に、前部座席の乗員が前部座席用モニターの表示を確認しながら前部座席用の操作部を操作することによって、会話したい人を択一的に選択することができる。そして、その選択した乗員の音声を余計な音の少ない状態で聞くことができる。 According to the above configuration, when a plurality of occupants utter at the same time in the rear seat, the occupants in the front seat operate the operation unit for the front seat while checking the display on the monitor for the front seat. , You can choose who you want to talk to. Then, the voice of the selected occupant can be heard with less unnecessary sound.
前記車内会話支援装置は、前記特定部によって前記車室内位置が特定された乗員についての前記カメラによって撮影した画像と、前記抽出部によって抽出した音と、を外部通信機器に無線送信する通信部を有することが好ましい。 The in-vehicle conversation support device wirelessly transmits an image taken by the camera of the occupant whose interior position is specified by the specific unit and a sound extracted by the extraction unit to an external communication device. It is preferable to have.
上記構成によれば、外部通信機器を利用して、前部座席の乗員と後部座席の乗員と車両外部の人との間でのスムーズな会話を実現することができる。
前記車内会話支援装置は、前記後部座席の全乗員の三次元形状を検出する検出部を有し、前記特定部は、前記カメラによって撮影した乗員の画像と前記検出部によって検出した乗員の三次元形状との関係に基づいて、前記音声を発した乗員の車室内位置を特定するものであることが好ましい。
According to the above configuration, it is possible to realize a smooth conversation between the front seat occupant, the rear seat occupant, and the person outside the vehicle by using the external communication device.
The in-vehicle conversation support device has a detection unit that detects the three-dimensional shape of all the occupants in the rear seat, and the specific unit includes an image of the occupant taken by the camera and the three-dimensional occupant detected by the detection unit. It is preferable that the position in the passenger compartment of the occupant who has emitted the sound is specified based on the relationship with the shape.
上記構成によれば、カメラによって撮影される乗員の画像と検出部によって検出される乗員の三次元形状とをもとに、乗員の口元の位置とその口元の動きとを把握することができる。そのため、乗員の口元の動きから同乗員が音声を発したことを検出することができ、ひいては音声を発した乗員の車室内位置を精度良く検出することができる。 According to the above configuration, the position of the occupant's mouth and the movement of the occupant's mouth can be grasped based on the image of the occupant taken by the camera and the three-dimensional shape of the occupant detected by the detection unit. Therefore, it is possible to detect that the occupant has emitted a voice from the movement of the occupant's mouth, and it is possible to accurately detect the position of the occupant in the vehicle interior that has emitted the voice.
上記装置において、前記抽出部は、前記特定した車室内位置から発せられる音の抽出を、前記特定した車室内位置から発せられた音として前記集音部によって集音された音声信号の音成分の中から、それ以外の車室内位置から発せられた音として前記集音部によって集音された音声信号の音成分を除去するフィルタリング処理を通じて行うものであることが好ましい。 In the above device, the extraction unit extracts the sound emitted from the specified vehicle interior position as the sound emitted from the specified vehicle interior position as the sound component of the sound signal collected by the sound collecting unit. It is preferable that the sound is performed through a filtering process for removing the sound component of the sound signal collected by the sound collecting unit as the sound emitted from the other vehicle interior positions.
上記構成によれば、後部座席において特定の乗員が発した音声を、それ以外の音成分を除去した状態で前部座席において鮮明に聞くことができるようになる。 According to the above configuration, the sound emitted by a specific occupant in the rear seat can be clearly heard in the front seat with the other sound components removed.
本発明によれば、前部座席乗員と後部座席乗員とのスムーズな会話を実現することができる。 According to the present invention, it is possible to realize a smooth conversation between the front seat occupant and the rear seat occupant.
以下、車内会話支援装置の一実施形態について説明する。
図１に示すように、車両１０は、運転席１１Ｒおよび助手席１１Ｌからなる前部座席１１と、二列目シート１２Ｆおよび三列目シート１２Ｂからなる後部座席１２とを有している。
Hereinafter, an embodiment of the in-vehicle conversation support device will be described.
As shown in FIG. 1, the vehicle 10 has a front seat 11 including a driver's seat 11R and a passenger seat 11L, and a rear seat 12 including a second row seat 12F and a third row seat 12B.
図１および図２に示すように、車両１０は、後部座席１２の全乗員を撮影するためのカメラ１３を有している。このカメラ１３は、撮影可能範囲に後部座席１２の全体を含む態様で、車両１０のルーフにおける運転席１１Ｒと助手席１１Ｌとの間の部分に取り付けられている。 As shown in FIGS. 1 and 2, the vehicle 10 has a camera 13 for photographing all the occupants of the rear seat 12. The camera 13 is attached to a portion of the roof of the vehicle 10 between the driver's seat 11R and the passenger seat 11L in such a manner that the entire rear seat 12 is included in the photographable range.
車両１０は、後部座席１２の全乗員の三次元形状を検出するための形状センサ１４を有している。この形状センサ１４は、検出可能範囲に後部座席１２の全体を含む態様で、車両１０のルーフにおける運転席１１Ｒと助手席１１Ｌとの間の部分に取り付けられている。形状センサ１４としては、検出可能範囲の各部における赤外線を利用した距離計測を通じて三次元形状の検出を行うタイプのものが採用されている。本実施形態では、形状センサ１４が検出部に相当する。 The vehicle 10 has a shape sensor 14 for detecting the three-dimensional shape of all the occupants of the rear seat 12. The shape sensor 14 is attached to a portion of the roof of the vehicle 10 between the driver's seat 11R and the passenger seat 11L in such a manner that the entire rear seat 12 is included in the detectable range. As the shape sensor 14, a type that detects a three-dimensional shape through distance measurement using infrared rays in each part of the detectable range is adopted. In this embodiment, the shape sensor 14 corresponds to the detection unit.
車両１０には、後部座席１２において発せられた音を、その音が発せられた車室内位置に関連付けた状態で集音する集音部１５が設けられている。この集音部１５としては、多数のマイクロフォンを有して構成される、いわゆるマイクロフォンアレイが採用されている。集音部１５は、集音可能範囲に後部座席１２の全体を含む態様で、車両１０のルーフにおける二列目シート１２Ｆの上方に取り付けられている。 The vehicle 10 is provided with a sound collecting unit 15 that collects the sound emitted from the rear seat 12 in a state associated with the position in the vehicle interior where the sound is emitted. As the sound collecting unit 15, a so-called microphone array having a large number of microphones is adopted. The sound collecting unit 15 is attached above the second row seat 12F on the roof of the vehicle 10 in such a manner that the entire rear seat 12 is included in the sound collecting range.
車両１０には、ナビゲーションシステム１６が設けられている。ナビゲーションシステム１６は、車室内における前部座席１１の前方、詳しくはダッシュボードに取り付けられている。ナビゲーションシステム１６はモニター１７を有している。本実施形態では、このモニター１７が前部座席用モニターに相当する。 The vehicle 10 is provided with a navigation system 16. The navigation system 16 is mounted in front of the front seat 11 in the vehicle interior, specifically on the dashboard. The navigation system 16 has a monitor 17. In this embodiment, the monitor 17 corresponds to a front seat monitor.
車両１０はスピーカー１８を有している。スピーカー１８は、運転席１１Ｒのドアおよび助手席１１Ｌのドアにそれぞれ設けられている。これらスピーカー１８はナビゲーションシステム１６に接続されるとともに、同ナビゲーションシステム１６から出力される音声信号に応じた音を車室内に出力する。本実施形態では、このスピーカー１８が前部座席用のスピーカーに相当する。 The vehicle 10 has a speaker 18. Speakers 18 are provided on the door of the driver's seat 11R and the door of the passenger seat 11L, respectively. These speakers 18 are connected to the navigation system 16 and output sounds corresponding to the voice signals output from the navigation system 16 into the vehicle interior. In this embodiment, the speaker 18 corresponds to a speaker for the front seat.
車両１０は、運転者の発話に際して同運転者によってオン操作される発話スイッチ１９と、運転者の発する音声を集音するマイクロフォン２０とを有している。これら発話スイッチ１９およびマイクロフォン２０は、車室内における運転席１１Ｒの前方に設けられている。そして、運転者によって発話スイッチ１９がオン操作されると、マイクロフォン２０が作動して運転者の発する音声を集音するようになる。 The vehicle 10 has an utterance switch 19 that is turned on by the driver when the driver speaks, and a microphone 20 that collects the sound emitted by the driver. These utterance switches 19 and the microphone 20 are provided in front of the driver's seat 11R in the vehicle interior. Then, when the utterance switch 19 is turned on by the driver, the microphone 20 is activated to collect the voice emitted by the driver.
車両１０は、例えばマイクロコンピュータを中心に構成される電子制御装置２１を備えている。この電子制御装置２１には、カメラ１３、形状センサ１４、集音部１５、ナビゲーションシステム１６、発話スイッチ１９、およびマイクロフォン２０が接続されている。電子制御装置２１は、各機器からの入力信号に基づいて各種の演算を行うとともに、その演算結果をもとにモニター１７およびスピーカー１８の作動を制御する。 The vehicle 10 includes, for example, an electronic control device 21 mainly composed of a microcomputer. A camera 13, a shape sensor 14, a sound collecting unit 15, a navigation system 16, an utterance switch 19, and a microphone 20 are connected to the electronic control device 21. The electronic control device 21 performs various calculations based on input signals from each device, and controls the operation of the monitor 17 and the speaker 18 based on the calculation results.
なお本実施形態では、カメラ１３、形状センサ１４および電子制御装置２１によって特定部が構成され、集音部１５および電子制御装置２１によって抽出部が構成され、モニター１７および電子制御装置２１によって表示部が構成される。 In the present embodiment, the camera 13, the shape sensor 14, and the electronic control device 21 form a specific unit, the sound collecting unit 15 and the electronic control device 21 form an extraction unit, and the monitor 17 and the electronic control device 21 form a display unit. Is configured.
本実施形態では、モニター１７およびスピーカー１８の作動制御の一部として、前部座席１１の乗員と後部座席１２の乗員との会話をスムーズに行うための会話補助制御が実行される。 In the present embodiment, as a part of the operation control of the monitor 17 and the speaker 18, conversation assistance control for smoothly performing a conversation between the occupant of the front seat 11 and the occupant of the rear seat 12 is executed.
この会話補助制御としては、後部座席１２の乗員に対する会話補助のために、以下の制御が実行される。
運転者によって発話スイッチ１９がオン操作されると、マイクロフォン２０によって運転者の発する音声が集音されるとともに音声信号として電子制御装置２１に取り込まれる。そして、この音声信号は電子制御装置２１からナビゲーションシステム１６に出力される。これにより、運転者の発した音声が、ナビゲーションシステム１６に接続されたスピーカー１８から車室内に向けて出力されるようになる。
As the conversation assist control, the following controls are executed to assist the conversation with the occupants of the rear seat 12.
When the utterance switch 19 is turned on by the driver, the sound emitted by the driver is collected by the microphone 20 and taken into the electronic control device 21 as a voice signal. Then, this voice signal is output from the electronic control device 21 to the navigation system 16. As a result, the voice emitted by the driver is output from the speaker 18 connected to the navigation system 16 toward the vehicle interior.
このように本実施形態では、運転者によって発話スイッチ１９がオン操作されたときに、スピーカー１８から後部座席１２の乗員に向けて運転者の発した音声が出力されるようになっている。これにより、運転席１１Ｒに着座した運転者が後方に振り向くことなく、後部座席１２の乗員に話しかけることが可能になっている。なお、発話スイッチ１９がオフ操作されているときには、マイクロフォン２０による集音や運転者の発した音声のスピーカー１８からの出力は停止される。 As described above, in the present embodiment, when the utterance switch 19 is turned on by the driver, the voice emitted by the driver is output from the speaker 18 to the occupants of the rear seat 12. As a result, the driver seated in the driver's seat 11R can talk to the occupant in the rear seat 12 without turning to the rear. When the utterance switch 19 is turned off, the sound collection by the microphone 20 and the output of the voice emitted by the driver from the speaker 18 are stopped.
また上記会話補助制御としては、前部座席１１の乗員に対する会話補助のために、以下の制御が実行される。図３にそうした会話補助制御にかかる処理の実行手順を示す。図３のフローチャートに示される一連の処理は、所定周期毎の割り込み処理として、電子制御装置２１によって実行される。 Further, as the conversation assist control, the following control is executed to assist the conversation with the occupant of the front seat 11. FIG. 3 shows an execution procedure of the process related to such conversation assist control. The series of processes shown in the flowchart of FIG. 3 is executed by the electronic control device 21 as interrupt processes at predetermined intervals.
図３に示すように、この処理では、カメラ１３によって撮影される後部座席１２の画像と形状センサ１４によって検出される後部座席１２の三次元形状とに基づいて、後部座席１２における乗員の状態についての解析が実行される（ステップＳ１１）。具体的には、カメラ１３による撮影画像について画像処理を行うことにより、撮影画像に乗員が含まれているか否かが判断される。そして、撮影画像に乗員が含まれていると判断される場合には、撮影画像の乗員に当たる部分と形状センサ１４によって検出された同部分の三次元形状とを照合することによって、乗員の口元位置が特定されるとともに口元の動きが解析される。また、この場合には、音声を発した乗員の車室内における位置Ｐ１が特定されて記憶される。 As shown in FIG. 3, in this process, the state of the occupant in the rear seat 12 is determined based on the image of the rear seat 12 taken by the camera 13 and the three-dimensional shape of the rear seat 12 detected by the shape sensor 14. Is executed (step S11). Specifically, by performing image processing on the image captured by the camera 13, it is determined whether or not the captured image includes an occupant. Then, when it is determined that the captured image includes an occupant, the position of the occupant's mouth is determined by collating the portion of the captured image corresponding to the occupant with the three-dimensional shape of the same portion detected by the shape sensor 14. Is identified and the movement of the mouth is analyzed. Further, in this case, the position P1 in the vehicle interior of the occupant who emitted the voice is specified and stored.
そして、上記解析の結果をもとに後部座席１２において乗員が音声を発していると判断されると（ステップＳ１２：ＹＥＳ）、集音部１５によって集音された音の中から同乗員が発した音声が抽出されてスピーカー１８から出力される（ステップＳ１３）。 Then, when it is determined that the occupant is emitting a voice in the rear seat 12 based on the result of the above analysis (step S12: YES), the occupant emits a sound from the sounds collected by the sound collecting unit 15. The sound is extracted and output from the speaker 18 (step S13).
この処理では、後部座席１２の乗員の発した音声の抽出が、集音部１５によって検出した音声信号のうち、上記解析において特定されている乗員の車室内位置Ｐ１以外の位置から発せられた音に対応する音声信号は利用せずに、車室内位置Ｐ１から発せられた音に対応する音声信号のみを利用するといったように行われる。そして、このようにして抽出された音声信号はナビゲーションシステム１６に出力される。これにより、同音声信号に応じた音、すなわち後部座席１２の乗員が発した音声が上記ナビゲーションシステム１６に接続されたスピーカー１８から出力されるようになる。 In this process, the extraction of the voice emitted by the occupant of the rear seat 12 is the sound emitted from a position other than the passenger interior position P1 specified in the above analysis among the voice signals detected by the sound collecting unit 15. The voice signal corresponding to the above is not used, and only the voice signal corresponding to the sound emitted from the vehicle interior position P1 is used. Then, the audio signal extracted in this way is output to the navigation system 16. As a result, the sound corresponding to the voice signal, that is, the voice emitted by the occupant of the rear seat 12, is output from the speaker 18 connected to the navigation system 16.
また、この場合には、後部座席１２で音声を発した乗員の撮影画像がモニター１７に表示される（ステップＳ１４）。この処理では、具体的には、カメラ１３による後部座席１２の撮影画像から上記解析において特定されている車室内位置Ｐ１周辺の部分が切り取られるとともに、その切り取られた画像がナビゲーションシステム１６に出力される。これにより、車室内位置Ｐ１の乗員、すなわち後部座席１２において音声を発した乗員がナビゲーションシステム１６のモニター１７に表示されるようになる。 Further, in this case, the photographed image of the occupant who emitted the sound in the rear seat 12 is displayed on the monitor 17 (step S14). In this process, specifically, the portion around the vehicle interior position P1 specified in the above analysis is cut out from the image taken by the camera 13 of the rear seat 12, and the cut out image is output to the navigation system 16. To. As a result, the occupant at the vehicle interior position P1, that is, the occupant who emits the voice in the rear seat 12, is displayed on the monitor 17 of the navigation system 16.
本実施形態では、こうした会話補助制御を通じて、図４に示すように、後部座席１２の乗員が音声を発した場合には同乗員の画像がモニター１７に表示されるとともに、同乗員が発した音声がスピーカー１８から出力される。 In the present embodiment, as shown in FIG. 4, when the occupant of the rear seat 12 emits a voice through such conversation assist control, the image of the occupant is displayed on the monitor 17 and the voice uttered by the occupant. Is output from the speaker 18.
一方、前記解析の結果をもとに後部座席１２において乗員が音声を発していないと判断される場合には（ステップＳ１２：ＮＯ）、後部座席１２の乗員のモニター１７への表示や同乗員の発した音声のスピーカー１８からの出力を行うことなく（ステップＳ１３の処理およびステップＳ１４の処理をジャンプして）、本処理は終了される。 On the other hand, if it is determined that the occupant is not emitting sound in the rear seat 12 based on the result of the analysis (step S12: NO), the display on the monitor 17 of the occupant in the rear seat 12 or the occupant is displayed. This process is terminated without outputting the emitted voice from the speaker 18 (jumping the process of step S13 and the process of step S14).
以下、本実施形態の会話支援装置による作用について説明する。
本実施形態の会話支援装置では、後部座席１２において乗員が音声を発した場合に、同乗員が発した音声が運転席１１Ｒのドアや助手席１１Ｌのドアに設けられたスピーカー１８から出力される。そのため、運転席１１Ｒに着座した運転者や助手席１１Ｌに着座した乗員が後方に振り向くことなく、後部座席１２の乗員の音声を聞くことができる。
Hereinafter, the operation of the conversation support device of the present embodiment will be described.
In the conversation support device of the present embodiment, when the occupant emits a voice in the rear seat 12, the voice uttered by the occupant is output from the speaker 18 provided on the door of the driver's seat 11R or the door of the passenger seat 11L. .. Therefore, the driver seated in the driver's seat 11R and the occupant seated in the passenger seat 11L can hear the voice of the occupant in the rear seat 12 without turning to the rear.
しかも、この場合には、集音部１５によって集音された音の中から後部座席１２の乗員の発した音声が抽出されてスピーカー１８から出力される。これにより、後部座席１２の乗員の発した音声が余計な音を除いた状態でスピーカー１８から出力されるようになるため、後部座席１２の乗員の発声内容を前部座席１１の乗員が聞き取りやすくすることができる。 Moreover, in this case, the sound emitted by the occupant of the rear seat 12 is extracted from the sound collected by the sound collecting unit 15 and output from the speaker 18. As a result, the voice uttered by the occupant in the rear seat 12 is output from the speaker 18 in a state where unnecessary sounds are removed, so that the occupant in the front seat 11 can easily hear the utterance content of the occupant in the rear seat 12. can do.
また本実施形態では、カメラ１３によって撮影される乗員の画像と形状センサ１４によって検出される乗員の三次元形状とに基づいて、後部座席１２で音声を発した乗員の車室内位置Ｐ１が特定される。そして、この車室内位置Ｐ１をもとに、この車室内位置Ｐ１に居る乗員が発した音声の抽出を精度良く行うことができる。 Further, in the present embodiment, the vehicle interior position P1 of the occupant who emits the sound in the rear seat 12 is specified based on the image of the occupant taken by the camera 13 and the three-dimensional shape of the occupant detected by the shape sensor 14. To. Then, based on the vehicle interior position P1, it is possible to accurately extract the voice emitted by the occupant at the vehicle interior position P1.
さらに本実施形態では、後部座席１２において乗員が音声を発した場合に、同乗員、すなわち車室内位置Ｐ１に居る乗員を撮影した画像がモニター１７に表示される。これにより、運転席１１Ｒに着座した運転者や助手席１１Ｌに着座した乗員が後方に振り向くことなく、後部座席１２において音声を発した乗員が誰であるかを明確に認識することができる。 Further, in the present embodiment, when the occupant emits a voice in the rear seat 12, an image of the occupant, that is, the occupant at the vehicle interior position P1, is displayed on the monitor 17. As a result, the driver seated in the driver's seat 11R and the occupant seated in the passenger seat 11L do not turn to the rear, and it is possible to clearly recognize who is the occupant who has emitted the voice in the rear seat 12.
本実施形態によれば、このようにして前部座席１１の乗員と後部座席１２の乗員とのスムーズな会話を実現することができる。
以上説明したように、本実施形態によれば、以下に記載する効果が得られる。
According to the present embodiment, it is possible to realize a smooth conversation between the occupant of the front seat 11 and the occupant of the rear seat 12 in this way.
As described above, according to the present embodiment, the effects described below can be obtained.
（１）後部座席１２で音声が発せられた場合に、同音声を、集音部１５によって集音された音の中から抽出してスピーカー１８から出力するようにした。これにより、後部座席１２の乗員の発声内容を前部座席１１の乗員が聞き取りやすくすることができるため、前部座席１１の乗員と後部座席１２の乗員とのスムーズな会話を実現することができる。 (1) When a sound is emitted from the rear seat 12, the sound is extracted from the sound collected by the sound collecting unit 15 and output from the speaker 18. As a result, the utterances of the occupants in the rear seat 12 can be easily heard by the occupants in the front seat 11, so that a smooth conversation between the occupants in the front seat 11 and the occupants in the rear seat 12 can be realized. ..
（２）後部座席１２の全乗員を撮影可能なカメラ１３を設けた。そのため、このカメラ１３で撮影した画像に基づいて、後部座席１２において音声を発した乗員の車室内位置Ｐ１を特定することができる。 (2) A camera 13 capable of photographing all the occupants of the rear seat 12 is provided. Therefore, based on the image taken by the camera 13, it is possible to identify the vehicle interior position P1 of the occupant who has emitted the sound in the rear seat 12.
（３）後部座席１２で乗員が音声を発した場合に、同乗員をカメラ１３によって撮影した画像をモニター１７に表示するようにした。これにより、後部座席１２において音声を発した乗員が誰であるかを運転者が明確に認識することができるため、前部座席１１の乗員と後部座席１２の乗員との間でのよりスムーズな会話を実現することができる。 (3) When the occupant emits a voice in the rear seat 12, the image of the occupant taken by the camera 13 is displayed on the monitor 17. As a result, the driver can clearly recognize who is the occupant who made the voice in the rear seat 12, so that the occupant of the front seat 11 and the occupant of the rear seat 12 can be more smoothly. A conversation can be realized.
（第２実施形態）
以下、車内会話支援装置の第２実施形態について、先の第１実施形態との相違点を中心に説明する。なお以下では、本実施形態の車内会話支援装置の各構成のうち、第１実施形態の車内会話支援装置と同一の構成については同一の符号もしくは対応する符号を付すとともに、それら構成についての重複する説明は省略する。
(Second Embodiment)
Hereinafter, the second embodiment of the in-vehicle conversation support device will be described focusing on the differences from the first embodiment. In the following, among the configurations of the in-vehicle conversation support device of the present embodiment, the same components as those of the in-vehicle conversation support device of the first embodiment are designated by the same reference numerals or corresponding reference numerals, and the configurations thereof are duplicated. The description is omitted.
本実施形態の車内会話支援装置と先の第１実施形態の車内会話支援装置とは、会話補助制御の実行態様のみが異なる。以下、本実施形態の会話補助制御について、図５を参照して説明する。図５は本実施形態の会話補助制御にかかる処理の実行手順を示している。同図のフローチャートに示される一連の処理は、所定周期毎の割り込み処理として、電子制御装置２１によって実行される。 The in-vehicle conversation support device of the present embodiment and the in-vehicle conversation support device of the first embodiment differ only in the execution mode of the conversation assistance control. Hereinafter, the conversation assist control of the present embodiment will be described with reference to FIG. FIG. 5 shows an execution procedure of the process related to the conversation assist control of the present embodiment. The series of processes shown in the flowchart of the figure is executed by the electronic control device 21 as interrupt processing for each predetermined cycle.
図５に示すように、この処理では、前述した解析（ステップＳ１１）の結果をもとに後部座席１２において乗員が音声を発したと判断された場合に（ステップＳ１２：ＹＥＳ）、音声を発した乗員が一人のみであると判断される場合には（ステップＳ２１：ＮＯ）、先の第１実施形態と同様の処理（ステップＳ１３およびステップＳ１４）が実行される。すなわち、集音部１５によって集音された音の中から同乗員が発した音声が抽出されてスピーカー１８から出力されるとともに（ステップＳ１３）、後部座席１２で音声を発した乗員の撮影画像がモニター１７に表示される（ステップＳ１４）。 As shown in FIG. 5, in this process, when it is determined that the occupant has emitted a voice in the rear seat 12 based on the result of the above-mentioned analysis (step S11) (step S12: YES), the voice is emitted. When it is determined that there is only one occupant (step S21: NO), the same processing as in the first embodiment (step S13 and step S14) is executed. That is, the sound emitted by the occupant is extracted from the sound collected by the sound collecting unit 15 and output from the speaker 18 (step S13), and the photographed image of the occupant who emitted the sound in the rear seat 12 is displayed. It is displayed on the monitor 17 (step S14).
一方、上記解析の結果をもとに後部座席１２において乗員が音声を発したと判断された場合において（ステップＳ１２：ＹＥＳ）、複数の乗員が同時に音声を発したと判断される場合には（ステップＳ２１：ＮＯ）、以下の処理（ステップＳ２２〜ステップＳ２５）が実行される。 On the other hand, when it is determined that the occupant has uttered a voice in the rear seat 12 based on the result of the above analysis (step S12: YES), when it is determined that a plurality of occupants have uttered a voice at the same time (step S12: YES). Step S21: NO), the following processes (steps S22 to S25) are executed.
先ず、図６（ａ）に一例を示すように、前記解析において特定されている複数の乗員、すなわち後部座席１２において音声を発した複数の乗員がモニター１７に表示される（図５のステップＳ２２）。この処理では、具体的には、前記解析において特定されている複数の車室内位置の周辺画像が各別に切り取られるとともに、切り取られた各画像がナビゲーションシステム１６に出力される。なお図６（ａ）は、二人の乗員Ａ，Ｂが後部座席１２において音声を発した場合におけるモニター１７の表示態様を示している。 First, as shown in FIG. 6A as an example, a plurality of occupants specified in the analysis, that is, a plurality of occupants who have emitted a voice in the rear seat 12 are displayed on the monitor 17 (step S22 in FIG. 5). ). Specifically, in this process, peripheral images of a plurality of vehicle interior positions specified in the analysis are separately cut out, and each of the cut out images is output to the navigation system 16. Note that FIG. 6A shows a display mode of the monitor 17 when two occupants A and B emit sound in the rear seat 12.
本実施形態では、タッチパネル式のモニター１７が採用されている。本実施形態では、モニター１７の画面が操作部に相当する。そして、このときには、モニター１７に表示された乗員の画像をタッチすることによって複数の乗員のいずれか一人を選択することが可能な態様で、複数の乗員の画像がモニター１７に表示されている。 In this embodiment, a touch panel type monitor 17 is adopted. In this embodiment, the screen of the monitor 17 corresponds to the operation unit. At this time, the images of the plurality of occupants are displayed on the monitor 17 in such a manner that one of the plurality of occupants can be selected by touching the images of the occupants displayed on the monitor 17.
その後、モニター１７の画面操作を通じて同モニター１７に表示された乗員のうちのいずれか一人が選択されたか否かが判断される（ステップＳ２３）。複数の乗員のいずれも選択されていない場合には（ステップＳ２３：ＮＯ）、以下の処理（ステップＳ２４およびステップＳ２５）を実行することなく、本処理は終了される。 After that, it is determined whether or not any one of the occupants displayed on the monitor 17 is selected through the screen operation of the monitor 17 (step S23). If none of the plurality of occupants is selected (step S23: NO), this process is terminated without executing the following processes (step S24 and step S25).
そして、モニター１７の画面操作を通じて複数の乗員のいずれか一人が選択されると（ステップＳ２３：ＹＥＳ）、このとき選択された乗員の画像のみがナビゲーションシステム１６に出力される。これにより、図６（ｂ）に一例を示すように、モニター１７の画面操作を通じて選択された乗員Ａのみがナビゲーションシステム１６のモニター１７に表示されるようになる。 Then, when any one of the plurality of occupants is selected through the screen operation of the monitor 17 (step S23: YES), only the image of the selected occupant is output to the navigation system 16. As a result, as shown in FIG. 6B as an example, only the occupant A selected through the screen operation of the monitor 17 is displayed on the monitor 17 of the navigation system 16.
また、モニター１７の画面操作を通じて選択された乗員Ａの発した音声が、集音部１５によって集音された音の中から抽出されてスピーカー１８から出力される（ステップＳ２４）。この処理では、乗員Ａの発した音声の抽出が、集音部１５によって検出した音声信号のうち、前記解析において特定されている乗員Ａの車室内位置ＰＡ以外の位置から発せられた音に対応する音声信号は利用せずに、車室内位置ＰＡから発せられた音に対応する音声信号のみを利用するといったように行われる。そして、このようにして抽出された音声信号はナビゲーションシステム１６に出力される。これにより、図６（ｂ）に一例を示すように、同音声信号に応じた音、すなわち乗員Ａが発した音声が上記ナビゲーションシステム１６に接続されたスピーカー１８から出力されるようになる。 Further, the sound emitted by the occupant A selected through the screen operation of the monitor 17 is extracted from the sound collected by the sound collecting unit 15 and output from the speaker 18 (step S24). In this process, the extraction of the voice emitted by the occupant A corresponds to the sound emitted from a position other than the vehicle interior position PA of the occupant A specified in the analysis among the voice signals detected by the sound collecting unit 15. It is performed such that only the voice signal corresponding to the sound emitted from the vehicle interior position PA is used without using the voice signal. Then, the audio signal extracted in this way is output to the navigation system 16. As a result, as shown in FIG. 6B as an example, the sound corresponding to the voice signal, that is, the voice emitted by the occupant A is output from the speaker 18 connected to the navigation system 16.
以下、本実施形態の会話支援装置による作用について説明する。
本実施形態の会話支援装置では、前記解析において後部座席１２で音声を発した乗員が複数特定されたときに、それら乗員の撮影画像が各別にモニター１７に表示される。このときには、タッチパネル式のモニター１７の画面操作を通じて複数の乗員のうちのいずれか一人を選択可能な態様で、それら乗員の撮影画像がモニター１７に表示される。これにより、前部座席１１の乗員がモニター１７の表示を確認しながら同モニター１７の画面を操作することによって、後部座席１２において音声を発した複数の乗員の中から会話したい人を択一的に選択することができるようになっている。
Hereinafter, the operation of the conversation support device of the present embodiment will be described.
In the conversation support device of the present embodiment, when a plurality of occupants who have emitted voice in the rear seat 12 are identified in the analysis, the captured images of the occupants are separately displayed on the monitor 17. At this time, the captured images of the occupants are displayed on the monitor 17 in such a manner that any one of the plurality of occupants can be selected through the screen operation of the touch panel type monitor 17. As a result, the occupant of the front seat 11 operates the screen of the monitor 17 while checking the display of the monitor 17, and the person who wants to talk is selected from among the plurality of occupants who uttered the voice in the rear seat 12. You can select to.
そして、前部座席１１の乗員によるモニター１７の画面操作を通じて会話したい乗員Ａが選択されると、選択された乗員Ａについての画像のみがモニター１７に表示されるようになる。これにより、運転席１１Ｒに着座した運転者や助手席１１Ｌに着座した乗員が後方に振り向くことなく、このときの会話対象が誰であるかを明確に認識することができる。しかも、この場合には、会話対象として選択された乗員Ａの発した音声が、集音部１５によって集音された音の中から抽出されてスピーカー１８に出力される。これにより、上記乗員Ａの発した音声が余計な音を除いた状態でスピーカー１８から出力されるようになるため、同乗員Ａの音声を余計な音の少ない状態で聞くことができるようになる。 Then, when the occupant A who wants to talk is selected through the screen operation of the monitor 17 by the occupant of the front seat 11, only the image about the selected occupant A is displayed on the monitor 17. As a result, the driver seated in the driver's seat 11R and the occupant seated in the passenger seat 11L can clearly recognize who the conversation target is at this time without turning back. Moreover, in this case, the voice emitted by the occupant A selected as the conversation target is extracted from the sounds collected by the sound collecting unit 15 and output to the speaker 18. As a result, the voice emitted by the occupant A is output from the speaker 18 in a state where the unnecessary sound is removed, so that the voice of the occupant A can be heard with less unnecessary sound. ..
以上説明したように、本実施形態によれば、先の（１）〜（３）に記載の効果に加えて、以下の（４）に記載する効果が得られる。
（４）後部座席１２において複数の乗員が同時期に発声した場合に、前部座席１１の乗員がモニター１７の表示を確認しながら同モニター１７の画面を操作することによって、会話したい人を択一的に選択することができる。そして、その選択した乗員Ａの音声をクリアな状態で聞くことができる。
As described above, according to the present embodiment, in addition to the effects described in (1) to (3) above, the effects described in (4) below can be obtained.
(4) When a plurality of occupants in the rear seat 12 utter at the same time, the occupant in the front seat 11 selects a person who wants to talk by operating the screen of the monitor 17 while checking the display on the monitor 17. It can be selected uniformly. Then, the voice of the selected occupant A can be heard in a clear state.
（他の実施形態）
なお、上記各実施形態は、以下のように変更して実施することができる。上記各実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
(Other embodiments)
Each of the above embodiments can be modified and implemented as follows. Each of the above embodiments and the following modified examples can be implemented in combination with each other within a technically consistent range.
・会話補助制御において、後部座席１２の乗員が発した音声を抽出する処理（図３のステップＳ１３、または図５のステップＳ２５）を、乗員の車室内位置に対応して集音部１５によって集音された音声信号とそれ以外の車室内位置に対応して集音部１５によって集音された音声信号とを利用したフィルタリング処理を通じて行うようにしてもよい。このフィルタリング処理は、具体的には、前記解析において特定されている車室内位置から発せられた音として集音部１５によって検出された音声信号の音成分から、それ以外の車室内位置から発せられた音として集音部１５によって検出された音声信号の音成分を除去する処理である。同構成によれば、後部座席１２において特定の乗員が発した音声を、それ以外の位置において発せられた音を除去した状態で、前部座席１１において鮮明に聞くことができる。 -In the conversation assist control, the process of extracting the voice emitted by the occupant of the rear seat 12 (step S13 in FIG. 3 or step S25 in FIG. 5) is collected by the sound collecting unit 15 corresponding to the position in the passenger compartment of the occupant. It may be performed through a filtering process using the sounded voice signal and the voice signal collected by the sound collecting unit 15 corresponding to the position in the vehicle interior other than that. Specifically, this filtering process is emitted from the sound components of the audio signal detected by the sound collecting unit 15 as the sound emitted from the vehicle interior position specified in the analysis, and from other vehicle interior positions. This is a process of removing the sound component of the sound signal detected by the sound collecting unit 15 as the sound. According to the same configuration, the sound emitted by a specific occupant in the rear seat 12 can be clearly heard in the front seat 11 with the sound emitted in other positions removed.
・図７に示すように、音声を発した乗員のカメラ１３による撮影画像と集音部１５によって検出された同乗員に対応する音声信号とを、インターネット網やキャリア網、無線ＬＡＮなどを介して、スマートフォン等の外部通信機器に無線送信する通信部２２を車両１０に設けるようにしてもよい。同構成によれば、外部通信機器を利用して、前部座席１１の乗員と後部座席１２の乗員と車両外部の人との間でのスムーズな会話を実現することができる。 -As shown in FIG. 7, the image taken by the camera 13 of the occupant who emitted the sound and the voice signal corresponding to the occupant detected by the sound collecting unit 15 are transmitted via the Internet network, the carrier network, the wireless LAN, or the like. , The vehicle 10 may be provided with a communication unit 22 that wirelessly transmits to an external communication device such as a smartphone. According to this configuration, it is possible to realize a smooth conversation between the occupant of the front seat 11 and the occupant of the rear seat 12 and the person outside the vehicle by using the external communication device.
・後部座席１２で音声が発せられた場合に、音声を発した乗員の撮影画像をモニター１７に表示することに代えて、同乗員の車室内位置を示す画像をモニター１７に表示するようにしてもよい。例えば、モニター１７の表示画像の背景としてカメラ１３によって撮影した後部座席１２全体の画像を採用するとともに、同画像上における上記乗員の車室内位置に丸印などのマークを付与するようにしてもよい。その他、モニター１７の表示画像の背景として後部座席１２の平面図を採用するとともに、同図上における上記乗員の車室内位置に丸印などのマークを付与すること等も可能である。 -When a voice is emitted from the rear seat 12, instead of displaying the photographed image of the occupant who uttered the voice on the monitor 17, an image showing the position of the passenger inside the vehicle is displayed on the monitor 17. May be good. For example, an image of the entire rear seat 12 taken by the camera 13 may be adopted as the background of the display image of the monitor 17, and a mark such as a circle may be added to the vehicle interior position of the occupant on the image. .. In addition, a plan view of the rear seat 12 can be adopted as the background of the display image of the monitor 17, and a mark such as a circle can be added to the vehicle interior position of the occupant on the drawing.
・第２実施形態の会話補助制御（図５）において、後部座席１２で複数の乗員が同時に音声を発したと判断される場合に（ステップＳ２１：ＮＯ）、各乗員の発した音声を各別に抽出してスピーカー１８から出力するとともに、カメラ１３によって各乗員を撮影した画像をモニター１７に表示するようにしてもよい。 -In the conversation assist control (FIG. 5) of the second embodiment, when it is determined that a plurality of occupants simultaneously emit voices in the rear seat 12 (step S21: NO), the voices emitted by each occupant are separately output. It may be extracted and output from the speaker 18, and an image of each occupant photographed by the camera 13 may be displayed on the monitor 17.
・音声を発した乗員の画像を表示するモニターや同乗員が発した音声を出力するスピーカーとしては、ナビゲーションシステム１６のモニター１７と同ナビゲーションシステム１６に接続されたスピーカー１８とを用いることに限らず、専用の前部座席用モニターや専用の前部座席用スピーカーを用いるようにしてもよい。 -As the monitor that displays the image of the occupant who emitted the sound and the speaker that outputs the sound emitted by the occupant, the monitor 17 of the navigation system 16 and the speaker 18 connected to the navigation system 16 are not limited to be used. , A dedicated front seat monitor or a dedicated front seat speaker may be used.
・集音部１５を、一つの正規着座位置を主な集音範囲とする態様で後部座席１２の正規着座位置毎にマイクロフォンを設けることによって構成してもよい。
・形状センサ１４を省略することができる。同構成においても、後部座席１２の全体をカメラによって撮影した画像に基づく画像処理を通じて、後部座席１２において音声を発した乗員の有無を判断するとともに、音声を発した乗員が居る場合における同乗員の車室内位置を特定することができる。その他、集音部１５によって集音される音の後部座席１２における強さの分布に基づいて、後部座席１２において音声を発した乗員の有無を判断したり、後部座席１２において音声を発した乗員の車室内位置を特定したりすることもできる。
-The sound collecting unit 15 may be configured by providing a microphone for each regular seating position of the rear seat 12 in a manner in which one regular seating position is the main sound collecting range.
-The shape sensor 14 can be omitted. Even in the same configuration, the presence or absence of a occupant who has made a voice in the rear seat 12 is determined through image processing based on an image of the entire rear seat 12 taken by a camera, and the occupant who has made a voice is present. The position inside the vehicle can be specified. In addition, based on the distribution of the intensity of the sound collected by the sound collecting unit 15 in the rear seat 12, it is determined whether or not there is an occupant who has emitted a sound in the rear seat 12, and an occupant who has emitted a sound in the rear seat 12. It is also possible to specify the position of the passenger compartment.
・後部座席１２において乗員が音声を発した場合に、同乗員の撮影画像あるいは車室内位置をモニター１７に表示する構成を省略することができる。
・各実施形態において、発話スイッチ１９およびマイクロフォン２０を省略することができる。
-It is possible to omit the configuration of displaying the photographed image of the occupant or the vehicle interior position on the monitor 17 when the occupant emits a voice in the rear seat 12.
-In each embodiment, the utterance switch 19 and the microphone 20 can be omitted.
１０…車両、１１…前部座席、１１Ｒ…運転席、１１Ｌ…助手席、１２…後部座席、１２Ｆ…二列目シート、１２Ｂ…三列目シート、１３…カメラ、１４…形状センサ、１５…集音部、１６…ナビゲーションシステム、１７…モニター、１８…スピーカー、１９…発話スイッチ、２０…マイクロフォン、２１…電子制御装置、２２…通信部。 10 ... Vehicle, 11 ... Front seat, 11R ... Driver's seat, 11L ... Passenger seat, 12 ... Rear seat, 12F ... Second row seat, 12B ... Third row seat, 13 ... Camera, 14 ... Shape sensor, 15 ... Sound collecting unit, 16 ... navigation system, 17 ... monitor, 18 ... speaker, 19 ... speech switch, 20 ... microphone, 21 ... electronic control device, 22 ... communication unit.
Claims (6)
前記後部座席で音声が発せられた場合に同音声を発した乗員の車室内位置を特定する特定部と、
前記特定部によって特定された前記乗員の車室内位置に基づいて、同車室内位置から発せられた音を、前記集音部によって集音された音の中から抽出する抽出部と、
前記抽出部によって抽出した音を、前記車両の前部座席に着座した乗員に出力する前部座席用のスピーカーと、
を有する車内会話支援装置。 A sound collecting unit that collects the sound emitted from the rear seats of the vehicle in a state associated with the position inside the vehicle where the same sound is emitted.
When a voice is emitted from the rear seats, a specific unit that identifies the position of the occupant in the vehicle interior that emits the voice, and a specific unit.
Based on the vehicle interior position of the occupant specified by the specific unit, an extraction unit that extracts the sound emitted from the vehicle interior position from the sound collected by the sound collecting unit, and an extraction unit.
A speaker for the front seat that outputs the sound extracted by the extraction unit to the occupant seated in the front seat of the vehicle, and a speaker for the front seat.
In-car conversation support device with.
前記特定部は、前記カメラで撮影した画像に基づいて前記音声を発した乗員の車室内位置を特定するものである
請求項１に記載の車内会話支援装置。 The in-vehicle conversation support device displays on the front seat monitor a camera capable of photographing all the occupants of the rear seat and an image of the occupant at the vehicle interior position specified by the specific unit taken by the camera. With a part,
The in-vehicle conversation support device according to claim 1, wherein the specific unit identifies the position in the vehicle interior of the occupant who has emitted the voice based on the image taken by the camera.
前記特定部によって前記乗員の車室内位置が複数特定された場合には、同車室内位置が特定された複数の乗員についての前記カメラによって撮影された画像を、前部座席用の操作部の操作を通じて前記複数の乗員のうちのいずれか一人を選択可能な態様で、前記前部座席用モニターに表示するものであり、且つ、
前記操作部の操作を通じて前記複数の乗員のうちのいずれか一人が選択された場合には、該選択された乗員についての前記画像のみを前記前部座席用モニターに表示するものであり、
前記抽出部は、前記操作部の操作を通じて前記複数の乗員のうちのいずれか一人が選択された場合には、該選択された乗員の車室内位置から発せられた音を、前記集音部によって集音された音の中から抽出するものである
請求項２に記載の車内会話支援装置。 The display unit
When a plurality of vehicle interior positions of the occupant are specified by the specific unit, an image taken by the camera of the plurality of occupants whose vehicle interior positions are specified is displayed as an operation of the operation unit for the front seat. It is displayed on the front seat monitor in a manner in which any one of the plurality of occupants can be selected through.
When any one of the plurality of occupants is selected through the operation of the operation unit, only the image of the selected occupant is displayed on the front seat monitor.
When any one of the plurality of occupants is selected through the operation of the operation unit, the extraction unit collects the sound emitted from the vehicle interior position of the selected occupant by the sound collecting unit. The in-vehicle conversation support device according to claim 2, which is extracted from the collected sounds.
請求項２または３に記載の車内会話支援装置。 The in-vehicle conversation support device provides a communication unit that wirelessly transmits an image taken by the camera of an occupant whose interior position is specified by the specific unit and a sound extracted by the extraction unit to an external communication device. The in-vehicle conversation support device according to claim 2 or 3.
前記特定部は、前記カメラによって撮影した乗員の画像と前記検出部によって検出した乗員の三次元形状との関係に基づいて、前記音声を発した乗員の車室内位置を特定するものである
請求項２〜４のいずれか一項に記載の車内会話支援装置。 The in-vehicle conversation support device has a detection unit that detects the three-dimensional shape of all the occupants of the rear seat.
The specific unit identifies the position of the occupant in the vehicle interior, which emits the sound, based on the relationship between the image of the occupant taken by the camera and the three-dimensional shape of the occupant detected by the detection unit. The in-vehicle conversation support device according to any one of 2 to 4.
請求項１〜５のいずれか一項に記載の車内会話支援装置。 The extraction unit extracts the sound emitted from the specified vehicle interior position from the sound components of the audio signal collected by the sound collecting unit as the sound emitted from the specified vehicle interior position. The in-vehicle conversation according to any one of claims 1 to 5, which is performed through a filtering process for removing the sound component of the sound signal collected by the sound collecting unit as the sound emitted from a position other than the vehicle interior. Support device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019123373A JP7163876B2 (en) | 2019-07-02 | 2019-07-02 | In-vehicle conversation support device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019123373A JP7163876B2 (en) | 2019-07-02 | 2019-07-02 | In-vehicle conversation support device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021009234A true JP2021009234A (en) | 2021-01-28 |
| JP7163876B2 JP7163876B2 (en) | 2022-11-01 |
Family
ID=74199363
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019123373A Active JP7163876B2 (en) | 2019-07-02 | 2019-07-02 | In-vehicle conversation support device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7163876B2 (en) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003195883A (en) * | 2001-12-26 | 2003-07-09 | Toshiba Corp | Noise eliminator and communication terminal equipped with the eliminator |
| JP2005161873A (en) * | 2003-11-28 | 2005-06-23 | Denso Corp | In-cabin sound field control system |
| US20160029111A1 (en) * | 2014-07-24 | 2016-01-28 | Magna Electronics Inc. | Vehicle in cabin sound processing system |
| JP2017193207A (en) * | 2016-04-18 | 2017-10-26 | アイシン精機株式会社 | In-cabin conversation support device |
| JP2018076035A (en) * | 2016-11-11 | 2018-05-17 | トヨタ自動車株式会社 | Conversation support device for vehicle |
| JPWO2017064840A1 (en) * | 2015-10-16 | 2018-05-24 | パナソニックＩｐマネジメント株式会社 | Sound source separation device and sound source separation method |
| JPWO2017208820A1 (en) * | 2016-05-30 | 2019-03-28 | ソニー株式会社 | Audio-visual processing apparatus and method, and program |
| JP2019057869A (en) * | 2017-09-22 | 2019-04-11 | トヨタ自動車株式会社 | Communication device in vehicle |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017064840A (en) | 2015-09-29 | 2017-04-06 | 三菱マテリアル株式会社 | Diamond-coated cutting tool made of cemented carbide |
| JP2017208820A (en) | 2017-06-06 | 2017-11-24 | 京セラ株式会社 | Order system |
-
2019
- 2019-07-02 JP JP2019123373A patent/JP7163876B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003195883A (en) * | 2001-12-26 | 2003-07-09 | Toshiba Corp | Noise eliminator and communication terminal equipped with the eliminator |
| JP2005161873A (en) * | 2003-11-28 | 2005-06-23 | Denso Corp | In-cabin sound field control system |
| US20160029111A1 (en) * | 2014-07-24 | 2016-01-28 | Magna Electronics Inc. | Vehicle in cabin sound processing system |
| JPWO2017064840A1 (en) * | 2015-10-16 | 2018-05-24 | パナソニックＩｐマネジメント株式会社 | Sound source separation device and sound source separation method |
| JP2017193207A (en) * | 2016-04-18 | 2017-10-26 | アイシン精機株式会社 | In-cabin conversation support device |
| JPWO2017208820A1 (en) * | 2016-05-30 | 2019-03-28 | ソニー株式会社 | Audio-visual processing apparatus and method, and program |
| JP2018076035A (en) * | 2016-11-11 | 2018-05-17 | トヨタ自動車株式会社 | Conversation support device for vehicle |
| JP2019057869A (en) * | 2017-09-22 | 2019-04-11 | トヨタ自動車株式会社 | Communication device in vehicle |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7163876B2 (en) | 2022-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6284331B2 (en) | Conversation support device, conversation support method, and conversation support program | |
| WO2017183372A1 (en) | Vehicle interior conversion assist device | |
| CN110166896B (en) | Voice providing method, voice providing system and server | |
| JP2003308079A (en) | Voice input device | |
| JP4145835B2 (en) | In-vehicle electronic control unit | |
| US9268522B2 (en) | Devices and methods for conveying audio information in vehicles | |
| JP2017083600A (en) | On-vehicle sound pickup device and sound pickup method | |
| KR20150059955A (en) | Sound recognition apparatus, vehicle having the same and method thereof | |
| JP2014170154A (en) | In-vehicle conversation support device | |
| JP4232617B2 (en) | Vehicle interior sound field control system | |
| JP2017090614A (en) | Voice recognition control system | |
| JP2010023639A (en) | In-cabin conversation assisting device | |
| JP2005316704A (en) | Surrounding state notification device and method for notifying surrounding state | |
| JP4478146B2 (en) | Speech recognition system, speech recognition method and program thereof | |
| JP7163876B2 (en) | In-vehicle conversation support device | |
| JP6775897B2 (en) | In-car conversation support device | |
| JP2012121387A (en) | Vehicle interior monitoring device | |
| JP4632974B2 (en) | Car audio system | |
| JP6332072B2 (en) | Dialogue device | |
| JP2010221893A (en) | Onboard information equipment | |
| JP2018076035A (en) | Conversation support device for vehicle | |
| US20210061102A1 (en) | Operation restriction control device and operation restriction control method | |
| JP6567985B2 (en) | In-vehicle device | |
| CN115881125B (en) | Vehicle-mounted multitone region voice interaction method and device, electronic equipment and storage medium | |
| US11930335B2 (en) | Control device, control method, and control program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211005 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220628 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220630 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220824 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220920 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221003 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7163876 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |