JP2015071320A - 会話支援装置、会話支援方法及び会話支援プログラム - Google Patents

会話支援装置、会話支援方法及び会話支援プログラム Download PDF

Info

Publication number
JP2015071320A
JP2015071320A JP2013206680A JP2013206680A JP2015071320A JP 2015071320 A JP2015071320 A JP 2015071320A JP 2013206680 A JP2013206680 A JP 2013206680A JP 2013206680 A JP2013206680 A JP 2013206680A JP 2015071320 A JP2015071320 A JP 2015071320A
Authority
JP
Japan
Prior art keywords
conversation
voice
audio
seat
passenger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013206680A
Other languages
English (en)
Other versions
JP6284331B2 (ja
Inventor
宏一 山下
Koichi Yamashita
宏一 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2013206680A priority Critical patent/JP6284331B2/ja
Publication of JP2015071320A publication Critical patent/JP2015071320A/ja
Application granted granted Critical
Publication of JP6284331B2 publication Critical patent/JP6284331B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】 運転者による音声を後部座席方向に出力することができる「会話支援装置、会話支援方法及び会話支援プログラム」を提供する。【解決手段】 本実施例に係る会話支援プログラム140は、運転者の視線などをモニタリングする画像データを取得する画像データ取得部142と、運転者の音声データを取得する音声データ取得部144と、音声データのノイズをカット等の処理を行う音声処理部146と、音声データを後部座席に出力する音声データ出力部148と、画像データ取得手段142により取得した画像データに基づき運転者が後部座席の搭乗者に話しかける会話動作があるか否かを判定する会話動作判定部150と、会話動作があると判定されたとき、運転者の音声データが後部座席へ出力され、会話動作がないと判定されたとき、運転者の音声データが後部座席へ出力されないように音声データ出力部148を制御する出力制御部152を備えている。【選択図】 図4

Description

本発明は、車内環境において、搭乗者の会話を支援する機能を備えた会話支援装置に関し、特に、前部座席の搭乗者の音声を後部座席に出力する会話支援機能を備えた車載装置に関する。
車内環境において、搭乗者同士が会話しているとき、ロードノイズや乗車位置の関係より、相手の声が聞き取り難いことがある。そこで、車載装置は、各座席など複数の位置に配置された車内マイクやスピーカを用いて、お互いの会話が聞き取れるよう支援する会話支援機能を備える。この会話支援機能は、例えば、前部搭乗者の音声を車内マイクにより取得し、その音声のボリュームなどを調整して後部座席に出力するものである。これにより、ユーザーは、ロードノイズにより掻き消されてしまう音声や、後部座席の搭乗者にとって聞き取り難い、前部座席の搭乗者の音声を聞き取ることができ、搭乗者は車内環境においても支障なく会話を楽しむことができる。
特許文献1は、車内での会話が適切に行われるようにするため、会話相手を選択することで、搭乗者の音声を相手側のスピーカに出力することができる車室内音場制御システムに関する技術を開示している。特許文献2は、スピーカから出力する各席乗員の音声を、マイク音量と座席位置によって、直接音量とスピーカ音量との和が全乗員同一となるように制御することができる各席乗員情報呈示システムに関する技術を開示している。特許文献3は、車室内に配置された複数の座席に着座した乗員間で支障なく会話することができる車両用会話支援装置に関する技術を開示している。
特開2005−161873号公報 特開平11−355748号公報 特開平11−342799号公報
上記したように、車両に搭載された車載装置には、搭乗者間の会話を支援するため、会話支援機能を備えているが、従来の会話支援機能では、運転者と助手席の搭乗者との間の会話であっても、その音声が後部座席に出力されてしまうため、後部座席の搭乗者にとっては煩わしく感じてしまうことがあった。特に、後部座席の搭乗者同士が会話している場合には、前部座席の搭乗者同士の会話がスピーカから出力されるとノイズになってしまい、不快に感じてしまう。一方、会話する相手を選択可能な会話機能もあるが、これは、ユーザー操作による指示を必要とするため、走行中の場合、運転者にとっては注意力が散乱し、運転作業の妨げになってしまう。
本発明は、このような従来の課題を解決し、前部座席の搭乗者による音声を適切に後部座席の搭乗者へ出力することができる会話支援装置、会話支援方法及び会話支援プログラムを提供することを目的とする。
本発明に係る会話支援装置は、前部座席の搭乗者の視線、または顔の向きを検知する検知手段と、音声を入力する音声入力部と、前記音声入力部で入力された音声を出力する音声出力部とを備えた音声モジュールと、前記検知手段の検知結果に基づき前部座席の搭乗者から後部座席の搭乗者への会話動作があるか否かを判定する判定手段と、各座席に配置された複数の音声モジュール間の音声データの転送を制御する制御手段とを有し、前記判定手段により会話動作があると判定されたとき、前記制御手段は、前部座席の音声モジュールからの音声データを後部座席の音声モジュールへ転送し、会話動作がないと判定されたとき、前部座席の音声モジュールからの音声データを後部座席の音声モジュールへ転送しないことで、搭乗者間の会話を支援することができる。
好ましくは、前記会話支援装置はさらに、搭乗者が存在する座席を判別する判別手段を有し、前記制御手段は、前記判別手段によって判別された座席の音声モジュールへ音声データを転送する。
好ましくは、前記検知手段は、運転者の顔を撮像する撮像カメラを含み、前記判定手段は、前記撮像カメラからの画像データに基づき会話動作の有無を判定する。前記判定手段は、運転者の視線がルームミラーに向けられたとき、会話動作があると判定する。
本発明に係る会話支援方法は、前部座席の搭乗者の視線、または顔の向きを検知する検知ステップと、音声モジュールにより音声を入力する音声入力ステップと、前記音声モジュールにより前記音声入力ステップで入力された音声を出力する音声出力ステップと、前記検知するステップの検知結果に基づき前部座席の搭乗者から後部座席の搭乗者への会話動作があるか否かを判定する判定ステップと、各座席に配置された複数の音声モジュール間の音声データの転送を制御する制御ステップとを有し、前記判定ステップより会話動作があると判定されたとき、前記制御ステップは、前部座席の音声モジュールからの音声データを後部座席の音声モジュールへ転送し、会話動作がないと判定されたとき、前部座席の音声モジュールからの音声データを後部座席の音声モジュールへ転送しないことで、搭乗者間の会話を支援することができる。
本発明に係る会話支援プログラムは、車載装置において実行され、前部座席の搭乗者の視線、または顔の向きを検知する検知ステップと、音声モジュールにより音声を入力する音声入力ステップと、前記音声モジュールにより前記音声入力ステップで入力された音声を出力する音声出力ステップと、前記検知するステップの検知結果に基づき前部座席の搭乗者から後部座席の搭乗者への会話動作があるか否かを判定する判定ステップと、各座席に配置された複数の音声モジュール間の音声データの転送を制御する制御ステップとを有し、前記判定ステップより会話動作があると判定されたとき、前記制御ステップは、前部座席の音声モジュールからの音声データを後部座席の音声モジュールへ転送し、会話動作がないと判定されたとき、前部座席の音声モジュールからの音声データを後部座席の音声モジュールへ転送しないことで、搭乗者間の会話を支援することができる。
本発明によれば、前部座席の搭乗者による視線や顔の向きを検知することで、前部座席と後部座席の搭乗者間による会話動作の有無を判定することができる。そして、会話動作があると判定されたとき、前部座席の搭乗者による音声が後部座席で出力されるように音声データの転送を制御することで、前部座席と後部座席との搭乗者間で会話する場面でのみ会話支援が実行され、それ以外の場面では、会話支援機能による弊害を回避することができる。
本発明の実施例に係る車載装置における各デバイスの配置構成を示す図である。 車載装置の本体部と各デバイスとの接続関係を示す図である。 本発明の実施例に係る車載装置の一構成例を示すブロック図である。 本発明の実施例に係る会話支援プログラムの機能的な構成を示すブロック図である。 本実施例に係る車載装置の会話支援動作を説明するフローチャートである。
次に、本発明の実施の形態について図面を参照して詳細に説明する。本発明に係る会話支援装置は、好ましい実施態様では、車載装置において実現される。車載装置は、車内環境において、搭乗者間の会話を支援する会話支援機能を利用し、前部座席の搭乗者の視線、または顔の向きを検知することで、前部座席の搭乗者から後部座席の搭乗者への会話動作を自動的に判定することができ、前部座席の搭乗者同士の会話の場合には、音声を後部座席に出力しないように制御することができる。
車載装置は、概して車両に搭載された電子装置であり、会話支援機能以外に、種々の機能を搭載することができる。例えば、車載装置は、オーディオデータやビデオデータを再生する機能、目的地までの経路を案内するナビゲーション機能、ドライバーの居眠りを防止する機能、テレビ/ラジオ放送を受信する機能、インターネットなどのネットワークに接続する通信機能などを搭載することができる。さらに車載装置は、種々のデバイス、例えば、車載用カメラ、ハンズフリー用の車内マイクや車載用スピーカなどを本体部に接続可能であり、好ましい態様では、本体部と外部デバイスとは、Bluetooth等の無線通信によって接続される。ハンズフリー機能は、車載装置への音声入出力を可能にし、その際、音声入出力は、車内マイクや車載用スピーカを介して行われる。
車載装置の好ましい実施態様では、車載用カメラは、ルームミラーや各搭乗者と対向するような位置に配置され、ルームミラーへの視線や後部座席の搭乗者と話す際の顔の向きなどを検知することができる。また、音声モジュールは、車両の各座席に対応するように配置され、車内マイクは、当該座席に座る搭乗者の音声をハンズフリー機能により取得する。また、車載用スピーカは、会話相手となる搭乗者に聞こえるように、例えば、後部座席に音声データを出力することができる。車載用カメラ、車内マイクや車載用スピーカなどのデバイスは、無線に限らず、有線により本体部に接続されてもよい。
また、車載装置は、音声処理機能を有し、車内マイクを介して取得した音声データからロードノイズを除去することともに、音声認識処理を行い、搭乗者の発話にかかる音声データのみを抽出することができる。
次に、本発明の実施例に係る車載装置による会話支援機能の概要について説明する。例えば、運転者と後部座席にいる搭乗者とが会話する際、乗車位置の関係より、後部座席にいる搭乗者にとって、運転者が話す言葉が聞き取り難いという問題がある。このような場面で、車載装置の会話支援機能は、運転者が発する音声を車内マイクにより取得し、その音声を後部座席にあるスピーカから出力させることができる。
但し、運転者と助手席の搭乗者との会話が後部座席方向に出力されてしまうと、後部座席にいる者にとっては、却って煩わしく感じることもある。そこで、本発明に係る車載装置では、運転者が、後部座席にいる搭乗者に話しかけるようなしぐさ(会話動作)を検知したとき、会話の支援が実行される。
車載装置は、好ましい態様では、例えば、運転者がルームミラー越しに後部座席の搭乗者を見る視線を検知したり、運転者が後部座席の搭乗者に話しかけるように顔をやや後ろ側に傾けるような顔の向きを検知し、これにより、運転者と後部座席との搭乗者間による会話が成されていると判定し、運転者による音声を、後部座席方向に出力する。
図1は、本実施例の車載装置における各デバイスの配置構成を示す図である。本実施例に係る車載装置10は、同図に示すように、車両20の内部に搭載された電子装置であって、中央前方にある本体部40と、その本体部40に接続され、運転者の視線や顔の向きを検出する車載カメラ60と、各座席A〜Dに対応するように配置された複数の音声モジュール80a〜80dとを含んで構成される。好ましい態様では、各座席には重量センサが取付けられ、重量センサの出力が本体部40へ提供される。そして、本体部40において、搭乗者が存在している座席が認識される。
図2は、本体部40と各デバイスとの接続関係を示す図である。本体部40は、その前面にタッチパネル42を備え、例えば、メニューや周辺地図などの各種画面を表示するとともに、タッチ操作によるユーザー入力を受け各種設定を行うことができる。本体部40には、ルームミラー62などに取り付けられた車載カメラ60と、各座席A〜Dに対応するように配置された音声モジュール80a〜80dとが接続されている。音声モジュール80a〜80dは、それぞれ車内マイク82a〜82dと車載用スピーカ84a〜84dとを備え、各モジュールは、後述するように無線通信等によって本体部40に接続される。また、各モジュールには、スピーカからのボリュームを調整するための操作部が取付けられる。
本体部40と音声モジュール80a〜80d間の接続には、好ましくは、Bluetooth(登録商標)のBT HSP(Headset Profile)が用いられる。BT HSPは、接続した機器同士間での音声データの送受信を可能にするプロファイルであって、このプロファイルが本体部40および各音声モジュール80a〜80dによってサポートされ、本体部40は、当該プロファイルに従い各モジュール80間の音声データの転送を制御する。すなわち、本体部40は、マイク82a〜82dから入力された音声データをどのスピーカから出力させるかの転送制御を行う。好ましい態様では、本体部40は、運転者の動作から運転者の会話の方向を自動的に判定し、後部座席の搭乗者への会話であると判定された場合には、運転者の音声データが後部座席のスピーカから出力され、そのような会話でないと判定された場合には、運転者の音声データが後部座席のスピーカから出力されないようにする。
図3は、車載装置10の一構成例を示すブロック図である。車載装置10は、運転者の動作をモニタリングする車載カメラ60、搭乗者の音声を取得したり、その音声を後部座席方向に出力する音声モジュール80(80a〜80d)、CD、DVD、ブルーレイディスク、ハードディスク装置などに格納されたオーディオデータやビデオデータを再生したり、デジタルテレビ放送、AM/FMラジオ放送などを受信するマルチメディア再生部100、自車位置周辺の道路地図を表示したり、目的地までの誘導経路を案内するナビゲーション部102、外部のネットワーク等とデータ通信を行うことを可能にする通信部104、プログラムやデータ等を記憶する記憶部106、音声や画像等を出力する出力部108、ユーザー操作や音声等を入力する入力部110、マイクロコントローラやマイクロプロセッサ等を含みプログラムを実行することで各部を制御する制御部120を含んで構成される。また、制御部120は、上記したように重量センサ(搭乗者センサ)の検出結果を受け取り、この検出結果に基づき、搭乗者が存在している座席を識別する。なお、ここに示される構成は例示であり、車載装置10は、このような構成に限定されるものではない。
車載カメラ60は、運転者の視線方向や顔の向きをモニタリングするため、例えば、図1に示すように、フロントの上部中央にあるルームミラー62に取り付けられ、運転者の顔を撮像している。本実施例では、前部座席AまたはBに座る運転者が、後部座席CおよびDに座る搭乗者に話しかける際の前部搭乗者のしぐさ(会話動作)を検出するために車載カメラ60を利用するが、視線や顔の向き等を検出可能なものであれば、他のセンサであってもよい。さらに、視線や顔の向きが検出可能であれば、車載カメラ60の取り付け位置は必ずしもルームミラー62に限らず、フロントガラス、メーターや計器類を含むインスツルメンツパネル、本体部42などに取付けられてもよい。さらに、車載カメラ60は、少なくとも座席数に応じて、複数台用意してもよい。一方、取得された画像データは、制御部120により視線方向や顔の向きなどを検知するため画像解析が行われる。画像データは、会話支援機能以外に、運転者の居眠り防止機能にも利用される。
音声モジュール80は、搭乗者の音声を取得する車内マイク82と、車内マイク82から取得された音声データを出力する車載用スピーカ84とを含み、各音声モジュール80a〜80dは、図1に示すように、各座席A〜Dにそれぞれ配置され、無線より制御部120に接続される。制御部120は、BT HSPによる接続において、各音声モジュール80a〜80dのデバイスを識別し、音声モジュール間における音声データの送受を制御する。好ましい態様では、制御部120は、運転者の会話動作に基づき運転者から後部座席の搭乗者への会話の方向を自動的に判定し、運転者の車内マイク82aにより取得した音声データを、搭乗者が着座している後部座席用のスピーカ84cまたは84dから出力させる。
通信部104は、音声モジュール80の間で音声データの入出力を可能にするための接続手段として、例えばBluetoothモジュール(以下、BTモジュールと略す)を含んで構成される。BTモジュールには、例えば、HSPなどのプロファイルが含まれており、音声モジュール80と制御部120間の音声データの送受信を可能にする。
制御部120は、記憶部106から読み出された各種プログラムに従い、各部の機能を制御する。ここでは、その中の1つである会話支援プログラムを制御部120が実行したときの音声データの処理を説明する。
図4は、会話支援プログラム140の機能的な構成を示す図である。会話支援プログラム140は、同図に示すように、運転者の視線、または顔の向きをモニタリングするための車載カメラ60から画像データを取得する画像データ取得部142と、車内マイク82から入力された音声データを取得する音声データ取得部144と、取得した音声データからノイズをカットするとともに、搭乗者の発話にかかる音声データを抽出する処理を行う音声処理部と146と、音声処理された音声データを選択された車載用スピーカ84から出力させる音声データ出力部148と、画像データ取得部142により取得した画像データに基づき、運転者が後部座席の搭乗者に話しかける会話動作があるか否かを判定する会話動作判定部150と、会話動作判定部150の判定結果に基づき音声データ出力部148を制御する出力制御部152とを備えている。
画像データ取得部142は、車載カメラ60によって撮像された運転者の画像データを取得し、それを会話動作判定部150に提供する。好ましい態様では、画像データ取得部142は、撮像された画像データの中から運転者の顔の部分、または視線の部分の画像データをトリミングして会話動作判定部150へ提供するようにしてもよい。この場合、トリミングする範囲は予め設定される。
音声処理部146は、車両のエンジン音、道路とタイヤの摩擦音、走行による風切り音などのロードノイズをカットするフィルタ機能を有し、取得した音声データからロードノイズを除去することができる。また、音声処理部146は、音声認識機能を有し、取得した音声データから、搭乗者の発話に係る音声データのみを抽出することができる。音声データ出力部150は、音声処理部146により音声処理された音声データを選択された音声モジュール80から出力させることができる。
会話動作判定部150は、画像データ取得部142により取得した運転者の画像データを画像解析し、運転者が後部座席の搭乗者に話しかける動作をしたか否かを判定することができる。例えば、運転者が後部座席の搭乗者に話しかける際、ルームミラー越しに、相手を見るような行為を行う傾向がある。あるいは運転者は、後部座席の搭乗者に話しかける際、後部座席方向に顔を向ける傾向がある。会話動作判定部150は、このような運転者のしぐさ(会話動作)に基づき、前部座席から後部座席への会話の方向を判定する。
なお、運転者による会話の有無の判定条件には、運転者による発話の有無を含めるようにしてもよい。この場合、会話動作判定部150は、運転者の座席の音声モジュール80から音声データが入力されたことを、前提条件とし、そのような音声データが入力されていない場合には、運転者の視線や顔の変化があったとしても、運転者から後部座席の搭乗者への会話がないものと判定するようにしてもよい。
さらに、運転者の視線や顔の変化の他に、会話開始のサイン(動作)を予め決定しておき、当該サインを判定条件としてもよい。例えば、運転者がウインクを複数回行う行為、運転者が口を開ける行為、または運転者が眉毛を動かす行為などをサインにしてもよい。
出力制御部152は、会話動作判定部150による会話動作があるか否かの判定に応じて、音声データ出力部148による出力を制御する。運転者による後部座席の搭乗者への会話動作があると判定されたとき、音声データ出力部148は、運転者の座席に対応する音声モジュール80aの車内マイク82aから入力された音声データを後部座席の搭乗者に対応する音声モジュール80cまたは80dのスピーカ84cまたは84dから出力させる。
次に、本発明の実施例における車載装置の会話支援動作について図面を参照して説明する。図5は、車載装置による会話支援動作を説明するフローチャートである。
車載装置の電源がオンされることで、会話支援機能が起動される(S200)。会話支援機能が起動されると、制御部120は、記憶部106より会話支援プログラム140を読み出し、当該会話支援プログラム140に従い各部を制御する。会話支援機能を有効にするか否かはユーザー設定が可能であり、予め有効と設定されている場合には、車載装置10の電源投入と同時に起動される。また、車載装置の電源がオンにされた後、ユーザーの指示に従い、会話支援機能を起動してもよい。
会話支援機能が起動されると、画像データ取得部142は、車載カメラ60から出力される画像データを取得する(S201)。画像データは、運転者の動作をモニタリングするためのものであり、運転者の顔の画像を含む。会話動作判定部150は、取得した画像データを画像解析し、画像データの中から運転者の視線または顔を認識し、運転者の視線、または顔の向きを検知する(S202)。
次に、会話動作判定部150は、その運転者の視線または顔の向きの変化に応じて、後部座席の搭乗者に話しかけるような会話動作であるか否かを判定する(S203)。例えば、会話動作判定部150は、運転者の視線がルームミラー越しに後部座席の搭乗者を確認する方向に一定角度以上変化されたとき、または、後部座席に話しかけるように顔の向きが一定角度変化されたとき、後部座席の搭乗者への会話動作が発生したと判定する。
会話動作判定部150は、後部座席の搭乗者への会話動作の発生の判定条件として、運転者の座席の音声モジュールにおいて音声が入力されたこと、あるいは搭乗者の後部座席の音声モジュールにおいて音声が入力されたことを加重要件としてもよい。
会話動作判定部150により会話動作がないと判定された場合には、出力制御部152は、運転者の座席の音声モジュールからの音声データが音声データ取得部144によって取得された場合であっても、後部座席の音声モジュールから音声データが出力されないように音声データ出力部148を制御する(S204)。
例えば、音声データ出力部148は、運転者の音声モジュールからの音声データの転送を停止する。あるいは、出力制御部152は、搭乗者が存在する後部座席の音声モジュールのスピーカがミュートされるような制御信号を出力するようにしてもよい。これにより、後部座席の搭乗者は、自分に無関係な会話の支援を受けないので、大きな不快を感じることはない。
一方、会話動作判定部150により会話動作があると判定された場合には、音声データ取得部144によって取得された運転者の音声データが音声処理部146によって処理された後、当該音声データは、出力制御部152によって搭乗者の後部座席に対応する音声モジュールに転送され、そこから音声出力される(S205)。これにより、後部座席の搭乗者は、会話支援された運転者の音声を聞くことができる。
このように本実施例によれば、運転者の視線や顔の向きを検知することで、運転者と後部座席の搭乗者間による会話動作の有無を自動的に判定し、会話動作があると判定されたときに、運転者の音声を後部座席から出力させるようにしたので、後部座席の搭乗者は、自分に関係のある会話の支援を受けることができる。また、運転者は、後部座席の搭乗者との会話であることを指示する必要がないため、安全に運転を行うことができる。
上記実施例では、運転者が後部座席の搭乗者への会話を支援する例を説明したが、本発明は、運転者に限らず、前部座席の搭乗者、例えば助手席の搭乗者にも適用することができる。さらに上記実施例では、4人乗りの車両に車載装置を搭載した例を説明したが、これに限らず、複数の座席が前後に配列されるようなバスや航空機などに搭載してもよい。その場合、前部座席とは、最前列にある座席に限らず、後部座席に対して相対的に前方にある座席であればよい。
さらに上記実施例では、重量センサにより搭乗者の有無を判定するようにしたが、これに限らず、車内を撮像する撮像カメラからの画像データやシートベルトの着用センサの出力信号に基づき搭乗者の有無を判定してもよい。さらに、搭乗者の乗車位置データを作成し、出力制御部は、乗車位置データに基づき会話支援を行うことができる。
本発明は、上記実施例に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形・変更が可能である。
10:車載装置 20:車両
40:本体部 42:タッチパネル
60:車載カメラ 62:ルームミラー
80(a〜d):音声モジュール 82(a〜d):車内マイク
84(a〜d):車載用スピーカ 100:マルチメディア再生部
102:ナビゲーション部 104:通信部
106:記憶部 108:出力部
110:入力部 120:制御部
140:会話支援プログラム 142:画像データ取得部
144:音声データ取得部 146:音声処理部
148:音声データ出力部 150:会話動作判定部
152:出力制御部

Claims (6)

  1. 搭乗者間の会話を支援する会話支援装置であって、
    前部座席の搭乗者の視線、または顔の向きを検知する検知手段と、
    音声を入力する音声入力部と、前記音声入力部で入力された音声を出力する音声出力部とを備えた音声モジュールと、
    前記検知手段の検知結果に基づき前部座席の搭乗者から後部座席の搭乗者への会話動作があるか否かを判定する判定手段と、
    各座席に配置された複数の音声モジュール間の音声データの転送を制御する制御手段とを有し、
    前記判定手段により会話動作があると判定されたとき、前記制御手段は、前部座席の音声モジュールからの音声データを後部座席の音声モジュールへ転送し、会話動作がないと判定されたとき、前部座席の音声モジュールからの音声データを後部座席の音声モジュールへ転送しない、会話支援装置。
  2. 前記会話支援装置はさらに、搭乗者が存在する座席を判別する判別手段を有し、前記制御手段は、前記判別手段によって判別された座席の音声モジュールへ音声データを転送する、請求項1に記載の会話支援装置。
  3. 前記検知手段は、運転者の顔を撮像する撮像カメラを含み、前記判定手段は、前記撮像カメラからの画像データに基づき会話動作の有無を判定する、請求項1または2に記載の会話支援装置。
  4. 前記判定手段は、運転者の視線がルームミラーに向けられたとき、会話動作があると判定する、請求項1ないし3いずれか1つに記載の会話支援装置。
  5. 搭乗者間の会話を支援する会話支援方法であって、
    前部座席の搭乗者の視線、または顔の向きを検知する検知ステップと、
    音声モジュールにより音声を入力する音声入力ステップと、
    前記音声モジュールにより前記音声入力ステップで入力された音声を出力する音声出力ステップと、
    前記検知するステップの検知結果に基づき前部座席の搭乗者から後部座席の搭乗者への会話動作があるか否かを判定する判定ステップと、
    各座席に配置された複数の音声モジュール間の音声データの転送を制御する制御ステップとを有し、
    前記判定ステップより会話動作があると判定されたとき、前記制御ステップは、前部座席の音声モジュールからの音声データを後部座席の音声モジュールへ転送し、会話動作がないと判定されたとき、前部座席の音声モジュールからの音声データを後部座席の音声モジュールへ転送しない、会話支援方法。
  6. 搭乗者間の会話を支援するため、車載装置において実行される会話支援プログラムであって、
    前部座席の搭乗者の視線、または顔の向きを検知する検知ステップと、
    音声モジュールにより音声を入力する音声入力ステップと、
    前記音声モジュールにより前記音声入力ステップで入力された音声を出力する音声出力ステップと、
    前記検知するステップの検知結果に基づき前部座席の搭乗者から後部座席の搭乗者への会話動作があるか否かを判定する判定ステップと、
    各座席に配置された複数の音声モジュール間の音声データの転送を制御する制御ステップとを有し、
    前記判定ステップより会話動作があると判定されたとき、前記制御ステップは、前部座席の音声モジュールからの音声データを後部座席の音声モジュールへ転送し、会話動作がないと判定されたとき、前部座席の音声モジュールからの音声データを後部座席の音声モジュールへ転送しない、会話支援プログラム。
JP2013206680A 2013-10-01 2013-10-01 会話支援装置、会話支援方法及び会話支援プログラム Active JP6284331B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013206680A JP6284331B2 (ja) 2013-10-01 2013-10-01 会話支援装置、会話支援方法及び会話支援プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013206680A JP6284331B2 (ja) 2013-10-01 2013-10-01 会話支援装置、会話支援方法及び会話支援プログラム

Publications (2)

Publication Number Publication Date
JP2015071320A true JP2015071320A (ja) 2015-04-16
JP6284331B2 JP6284331B2 (ja) 2018-02-28

Family

ID=53014059

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013206680A Active JP6284331B2 (ja) 2013-10-01 2013-10-01 会話支援装置、会話支援方法及び会話支援プログラム

Country Status (1)

Country Link
JP (1) JP6284331B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018061956A1 (ja) * 2016-09-30 2018-04-05 ヤマハ株式会社 会話アシスト装置および会話アシスト方法
CN108025681A (zh) * 2015-09-14 2018-05-11 住友电气工业株式会社 通信装置
JP2018125822A (ja) * 2017-02-04 2018-08-09 アルパイン株式会社 車内会話支援装置
KR20190031053A (ko) * 2017-09-15 2019-03-25 엘지전자 주식회사 차량 제어 방법
JP2019137167A (ja) * 2018-02-08 2019-08-22 三菱電機株式会社 音声出力制御装置、及び音声出力制御プログラム
CN110428838A (zh) * 2019-08-01 2019-11-08 大众问问(北京)信息科技有限公司 一种语音信息识别方法、装置及设备
JPWO2021038736A1 (ja) * 2019-08-28 2021-03-04
US11094315B2 (en) 2017-03-17 2021-08-17 Mitsubishi Electric Corporation In-car communication control device, in-car communication system, and in-car communication control method
US11122367B2 (en) * 2017-08-01 2021-09-14 Bayerische Motoren Werke Aktiengesellschaft Method, device, mobile user apparatus and computer program for controlling an audio system of a vehicle
WO2021191651A1 (ja) * 2020-03-25 2021-09-30 日産自動車株式会社 音データ処理装置および音データ処理方法
JP7386076B2 (ja) 2019-12-26 2023-11-24 株式会社デンソーテン 車載装置及び応答出力制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050152562A1 (en) * 2004-01-13 2005-07-14 Holmi Douglas J. Vehicle audio system surround modes
JP2008120262A (ja) * 2006-11-13 2008-05-29 Mitsubishi Electric Corp 車載通話装置
JP2009107603A (ja) * 2007-11-01 2009-05-21 Toyota Motor Corp 車室内乗員コミュニケーションシステム
JP2012025270A (ja) * 2010-07-23 2012-02-09 Denso Corp 車両用の音量制御装置および音量制御装置用のプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050152562A1 (en) * 2004-01-13 2005-07-14 Holmi Douglas J. Vehicle audio system surround modes
JP2008120262A (ja) * 2006-11-13 2008-05-29 Mitsubishi Electric Corp 車載通話装置
JP2009107603A (ja) * 2007-11-01 2009-05-21 Toyota Motor Corp 車室内乗員コミュニケーションシステム
JP2012025270A (ja) * 2010-07-23 2012-02-09 Denso Corp 車両用の音量制御装置および音量制御装置用のプログラム

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108025681A (zh) * 2015-09-14 2018-05-11 住友电气工业株式会社 通信装置
JPWO2017047351A1 (ja) * 2015-09-14 2018-06-28 住友電気工業株式会社 通信装置
US11070960B2 (en) 2015-09-14 2021-07-20 Sumitomo Electric Industries, Ltd. Communication device
US10812901B2 (en) 2016-09-30 2020-10-20 Yamaha Corporation Conversation assist apparatus and conversation assist method
WO2018061956A1 (ja) * 2016-09-30 2018-04-05 ヤマハ株式会社 会話アシスト装置および会話アシスト方法
US10932042B2 (en) 2016-09-30 2021-02-23 Yamaha Corporation Conversation assist apparatus and conversation assist method
JP2018125822A (ja) * 2017-02-04 2018-08-09 アルパイン株式会社 車内会話支援装置
US11094315B2 (en) 2017-03-17 2021-08-17 Mitsubishi Electric Corporation In-car communication control device, in-car communication system, and in-car communication control method
US11122367B2 (en) * 2017-08-01 2021-09-14 Bayerische Motoren Werke Aktiengesellschaft Method, device, mobile user apparatus and computer program for controlling an audio system of a vehicle
KR102023995B1 (ko) * 2017-09-15 2019-09-23 엘지전자 주식회사 차량 제어 방법
KR20190031053A (ko) * 2017-09-15 2019-03-25 엘지전자 주식회사 차량 제어 방법
JP2019137167A (ja) * 2018-02-08 2019-08-22 三菱電機株式会社 音声出力制御装置、及び音声出力制御プログラム
JP7023131B2 (ja) 2018-02-08 2022-02-21 三菱電機株式会社 音声出力制御装置、及び音声出力制御プログラム
CN110428838A (zh) * 2019-08-01 2019-11-08 大众问问(北京)信息科技有限公司 一种语音信息识别方法、装置及设备
JPWO2021038736A1 (ja) * 2019-08-28 2021-03-04
JP6995254B2 (ja) 2019-08-28 2022-01-14 三菱電機株式会社 音場制御装置及び音場制御方法
WO2021038736A1 (ja) * 2019-08-28 2021-03-04 三菱電機株式会社 音場制御装置及び音場制御方法
JP7386076B2 (ja) 2019-12-26 2023-11-24 株式会社デンソーテン 車載装置及び応答出力制御方法
WO2021191651A1 (ja) * 2020-03-25 2021-09-30 日産自動車株式会社 音データ処理装置および音データ処理方法
EP4129766A4 (en) * 2020-03-25 2023-04-19 Nissan Motor Co., Ltd. DEVICE AND METHOD FOR PROCESSING SOUND DATA
JP7456490B2 (ja) 2020-03-25 2024-03-27 日産自動車株式会社 音データ処理装置および音データ処理方法

Also Published As

Publication number Publication date
JP6284331B2 (ja) 2018-02-28

Similar Documents

Publication Publication Date Title
JP6284331B2 (ja) 会話支援装置、会話支援方法及び会話支援プログラム
US10536791B2 (en) Vehicular sound processing system
JP7049803B2 (ja) 車載装置および音声出力方法
US20160127846A1 (en) Devices and methods for conveying audio information in vehicles
EP3495942B1 (en) Head-mounted display and control method thereof
JP2007208828A (ja) 車両用音声入出力制御装置
JP2014170154A (ja) 車内会話支援装置
JP2017090614A (ja) 音声認識制御システム
US20220095046A1 (en) Hybrid in-car speaker and headphone based acoustical augmented reality system
JP2004354930A (ja) 音声認識システム
CN115769601A (zh) 用输出单元输出使用者特定声学信号的方法,计算机程序产品和电子信号处理系统
US20220095045A1 (en) In-car headphone acoustical augmented reality system
JP7063005B2 (ja) 運転支援方法、車両、及び運転支援システム
JP7065964B2 (ja) 音場制御装置および音場制御方法
JP6620724B2 (ja) 車両用会話支援装置
JP7456490B2 (ja) 音データ処理装置および音データ処理方法
JP6995254B2 (ja) 音場制御装置及び音場制御方法
KR101673787B1 (ko) 차량용 사운드 출력 시스템
KR20150013999A (ko) 차량 멀티미디어 음원 출력 제어 시스템 및 그 방법
JP4632974B2 (ja) 車載オーディオシステム
JP2010221893A (ja) 車載情報機器
US10321250B2 (en) Apparatus and method for controlling sound in vehicle
WO2019163060A1 (ja) 操作制限制御装置及び操作制限制御方法
JP7163876B2 (ja) 車内会話支援装置
JP2020514171A (ja) 自動車運転者の支援のための方法及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180130

R150 Certificate of patent or registration of utility model

Ref document number: 6284331

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150