JP2019161446A - 着信通知方法及び着信通知装置 - Google Patents

Abstract

【課題】車内の状況に応じた適切な着信形態を用いて電話の着信を通知することが可能な着信通知方法及び着信通知装置を提供する。【解決手段】車内の撮像画像を取得し、撮像画像に基づいて、車両の運転者と同乗者との関係性を推定し、推定した関係性に基づいて、現在の車内の状況を判断し、車内への着信を検出した場合、電話の発信者を識別することが可能な発信情報を取得し、発信情報と現在の車内の状況とに応じた着信の通知形態を特定し、特定した通知形態を用いて電話の着信を通知する。【選択図】 図１

Description

本発明は、着信通知方法及び着信通知装置に関する。

無線機に電話をセットすることにより、室内に設けられた外部マイクロホンから音声情報を入力し、室内に設けられた外部スピーカから音声情報を出力できるハンズフリー式自動車電話システムにおいて、着信時に、当該通話相手を識別できる識別情報を出力する制御手段と、運転者にのみ認識できる位置に配置され、前記制御手段からの出力信号により前記識別情報を表示する表示手段とを有する自動車電話システムが知られている（特許文献１）。

特開平１０−２０３２５７号公報

従来技術では、同乗者との関係性を考慮していないため、車内の状況に応じた適切な着信形態を用いて電話の着信を通知することができない、という問題がある。

本発明が解決しようとする課題は、車内の状況に応じた適切な着信形態を用いて電話の着信を通知することが可能な着信通知方法及び着信通知装置を提供することである。

本発明は、車内の撮像画像を取得し、撮像画像に基づいて車両の運転者と同乗者との関係性を推定し、推定した関係性に基づいて、現在の車内の状況を判断し、車内への着信を検出した場合、電話の発信者を識別することが可能な発信情報を取得し、発信情報と現在の車内の状況とに応じた着信の通知形態を特定し、特定した通知形態を用いて電話の着信を通知することで、上記課題を解決する。

本発明によれば、車内の状況に応じた適切な着信形態を用いて着信を通知することができる。

図１は、本実施形態に係る着信通知システムのブロック構成図を示す図である。 図２は、車載制御装置がデータセンタに応答履歴の情報を送信するまでのフローチャートである。 図３は、着信前後での車内の状況を判断するためのフローチャートである。 図４は、着信の通知形態の適否を判定するためのフローチャートである。 図５は、制御装置が車載システムに対して着信通知形態情報を送信するまでのフローチャートである。 図６は、車載制御装置が着信を検出してから、車両の乗員に着信を通知するまでのフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。

本実施形態では、本発明に係る着信通知システムの構成を示す図である。図１に示すように、本実施形態に係る着信通知システムは、複数の車両に搭載された複数の車載システム１００と、車両の外部に設置されたデータセンタ２００とから構成される。着信通知システムとは、車載システム１００が備える情報端末１８０に電話の着信があった際に、車両の乗員に電話の着信を通知するためのシステムである。

複数の車載システム１００とデータセンタ２００とは、通信回線を介して各種情報の授受が可能となっている。通信回線としては、例えば、携帯電話網、無線ＬＡＮ網、ＤＳＲＣ（Dedicated Short Range Communications）網、及び電力線通信網などが挙げられる。なお、図１に示す例では、１つの車両に搭載された１つの車載システム１００のみを例示しているが、着信通知システムは、車載システム１００を複数備える構成とすることができる。

車載システム１００は、図１に示すように、撮像装置１１０、マイク１２０、操作機器群１３０、着信通知装置１４０、車載通信装置１５０、車載データベース１６０、車載制御装置１７０、及び情報端末１８０を備える。撮像装置１１０、マイク１２０、操作機器群１３０、着信通知装置１４０、車載通信装置１５０、車載データベース１６０、車載制御装置１７０は、車両に搭載されている。これらの各装置は、相互に情報の授受を行うためにＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続されている。情報端末１８０は、運転者又はその他の乗員が所有するものである。また、情報端末１８０は、携帯電話網や無線ＬＡＮ等の無線、又はケーブル等の有線により、車載制御装置１７０と相互に情報の授受を行うことができる。

撮像装置１１０は、車両の室内に設けられ、室内の様子を撮像する。撮像装置１１０は、撮像画像を車載制御装置１７０に出力する。撮像装置１１０の設置位置及び撮像装置１１０の数は、特に限定されない。例えば、撮像装置１１０は、インストルメンタルパネルに設けられ、前方座席に着座する人物を撮像する。また、例えば、撮像装置１１０は、ルームミラーの近傍に設けられ、後方座席に着座する人物を撮像する。撮像装置１１０は、撮像画像を車載制御装置１７０に出力する。

マイク１２０は、車両の室内に設けられ、車内に発生した音声を収集する。マイク１２０は、収集した音声をデジタル信号に変換し、音声情報として車載制御装置１７０に出力する。マイク１２０の設置位置及びマイク１２０の数は、特に限定されない。例えば、マイク１２０は、座席ごとに座席の所定位置に設けられ、車内での会話を収集する。マイク１２０は、収集した音声情報を車載制御装置１７０に出力する。

操作機器群１３０は、運転者又はその他車両の乗員が操作可能な操作機器で構成されている。操作機器群１３０は、着信通知装置１４０から出力される着信の通知に対して、車両の乗員が応答するための装置である。操作機器群１３０としては、機械的なスイッチやディスプレイ１４１に設けられているタッチパネルスイッチなどから構成が例示できる。後述するように、情報端末１８０に電話の着信があった際には、着信通知装置１４０により車両の乗員に電話の着信が通知される。例えば、車両の乗員は、ディスプレイ１４１に表示される着信の通知に対して、操作機器群１３０を操作することで、着信に対して応答することができる。また、例えば、車両の乗員は、スピーカ１４２から出力される着信音に対して、操作機器群１３０を操作することで、着信に対して応答することができる。また、例えば、車両の乗員は、振動装置１４３による着信を通知するための振動に対して、操作機器群１３０を操作することで、着信に対して応答することができる。操作機器群１３０は、車内の乗員による操作情報を、車載制御装置１７０に出力する。なお、操作機器群１３０の設置位置及び操作機器群１３０の数は、特に限定されない。

着信通知装置１４０は、車両の乗員に電話の着信を通知するための装置である。着信通知装置１４０には、ディスプレイ１４１、スピーカ１４２、及び振動装置１４３が少なくとも含まれている。各装置には、車載制御装置１７０から、各装置に対応した着信の通知情報が入力される。

ディスプレイ１４１は、車両の室内に設けられ、車載制御装置１７０から入力される着信の通知情報を表示する。ディスプレイ１４１に入力される通知情報には、少なくとも電話番号が含まれている。また、電話の着信があった際に、車載制御装置１７０が発信者を特定できている場合には、通知情報には、電話番号の他にその他の登録情報が含まれる。その他の登録情報には、発信者の氏名、発信者の顔写真、登録時に設定したアイコン等が含まれる。ディスプレイ１４１は、電話番号だけでなく、これらの情報を表示することができる。なお、上記の登録情報は一例であって、登録情報は特に限定されない。

スピーカ１４２は、車両の室内に設けられ、車載制御装置１７０から入力される着信の通知情報を表示する。スピーカ１４２に入力される通知情報には、車両の乗員に着信を知らせるための音声情報が含まれている。音声情報としては、例えば、いわゆる電話の呼び出し音、メロディーだけの音楽等や、歌詞を含む音楽等が挙げられる。なお、上記の音声情報は一例であって、音声情報は特に限定されるものではない。

振動装置１４３は、車両の室内に設けられ、車載制御装置１７０から入力される着信の通知情報に基づいて振動する。振動装置１４３に入力される通知情報には、車両の乗員に着信を知らせるための振動情報が含まれる。振動情報としては、例えば、振動している時間や振動周期の情報が含まれている。振動装置１４３は、乗員に振動を伝えることが可能な位置に設けられており、例えば、ステアリングホイールの内部や座席の内部に設けられている。なお、振動装置１４３の設置位置は一例である。振動装置１４３の設置位置及び振動装置１４３の数は特に限定されない。

車載通信装置１５０は、電話回線網やインターネット回線網などを介して、データセンタ２００の通信装置２１０と通信可能な装置である。車載通信装置１５０には、車載制御装置１７０から、後述する電話の応答履歴に関する情報（以下、応答履歴という。）が入力される。また、車載通信装置１５０は、データセンタ２００が備える通信装置２１０から、後述する着信通知の形態に関する情報（以下、着信通知形態情報という。）を所定の期間毎に受信し、受信した着信通知形態情報を、車載データベース１６０に出力する。なお、着信通知形態情報については後述する。

車載データベース１６０は、電話の着信通知に関する情報が格納されている。車載データベース１６０には、車載通信装置１５０から、着信通知形態情報が入力される。着信通知形態情報とは、電話の着信を車両の乗員に通知するための通知形態の情報であり、この通知形態の情報は、カテゴリごとに設定されている。カテゴリは、発信者の情報、同乗者の人数、同乗者の関係性、車内の盛り上がり度が含まれる。車載データベース１６０は、発信者の情報ごと、同乗者の人数ごと、同乗者の関係性ごと、車内の盛り上がり度ごとに、着信の通知形態の情報を格納している。なお、これらの情報の詳細については後述する。

また、車載データベース１６０は、同乗者の乗降履歴を格納している。車載データベース１６０には、車載通信装置１５０から、同乗者の乗降履歴が入力される。

着信の通知形態としては、例えば、ディスプレイ１４１を用いて視覚を通じて着信を通知する方法、スピーカ１４２を用いて聴覚を通じて着信を通知する方法、振動装置１４３を用いて触覚を通じて着信を通知する方法、及びこれらの方法の組み合わせた方法が挙げられる。さらに、ディスプレイ１４１を用いた通知方法には、ディスプレイ１４１の全体に画像又は動画を表示する方法、ディスプレイ１４１の一部又は全体に点滅画面を表示させる方法が含まれる。また、スピーカ１４２を用いた通知方法には、電話の呼び出し音を流したり、音楽を流したりする方法が含まれる。

情報端末１８０は、車両の乗員が所持しているものであり、電話機能を備えている。情報端末１８０としては、例えば、スマートフォン、タブレット端末、ノートパソコン等が挙げられる。情報端末１８０は、電話の着信を受信すると、受信したことを通知する旨の情報を、車載制御装置１７０に出力する。

車載制御装置１７０は、車内の状況を判断して車内の状況に応じた着信通知の形態を選択するための装置である。具体的には、車載制御装置１７０は、着信通知形態選択処理を実行させるためのプログラムが格納されたＲＯＭ(Read Only Memory）と、このＲＯＭに格納されたプログラムを実行することで、着信通知形態選択処理を実行する動作回路としてのＣＰＵ（Central Processing Unit）と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）と、を備えるコンピュータである。

具体的に、本実施形態の車載制御装置１７０が実行する処理は、情報端末１８０に着信があった場合に、現在の車内の状況に応じた着信の通知形態を選択して、車両の乗員に通知する処理（以下、着信通知処理という。）と、着信の応答履歴をデータセンタ２００に送信する処理（以下、応答履歴送信処理）とに分けられる。車載制御装置１７０は、上記各機能を実現するために、又は各処理を実行するためにソフトウェアと、上述したハードウェアの協働により各機能を実行する。

まず、着信通知処理について説明する。着信通知処理は、さらに以下の処理に分けられる。車載制御装置１７０は、車両の運転者と同乗者の関係を推定する関係性推定処理と、車内の状況を判断する車内状況判断処理と、電話の発信者の情報を取得する発信情報取得処理と、着信の通知形態を特定する着信通知特定処理と、を実行する。

関係性推定処理について説明する。車載制御装置１７０は、まず、撮像装置１１０からの撮像画像、及びマイク１２０からの音声情報のうち少なくとも一方の情報に基づいて、運転者と同乗者の関係性を推定する。次に、車載制御装置１７０は、車載データベース１６０に格納されている乗降履歴に基づいて、運転者と同乗者との親密度を推定する。そして、車載制御装置１７０は、推定した関係性と推定した親密度が対応づけることで、運転者と同乗者との関係性の推定処理を終了する。

例えば、車載制御装置１７０は、まず、撮像画像に対して画像処理を実行することで、撮像画像に写る人物の特徴点を抽出し、予め登録された人物の情報に照合して、車内の人物を特定する。また、例えば、車載制御装置１７０は、音声情報に対して音声解析処理を実行することで、車内の人物の声紋の情報を抽出し、予め登録された人物の情報に照合して、車内の人物を特定する。予め登録された人物の情報としては、例えば、家族、友人、職場の同僚や上司等が挙げられる。

次に、車載制御装置１７０は、運転者と同乗者との関係性を推定する。例えば、車載制御装置１７０は、特定した人物の情報と一致する人物の情報に基づいて、運転者と同乗者との関係性を推定する。車載制御装置１７０は、例えば、特定した人物が家族の情報に該当する可能性が高い場合、同乗者を家族と推定する。該当するか否かの判断は、特に限定されず、完全に一致していなくても予め設定された類似範囲であれば一致しているとみなしてもよい。なお、車載制御装置１７０は、特定した人物が登録された人物の情報の何れにも該当しない可能性が高い場合、同乗者と運転者の関係性を不明と推定する。

そして、車載制御装置１７０は、運転者と同乗者との関係性において、どの程度運転者と親密であるかを示す運転者に対する親密度を推定する。車載制御装置１７０は、特定した同乗者が現在の車両に過去に何回乗車していたかを特定することで、運転者に対する親密度を推定する。例えば、車載制御装置１７０は、車載データベース１６０に格納されている乗降履歴を参照し、同乗者の乗降回数が所定の基準回数よりも多い場合には、同乗者の親密度は高いと判定する。反対に、車載制御装置１７０は、同乗者の乗降回数が所定の基準回数未満の場合には、同乗者の親密度は低いと判定する。

これらの処理を実行した結果、車載制御装置１７０は、現在の同乗者と運転者とを示す関係性に親密度を対応付けて、同乗者一人にあたりの運転者との関係性の情報を生成することができる。車載制御装置１７０は、複数の同乗者が存在する場合、同乗者ごとに関係性及び親密度を推定することで、複数の同乗者の関係性の情報を生成する。

次に、車内状況判断処理について説明する。車載制御装置１７０は、車内の乗員数と、同乗者と運転者との関係性の情報とに基づいて、車内の状況を判断する。車載制御装置１７０は、撮像装置１１０からの撮像画像又はマイク１２０からの音声情報を解析することで、同乗者の人数を把握することができる。そして、車載制御装置１７０は、同乗者の人数と、運転者と同乗者との関係性から、運転者とどのような関係性の人物が何人いるかを把握することができる。例えば、複数の同乗者がいる場合、車載制御装置１７０は、運転者と各同乗者との関係性をそれぞれ推定するとともに、同乗者の人数を特定することで、現在の車内の状況を判断することができる。車載制御装置１７０による判断結果としては、例えば、「家族が１名」、「友人が３名」、「職場の同僚が２名、職場の上司が１名」等が挙げられる。

また、車載制御装置１７０は、関係性に関連する情報として親密度の情報を追加してもよい。「友人が３名」の例では、車載制御装置１７０は、「友人の３名のうち、１名の親密度が高い、その他の２名の親密度は普通」と判断してもよい。

また、車載制御装置１７０は、マイク１２０からの音声情報に基づいて、車内の雰囲気を示す盛り上がり度を判定することで、現在の車内の雰囲気を推定する。車載制御装置１７０は、音声情報に対して解析処理を実行することで、車内での会話の有無、会話の回数、発言者の声のトーンを抽出し、抽出した情報に基づいて盛り上がり度を判定する。例えば、車載制御装置１７０は、会話の回数が所定基準の回数未満の場合、又は会話がない場合、盛り上がり度は低いと判定する。反対に、会話の回数が所定基準よりも多い場合、発言者の声のトーンが所定基準よりも高い場合、盛り上がり度は高いと判定する。なお、盛り上がり度の判定例は、一例であって上記方法による判定方法に限定されるものではない。

次に、発信情報取得処理について説明する。車載制御装置１７０は、情報端末１８０から電話の着信を通知する旨の情報が入力されると、発信者の情報を取得する。車載制御装置１７０は、情報端末１８０に登録されている登録情報を取得することで、発信者の情報を取得することができる。発信者の情報には、発信元の電話番号、発信者の氏名、登録上のカテゴリ（例えば、家族、友人など）が含まれる。なお、情報端末１８０に登録されていない場合には、車載制御装置１７０は、発信者を不明とする。

次に、着信通知特定処理について説明する。車載制御装置１７０は、発信情報と現在の車内の状況に基づいて、乗員に着信を知らせるための着信の通知形態を特定する。具体的には、車載制御装置１７０は、発信者の情報、同乗者の人数、同乗者の関係性（親密度を含む）、車内の盛り上がり度を検索条件として設定し、車載データベース１６０に格納されている複数の着信の通知形態の情報の中から、検索条件に該当する着信の通知形態の情報を取得する。例えば、発信者の情報が「子供」、同乗者の人数が「２人」、同乗者の関係性が「家族」、盛り上がり度が「普通」の場合、車載制御装置１７０は、これらの条件に該当する着信の通知形態の情報を車載データベース１６０から取得する。

着信の通知形態の情報には、カジュアルモード、ビジネスモード、サイレントモードが一例として挙げられる。カジュアルモードとは、同乗者の関係性が「家族」、「友人」に該当する場合に適用される可能性が高いモードである。カジュアルモードとしては、例えば、家族本人のプライベートの写真をディスプレイ１４１に表示させながら、スピーカ１４２から流行の音楽を流して、電話の着信を通知する通知形態が挙げられる。また、ビジネスモードとは、同乗者の関係性が「職場」に該当する場合に適用される可能性が高いモードである。ビジネスモードとしては、モノトーン色をメインとした図形や記号等をディスプレイ１４１に表示させながら、スピーカ１４２から音声ガイダンスを流して、電話の着信を通知する通知形態が挙げられる。また、サイレントモードとは、同乗者の関係性に「職場」と「家族」が混在している場合や、同乗者の人数が「０人」の場合や、盛り上がり度が「低い」場合に適用される可能性が高いモードである。サイレントモードとしては、ディスプレイ１４１の一部に点滅画面を表示させながら、ステアリングホイールや座席を振動させて、電話の着信を通知する通知形態が挙げられる。サイレントモードとは、言い換えると、スピーカ１４２から音声情報が流れず、視覚又は触覚を通じて、乗員に着信を通知するモードである。

車載制御装置１７０は、車載データベース１６０から着信の通知形態の情報を取得すると、これらの通知形態を実行させるための制御信号を生成し、制御信号をディスプレイ１４１やスピーカ１４２、その他の対象機器に出力する。

次に、応答履歴送信処理について説明する。車載制御装置１７０は、情報端末１８０への着信に対する応答履歴の情報を、データセンタ２００に送信する。送信された情報は、後述するデータセンタ２００が実行する通知形態の学習処理に利用される。

車載制御装置１７０がデータセンタ２００に応答履歴を送信するまでの一連の流れについて説明する。

車載制御装置１７０は、撮像装置１１０から入力される撮像画像及びマイク１２０から入力される音声情報を、一時的にＲＡＭに記憶させておき、所定時間経過ごとに記憶させた情報を更新する。そして、情報端末１８０に着信があった後、車載制御装置１７０により特定された所定の着信の通知形態を用いて、電話の着信が車両の乗員に通知されると、車載制御装置１７０は、通知に対しての車両の乗員の対応を示す対応情報を取得する。対応情報には、車載制御装置１７０による通知から乗員が応答するまでの時間等が含まれる。車載制御装置１７０は、撮像装置１１０から入力される撮像画像、マイク１２０から入力される音声情報、操作機器群１３０から入力される操作情報に基づいて、対応情報を取得することができる。

また、車載制御装置１７０は、電話の着信の前後における車内の状況をそれぞれ判断する。この処理は、上述した車内状況判断処理と同じ処理が用いられる。車載制御装置１７０は、ＲＡＭに一時的に記憶されている撮像画像又は音声情報等を利用することで、着信前の車内の状況を判断することができる。車載制御装置１７０は、着信前の車内の状況と、着信後の車内の状況のそれぞれを判断する。なお、着信の前後において、同乗者の人数や運転者と同乗者との関係性が変わるものではないため、着信前後における車内の状況の差異が現れる項目としては、車内の盛り上がり度が挙げられる。

また、車載制御装置１７０は、対応情報と、着信の前後における車内の状況に基づいて、車載制御装置１７０にて特定された着信の通知形態が適切だったか否かを判定する。例えば、車載制御装置１７０は、着信が通知されてから車両の乗員が応答するまでの時間が所定の基準時間よりも長い場合、又は着信が通知されていても応答がない場合、通知形態が不適切と判定する。また、例えば、車載制御装置１７０は、着信前の車内の盛り上がり度に対して着信後の車内の盛り上がり度が下がっている場合、通知形態が不適切と判定する。例えば、車載制御装置１７０は、着信前後における車内の会話の数の差が所定の回数以上の場合には、着信前後において少なくとも車内の状況が変わったと判断し、通知形態が不適切と判定する。

反対に、車載制御装置１７０は、着信が通知されてから車両の乗員が応答するまでの時間が所定の基準時間未満の場合、通知形態が適切と判定する。また、車載制御装置１７０は、着信前後における車内の会話の数の差が所定の回数未満の場合には、着信前後において車内の状況に変化がないものと判断し、着信通知が適切と判定する。

そして、車載制御装置１７０は、通知形態の適否の判断に基づいて、不適切と判定された通知形態については、データセンタ２００に送信する対象の情報から除外する。これにより、データセンタ２００は、予め車両側で適切と判定された着信の通知形態の情報を収集することができ、不要なデータを選別する処理を除外することができる。
なお、データセンタ２００に十分な処理能力がある場合には、不適切と判断された通知形態についても送信する対象の情報に含めておき、データセンタ２００が不適切と判断された通知形態の情報に基づく処理を行うようにしてもよい。

また、車載制御装置１７０は、応答履歴の情報を所定の期間収集し、通知形態の適否の判断に基づいて、適切と判定された通知形態が含まれる応答履歴の情報を、収集した複数の応答履歴の中から抽出してもよい。車載制御装置１７０は、適切と判定された通知形態に関する応答履歴を、車載通信装置１５０を介して、データセンタ２００に送信する。送信する応答履歴には、着信前の車内の状況（運転者と同乗者との関係性、同乗者の人数、車内の盛り上がり度を含む）、利用された通知形態の情報、発信者の情報が含まれる。

次に、データセンタ２００について説明する。データセンタ２００は、各種のコンピュータやデータ通信などの装置が設置されている施設である。データセンタ２００は、図１に示すように、通信装置２１０、データベース２２０、及び制御装置２３０を備える。

通信装置２１０は、電話回線網又はインターネット回線網などを介して、車載システム１００の車載通信装置１５０と通信可能となっている。通信装置２１０は、複数の車両のそれぞれに搭載された複数の車載通信装置１５０と通信し、各車両から、応答履歴の情報を受信する。通信装置２１０は、各車両から受信した応答履歴の情報を制御装置２３０に出力する。

データベース２２０は、複数の車両から取得した応答履歴の情報を格納しているデータベースである。データベース２２０には、通信装置２１０から制御装置２３０を介して、逐次、応答履歴の情報が入力され、応答履歴の情報は、時間の経過とともにデータベース２２０に蓄積される。

制御装置２３０は、車内の状況ごとに着信の通知形態を分類するためのプログラムを格納したＲＯＭと、このＲＯＭに格納されたプログラムを実行するＣＰＵと、アクセス可能な記憶装置として機能するＲＡＭとから構成される。制御装置２３０は、ＲＯＭに格納されたプログラムをＣＰＵに実行することにより、車載通信装置１５０から送信された応答履歴をデータベース２２０に格納する応答履歴格納処理と、車内の状況ごとに着信の通知形態を分類する通知形態分類処理と、分類した着信通知形態情報を複数の車両に搭載されている車載通信装置１５０に提供する情報提供処理と、を実行する。

まず、応答履歴格納処理について説明する。制御装置２３０は、通信装置２１０から入力される各車両での応答履歴の情報を、データベース２２０に格納する。

通知形態分類処理について説明する。制御装置２３０は、データベース２２０に蓄積されている各車両での応答履歴について、車内の状況を構成する項目ごとに着信の通知形態を分類する。応答履歴には、運転者と同乗者との関係性の情報、同乗者の人数、着信前の車内の盛り上がり度の情報、発信者の情報が含まれており、例えば、制御装置２３０は、運転者と同乗者との関係性ごと、同乗者の人数ごと、着信前の車内の盛り上がり度ごと、発信者の情報ごとに、着信の通知形態を分類する。

また、制御装置２３０は、上述した分類処理に限られず、例えば、応答履歴に含まれる項目の組み合わせを一つのパターンとして扱い、パターンごとに、上述したカジュアルモード、ビジネスモード、サイレントモード等で分類してもよい。例えば、制御装置２３０は、同乗者の人数が「３人」、運転者と同乗者との関係性が「友人」、車内の盛り上がり度が「高い」、発信者が「友人」の組み合わせを一つのパターンに設定する。そして、制御装置２３０は、このパターンに対しては、カジュアルモードが適していると判定し、設定したパターンとカジュアルモードを対応づける。同様に、例えば、制御装置２３０は、同乗者の人数が「１人」、運転者と同乗者との関係性が「職場の上司」、車内の盛り上がり度が「低い」、発信者が「職場の同僚」の組み合わせを一つのパターンに設定する。そして、制御装置２３０は、このパターンに対しては、ビジネスモードが適していると判定し、設定したパターンとビジネスモードを対応づける。

制御装置２３０は、分類した結果をデータベース２２０に格納することで、データベース２２０には、応答履歴に含まれる項目ごとの着信の通知形態の情報、又はパターンごとの着信の通知形態の情報が格納される。

次に、情報提供処理について説明する。制御装置２３０は、所定の周期毎に、データセンタ２００から項目ごと又はパターンごとに分類された着信通知形態情報を取得し、取得した情報を複数の車両の車載通信装置１５０に対して送信する。

次に、図２〜４を参照しながら、車載制御装置１７０が実行する応答履歴送信処理について説明する。図２は、車載制御装置１７０がデータセンタ２００に応答履歴の情報を送信するまでのフローチャートである。図２〜４に示すフローチャートの処理は、各車両に搭載された車載システム１００によりそれぞれ実行される。

まず、ステップＳ１０１では、車載制御装置１７０は、撮像装置１１０から車内の撮像画像を取得し、またマイク１２０から車内の音声情報を取得する。撮像装置１１０及びマイク１２０が複数設けられている場合、車載制御装置１７０は、複数の撮像装置１１０から複数の撮像装置を取得し、また複数のマイク１２０から複数の音声情報を取得する。このステップで取得された情報は、後述する着信前の車内の状況を判断する際に用いられる。

ステップＳ１０２では、車載制御装置１７０は、車内への電話の着信があるか否かを判定する。車載制御装置１７０は、情報端末１８０から着信を通知する情報を取得すると、着信を検出する。着信を検出した場合、ステップＳ１０３へ進み、着信を検出していない場合、ステップＳ１０１に戻る。

ステップＳ１０３では、車載制御装置１７０は、電話の発信者の情報を取得する。例えば、車載制御装置１７０は、情報端末１８０から登録されている情報を取得することで、発信者の情報を取得することができる。発信者の情報には、電話番号、発信者の氏名、登録上のカテゴリが含まれる。

ステップＳ１０４では、車載制御装置１７０は、ステップＳ１０１と同様に、車内の撮像画像及び音声情報を取得する。このステップで取得された情報は、着信の通知から乗員が応答するまでの応答時間を取得する際に用いられる。

ステップＳ１０５では、車載制御装置１７０は、ステップＳ１０２で検出された電話の着信に対して、所定の通知形態を用いて車両の乗員に着信を通知する。このステップでは、車載制御装置１７０は、車内の状況を特に考慮しておらず、例えば、複数の着信の通知形態の中から、予め運転者に設定された通知形態を用いる。なお、このステップにおいても、車載制御装置１７０は、ステップＳ１０４での処理を継続している。

ステップＳ１０６では、車載制御装置１７０は、ステップＳ１０１及びステップＳ１０４と同様に、車内の撮像画像及び音声情報を取得する。このステップで取得された情報は、後述する着信後の車内の状況を判断する際に用いられる。

ステップＳ１０７では、車載制御装置１７０は、着信前後それぞれでの車内の状況を判断する。この処理については、図３を参照しながら説明する。図３は、着信前後での車内の状況を判断するためのフローチャートである。

ステップＳ２０１では、車載制御装置１７０は、運転者と同乗者との関係性を推定する。例えば、車載制御装置１７０は、ステップＳ１０１で取得した撮像画像及び音声情報に基づいて、運転者と同乗者との関係性を推定する。関係性としては、家族、友人、職場の同僚、職場の上司等が例示できる。また、このステップでは、車載制御装置１７０は、同乗者の乗降履歴を取得することで、運転者の同乗者に対する親密度を推定し、推定し親密度を、運転者と同乗者との関係性の情報の一部とする。例えば、車載制御装置１７０は、車載データベース１６０から同乗者の乗降履歴を取得する。なお、車載制御装置１７０は、撮像画像及び音声情報の何れか一方の情報を用いて、運転者と同乗者との関係性を推定してもよい。

ステップＳ２０２では、車載制御装置１７０は、全ての同乗者に対して運転者との関係性を推定したか否かを判定する。全ての同乗者について運転者との関係性を推定している場合には、ステップＳ２０３へ進み、関係性を推定していない同乗者が存在する場合には、ステップＳ２０１へ戻る。

ステップＳ２０３では、車載制御装置１７０は、着信前の車内の盛り上がり度を推定する。例えば、車載制御装置１７０は、ステップＳ１０１で取得した撮像画像から乗員の表情を抽出し、またステップＳ１０１で取得した音声情報から、車内の会話の内容や、乗員の声のトーンや大きさを抽出し、着信前の車内の盛り上がり度を推定する。盛り上がり度としては、例えば、「高い」、「普通」、「低い」の３つのカテゴリで表す方法が挙げられる。なお、車載制御装置１７０は、撮像画像及び音声情報の何れか一方の情報を用いて、車内の盛り上がり度を推定してもよい。

ステップＳ２０４では、車載制御装置１７０は、着信前の車内の状況を判断する。例えば、車載制御装置１７０は、ステップＳ２０２で推定した運転者と同乗者との関係性、同乗者の人数、ステップＳ２０３で推定した車内の盛り上がり度を関連づけることで、着信前の車内の状況を判断することができる。車内の状況とは、車内の雰囲気を示す。

ステップＳ２０５では、車載制御装置１７０は、着信後の車内の盛り上がり度を推定する。このステップは、ステップＳ２０３に対応している。本実施形態では、車載制御装置１７０は、ステップＳ１０６で取得した撮像画像及び音声情報から、着信後の車内の盛り上がり度を推定する。

ステップＳ２０６では、車載制御装置１７０は、着信後の車内の状況を判断する。このステップは、ステップＳ２０４に対応しているため、Ｓ２０４で行った説明を援用する。ステップＳ２０６が終了すると、着信前後での車内の状況を判断する処理は終了し、図２に示すステップＳ１０８に進む。

図２に示すように、ステップＳ１０８では、車載制御装置１７０は、着信の通知形態の適否を判定する。この処理については、図４を参照しながら説明する。図４は、着信の通知形態の適否を判定するためのフローチャートである。

ステップＳ３０１では、車載制御装置１７０は、着信前後での車内の状況を比較する。比較対象は、図３に示すステップＳ２０４での処理の結果と、ステップＳ２０６での処理の結果である。

ステップＳ３０２では、車載制御装置１７０は、着信後の車内の盛り上がり度が着信前の車内の盛り上がり度に対して低下しているか否かを判定する。比較対象は、図３に示すステップＳ２０３での処理の結果と、ステップＳ２０５での処理の結果である。例えば、盛り上がり度が「高い」から「低い」に変化している場合には、車載制御装置１７０は、着信後の盛り上がり度は低下したと判定する。着信後の盛り上がり度が着信前の盛り上がり度よりも低下している場合には、ステップＳ３０３へ進み、着信後の盛り上がり度が着信前の盛り上がり度と同じレベルか又は着信前の盛り上がり度よりも向上している場合には、ステップＳ３０４へ進む。

ステップＳ３０３では、車載制御装置１７０は、ステップＳ１０５で用いた通知形態は不適切と判定する。

ステップＳ３０４では、車載制御装置１７０は、着信の通知に対する乗員の応答時間を取得する。例えば、車載制御装置１７０は、図２に示す１０４で取得した撮像画像及び音声情報、さらに操作機器群１３０から入力される操作情報に基づいて、応答時間を特定することができる。応答時間としては、通知してから操作機器群１３０が操作されるまでの間の時間が例示できる。なお、車載制御装置１７０は、撮像画像、音声情報、及び操作情報の少なくとも何れか一つの情報を用いて、着信の通知に対する乗員の応答時間を取得することができる。

ステップＳ３０５では、車載制御装置１７０は、ステップＳ３０４で取得した応答時間が所定の基準時間を超えているか否かを判定する。所定の基準時間は、実験的に定められた時間が好ましい。例えば、車載制御装置１７０は、応答時間が基準時間（例えば、１０秒程度）を超えた場合、又は通知に対して乗員の応答がない場合に、応答時間は所定の基準時間を超えたと判定する。応答時間が基準時間を超えた場合、ステップＳ３０６へ進み、応答時間が基準時間を超えていない場合、ステップＳ３０７へ進む。

ステップＳ３０６では、車載制御装置１７０は、ステップＳ１０５で用いた通知形態は不適切と判定する。ステップＳ３０７では、車載制御装置１７０は、ステップＳ１０５で用いた通知形態は適切と判定する。

ステップＳ３０３、３０６、３０７の何れかのステップでの処理が終了すると、通知形態の適否の判定処理は終了し、図２に示すステップＳ１０９へ進む。

ステップＳ１０９では、車載制御装置１７０は、図４に示すステップＳ３０３、３０６、３０７の何れかのステップでの処理結果に基づいて、通知形態が適切だったか否かを判定する。通知形態が適切だった場合には、ステップＳ１１０に進み、通知形態が不適切だった場合には、応答履歴送信処理を終了する。

ステップＳ１１０では、車載制御装置１７０は、応答履歴の情報をデータセンタ２００に送信する。応答履歴の情報には、着信前の車内の状況（運転者と同乗者との関係性及び親密度、同乗者の人数、車内の盛り上がり度を含む）、利用された通知形態の情報、発信者の情報が含まれる。ステップＳ１１０での処理が終了すると、応答履歴送信処理は終了する。

次に、図５を参照しながら、データセンタ２００の制御装置２３０が実行する通知形態分類処理について説明する。図５は、制御装置２３０が車載システム１００に対して着信通知形態情報を送信するまでのフローチャートである。

ステップＳ４０１では、制御装置２３０は、車載システム１００の車載通信装置１５０から、応答履歴の情報を受信する。

ステップＳ４０２では、制御装置２３０は、ステップＳ４０１で受信した応答履歴の情報を、データベース２２０に格納するとともに、車内の状況ごとに通知形態を分類する。例えば、制御装置２３０は、車内の状況を構成する項目ごとに、着信の通知形態を分類する。また、例えば、制御装置２３０は、車内の状況を構成する各項目の一の組み合わせを一のパターンとして設定したうえで、パターンごとに通知形態を分類する。

ステップＳ４０３では、制御装置２３０は、分類した通知形態の情報をデータベース２２０に格納する。

ステップＳ４０４では、制御装置２３０は、データベース２２０から着信通知形態情報を取得するとともに、複数の車両に搭載されている複数の車載システム１００に対して、着信通知形態情報を送信する。ステップＳ４０４での処理が終了すると、通知形態分類処理は終了する。なお、通知形態分類処理は、所定の期間毎に行われる。

次に、図６を参照しながら、車載制御装置１７０が実行する着信通知処理について説明する。図６は、車載制御装置１７０が着信を検出してから、車両の乗員に着信を通知するまでのフローチャートである。ステップＳ５０１〜ステップＳ５０３は、図２に示すステップＳ１０１〜ステップＳ１０３に対応し、ステップＳ５０４は、図２に示すステップＳ１０１に対応している。また、ステップＳ５０５は、図３に示すステップＳ２０１に対応し、ステップＳ５０６、Ｓ５０７は、図３に示すステップＳ２０３、２０４に対応している。ステップＳ５０１〜ステップＳ５０７については、対応する各ステップで行った説明を援用する。

ステップＳ５０８では、車載制御装置１７０は、ステップＳ５０７で判断した車内の状況に応じた着信の通知形態を取得する。具体的には、車載制御装置１７０は、車載データベース１６０にアクセスし、現在の車内の状況を示す各項目（運転者と同乗者の関係性及び親密度、同乗者の人数、盛り上がり度）と、ステップＳ５０３で取得した発信者の情報を検索条件とし、車載データベース１６０の中から検索条件に該当する着信の通知形態の情報を取得する。なお、検索条件に該当しているか否かの判定は、適宜設定され、例えば、全項目が完全一致していなくてもよく、部分一致であってもよい。

ステップＳ５０９では、車載制御装置１７０は、ステップＳ５０８で取得した着信の通知形態の情報を用いて、電話の着信を車内の乗員に通知する。例えば、車載制御装置１７０は、ディスプレイ１４１に着信の通知情報を表示させたり、スピーカ１４２から呼び出し音と出力させたり、振動装置１４３を振動させたりする。ステップＳ５０９での処理が終了すると、着信通知処理は終了する。

以上のように、本実施形態では、撮像装置１１０から車内の撮像画像を取得し、撮像画像に基づいて、車両の運転者と同乗者との関係性を推定し、推定した関係性に基づいて、現在の車内の状況を判断し、車内への着信を検出した場合、電話の発信者を識別することが可能な発信情報を取得し、発信情報と現在の車内の状況とに応じた着信の通知形態を特定し、特定した通知形態を用いて、車両の乗員に電話の着信を通知する。これにより、現在の車内の状況に適した着信形態を用いて電話の着信を通知することができる。車内の雰囲気に合わせた通知形態を用いて着信が通知されるため、電話の着信により車内の雰囲気が変わることを抑制することができる。

また、本実施形態では、同乗者の乗降履歴を取得し、取得した乗降履歴に基づいて、運転者と同乗者との関係性を推定する。これにより、リアルタイムで得られる情報だけでなく、履歴情報を用いて関係性を推定することができるため、運転者と同乗者との関係性の推定の精度を上げることができる。また、運転者と同乗者の関係性だけでなく、当該関係性において運転者に対する同乗者の親密度についても推定することができる。

さらに、本実施形態では、マイク１２０から車内の音声情報を取得し、音声情報に含まれる車内での会話に基づいて、運転者と同乗者との関係性を推定する。これにより、会話の中で用いられている用語の頻度から、特定の関係性を推定することができる。例えば、ビジネス用語の頻度が高い場合、運転者と同乗者との関係性を職場の関係と推定することができる。

加えて、本実施形態では、車内の撮像画像に基づいて、車両の乗車人数を特定し、乗車人数と、運転者と同乗者との関係性とに基づいて、車内の状況を判断する。これにより、運転者と同乗者との関係性、同乗者の人数の組み合わせを用いて、車内の雰囲気という抽象的な概念を一つの情報として扱うことができる。

また、本実施形態では、車内の撮像画像及び音声情報と、着信の通知形態を含む応答履歴を、複数の車両から収集し、複数の応答履歴から、車内の状況ごとに、着信の通知形態を分類し、現在の車内の状況に応じた通知形態を特定し、特定した通知形態を用いて、電話の着信を通知する。これにより、同乗者に初対面の人物が含まれている場合であっても、他車両での応答履歴に基づいて、現在の車内の状況に応じた適切な通知形態を用いて、着信を通知することができる。

さらに、本実施形態では、複数の応答履歴のうち、着信から電話にでるまでの応答時間が所定の時間未満であった通知形態、及び、着信前後における車内での会話の数の差が所定の回数未満であった通知形態のうち少なくとも一方の通知形態が含まれる応答履歴を抽出し、抽出した応答履歴から、発信者と現在の車内の状況とに応じた通知形態を特定する。これにより、着信後の車内の雰囲気を悪くした通知形態を除外することができ、より現在の車内の雰囲気に合った通知形態を用いて、通知することができる。

加えて、本実施形態では、車内で用いられる通知形態は、視覚を通じて着信を通知する通知形態、聴覚を通じて通知する通知形態、触覚を通じて着信を通知する通知形態の少なくとも一つを含む。これにより、例えば、音声を使用しなくても通知することができるため、車内での会話を妨害することを防ぐことができる。また、例えば、特定の乗員にのみ振動を通じて着信を通知することができるため、発信者を特定されにくくすることができ、プライバシーの保護を図ることができる。

なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

例えば、上述した実施形態では、データセンタ２００が所定の期間ごとに着信通知形態情報を車載システム１００に送信し、車載データベース１６０に格納されている着信通知形態情報が更新される構成を例に挙げて説明したが、これに限られない。例えば、車載システム１００は、車載データベース１６０を備えておらず、データセンタ２００が車載データベース１６０に相当するデータベースを備えていてもよい。この場合、例えば、車載システム１００は現在の車内の状況が判断すると、車載通信装置１５０を介して、現在の車内の状況の情報をデータセンタ２００に送信する。そして、データセンタ２００は、現在の車内の情報に応じた着信の通知形態を特定する処理が実行し、特定した着信の通知形態の結果を車載システム１００に送信してもよい。

また、例えば、上述した実施形態では、複数の車両から応答履歴の情報を収集する構成を例に挙げて説明したが、これに限られない。例えば、応答履歴の情報を収集する対象の車両を特定の車両に限定してもよいし、応答履歴の情報を収集する対象の車両を所定の基準に基づいて複数のカテゴリに分類してもよい。

また、例えば、図２に示す応答履歴送信処理において、ステップＳ１０５では、予め運転者に設定された通知形態を用いる例を挙げて説明したが、これに限られない。例えば、図６に示す着信通知処理にて、現在の車内の状況に応じて特定された通知形態であってもよい。この場合、特定された通知形態が応答履歴に含まれることになり、データセンタ２００のデータベース２２０には、各車両で特定された通知形態の情報が、車内の状況ごとに格納される。これにより、データベース２２０は、各車両での着信通知処理の実行結果を格納することができる。

また、例えば、本明細書では、本発明に係る着信通知装置を、着信通知装置１４０を含む車載システム１００を例に説明するが、本発明はこれに限定されるものではない。また、例えば、本明細書では、本発明に係るコントローラを、車載制御装置１７０を例に説明するが、本発明はこれに限定されるものではない。

１００…車載システム
１１０…撮像装置
１２０…マイク
１３０…操作機器群
１４０…着信通知装置
１４１…ディスプレイ
１４２…スピーカ
１４３…振動装置
１５０…車載通信装置
１６０…車載データベース
１７０…車載制御装置
２００…データセンタ
２１０…通信装置
２２０…データベース
２３０…制御装置

Claims (8)

1. コントローラを用いて、電話の着信を車両の乗員に通知する着信通知方法であって、
   車内の撮像画像を取得し、
   前記撮像画像に基づいて、前記車両の運転者と同乗者との関係性を推定し、
   前記関係性に基づいて、現在の車内の状況を判断し、
   車内への着信を検出した場合、電話の発信者を識別することが可能な発信情報を取得し、
   前記発信情報と現在の前記車内の状況とに応じた着信の通知形態を特定し、
   特定した前記通知形態を用いて前記着信を通知する着信通知方法。
2. 請求項１に記載の着信通知方法であって、
   前記車両への前記同乗者の乗降履歴を取得し、
   前記同乗者の乗降履歴に基づいて、前記運転者と前記同乗者との前記関係性を推定する着信通知方法。
3. 請求項１又は２に記載の着信通知方法であって、
   車内の音声情報を取得し、
   前記音声情報に含まれる車内での会話に基づいて、前記関係性を推定する着信通知方法。
4. 請求項２又は３に記載の着信通知方法であって、
   前記撮像画像に基づいて、前記車両の乗車人数を特定し、
   前記乗車人数と前記関係性に基づいて、前記車内の状況を判断する着信通知方法。
5. 請求項１〜４のいずれか一項に記載の着信通知方法であって、
   車内の撮像画像及び音声情報と、前記通知形態を含む応答履歴を、複数の車両から収集し、
   複数の前記応答履歴から、前記車内の状況ごとに、前記通知形態を分類し、
   現在の車内の状況に対応した前記通知形態を特定し、
   特定した前記通知形態を用いて、前記着信を通知する着信通知方法。
6. 請求項５に記載の着信通知方法であって、
   前記複数の応答履歴のうち、着信から電話にでるまでの応答時間が所定の時間未満であった通知形態、及び、着信前後における車内での会話の数の差が所定の回数未満であった通知形態のうち少なくとも一方の通知形態が含まれる応答履歴を抽出し、
   抽出した応答履歴から、前記発信者と現在の前記車内の状況とに応じた通知形態を特定する着信通知方法。
7. 請求項１〜６のいずれか一項に記載の着信通知方法であって、
   前記着信の通知形態は、視覚を通じて着信を通知する通知形態、聴覚を通じて着信を通知する通知形態、触覚を通じて着信を通知する通知形態の少なくとも一つを含む着信通知方法。
8. コントローラを備える着信通知装置であって、
   前記コントローラは、
   車内の撮像画像を取得し、
   前記撮像画像に基づいて、車両の運転者と同乗者との関係性を推定し、
   前記関係性に基づいて、現在の車内の状況を判断し、
   車内への着信を検出した場合、電話の発信者を識別することが可能な発信情報を取得し、
   前記発信情報と現在の前記車内の状況とに応じた着信の通知形態を特定し、
   特定した前記通知形態を用いて前記着信を通知する着信通知装置。

Images