JP2007074081A - 車載用通信装置 - Google Patents

Abstract

【課題】 より円滑にコミュニケーションを図る。
【解決手段】 車両の全乗員を含む画像を撮影する車室内カメラ１０ａと、車室内カメラ１０ａによって撮影された全乗員を含む画像から乗員毎に注目した領域の画像を切り出す画像切り出し部１０ｂと、画像切り出し部によって切り出された画像から発話者に注目した領域を選択する話者位置判定機１１ｂと、話者位置判定機によって選択された発話者に注目した領域の画像を通話相手の車載通信装置へ送信する通信機１７を備える。
【選択図】 図１

Description

本発明は、車両に搭載され、他の通信装置とテレビ電話機能を利用した通話を行う車載通信装置に関する。

近年、テレビ電話機能を備えたカメラ付携帯電話の普及により、テレビ電話機能を利用した通話が増えてきている。このテレビ電話機能により、音声だけでなく、相手の顔を見て視覚的コミュニケーションを図りながら会話することが可能となっている。

このようなテレビ電話機能を備えたカメラ付携帯電話を利用して通信を行う通信装置として、他の車両に搭載された同様の装置から送信される通話相手の電話番号や現在位置データに基づいて、ナビゲーション装置のモニタ画面上の地図の対応する位置に通話相手の顔画像や電話番号等をテンプレートとして表示させ、また、通話相手のテンプレートを大型表示またはフラッシュ表示等させて、通話相手の位置や通話相手が誰であるかを識別し易くしたものが提案されている（例えば、特許文献１参照）。
特開２００３−１２１１６２号公報

ところで、車両に複数の人が乗車し、この車の乗員と別の車の乗員との間でテレビ電話機能を備えたカメラ付携帯電話を利用して会話するといった状況が考えられる。このような状況では、カメラの撮影範囲に含まれない人が会話に参加すると、通話相手には誰が話しているのか分からなくなってしまう場合がある。

このような場合、特許文献１に記載したようなカメラ付き携帯電話を利用した通信装置では、通話相手の通信機器の表示部に表示させる画像範囲を容易に切り替えることができないため、カメラを発話者に向けたり、全乗員がカメラの撮影範囲に含まれるようにカメラの位置を移動させたりする必要があり、視覚的コミュニケーションを図りながら会話するのには限界がある。

本発明は上記問題に鑑みたもので、より円滑にコミュニケーションを図ることを目的とする。

上記目的を達成するため、本発明では、車両の全乗員を含む画像を撮影するカメラと、カメラによって撮影された全乗員を含む画像から乗員毎に注目した領域の画像を切り出す画像切り出し部と、画像切り出し部によって切り出された画像から特定の乗員に注目した領域を選択する選択手段と、選択手段によって選択された特定の乗員に注目した領域の画像を通話相手の通信装置へ送信する送信手段と、を備えたことを第１の特徴としている。

このように、選択手段によって画像切り出し部によって切り出された画像から発話者に注目した領域を選択し、送信手段は、特定の乗員に注目した領域の画像を通話相手の通信装置へ送信するので、カメラの向きを発話者に合わせたり、全乗員がカメラの撮影範囲に含まれるようにカメラの位置を移動させたりする必要がなく、より円滑にコミュニケーションを図ることができる。

また、本発明は、複数のマイクロフォンを有し、当該マイクロフォンによって集音された音声に基づいて当該音声の発生位置を検知する位置検知マイクと、位置検知マイクによって検知された音声の発生位置に基づいて発話者の位置を特定する第１の特定手段と、を備え、選択手段は、第１の特定手段によって特定された発話者の位置を特定の乗員に注目した領域として選択することを第２の特徴としている。

このように、位置検知マイクによって検知された音声の発生位置に基づいて発話者の位置が特定され、特定された発話者の位置が発話者に注目した領域として選択されるので、発話者が他の乗員に変わっても、発話者に注目した領域の画像を自動的に切り替えて他の通信装置へ送信することができる。

また、本発明は、画像切り出し部によって切り出された乗員毎に注目した領域の画像を表示する表示手段と、表示手段に表示された乗員毎に注目した領域の画像の中から乗員の操作に応じて特定の乗員に注目した領域の画像を特定する第２の特定手段を備え、選択手段は、第２の特定手段によって特定された画像を特定の乗員に注目した領域として選択することを第３の特徴としている。

このように、車両の乗員は、表示手段に表示された乗員毎に注目した領域の画像の中から特定の乗員に注目した領域の画像を容易に特定することができる。

また、本発明は、車両の各乗員に注目した各静止画像を縮小して並べて配置したサムネイル画像を生成するサムネイル画像生成手段と、選択手段は、サムネイル画像生成手段によって生成されたサムネイル画像を通話相手の車載通信装置へ送信し、送信したサムネイル画像の中から通話相手によって特定された画像を示す信号を通話相手の車載通信装置から受信し、通話相手によって特定された画像を特定の乗員に注目した領域の画像として選択することを第４の特徴としている。

複数の動画像を送受信する場合、通信負荷が大きくなることが考えられるが、このように、サムネイル画像生成手段によって生成されたサムネイル画像を通話相手の通信装置へ送信することにより、通信負荷を低減することができる。

（第１実施形態）
本発明の第１実施形態に係る車載通信装置の構成を図１に示す。車載通信装置１は、車両に搭載され、車室内カメラ装置１０、位置検知マイク装置１１、ユーザ操作部１５、表示器１６、通信機１７および車載サーバ１８を備えている。

車室内カメラ装置１０と位置検知マイク装置１１は一体で構成され、図２に示すように車室内の車両前方の天井に取り付けられている。このように車室内カメラ装置１０と位置検知マイク装置１１を一体化することで取り付け作業を容易にしている。車室内カメラ装置１０は、車室内カメラ１０ａおよび画像切り出し部１０ｂを備え、位置検知マイク装置１１は、位置検知マイク１１ａおよび話者位置判定機１１ｂを備えている。

車室内カメラ１０ａは、半球状の魚眼レンズを有し、この魚眼レンズを用いて車室内の画像を撮影する。この車室内カメラ１０ａにより、自車内の全乗員の顔を含む全体画像が撮影される。

画像切り出し部１０ｂには、車室内カメラ１０ａによって撮影された全体画像の画像データおよび車両の各座席に設けられた着座センサ（図示せず）から座席毎に乗員が着座しているか否かを示す検知信号が入力される。

画像切り出し部１０ｂは、着座センサから入力される検知信号に基づいて乗員が着座している座席位置を特定し、車室内カメラ１０ａによって撮影された全体画像から着座している乗員毎に乗員に注目した領域（例えば、乗員の顔を中心とした領域）を画像処理により切り出し、切り出した各乗員の注目画像（動画像）とともに車室内カメラ１０ａによって撮影された全体画像（動画像）の画像を車載サーバ１８へ送信する。なお、切り出した各乗員の注目画像には座席位置を示す情報が付加され車載サーバ１８に送信される。

なお、車室内カメラ１０ａによって撮影された画像はゆがんだ画像となるため、画像切り出し部１０ｂは、車室内カメラ１０ａによって撮影された画像に対してゆがみの補正を行った後、乗員に注目した領域を切り出して車載サーバ１８へ出力する。ここではソフトウェア処理によりゆがみの補正を行うようにしているが、グラフィックボード等を用いてハード的に実現してもよい。

位置検知マイク１１ａは、車両の前後左右方向に向けて配置された４つのマイクロフォンｍ１〜ｍ４（図２中には、ｍ１とｍ２のみを示す）を有し、これらのマイクロフォンｍ１〜ｍ４によって乗員毎の音声を集音し、集音した音声に応じた音声信号を話者位置判定機１１ｂへ出力する。

話者位置判定機１１ｂは、位置検知マイク１１ａの各マイクロフォンｍ１〜ｍ４から入力される音声信号を車載サーバ１８へ送信するとともに、位置検知マイク１１ａの各マイクロフォンｍ１〜ｍ４から入力される音声信号に基づいて音声の発生位置、すなわち発話者の座席位置を判定し、発話者の座席位置を示す情報を車載サーバ１８へ送信する。

位置検知マイク１１ａの各マイクロフォンｍ１〜ｍ４によって集音される音声の大きさは発話者の座席位置によって異なることから、話者位置判定機１１ｂは、位置検知マイク１１ａの各マイクロフォンｍ１〜ｍ４によって集音される音声の大小関係に基づいて発話者の座席位置を判定する。

ユーザ操作部１５は、押しボタンスイッチ、表示器１６に重ねて設けられたタッチパネル等によって構成され、乗員の操作に応じた信号を出力する。

表示器１６は、車載サーバ１８から入力される映像信号に応じた映像を表示する。

通信機１７は、他の通信機器と通信するための無線機により構成されており、図３に示すように、携帯電話網、無線ＬＡＮといった中継局を介して他の通信機器と通信する中継通信と光、マイクロ波を利用して他の通信機器と直接通信する直接通信の両方が利用できるように構成されている。なお、本実施形態では、中継通信により他の通信装置と通信するものとして説明するが、例えば、直接通信により他の通信装置と通信を行い、通信途絶が発生した場合に直接通信に切り替えて他の通信装置と通信するように構成してもよい。

車載サーバ１８は、画像音声連結部１８ａ、一時記憶部１８ｂ、画像記憶部１８ｃおよび主制御器１８ｅを備えている。

画像音声連結部１８ａには、画像切り出し部１０ｂから自車内の全乗員を含む画像（動画像）と各乗員に注目した画像（動画像）が入力され、話者位置判定機１１ｂから位置検知マイク１１ａの各マイクロフォンｍ１〜ｍ４から入力される音声信号と発話者の座席位置を示す情報が入力される。なお、上述したように画像切り出し部１０ｂから入力される各画像には、座席位置を示す情報が付加されている。

画像音声連結部１８ａは、画像切り出し部１０ｂから入力される画像と話者位置判定機１１ｂを介して位置検知マイク１１ａの各マイクロフォンｍ１〜ｍ４から入力される音声信号とを連結する。具体的には、画像切り出し部１０ｂから入力される自車内の全乗員を含む画像の画像データと位置検知マイク１１ａの全マイクロフォンｍ１〜ｍ４から入力される音声信号とを関連付けした画像音声会話データを生成する、また、乗員の注目画像についても、その乗員の座席位置に応じて予め定められたマイクロフォンから入力される音声信号を関連付けて画像音声会話データを生成する。このようにして生成された画像音声会話データは、主制御器１８ｅによって画像記憶部１８ｃに記憶される。

一時記憶部１８ｂは、ＲＡＭによって構成され、一時的にデータを記憶する記憶媒体として利用される。この一時記憶部１８ｂは、画像記憶部１８ｃ、表示器１６、通信機１７とそれぞれ高速データバスにより接続されている。

画像記憶部１８ｃは、ハードディスクドライブによって構成され、上記画像音声会話データや通信機１７を介して他の通信機器から受信した画像等が記憶される。

主制御器１８ｅは、ＣＰＵ、メモリ等を有するコンピュータによって構成され、メモリに記憶されたプログラムに従って各種処理を行う。主制御器１８ｅは、画像音声連結部１８ａとともに一時記憶部１８ｂを介してユーザ操作部１５、表示器１６、通信機１７、画像記憶部１８ｃと各種データの授受を行う。

主制御器１８ｅは、画像音声連結部１８ａを介して話者位置判定機１１ｂから発話者の座席位置を示す情報を取得して発話者がどの乗員であるかを識別する。

上記した構成において、乗員の操作に応じて図示しないバッテリから電源が供給されると、車載サーバ１８の主制御器１８ｅはメモリに記憶されたプログラムに従って動作を開始する。そして、車載通信装置１からの発信あるいは他の通信装置からの着信により、車載通信装置１と相手の通信機器との間の通信が確立すると、相手の通信機器と通話が可能な状態となる。また、相手の通信機器がテレビ電話機能に対応する機器の場合、相手の通信機器との間でテレビ電話機能を利用した通話が可能な状態となる。

なお、車室内カメラ装置１０および位置検知マイク装置１１は、相手の通信機器との間でテレビ電話機能を利用した通話が可能な状態になると処理を開始し、テレビ電話機能を利用した通話が終了すると処理を終了する。

また、本実施形態における車載通信装置１は、乗員の操作によって相手の通信機器の表示部に表示させる表示モードを「特定人物」、「ランダム」、「車内全体」、「自動」の４つの中から選択できるようになっている。主制御器１８ｅは、乗員の操作によって選択される表示モードに従って相手の通信機器の表示部に表示させる画像データを選択して相手の通信機器へ送信する表示モード選択処理を行う。

次に、図４を参照して、主制御器１８ｅによる表示モード選択処理について説明する。主制御器１８ｅは、通信機１７を介して相手の通信機器との間でテレビ電話機能を利用した通信が確立すると、図４に示す処理を開始する。

まず、相手の通信機器の表示部に表示させる画像の表示モードを判定する。具体的には、「特定人物」、「ランダム」、「車内全体」、「自動」の中から表示モードを選択させるメニュー画面を表示器１６に表示させ、乗員のユーザ操作部１５の操作によりどの表示モードが選択されたかを判定する（Ｓ１００）。

まず、表示モードの選択において「特定人物」モードが選択された場合、特定人物の画像取り込みを開始する（Ｓ１０２）。具体的には、全体画像（動画像）を表示させ、この全体画像の中から乗員の操作によって特定された人物に注目した画像を画像記憶部１８ｃから取り込んで一時記憶部１８ｂに記憶する処理を開始する。なお、人物の特定は、特定する人物の顔のクリック操作または特定する人物の上半身を丸で囲む等の操作により特定される。

次に、対象人物の音声信号の取り込みを開始する（Ｓ１０４）。具体的には、画像記憶部１８ｃに記憶された画像音声会話データに基づいて乗員の操作によって特定された人物の注目画像と関連付けて記憶された音声信号を画像記憶部１８ｃから取り込んで一時記憶部１８ｂに記憶する処理を開始し、Ｓ１２６へ進む。

また、表示モードの選択において「ランダム」モードが選択された場合、乗員毎の人物画像をランダムに取り込む処理を開始する（Ｓ１０８）。具体的には、座席に着座している各乗員の注目画像を、予め定められた順序に従って一定時間毎に切り替えて画像記憶部１８ｃから取り込み一時記憶部１８ｂに記憶する処理を開始する。

次に、対象人物の音声信号の取り込みを開始する（Ｓ１１０）。具体的には、画像記憶部１８ｃに記憶された画像音声会話データに基づいて画像記憶部１８ｃからランダムに取り込む注目画像と関連付けて記憶された音声信号を画像記憶部１８ｃから取り込んで一時記憶部１８ｂに記憶する処理を開始し、Ｓ１２６へ進む。

また、表示モードの選択において「車内全体」モードが選択された場合、車内の全乗員が含まれる画像の取り込みを開始する（Ｓ１１４）。具体的には、車内の全乗員が含まれる画像を画像記憶部１８ｃから取り込んで一時記憶部１８ｂに記憶する処理を開始する。

次に、対象人物の音声信号の取り込みを開始する（Ｓ１１６）。具体的には、画像記憶部１８ｃに記憶された画像音声会話データに基づいて自車内の全乗員を含む画像の画像データと関連付けて記憶された音声信号を画像記憶部１８ｃから取り込んで一時記憶部１８ｂに記憶する処理を開始し、Ｓ１２６へ進む。なお、自車内の全乗員を含む画像の画像データと関連付けて記憶された音声信号は、位置検知マイク１１ａの全マイクロフォンｍ１〜ｍ４から入力される音声信号である。

また、表示モードの選択において「自動」モードが選択された場合、発話者に注目した画像を画像記憶部１８ｃから取り込む処理を開始する（Ｓ１２０）。具体的には、話者位置判定機１１ｂから送信される発話者の座席位置を示す情報に基づいて発話者に注目した画像を画像記憶部１８ｃから取り込んで一時記憶部１８ｂに記憶する処理を開始する。なお、この処理では、発話者が別の乗員に変わると画像記憶部１８ｃから別の乗員の注目画像を取り込んで一時記憶部１８ｂに記憶するようになる。

次に、対象人物の音声信号を画像記憶部１８ｃから取り込む（Ｓ１２２）。具体的には、画像記憶部１８ｃに記憶された画像音声会話データに基づいて発話者の注目画像と関連付けて記憶された音声信号を画像記憶部１８ｃから取り込んで一時記憶部１８ｂに記憶する処理を開始し、Ｓ１２６へ進む。なお、この処理においても、発話者が別の乗員に変わると画像記憶部１８ｃから別の乗員の音声信号を取り込んで一時記憶部１８ｂに記憶するようになる。

Ｓ１２６では、各表示モードにおいて画像記憶部１８ｃから取り込んだ画像と音声信号から相手の通信機器へ送信する送信データを生成し、生成した送信データに従って表示器１６から映像出力させるとともにスピーカから音声出力させる。

次に、通信機１７を介してＳ１２６で生成した送信データを相手の通信機器へ送信する（Ｓ１２８）。

「特定人物」モードが選択されている場合、相手の通信機器の表示部には、図５（ａ）に示すように、乗員のユーザ操作部１５の操作によって特定された特定人物に注目した画像が表示され、相手の通信機器のスピーカから特定人物の音声が出力される。

また、「ランダム」モードが選択されている場合、相手の通信機器の表示部には各乗員の注目画像が座席位置に応じて一定時間毎に順番に切り替えてランダムに表示され、相手の通信機器のスピーカからランダムに表示される乗員の座席位置に対応するマイクロフォンで集音された音声が出力される。

また、「車内全体」モードが選択されている場合、相手の通信機器の表示部には、図５（ｂ）に示すように、自車内の全乗員が含まれる画像が表示され、相手の通信機器のスピーカから位置検知マイク１１ａの全マイクロフォンによって集音された音声が出力される。

また、「自動」モードが選択されている場合、相手の通信機器の表示部には発話者の注目画像が表示され、相手の通信機器のスピーカから発話者の座席位置に対応するマイクロフォンで集音された音声が出力される。発話者が他の乗員に変わると、相手の通信機器に表示される乗員の注目画像も自動的に切り替わる。

次に、表示モードの切り替え依頼が有るか否かを判定する（Ｓ１３０）。具体的には、ユーザ操作部１５から乗員の操作に応じて他の表示モードへの切り替え指示が入力された場合、表示モードの切り替え依頼が有ると判定し、他の表示モードへの切り替え依頼が入力されない場合、表示モードの切り替え依頼がないと判定する。

他の表示モードへの切り替え指示が入力されない場合、Ｓ１３０の判定はＮＯとなり、Ｓ１２６〜Ｓ１３０の処理を繰り返す。

また、他の表示モードへの切り替え指示が入力された場合、Ｓ１３０の判定はＹＥＳとなり、Ｓ１０２、Ｓ１０８、Ｓ１１４、Ｓ１２０の各画像取り込み処理と、Ｓ１０４、Ｓ１１０、Ｓ１１６、Ｓ１２２の各音声取り込み処理を終了し、Ｓ１００の判定へ戻る。

このように、乗員の操作によって「特定人物」モードが選択された場合、相手の通信機器から特定人物に注目した画像と音声を出力させることができ、「ランダム」モードが選択された場合、相手の通信機器から着座している乗員の注目画像と音声を一定時間毎に順番に切り替わるように出力させることができる。また、「車内全体」モードが選択された場合、相手の通信機器から車両内の全乗員が含まれる画像と音声を出力させることができ、「自動」モードが選択された場合、相手の通信機器から発話者に注目した画像と音声を出力させることができる。

上記した構成によれば、「特定人物」モードにおいて、画像切り出し部１０ｂによって切り出された画像の中からユーザ操作部１５の操作によって選択された特定の乗員に注目した領域の画像が相手の通信装置へ送信されるので、カメラの向きを発話者に合わせたり、全乗員がカメラの撮影範囲に含まれるようにカメラの位置を移動させたりすることなく、特定の乗員に注目した領域の画像を相手の通信機器に表示させることができ、円滑にコミュニケーションを図ることができる。

また、「ランダム」モードにおいて、座席に着座している各乗員の注目画像が、予め定められた順序に従って一定時間毎に切り替えて相手の通信機器へ送信されるので、自動的に座席に着座している各乗員の注目画像を一定時間毎に切り替えて相手の通信機器に表示させることができる。

また、「車内全体」モードにおいて、自車内の全乗員が含まれる画像が相手の通信機器へ送信されるので、全乗員がカメラの撮影範囲に含まれるようにカメラの位置を移動させることなく、特定の乗員に注目した領域の画像を相手の通信機器に表示させることができる。

また、「自動」モードにおいて、位置検知マイク１１ａによって検知された音声の発生位置に基づいて発話者の位置が特定され、特定された発話者の位置が発話者に注目した領域として選択され、選択された領域の画像が他の通信装置に送信されるので、発話者が他の乗員に変わっても、カメラの向きを発話者に合わせることなく、発話者に注目した画像を相手の通信機器に表示させることができ、円滑にコミュニケーションを図ることができる。

次に、図６を参照して、自車と他車にそれぞれ車載通信装置１が搭載され、自車と他車との間で直接通信による通話を行う場合の車載通信装置１間のデータのやり取りについて説明する。なお、本実施形態の車載通信装置１は、特定の個人と１対１で会話するモードと３人以上のグループで同時に会話するモードのいずれかを選択できるようになっており、ここでは、特定の個人と１対１で会話するモードを選択するものとして説明する。

まず、自車または他車の乗員の操作に応じて自車と他車との間の通信が確立すると、データの送受信が可能な状態となり（Ｓ２００、Ｓ３００）、自車と他車との間で「もしもし、はいはい」といった会話が交わされる。

そして、他車から「○○さん、顔見せて」といった問い掛けがあると、自車の乗員は、話者を○○さんに切り替える（Ｓ２０２）。具体的には、表示器１６のメニュー画面に従ってユーザ操作部１５の操作により「特定人物」モードを選択し、乗員の中の○○さんの顔を指定することによって、話者を○○さんに切り替える。

これにより、表示、音声が切り替えられ（Ｓ２０４）、自車から他車へ話者が○○さんに切り替えられた画像と音声が送信され、他車の車載通信装置１の表示器１６には○○さんに注目した画像が表示され、スピーカから○○さんの音声が出力される。

また、自車の○○さんが「そっちの△△さん、調子はどう？」と問い掛けると、他車の乗員は、話者を△△さんに切り替える。具体的には、ユーザ操作部１５の操作により、乗員の中の△△さんの顔を指定することによって、話者を△△さんに切り替える（Ｓ３０２）。

これにより、表示、音声が切り替えられ（Ｓ３０４）、他車から自車へ話者が△△さんに切り替えられた画像と音声が送信され、自車の車載通信装置１の表示器１６には△△さんに注目した画像が表示され、スピーカから△△さんの音声が出力される。

また、他車の△△さんから「全員の顔見せて」といった問い掛けがあると、自車の乗員は、話者を全乗員に切り替える。具体的には、表示器１６のメニュー画面に従って「車両全体」モードを選択し、話者を全乗員に切り替える（Ｓ２０６）。

これにより、表示、音声が切り替えられ（Ｓ２０８）、自車から他車へ自車の全乗員が含まれる画像と音声が送信され、他車の車載通信装置１の表示器１６には全乗員が含まれる画像が表示され、スピーカから全乗員の音声が出力される。

なお、本実施形態では、車両に搭載された車載通信装置１と、他の通信装置との間でテレビ電話機能を利用した通信を行う例を示したが、他の通信装置としては、例えば、テレビ電話機能を備えたカメラ付き携帯電話であってもよい。

（第２実施形態）
本発明の第２の実施形態に係る車載通信装置の構成を図７に示す。以下、第１実施形態と同一部分には、同一符号を付して説明を省略し、相違点を中心に説明する。本実施形態に係る車載通信装置２の構成は、図１に示した第１実施形態の構成と比較して、更に、車外カメラ１２、車外撮影位置判定機１３、位置測定器１４を備えている。また、車載サーバ１８は、更に、車外画像位置連結部１８ｄおよびカタログ生成部１８ｆを備えている。また、本実施形態に係る車載通信装置２は、同様の車載通信装置２が搭載された３台の車両（Ａ車、Ｂ車、Ｃ車）との間で車々間通信（直接通信）するものとして説明する。

車外カメラ１２は、車両の前方を撮影するフロントカメラと車両の後方を撮影するリアカメラを備え、これらのカメラによって車両周辺の景色等を撮影した画像を出力する。

車外撮影位置判定機１３には、車外カメラ１２のフロントカメラとリアカメラによって撮影された各画像が入力される。

車外撮影位置判定機１３は、車外カメラ１２から入力される画像がフロントカメラによって撮影された車両の前方の画像であるかリアカメラによって撮影された車両後方の画像であるかを判定し、車外カメラ１２によって撮影された画像に撮影方向を示す情報を付加して車載サーバ１８へ送信する。

位置測定器１４は、衛星からの測位信号を受信するＧＰＳ受信機やジャイロセンサ等を有し、これらのＧＰＳ受信機、ジャイロセンサ等を用いて車両の位置を算出し、算出した車両の位置（緯度経度）を出力する。

車外画像位置連結部１８ｄは、位置測定器１４によって算出された車両の位置から撮影位置を特定し、特定した撮影位置を車外撮影位置判定機１３から入力される画像に付加する。これにより、車外カメラ１２によって撮影された画像に撮影方向と撮影位置が付加された画像情報が生成される。

カタログ生成部１８ｆは、画像音声連結部１８ａに記憶された自車内の各乗員に注目した画像および車外画像位置連結部１８ｄによって生成された画像情報から、各画像の縮小静止画像を並べて配置したサムネイル画像を生成するとともに、このサムネイル画像をデータ圧縮したカタログデータを生成する。なお、サムネイル画像には、縮小した画像毎に座席位置、撮影位置、撮影方向等の情報が付加される。

次に、上記した車載通信装置２が搭載された３台の車両（Ａ車、Ｂ車、Ｃ車）でグループ走行する際の車載通信装置２の作動について説明する。

各車両の乗員の操作によって、３人以上のグループで同時に会話するモードが選択され、３台の車両間で各車両の乗員の操作に応じて通信が確立し車両相互間で車々間通信による通話が可能な状態となると、各車両Ａ〜Ｃの車載通信装置２は、他の２台の車載通信装置２へ自車のカメラ（車室内カメラ、フロントカメラ、リアカメラ）によって撮影した画像データを送信する。具体的には、カタログ生成部１８ｆによって生成されたカタログデータを送信する。なお、このカタログデータは、自車内の各乗員に注目した画像および車両周辺の画像の各画像の縮小静止画像を並べて配置したサムネイル画像を圧縮したデータである。

車載通信装置２は、他の車両の車載通信装置２からカタログデータを受信すると、受信したカタログデータに基づいて表示器１６にサムネイル画像を表示させる。

図８に、車両Ａの車載通信装置２の表示器１６に、車両Ｂ、Ｃの各カメラ（車室内カメラ、フロントカメラ、リアカメラ）によって撮影された小さな画面のライブ映像が表示された場合の表示例を示す。車両Ａの乗員が、これらの小さな画面の中の特定の画面を選択操作すると、選択された小さな画面の映像が拡大表示される。

なお、乗員は、ユーザ操作部１５の操作によりサムネイル画像の縮小画像毎に、乗員の座席位置、カメラの撮影位置、カメラの撮影方向等の説明を表示させるようにしてもよい。

また、車両Ａの乗員が、車両Ｂの車室内カメラと車両Ｃの車室内カメラを選択すると、車両Ａから車両Ｂ、Ｃに対してそれぞれ車室内カメラの撮影画像の送信依頼を示すコマンドが送信される。また、車両Ｂ、Ｃは、このコマンドを受信すると各車室内カメラの撮影画像を送信する。なお、車両Ｂ、Ｃから送信される各車室内カメラの撮影画像は、カタログ生成部１８ｆによって生成されたカタログデータとして送信される。

車両Ａの車載通信装置２は、車両Ｂ、Ｃから送信される各カタログデータに基づくサムネイル画像を表示器１６に表示させる。図９に、車両Ａの表示器１６の表示例を示す。図に示すように、表示器１６には、車両Ｂ、Ｃの各サムネイル画像が表示される。

ここで、車両Ａの乗員が、車両Ｂのサムネイル画像の中から乗員Ｂ３の顔を選択すると、車両Ａから車両Ｂに乗員Ｂ３の拡大画像の送信依頼を示すコマンドが送信される。車両Ｂは、このコマンドを受信すると乗員Ｂ３の拡大画像を車両Ａに送信し、車両Ａは、これらの画像を受信すると表示器１６に表示させる。

このときの車両Ａの表示器１６の表示例を図１０に示す。図に示すように、表示器１６の車両Ｂの表示画面には、乗員Ｂ３の拡大画像が表示される。なお、「ｍｅｎｕ」を選択するとメニュー画面（図示せず）に戻り、アイコンＲを選択するとサムネイル画像の表示画面に戻る。

また、サムネイル画像の表示画面やサムネイル画像の中から特定の乗員が選択された情報は、一時記憶部１８ｂに記憶される。そして、例えば、他車との通信が一時的に途絶え、再度、通信が可能な状態となった場合には、一時記憶部１８ｂに記憶された情報を読み出して、他車との通信が途絶える前と同じ状態で画像表示するようになっている。

上記した構成によれば、まず、相手の車載通信装置２から送信されたカタログデータに基づいて複数の縮小静止画像を並べて配置したサムネイル画像を表示し、このサムネイル画像の中から乗員の操作によって特定の縮小静止画像が選択された時点で、乗員の操作によって選択された画像のライブ映像を相手の車載通信装置２から取得して表示するようになっている。複数の画像を送受信する場合、通信負荷が大きくなってしまうが、このように、相手の車載通信装置２から送信されたカタログデータに基づいて複数の縮小静止画像を並べて配置したサムネイル画像を表示するので、通信負荷を軽減することができる。

（その他の実施形態）
上記実施形態では、車室内カメラ装置１０と位置検知マイク装置１１を一体で構成した例を示したが、別体で構成してもよい。

また、上記実施形態では、位置検知マイク１１ａのマイクロフォンｍ１〜ｍ４を、車両の天井に前後左右方向に向けて設置した例を示したが、例えば、車室内の前方右側、前方左側、後方右側、後方左側のように、車室内の複数箇所にマイクロフォンを分散させて配置してもよい。

また、上記実施形態では、魚眼レンズを有する車室内カメラ１０ａによって車室内を撮影する例を示したが、魚眼レンズ以外のレンズを有する車室内カメラ１０ａによって撮影してもよい。

また、各座席に乗員が着座しているか否かを検知するための着座センサとして種々のセンサを用いることができるが、例えば、車両の各座席に設けられた超音波センサを用いて各座席に乗員が着座しているか否かを検知してもよい。

また、カタログデータ生成部１８ｆによって生成されるサムネイル画像に含まれる縮小画像は、静止画像でも動画像のどちらでもよいが、静止画像の方が通信負荷の低減効果を大きくすることができる。

なお、図４に示すフローチャートの各ステップの処理は、それぞれの機能を実現する手段として把握されるものであり、主制御器１８ｅとしては、上記した実施形態に示すようなソフトウェアによって構成されるものに限らず、ハードウェアにより構成されていてもよい。

なお、上記実施形態における構成と特許請求の範囲の構成との対応関係について説明すると、話者位置判定機１１ｂが第１の特定手段に相当し、ユーザ操作部１５が第２の特定手段に相当し、通信機１７が送信手段に相当し、カタログデータ生成部１８ｆがサムネイル画像生成手段に相当し、表示器１６が表示手段に相当する。

本発明の第１実施形態に係る車載通信装置の構成を示す図である。 車室内カメラ装置と位置検知マイク装置の外観を示す図である。 本発明に係る車載通信装置の通信環境についての説明図である。 主制御器による表示モード選択処理を示す図である。 （ａ）は「特定モード」が選択された場合の相手の通信機器に表示される表示例を示す図、（ｂ）は「車内全体」モードが選択された場合の相手の通信機器に表示される表示例を示す図である。 自車と他車に搭載された車載通信装置１間のデータのやり取りを示す図である。 本発明の第２の実施形態に係る車載通信装置の構成を示す図である。 車載通信装置の表示器の表示例を示す図である。 車載通信装置の表示器の表示例を示す図である。 車載通信装置の表示器の表示例を示す図である。

符号の説明

１…車載通信装置、１０…車室内カメラ装置、１０ａ…車室内カメラ、
１０ｂ…画像切り出し部、１１…位置検知マイク装置、１１ａ…位置検知マイク、
１１ｂ…話者位置判定機、１２…車外カメラ、１３…車外撮影位置判定機、
１４…位置測定器、１５…ユーザ操作部、１６…表示器、１７…通信機、
１８…車載サーバ、１８ａ…画像音声連結部、１８ｂ…一時記憶部、
１８ｃ…画像記憶部、１８ｄ…車外画像位置連結部、１８ｅ…主制御器、
１８ｆ…カタログ生成部。

Claims (4)

1. 車両に搭載され、他の通信装置とテレビ電話機能を利用した通話を行う車載通信装置であって、
   前記車両の全乗員を含む画像を撮影するカメラと、
   前記カメラによって撮影された前記全乗員を含む画像から乗員毎に注目した領域の画像を切り出す画像切り出し部と、
   前記画像切り出し部によって切り出された画像から特定の乗員に注目した領域を選択する選択手段と、
   前記選択手段によって選択された前記特定の乗員に注目した領域の画像を通話相手の通信装置へ送信する送信手段と、を備えたことを特徴とする車載通信装置。
2. 複数のマイクロフォンを有し、当該マイクロフォンによって集音された音声に基づいて当該音声の発生位置を検知する位置検知マイクと、
   前記位置検知マイクによって検知された前記音声の発生位置に基づいて発話者の位置を特定する第１の特定手段と、を備え、
   前記選択手段は、前記第１の特定手段によって特定された前記発話者の位置を前記特定の乗員に注目した領域として選択することを特徴とする請求項１に記載の車載通信装置。
3. 前記画像切り出し部によって切り出された前記乗員毎に注目した領域の画像を表示する表示手段と、
   前記表示手段に表示された前記乗員毎に注目した領域の画像の中から乗員の操作に応じて特定の乗員に注目した領域の画像を特定する第２の特定手段を備え、
   前記選択手段は、前記第２の特定手段によって特定された前記画像を前記特定の乗員に注目した領域として選択することを特徴とする請求項１または２に記載の車載通信装置。
4. 前記車両の各乗員に注目した各静止画像を縮小して並べて配置したサムネイル画像を生成するサムネイル画像生成手段と、
   前記選択手段は、前記サムネイル画像生成手段によって生成された前記サムネイル画像を前記通話相手の通信装置へ送信し、前記送信したサムネイル画像の中から前記通話相手によって特定された画像を示す信号を前記通話相手の通信装置から受信し、前記通話相手によって特定された画像を前記特定の乗員に注目した領域として選択することを特徴とする請求項１ないし３のいずれか１つに記載の車載通信装置。

Images