JP2004114709A - 車載画像表示装置 - Google Patents

Abstract

【課題】前方車両によって生成される死角領域を補完することができる画像表示装置を提供する。
【解決手段】前方車両のカメラで撮影された画像を、通信装置１９を介して受信し、受信した画像を、カメラの設定位置を運転者の視点位置に変更した場合に映し出される画像に変換し、この視点変換画像データを、ヘッドアップディスプレイ１４ａによって、フロントガラスに表示する。フロントガラスにマーカが表示され、運転者がマーカに焦点を合わせると、角膜に結像したマーカ像を眼球撮影用カメラ１４ｂが検出し、このマーカ像が検出された場合に、視点変換画像データが表示される。
【選択図】図８

Description

【０００１】
【発明の属する技術分野】
この発明は、車両の画像表示装置にかかり、詳しくは、前方車両によって生じる死角領域の画像を生成する車載画像表示装置に関するものである。
【０００２】
【従来の技術】
走行している車両の運転者は、視界に入る進行方向の景色を確認し、認識した情報に応じて、適宜車両の運転操作を行う。例えば、運転者は、遠方の交差点の信号を認識し、自車両が通過する時の信号の色を予測して、車両の走行速度を調節する。
【０００３】
一方、混雑時には、自車両の前方に他車両が存在することもあり、このような場合には、前方の視界は、前方の車両によって遮られ、死角が生じることとなる。特に、前方車両がトラックやバスなど、車高の高い大型車両である場合には、特に、広範囲で視界が遮られ、運転者が認識することのできない死角領域が広くなってしまう。このような場合に、運転者は、視覚情報を視界の中に入れるために、頭部を左右を大きく動かし、或いは、車両を若干左右に移動させて視点を変えてなるなどの動作を試みる。また、前方車両のウインドウ越しに前方の情報を認識し、又は車間距離を広げるなどの方法を採らざるを得ない。
【０００４】
【発明が解決しようとする課題】
しかし、運転者が頭部を左右に動かす行為は、運転操作への意識が散漫になり、運転操作を損なう恐れがあり、又、そのような行為によって、必ずしも所望の情報が得られるものでもない。さらに、混雑時には、前方車両との車間距離を広く採ることは、後続車に不快感を与え、割り込みを誘発することにもなる。
【０００５】
一方、前方の情報が得られないために、直前の信号を認識できず、信号が赤に変わっているにもかかわらず、交差点に進入してしまう恐れがある。また、同様に、案内板を見ることができずに、意図しないレーンに進入してしまう可能性もある。
さらに、運転者側においても、必要な情報が得られないことによるストレスが重なり、通常運転時に比較して、過度の疲労が蓄積するといった問題もある。
【０００６】
この発明は、前方車両によって生成される死角領域を補完することができる車載画像表示装置を提供することを目的とするものである。
【０００７】
【課題を解決するための手段】
以上のような目的は、以下の本発明により達成される。
（１）　自車の前方に存在する車両が取得した画像を、前記前方車両から受信する前方車両画像受信装置と、
該前方車両画像受信装置により受信した画像を、該画像のカメラ視点を運転者の視点位置とした場合の画像に変換する画像変換手段と、
該画像変換手段で生成された画像をフロントガラスに表示する画像表示手段とを備えることを特徴とする車載画像表示装置。
【０００８】
（２）　自車両の進行方向の画像を取得する撮像手段と、
自車の前方に存在する車両が取得した画像を、前記前方車両から受信する前方車両画像受信装置と、
該前方車両画像受信手段により受信した画像に、前記撮像手段により取得した画像を重畳させ、前方車両を透過した画像を生成する画像生成手段と、
前記画像生成手段で生成された画像をフロントガラスに表示する画像表示手段とを備えることを特徴とする車載画像表示装置。
【０００９】
（３）　前記画像生成手段で生成された画像が存在する場合、可視光、不可視光とによって構成されたマーカをフロントガラスに投影するマーカ投影手段と、
該マーカ投影手段により投影されたマーカを、運転者が視覚的に認識しているか否かを判断する判断手段と、を備え、
前記画像表示手段は、前記判断手段により運転者がマーカを認識していると判断した場合、前記生成された画像をフロントガラスに表示することを特徴とする上記（１）又は（２）に記載の車載画像表示装置。
【００１０】
（４）　前記判断手段は、マーカの不可視光と運転者の眼球との関連性から判断することを特徴とする上記（３）に記載の車載画像表示装置。
【００１１】
（５）　　前記画像生成手段により生成された画像を、後方車両に送信する後方送信手段を備えることを特徴とする上記（２）から（４）のいずれか１に記載の車載画像表示装置。
【００１２】
【発明の実施の形態】
以下、本発明の好適実施形態について、添付図面に基づいて詳細に説明する。
図１は本発明の車載画像表示装置１の構成を示すブロック図である。車載画像表示装置１は、画像処理を行う演算処理装置１２と、車体に取り付けられた撮像手段としてのカメラ１３と、画像を表示する表示手段としての表示装置１４ａと、眼球撮影用カメラ１４ｂと、現在位置検出装置１５と、データ通信装置１９と、記憶装置１０とを備え、これらの装置は、システムバス１１を介して相互に接続されている。
【００１３】
カメラ１３は、Ａ／Ｄ変換器１３１を介してシステムバス１１に接続される。カメラ１３は、車両の前方（前進する場合の進行方向）に向けて取り付けられ、車両の進行方向の画像が撮影できるように取り付けられている。
カメラ１３から出力された画像信号は、Ａ／Ｄ変換器１３１によってデジタル信号に変換される。また、接続されたカメラ１３が、デジタル信号出力が可能なものである場合には、Ａ／Ｄ変換器は不要である。カメラ１３は魚眼レンズを用いている。
【００１４】
現在位置検出装置１５は、舵角センサ１５１、車速センサ１５２、ＧＰＳ受信装置１５３、方位センサ１５４、距離センサ１５５とを備えている。舵角センサ１５１は、車の操舵角を検出する。操舵角は、ハンドルの回転角または前輪の角度を検出して得られる。車速センサ１５２は、車両の走行速度を検出する。ＧＰＳ受信装置１５３は、車両の絶対位置を検出する。方位センサ１５４は、車両の向きを検出する。距離センサ１５５は、車両の移動距離を検出する。
【００１５】
記憶装置１０は、自車データを記憶する自車データ記憶部１６と、前方車両から受信したデータを記憶する受信データ記憶部１７と、自車データと受信データとを合成したデータを記憶する合成データ記憶部１８とを備えている。
自車データ記憶部１６は、位置データメモリ１６１と、画象データメモリ１６２と、カメラ設定データメモリ１６４と、運転者視点データメモリ１６５と、視点変換パラメータメモリ１６６と、視点変換画像データメモリ１６７とを備えている。位置データメモリ１６１は、現在位置検出装置１５で検出された自車両の位置データが記憶されるメモリである。画像データメモリ１６２は、カメラ１３が写した画像を記憶するメモリで、カメラ１３から出力される画像が連続して記憶される。
【００１６】
カメラ設定データメモリ１６４は、カメラ１３のレンズ特性、画角、車体の基準位置からの相対位置等により特定される設置位置、同様に、車体の基準位置からの相対位置等により特定される視点位置、撮影方角等が記憶されるメモリである。レンズ特性には、例えば、撮影方式やレンズ種類、画角の範囲の像のひずみ率などが挙げられる。撮影方角は、方位センサ若しくは位置データを２つ以上取得することにより決定することができる。車体の基準位置とは、例えば、ＧＰＳ受信装置のアンテナの位置、前輪又は後輪の位置、その他方位センサ等のセンサの設置位置などが挙げられる。運転者視点データメモリ１６５は、上記車体の基準位置からの相対位置として規定される運転者の視点の位置が記憶されるメモリである。視点変換パラメータメモリ１６６は、カメラ設定データ１６４に含まれるカメラの視点位置と、運転者視点データに含まれる運転者の視点位置とから算出された相対距離が記憶されるメモリである。視点変換画像データメモリ１６７は、画像データに視点変換処理を行った後の画像データを記憶するメモリである。
【００１７】
上記カメラ設定データメモリ１６４、運転者視点データメモリ１６５に記憶されている、数値が変更されることのないデータ（例えば、車両に対するカメラの撮影方向、画角など、数値が固定されているデータ）については、後述する演算処理装置１２のリードオンリーメモリ［ＲＯＭ］１２２に記憶してあってもよい。
受信データ記憶部１７は、位置データメモリ１７１と、画象データメモリ１７２と、車両データメモリ１７３と、カメラ設定データメモリ１７４と、視点変換パラメータメモリ１７５と、視点変換画像データメモリ１７６とを備えている。位置データメモリ１７１は、前方車両の位置データが記憶されるメモリである。画像データメモリ１７２は、前方車両のカメラが取得した画像データが記憶されるメモリである。車両データメモリ１７３は、前方車両の車体の輪郭を表現した輪郭線データ、全長、全幅、全高などの寸法データが記憶されるメモリである。この輪郭線データは、例えば、車両を後方から見たときの輪郭線を表現した線画情報である。輪郭線の例としては、車体を象徴する部位の輪郭線であればよく、例えば、車体、バンパー、テールランプ、リヤウインドーの形状、リヤウインドウワイパー及び後部車輪等の少なくとも一つを含む輪郭線である。
【００１８】
カメラ設定データ１７４は、カメラのレンズ特性、画角、車体の基準位置からの相対位置等により特定される設置位置、同様に、車体の基準位置からの相対位置等により特定される視点位置、撮影方角等が記憶されるメモリである。視点変換パラメータメモリ１７５は、カメラ設定データ１７４に含まれる前方車両のカメラの視点位置と、運転者の視点位置とから算出された相対距離を記憶するメモリである。視点変換画像データメモリ１７６は、画像データに視点変換処理を行った後の画像データを記憶するメモリである。
【００１９】
合成データ記憶部１８は、位置データメモリ１８１と、画象データメモリ１８２と、カメラ設定データメモリ１８４とを備えている。
【００２０】
位置データメモリ１８１には、自車位置データが記憶される。画像データメモリ１８２には、自車が取得した画像データと、受信した前方車両の画像データとを合成した合成画像データが記憶される。カメラ設定データメモリ１８４は、後に詳しく説明するが、前方車両からデータを受信し、合成が可能であった場合は、運転者視点データ１６５が記憶され、合成が不可能であった場合にはカメラ設定データ１６４が記憶される。
【００２１】
画像表示手段としてのヘッドアップディスプレイ１４ａは、図２に示されているように、フロントガラス１４０全面に設けられたホログラフィックコンバイナ１４２と、これに画像を投影するための表示器１４３とから構成されている。表示器１４３は、例えばダッシュボード１４４内に配置され、ホログラフィックコンバイナ１４２に映像を映し出す。ヘッドアップディスプレイ１４ａによって、受信データ記憶部１７の視点変換画像データメモリ１７６に格納された、画像データがホログラフィックコンバイナ１４２に表示される。あるいは、合成データ記憶部１８の画像データ１８２に格納された合成画像を表示することもできる。
【００２２】
ホログラフィックコンバイナ１４２に表示される画像は、半透明であり、フロントガラス１４０の向こう側の景色も、充分視認することができる構成となっている。
【００２３】
ヘッドアップディスプレイ１４ａは、表示する画像情報がある場合には、図３に示されているように、ホログラフィックコンバイナ１４２（フロントガラス１４０）にマーカＰを表示する。マーカＰは、可視光で表示された可視光マーカＰ１と、不可視光で表示された不可視光マーカＰ２から構成されている。可視光マーカＰ１は、点状であって、不可視光マーカＰ２は、可視光マーカＰ１の位置で交差する十字形状に構成されている。マーカＰは、運転者が前方車両を視認した時の、視線とフロントガラス１４０とが交差する位置又はその近傍に表示される。ヘッドアップディスプレイ１４ａへ送られるデータは、Ｄ／Ａ変換器１４１ａを介してアナログ信号に変換される。また、ヘッドアップディスプレイ１４ａがデジタル信号入力可能な場合には、Ｄ／Ａ変換器は不要となる。ここでは、ヘッドアップディスプレイ１４ａは、マーカ投影手段としても機能する。
【００２４】
判断手段である眼球撮影用カメラ１４ｂは、運転者の眼球の角膜に映る像を撮影できるような位置に設置されている。眼球撮影用カメラ１４ｂは、運転者の眼球の角膜に結像した不可視光マーカＰ２の有無を検出する。可視光とは、光の波長が３８０ｎｍ〜７８０ｎｍの範囲内の光で、肉眼で見ることが可能な範囲の光である。不可視光とは、例えば、赤外線や紫外線のような、肉眼で見ることが不可能な光である。本実施形態における不可視光は、赤外線を使用している。
【００２５】
この不可視光マーカＰ２の検出によって、運転者が、ホログラフィックコンバイナ１４２に映し出された可視光マーカＰ１に焦点を合わせたものと判断することができる。このように、不可視光の結像を検出する構成とすることによって、角膜に映し出される可視光像（景色等）によるノイズの影響を低減することができる。また、本実施形態では角膜に映された不可視光マーカを判断基準としているが、瞳孔や網膜に映された不可視光マーカから判断することも可能である。
【００２６】
データ通信装置１９は、前方車両が無線通信手段を用いて発信しているデータを受信し、受信したデータをバッファ１９１に蓄積する。蓄積された前方車両データは、バスライン１１を介して受信データ記憶部１７の各メモリへ送られる。さらに通信可能な車両が後方に存在する場合には、送信すべきデータを後方の車両に送信する。
【００２７】
演算処理装置１２は、中央処理装置［ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）］１２１と、リードオンリーメモリ［ＲＯＭ］１２２と、ランダムアクセスメモリ［ＲＡＭ］１２３とを備えている。中央処理装置１２１は、例えば、現在位置検出装置１５から得られた位置データや車両の向きと、受信した前方車両に関する位置データから、前方車両と自車両との相対位置についての情報を算出し、或いは、記憶装置１０から自車両の画像データ、受信した前方車両の画像データを取得し、これらのデータから合成画像データを生成するなどの作用を有する。
ＲＯＭ１２２には、例えば、中央処理装置１２１が画像処理を行うためのソフトウエア等が格納されており、ＲＡＭ１２３は、例えば、ワーキングエリアとして使用される。
【００２８】
本発明の画像処理装置は、次のような作用をする。図４は、本発明の画像処理装置を搭載した自車両２１と、その進行方向（前方）に位置する前方車両２２の位置関係を示す側面全体図である。自車両２１の前方を映すカメラ１３ａの撮影領域ａ内には、自車両２１の進行方向（前方）と同じ方向に進む前方車両２２が位置している。このような前方車両２２は、自車両２１と同様に前方を映すカメラ１３ｂを備えている。また、この前方車両２２は、自車両２１と同じ車載画像表示装置を備えており、カメラ１３ｂで取得した画像は、視点変換処理等の画像処理を行うことも可能である。また、前方車両２２は、カメラ１３ｂで撮影した画像を、後方の自車両２１へ無線通信手段を介して送信している。
【００２９】
自車両２１の撮影領域ａ内には、前方車両２２によって遮られた死角領域ｂが生成される。この死角領域ｂは、さらに、前方車両２２のカメラ１３ｂの撮影領域ｃと重なっている。従って、前方車両２２の前方に位置する信号２３は、死角領域ｂに含まれ、自車両２１側の運転者は、認識できないが、前方車両２２のカメラ１３ｂには映し出されているので、前方車両２２の画像データを取得することによって、死角領域ｂにある信号２３の色の状態を把握することができる。
【００３０】
カメラ１３ａ、１３ｂの設置位置は、運転者の視点の位置が最も好ましいが、この視点の位置に近い位置でもよい。例えば、バックミラーの位置の他、ダッシュボードの中央付近、座席の肩口の位置などか挙げられる。
【００３１】
以上のように構成された本発明の画像処理装置１の作用について説明する。図５は、処理装置１２の動作を示すフローチャートである。
処理の開始は、例えば、イグニッションオン、車速センサの検出値か一定の値以上となった場合（車両が走行している状態となった場合）、若しくは装置スイッチオン等の操作による。スイッチオンのきっかけは、この他、シフトチェンジレバーをＤ位置にセットしたときとしてもよい。
【００３２】
最初に、初期化処理が行われる（ステップＳ１０１）。図６は、初期化処理のサブルーチンを示すフローチャートである。初期化処理では、最初に自車データのチェックを行う（ステップＳ２０１）。この自車データとしては、カメラ設定データ、運転者視点データである。チェックしたデータに不足データがあるか判断し（ステップＳ２０３）、不足データがある場合には、不足データの入力および記憶装置１０への書き込みを行う（ステップＳ２０５）。
【００３３】
データ不足がない場合には、視点変換パラメータを算出する（ステップＳ２０７）。視点変換パラメータは、カメラ設定データに含まれるカメラの視点位置と、運転者視点データに含まれる運転者の視点位置とから算出される。算出された視点変換パラメータを視点変換パラメータメモリ１６６に書き込む（ステップＳ２０９）。
【００３４】
記憶装置１０の画像データメモリ１６２内のデータ書き込み先頭位置を検出し、データを書き込む準備をする（ステップＳ２１１）。例えば、視点変換用画像データメモリ１６７等に格納された画像の記憶データを更新するかを判断するための設定値を監視する変数などを初期化する。
【００３５】
以上のように初期化処理（ステップＳ１０１）が終了すると、次に現在位置検出装置１５と、カメラ１３ａから、データを取得する（ステップＳ１０３）。現在位置検出装置１５からは、位置データを取得し、カメラ１３ａからは画像データを取得する。上述のように、自車両内の進行方向の画像を取得することをもって、本発明の撮像手段とする。
【００３６】
取得された位置データは、自車データ記憶部１６の、位置データメモリ１６１に書き込まれ、取得された画像データは、同じく、画象データメモリ１６２に書き込まれる（ステップＳ１０５）。自車データ記憶部１６の視点変換パラメータメモリ１６６から、視点変換パラメータを読み出す（ステップＳ１０７）。読み出した視点変換パラメータに従い、自車画像データを自車運転者視点画像に変換する（ステップＳ１０９）。例えば、カメラ設置位置と運転者視点位置との、上下方向及び左右方向における距離が予め規定されており、その距離に応じて画像データの中心点（レンズの光軸が直交する位置）から、前述の規定されている値に基いて補正された位置が中心となるように補正する。この補正された中心点を画像の中心位置とした画像を視点変換画像とする。このように、自車両の画像と運転者から見た視点の画像に補正することをもって、本発明の自車両画像補正手段とする。
視点変換された画像データを、視点変換画像データメモリ１６７へ書き込む（ステップＳ１１１）。
【００３７】
前方車両２２からデータ受信が可能か否か判断する（ステップＳ１１３）。つまり、前方車両からのデータ送信があるかを判断する。また、自車と前方車両との位置関係により、判断してもかまわない。データ通信が可能な距離か否かは、例えば、予め距離センサを設け、前方車両２２との距離を測定し、この測定距離から、通信の可・不可を判断する。
受信が可能である場合には、前方車両２２からデータを受信する（ステップＳ１１５）。受信するデータは、前方車両２２の位置データ、前方車両２２のカメラ１３ｂが取得した画像データ、前方車両２２のカメラ設定データ及び車両データである。車両データには、前方車両の車体、バンパー、ライト、ワイパー、タイヤ、座席、及び窓の形状のうち少なくとも１つを含む車体形状の輪郭線であり、上記車体形状の輪郭線を受信することをもって本発明の輪郭線受信手段とする。
【００３８】
受信したこれらのデータを、データ通信装置１９を介して受信バッファ１９１に受信データを格納する（ステップＳ１１７）。受信バッファ１９１からデータを読み出し、受信データ記憶部１７の位置データメモリ１７１、画象データメモリ１７２、車両データメモリ１７３、カメラ設定データメモリ１７４に、それぞれ対応するデータを受信データとして書き込む（ステップＳ１１９）。このように、自車の前方に存在する車両が取得した画像を、前方車両から受信することをもって、本発明の前方車両画像受信装置（手段）とする。
【００３９】
受信した画像データについて、受信画像データ視点変換処理を行う（ステップＳ１２１）。図７は、受信画像データ視点変換処理サブルーチンを示すフローチャートである。以下、受信画像データ視点変換処理について説明する。自車データ記憶部１６から、自車の位置データと運転者視点データを読み出す（ステップＳ３０１）。
【００４０】
読み出した位置データと運転者視点データに基いて、運転者視点の座標を算出する（ステップＳ３０３）。具体的には、位置データとして、ＧＰＳ受信装置１５３のアンテナの座標値が得られる。そして、ＧＰＳ受信装置１５３のアンテナを基準位置とし、この基準位置からの相対位置として規定されている運転者視点データにより、運転者視点の座標値が算出される。
【００４１】
受信データ記憶部１７から、前方車両２２の位置データとカメラ設定データを読み出す（ステップＳ３０５）。読み出した位置データとカメラ設定データから、前方車両のカメラ視点の座標値を算出する（ステップＳ３０７）。具体的には、位置データとして、前方車両２２のＧＰＳ受信装置のアンテナの座標値が得られる。そして、ＧＰＳ受信装置のアンテナを基準位置とし、この基準位置からの相対位置として規定されているカメラ設置位置（視点位置）データにより、カメラ視点の座標値が算出される。上述のように、受信した画像の撮像位置までの距離を算出することをもって、本発明の距離算出手段とする。
【００４２】
ステップＳ３０３で算出された自車両２１の運転者視点位置の座標値と、ステップＳ３０７で算出された前方車両２２のカメラ視点座標値とから、視点変換パラメータを算出する（ステップＳ３０９）。算出された視点変換パラメータを視点変換パラメータメモリ１７５に書き込む（ステップＳ３１１）。
【００４３】
次に、受信データ記憶部１７の画像データメモリ１７２から、前方車両２２の画象データを読み出し（ステップＳ３１３）、視点変換パラメータメモリ１７５に記憶されている視点変換パラメータに基づいて、受信画像データを自車両の運転者視点画像に変換する（ステップＳ３１５）。視点変換した画像データを視点変換画像データとして、視点変換画像データメモリ１７６に書き込む（ステップＳ３１７）。上述のように、距離算出手段により算出した距離に基いて、受信した前方車両の画像を、運転者から見た視点の画像に補正することをもって、本発明の画像変換手段とする。
【００４４】
以上のような受信画像データ視点変換処理の後、自車データ記憶部１６の視点変換画像データメモリ１６７と、受信データ記憶部１７の視点変換画像データメモリ１７６とから、それぞれ視点変換画像データを読み出す（ステップＳ１２３）。２つの視点変換画像データを合成する（ステップＳ１２５）。図８は、画像合成方法を示す図である。受信データ記憶部１７の視点変換画像データメモリ１７６から、視点変換画像Ｂ０を読み出す。また、画像データメモリ１６２から自車両の前方画像Ａ０を読み出し、必要ならば視点変換処理を行い、視点変換画像Ａ１を作成する。視点変換画像Ａ１から、Ｓｏｂｅｌフィルタ処理やラプラシアンフィルタ処理などにより前方車両の輪郭線を抽出し、前方車両が映し出されている領域を抽出する。この前方車両の領域に合致する領域を、画像Ｂ０から抽出し、サイズ調整等をおこなった画像Ｂ１を作成する。
【００４５】
視点変換画像Ａ１の前方車両が映し出されている領域の上に画像Ｂ１を重ね合わせ、合成画像ＡＢ０を構成する。図８は、説明を解かりやすくするために、正像変換処理後の画像を用い、車両の輪郭線も立体的なものでなく平面的な表示とした。以上説明した画像合成処理は、魚眼レンズ画像のままで行われる。従って、次に、画像ＡＢ０を正像変換して、画像ＡＢ１とする処理が行われる。なお、カメラ１３ａ、１３ｂで取得した画像を最初に正像変換処理した後、上記処理を行ってもよい。このステップＳ１２５によって画像生成手段が構成される。
【００４６】
重ね合わせて生成された合成画像ＡＢ１は、合成データとして合成データ記憶部１８の画像データメモリ１８２に書き込まれ、合成画像ＡＢ１の位置データは、位置データメモリ１８１に書き込まれ、自車両のカメラ設定データと、自車運転者視点データは、カメラ設定データメモリ１８４に書き込まれる（ステップＳ１２７）。
次に、視点変換処理された画像データの正像変換処理を行う（ステップＳ１２９）。そして、正像変換画像をワークメモリとして機能するＲＡＭ１２３に格納する（ステップＳ１３１）。
【００４７】
次に、表示装置用メモリに格納された画像を表示するための正像変換画像表示処理を行う（ステップＳ１３３）。図９に示されているのは、正像変換画像表示処理サブルーチンである。以下、正像変換画像表示処理について説明する。
ホログラフィックコンバイナ１４２（フロントガラス１４０）に、前回表示した画像またはマーカＰが表示中か判断する（ステップＳ４０１）。表示中である場合には、新たに更新できる画像が存在するか判断する（ステップＳ４０３）。そして、マーカＰに運転者の焦点が合っているか判断する（ステップＳ４０５）。この判断は、眼球撮影用カメラ１４ｂによって、運転者の角膜に不可視光マーカＰ２が結像しているかを判断することによってなされる。結像している場合には、マーカＰに焦点が合っていることを意味する。
【００４８】
焦点が合っている場合には、ホログラフィックコンバイナ１４２（フロントガラス１４０）の画像を更新する（ステップＳ４０７）。この場合、フロントガラス１４０には、画像とマーカＰが映し出されている。
ステップＳ４０１で、前回の画像が表示されていないと判断した場合には、表示可能な画像が存在するか判断する（ステップＳ４０９）。存在しない場合には、画像はホログラフィックコンバイナ１４２に表示されず、また、表示画像が存在することを報知するマーカＰも表示されない。
【００４９】
画像が存在する場合には、マーカＰを表示する（ステップＳ４１１）。マーカＰの表示によって、運転者には、表示できる画像が存在することが報知される。このように、生成された画像が存在する場合、可視光と不可視光とによってマーカをフロントガラス１４０（ホログラフィックコンバイナ）に投影する（映し出す）ことにより、本発明のマーカ投影手段が構成される。
【００５０】
次に、運転者の焦点がマーカＰに合っているか判断する（ステップＳ４１３）。合っていない場合には、運転者は画像表示を欲していないと判断し、画像表示はおこなわれず、フロントガラス１４０にはマーカＰのみが表示される。
焦点が合っている場合には、運転者は画像表示を欲していると判断し、画像が表示される（ステップＳ４１５）。この時、フロントガラス１４０にはマーカＰと画像とが表示される。本実施形態では焦点が合っているか否かを判断するが、さらに瞳孔／角膜反射方式を用い、運転者の視線を検知することにより、判断の精度を上げることも可能である。
【００５１】
ステップＳ４０３で、更新可能な画像が存在しないと判断した場合には、マーカＰ及び画像の表示はオフとなり、いずれも表示されない状態となる（ステップＳ４１７）。また、ステップＳ４０５で、運転者の焦点がマーカＰに合っていないと判断した場合には、画像表示はオフされ（ステップＳ４１９）、フロントガラス１４０には、マーカＰのみが表示される。以上のように表示された正像変換画像は、運転者の視界内に位置する前方車両によって遮られた死角領域を含んでおり、この画像が、フロントガラス１４０に、重ねて表示される。このため、死角となっている前方車両に重ねて、死角領域の透過画像が映し出され、運転者には、あたかも前方車両を透かしての向こう側の景色が視認できるように認識される。
【００５２】
以上のとおり、正像変換画像表示処理（ステップＳ１３３）が終了すると、次に、合成データ記憶部１８に記憶されている位置データ、画像データ、車両データ、カメラ設定データは、送信バッファ１９１に格納される（ステップＳ１３５）。また、ステップＳ１１３で、データ受信が不可能と判断された場合には、ステップＳ１１１で視点変換処理された画像データの正像変換処理を行う（ステップＳ１３９）。そして、正像変換画像をワークメモリとして機能するＲＡＭ１２３に格納する（ステップＳ１４１）。
【００５３】
次に、表示装置用メモリに格納された画像を表示するための正像変換画像表示処理を行う（ステップＳ１４３）。この処理の内容は、ステップＳ１３３の内容と同様であるので、説明を省略する。そして、自車両の位置データ、画像データ、自車両のカメラ設定データで構成される自車データを送信バッファ１９１に格納する（ステップＳ１４５）。
【００５４】
そして、送信バッファ１９１に格納されたデータは、データ通信装置１９により後方車両へデータ送信される（ステップＳ１３７）。このように、合成された画像を後方車両に送信することをもって、本発明の後方送信手段とする。送信されたデータは、自車両の後続車に受信され、後続車の受信データとして処理される。
【００５５】
以上説明した画像処理装置では、前方車両に隠れた死角領域がフロントガラスに映し出されるため、運転者は、死角領域（信号や標識、歩行者の状況、渋滞状況等）の把握が容易となる。また、フロントガラスに画像が映し出されるので、視点移動をする必要がなく、運転者は、前方を見ながら、同時に画像の内容を把握することができ、より安全な運転操作をすることができる。
【００５６】
次に他の実施形態として、図１０に示されているように、フロントガラス１４０に複数種のマーカＰａ、Ｐｂ、Ｐｃを表示し、異なる画像情報を表示する構成とすることができる。例えば、色又は形状の異なる可視光マーカと、各可視光マーカ毎に形状の異なる不可視光マーカを配置し、それぞれのマーカに焦点を合わせることによって、各マーカに対応した、異なる情報が表示される構成とすることができる。表示される情報としては、文字情報、ナビゲーションシステムの地図情報、燃料計等の車両情報などが挙げられる。また、車両の位置情報が取得できるので、自車位置から一定の距離内に位置する店舗の情報を表示する構成としてもよい。このほか、道路工事情報など、日程や時間で情報の内容が変わる場合には、日程や時間に応じて表示内容を変更することができる。不可視光マーカの識別は、形状の他、点滅の間隔を違える（周波数を変更する）ことによって行うこともできる。
【００５７】
さらに、マーカの位置は、使用者側で任意に設定する構成とすることができる。また、マーカ表示位置と、画像情報を表示する位置を分け、マーカに焦点を合わせることによって、表示のオン／オフを切り替える構成とすることもできる。
【００５８】
以上のように作用する本発明の車載画像表示装置では、全ての車に搭載されるカメラの設置高さを、最も車高の低い普通車のカメラの設置高さに合わせる構成とすることができる。この場合には、視点変換処理に対する装置の負担が軽減されるので、画像処理時間が短縮できる。また、実際の画像と変換画像との差も少なくなる。
【００５９】
また、大型車両に取り付けるカメラは、車体の上部に取り付けた構成とすることもできる。この場合には、遠くまで見通した画像を得ることができる。さらに、バスやトラックのフロントガラスの内側に取り付けてもよい。この場合には、取り付けが容易となり、また、車内に設置されているために、外部からの衝撃や風雨にさらされることがないので、故障の発生を抑制できる。
【００６０】
図１１は、複数車線の道路を走行している状態で、後方車両が、横一列に複数台並んだ場合の状態を示す道路の平面図である。各車両２１ａ、２１ｂ、２１ｃは、それぞれ独自に前方車両２２から送信されるデータを受信し、画像処理を行い、前方車両２２を輪郭線に置き換え、合成画像に重ね合わせて表示する。
【００６１】
図１２は、複数車線の道路を走行している状態で、前方車両が、横一列に複数台並んだ場合の状態を示す道路の平面図である。この場合、後方の自車両２１は、前方車両２２ａ、２２ｂ、２２ｃからデータを受信した順に画像処理を行う。また、各車両毎に識別信号を付し、受信された信号によって前方車両を識別できるように構成すれば、直前に位置する前方車両２２ａの処理を優先して行う構成とすることもできる。
【００６２】
図１３は、対向車線を走行する車両がある場合の道路の平面図である。この場合には、送信データが、対向車線を走行する車両に拾われることのないように、送信データに車両に対するカメラの撮影方向や、走行方向についてのデータも加える。そして、受信する側は、走行方向と同じ方向のデータのみ受信する構成とすることにより、対向車線の車両側の画像処理を防止できる。
【００６３】
図１４は、渋滞している状態を示す道路の平面図である。前方車両２２の前にも、車両２３が存在し、連続して車両２４が存在する場合、先頭車両２４から送信したデータを次の車両２３で受信し、合成処理、輪郭線付与処理を行った後、更に後方車両２２に送信するというプロセスを繰り返すことで、最後方の車両２１も、最前車両の画像を取得することができる。特に渋滞の場合に、前方の情況を把握するのに有益である。ここで、前方のつながっている車両が処理した全ての輪郭線を表示すると、後方の車両では輪郭線過多になり、十分な情報を表示画像から得られない恐れがある。そこで、車両毎に輪郭線の色を変更し、或いは、直前の車両の輪郭線のみを表示する構成とすることができる。
【００６４】
【発明の効果】
請求項１に記載の発明によれば、前方車両を透過した画像が得られるので、道路状況や道路標識の見落としや死角への不安感を低減できる。さらに、撮像手段が、あたかも運転者の視点の位置に設置されているように画像処理されているので、表示画像が運転者の視界に近い画像となり、進行方向の道路状況が、画像から把握し易くなる。さらに、フロントガラスに画像が表示されるので、前方から視点を離すことなく、画像が確認できる。
【００６５】
請求項２に記載の発明によれば、前方車両の画像に重ねて透過画像が表示されるので、死角領域の把握が一層容易となる。
請求項３に記載の発明によれば、フロントガラス表示されたマーカで、画像表示の切り換えができるので、特別の切換動作が不要となり、運転動作に対する負担が軽減される。また、画像表示が不要な場合には、フロントガラスに画像が表示されず、必要な場合のみ表示されるので、視界を遮る恐れもない。
【００６６】
請求項４に記載の発明によれば、不可視光で構成されるマーカの結像を検出することにより、ノイズを抑制でき、検出精度を上げることが可能となる。
請求項５に記載の発明によれば、合成された画像をさらに後方車両に送信する手段を設けることで、前後方向に縦列して走行する車両間で、最前に位置する車両の画像情報を最後部の車両が受信することが可能となり、取得できる前方情況の範囲を拡大することができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置の構成を示すブロック図である。
【図２】ヘッドアップディスプレイの構成を示す模式図である。
【図３】フロントガラスに表示されたマーカの構成を示す平面図である。
【図４】本発明の画像処理装置を搭載した２つの車両の側面図である。
【図５】本発明の画像処理装置の作用を示すフローチャートである。
【図６】本発明の画像処理装置の作用を示すフローチャートである。
【図７】本発明の画像処理装置の作用を示すフローチャートである。
【図８】本発明の画像処理装置の作用を示すフローチャートである。
【図９】画像処理の手順を示す流れ図である。
【図１０】フロントガラスに表示されるマーカの他の構成例を示す平面図である。
【図１１】複数車線の道路を走行している状態で、後方車両が、横一列に複数台並んだ場合の状態を示す道路の平面図である。
【図１２】複数車線の道路を走行している状態で、前方車両が、横一列に複数台並んだ場合の状態を示す道路の平面図である。
【図１３】対向車線を走行する車両がある場合の道路の平面図である。
【図１４】渋滞している状態を示す道路の平面図である。
【符号の説明】
１　画像処理装置
１０　記憶装置
１２　演算処理装置
１３　カメラ
１４ａ　ヘッドアップディスプレイ
１４ｂ　眼球撮影用カメラ
１５　現在位置検出装置
１６　自車データ記憶部
１７　受信データ記憶部
１８　合成データ記憶部
１９　データ通信装置
２１　自車両
２２　前方車両

Claims (5)

1. 自車の前方に存在する車両が取得した画像を、前記前方車両から受信する前方車両画像受信装置と、
   該前方車両画像受信装置により受信した画像を、該画像のカメラ視点を運転者の視点位置とした場合の画像に変換する画像変換手段と、
   該画像変換手段で生成された画像をフロントガラスに表示する画像表示手段とを備えることを特徴とする車載画像表示装置。
2. 自車両の進行方向の画像を取得する撮像手段と、
   自車の前方に存在する車両が取得した画像を、前記前方車両から受信する前方車両画像受信装置と、
   該前方車両画像受信手段により受信した画像に、前記撮像手段により取得した画像を重畳させ、前方車両を透過した画像を生成する画像生成手段と、
   前記画像生成手段で生成された画像をフロントガラスに表示する画像表示手段とを備えることを特徴とする車載画像表示装置。
3. 前記画像生成手段で生成された画像が存在する場合、可視光、不可視光とによって構成されたマーカをフロントガラスに投影するマーカ投影手段と、
   該マーカ投影手段により投影されたマーカを、運転者が視覚的に認識しているか否かを判断する判断手段と、を備え、
   前記画像表示手段は、前記判断手段により運転者がマーカを認識していると判断した場合、前記生成された画像をフロントガラスに表示することを特徴とする請求項１又は２に記載の車載画像表示装置。
4. 前記判断手段は、マーカの不可視光と運転者の眼球との関連性から判断することを特徴とする請求項３に記載の車載画像表示装置。
5. 前記画像生成手段により生成された画像を、後方車両に送信する後方送信手段を備えることを特徴とする請求項２から４のいずれか１に記載の車載画像表示装置。

Images