JP2013216315A - 画像生成装置 - Google Patents

Abstract

【課題】強調画像の位置を運転者の前景中の報知対象の位置に正確に対応させることで、運転者による報知対象の知覚を容易にする技術の提供。
【解決手段】運転者１９の前景に表示画像９０を重畳して表示する車両用表示装置１００
において、画像生成装置７０は、運転者１９に報知すべき報知対象１３の位置１３ｐ情報と、運転者１９の視点位置１９ｐに関する情報とを取得する。そして画像生成装置７０では、視点位置１９ｐから報知対象１３の位置１３ｐに向う視線１９ｖと表示画像９０と交差する注視点位置９３ｐが形成情報として算出され、この形成情報に基づき注視点位置９３ｐに応じて報知対象１３を強調する強調画像９３の画像データが生成される。強調画像９３は、例えば報知対象１３およびその周囲の余裕代９４を囲う一対の括弧とされ、運転者からの見かけ上で前景中の報知対象１３に重畳される。
【選択図】図１

Description

本発明は、運転者の前景に表示画像を重畳して表示する技術に関し、特に、報知対象を運転者に知覚させる技術に関する。

従来、運転者の前景中から運転者に報知すべき報知対象を検出し、当該報知対象を強調する強調画像が形成された表示画像を、運転者の前景中に表示する表示手段を備える車両用表示装置が知られている。このような車両用表示装置の一種として、特許文献１には、車両前方の車外撮像データを生成する撮像手段と、車外撮像データを表示画像として画面に表示するモニタ装置を備えるものが開示されている。この特許文献１に開示の車両用表示装置において、モニタ装置に表示画像を供給する画像生成装置は、撮像データから報知対象の画像を抽出する抽出手段と、抽出された報知対象の画像に対して強調画像を合成した撮像データを生成する生成手段と、を有している。

また、運転者の前景に表示画像を重畳して表示する、所謂ヘッドアップディスプレイ装置を備える車両用表示装置においても、強調画像を表示画像中に形成するものが考案されている。例えば、特許文献２に開示の車両用表示装置は、報知対象を検出して当該報知対象の位置情報を生成するレーダー装置と、強調画像が形成された表示画像をウィンドシールドに投影する投影装置を備えている。この特許文献２に開示の車両用表示装置において、投影装置に表示画像を供給する画像生成装置は、レーダー装置によって取得される報知対象の位置情報に基づいて、表示画像中における強調画像の位置を算出する算出手段と、算出手段の算出結果に基づいて強調画像が形成された表示画像の画像データを生成する画像生成手段とを有している。

特開２００４−２１２６５８号公報 特開２００５−３４３３５１号公報

上述した特許文献１の車両用表示装置において、報知対象を強調する強調画像は、撮像データに合成されて、モニタ装置に表示されることとなる。故に、運転者の視点から報知対象に向う視線の方向において、報知対象の画像と強調画像との位置が一致する。このため、運転者の視点位置が運転者の体格等によって異なることに起因して、強調画像が報知対象の画像に対してずれることが無い。対して、上述した特許文献２のような車両用表示装置においては、強調画像が形成された表示画像は、運転者前方に重畳して表示される。故に、運転者の視点位置から報知対象の位置に向う視線の方向において、実際の報知対象と強調画像とが大きく離間する。このため、視線が表示画像と交差する注視点位置は、運転者の視点位置に応じて異なることとなる。しかし、運転者の視点位置にかかわらず、報知対象の位置情報に基づいて表示画像中における強調画像の位置が算出されることによれば、強調画像の位置は、運転者の前景中の報知対象の位置に対応せず、ずれを生じ易い。故に、強調画像が運転者の報知対象の知覚を妨げるおそれがあった。

本発明は、上記問題点に鑑みてなされたものであり、その目的は、強調画像の位置を運転者の前景中の報知対象の位置に正確に対応させることで、運転者による報知対象の知覚を容易にすることである。

上記目的を達成するために、請求項１に記載の発明は、運転者の前景に表示画像を重畳して表示する車両用表示装置と、前景中から運転者に報知すべき報知対象を検出する報知対象検出手段とを備える車両に搭載され、表示画像の画像データを生成して車両用表示装置に供給する画像生成装置であって、報知対象検出手段が生成する、報知対象の位置に関する情報を含む報知対象情報を取得する報知対象情報取得手段と、運転者の状態を検出する状態検出手段が生成する、運転者の視点位置に関する情報を含む運転者情報を取得する運転者情報取得手段と、報知対象情報および運転者情報に基づき、視点位置から報知対象の位置に向う視線が表示画像と交差する注視点位置を形成情報として算出する算出手段と、形成情報に基づき、注視点位置に応じて報知対象を強調する強調画像の画像データを生成する画像生成手段と、を備え、強調画像は、報知対象および周囲の余裕代を囲う一対の括弧、報知対象の下方に形成された棒形状、または報知対象の上方に形成された三角形形状のうちのいずれかであり、注視点位置を基準位置として表示画像に配置されることで、運転者からの見かけ上で前景中の報知対象に重畳されることを特徴とする。

この発明によれば、報知対象検出手段は、運転者の前景中から当該運転者に報知すべき報知対象を検出し、当該報知対象の位置に関する情報を含む報知対象情報を生成する。画像生成装置は、報知対象情報取得手段によって報知対象情報を取得する。加えて、状態検出手段は、運転者の状態を検出し、当該運転者の視点位置に関する情報を含む運転者情報を取得する。画像生成装置は、運転者情報取得手段によって報知対象情報を取得する。算出手段は、報知対象情報および運転者情報に基づき、視点位置から報知対象の位置に向う視線を求め、当該視線が表示画像と交差する注視点位置を形成情報として算出する。画像生成手段は、この形成情報に基づき、注視点位置に応じて強調画像が形成された表示画像の画像データを生成する。この表示画像の画像データは、車両用表示装置に供給されて、運転者の前景に重畳して表示される。この表示画像において、運転者の視点位置情報に基づいて形成された強調画像の位置は、当該運転者の前景中の報知対象の位置に対応する。故に、強調画像は報知対象を強調できる。以上のように、報知対象を強調する強調画像の作用を確実に発揮させ得る画像生成装置の提供によれば、運転者は報知対象を容易に知覚することができるのである。

本発明の第一実施形態による車両用表示装置を搭載した車両の構成を示す模式図である。 本発明の第一実施形態による車両用表示装置の電気回路構成を示すブロック図である。 本発明の第一実施形態において、運転者からの見かけ上の強調画像と報知対象との関係を示す図である。 本発明の第一実施形態において、強調画像と報知対象との関係を示す平面図である。 本発明の第一実施形態による制御フローを示すフローチャートである。 本発明の第二実施形態による車両用表示装置の電気回路構成を示すブロック図である。 本発明の第二実施形態による制御フローを示すフローチャートである。 強調アイコン画像の複数の変形例を示す図である。 表示画像の別の表示方法を説明するための図である。

以下、本発明の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する。

（第一実施形態）
図１は、本発明の第一実施形態による車両用表示装置１００が搭載されている車両１０を示している。車両１０には、車両用表示装置１００を構成している、運転支援装置１１であるＡｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ（ＡＣＣ）装置２０および車線維持補助装置３０、ドライバモニタ装置４０、実舵角検出装置５６、横滑り防止装置５０、投影装置８０、および画像生成装置７０等が搭載されている。これら車両用表示装置１００を構成する各装置２０，３０，４０，５６，５０，７０は、車載ネットワーク１２に接続されて、当該車載ネットワーク１２に情報を供給するとともに、制御に要する情報を取得する。

図１および図２に示すように、ＡＣＣ装置２０は、前走車を検出すると、自車両１０を当該前走車に追従走行させる、所謂アダプティブクルーズコントロールを行うシステムを構成している。ＡＣＣ装置２０は、車両用表示装置１００において、前景中から運転者１９に報知すべき報知対象１３の検出に用いられる。ＡＣＣ装置２０は、レーダー送信機２１、レーダー受信機２２、およびこれらを制御する制御回路部２５を備えている。

レーダー送信機２１およびレーダー受信機２２は、車両１０の前方先端となるフロントバンパー１０ａ内に収容され、制御回路部２５に電気接続されている。レーダー送信機２１は、自車両１０の前方の所定角度範囲に向けて電磁波の一種であるミリ波を送信する。このレーダー送信機２１によって送信されたミリ波のうち、自車両１０前方の物体、例えば前走車、道路標識、歩行者等で反射されたミリ波をレーダー受信機２２は受信する。このレーダー送受信機２１，２２により、自車両１０に対する前方の物体までの距離および方向の検出に用いられる情報が計測される。

制御回路部２５は、マイクロコンピュータからなり、アダプティブクルーズコントロールを行うための各種の演算処理を実行する演算装置（ＣＰＵ）２６、その演算処理を実行するためのプログラムや各種マップが記憶された補助記憶装置（ＲＯＭ）２８、演算処理に必要な情報を一時記憶する主記憶装置（ＲＡＭ）２７、および車載ネットワーク１２と接続されて情報通信する通信インターフェース２９を有している。このＲＯＭ２８には、クルーズコントロールを行うためのプログラムとして、位置情報算出プログラム、移動情報演算プログラム、および判別プログラム等が記憶されている。位置情報算出プログラムは、レーダー送受信機２１，２２による送受信結果に基づいて、自車両１０から前方の物体までの距離および方向に関する情報を算出するためのプログラムである。移動情報演算プログラムは、位置情報算出プログラムによって算出された物体について、距離と方向との時系列における推移から、当該物体の移動速度および移動方向を演算して演算情報を生成するプログラムである。判別プログラムは、自車両１０の進行方向および走行速度を参照し、演算情報に基づいて自車両１０に対する衝突の危険性が高い前方の物体を報知対象１３として判別するプログラムである。

以上のように構成された制御回路部２５は、各プログラムを実行することによって、レーダー送受信機２１，２２によって計測された前方の物体までの距離および方向に関する情報と、通信インターフェース２９に伝えられた自車両１０の進行方向および走行速度に関する情報と、を取得する。そして制御回路部２５は、これらの情報に基づいて報知対象１３の判別を行う。このようにしてＡＣＣ装置２０は、判別された報知対象１３についての自車両１０に対する位置１３ｐに関する情報を報知対象情報として生成するのである。ＡＣＣ装置２０は、この報知対象情報を、通信インターフェース２９を介して車載ネットワーク１２上に配信する。

車線維持補助装置３０は、道路上に描かれた白線又は黄線を検出して、運転者１９による自車両１０の当該白線に沿った走行を補助する、所謂レーンキーピングアシストを行うシステムを構成する装置である。車線維持補助装置３０は、車両用表示装置１００において、報知対象１３の外形形状の検出に用いられる。車線維持補助装置３０は、ＣＣＤカメラ３１および制御回路部３５を備えている。

ＣＣＤカメラ３１は、撮像素子により光の強度を電気信号に変換して出力するイメージセンサである。ＣＣＤカメラ３１は、車両１０の車内天井１６とウィンドシールド１８の間に設置され、撮像面を車両１０の前方に向けている。ＣＣＤカメラ３１は、前走車や道路等を含む車両前方の物体で反射された光を検知することにより、自車両１０の前方の領域を撮像して、前景画像の車外撮像データを生成する。

制御回路部３５は、マイクロコンピュータからなり、レーンキーピングアシストを行うための各種の演算処理を実行する演算装置（ＣＰＵ）３６、その演算処理を実行するためのプログラムや各種マップが記憶された補助記憶装置（ＲＯＭ）３８、演算処理に必要な情報を一時記憶する主記憶装置（ＲＡＭ）３７、および車載ネットワーク１２と接続されて情報通信する通信インターフェース３９を有している。このＲＯＭ３８には、画像データに対して近接する各画素間の階調データを比較する画像処理を行うことによって、車外撮像データ上における前方の物体や白線等の外形形状を解析するプログラムが記憶されている。加えてＲＯＭ３８には、報知対象１３の自車両に対する位置１３ｐの情報を参照して、画像データ上における当該報知対象１３の位置を演算するプログラムが記憶されている。

以上のように構成された制御回路部３５は、プログラムを実行することにより、通信インターフェース３９に伝えられた報知対象１３の自車両１０に対する位置１３ｐに関する報知対象情報を取得する。制御回路部３５は、この報知対象情報に基づいて、車外撮像データ上での報知対象１３の位置を算出し、この報知対象１３と推測される物体の外形形状を画像処理により解析する。このようにして車線維持補助装置３０は、解析された報知対象１３の外形形状に関する情報を報知対象情報として生成するのである。車線維持補助装置３０は、この報知対象情報を、通信インターフェース３９を介して車載ネットワーク１２へ配信する。

ドライバモニタ装置４０は、運転者１９の覚醒度やよそ見等の状態を検出して、例えば警報やシートベルトの巻上げ動作などで警告を行う、予防安全システムを構成している。ドライバモニタ装置４０は、車両用表示装置１００において、運転者１９の視点位置１９ｐおよび眼球方向の検出に用いられる。ドライバモニタ装置４０は、複数のＣＣＤカメラ４１，４２、近赤外線ＬＥＤ照明（図示しない）、および制御回路部４５を備えている。

ＣＣＤカメラ４１，４２は、撮像素子により近赤外線光の強度を電気信号に変換して出力するイメージセンサである。ＣＣＤカメラ４１，４２は、運転者１９の正面側に位置するインスツルメントパネル１７上面に設置され、撮像面を運転者１９側に向けている。ＣＣＤカメラ４１とＣＣＤカメラ４２は、一定の間隔を空けて設置されており、異なる方向から運転者１９を撮像する。これらＣＣＤカメラ４１，４２は、車内天井１６に設けられた近赤外線ＬＥＤ照明が照射した近赤外線のうち、運転者１９によって反射された近赤外線を検知することにより、当該運転者１９の複数の撮像データを生成する。

制御回路部４５は、マイクロコンピュータからなり、運転者１９の状態を検出するための各種の演算処理を実行する演算装置（ＣＰＵ）４６、その演算処理を実行するためのプログラムが記憶された補助記憶装置（ＲＯＭ）４８、演算処理に必要な情報を一時記憶する主記憶装置（ＲＡＭ）４７、および車載ネットワーク１２と接続されて情報通信する通信インターフェース４９を有している。このＲＯＭ４８には、ＣＣＤカメラ４１，４２によって生成された複数の撮像データに基づいて、差分の算出や運転者１９の目蓋や瞳孔の画像の抽出を行うことによって、視点位置１９ｐおよび眼球方向を解析するプログラムが記憶されている。

以上のように構成された制御回路部４５は、ＣＣＤカメラ４１，４２によって撮像された運転者１９の複数の撮像データを取得する。制御回路部４５は、これらの情報に基づいてプログラムを実行し、運転者１９の視点位置１９ｐおよび眼球方向を解析する。ドライバモニタ装置４０は、解析された運転者１９の視点位置１９ｐおよび眼球方向に関する情報を運転者情報として生成し、通信インターフェース４９を介して車載ネットワーク１２へ配信する。

実舵角検出装置５６は、運転者１９の操作によるステアリングホイール１７ａの回転角度を検出する装置である。実舵角検出装置５６は、ステアリングホイール１７ａ内に収容された舵角センサ５７、および舵角センサ５７と電気接続された舵角算出部５８を備えている。舵角センサ５７は、ステアリングホイール１７ａと一体で回転する磁石部、および車両１０側に固定された磁気抵抗素子を具備している。磁気抵抗素子は、外部から磁界の作用を受けることによって、当該素子の通過磁束の密度に比例した抵抗値を示す素子である。舵角算出部５８は、磁気抵抗素子に電圧を印加して当該素子の抵抗値を計測することで、磁石部の回転角度を計測する。この磁気抵抗素子の抵抗値に基づいてステアリングホイール１７ａの実舵角量を算出した舵角算出部５８は、この実舵角量を車載ネットワーク１２上へ配信する。

横滑り防止装置５０は、自車両１０の進行方向を保つように当該車両１０の姿勢を安定化する制御を行うブレーキシステムを構成している。横滑り防止装置５０は、車両用表示装置１００において、自車両１０の走行速度および進行方向の検出に用いられる。横滑り防止装置５０は、各車輪にそれぞれ設けられた車輪回転角度センサ５３、複数の加速度センサ（図示しない）、およびこれらの各センサから情報を取得する制御回路部５１等を備えている。

車輪回転角度センサ５３は、各車輪のハブ内に収容され、制御回路部５１に電気接続されている。車輪回転角度センサ５３は、軸受け側に固定されている磁気検出部と、車輪軸側に固定されて車輪と一体的に回転するリング状の磁石である着磁リングを具備している。磁気検出部は、回転する着磁リングによって引き起こされる磁界の変化を検出することによって、特定時間内における車輪の回転角度を計測する。

制御回路部５１は、マイクロコンピュータからなり、車両１０の姿勢安定化制御のための各種プログラムや制御マップが記憶されているＲＯＭ、および車載ネットワーク１２と接続されて情報通信する通信インターフェースを有している。例えばＲＯＭには、各車輪の車輪回転角度センサ５３によって計測された特定時間内における回転角度を参照し、自車両１０の走行速度を算出するプログラムが記憶されている。加えてＲＯＭには、各車輪の回転速度、実舵角量、および車両１０の鉛直方向軸周りの角加速度（ヨーレート）等を参照し、車両の進行方向を推測するプログラムが記憶されている。また、制御回路部５１は、通信インターフェースを介して、車載ネットワーク１２から車両１０の姿勢安定化制御に要する種々の情報を取得する。

以上のように構成された制御回路部５１は、各プログラムを実行することにより、各車輪回転角度センサ５３によって計測された特定時間内における各車輪の回転角度、および通信インターフェースに伝えられた実舵角量とヨーレート、等の情報を取得する。制御回路部５１は、これらの情報に基づいて、自車両１０の進行方向および走行速度を算出する。このようにして横滑り防止装置５０は、算出された進行方向および走行速度に関する情報を車両情報として生成し、車載ネットワーク１２上へ配信する。

投影装置８０は、画像データを取得し、表示画像９０を運転者１９の前方に設けられるウィンドシールド１８に向けて投影する表示装置である。本実施形態における投影装置８０は、ウィンドシールド１８のさらに前方、例えば５〜１０メートル程度の空間に表示画像９０を結像させ、この表示画像９０を運転者１９の前景に重畳させて虚像表示する、所謂ヘッドアップディスプレイ装置である。投影装置８０は、光源部８１、液晶パネル８２、液晶駆動回路部８３、および図示しない虚像表示のための複数の反射鏡等を組み合わせ構成される投影部８０ａと、当該投影部８０ａを収納する筐体部（図示しない）と、を備えている。

光源部８１は、電圧の印加によって発光する発光ダイオードであって、白色の光を液晶パネル８２に向けて放射する。液晶パネル８２は、等間隔に配置された複数の画素を有するドットマトリクス型の液晶パネルである。液晶パネル８２の各画素は、電圧の印加によって光の透過率が制御される。液晶駆動回路部８３は、画像生成装置７０に電気接続されており、画像生成装置７０から表示画像９０の画像データを取得する。液晶駆動回路部８３は、取得した画像データに基づいて液晶パネル８２の各画素に電圧を印加することによって当該各画素を制御し、液晶パネル８２に表示画像９０を形成する。以上の投影装置８０の構成によれば、画像データに基づいて液晶パネル８２に形成された表示画像９０は、光源部８１から放射された光によって、ウィンドシールド１８に投影される。

この投影装置８０によって表示される表示画像９０には、例えば速度表示、経路案内表示、強調画像９３等が形成されている。速度表示は、自車両１０の走行速度を示す表示である。経路案内表示は、車載されたナビゲーションシステムによる経路案内の作動時に、右左折の指示や、目的地までの距離を示す表示である。

強調画像９３は、ＡＣＣ装置２０によって検出された報知対象１３を運転者１９に強調して示す画像である。この強調画像９３は、図３に示すように、運転者１９の前景において報知対象１３を全周に亘って囲む矩形の枠状に形成される。加えて、この枠状の強調画像９３と運転者の前景における報知対象１３の外形形状との間には、余裕代９４として間隔が設けられる。この余裕代９４は、鉛直方向よりも水平方向に大きくなるよう設けられる。具体的に、強調画像９３の運転者１９に対する鉛直方向の画角αｖは、図１に示すように、運転者１９からの見かけ上で、報知対象１３の地点において、地面から上方（図１、Ｈ１）へ３００センチメートル、下方（図１、Ｈ２）に１００センチメートル程度の位置に表示される強調画像９３となるよう設定される。このように鉛直方向の画角αｖが設定されることで、鉛直方向の余裕代９４が設けられる。また、強調画像９３の運転者１９に対する水平方向の画角αｈは、図４に示すように、運転者１９からの見かけ上で、報知対象１３の位置において、報知対象１３の中心から左右ともに幅Ａだけ離れた位置に表示される強調画像９３となるよう設定される。この幅Ａは、報知対象１３の自車両１０に対する移動方向により変更される。例えば、報知対象１３が自車両１０と同方向又は対向方向に移動している場合、幅Ａは１５０センチメートル程度に設定される。さらに、報知対象１３が自車両１０の進行方向と交差方向に移動している場合、幅Ａは２５０センチメートル程度に設定される。このように、水平方向の画角αｈが設定されることで、水平方向の余裕代９４が設けられる。また加えて、強調画像９３は、報知対象１３を明確に警告するため点滅することができる。

図１および図２に示すように、画像生成装置７０は、表示画像９０の画像データを生成して、投影装置８０に供給する装置であって、インスツルメントパネル１７内に搭載されたコンビネーションメータ（図示しない）内に設けられている。この画像生成装置７０は、算出回路部７１および画像生成回路部７６を備えている。算出回路部７１は、マイクロコンピュータからなり、表示画像９０が有する各画像を形成するための各種の演算処理を実行する演算装置（ＣＰＵ）７２、その演算処理を実行するためのプログラムおよび自車両１０の諸元情報が記憶された補助記憶装置（ＲＯＭ）７３、演算処理に必要な情報を一時記憶する主記憶装置（ＲＡＭ）７４、および車載ネットワーク１２と接続されて情報通信する通信インターフェース７５を有している。このＲＯＭ７３には、車両１０に対する表示画像９０が表示される表示位置９０ｐに関する表示画像位置データ７３ａ、表示画像９０に強調画像９３を形成する形成情報算出プログラム７３ｂ、および強調画像９３を点滅させるための点滅プログラム７３ｃが記憶されている。

算出回路部７１は、この形成情報算出プログラム７３ｂを実行することにより、通信インターフェース７５を介して伝えられる運転者１９の視点位置１９ｐおよび眼球方向に関する運転者情報および報知対象１３の位置１３ｐに関する報知対象情報を取得する。加えて算出回路部７１は、ＲＯＭ７３に記憶された表示画像位置データ７３ａと、を取得する。算出回路部７１は、この運転者情報に基づき、視点位置１９ｐから眼球方向に沿う注視線を求める。この注視線が表示画像９０と交差している場合、算出回路部７１は、運転者１９の視点位置１９ｐから報知対象１３の位置１３ｐに向う視線１９ｖを求める。そしてこの視線１９ｖが表示画像９０と交差する注視点位置９３ｐを算出回路部７１は算出する。この注視点位置９３ｐは、算出回路部７１によって算出される形成情報であり、表示画像９０に強調画像９３を形成する際の基準位置となる。

また算出回路部７１は、形成情報算出プログラム７３ｂを実行することにより、表示画像位置データ７３ａに基づいて表示画像９０上における報知対象１３の外形形状を演算する。この報知対象１３の外形形状に応じた強調画像９３の形成サイズを、算出回路部７１は、形成情報として算出する。このとき算出回路部７１は、表示画像９０上における報知対象１３の外形形状と枠状の強調画像９３との間に間隔が形成されるよう、強調画像９３の形成サイズに間隔値を付与する。この算出回路部７１が形成サイズに付与する間隔値は、鉛直方向よりも水平方向に大きく設定されており、特に水平方向の間隔値は報知対象１３の自車両１０に対する移動方向に応じて変化する。

さらに算出回路部７１は、点滅プログラム７３ｃを実行することにより、自車両１０に対する距離が特定の閾値よりも小さい報知対象１３を判別する。そして算出回路部７１は、この自車両１０に特に接近する報知対象１３に対して、強調画像９３の表示画像９０への形成を断続的に行う。

画像生成回路部７６は、マイクロコンピュータからなり、接続された算出回路部７１による形成情報に基づいて、強調画像９３が形成された表示画像９０の画像データを生成する装置である。画像生成回路部７６が生成する画像データは、具体的には、液晶パネル８２の各画素の階調データである。画像生成回路部７６は、ＥＥＰＲＯＭからなる画像メモリ７７を有しており、この画像メモリ７７には、例えば工場出荷前等において強調画像９３を含む表示画像９０に描画される各画像のデータが予め記憶されている。

このような構成の画像生成回路部７６は、画像メモリ７７に記憶された強調画像９３等の基となる画像データ７７ａと、算出回路部７１が算出した強調画像の形成情報を取得する。画像生成回路部７６は、形成情報に基づいた位置および形成サイズの強調画像９３が表示画像９０に形成されるよう、当該強調画像９３を表示する画素を決定し階調データを更新する。以上のようにして画像生成回路部７６は、強調画像９３が形成された表示画像９０の画像データを生成する。

以上によれば、車両用表示装置１００は、運転者１９の視点位置１９ｐを検出することによって、報知対象１３を強調する強調画像９３を正確に配置して表示することができる。以下に、第一実施形態において、報知対象１３を検知して表示画像９０に強調画像９３を描画するための制御フローについて、図５を参照しつつ説明する。尚、この制御フローは、車両のイグニッションスイッチが入れられて、車両用表示装置１００を構成する各装置に電源電圧が印加されることによりスタートする。

まず、ステップＳ１では、ＡＣＣ装置２０が、自車両１０前方の物体の距離および方向を計測する。ステップＳ２では、ＡＣＣ装置２０は、ステップＳ１で検知した物体の移動方向および移動速度を演算する。ステップＳ３では、ＡＣＣ装置２０は、車載ネットワーク１２を通じて、横滑り防止装置５０によって検出された自車両１０の進行方向および走行速度を取得する。ステップＳ４では、ＡＣＣ装置２０は、ステップＳ１からステップＳ３で取得した情報に基づいて、前方の物体の自車両１０に対する衝突の危険性について判別する。ＡＣＣ装置２０は自車両１０に対して衝突の危険性の有る前方の物体については、報知対象１３として検出し、制御フローはステップＳ５に移行する。一方、ステップＳ４において、ＡＣＣ装置２０が自車両１０に対して衝突の危険性が無いと判定すると、制御フローは再びステップＳ１へ戻る。

ステップＳ５以降は、画像生成装置７０が、ＡＣＣ装置２０によって検出された報知対象情報を取得して制御を継続する。ステップＳ５では、画像生成装置７０は、車載ネットワーク１２を通じて、ドライバモニタ装置４０が検出し、運転者情報として生成した運転者１９の視点位置および眼球方向に関する情報を取得する。ステップＳ６では、画像生成装置７０は、運転者１９の注視線が表示画像９０と交差しているかを判定する。画像生成装置７０が、運転者１９の注視線が表示画像９０に向けられていると判定すると、制御フローはステップＳ７に移行する。一方、ステップＳ６において、画像生成装置７０が、運転者１９の視線方向が表示画像９０に向けられていないと判定すると、制御フローは終了する。ステップＳ７では、画像生成装置７０は、車載ネットワーク１２を通じて、車線維持補助装置３０が検出し、報知対象情報として生成した報知対象１３の外形形状に関する情報を取得する。ステップＳ８では、ステップＳ７以前に取得した報知対象情報および運転者情報に基づいて、画像生成装置７０が強調画像９３の表示画像９０における形成位置と形成サイズを算出する。ステップＳ９では、画像生成装置７０は、表示画像９０の画像データを生成するとともに投影装置８０に供給し、強調画像９３を表示・点滅させて、本制御フローは終了する。

ここまで説明した第一実施形態では、画像生成装置７０は、運転者１９の視点位置１９ｐに関する情報を含む運転者情報を取得することによって、運転者１９の前景における報知対象１３に対して強調画像９３が正確な位置に配置される表示画像９０の画像データを生成する。故に、異なる体格の人間が運転者１９となった場合でも、強調画像９３は報知対象１３に対して正確に配置されて表示される。加えて、運転者１９が運転中に頭部位置をずらした場合や、シート位置をずらした場合においても、強調画像９３は視点位置１９ｐの変更に対応し、報知対象１３に対して正確な位置に表示される。以上のように、報知対象１３を強調する強調画像９３の作用を確実に発揮させ得る画像生成装置７０の提供によれば、運転者１９は報知対象１３を容易に知覚することができるのである。

加えて第一実施形態では、画像生成装置７０は、報知対象１３の外形形状に関する情報を含む報知対象情報に基づき、報知対象１３の外形形状に応じた強調画像９３が形成された表示画像９０の画像データを生成する。この画像データに基づいて表示される表示画像９０においては、強調画像９３は運転者１９前景中の報知対象１３の外形形状に対応して形成されるので、当該報知対象１３を明確に強調できる。したがって、報知対象１３を強調する強調画像９３の作用を確実に発揮させ得る画像生成装置７０を提供することができるのである。

また第一実施形態では、図３に示すように、強調画像９３は、枠状に形成されることにより、表示画像９０において広い面積に描画されて、効果的に報知対象１３を強調することができる。加えて、強調画像９３が点滅することによれば、報知対象１３はさらに効果的に強調される。また、報知対象１３に対して余裕代９４が付与されて形成される強調画像９３は、例えば運転支援装置１１およびドライバモニタ装置４０の検出誤差や報知対象１３の移動等に起因する、運転者１９の前景上での報知対象１３の位置のずれを許容することができる。故に、報知対象１３が強調画像９３からはみ出し難くなる。また特に、運転者１９の前景における報知対象１３の移動は、鉛直方向よりも水平方向に顕著であるので、鉛直方向よりも水平方向に大きな余裕代９４が付与された強調画像９３は、少ない余裕代９４で効果的に報知対象１３の位置のずれを許容することができる。このような強調画像９３の特徴によれば、報知対象１３は運転者１９の前景において枠状に形成された強調画像９３内に収まることとなる。したがって、運転者１９は報知対象１３の知覚を明確に行うことができるのである。

さらに第一実施形態では、画像生成装置７０は、運転者１９の注視線と表示画像９０との交差位置が表示画像９０から外れると、表示画像９０への強調画像９３の形成を中止する。このようにして運転者１９の視線がウィンドシールド１８上の表示画像９０を通過している場合にのみ、強調画像９３が表示画像９０に描画されることによれば、強調画像９３の煩わしが低減される。このようにして強調画像９３が運転者１９の状態を鑑みて描画されることによれば、運転者１９は報知対象１３を効率的に知覚することができるのである。

また加えて第一実施形態では、運転支援装置１１において、既に自車両１０に対する衝突の危険性が高い報知対象１３が判別されている。故に、画像生成装置７０は、危険性の高いと判別された報知対象１３の報知対象情報のみを取得することとなる。そのため、画像生成装置７０は、危険性の高い報知対象１３のみを集中して強調する強調画像９３を形成した表示画像９０の画像データを生成し得る。したがって、運転者１９は重要な報知対象１３を優先的に知覚することができるのである。

さらに加えて第一実施形態では、画像生成装置７０は、既に他の目的で車載された運転支援装置１１およびドライバモニタ装置４０から報知対象情報および運転者情報を取得するので、高い精度を備えた情報を容易に獲得し得る。故に、画像生成装置７０の算出回路部７１によって算出される形成情報、および画像生成回路部７６によって生成される画像データは確かな値となる。したがって、報知対象情報および運転者情報を正確に反映した強調画像９３を形成することができる。したがって、強調画像９３の位置は運転者１９前景中の報知対象１３の位置に正確に対応することとなるので、強調画像９３は報知対象１３を確実に強調できるのである。

またさらに第一実施形態では、表示画像９０がウィンドシールド１８のさらに前方に結像される場合であっても、算出手段は、表示画像９０の表示位置９０ｐを参照することによって、表示画像９０と視線１９ｖとが交差する注視点位置９３ｐを算出することができる。このように、表示画像９０が空間中に結像されて表示される場合であっても、運転者１９の視点位置１９ｐに応じて強調画像９３を配置する作用を画像生成装置７０は確実に発揮することができるのである。

尚、本実施形態では、運転支援装置１１が請求項に記載の「報知対象検出手段」に相当し、投影装置８０が請求項に記載の「車両用表示装置」に相当する。

（第二実施形態）
本発明の第二実施形態は、第一実施形態の変形例である。図６に示すように、第二実施形態の車両用表示装置２００は、第一実施形態においてＡＣＣ装置２０および車線維持補助装置３０によって構成されていた運転支援装置１１に代わり、運転支援装置２１１が用いられている。加えて、第二実施形態では、第一実施形態における画像生成装置７０および投影装置８０に相当する構成が、ヘッドアップディスプレイ装置２８７として構成されている。また、車両用表示装置２００には、車載ネットワーク１２に接続されている車外通信装置９６、およびヘッドアップディスプレイ装置２８７に接続され、警報音を発生する警報器９７が構成に加えられている。

運転支援装置２１１は、ＣＣＤカメラ２３１，２３２、および制御回路部２３５を備える撮像装置である。ＣＣＤカメラ２３１，２３２は、撮像素子により光の強度を電気信号に変換して出力するイメージセンサである。ＣＣＤカメラ２３１，２３２は、第一実施形態におけるＣＣＤカメラ３１と同様に、車両１０の車内天井１６とウィンドシールド１８の間に設置され、撮像面を車両１０の前方に向けている。このＣＣＤカメラ２３１とＣＣＤカメラ２３２は、車両１０の幅方向に一定の間隔を空けて設置されている。ＣＣＤカメラ２３１，２３２は、前走車や道路等を含む車両の前方の物体で反射された光を検知することにより、異なる方向から自車両１０の前方領域を同時に撮像し、前景画像の車外撮像データを生成する。

制御回路部２３５は、マイクロコンピュータからなり、運転支援を行うための各種の演算処理を実行する演算装置（ＣＰＵ）２３６、その演算処理を実行するためのプログラムや各種マップが記憶された補助記憶装置（ＲＯＭ）２３８、演算処理に必要な情報を一時記憶する主記憶装置（ＲＡＭ）２３７、および車載ネットワーク１２と接続されて情報通信する通信インターフェース２３９を有している。このＲＯＭ２３８には、ＣＣＤカメラ２３１，２３２によって生成された複数の撮像データから、差分の算出や車両１０の前方に位置する種々の物体を抽出する画像処理を行い、報知対象１３の判別および当該報知対象１３の報知対象情報を生成するプログラムが記憶されている。

加えて制御回路部２３５は、車載ネットワーク１２に接続されている車外通信装置９６から、通信インターフェース２３９を介して情報を取得する。車外通信装置９６は、例えば、交差点に設けられたカメラやレーダーから情報を取得する装置や、ＤＥＤＩＣＡＴＥＤ Ｓｈｏｒｔ Ｒａｎｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ（ＤＳＲＣ）用の装置である。車外通信装置９６によって、制御回路部２３５は、ＣＣＤカメラ２３１，２３２の撮像範囲外に位置している報知対象１３になり得る物体に関する情報を予め取得することができる。

以上のように構成された制御回路部２３５は、プログラムを実行することによって、通信インターフェース２３９に伝達された自車両１０の進行方向および走行速度に関する車両情報、およびＣＣＤカメラ２３１，２３２で撮像された複数の車外撮像データを取得する。制御回路部２３５は、車両情報に基づいて、いずれかの車外撮像データから自車両１０とは移動速度および移動方向が異なる物体を解析する。加えて制御回路部２３５は、解析した物体の外形形状も解析する。また制御回路部２３５は、異なる方向から撮像された撮像データの差分によって、解析した物体の自車両１０に対する距離および方向を演算する。さらに制御回路部２３５は、ここまでに取得している車両情報と、物体の位置、移動方向、および移動速度に関する情報とによって、自車両１０に対する衝突の危険性が高い物体を報知対象１３として判別する。このようにして運転支援装置２１１は、判別した報知対象１３についての、自車両１０に対する位置１３ｐおよび外形形状を報知対象情報として生成し、通信インターフェース２３９を介して車載ネットワーク１２に配信する。

ヘッドアップディスプレイ装置２８７は、画像生成装置部２７０ａおよび投影装置部２８０ａを備える。第二実施形態における画像生成装置部２７０ａは、自車両１０に報知対象１３が近接した場合、警報器９７に電流を印加することにより、当該警報器９７に警報を発生させることができる。この画像生成装置部２７０ａおよび投影装置部２８０ａの作動は、第一実施形態における画像生成装置７０および投影装置８０と同様である。但し、請求項に記載の「報知対象検出手段」として運転支援装置２１１を用いることによって、制御フローが変更になっている。この制御フローの変更部分について、図７を用いて説明する。

第二実施形態における制御フローのステップＳ２０１では、運転支援装置２１１は、まず横滑り防止装置５０によって検出された自車両１０の進行方向および走行速度を取得する。ステップＳ２０２では、運転支援装置２１１は、自車両１０前方の物体を検知し、この物体の移動方向、移動速度、外形形状を解析する。ステップＳ２０３では、運転支援装置２１１は、自車両１０前方の物体の距離および方向を演算する。ステップＳ２０４では、ステップＳ４と同様に、運転支援装置２１１は、ステップＳ２０１からステップＳ２０３で取得した情報に基づいて、前方の物体の自車両１０に対する衝突の危険性について判別する。

また、第二実施形態における制御フローのステップＳ２０５以降は、報知対象１３の外形形状に関する情報を既に取得した状態である。故に、第一実施形態におけるステップＳ５およびステップＳ６に相当するステップＳ２０５およびステップＳ２０６が終了した後、第一実施形態におけるステップＳ７は省略されることとなる。第二実施形態におけるステップＳ２０７では、ヘッドアップディスプレイ装置２８７は、ステップＳ２０６以前に取得した報知対象情報および運転者情報に基づいて、強調画像９３の表示画像９０における形成位置と形成サイズを決定する。そしてステップＳ２０８では、ヘッドアップディスプレイ装置２８７は、表示画像９０の画像データを生成および投影し、強調画像９３を表示・点滅させて、本制御フローは終了するのである。

上述したように、第二実施形態では、請求項に記載の「車両用表示装置」に相当するヘッドアップディスプレイ装置２８７が、強調画像９３を表示画像９０に描画する画像生成装置部２７０ａを備える。これによれば、運転者１９の報知対象１３の知覚を容易にする車両用表示装置２００の車両への導入が容易となる。さらに、複数のＣＣＤカメラ２３１，２３２を有する運転支援装置２１１を用いることによれば、さらに簡素化された車両用表示装置２００を構築することができるのである。

（他の実施形態）
以上、本発明の複数の実施形態について説明したが、本発明はそれらの実施形態に限定して解釈されるものではなく、その要旨を逸脱しない範囲内において種々の実施形態に適用することができる。

上記実施形態において、画像生成装置は、図３に示すように、報知対象１３を全周に亘って囲む矩形枠状の強調画像９３を形成していた。しかし、強調画像は報知対象１３を全周に亘って囲まなくてもよい。例えば、図８（ａ）および（ｂ）に示す強調画像９３ａおよび９３ｂのように、一対の括弧状に形成されて報知対象１３を囲っていてもよい。又は、図８（ｃ）に示す強調画像９３ｃのように、破線によって枠状に形成されていてもよい。さらには、強調画像は矩形に限らず、図８（ｄ）の強調画像９３ｄのような報知対象１３を囲む楕円形状、図８（ｅ）の強調画像９３ｅのような報知対象１３下方に形成された棒形状、および図８（ｆ）の強調画像９３ｆのような報知対象１３上方に形成された三角形形状等、画像の形状は限定しない。加えて、強調画像９３に付与される余裕代９４についても、大きさおよびその有無は限定しない。さらに、点滅しない強調画像であってもよい。

上記実施形態では、画像生成装置および画像生成装置部での制御フローには、運転者の注視線１９ｖ方向と表示画像９０との交差を判定するステップＳ６，２０６が含まれていた。しかし、このステップＳ６，Ｓ２０６を含まない制御フローであってもよく、運転者の注視線１９ｖに拘わらず、強調画像９３が形成された表示画像９０を表示する車両用表示装置１００であってもよい。

上記実施形態では、「報知対象検出手段」として、ＡＣＣ装置２０および車線維持補助装置３０によって構成されていた運転支援装置１１や、複数のＣＣＤカメラ２３１，２３２を有する運転支援装置２１１を用いていた。しかし、画像生成装置は、検出された報知対象１３の位置１３ｐおよび大きさに関する報知対象情報を取得できればよく、例えば、ドライブレコーダ装置や暗視装置といった、他の運転支援装置を報知対象検出手段として用いてもよい。あるいは、報知対象１３を検出し、当該報知対象１３の位置１３ｐおよび外形形状に関する情報を生成可能な「報知対象検出手段」を車両用表示装置が備える構成であってもよい。

上記実施形態では、「状態検出手段」として、複数のＣＣＤカメラ４１，４２を有するドライバモニタ装置４０を用いていた。しかし、画像生成装置は、運転者１９の視点位置１９ｐに関する運転者情報を得られればよい。例えば、状態検出手段は、１つのＣＣＤカメラが撮像した車内撮像データから、画像処理により視点位置１９ｐを解析できるドライバモニタ装置であって、眼球方向を検出しないドライバモニタ装置であってもよい。又は、状態検出手段は、１つのＣＣＤカメラから取得した車内撮像データから画像処理により運転者１９の眼球方向を検出できるドライバモニタ装置であってもよい。また、運転者１９の視点位置１９ｐに関する情報を生成可能な「状態検出手段」を車両用表示装置が備える構成であってもよい。

上記実施形態では、車線維持補助装置３０、運転支援装置２１１、およびドライバモニタ装置４０が備える「撮像部」としてＣＣＤカメラを例に説明したが、「撮像部」はＣＣＤカメラに限定しない。光の強度を電気信号に変換して出力できる構成であれば、例えばＣＭＯＳカメラ等の撮像素子を用いてもよい。加えて、これらＣＣＤカメラ又はＣＭＯＳカメラ等が撮像する光の波長域も限定しない。具体的には、ＣＣＤカメラ又はＣＭＯＳカメラ等は、可視光域、近赤外域、遠赤外域、又は近紫外域のいずれをとらえる「撮像部」であってもよい。

上記実施形態では、「算出手段」および「画像生成手段」を、プログラムを実行するマイクロコンピュータによって構成していた。しかし、算出回路部７１および画像生成回路部７６と同様の作動が可能であれば、種々の素子を組み合わせた電子回路によってこれらの回路部７１，７６を構成してもよい。同様に、他の装置２０，３０，４０，５０，７０，２１１においても、マイクロコンピュータを用いることなく、所定の作動が実行可能な電子回路を用いてもよい。

第一実施形態では、画像生成装置７０は、コンビネーションメータ内に設けられていた。また、第二実施形態では、画像生成装置部２７０ａは、ヘッドアップディスプレイ装置２８７内に設けられていた。しかし、これらの表示画像９０の画像データを生成するための装置が設けられる場所を限定するものではない。例えば、ナビゲーションシステム内に画像生成装置部が設けられていてもよい。

上記実施形態では、投影装置８０および投影装置部２８０ａは、液晶パネル８２に形成された表示画像９０を白色の発光ダイオードである光源部８１から放射された光によってウィンドシールド１８に投影していた。しかし、投影装置８０および投影装置部２８０ａの構成を限定するものではない。例えば、液晶パネル８２に替えてＭｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ（ＭＥＭＳ）によって形成されたＤｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ（ＤＭＤ）を用い、ＤＭＤに形成された表示画像９０を光源部８１から放射された光によってウィンドシールド１８に投影してもよい。また、光源部８１の光源色および光源の種類も限定するものではない。例えば、光源部８１は、青色や緑色の光を放射する発光ダイオードであってもよい。さらに、光源部８１は、ＲＧＢそれぞれの波長を放射するレーザー光の光源を組み合わせてなる白色のレーザー光源部や、水銀ランプ等であってもよい。

そして上記実施形態では、表示画像９０はウィンドシールド１８の前方に虚像表示されていたが、表示画像９０の表示方法を限定するものではない。例えば、図９に示すように、ウィンドシールド１８の室内側に実像表示される表示画像３９０であってもよい。この場合、画像生成装置は、ウィンドシールド１８の車内側面と視線１９ｖとが交差する注視点位置９３ｐを算出する。又は、表示画像はインスツルメントパネル１７の上面に設けられた透光性のスクリーン部材に向けて投影されていてもよい。加えて、表示画像は、運転者１９の視界前方に車内天井１６から吊り下げられた透光性のスクリーン部材に向けて投影されていてもよい。あるいは、表示画像が透光性の表示部材に表示される構成であってもよい。

１０ 車両、１０ａ フロントバンパー、１１，２１１ 運転支援装置（報知対象検出手段）、１２ 車載ネットワーク、１３ 報知対象、１６ 車内天井、１７ インスツルメントパネル、１７ａ ステアリングホイール、１８ ウィンドシールド、１９ 運転者、２０ ＡＣＣ装置、２１ レーダー送信機、２２ レーダー受信機、２５ 制御回路部、２６ 演算装置、２７ 主記憶装置、２８ 補助記憶装置、２９ 通信インターフェース、３０ 車線維持補助装置、３１，２３１，２３２ ＣＣＤカメラ、３５ 制御回路部、２３５ 制御回路部、３６，２３６ 演算装置、３７，２３７ 主記憶装置、３８，２３８ 補助記憶装置、３９，２３９ 通信インターフェース、４０ ドライバモニタ装置、４１，４２ ＣＣＤカメラ、４５ 制御回路部、４６ 演算装置、４７ 主記憶装置、４８ 補助記憶装置、４９ 通信インターフェース、５０ 横滑り防止装置、５１ 制御回路部、５３ 車輪回転角速度センサ、５６ 実舵角検出装置、５７ 舵角センサ、５８ 舵角算出部、７０ 画像生成装置、２７０ａ 画像生成装置部、７１ 算出回路部、７２ 演算装置、７３ 補助記憶装置、７３ａ 画像表示位置データ、７３ｂ 形成情報算出プログラム、７３ｃ 点滅プログラム、７４ 主記憶装置、７５ 通信インターフェース、７６ 画像生成回路部、７７ 画像メモリ、７７ａ 画像データ、８０ 投影装置（車両用表示装置）、２８０ａ 投影装置部、８０ａ 投影部、８１ 光源部、８２ 液晶パネル、８３ 液晶駆動回路部、２８７ ヘッドアップディスプレイ装置（車両用表示装置）、９０，３９０ 表示画像、９３，９３ａ，９３ｂ，９３ｃ，９３ｄ，９３ｅ，９３ｆ 強調画像、９４ 余裕代、９６ 車外通信装置、９７ 警報器、１００，２００ 車両用表示装置、αｖ，αｈ 画角

Claims (1)

1. 運転者の前景に表示画像を重畳して表示する車両用表示装置と、前記前景中から前記運転者に報知すべき報知対象を検出する報知対象検出手段とを備える車両に搭載され、前記表示画像の画像データを生成して前記車両用表示装置に供給する画像生成装置であって、
   前記報知対象検出手段が生成する、前記報知対象の位置に関する情報を含む報知対象情報を取得する報知対象情報取得手段と、
   前記運転者の状態を検出する状態検出手段が生成する、前記運転者の視点位置に関する情報を含む運転者情報を取得する運転者情報取得手段と、
   前記報知対象情報および前記運転者情報に基づき、前記視点位置から前記報知対象の位置に向う視線が前記表示画像と交差する注視点位置を形成情報として算出する算出手段と、
   前記形成情報に基づき、前記注視点位置に応じて前記報知対象を強調する強調画像の前記画像データを生成する画像生成手段と、を備え、
   前記強調画像は、前記報知対象および周囲の余裕代を囲う一対の括弧、前記報知対象の下方に形成された棒形状、または前記報知対象の上方に形成された三角形形状のうちのいずれかであり、前記注視点位置を基準位置として前記表示画像に配置されることで、前記運転者からの見かけ上で前記前景中の前記報知対象に重畳されることを特徴とする画像生成装置。

Images