JP2007198962A - 車両用案内表示装置 - Google Patents

Abstract

【課題】車両前方方向の様子を示す画像における障害物の視認性と、車両が進行すべき方向を示す案内図形の視認性とを両立すること。
【解決手段】測位部１２によって検出された車両の現在位置と、入力部１４からの経路探索するための情報と、地図情報記憶部１３の地図情報とを用いて探索した経路に基づいて、探索された経路の誘導案内の対象に含まれる案内対象地点における車両の進路方向の案内図形を作成する案内図形生成部１７は、障害物認識部１８によって車両と案内対象地点の間に障害物を認識した場合、障害物認識部１８によって測定した車両と障害物との間の距離に応じた形状の案内図形を作成する。制御部１１は撮像部１６によって取得された車両の前方方向の画像に当該案内図形を重畳して、表示部１９に表示させる。
【選択図】図１

Description

本発明は、車両用案内表示装置に関し、特に、車両前方の様子を示す画像に車両が進むべき方向を示す案内図形を合成表示する車両用案内表示装置に関するものである。

従来の車両用案内表示装置は、車載カメラで撮影した車両前方方向の様子を示す画像を車載ディスプレイに表示するとともに、その車両前方方向の様子を示す画像に、別途作成した案内図形（進路変更の必要な交差点や分岐点などの案内対象地点において車両が進むべき方向を示す矢印等の図形）を重畳表示していた。

また、車両前方方向に先行車両等の障害物が存在する場合には、車両前方方向の様子を示す画像におけるその障害物による案内対象分岐点の遮蔽度に応じて案内図形の透過率を変化させて、画像上の障害物に重畳表示する車両用案内表示装置が提案されている（例えば特許文献１参照）。この車両用案内表示装置によれば、進路変更の必要な交差点や分岐点などの案内対象分岐点の手前に先行車両等の障害物が存在する場合にも、画面上でのこの障害物の視認性を大きく損なうことなしに、車両が進むべき方向を示す案内図形を重畳表示することができる。さらに、上記特許文献１には、障害物によって案内対象分岐点が完全に表示されない場合には、案内図形の重畳表示を中止して、表示画面の端に案内図形を簡易表示することが記載されている。
特開平１０−２８１７９４号公報

しかしながら、上記特許文献１に開示されている従来の車両用案内表示装置においては、上記遮蔽度に応じた透過率を有する案内図形が障害物に重畳して表示されるため、遮蔽度が高い場合（例えば遮蔽度が８０〜９９％の場合）には、透過率の非常に高い、つまり非常に薄い案内図形が障害物に重畳表示されることになり、案内図形の視認性が著しく低下してしまうという問題がある。その結果、ユーザは、案内図形が表示されていることに気付かない可能性があり、仮に気付いたとしても案内図形が示す方向を確認するために画面を注視しなければならず、ユーザにとって不便であった。

それゆえに本発明は、車両前方方向の様子を示す画像上に、車両が進行すべき方向を示す案内図形を見やすく表示することが可能な車両用案内表示装置を提供することを目的とする。

上記目的を達成するために、本発明は以下の構成を採用した。なお、括弧内の参照符号、図番号および補足説明は本発明の理解を助けるために図面との対応関係の一例を示したものであって、本発明の範囲を何ら限定するものではない。

本発明の第１の車両用案内表示装置は、車両前方の様子を示す車両前方画像を取得または生成する車両前方画像取得手段（１１）と、車両と案内対象地点（２０）との間に障害物（２１、２３、２６）が存在するかどうかを判定する障害物認識手段（１８）と、車両から前記障害物認識手段によって認識された障害物までの距離を測定する距離測定手段（１８）と、案内対象地点において車両が進行すべき方向を示す、前記距離測定手段によって測定された距離に応じた案内図形（２２、２４、２７）を生成する案内図形生成手段（１７）と、前記車両前方画像取得手段によって取得または生成された前記車両前方画像に、前記案内図形生成手段によって生成された案内図形を合成する案内画像生成手段（１１）とを備えることを特徴とする。

なお、前記車両前方画像取得手段は、車両に取り付けられた撮像手段（１６）によって撮像された実写画像を前記車両前方画像として取得してもよい。

また、前記案内図形生成手段は、前記距離測定手段によって測定された距離に応じて形状の変化する案内図形（図８、図１２）を生成してもよい。

また、前記案内図形生成手段は、前記距離測定手段によって測定された距離に応じて前記車両前方画像に表示されている路面に対する傾斜角度が変化するような案内図形（図１０、Ｒｂ、Ｒｃ）を生成してもよい。また、前記案内図形生成手段は、前記障害物認識手段によって車両と案内対象地点との間に障害物が存在すると判定されたときには、前記距離測定手段によって測定された距離に基づいて、前記車両前方画像において前記障害物を突き抜けないような案内図形を生成してもよい（図８、図１２）。これにより、自車両と障害物との距離に応じて、路面に対する案内図形の傾斜角度を変化させて障害物に突き抜けないように表示するので、自車両から障害物までの距離感と、案内対象地点において進路変更すべき方向とをユーザに同時に把握することができ、障害物と案内図形の両方の視認性を高めることができる。また、障害物が存在するときには、矢印を薄くするのではなく、むしろ積極的に表示することで安全運転にも寄与することができる。なお「障害物を突き抜けない」とは、表示画像において、自車位置から案内対象地点に向かって伸びる案内図形が、障害物の上端を超えて伸びることがないことを意味し、例えば図８に示す画面表示例では、案内図形が障害物の上端に達する前に左方向に曲がっているため、案内図形は障害物を突き抜けていないことになる。

また、前記案内図形生成手段は、前記車両前方画像における車両と障害物の間の路面領域の高さ（Ｈ）が所定の範囲内（Ｈ≧Ｉ）にある場合には当該路面領域の高さに応じて伸縮表示される案内図形（図１２）を生成してもよい。これにより、自車両と障害物との距離によって変化する路面領域の高さに応じて案内図形を収縮させるとともに、できる限り障害物と重ならないように案内図形を表示するので、自車両から障害物までの距離感と、案内対象地点において進路変更すべき方向とをユーザに同時に把握することができ、障害物と案内図形の両方の視認性を高めることができる。また、障害物が存在するときには、矢印を薄くするのではなく、むしろ積極的に表示することで安全運転にも寄与することができる。

また、前記案内図形生成手段は、前記車両前方画像における車両と障害物の間の路面領域の高さが所定の範囲内（Ｈ≧Ｉ）にある場合には当該障害物と重ならないような案内図形（５４）を生成し、前記車両前方画像における車両と障害物の間の路面領域の高さが所定の範囲外（Ｈ＜Ｉ）にある場合には当該障害物と重なるような案内図形（５７）を生成してもよい。

本発明の第２の車両用案内表示装置は、車両前方の様子を示す車両前方画像を取得または生成する車両前方画像取得手段（１１）と、車両と案内対象地点（７０）との間に障害物が存在するかどうかを判定する障害物認識手段（１８）と、案内対象地点において車両が進行すべき方向を示す案内図形（７４）を生成する案内図形生成手段（１７）と、前記車両前方画像取得手段によって取得または生成された前記車両前方画像に、前記案内図形生成手段によって生成された案内図形を合成する案内画像生成手段（１１）とを備え、前記案内図形生成手段は、前記車両前方画像に前記案内図形を合成したときに、前記車両前方画像に表示されている障害物と当該案内図形とが重なる重なり領域（６３）を検出する重なり領域検出手段（Ｓ５５）を含み、当該重なり領域検出手段によって検出された重なり領域に対応する領域については透明または半透明となり、その他の領域については不透明となるような案内図形を生成することを特徴とする。これにより、障害物と重なる領域については案内図形の透過率を部分的に高め、障害物と重ならない領域については案内図形を不透明表示することで、案内図形全体を透過表示するのと比べて、障害物と案内図形の両方の視認性を高めることができる。また、障害物が存在するときには、矢印を薄くするのではなく、むしろ積極的に表示することで安全運転にも寄与することができる。

なお、前記案内図形生成手段は、前記重なり領域検出手段によって検出された重なり領域の面積が大きいほど、当該重なり領域に対応する領域の透過率が高くなるような案内図形を生成してもよい（Ｓ５６）。つまり、重なり領域の面積が大きいほど、自車両と先行車両との距離が近いことが想定され、障害物の視認を案内図形より重視するために、重なり領域に対応する領域の透過率を高くする。逆に、重なり領域の面積が小さいほど、自車両と先行車両との距離が遠いことが想定され、案内図形の視認を障害物より重視するために、重なり領域に対応する領域の透過率を低くする。これにより、重なり領域の面積に応じて、重なり領域に対応する領域の透過率を変えることで、安全を重視した、または案内を重視した案内図形の表示をすることができる。また、案内図形全体の面積に対する障害物と案内図形とが重なる重なり領域の面積比に応じて、重なり領域に対応する領域の透過率を変えるようにしてもよい。

本発明によれば、上記説明から明らかなように、車両前方方向の様子を示す画像における障害物の視認性と、車両が進行すべき方向を示す案内図形の視認性とを両立することができる。

（第１の実施形態）
図１を参照して、本発明における第１の実施形態に係る車両用案内表示装置について説明する。図１は、第１の実施形態に係る車両用案内表示装置の構成を示す図である。なお、本実施形態、後述する第２の実施形態および第３の実施形態は、車両に搭載されるナビゲーション装置に本発明の車両用案内表示装置を適用した例について説明する。

図１において、車両用案内表示装置は、制御部１１、測位部１２、地図情報記憶部１３、入力部１４、音声出力部１５、撮像部１６、案内図形生成部１７、障害物認識部１８および表示部１９を備える。

制御部１１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で構成される。制御部１１は、本車両用案内表示装置を適用したナビゲーション装置全体の動作等を制御する。

測位部１２は、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）受信機、車速センサ、ジャイロセンサ等の測位センサである。測位部１２は、車両に取り付けられ、車両の現在位置、速度、方位等を検出する。ＧＮＳＳ受信機は、例えばＧＰＳ受信機であり、衛星からの電波を受信し、それを復調することで受信機の現在位置を検出することができる。

地図情報記憶部１３は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などで構成される。地図情報記憶部１３には、道路の形状データ、交差点の位置データ、幅員データ等の地図情報が予め記憶されている。ただし本発明はこれに限らず、地図情報は、図示しない通信手段（例えば携帯電話）を通じて、センター設備から適宜ダウンロードして地図情報記憶部１３に記憶される構成であってもよい。

入力部１４は、例えばタッチパネル、リモートコントローラー、音声入力を受け付けるマイクと音声認識エンジン等で構成され、ユーザの指示を受け付ける。ユーザによって入力される指示は、例えば目的地の設定、探索経路の選択、経路案内の開始、画面表示の切替などである。

音声出力部１５は、案内対象地点（例えば次に曲がるべき交差点）までの距離や進むべき方向などをユーザに知らせるための案内音声を出力する。音声出力部１５は、例えば音声合成エンジンまたは音声デコードエンジンやスピーカ等で構成される。

撮像部１６は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等を利用したカメラで構成される。撮像部１６は、車両天井部、車両先端部またはルームミラー背面などの場所に設置されて、車両前方方向を撮像する。なお撮像部１６が複数のカメラで構成されてもよい。

案内図形生成部１７は、交差点交差ノードデータと、道路幅員データと、車両位置データと、車両方位データと、誘導経路データと、先行車両までの距離データ等に基づいて、案内対象地点での車両の進むべき方向を示す矢印形状の案内図形を作成する。なお、案内図形は矢印形状に限らず、例えば単なる折れ線であってもよい。

障害物認識部１８は、例えばレーダー装置で構成され、自車両と案内対象地点の間における先行車両等の障害物の認識を行い、自車両から先行車両等の障害物までの距離を算出する。ただし障害物までの距離の算出方法はこれに限らず、撮像部１６によってステレオ測距して算出してもよいし、撮像部１６によって撮影した画像を画像処理して算出してもよい。さらには、いくつかのセンサの出力を組み合わせて利用して障害物までの距離を算出してもよい。

表示部１９は、例えば液晶ディスプレイや有機ＥＬディスプレイで構成され、ユーザに対して情報を表示する。具体的には、地図情報記憶部１３に記憶する地図情報や、撮像部１６によって撮像した実写画像に案内図形生成部１７で作成した案内図形を重畳（合成）して表示する。ただし本発明はこれに限らず、車両前方方向の様子を示す画像として、実写画像ではなく、障害物認識部１８の認識結果に基づいて先行車両を模したグラフィックオブジェクトを３次元ＣＧ地図上に配置して３次元ＣＧ地図画像を生成し、この３次元ＣＧ地図画像に案内図形を重畳して表示部１９に表示してもよい。

以下、図２および図３を参照して、案内図形生成部１７における案内図形の生成方法について説明する。ただし、案内対象地点と自車両の間に先行車両等の障害物が存在しない場合における案内図形の生成方法については、例えば特開平７−６３５７２号公報に開示されているような従来の方法と同じであるため説明を省略し、ここでは、案内対象地点と自車両の間に先行車両等の障害物が存在する場合の案内図形の生成方法について説明する。

図２において、Ｐａ，Ｐｂ，Ｐｃ，Ｐｄ，Ｐｅは交差点構成ノードであり、Ｐａは案内対象交差点ノードである。まず、進入ノードをＰｂ、脱出ノードをＰｃとすれば、進入ノードＰｂ、案内対象地点ノードＰａ、脱出ノードＰｃを順に結ぶ線分として進路が求まる。次に、地図情報記憶部１３に格納されている案内対象交差点ノードＰａ、進入ノードＰｂ、脱出ノードＰｃの座標を、所定の座標変換を行うことによって、自車両の現在位置Ｑ１を原点とし、車両方位方向をｚ軸、これに直交する方向をｘ軸とした座標にそれぞれ変換する。こうして変換された案内対象地点ノードＰａ、進入ノードＰｂ、脱出ノードＰｃの座標を、それぞれ（ｘａ，ｚａ）、（ｘｂ，ｚｂ）、（ｘｃ，ｚｃ）とする。

次に、障害物認識部１８によって計算された自車両と先行車両との間の距離に基づいて、原点Ｑ１（自車両位置）から案内対象交差点ノードＰａ方向（すなわちｚ軸の正方向）へ距離Ｌ１（自車両先端部から先行車両後端部までの距離に相当）だけ離れた点Ｑ２の座標を求める。さらに、原点Ｑ１から、進入ノードＰｂと案内対象交差点ノードＰａ間の道路の幅員Ｗｂの半分だけｘ軸の負方向に離れた点Ｑ３の座標を求める。さらに、点Ｑ２から、案内対象交差点ノードＰａと脱出ノードＰｃとを結ぶ直線と平行な方向に所定距離Ｌ２だけ離れた点Ｑ４の座標を求める。さらに、点Ｑ４から、点Ｑ２とＱ４を結ぶ直線に垂直な方向に脱出ノードＰｃと案内対象交差点ノードＰａ間の道路の幅員Ｗｃの半分だけ離れた点Ｑ５の座標を求める。さらに、点Ｑ３を通りかつ線分Ｑ２−Ｑ４に平行な直線と、点Ｑ５を通りかつｚ軸に平行な直線との交点Ｑ６の座標を求める。さらに、矢印の先端を表す三角形の各頂点Ｑ７〜Ｑ９の座標を求める。点Ｑ１、点Ｑ２、点Ｑ４、点Ｑ７、点Ｑ８、点Ｑ９、点Ｑ５、点Ｑ６、点Ｑ３、点Ｑ１を順に結ぶことによって得られる形状が、案内図形の形状となる。

なお、案内対象地点と自車両の間に先行車両が存在しない場合は、点Ｑ２の座標を案内対象交差点ノードＰａと同一とし、点Ｑ４の座標を脱出ノードＰｃと同一とすることによって、案内対象地点と自車両の間に先行車両が存在する場合と同様に案内図形の形状を求めることができる。

次に、上記のようにして求めた案内図形の各頂点の座標を、図３に示すように、ｘ’軸、ｙ’軸、ｚ’軸を用いた３次元の視線座標系に座標変換する。なお、原点Ｏを視点位置とし、ｚ’軸の正方向を視線方向とし、ｙ’軸の正方向を画面上方向とする。座標変換後の頂点の座標（ｘ’，ｙ’，ｚ’）は、変換前の座標（ｘ，ｚ）用いて（ｘ，−ｈ，ｚ）と表すことができる。これにより、進路方向を示す案内図形が、視線座標系においてｙ’＝−ｈで表される平面上に置かれることになる。

こうして視線座標系に配置された案内図形の各頂点を、図３に示す投影面に透視投影することにより、表示部１９に表示される案内図形の形状が決定される。なお、視線座標系に配置される投影面の傾きは、後述するように自車両と先行車両との間の距離に応じて変化する。図３の例は、自車両と案内対象地点との間に先行車両が存在しない場合の投影面を示している。投影面には、表示部１９の表示画面に対応する領域であるウィンドウＷＤが設定されており、ウィンドウＷＤ内に投影された案内図形の各頂点は、Ｘ’軸、Ｙ’軸を用いた２次元座標（スクリーン座標系）で表される。図３の例のように、自車両と案内対象地点との間に先行車両が存在しない場合には、スクリーン座標に変換された頂点の座標（Ｘ’，Ｙ’）は、変換前の座標を（ｘ’，ｙ’，ｚ’）用いて（ｋｘ’／ｚ’，−ｋｈ／ｚ’）と表すことができる。

なお、図３のｈは、路面に対する撮像部１６の設置高さに対応する値である。ウィンドウＷＤの縦横比は、表示部１９の表示画面の縦横比と同じになるように設定される。ｋは、撮像部１６の光学的条件（視野角、焦点距離等）とウィンドウＷＤの大きさに基づいて、撮像部１６で撮影される実写画像における車両前方方向の交差点の形状と、図３の視点から見たウィンドウＷＤ内の案内図形の形状とが整合するように、その値が設定される。

次に、図４〜図１０を参照して、本実施形態の車両用案内表示装置の動作の流れについて説明する。

図４において、ユーザが入力部１４から目的地を入力して、測位部１２が車両の現在位置を検出すると（ステップＳ１）、制御部１１は、現在位置から目的地に至る最適経路を探索し、経路案内が開始される（ステップＳ２）。経路案内中は、撮像部１６で撮影された車両前方方向の様子を示す画像が表示部１９に表示される。経路案内が開始されると、測位部１２は、所定の時間間隔で車両の現在位置を検出する（ステップＳ３）。そして、制御部１１は、ステップＳ３で検出した車両位置から、ステップＳ２で得られた最適経路上の案内対象地点までの距離を算出する（ステップＳ４）。

続いて、ステップＳ５において、制御部１１は、車両から案内対象地点までの距離が所定の距離（ユーザが実写画像上で案内対象地点を視認できる距離であり、例えば７００ｍ、３００ｍ、または１００ｍ）以下か否かを判定する。そして、案内対象地点までの距離が所定の距離に到達していない場合（ステップＳ５でＮｏ）には、処理はステップＳ３に戻る。一方、案内対象地点までの距離が所定の距離以下に到達した場合（ステップＳ５でＹｅｓ）には、案内対象地点において車両が進むべき方向を明示するため、図５に示される処理に移行する。

図５は、案内図形（矢印）を表示する処理である。図５のステップＳ１０において、障害物認識部１８は案内対象地点までに先行車両等の障害物が存在するか否かを判定する。判定の結果、先行車両等の障害物が存在しない場合（ステップＳ１０でＮｏ）には、処理はステップＳ１１に進む。ステップＳ１１において、制御部１１は、案内図形の傾斜角度θ（表示部１９に表示される路面に対する傾斜角度）を０度と設定する。

次に、案内図形生成部１７は、地図情報記憶部１３に記憶されている道路形状および幅員データ等に基づいて、図２を参照して説明した方法により、案内対象地点で車両が進むべき方向を示す案内図形を作成する（ステップＳ１２）。この場合は、先行車両が存在しないので、図２における点Ｑ２がＰａと一致して、点Ｑ４がＰａとＰｃを結ぶ直線上に存在する案内図形が求まる。次に、この案内図形を、図３を参照して説明したようにウィンドウＷＤに投影変換（原点Ｏを基準とした透視投影変換）する（ステップＳ１３）。続いて、この投影変換された案内図形を赤色などで塗りつぶし、撮像部１６が撮像した車両前方方向の様子を示す実写画像に案内図形を重畳して表示部１９の表示画面に表示する（ステップＳ１４）。こうして、実写画像中の路面に対する傾斜角度が０度となるような案内図形（すなわち路面に沿っているように見える案内図形）が表示される。ステップＳ１４の処理の後は、図６に示される処理に移行する。

一方、ステップＳ１０の判定の結果、自車両と案内対象地点との間に先行車両等の障害物が存在する場合（ステップＳ１０でＹｅｓ）には、障害物認識部１８は自車両と先行車両等の障害物までの距離を算出する（ステップＳ１５）。続いて、制御部１１は、算出した先行車両等の障害物までの距離に応じて、実写画像における路面に対する案内図形の傾斜角度θを決定する（ステップＳ１６）。この傾斜角度θは、０°＜θ≦９０°の範囲内で設定される。自車両から先行車両等の障害物までの距離が短い程、傾斜角度θは大きくなる。

次に、案内図形生成部１７は、地図情報記憶部１３に記憶されている道路形状および幅員データ等に基づいて、図２を参照して説明した方法により、案内対象地点で車両が進むべき方向を示す案内図形を作成する（ステップＳ１７）。次に、制御部１１によって決定した傾斜角度θに基づいて、この案内図形を、図７に示すように、ｘ’ｙ’平面（ｚ’＝０で表される平面）に対して角度θだけ傾斜させた投影面に投影変換（原点Ｏを基準とした透視投影変換）する（ステップＳ１８）。続いて、この投影変換された案内図形を赤色などで塗りつぶし、撮像部１６が撮像した車両前方方向の様子を示す実写画像に案内図形を重畳して表示部１９の表示画面に表示する（ステップＳ１９）。こうして、実写画像中の路面に対する傾斜角度がθ度となるような案内図形（すなわち水平に対してθ°傾斜しているように見える案内図形）が表示される。さらに、障害物認識部１８によって検出された自車両から案内対象地点までの距離を案内図形に重畳表示する（ステップＳ２０）。ステップＳ２０の処理の後は、図６に示される処理に移行する。

図６は、案内図形重畳後の処理を示している。図６のステップＳ２１において、制御部１１は、自車両が案内対象地点を通過したか否かを判定する。判定の結果、車両が案内対象地点を通過していない場合（ステップＳ２１でＮｏ）には、車両の現在位置と最適経路を照合して、車両が設定された最適経路から逸脱しているか否かを判定する（ステップＳ２４）。判定の結果、設定された最適経路から車両が逸脱していない場合（ステップＳ２４でＮｏ）には、処理は図４のステップＳ１０に戻る。

次に、ステップＳ２４における判定の結果、車両が設定された最適経路から逸脱している場合（ステップＳ２４でＹｅｓ）には、制御部１１は案内図形の重畳を停止する（ステップＳ２５）。この場合は、例えば、車両が最適経路から逸脱して、予定している案内対象地点に向かっていない状況にある。したがって、処理は図４のステップＳ２に戻り、経路の再探索が行われる。

一方、ステップＳ２１における判定の結果、車両が案内対象地点を通過した場合（ステップＳ２１でＹｅｓ）には、制御部１１は案内図形の重畳を終了する（ステップＳ２２）。続いて、車両の現在位置と最適経路を照合して目的地に到着したか否かを判定する（ステップＳ２３）。判定の結果、目的地に到着していない場合（ステップＳ２３でＮｏ）には、図４のステップＳ３に戻り、次の案内対象地点に備える。一方、目的地に到着した場合（ステップＳ２３でＹｅｓ）には、処理は終了する。

また、図４〜図６の一連の動作は、所定の時間間隔、例えば１秒間隔で案内図形の重畳表示を繰り返す。なお、自車両から先行車両等の障害物までの距離が短いほど、または自車両の速度が速いほど、案内図形の重畳処理を繰り返す時間間隔（すなわち案内図形の更新周期）を短くしてもよい。これにより、実写画像の急な変化に対応して案内図形を適切に表示することができる。

次に、表示部１９の表示画面例を説明する。図８（ａ）は、案内対象地点２０と自車両の間に先行車両等の障害物２１が存在しない場合における表示部１９の表示画面例である。この表示画面例は、図５のステップＳ１１〜Ｓ１４の処理に基づいた結果である。また、図８（ｂ）および（ｃ）は、案内対象地点２０と自車両の間に先行車両等の障害物２３、２６が存在する場合における表示部１９の表示画面例である。特に、図８（ｂ）は自車両と先行車両の間の距離が比較的離れている場合の例であり、図８（ｃ）は自車両と先行車両の間の距離が比較的近い場合の例である。これらの表示画面例は、図５のステップＳ１５〜Ｓ２０の処理に基づいた結果である。

次に、図９および図１０を参照して図８の表示画面例における案内図形の補足説明をする。なお、図９および図１０では、図８の案内図形や車両を簡略化して表示している。

図９および図１０において、３０および４０は案内対象地点であり、３１、３４、３７、４１、４４および４７は先行車両であり、３２、３５、３８、４２、４５および４８は自車両であり、３３、３６、３９、４３、４６および４９は案内図形であり、ＲｂおよびＲｃは路面に対する案内図形の傾斜角度である。

図９（ａ）〜（ｃ）に示すように、案内図形３３、３６、３９は先行車両３１、３４、３７を突き抜けない。したがって、実写画像に案内図形を重畳表示したときに実写画像中の先行車両が案内図形に完全に隠れてしまうことがなく、実写画像を見ているユーザに対して先行車両の存在を確実に気付かせることができる。また、その結果として、案内図形を半透明表示しなくてもユーザに先行車両の存在を気付かせることができるので、半透明表示による視認性の低下の問題も生じない。

また、図１０（ａ）〜（ｃ）に示すように、自車両から先行車両までの距離が短くなるに連れて、案内図形４３、４６、４９の路面に対する傾斜角度が大きくなり、案内図形４６の傾斜角度Ｒｂと案内図形４９の傾斜角度Ｒｃの関係は、０°＜Ｒｂ＜Ｒｃ≦９０°となる。つまり、図８（ｃ）の案内図形２７は、実写画像中の路面に対して、図８（ｂ）の案内図形２４より立ち上がった状態である。このような案内図形の路面に対する傾斜角度の変化により、自車両と先行車両との間の距離が詰まってきたときに、それをユーザに直感的に知らせることができる。すなわち、案内図形は、車間距離が短くなっていることを示す警告表示としても機能する。

以上のように、本実施形態に係る車両用案内表示装置によれば、ユーザは先行車両までの距離感と案内対象地点での進路変更する方向の認識を両立することができる。

なお、本実施形態と、後述する第２および第３の実施形態において、経路案内開始状態から実写画像を用いて目的地までユーザを誘導する説明をしているが、これに限らず、地図データと車両位置を示すアイコン等を表示するモードと、実写画像を表示するモードとで表示モードを適宜に切り替え可能な構成にしてもよい。また、このように表示モードを切り換え可能な構成において、実写画像を表示するモードに設定されている場合にのみ、本実施形態（または後述する第２あるいは第３の実施形態）のような案内図形の重畳表示を実行するようにしてもよい。あるいは、案内対象地点付近では、車両前方方向の画像を表示するモードを用いて案内を行い、それ以外の時は地図データと車両位置を示すアイコン等を表示するモードを用いて案内を行うように、表示モードを自動的に切り換える構成にしてもよい。

また、案内対象地点までの距離が所定の距離以下に達した場合に、車両が進行すべき方向を示す案内図形の表示とともに、分岐点に近づいていることを音声出力部１５からユーザに音声で通知してもよい。例えば、「３００ｍ先、左折です。」等の音声を出力してもよい。さらに、車両位置と案内対象地点との距離が所定距離になった場合に、音声出力部１５から音声を出力させてもよい。例えば、「まもなく左方向です。」等の音声を出力してもよい。

また、道路画像に対して傾斜角度がある案内図形を重畳表示する場合には、傾斜角度に応じた案内図形の「影」をさらに表示するようにしてもよい。

（第２の実施形態）
前述した第１の実施形態の車両用案内表示装置は、自車両と案内対象地点との間に先行車両等の障害物が存在する場合、車両前方方向の様子を示す画像中の路面に対して傾斜した案内図形を重畳表示するとしたが、これから説明する第２の実施形態の車両用案内表示装置は、車両前方方向の様子を示す画像において、自車両から先行車両等の障害物までの路面領域を抽出し、当該路面領域の高さ（画像上での高さ）に応じた案内図形を実現する。なお、第２の実施形態の車両用案内表示装置の構成は、第１の実施形態のものと同様であるので図示を省略する。また、動作の流れについては、図５の案内図形を表示する動作だけが異なる。したがって図４および図６における動作の流れは第１の実施形態のものと同様であるので図示を省略する。以下、図１１および図１２を参照して、第２の実施形態の動作の流れについて説明する。

図１１は、本実施形態の車両用案内表示装置における撮像部１６によって撮像した車両前方方向の実写画像に案内図形生成部１７によって作成された案内図形を重畳して表示する動作を示すフローチャート図である。図１２は、本実施形態の処理により表示部１９に表示される画像の一例を示す表示例である。

まず、ユーザの指示によって経路案内が開始されると、第１の実施形態と同様の、つまり図４のステップＳ３〜Ｓ５の処理が実行される。図４のステップＳ５において自車両と案内対象地点の間の距離が所定の距離以下になると、図１１に示される処理に移行する。

次に、図１１のステップＳ３０において、障害物認識部１８は案内対象地点までに先行車両等の障害物が存在するか否かを判定する。判定の結果、先行車両等の障害物が存在しない場合（ステップＳ３０でＮｏ）には、処理はステップＳ３１に進む。ステップＳ３１において、制御部１１は、実写画像における自車両と案内対象地点との間に存在する路面領域を抽出して、この路面領域の高さＨ（画像上での高さであって、単位は画素）を算出する。この高さＨは、例えば、図２における案内対象地点ノードＰａを、図３を用いて説明した方法でウィンドウＷＤに透視投影することによって計算することができる。

次に、案内図形生成部１７は、地図情報記憶部１３に記憶されている道路形状および幅員データに基づいて、図２を参照して説明した方法により、案内図形（高さＨの案内図形）を作成する（ステップＳ３２）。次に、図３を参照して説明したように案内図形を投影面に投影変換する（ステップＳ３３）。続いて、投影変換によって得られた案内図形を実写画像に重畳表示して（ステップＳ３４）、図６に示される処理に移行する。

一方、ステップＳ３０の判定の結果、先行車両等の障害物が存在する場合（ステップＳ３０でＹｅｓ）には、制御部１１は、実写画像における自車両と先行車両との間に存在する路面領域を抽出して、この路面領域の高さＨ（画像上での高さであって、単位は画素）を算出する（ステップＳ３５）。この高さＨは、例えば、図２における先行車両の後端部を、図３を用いて説明した方法でウィンドウＷＤに透視投影することによって計算することができる。続いて、ステップＳ３６において、高さＨが予め定められた閾値Ｉ以上か否かを判定する。判定の結果、高さＨが閾値Ｉ以上の場合（ステップＳ３６でＹｅｓ）には、案内図形生成部１７は高さＨの案内図形を作成する（ステップＳ３７）。一例として、図２に示すように先行車両を突き抜けない形状の案内図形を生成することにより、結果として表示部１９の表示画面上で高さがＨとなるような案内図形を作成することができる。なお、図２において、案内図形の先端の点Ｑ８が道路の幅員Ｗｂに収まるように、図２の案内図形をｘ軸方向に縮小するようにしてもよい。これにより、実写画像上で案内図形の先端が道路脇の建物等に重なって表示されてしまうのを防止することができる。一方、高さＨが閾値Ｉ未満の場合（ステップＳ３６でＮｏ）には、案内図形生成部１７は高さＩの案内図形を作成する（ステップＳ４１）。

次に、ステップＳ３７またはステップＳ４１で生成した案内図形を、図３を用いて説明した方法で投影面（ｘ’ｙ’平面に平行な投影面）に投影変換する（ステップＳ３８）。続いて、表示部１９は、この投影された案内図形を実写画像に重畳表示するとともに（ステップＳ３９）、自車両から案内対象地点までの距離を案内図形に重畳表示する（ステップＳ４０）。これにより、路面に沿った（路面に沿っているように見える）案内図形が実写画像に重畳表示されることになる。以下、第１の実施形態と同様の、つまり図６のステップＳ２０〜Ｓ２５の処理が実行される。

図１２（ａ）は、自車両と案内対象地点５０との間に先行車両５１が存在しない場合の表示部１９の表示画面例である。これは、図１１のステップＳ３１〜Ｓ３４までの処理に基づいた結果である。また図１２（ｂ）は、自車両と案内対象地点５０との間に先行車両５３が存在し、かつ実写画像における自車両から先行車両５３までの間の路面領域の高さＨが閾値Ｉ以上の場合の表示部１９の表示画面例である。これは、図１１のステップＳ３５〜Ｓ４０までの処理に基づいた結果である。また図１２（ｃ）は、自車両と案内対象地点５０との間に先行車両５６が存在し、かつ実写画像における自車両から先行車両５６までの間の路面領域の高さＨが閾値Ｉ未満の場合の表示部１９の表示画面例である。これは、図１１のステップＳ４１、Ｓ３８〜Ｓ４０までの処理に基づいた結果である。

以上のように、本実施形態に係る車両用案内表示装置によれば、少なくとも自車両から先行車両５６までの間の路面領域の高さが十分にある場合には、車両前方方向の様子を示す画像（実写画像またはコンピュータグラフィックス）において案内図形が先行車両を突き抜けない。したがって、実写画像（またはコンピュータグラフィックス）に案内図形を重畳表示したときに実写画像中の先行車両が案内図形に隠れてしまうことがなく、実写画像を見ているユーザに対して先行車両の存在を確実に気付かせることができる。また、その結果として、案内図形を半透明表示しなくてもユーザに先行車両の存在を気付かせることができるので、半透明表示による視認性の低下の問題も生じない。

なお、本実施形態では、図１１のステップ４１において、自車両から先行車両５６までの間の路面領域の高さＨが閾値Ｉ未満の場合に、高さＩの案内図形を重畳表示するとしたが、本発明はこれに限らない。例えば、案内図形を実写画像の路面上に表示する代わりに、予め用意された矢印図形を表示画面の端に表示するようにしてもよい。

（第３の実施形態）
第３の実施形態の車両用案内表示装置は、車両前方方向の様子を示す画像に案内図形を重畳表示するときに、この案内図形のうち、先行車両等の障害物と重なる領域（以下、重なり領域と称す）を透明または半透明にして重畳表示することを特徴とする。なお、第３の実施形態の車両用案内表示装置の構成は、第１の実施形態のものと同様であるので図示を省略する。また、動作の流れについては、図５の案内図形を表示する動作だけが異なる。したがって図４および図６における動作の流れは第１の実施形態と同様であるので図示を省略する。以下、図１３〜図１７を参照して、第３の実施形態の動作の流れについて説明する。

図１３は、本実施形態の車両用案内表示装置における、撮像部１６によって撮像した実写画像に案内図形生成部１７によって作成された案内図形を重畳して表示する動作を示すフローチャートである。

まず、ユーザの指示によって経路の案内が開始されると、第１の実施形態と同様の、つまり図４のステップＳ３〜Ｓ５の処理が実行される。図４のステップＳ５において自車両から案内対象地点までの距離が所定の距離以下に達すると、図１３に示される処理に移行する。

次に、図１３のステップＳ５０において、障害物認識部１８は自車両と案内対象地点の間に先行車両等の障害物が存在するか否かを判定する。判定の結果、先行車両等の障害物が存在しない場合（ステップＳ５０でＮｏ）には、処理はステップＳ５１に進み、案内図形の透過率が０％（すなわち不透明）に設定される。ステップＳ５２〜Ｓ５４の処理は図５のステップ１２〜Ｓ１４と同様であるので説明を省略する。この場合の表示部１９の表示画面例は図８（ａ）と同様であるので説明を省略する。

一方、ステップＳ５０の判定の結果、自車両と案内対象地点の間に先行車両等の障害物が存在する場合（ステップＳ５０でＹｅｓ）には、先行車両と実写画像に重畳表示すべき案内図形との重なり領域を抽出する（ステップＳ５５）。以下、図１４〜図１６を参照して、ステップＳ５５での重なり領域の求め方を説明する。

まず、図１４において、制御部１１は、撮像部１６によって撮像される実写画像を取得する（ステップＳ６１）。続いて制御部１１は、取得した実写画像に基づいて、実写画像において先行車両が表示されている領域（以下、先行車両領域と称す）を検出する（ステップＳ６２）。続いて、先行車両領域とそれ以外の領域とを区分するための２値化処理を行う（ステップＳ６２）。ここでは一例として、先行車両領域を１、それ以外の領域を０として２値化する。この２値化処理によって得られる２値画像の一例を図１６（ａ）に示す。図１６（ａ）において斜線で示した領域が先行車両領域である。

次に、図１５において、案内図形生成部１７は、図５のステップＳ１１〜Ｓ１３と同様の処理により案内図形を作成する（ステップＳ７１）。続いて、案内図形が表示される領域（以下、案内図形領域と称す）とそれ以外の領域とを区分するための２値化処理を行う（ステップＳ７２）。ここでは一例として、案内図形領域を１、それ以外の領域を０として２値化する。この２値化処理によって得られる２値画像の一例を図１６（ｂ）に示す。図１６（ｂ）において斜線で示した領域が案内図形領域である。

続いて、図１４および図１５の処理を実行して得られた２つの２値画像の論理積を取り、先行車両と案内図形の重なり領域を抽出する。具体的には、図１６（ａ）において斜線で示した領域６１と、図１６（ｂ）において斜線で示した領域６２とが重なる領域、つまり図１６（ｃ）において斜線で示した領域６３が、重なり領域として抽出される。

上記のステップＳ５５の後、制御部１１は抽出した重なり領域の面積に応じた透過率を算出する（ステップＳ５６）。ここでは、重なり領域の面積が大きいほど、算出される透過率が高くなるものとする。ただし本発明はこれに限定されず、重なり領域の面積に依存することなく常に一定の透過率を重なり領域に適用しても構わない。続いて、案内図形生成部１７は、重なり領域についてはステップＳ５６で算出された透過率を有し、その他の領域（以下、非重なり領域と称す）については透過率が０％（すなわち不透明）となるような案内図形を生成する（ステップＳ５７）。さらに、こうして生成した案内図形を実写画像に重畳表示して（ステップＳ５８）、図６に示される処理に移行する。これにより、路面に沿った（路面に沿っているように見える）案内図形が実写画像に重畳表示されることになる。以下、第１の実施形態と同様の、つまり図６のステップＳ２０〜Ｓ２５の処理が実行される。

図１７は、案内対象地点７０と自車両の間に先行車両等の障害物７１が存在する場合の表示部１９の表示画面例である。図１７において、案内図形７４のうちの重なり領域７３については半透明で表示され、案内図形７４のうちの残りの領域７２については不透明で表示されている。このような案内図形７４は、図１３のステップＳ５５〜Ｓ５８までの処理に基づいた結果である。

以上のように、本実施形態に係る車両用案内表示装置によれば、実写画像（またはコンピュータグラフィック）に重畳される案内図形と先行車両とが重なるときに、案内図形全体を半透明表示するのではなく、先行車両と案内図形の重なり領域のみを透明または半透明にすることにより、案内図形の視認性と障害物の視認性のいずれも損なうことなしに、実写画像に案内図形を重畳表示することができる。

なお、上述の先行車両領域を検出する手法としては、単眼カメラやステレオカメラを用いた公知の手法があり、本実施例においては、どちらであってもよい。例えば、単眼カメラを用いた車両検出手法としては、輝度値を参照する手法（車線上の輝度値を取得して路面上の障害物を検出する手法）や、射影変換画像を利用する手法（２フレーム間で射影変換画像の差分をとって移動物体を検出する手法）がある。また、ステレオカメラを用いた車両検出手法としては、距離画像から先行車両の輪郭を抽出する手法や、ステレオ逆射影変換を用いて高さ情報を持つ物体を検出する手法や、道路平面領域を抽出して路上の障害物を検出する方法などがある。さらに、他の検出手法としては、先行車両が存在しない状態で撮影した道路画像データを位置情報と関連付けて図示しない記憶手段に記憶しておき、測位部１２の測位結果に基づいて、撮像部１６によって撮像された実写画像と、現在の走行位置に対応する道路画像データとの差分をとることによって先行車両を検出することもできる。

本発明に係る車両用案内表示装置は、目的地への誘導案内を実現する、車載ナビゲーション装置、車載情報端末、および運転を模擬するドライブシミュレータ、またはゲームとして有用である。

第１の実施形態に係る車両用案内表示装置の構成を示す機能ブロック図 案内図形の形状の求め方を説明するための図 案内図形に対する透視投影変換について説明するための図 第１の実施形態に係る車両用案内表示装置の動作の流れを示すフローチャート 第１の実施形態に係る車両用案内表示装置の動作の流れを示す他のフローチャート 第１の実施形態に係る車両用案内表示装置の動作の流れを示すさらに他のフローチャート 第１の実施形態に係る案内図形の表示例 案内図形の形状が自車両と先行車両との距離に応じて変化する様子を示す図 案内図形の路面に対する傾斜度が自車両と先行車両との距離に応じて変化する様子を示す図 第１の実施形態において自車両と案内対象地点との間に先行車両が存在する場合の案内図形に対する透視投影変換について説明するための図 第２の実施形態に係る車両用案内表示装置の動作の流れを示すフローチャート 第２の実施形態に係る案内図形の表示例 第３の実施形態に係る車両用案内表示装置の動作の流れを示すフローチャート 先行車両領域に関する２値化処理の流れを示すフローチャート 案内図形領域に関する２値化処理の流れを示すフローチャート 重なり領域の検出方法を説明するための図 第３の実施形態に係る案内図形の表示例

符号の説明

１１ 制御部
１２ 測位部
１３ 地図情報記憶部
１４ 入力部
１５ 音声出力部
１６ 撮像部
１７ 案内図形生成部
１８ 障害物認識部
１９ 表示部
２０、３０、４０、５０、７０ 案内対象地点
２１、２３、２６、３１、３４、３７、４１、４４、４７、５１、５３、５６、７１ 先行車両
２２、２４、２７、３３、３６、３９、４３、４６、４９、５２、５４、５７、７４ 案内図形
２５、２８、５５、５８ 残距離
３２、３５、３８、４２、４５、４８ 車両
６１ 先行車両領域
６２ 案内図形領域
６３、７３ 重なり領域
７２ 非重なり領域

Claims (9)

1. 車両前方の様子を示す車両前方画像を取得または生成する車両前方画像取得手段と、
   車両と案内対象地点との間に障害物が存在するかどうかを判定する障害物認識手段と、
   車両から前記障害物認識手段によって認識された障害物までの距離を測定する距離測定手段と、
   案内対象地点において車両が進行すべき方向を示す、前記距離測定手段によって測定された距離に応じた案内図形を生成する案内図形生成手段と、
   前記車両前方画像取得手段によって取得または生成された前記車両前方画像に、前記案内図形生成手段によって生成された案内図形を合成する案内画像生成手段とを備えた、車両用案内表示装置。
2. 前記車両前方画像取得手段は、車両に取り付けられた撮像手段によって撮像された実写画像を前記車両前方画像として取得することを特徴とする、請求項１記載の車両用案内表示装置。
3. 前記案内図形生成手段は、前記距離測定手段によって測定された距離に応じて形状の変化する案内図形を生成することを特徴とする、請求項１記載の車両用案内表示装置。
4. 前記案内図形生成手段は、前記距離測定手段によって測定された距離に応じて前記車両前方画像に表示されている路面に対する傾斜角度が変化するような案内図形を生成することを特徴とする、請求項１記載の車両用案内表示装置。
5. 前記案内図形生成手段は、前記障害物認識手段によって車両と案内対象地点との間に障害物が存在すると判定されたときには、前記距離測定手段によって測定された距離に基づいて、前記車両前方画像において前記障害物を突き抜けないような案内図形を生成することを特徴とする、請求項１または４記載の車両用案内表示装置。
6. 前記案内図形生成手段は、前記車両前方画像における車両と障害物の間の路面領域の高さが所定の範囲内にある場合には当該路面領域の高さに応じて伸縮表示される案内図形を生成することを特徴とする、請求項１記載の車両用案内表示装置。
7. 前記案内図形生成手段は、前記車両前方画像における車両と障害物の間の路面領域の高さが所定の範囲内にある場合には当該障害物と重ならないような案内図形を生成し、前記車両前方画像における車両と障害物の間の路面領域の高さが所定の範囲外にある場合には当該障害物と重なるような案内図形を生成することを特徴とする、請求項１記載の車両用案内表示装置。
8. 車両前方の様子を示す車両前方画像を取得または生成する車両前方画像取得手段と、
   車両と案内対象地点との間に障害物が存在するかどうかを判定する障害物認識手段と、
   案内対象地点において車両が進行すべき方向を示す案内図形を生成する案内図形生成手段と、
   前記車両前方画像取得手段によって取得または生成された前記車両前方画像に、前記案内図形生成手段によって生成された案内図形を合成する案内画像生成手段とを備え、
   前記案内図形生成手段は、前記車両前方画像に前記案内図形を合成したときに、前記車両前方画像に表示されている障害物と当該案内図形とが重なる重なり領域を検出する重なり領域検出手段を含み、当該重なり領域検出手段によって検出された重なり領域に対応する領域については透明または半透明となり、その他の領域については不透明となるような案内図形を生成することを特徴とする、車両用案内表示装置。
9. 前記案内図形生成手段は、前記重なり領域検出手段によって検出された重なり領域の面積が大きいほど、当該重なり領域に対応する領域の透過率が高くなるような案内図形を生成することを特徴とする、請求項８記載の車両用案内表示装置。

Images