JP2019038413A - 表示制御装置および表示制御方法 - Google Patents

Abstract

【課題】車両の走行中、運転手が標識を見過ごした場合であっても、そのことを的確に認識し、見過ごした標識の内容を簡易に確認できるようにした「表示制御装置および表示制御方法」を提供する。【解決手段】表示制御装置５は、車両の走行に応じて、運転手の視界の中で虚像表示領域に出現した後、虚像表示領域内を移動し、虚像表示領域を外れ、その後、運転手の視界を外れる標識について、標識の画像である標識画像を取得する標識画像取得部１１と、少なくとも運転手の視界から標識が外れているときに、標識画像に基づく虚像を虚像表示領域に表示する表示制御部１２と、を備える。これにより、運転手が標識を視認できなくなった後に、標識に対応する虚像が虚像表示領域に表示されるようにした。【選択図】図３

Description

本発明は、表示制御装置および表示制御方法に関し、特に、車載のヘッドアップディスプレイによる虚像の表示を制御する表示制御装置および表示制御方法に用いて好適なものである。

従来、車載のヘッドアップディスプレイにより、各種情報（例えば、車速、進行方向、制限速度等）を示す虚像を、運転手の前方の虚像表示領域に表示する技術が利用されている。これにより、運転手は、視線を前方から逸らさずに各種情報を視認することができる。このヘッドアップディスプレイに関し、特許文献１には、車両の走行中、運転手が認識すべき道路標識情報（制限速度等）が新たに出現したときに、その道路標識情報を示す道路標識画像（虚像）を虚像表示領域に表示すると共に、その道路標識画像を虚像表示領域内で所定の態様で動かす技術が記載されている。特許文献１の技術によれば、道路標識情報が新たに出現したときに、単に停止した状態で道路標識画像が表示されるのではなく、所定の態様の動きを伴って道路標識画像が表示されるため、運転手は、道路標識情報が新たに出現したことを容易に認識することができる。

特開２０１５−１０４９３０号公報

ところで、通常、運転手は、道路に設けられた種々の標識をフロントウィンドシールドを介して視認しつつ車両を運転する。標識には、制限速度や、高速道路における出入口の案内等、運転手が車両を運転するにあたって有益な情報が記録されているが、運転手が標識の内容を確認しないまま、車両が標識を通過してしまい、運転手が標識を見過ごしてしまう場合がある。しかしながら、上述した特許文献１に記載の技術では、運転手は、道路標識情報が新たに出現したときに、そのことを容易に認識できるものの、運転手が見過ごしてしまった標識について、車両が通り過ぎた後に、見過ごした標識があったことを認識し、その標識の内容を確認することができなかった。なお、見過ごした標識について、運転手は、車両を停車した上で、標識に関する情報を提供するサーバに端末からアクセスしたり、標識に関する情報が記載された紙媒体の地図を閲覧したりする等して、その内容を確認することができるが、作業が非常に煩雑である。

本発明は、このような問題を解決するために成されたものであり、車両の走行中、運転手が標識を見過ごした場合であっても、そのことを的確に認識し、見過ごした標識の内容を簡易に確認できるようにすることを目的とする。

上記した課題を解決するために、本発明では、光を投射して運転手が虚像表示領域内で視認可能な虚像を表示するヘッドアップディスプレイによる虚像の表示を制御する表示制御装置は、車両の走行に応じて、運転手の視界の中で虚像表示領域に出現した後、虚像表示領域内を移動し、虚像表示領域を外れ、その後、運転手の視界を外れる標識について、標識の画像である標識画像を取得し、少なくとも運転手の視界から標識が外れているときに、標識画像に基づく虚像を虚像表示領域に表示する。

上記のように構成した本発明によれば、標識が運転手の視界から外れているときに、その標識に対応する虚像が虚像表示領域に表示される。このため、ユーザは、標識を見過ごしてしまった場合であっても、自身が内容を確認していない標識に対応する虚像が虚像表示領域に表示されていることを認識することにより、見過ごした標識があることを的確に認識できると共に、視線を前方から逸らすことなく車両の運転を継続しつつ虚像を視認することにより、標識の内容を確認できる。すなわち、上記のように構成した本発明によれば、運転手は、車両の走行中、運転手が標識を見過ごした場合であっても、見過ごした標識があることを的確に認識した上で、簡易にその内容を確認できる。

本発明の第１実施形態に係るヘッドアップディスプレイの装置構成例を示す図である。 虚像表示領域の一例を示す図である。 本発明の第１実施形態に係る表示制御装置の機能構成例を示すブロック図である。 運転手の視界の中で標識の状態が変移する様子を示す図である。 撮影画像データが所定の座標系に展開された様子を示す図である。 本発明の第１実施形態に係る表示制御部が行うアニメーションの一例を示す図である。 本発明の第１実施形態に係る表示制御装置の処理の一例を示すフローチャートである。 本発明の第１実施形態に係る表示制御装置の処理の一例を示すフローチャートである。 第１実施形態の第１変形例において、虚像が表示される様子を示す図である。 第１対応範囲および第２対応範囲の一例を示す図である。 本発明の第２実施形態に係る表示制御装置の機能構成例を示すブロック図である。 虚像表示領域およびサブ虚像表示領域の一例を示す図である。 虚像表示領域における虚像の表示が停止されると共に、サブ虚像表示領域で対応する虚像が表示される様子を示す図である。

＜第１実施形態＞
以下、本発明の第１実施形態を図面に基づいて説明する。図１は、本実施形態に係るヘッドアップディスプレイ１の装置構成例を示す図である。本実施形態に係るヘッドアップディスプレイ１は、投射装置２と、反射ミラー３ａと、凹面ミラー３ｂとを備えている。ヘッドアップディスプレイ１は、投射装置２が投射した画像光（光）を反射ミラー３ａで折り返し、凹面ミラー３ｂで拡大して車両のフロントウィンドシールド４に投射し、車両に搭乗する運転手の前方に虚像を表示する装置である。

より詳細には、投射装置２は、光源と、光源が発する光を後述する表示画像データに基づいて変調して出力する変調機構と、変調後の光に焦点調整や、拡大／縮小等の各種調整を施して、画像光として投射する投射光学系とを備えている。投射装置２が投射した画像光は、反射ミラー３ａで折り返され、凹面ミラー３ｂで拡大されて、車両のフロントウィンドシールド４に投射される。画像光は、フロントウィンドシールド４により運転者側に反射され、これにより、運転手から見てフロントウィンドシールド４の前方に虚像が結像される。図１に示すように、ヘッドアップディスプレイ１の投射装置２には、本実施形態に係る表示制御装置５が接続されている。

図２は、フロントウィンドシールド４側に形成される虚像表示領域７を説明するため、運転席の前方のフロントウィンドシールド４を、車内側から見た様子を模式的に示す図である。図２に示すように、虚像表示領域７は、車両のハンドル８の前方、つまり、運転席に着座する運転手の前方に形成される。虚像表示領域７は、運転手が虚像を視認可能な最大の領域のことであり、投射装置２が投射した画像光により表示される虚像は、運転手から見たときに虚像表示領域７を最大領域として、虚像表示領域７内に表示される。つまり、虚像表示領域７は、フロントウィンドシールド４の特定の領域を意味するのではなく、投射装置２が投射した投射光により結像する虚像を運転手が視認可能な領域を意味する。ヘッドアップディスプレイ１は、虚像表示領域７内の任意の位置に虚像を表示することができる。なお、本実施形態において、虚像表示領域７に虚像を表示するとは、運転手により虚像表示領域７内で虚像が視認されるように、ヘッドアップディスプレイ２が画像光を投射して虚像を結像させることを意味する。

図２に示すように、虚像表示領域７は、運転席に着座する運転手の前方に形成された略矩形の領域であり、運転手が通常の姿勢で車両を直進させる運転をしているときにフロントウィンドシールド４を介して前方を視認したときの、運転手の視界の広い領域に延在している。このため、運転手は、車両の運転中、視線を逸らすことなく、虚像表示領域７に表示された虚像を視認することができる。

図３は、本実施形態に係る表示制御装置５の機能構成例を示すブロック図である。図３に示すように、表示制御装置５は、前方カメラ９（特許請求の範囲の「カメラ」に相当）およびヘッドアップディスプレイ１に接続されている。

前方カメラ９は、車両の前方を撮影するカメラ装置であり、所定の周期で、車両の前方を撮影し、撮影結果に基づく撮影画像データ（特許請求の範囲の「画像データ」に相当）を表示制御装置５に出力する。前方カメラ９は、車内のフロントウィンドシール４の近傍の天井に設けられ、運転手がフロントウィンドシールド４を介して視認可能な領域を含む領域を撮影する。

図３に示すように、表示制御装置５は、その機能構成として、撮影画像取得部１０、標識画像取得部１１および表示制御部１２を備えている。上記各機能ブロック１０〜１２は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１０〜１２は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。以上のことは、後述する他の機能ブロックについても同様である。

撮影画像取得部１０は、前方カメラ９が所定の周期で出力する撮影画像データを入力し、取得する。撮影画像取得部１０は、取得した撮影画像データを、標識画像取得部１１および表示制御部１２に出力する。

標識画像取得部１１は、車両の走行に応じて、運転手の視界の中で虚像表示領域７に出現した後、虚像表示領域７内を移動し、虚像表示領域７を外れ、その後、運転手の視界を外れる標識について、標識画像データ（後述）を取得する。以下、標識画像取得部１１の処理について詳述する。

本実施形態において、標識とは、道路に設けられ、道路、交通に関する情報が記録されたオブジェクトであり、例えば、交通標識や、案内標識等である。交通標識は、例えば、制限速度や、一方通行、通行止め等の情報が記録された標識であり、案内標識は、高速道路の出口や、特定の施設、目的地、通過地等への方向、距離等の情報が記録された標識である。通常、標識には、運転手が車両を運転するにあたって有益な情報が記録されているが、運転手が標識の内容を確認しないまま、車両が標識を通過してしまい、運転手が標識を見過ごしてしまう場合がある。

車両の走行中、標識は、以下の態様で、運転手の視界の中に出現し、視界から外れる。図４の各図は、車両の走行中、運転手の視界の中で標識の状態が変移する様子を示す図である。以下の説明において、第１範囲Ｈ１は、運転手が通常の姿勢で車両を直進させる運転をしているときの虚像表示領域７を介した運転手の視界の範囲を示している。また、第２範囲Ｈ２は、上記の態様で運転をしているときのフロントウィンドシールド４を介した運転手の視界の範囲を示している。なお、運転手の視界は、運転手の姿勢、視線、顔の向き等により変動するが、第１範囲Ｈ１および第２範囲Ｈ２は、運転手が通常の姿勢で車両を直進させる運転をしているときに想定される視界の範囲として、その形状が固定的に規定されるものである。なお、説明の便宜のため、図４の各図では、第１範囲Ｈ１および第２範囲Ｈ２の形状を、単純化して示している。

車両の前方に標識が存在する場合において、標識と車両とが相当に離間している場合は、標識は運転手の視界に出現しない。この状態から、車両が前方に向かって走行し、標識と車両とが近づくと、所定のタイミングで、運転手の視界の中で第１範囲Ｈ１に標識が出現する。図４（Ａ）は、第１範囲Ｈ１に標識ＯＪ１が出現した様子を示している。運転手の視界の中で第１範囲Ｈ１に標識が出現した状態は、特許請求の範囲において、「車両の走行に応じて、運転手の視界の中で標識が虚像表示領域７に出現した」状態に相当する。

第１範囲Ｈ１に標識が出現した後、更に車両の走行が進むと、標識は、車両の走行に応じて、第１範囲Ｈ１内で大きさを大きくさせながら所定方向に向かって移動する。以下、運転手の視界の中で、車両の走行に応じて標識が移動する方向を「標識移動方向」という。標識移動方向は、標識と車両との位置関係によって変動する。例えば、標識と車両とが最も近接した状態とのときに、標識が車両の上方に位置する場合には、標識は第１範囲Ｈ１内で上方に向かって移動する。また、標識と車両とが最も近接した状態のときに、標識が車両の左斜め上に位置する場合には、標識は第１範囲Ｈ１内で左斜め上へ向かって移動する。運転手の視界の中で第１範囲Ｈ１内で標識が標識移動方向に移動することは、特許請求の範囲において、「車両の走行に応じて、運転手の視界の中で標識が虚像表示領域７内を所定方向に向かって移動すること」に相当する。

車両の走行に応じて第１範囲Ｈ１における標識移動方向への標識の移動が進むと、いずれ、標識は第１範囲Ｈ１の内側において、第１範囲Ｈ１の端部に至る。標識が第１範囲Ｈ１の端部に至るとは、運転手の視界の中で、第１範囲Ｈ１の外縁に標識が内側から接した状態のことである。図４（Ｂ）は、標識ＯＪ１が、図４（Ａ）の状態から方向Ｋ１（標識移動方向）に移動し、第１範囲Ｈ１の端部に至った様子を示している。

標識が第１範囲Ｈ１の端部に至った後、更に車両の走行が進むと、いずれ、標識は第１範囲Ｈ１から外れ、第１範囲Ｈ１の外側に位置した状態となる。図４（Ｃ）は、図４（Ｂ）の状態から車両の走行が進み、標識が第１範囲Ｈ１から外れた状態を示している。運転手の視界の中で標識が第１範囲Ｈ１から外れた状態は、特許請求の範囲において、「車両の走行に応じて、運転手の視界の中で標識が虚像表示領域７内を外れた」状態に相当する。

標識が第１範囲Ｈ１から外れた後、更に車両の走行が進むと、いずれ、標識は第２範囲Ｈ２から外れ、フロントウィンドシールド４を介した運転手の視界から外れた状態となる。図４（Ｄ）は、図４（Ｃ）の状態から車両の走行が進み、標識が第２範囲Ｈ１から外れた状態を示している。この状態となると、運転手は、標識を直接視認することができない。

さて、上述したように撮影画像取得部１０は、所定の周期で、撮影画像データを標識画像取得部１１に出力する。標識画像取得部１１は、撮影画像データを入力し、入力した撮影画像データを所定の座標系に展開する。なお、撮影画像データは、色に関する情報を保持するドットがドットマトリックス状に配置されたビットマップデータである。撮影画像データが所定の座標系に展開されることにより、撮影画像データを構成する各ドットの位置は、所定の座標系における座標によって表される。

図５の各図は、撮影画像データが所定の座標系に展開された様子を示す図である。所定の座標系に展開された撮影画像データにおいて、第１範囲Ｈ１に対応する第１領域ＡＲ１（図５の各図、参照）が事前に定義されている。撮影画像データの第１領域ＡＲ１内に一のオブジェクトの画像が存在する場合、運転手の視界の中で第１範囲Ｈ１に当該一のオブジェクトが存在している状態である。第１領域ＡＲ１の位置、サイズは事前のテストやシミュレーションに基づいて適切に定められている。同様に、所定の座標系に展開された撮影画像データにおいて、第２範囲Ｈ２に対応する第２領域ＡＲ２（図５の各図、参照）が事前に定義されている。

撮影画像データを所定の座標系に展開した後、標識画像取得部１１は、撮影画像データの第１領域ＡＲ１を画像認識し、第１領域ＡＲ１に標識の画像が新たに出現したか否かを判定する。当該判定は、既存の技術を用いて適切に行われる。一例として、表示制御装置５に、種々の標識について、形状の特徴や、色の特徴、大きさの特徴、標識内に記録される文字や図形等の特徴、模様の特徴、その他の特徴を反映したテンプレートデータが記憶される。そして、標識画像取得部１１は、テンプレートデータを用いたパターンマッチングにより、第１領域ＡＲ１に標識の画像が含まれるか否かを判定し、判定結果に基づいて第１領域ＡＲ１に標識の画像が新たに出現したか否かを判定する。以下、撮影画像データに含まれる標識の画像を「対応標識画像」という。

図５（Ａ）は、第１領域ＡＲ１に対応標識画像ＮＧ１が新たに出現した様子を示している。上述したように、第１領域ＡＲ１に一の標識の対応標識画像が出現したということは、運転手の視界の中で第１範囲Ｈ１に当該一の標識が出現したということである。なお、標識画像取得部１１が対応標識画像を認識するためには、撮影画像データにおいて対応標識画像が画像認識による認識が可能な程度のサイズとなる必要がある。このため、標識画像取得部１１が第１領域ＡＲ１に一の標識の対応標識画像が出現したと判定するタイミングと、運転手の視界の中で第１範囲Ｈ１に当該一の標識が出現するタイミングとには、タイムラグが生じる。

第１領域ＡＲ１に対応標識画像が新たに出現したと判定した場合、標識画像取得部１１は、以後、所定の周期で撮影画像取得部１０から入力する撮影画像データを追跡して分析し、その対応標識画像を追跡して認識すると共に、その対応標識画像が第１領域ＡＲ１の端部に至ったか否かを判定する。対応標識画像が第１領域ＡＲ１の端部に至るとは、略矩形の第１領域ＡＲ１の外縁に対応標識画像が内側から接した状態のことである。上述したように、車両の走行に応じて第１範囲Ｈ１における標識の位置、大きさは変移するが、第１範囲Ｈ１における標識の位置、大きさの変移に連動して、撮影画像データにおける対応標識画像の位置、大きさは変移する。対応標識画像が第１領域ＡＲ１の端部に至った場合、運転手の視界の中で標識が第１範囲Ｈ１の端部に至った状態（図４（Ｂ）で例示した状態）となっている。図５（Ｂ）は、撮影画像データにおいて、第１領域ＡＲ１の端部に対応標識画像ＮＧ１が至った様子を示している。

一の撮影画像データにおいて、対応標識画像が第１領域ＡＲ１の端部に至ったと判定した場合、標識画像取得部１１は、当該一の撮影画像データにおける対応標識画像の領域を切り取ることによって、対応標識画像が記録された画像データ（以下、「標識画像データ」という。）を取得する。標識画像データは、特許請求の範囲の「標識画像」に相当する。以上のようにして標識画像取得部１１により取得された標識画像データは、運転手の視界の中で標識が第１範囲Ｈ１の端部に至ったときに前方カメラ９により撮影された標識の画像が記録された画像データである。従って、仮に、運転手が、標識が第１範囲Ｈ１の端部に至ったときに標識を視認した場合、標識画像データに記録された標識の画像と同様の状態で、標識を視認していたことになる。

なお、後述するように、標識画像データは、虚像の表示に用いられる。そして、第１範囲Ｈ１に標識が至ったとき（＝第１領域ＡＲ１の対応標識画像が至ったとき）に撮影された撮影画像データから対応標識画像を切り取って標識画像データを取得することにより以下の効果を奏する。すなわち、標識画像データに基づく虚像の大きさを、第１範囲Ｈ１内で運転手が実際に見ることが可能であった標識の最大の大きさに対応させることができ、運転手が、的確にその内容を確認できるようにすることができる。

標識画像取得部１１は、一の標識について、標識画像データを取得した場合、取得した標識画像データを表示制御部１２に出力し、以後、当該一の標識についての撮影画像データの分析を停止する。

表示制御部１２は、少なくとも運転手の視界から標識が外れているときに、標識画像データに基づく虚像を虚像表示領域７に表示する。以下、表示制御部１２の処理について詳述する。

上述したように、撮影画像取得部１０は、所定の周期で、撮影画像データを表示制御部１２に出力する。表示制御部１２は、撮影画像取得部１０が出力する撮影画像データを所定の周期で入力し、所定の座標系に展開する。表示制御部１２は、入力した撮影画像データを分析し、標識画像取得部１１と同様の方法で、第１領域ＡＲ１に、対応標識画像が新たに出現したか否かを判定する。第１領域ＡＲ１に対応標識画像が新たに出現したと判定した場合、表示制御部１２は、以後、所定の周期で撮影画像取得部１０から入力する撮影画像データを追跡して分析し、その対応標識画像を追跡して認識すると共に、その対応標識画像が第１領域ＡＲ１を外れたか否かを判定する。対応標識画像が第１領域ＡＲ１を外れた場合、運転手の視界の中で標識が第１範囲Ｈ１を外れた状態（図４（Ｃ）で例示した状態）となっている。図５（Ｃ）は、第１領域ＡＲ１から対応標識画像ＮＧ１が外れた様子を示している。

第１領域ＡＲ１から一の標識の対応標識画像が外れたと判定した場合、表示制御部１２は、第１領域ＡＲ１から当該一の標識の対応標識画像が外れたと判定したタイミングで、当該一の標識の標識画像データに基づいて虚像表示領域７への虚像の表示を開始する。第１領域ＡＲ１から当該一の標識の対応標識画像が外れたと判定したタイミングは、特許請求の範囲の「標識が虚像表示領域に出現した後の所定のタイミング」および「標識が虚像表示領域７から外れたタイミング」に相当する。以下、一の標識の標識画像データに基づいて、当該一の標識に対応する虚像を表示するときの表示制御部１２の処理について詳述する。

上述したように、標識画像取得部１１は、標識画像データを取得した場合、取得した標識画像データを表示制御部１２に出力する。表示制御部１２は、一の標識に対応する虚像を表示する場合、標識画像取得部１１から入力した当該一の標識の標識画像データを取得する。次いで、表示制御部１２は、一の標識の標識画像データに基づく虚像が、標識移動方向と逆方向に向かって虚像表示領域７内に徐々に現れるようなアニメーションを行った上で、虚像表示領域７に当該一の標識に対応する虚像を表示する。

図６は、図４に示す態様で、運転手の視界の中を方向Ｋ１（図４（Ｂ）参照）に向かって移動した一の標識について、表示制御部１２が、当該一の標識に対応する虚像ＫＺ１を表示するときに行うアニメーションの一例を示す図である。図６の各図では、図６（Ａ）から図６（Ｄ）に向かって時間が経過している。図６（Ａ）〜（Ｃ）に示すように、表示制御部１２は、方向Ｋ１と逆方向の方向Ｋ１’に向かって、当該一の標識の標識画像データに基づく虚像ＫＺ１が、第１範囲Ｈ１（虚像表示領域７）内に徐々に現れるようなアニメーションを行い、図６（Ｄ）に示すように、標識画像データに基づく虚像ＫＺ１の全域が第１範囲Ｈ１（虚像表示領域７）の内側に収まった時点でアニメーションを終了する。この結果、図６（Ｄ）に示すように、当該一の標識に対応する虚像ＫＺ１は、最終的に、虚像表示領域７の端部であって、虚像表示領域７における標識移動方向寄りの位置に表示された状態となる。

なお、表示制御部１２による虚像の表示は、以下のようにして行われる。すなわち、表示制御部１２は、虚像表示領域７における虚像の態様に応じて標識画像データの一部または全部が適切な位置に付加された表示画像データの生成、および、生成した表示画像データの投射装置２への送信を、所定の周期で行うことにより、虚像表示領域７に虚像を表示する。なお、表示画像データの生成に際し、表示制御部１２は、標識画像データに対して必要な画像処理を施す。例えば、説明の便宜のため、図６で例示したアニメーションが、図６（Ａ）〜（Ｄ）のそれぞれに対応する４フレームで行われるものとすると、まず、表示制御部１２は、図６（Ａ）で示す虚像の態様に応じて標識画像データの一部が付加された表示画像データを生成し投射装置２に送信する。以後、表示制御部１２は、所定の周期で、図６（Ｂ）に対応する表示画像データの生成および送信、図６（Ｃ）に対応する表示画像データの生成および送信、図６（Ｄ）に対応する表示画像データの生成および送信を行う。この結果、図６に示す態様で、アニメーションが行われて虚像が表示される。

さて、第１領域ＡＲ１から一の標識の対応標識画像が外れたと判定したタイミングで当該一の標識に対応する虚像の表示を開始した後、表示制御部１２は、所定の周期で撮影画像取得部１０から入力する撮影画像データを追跡して分析し、当該一の標識の対応標識画像が第２領域ＡＲ２を外れたか否かを判定する。当該一の標識の対応標識画像が第２領域ＡＲ２を外れた場合、運転手の視界から標識がはずれた状態（図４（Ｄ）で例示した状態）となっている。図５（Ｄ）は、撮影画像データにおいて、第２領域ＡＲ２から対応標識画像ＮＧ１が外れた様子を示している。

第２領域ＡＲ２から一の標識の対応標識画像が外れたと判定した場合、表示制御部１２は、第２領域ＡＲ２から対応標識画像が外れたと判定したタイミングを起点として経過時間をカウントし、経過時間が予め定めた時間となったときに、虚像表示領域７に表示した標識画像データに基づく虚像の表示を停止する。このように、表示制御部１２は、一の標識の標識画像データに基づく虚像を表示した後、少なくとも運転手の視界から当該一の標識が外れてから予め定めた時間（所定期間）が経過するまでは当該虚像を表示する。この結果、少なくとも運転手の視界から標識が外れているときに、標識画像データに基づく虚像が虚像表示領域７に一定期間は表示された状態となる。このようにして表示された虚像は、運転手の視界から外れ、運転手が直接視認できなくなった標識の内容と同一の内容の虚像である。

以上のように、本実施形態では、表示制御部１２は、少なくとも運転手の視界から標識が外れているときに、標識画像データに基づく虚像を虚像表示領域７に表示する。これにより、以下の効果を奏する。すなわち、運転手は、標識を見過ごした場合であっても、自身が内容を確認していない標識に対応する虚像が虚像表示領域７に表示されていることを認識することにより、自身が見過ごした標識があることを的確に認識できる。その上で、運転手は、標識を見過ごした場合であっても、視線を前方から逸らすことなく車両の運転を継続しつつ虚像を視認することにより、標識の内容を確認できる。

さらに、本実施形態では、表示制御部１２は、標識画像データに基づく虚像を、虚像表示領域７における標識移動方向寄りの位置に表示する。これにより、以下の効果を奏する。すなわち、上記構成のため、一の標識に対応する虚像は、虚像表示領域７において、当該一の標識の実景が運転手により視認される位置に対応する位置に表示される。このため、運転手は、当該一の標識の実景を視認する感覚で、違和感なく自然に当該一の標識に対応する虚像を視認することができる。また、虚像表示領域７において、虚像が中央部を避けた位置に表示されることになるため、表示された虚像が車両を運転する運転手の視界の邪魔になりにくい。なお、本実施形態では、標識画像データに基づく虚像は、虚像表示領域７の端部に表示されるが、必ずしも、当該虚像は、虚像表示領域７の端部に表示される必要は無く、端部よりもある程度内側の位置に表示されてもよい。この場合であっても、上述した効果を奏することができる。

さらに、本実施形態では、表示制御部１２は、一の標識に対応する虚像を表示した後、運転手の視界から当該一の標識が外れてから所定期間が経過するまでは当該一の標識に対応する虚像を表示する。この構成のため、運転手が標識の実景を確認できないような状況となった後に、運転手が虚像の内容を確認する期間を確実に確保できる。

さらに、本実施形態では、表示制御部１２は、標識が虚像表示領域７から外れた後、標識画像データに基づく虚像が標識移動方向と逆方向に向かって虚像表示領域７内に徐々に現れるようなアニメーションを行って、虚像を表示する。この構成のため、運転手に、一旦、視認できなくなった標識が、再び、元の位置に戻ってきたような感覚を抱かせることができ、運転手は、的確に虚像を視認することができる。

さらに、本実施形態では、標識画像取得部１１は、車両の前方を撮影するカメラの撮影結果に基づく撮影画像データを取得し、取得した撮影画像データに記録された標識の画像を、標識画像データとして取得する。この構成によれば、表示制御部１２は、一の標識に対応する虚像として、当該一の標識の内容と完全に同一の内容の虚像を表示することができる。また、運転手は、当該一の標識の実景を視認する感覚で、違和感なく自然に当該一の標識に対応する虚像を視認することができる。

なお、表示制御部１２は、複数の標識に対応する虚像を同時に虚像表示領域７に表示することが可能である。表示制御部１２は、１の虚像を表示している場合に、当該１の虚像が表示された領域と重なる領域に、他の虚像を表示することになった場合、いずれか一方の虚像の位置をずらす（双方の虚像をずらしてもよい）ことにより、双方の虚像を表示する。また、表示制御部１２は、一の標識に対応する虚像を表示している状態のときに、当該一の標識の内容と同一の内容の他の標識に対応する虚像を表示することになった場合に、いずれか一方の標識については、虚像を表示しないでもよい。

図７は、本実施形態に係る表示制御装置５の処理の一例を示すフローチャートである。特に、図７は、車両の走行中、運転手の視界の中で虚像表示領域７に標識が出現した場合（＝第１範囲Ｈ１に標識が出現した場合）の表示制御装置５の処理の一例を示している。

図７に示すように、表示制御装置５の標識画像取得部１１は、第１範囲Ｈ１に出現した標識について、標識画像データを取得する（ステップＳＡ１）。標識画像取得部１１は、取得した標識画像データを表示制御部１２に出力する。

表示制御部１２は、少なくとも運転手の視界から標識が外れているときに、ステップＳＡ１で標識画像取得部１１が取得した標識画像データに基づく虚像を虚像表示領域７に表示する（ステップＳＡ２）。

図８（Ａ）は、図７のフローチャートのステップＳＡ１の処理の詳細を示すフローチャートである。図８（Ａ）に示すように、標識画像取得部１１は、撮影画像取得部１０から所定の周期で入力する撮影画像データを分析し、第１領域ＡＲ１に対応標識画像が新たに出現したか否かを判定する（ステップＳＢ１）。標識画像取得部１１は、ステップＳＢ１の処理を、第１領域ＡＲ１に対応標識画像が新たに出現したと判定するまで繰り返して実行する。

第１領域ＡＲ１に対応標識画像が新たに出現した場合（ステップＳＢ１：ＹＥＳ）、標識画像取得部１１は、以後、所定の周期で撮影画像取得部１０から入力する撮影画像データを追跡して分析し、対応標識画像を追跡して認識すると共に、対応標識画像が第１領域ＡＲ１の端部に至ったか否かを判定する（ステップＳＢ２）。標識画像取得部１１は、ステップＳＢ２の処理を、対応標識画像が第１領域ＡＲ１の端部に至ったと判定するまで繰り返して実行する。

対応標識画像が第１領域ＡＲ１の端部に至った場合（ステップＳＢ２：ＹＥＳ）、標識画像取得部１１は、対応標識画像が第１領域ＡＲ１の端部に至ったときの撮影画像データにおける対応標識画像の領域を切り取ることによって、対応標識画像が記録された標識画像データを取得する（ステップＳＢ３）。

図８（Ｂ）は、図７のフローチャートのステップＳＡ２の処理の詳細を示すフローチャートである。図８（Ｂ）に示すように、表示制御部１２は、撮影画像取得部１０から所定の周期で入力する撮影画像データを分析し、第１領域ＡＲ１に対応標識画像が新たに出現したか否かを判定する（ステップＳＣ１）。表示制御部１２は、ステップＳＣ１の処理を、第１領域ＡＲ１に対応標識画像が新たに出現したと判定するまで繰り返して実行する。

第１領域ＡＲ１に対応標識画像が新たに出現した場合（ステップＳＣ１：ＹＥＳ）、表示制御部１２は、以後、所定の周期で撮影画像取得部１０から入力する撮影画像データを追跡して分析し、対応標識画像を追跡して認識すると共に、対応標識画像が第１領域ＡＲ１から外れたか否かを判定する（ステップＳＣ２）。表示制御部１２は、ステップＳＣ２の処理を、対応標識画像が第１領域ＡＲ１から外れたと判定するまで繰り返して実行する。

対応標識画像が第１領域ＡＲ１から外れた場合（ステップＳＣ２：ＹＥＳ）、表示制御部１２は、標識画像取得部１１が取得した標識画像データに基づいて、虚像表示領域７への虚像の表示を開始する（ステップＳＣ３）。上述したように、表示制御部１２は、所定のアニメーション（図６参照）を行って、虚像を表示する。

虚像の表示を開始した後、表示制御部１２は、所定の周期で撮影画像取得部１０から入力する撮影画像データを追跡して分析し、対応標識画像が第２領域ＡＲ２を外れたか否かを判定する（ステップＳＣ４）。表示制御部１２は、ステップＳＣ４の処理を、対応標識画像が第２領域ＡＲ２から外れたと判定するまで繰り返して実行する。

対応標識画像が第２領域ＡＲ２から外れた場合（ステップＳＣ４：ＹＥＳ）、表示制御部１２は、経過時間の計測を開始する（ステップＳＣ５）。次いで、表示制御部１２は、経過時間が、予め定めた時間となったか否かを判定する（ステップＳＣ６）。表示制御部１２は、ステップＳＣ６の処理を、経過時間が予め定めた時間となったと判定するまで繰り返して実行する。経過時間が、予め定めた時間となった場合（ステップＳＣ６：ＹＥＳ）、表示制御部１２は、虚像の表示を停止する（ステップＳＣ７）。

以上詳しく説明したように、本実施形態に係る表示制御装置５は、車両の走行に応じて、運転手の視界の中で虚像表示領域７に出現した後、虚像表示領域７内を移動し、虚像表示領域７を外れ、その後、運転手の視界を外れる標識について、標識の画像である標識画像データを取得し、少なくとも運転手の視界から標識が外れているときに、標識画像データに基づく虚像を虚像表示領域７に表示する。この構成によれば、上述のとおり、運転手は、車両の走行中、運転手が標識を見過ごした場合であっても、見過ごした標識があることを的確に認識した上で、簡易にその内容を確認できる。

＜第１実施形態の第１変形例＞
次に、第１実施形態の第１変形例について説明する。上述した第１実施形態では、表示制御部１２は、撮影画像データにおいて第１領域ＡＲ１から対応標識画像が外れたタイミング、換言すれば、運転手の視界の中で標識が虚像表示領域７から外れたタイミングで、標識に対応する虚像の表示を開始した。この点について、本変形例に係る表示制御部１２は、以下のタイミングで標識に対応する虚像の表示を開始する。

すなわち、表示制御部１２は、撮影画像データにおいて第１領域ＡＲ１の端部に対応標識画像が至ったタイミングで、標識に対応する虚像の表示を開始する。撮影画像データにおいて第１領域ＡＲ１の端部に対応標識画像が至ったタイミングとは、運転手の視界の中で標識が虚像表示領域７の端部に至ったタイミングに相当する。

図９の各図は、本変形例において、標識に対応する虚像が表示される様子を、運転手の視界の中で標識の状態が変移する様子と共に示す図である。図９は、図４を援用しており、同一の構成要素について同一の符号を付している。

図９に示すように、標識ＯＪ１は、第１範囲Ｈ１に出現した後（図９（Ａ））、車両の走行に応じて第１範囲Ｈ１の端部に至る（図９（Ｂ））。本変形例に係る表示制御部１２は、このタイミングで、標識ＯＪ１に対応する虚像ＫＺ２を表示する。図９（Ｂ）（後述する図９（Ｃ）、（Ｄ）も）では、実景である標識ＯＪ１と区別するため、虚像ＫＺ２に網掛けをしている。特に、表示制御部１２は、運転手の視界の中で、標識ＯＪ１（運転手から見える標識の実景）に重なるように、虚像ＫＺ２を表示する。

標識ＯＪ１は、第１範囲Ｈ１の端部に至った後、車両の走行に応じて、第１範囲Ｈ１を外れ（図９（Ｃ））、その後、第２範囲Ｈ２を外れる（図９（Ｄ））。その間も、図９（Ｃ）、（Ｄ）に示すように、標識ＯＪ１に対応する虚像ＫＺ２は、虚像表示領域７に継続して表示される。

本変形例の構成によれば、運転手に対して、普通は車両の走行に伴って運転手の視界から消えていく標識が、虚像表示領域７内に残像のように留まっているような感覚を抱かせることができ、運転手は、的確に虚像を視認することができる。なお、本変形例は、後述する第２実施形態にも適用可能である。

＜第１実施形態の第２変形例＞
次に、第１実施形態の第２変形例について説明する。上述した第１実施形態では、表示制御部１２は、第１範囲Ｈ１に標識が出現したこと、第１範囲Ｈ１の端部に標識が至ったこと、第１範囲Ｈ１から標識が外れたこと、および、第２範囲Ｈ２から標識が外れたことを、撮影画像データを画像認識することにより、検出していた。一方で、本変形例に係る表示制御部１２は、車両と、標識との位置関係に基づいて、上記事象を検出する。以下、本変形例に係る表示制御部１２の処理の一例について詳述する。

本変形例では、表示制御部１２は、随時、車両の現在位置（以下、「自車位置」という）および車両の進行方向（以下、単に「進行方向」という）を取得する。表示制御部１２が自車位置および進行方向を取得する方法はどのような方法でもよい。例えば、表示制御装置５に、ＧＰＳ等の自車位置および進行方向を検出するセンサが設けられ、表示制御部１２は、センサの検出結果に基づいて、自ら自車位置および進行方向を算出し、取得する。また例えば、表示制御部１２は、自車位置および進行方向を検出する機能を有する外部の装置（例えば、車両に設けられたナビゲーション装置）と通信し、取得する。

また、本変形例では、表示制御装置５には、虚像の表示対象となる標識ごとに、標識の立体的な位置を示す情報を有する標識データベースが記憶されている。標識の立体的な位置とは、標識の平面地図における位置と、標識の高さとの組み合わせである。なお、表示制御装置５が標識データベースを記憶する構成ではなく、他の装置（車両に設けられた装置に限らず、ネットワークを介して通信可能なサーバ装置等であってもよい）が記憶し、表示制御部１２が、適宜、当該他の装置と通信し、後述する処理を実行するために必要な情報を取得する構成でもよい。

本変形例では、自車位置から、運転手が虚像表示領域７を介して視認可能な範囲である第１対応範囲Ｑ１、および、運転手がフロントウィンドシールド４を介して視認可能な範囲である第２対応範囲Ｑ２が予め定義されている。図１０は、第１対応範囲Ｑ１および第２対応範囲Ｑ２の一例を模式的に示す図である。図１０の例では、自車位置における運転手の目を想定したポイントＰ１を基点とする四角錐状の立体的な範囲が第１対応範囲Ｑ１である。また、図１０の例では、第１対応範囲Ｑ１を包含し、ポイントＰ１を基点とする四角錐状の立体的な範囲が第２対応範囲Ｑ２である。第１対応範囲Ｑ１は、この範囲にオブジェクトが存在する場合、運転手の虚像表示領域７を介した視界の中にそのオブジェクトが存在するという観点から適切に設定される。同様に、第２対応範囲Ｑ２は、この範囲にオブジェクトが存在する場合、運転手のフロントウィンドシールド４を介した視界の中にそのオブジェクトが存在するという観点から適切に設定される。

さて、表示制御部１２は、一の標識について、当該一の標識の立体的な位置、自車位置および進行方向に基づいて、当該一の標識が、第１対応範囲Ｑ１の外側にある状態から内側に入った状態となったか否かを判定し、第１対応範囲Ｑ１の外側にある状態から内側に入った状態となった場合、第１範囲Ｈ１に標識が出現したことを検出する。また、表示制御部１２は、当該一の標識が、第１対応範囲Ｑ１の外縁に内側から接触した状態となった場合、第１範囲Ｈ１の端部に標識が至ったことを検出する。また、表示制御部１２は、当該一の標識が、第１対応範囲Ｑ１の内側にある状態から外側に出た状態となった場合、第１範囲Ｈ１から標識が外れたことを検出する。また、表示制御部１２は、当該一の標識が、第２対応範囲Ｑ２の内側にある状態から外側に出た状態となった場合、第２範囲Ｈ２から標識が外れたことを検出する。

本変形例であっても、表示制御部１２は、適切に、第１範囲Ｈ１に標識が出現したこと、第１範囲Ｈ１の端部に標識が至ったこと、第１範囲Ｈ１から標識が外れたこと、および、第２範囲Ｈ２から標識が外れたことを検出できる。なお、本変形例は、後述する第２実施形態にも適用可能である。

＜第２実施形態＞
次に、第２実施形態に説明する。図１１は、第２実施形態に係る表示制御装置５Ａの機能構成例を示すブロック図である。図１１と図３との比較で明らかなとおり、本実施形態に係る表示制御装置５Ａには、ヘッドアップディスプレイ１のほか、サブヘッドアップディスプレイ１５が接続されている。また、表示制御装置５Ａは、機能構成として、表示制御部１２に代えて表示制御部１２Ａを有している。

サブヘッドアップディスプレイ１５は、虚像表示領域７とは別の領域であるサブ虚像表示領域２０に、虚像を表示する装置である。図１２は、フロントウィンドシールド４に形成されるサブ虚像表示領域２０を説明するため、運転席の前方のフロントウィンドシールド４を、車内側から見た様子を模式的に示す図である。図１２は、図２を援用しており、同一の構成要素については同一の符号を付している。

図１２に示すように、サブ虚像表示領域２０は、虚像表示領域７の上方に形成された領域である。虚像表示領域７は、運転手の視界の中で、標識や、車両が走行中の道路、前方の車両、標識、信号機等が出現する領域であるが、サブ虚像表示領域２０は、このようなオブジェクトが出現する領域ではない。通常、運転手がサブ虚像表示領域２０を介して視認する対象は、車両から遠方に位置する建物や、山、空等である。このため、車両の運転中に、サブ虚像表示領域２０に虚像が表示された場合であっても、運転手による運転への影響が少ない。なお、本実施形態において、虚像表示領域７は、特許請求の範囲の「第１の領域」に相当し、サブ虚像表示領域２０は、特許請求の範囲の「第２の領域」に相当する。

上述した第１実施形態に係る表示制御部１２は、一の標識に対応する虚像を表示した後、当該一の標識が運転手の視界から外れてから予め定めた時間が経過したときに、虚像表示領域７への虚像の表示を停止する。本実施形態に係る表示制御部１２Ａについて、虚像の表示を停止するまでの処理は、第１実施形態に係る表示制御部１２と同一である。

そして、本実施形態に係る表示制御部１２Ａは、虚像表示領域７への虚像の表示を停止したときに、サブヘッドアップディスプレイ１５を制御して、表示を停止した虚像と同一の内容の虚像をサブ虚像表示領域２０に表示する。サブ虚像表示領域２０への虚像の表示に際し、表示制御部１２Ａは、虚像表示領域７における虚像の左右方向の位置と、サブ虚像表示領域２０における虚像の左右方向の位置とを対応させる。例えば、表示制御部１２Ａは、虚像表示領域７において左寄りに表示されていた虚像については、サブ虚像表示領域２０において左寄りに表示する。

図１３の各図は、虚像表示領域７における虚像の表示が停止されると共に、サブ虚像表示領域２０で対応する虚像が表示される様子を示す図である。図１３の各図において、第３範囲Ｈ３は、運転手が通常の姿勢で車両を直進させる運転をしているときのサブ虚像表示領域２０を介した運転手の視界の範囲を示している。図１３（Ａ）に示す態様で、虚像表示領域７に虚像ＫＺ３を表示している場合において、表示制御部１２Ａは、所定のタイミングで、虚像表示領域７への虚像ＫＺ３の表示を停止すると共に、例えば、図１３（Ｂ）に示す態様で、サブ虚像表示領域２０に虚像ＫＺ３を表示する。なお、表示制御部１２Ａは、サブ虚像表示領域２０に虚像を表示した後、一定期間が経過したときに、虚像の表示を停止する。

本実施形態によれば、以下の効果を奏する。すなわち、上述したように、一の標識について、運転手が直接視認できない状態となった場合であっても、所定期間は、虚像表示領域７に当該一の標識に対応する虚像が表示されるため、運転手は、その所定期間の間に、当該一の標識に対応する虚像を視認することにより、当該一の標識の内容を確認できる。しかしながら、例えば、前方の車両を追い越し中であったりする等して、運転手が、その所定期間の間に、当該一の標識に対応する虚像を視認できないケースがある。このようなケースを想定して、所定期間を、非常に長い時間とすることが可能であるが、上述したように、虚像表示領域７は、運転手の視界の中で、標識や、車両が走行中の道路、前方の車両、標識、信号機等のオブジェクトが出現する領域であるため、虚像表示領域７に表示された虚像が、これらオブジェクトを運転手が視認するときに影響を与える可能性があり、この領域に、不必要に長い間、虚像を表示すべきでない。また、虚像を長時間表示する構成とすると、虚像表示領域７に同時に表示される虚像が多数となるリスクが高くなり、この点でも、オブジェクトを運転手が視認するときに影響を与える可能性がある。

以上を踏まえ、本実施形態によれば、虚像表示領域７への虚像の表示の停止に応じて、サブ虚像表示領域２０に対応する虚像が表示される構成のため、虚像表示領域７に不必要に長い間、虚像が表示されることを防止した上で、運転手が標識を見過ごした場合であっても、より確実に、運転手が標識の内容を確認できるようにすることができる。

なお、虚像表示領域７への虚像の表示を停止し、対応する虚像をサブ虚像表示領域２０に表示するときに、表示制御部１２は、以下のようなアニメーションを行ってもよい。すなわち、表示制御部１２は、虚像表示領域７に表示されている虚像について、虚像表示領域７内を、サブ虚像表示領域２０に向かって移動させる。そして、表示制御部１２は、虚像が虚像表示領域７の上端部に至ったときに、虚像表示領域７への虚像の表示を停止し、対応する虚像をサブ虚像表示領域２０に表示する。このようなアニメーションを行うことにより、運転手に対して、虚像表示領域７に表示されていた虚像が、虚像表示領域７に代えてサブ虚像表示領域２０に表示されたことを的確に認識させることができる。

また、サブ虚像表示領域２０の位置は、本実施形態で説明した位置に限らず、サブ虚像表示領域２０は、虚像表示領域７と別の領域であればよい。一例として、サブ虚像表示領域２０は、フロントウィンドシールド４の左端部や右端部に形成された領域であってもよい。また、本実施形態では、虚像表示領域７とサブ虚像表示領域２０とに虚像を表示するヘッドアップディスプレイ装置は、それぞれ、別々であった。この点について、１つのヘッドアップディスプレイ装置により、虚像表示領域７とサブ虚像表示領域２０とに虚像を表示する構成でもよい。

以上、本発明の実施形態について説明したが、上記各実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

例えば、上述した各実施形態では、ヘッドアップディスプレイ１は、フロントウィンドシールド４に画像光を投射して虚像を表示するウィンドシールド型のヘッドアップディスプレイ装置であった。この点に関し、コンバイナ型のヘッドアップディスプレイ装置であってもよい。第２実施形態では、サブヘッドアップディスプレイ１５についても同様である。

また、第１実施形態では、表示制御部１２は、撮影画像データを分析することによって、標識が運転手の視界から外れたか否かを判定し、運転手の視界から外れたと判定した後、予め定められた時間だけ、標識に対応する虚像を表示していた。この構成によれば、確実に、運転手の視界から標識が外れた後に、標識に対応する虚像が表示された期間を確保することができる。ただし、運転手の視界から標識が外れた後に、標識に対応する虚像が表示された期間を確保する方法は、第１実施形態で説明した方法に限らない。一例として、表示制御部１２は、自車位置と、標識の位置とに基づいて、車両が標識を通り過ぎたか否かを判定し、通り過ぎたと判定してから一定期間の間、その標識に対応する虚像を表示してもよい。以上のことは第２実施形態についても同様である。

また、上述した第１実施形態では、撮影画像データにおいて、第１領域ＡＲ１の端部に対応標識画像が至ったタイミングで、撮影画像データから対応標識画像を切り取って標識画像データを生成する構成であった。しかしながら、撮影画像データから対応標識画像を切り取って標識画像データを生成するタイミングは、上記タイミングに限らない。すなわち、表示制御部１２により、虚像の表示が開始される前のタイミングであればよい。この場合、標識画像データに基づいて虚像を表示する際に、標識画像データに記録された標識の画像について、拡大等の画像処理が適切に実行される。以上のことは第２実施形態についても同様である。

また、上述した第１実施形態では、虚像の表示を開始するタイミングについて説明した。しかしながら、虚像の表示を開始するタイミングは、第１実施形態で説明したタイミングに限らない。例えば、対応標識画像が第１領域ＡＲ１を外れたタイミングで、虚像の表示を開始する構成でもよい。この場合、表示制御部１２は、虚像の表示を開始した後、所定期間、虚像の表示を継続し、運転手が標識を視認できなくなった後に、標識に対応する虚像が表示される期間を確保する。また例えば、夜間において、車両が前方に向かって照射するライトの範囲から一の標識が外れ、当該一の標識について画像認識ができなくなったことをトリガとして、表示制御部１２が、当該一の標識に対応する虚像の表示を開始する構成でもよい。

また、上述した第１実施形態では、表示制御部１２は、標識画像データに基づく虚像を、虚像表示領域７における標識移動方向寄りの位置に表示した。この点に関し、表示制御部１２が、虚像表示領域７における標識移動方向寄りの位置ではない位置に虚像を表示する構成でもよい。これらのことは第２実施形態についても同様である。

また、上述した第１実施形態では、標識画像取得部１１は、撮影画像データから対応標識画像を切り取ることにより、標識画像データを生成し、取得した。つまり、標識画像データは、前方カメラ９によって撮影された標識の画像が記録された画像データであった。この点に関し、標識画像データは、撮影された標識の画像が記録された画像データでなくてもよい。例えば、標識画像データは事前に用意された画像データ（例えば、パターンマッチング用に用意された画像データ）であってもよい。また例えば、標識画像データは、必要な情報が記述されたテキストデータであってもよい。テキストデータの場合、例えば、事前に、標識ごとにテキストデータである標識画像データが表示制御装置５に記憶される。そして、標識画像取得部１１は、画像認識により虚像を表示しようとしている標識を特定し、事前に記憶された標識画像データのうち、特定した標識に対応する標識画像データを取得する。この場合において、画像認識で標識を特定するのではなく、標識の位置と、標識に対応する標識画像データ（テキストデータ）とを対応づけて記憶するようにした上で、標識の位置を特定し、標識に対応する標識画像データを取得する構成でもよい。

また、上述した第１実施形態では、虚像を表示する際、アニメーションを行った。ただし、アニメーションを行わずに、虚像をポップアップ表示する構成でもよい。このことは第２実施形態についても同様である。

１ ヘッドアップディスプレイ
５ 表示制御装置
７ 虚像表示領域（第１の領域）
９ 前方カメラ（カメラ）
１１ 標識画像取得部
１２ 表示制御部
１５ サブヘッドアップディスプレイ
２０ サブ虚像表示領域（第２の領域）

Claims (10)

1. 光を投射して運転手が虚像表示領域内で視認可能な虚像を表示するヘッドアップディスプレイによる虚像の表示を制御する表示制御装置であって、
   車両の走行に応じて、運転手の視界の中で前記虚像表示領域に出現した後、前記虚像表示領域内を移動し、前記虚像表示領域を外れ、その後、運転手の視界を外れる標識について、前記標識の画像である標識画像を取得する標識画像取得部と、
   少なくとも運転手の視界から前記標識が外れているときに、前記標識画像に基づく虚像を前記虚像表示領域に表示する表示制御部と、
   を備えることを特徴とする表示制御装置。
2. 前記標識は、車両の走行に応じて、運転手の視界の中で前記虚像表示領域に出現した後、前記虚像表示領域内を所定方向に向かって移動し、その後、前記虚像表示領域を外れるものであり、
   前記表示制御部は、
   前記標識画像に基づく虚像を、前記虚像表示領域における前記所定方向寄りの位置に表示する
   ことを特徴とする請求項１に記載の表示制御装置。
3. 前記表示制御部は、
   前記標識が前記虚像表示領域に出現した後の所定のタイミングで、前記標識画像に基づく虚像の前記虚像表示領域への表示を開始すると共に、当該虚像を表示した後、少なくとも運転手の視界から前記標識が外れてから所定期間が経過するまでは当該虚像を表示する
   ことを特徴とする請求項１または２に記載の表示制御装置。
4. 前記表示制御部は、
   前記標識が前記虚像表示領域から外れたタイミングで、前記標識画像に基づく虚像の表示を開始する
   ことを特徴とする請求項１から３のいずれか１項に記載の表示制御装置。
5. 前記表示制御部は、
   前記標識画像に基づく虚像の表示に際し、前記標識が前記虚像表示領域から外れた後、前記標識画像に基づく虚像が、前記標識が前記虚像表示領域内で移動する方向と逆方向に向かって前記虚像表示領域内に徐々に現れるようにする
   ことを特徴とする請求項４に記載の表示制御装置。
6. 前記表示制御部は、
   前記標識が前記虚像表示領域の端部に至ったタイミングで、前記標識画像に基づく虚像の表示を開始する
   ことを特徴とする請求項１から３のいずれか１項に記載の表示制御装置。
7. 前記表示制御部は、
   前記標識が前記虚像表示領域の端部に至ったタイミングで、前記標識が前記虚像表示領域の端部に至ったときの位置に対応する位置に前記標識画像に基づく虚像を表示する
   ことを特徴とする請求項６に記載の表示制御装置。
8. 前記虚像表示領域は、運転手の視界の中で前記標識が出現する位置を含む第１の領域と、前記第１の領域とは別の位置に形成された第２の領域とを含み、
   前記表示制御部は、
   前記標識画像に基づく虚像を前記第１の領域に表示した後の所定のタイミングで、前記第１の領域における前記標識画像に基づく虚像の表示を停止すると共に、前記第２の領域に、前記第１の領域における表示を停止した前記標識画像に基づく虚像を表示する
   ことを特徴とする請求項１から７のいずれか１項に記載の表示制御装置。
9. 前記標識画像取得部は、
   車両の前方を撮影するカメラの撮影結果に基づく画像データを取得し、取得した画像データに記録された前記標識の画像を前記標識画像として取得する
   ことを特徴とする請求項１から８のいずれか１項に記載の表示制御装置。
10. 光を投射して運転手が虚像表示領域内で視認可能な虚像を表示するヘッドアップディスプレイによる虚像の表示を制御する表示制御装置による表示制御方法であって、
    前記表示制御装置の標識画像取得部が、車両の走行に応じて、運転手の視界の中で前記虚像表示領域に出現した後、前記虚像表示領域内を移動し、前記虚像表示領域を外れ、その後、運転手の視界を外れる標識について、前記標識の画像である標識画像を取得する第１のステップと、
    前記表示制御装置の表示制御部が、少なくとも運転手の視界から前記標識が外れているときに、前記標識画像に基づく虚像を前記虚像表示領域に表示する第２のステップと、
    を含むことを特徴とする表示制御方法。