JP2012220489A - 道案内情報のウィンドシールド表示装置及びその方法 - Google Patents

Abstract

【課題】
運転者が目的地と連係された道路を正確に認知できるようにする道案内情報のウィンドシールド表示装置及びその方法を提供する。
【解決手段】本発明に係る装置は、道案内情報のウィンドシールド表示装置において、運転者が設定した目的地までの道案内情報を獲得するナビゲーション連動手段、前方道路の映像を認識する前方映像認識手段、前記運転者の顔映像から目の位置を検出する目線位置検出手段、前記目線位置検出手段が検出した運転者の目線位置を基準に、ウィンドシールド上に実際道路と前記道案内情報をマッピングさせて表示するようにウィンドシールド表示手段を制御する制御手段、及び前記制御手段の制御に従い実際道路に道案内情報をマッピングさせて表示する前記ウィンドシールド表示手段を含むことを特徴とする。
【選択図】図１

Description

本発明は、道案内情報のウィンドシールド表示装置及びその方法に係り、より詳しくは運転者の目線位置を基盤にナビゲーションの道案内情報を実際道路とマッピング（ｍａｐｐｉｎｇ）させ、車両のウィンドシールド（ＷＩＮＤＳＨＩＥＬＤ）上に表示する道案内情報のウィンドシールド表示装置及びその方法に関する。

一般に、テレマティックス端末機（Ｔｅｌｅｍａｔｉｃｓ Ｔｅｒｍｉｎａｌ）は車両内に装着され、無線通信網を介して電話機能、地図情報、交通情報、マルチメディア情報、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）航法（ｎａｖｉｇａｔｉｏｎ）機能などを使用者に提供する装置である。
このようなテレマティックス端末機内に設置された車両航法システムは、ＧＰＳ信号及び地図情報を根拠に車両の位置を表す多数の地図ページ等（ｍａｐ ｐａｇｅｓ）を使用者に提供する。

従来の車両航法システムは、テレマティックス端末機の表示部上に道案内地図を表示することにより、運転者はテレマティックス端末機の表示部上に表示された道案内地図と実際の道路を交互に見ながら比べなければならない不便さがあった。例えば、運転者は車両の前面ガラスを通じて見える実際道路（例えば、複雑な交差路）と、テレマティックス端末機の表示部に表示された道案内地図に表れた道路を交互に見比べなければならないので、目的地に行くための道路を正確に認知しにくいとの問題点があった。

特開２００３−２０３２５３号公報

本発明は前記従来技術の問題点を解決するためになされたものであって、運転者の目線位置を基盤にナビゲーションの道案内情報を実際道路とマッピングさせて車両のウィンドシールド上に表示することにより、運転者が目的地と連係された道路を正確に認知できるようにする道案内情報のウィンドシールド表示装置及びその方法を提供することを目的とする。

本発明に係る装置は、道案内情報のウィンドシールド表示装置において、運転者が設定した目的地までの道案内情報を獲得するナビゲーション連動手段、前方道路の映像を認識する前方映像認識手段、前記運転者の顔映像から目の位置を検出する目線位置検出手段、前記目線位置検出手段が検出した運転者の目線位置を基準に、ウィンドシールド上に実際道路と前記道案内情報をマッピングさせて表示するようにウィンドシールド表示手段を制御する制御手段、及び前記制御手段の制御に従い実際道路に道案内情報をマッピングさせて表示する前記ウィンドシールド表示手段を含むことを特徴とする。

また、本発明係るは、車両のナビゲーションシステムと連動して運転者が設定した目的地までの道案内情報を獲得する段階、前方道路映像を認識する認識段階、前記運転者の顔映像から目線位置を検出する段階、及び前記検出した運転者の目線位置を基準にウィンドシールド上に実際道路と前記道案内情報をマッピングさせて表示する段階を含むことを特徴とする。

本発明によれば、運転者の目線位置を基盤にナビゲーションの道案内情報を実際道路とマッピングさせて車両のウィンドシールド上に表示することにより、運転者に目的地と連係された道路を正確に認知させることができるようにする効果がある。

本発明に係る道案内情報のウィンドシールド表示装置に対する一実施形態の構成を示す図である。 本発明に係る曲線路認識過程に対する一実施形態を説明する図である。 本発明に係る運転者の目線位置検出過程に対する一実施形態を説明する図である。 本発明に係る実際道路上に道案内情報をマッピングする過程に対する一実施形態を説明する図である。 本発明に係る実際道路上に道案内情報をマッピングした状態を表す一例示図である。 本発明に係る道案内情報のウィンドシールド表示方法に対する一実施形態のフローチャートである。

以下、図を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明に係る道案内情報のウィンドシールド表示装置に対する一実施形態の構成を示す図である。
図１に示すように、本発明に係る道案内情報のウィンドシールド表示装置は、ナビゲーション連動部１０、前方映像認識部２０、目線位置検出部３０、制御部４０及びウィンドシールド表示部５０を含む。
ナビゲーション連動部１０は車両に備えられたナビゲーションシステムと連動して運転者が設定した目的地までの道案内情報を獲得する。
撮影された走行中の道路の前方映像から走行車線、道路の終端位置を認識する。

前方映像認識部２０は、車両に搭載された車線離脱防止システム（Ｌａｎｅ Ｋｅｅｐｉｎｇ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）又は車線離脱警報システム（Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇ Ｓｙｓｔｅｍ）などと連動して走行車線を認識することもできる。
車両が走行車線を認識することにより、正確な道案内情報の提供が可能である。仮に、１車線走行中に３車線の右側に位置したインターチェンジに進まなければならない場合、車線認識が不可能であれば１車線から３車線インターチェンジまでの直線方向案内のみ可能であるが、車線認識が可能であれば１車線、２車線、３車線に変更するため適切な位置で車線変更を誘導することができる。

目線位置検出部３０は、車両の内部に装着されたカメラを通して撮影された運転者の顔映像から目線位置を検出する。
制御部４０は、目線位置検出部３０から検出された運転者の目線位置を基盤に、ナビゲーション連動部１０が獲得した道案内情報を実際道路とマッピングさせてウィンドシールド表示部５０に表示する。このとき、制御部４０の機能は、車両のＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔｓ）が行うこともできる。

したがって、本発明は、運転者の目線位置に関係なく常に運転者に合うよう実際道路と道案内情報をマッピングさせることができる。ここに、運転者は実際道路にマッピングされて表示される道案内情報を見ながら目的地までの道路の案内を受けることができるので、不要な行動による妨害を受けずに安全に目的地まで走行することができる。

ウィンドシールド表示部５０は、制御部４０の制御に従い実際道路に道案内情報をマッピングさせて表示する。このとき、ウィンドシールド表示部５０はＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）装置、プロジェクション投射装置、ウィンドシールド透明ディスプレイ装置及びウィンドシールドドット（Ｄｏｔ）ディスプレイ装置などを含む。 一方、本発明では、目線位置検出部３０の代わりに目線位置情報獲得部を備え、車両に備えられている運転者モニタリングシステム（Ｄｒｉｖｅｒ Ｍｏｎｉｔｅｒｉｎｇ Ｓｙｓｔｅｍ）又は視線追跡システム（Ｅｙｅ Ｔｒａｃｋｉｎｇ Ｓｙｓｔｅｍ）などと連動して運転者の目線位置情報を獲得することもできる。

以下、図２を参照して、前方映像認識部２０での曲線路認識過程を説明する。このとき、直進車線の認識は周知慣用の技術なので、詳しい説明は省略する。
前方映像認識部２０はカメラ、映像処理器、前処理器及び曲率算出器を含む。
カメラは、デジタル映像をリアルタイムで撮影できるＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラであって、道路映像を撮影する。
映像処理器は、カメラが撮影した道路映像を二つの領域に分割する。例えば、上／下二つの領域に分割する。このように分離された映像処理領域は、図２に示すように、それぞれ領域１と領域２と称する。

以後、前処理器は二つの領域に対し１次元直線で車線モデリングを行なう。この時、車線モデリングは、領域１と領域２からそれぞれ道路映像のエッジ成分（ａ）を検出し、前記検出されたエッジ成分の各点間を結ぶ直線（ｂ）を算出する過程を意味する。
そして、前処理器は前記モデリングされた各直線が成す三角形を選定する。このとき、前処理器は、図２に示すように、領域１と領域２でモデリングされた各直線（ｂ）間の交差点の中心点（Ｂ、Ｃ）及び消失点（Ａ）を頂点にするよう選定する。

そして、前処理器は前記選定した三角形の外接円半径を算出する。このとき三角形の外接円半径（Ｒ）は数１により算出される。

ここで、ＡＢとＢＣ及びＡＣは各点が成す線分、Ｌｅｎ（ｘ）は線分ｘの長さ、Ｓは三角形ＡＢＣの広さをそれぞれ意味する。
曲率算出器は、前処理器が算出した外接円半径を利用して道路の曲率を算出する。外接円半径の逆数が曲率となる。
このような過程を経て、前方映像認識部２０は曲線路を認識することができる。

以下、図３を参照して、目線位置検出部３０での目線位置検出過程について説明する。
目線位置検出部３０は、カメラ（一例に、ＣＣＤカメラ）を通じて撮影した運転者の顔映像で顔の有する対称部位、すなわち眉毛部位の第１対称点領域（ａ）と目線部位の第２対称点領域（ｂ）、及び鼻孔部位の第３対称点領域（ｃ）を集中検査し形態と大きさ、及び距離と明暗などを考慮し、判断基準となる対称点を検出する。
このとき、顔映像で現われる対称点の中で鼻孔にもっとも適した部位を判断基準となる対称点の第３対称点領域（ｃ）を基準点に設定する。これは通常鼻孔部位は他の部位に比べて光による明暗の変化がなく、もっとも低い位置にありながら短い間隔の対称部位を形成することを利用するものである。

次いで、顔映像で鼻孔のある第３対称点領域（ｃ）を判断基準となる対称点に設定した後、第３対称点領域（ｃ）の上部を目線位置候補領域（ｄ、即ち第１・２対称点領域（ａ、ｂ）である）に設定する。
このように、顔映像で目線位置候補領域（ｄ）が設定された後、フィルター（ソーベルフィルターを使用）を用いて目線位置候補領域（ｄ）で目線位置を集中検査することになるが、これはフィルター（ソーベルフィルター）使用時にロード（Ｌｏａｄ）が多くかかりながら輪郭ラインを集中的に表現することができるためである。 次いで、目線位置候補領域（ｄ）に対するフィルター映像を通じて目線位置確定領域（ｅ）を選択することになるが、これは通常閉じられていない目は楕円状なので、これを判断基準にして目線位置候補領域（ｄ）で目の輪郭ラインが楕円状を有する第１目の形状（Ａ）を検出する。すなわち、目線位置を検出する。

以下、図４を参照し、制御部４０でのマッピング過程について説明する。
図４は、本発明に係る実際道路上に道案内情報をマッピングする過程に対する一実施形態を説明する図である。
図４に示すように、Ｐは走行車路、Ｌ１は走行車路の左側車線、Ｌ２は走行車路の右側車線、Ａは運転者の目線位置、ｘ１は現在運転者の目線からウィンドシールドまでのベクトル（ｖｅｃｔｏｒ）、ｘ２は所定時間（Δｔ）後の運転者の目線からウィンドシールドまでのベクトルをそれぞれ意味する。

先ず、Ｌ１、Ｌ２、Ｐを通じて車両の位置した車路情報（ｎ車路）を把握する。このとき、前方映像認識部２０が道路の車線情報を通じて車線変更を認知することができる。
次に、ＡとＰ値を利用してｘ値を計算する。ウィンドシールドは固定されているので、ウィンドシールド平面に当該ベクトルを投映（ｐｒｏｊｅｃｔｉｏｎ）することにより、ウィンドシールドに表示されなければならない位置が分かる。

さらに、ウィンドシールド平面の方程式は、車両のジャイロセンサーあるいはヨーレートセンサーを介して車両が眺めている方向ベクトルの計算結果に従い変化する。すなわち、進行方向が同一でありながら車両が眺めている方向が変化しても、運転者が見るに実際行こうとする方向と同様に違和感のないマッピングが可能である。 このようなロジックを利用すれば、単にウィンドシールドだけでなく車両フードに装着され得るホログラム映像でもまったく同一のマッピング作業が可能である。

次に、ナビゲーション連動部１０を通じて獲得したＧＰＳ情報を介してΔｔ後ΔＰ．ΔＬ１、ΔＬ２を計算する。このとき、ＧＰＳ情報を介して分岐点までの距離が分かっているので、Ｌ１、Ｌ２までの距離と比べて誤差補正が可能である。
次に、ΔＰ．ΔＬ１、ΔＬ２を利用してｘ２値を計算する。
結局、前記のような過程を一定回数繰り返すと、図５に示すように、ウィンドシールド上に実際道路と道案内情報をマッピングさせて表示することができる。

図６は、本発明に係る道案内情報のウィンドシールド表示方法に対する一実施形態のフローチャートである。
先ず、ナビゲーション連動部１０は、車両のナビゲーションシステムと連動して運転者が設定した目的地までの道案内情報を獲得する（６０１）。
そして、前方映像認識部２０は道路映像で走行車線を認識する（６０２）。併せて、前方映像認識部２０は詳しい道案内機能及び誤差補正機能を遂行する。

そして、目線位置検出部３０は、カメラを通じて撮影した運転者の顔映像から運転者の目線位置を検出する（６０３）。 以後、制御部４０は、目線位置検出部３０が検出した運転者の目線位置を基準に、ウィンドシールド上に実際道路と前記道案内情報をマッピングさせてウィンドシールド表示部５０を通じて表示する（６０４）。
このような過程を経て、運転者は目的地と連係された道路を正確に認知することができる。

１０ ナビゲーション連動部
２０ 前方映像認識部
３０ 目線位置検出部
４０ 制御部
５０ ウィンドシールド表示部

Claims (9)

1. 運転者が設定した目的地までの道案内情報を獲得するナビゲーション連動手段、
   前方道路映像で走行車線を認識する前方映像認識手段、
   前記運転者の顔映像から目の位置を検出する目線位置検出手段、
   前記目線位置検出手段が検出した運転者の目線位置を基準に、ウィンドシールド上に実際道路と前記道案内情報をマッピングさせて表示するようにウィンドシールド表示手段を制御する制御手段、及び
   前記制御手段の制御に従い実際道路に道案内情報をマッピングさせて表示する前記ウィンドシールド表示手段、
   を含むことを特徴とする道案内情報のウィンドシールド表示装置。
2. 前記前方映像認識手段は、
   前記道路映像を撮影するカメラ、
   前記カメラが撮影した道路映像を二つの領域に分割する映像処理器、
   前記映像処理器が分割した二つの領域に対し、１次元直線に車線モデリングを遂行したあとモデリングされた各直線がなす三角形を選定し、選定された三角形の外接円半径を算出する前処理器、及び
   前記前処理器が算出した外接円半径を利用して道路の曲率を算出する曲率算出器、
   を含むことを特徴とする請求項１に記載の道案内情報のウィンドシールド表示装置。
3. 前記目線位置検出手段は、
   前記運転者の顔映像で顔の有する対称部位に対する領域を選択し、前記顔映像で現われる対称点のうち鼻孔部位を判断基準にして前記鼻孔部位の上側を目の位置した目線位置候補領域に選択し、前記顔映像で選択された目線位置候補領域に対しフィルターを利用してフィルタリングして目線位置を検出することを特徴とする請求項１に記載の道案内情報のウィンドシールド表示装置。
4. 前記顔の有する対称部位に対する領域は、
   眉毛部位と目線部位及び鼻孔部位であることを特徴とする請求項３に記載の道案内情報のウィンドシールド表示装置。
5. 前記鼻孔部位は、
   光による明暗の変化がなく、もっとも低い位置にありながら短い間隔の対称部位を形成することを利用して対称点判断基準に選択されることを特徴とする請求項４に記載の道案内情報のウィンドシールド表示装置。
6. 前記フィルターは、
   ソーベルフィルターであることを特徴とする請求項３に記載の道案内情報のウィンドシールド表示装置。
7. 前記ウィンドシールド表示手段は、
   ＨＵＤ装置、プロジェクション投射装置、ウィンドシールド透明ディスプレイ装置及びウィンドシールドドットディスプレイ装置中いずれか一つであることを特徴とする請求項１に記載の道案内情報のウィンドシールド表示装置。
8. 車両のナビゲーションシステムと連動して運転者運転者が設定した目的地までの道案内情報を獲得する段階、
   前方道路映像を認識する認識段階、
   前記運転者の顔映像から目の位置を検出する目線位置検出段階、及び
   前記検出した運転者の目線位置を基準にウィンドシールド上に実際道路と前記道案内情報をマッピングさせて表示する段階、
   を含むことを特徴とする道案内情報のウィンドシールド表示方法。
9. 前記目線位置検出段階は、
   前記運転者の顔映像で顔の有する対称部位に対する領域を選択する対称点判断段階、
   前記対称点判断段階で顔映像で現われる対称点のうち鼻孔部位を判断基準に、前記鼻孔部位の上側を目の位置する目線位置候補領域に選択する目線位置選定段階、
   前記目線位置選定後、顔映像から選択された目線位置候補領域をフィルタリングして目の輪郭ラインを把握する目線位置確定領域に決定する段階、
   を含むことを特徴とする求項８に記載の道案内情報のウィンドシールド表示方法。

Images