JP2012007983A - 運転支援装置 - Google Patents

Abstract

【課題】取得された地図情報に基づいて生成されるナビゲーション情報を撮影画像中の正確な位置に重畳表示することができる技術を提供する。
【解決手段】車載カメラ４による撮影画像に含まれる被撮影物の特徴部分の位置と、自車位置推定部７により検出された自車１の位置に応じて取得された地図情報に含まれる被撮影物の特徴部分に対応する位置とが照合されることにより、地図情報上における撮影画像の位置が走行環境認識部８により同定されることで、撮影画像に含まれる被撮影物の地図情報上における位置、すなわち、撮影画像に地図情報上のどこの位置が撮影されているのかが正確に同定されので、取得された地図情報に基づいて生成されるナビゲーション情報が表示されるべき地図情報上の位置と、撮影画像上の位置とが正確に対応付けされているため、ナビゲーション情報を撮影画像中の正確な位置に重畳表示することができる。
【選択図】図１

Description

この発明は、撮影手段により撮影された撮影画像にナビゲーション情報を重畳表示することにより運転支援を行う技術に関する。

従来、車載カメラなどの撮影手段による実写画像にガイド図形などのナビゲーション情報を重畳表示することにより運転支援を行う技術が知られている。このように、実写画像にナビゲーション情報を重畳表示するためには、実写画像にどこの場所の風景が撮影されているのか、すなわち、実写画像の地図上の位置が同定されなければならない。

そこで、例えば、特許文献１に記載のナビゲーション装置では、ハードディスクドライブ（ＨＤＤ）やＤＶＤなどの記憶手段にナビゲーション用の地図データが格納されており、ＧＰＳ（Global Positioning System）測位情報や車速センサなどの自律センサの情報などに基づいて自車位置が検出され、検出された自車位置に関する情報や、撮影手段の自車への取付状態および撮影方向に関する情報などに基づいて、実写画像の地図データ上における位置が同定される。そして、実写画像の地図データ上の位置が同定された結果、地図データに基づいて設定された案内経路に該当する交差点などが実写画像に含まれていると判断されるときには、ナビゲーション情報が表示されるべき当該交差点などの地図データ上での位置に相当すると推定される実写画像中の位置にナビゲーション情報が重畳表示される。

国際公開第２００７／１４５１９０号（段落［００３７］〜［００４３］、図８，９など）

ところで、自車両にＧＰＳの受信機を搭載することにより、この受信機により受信されたＧＰＳ測位情報に基づいて走行中の自車位置が検出されるが、ＧＰＳの測位状況によっては自車位置の検出誤差が数ｍ〜１００ｍ以上となる。そこで、自車位置をより正確に検出するために、ＧＰＳの測位情報に基づいて検出された自車位置は、自車両に搭載された車速センサなどの自律センサの情報などに基づいてさらに補正される。

しかしながら、自律センサの情報などにより検出された自車位置が補正されても、ＧＰＳの測位状況に起因する自車位置の検出誤差を完全には補正できず、補正された自車位置にも数十ｍの誤差が含まれているため、数十ｍの誤差を含む自車位置に関する情報に基づいて実写画像（撮影画像）の地図データ上における位置が同定される。したがって、同定された撮影画像の地図データ上の位置に誤差が含まれるため、撮影画像に地図データ上のどの位置の風景が撮影されているのかを正確に同定できず、同定された撮影画像の地図データ上の位置が実際の位置からずれているおそれがあり、この場合、撮影画像中の適切な位置にナビゲーション情報が重畳表示されなかったり、表示されるべきナビゲーション情報が撮影画像に重畳表示されないという問題があった。

本発明は、上記課題に鑑みてなされたものであり、取得された地図情報に基づいて生成されるナビゲーション情報を撮影画像中の正確な位置に重畳表示することができる技術を提供することを目的とする。

上記した目的を達成するために、本発明の運転支援装置は、自車位置を検出する検出手段と、前記検出手段により検出された自車位置に応じた地図情報を取得する取得手段と、自車に搭載された自車両周辺を撮影する撮影手段と、前記撮影手段による撮影画像に含まれる被撮影物の特徴部分の位置と、前記取得手段により取得された前記地図情報に含まれる前記被撮影物の特徴部分に対応する位置とを照合することにより、前記地図情報上における前記撮影画像の位置を同定するマッチング手段と、前記地図情報に基づいて生成されるナビゲーション情報を前記マッチング手段による同定が行われた前記撮影画像に重畳して表示する表示手段とを備えることを特徴としている（請求項１）。

また、前記マッチング手段は、１または２以上の前記被撮影物の複数の前記特徴部分の位置について照合を行うようにするとよい（請求項２）。

請求項１の発明によれば、撮影手段による撮影画像に含まれる被撮影物の特徴部分の位置と、検出手段により検出された自車位置に応じて取得手段により取得された地図情報に含まれる被撮影物の特徴部分に対応する位置とが照合されることにより、地図情報上における撮影画像の位置がマッチング手段により同定されることで、撮影画像に含まれる被撮影物の地図情報上における位置、すなわち、撮影画像に地図情報上のどこの位置が撮影されているのかが正確に同定される。したがって、取得された地図情報に基づいて生成されるナビゲーション情報が表示されるべき地図情報上の位置と、撮影画像上の位置とが正確に対応付けされているため、ナビゲーション情報を撮影画像中の正確な位置に表示手段により重畳表示することができる。

また、撮影画像の地図情報上の位置が正確に同定されることにより、撮影手段の自車への取付状態および撮影方向などから、検出手段による地図情報上における自車位置を正確に補正することができるため、補正された自車位置に関する情報および地図情報に基づいて目的地までの最適なナビゲーション情報を生成することができる。したがって、最短経路で目的地に向かうことができるので、低燃費化を図ることができる。

請求項２の発明によれば、１または２以上の被撮影物の複数の特徴部分の位置について照合が行われることにより、撮影画像の地図情報上の位置をより正確にマッチング手段により同定することができる。

本発明の一実施形態のブロック図である。 地図情報上における撮影画像の位置を同定する処理を説明するための図である。 表示されるナビゲーション情報の一例を示す図である。 ナビゲーション処理を示すフローチャートである。

本発明の一実施形態について、図１〜図４を参照して説明する。

図１は本発明の運転支援装置２の一実施形態のブロック図である。図２は地図情報Ｍ上における撮影画像Ｆの位置を同定する処理を説明するための図であって、（ａ）は撮影画像Ｆの一例を示し、（ｂ）は走行環境認識部８により取得された地図情報Ｍの一例を示す図である。図３は表示されるナビゲーション情報の一例を示す図であって、（ａ）は地図情報Ｍ上においてナビゲーション情報が表示されるべき位置を示す図であって、（ｂ）は撮影画像Ｆにナビゲーション情報が重畳表示された状態を示す図である。図４はナビゲーション処理を示すフローチャートである。

図１に示す自車１は、車載カメラ４による撮影画像Ｆにナビゲーション情報を重畳表示することにより運転支援を行う運転支援装置２を備えている。以下、運転支援装置２が備える種々の機能について説明する。

記憶部３は、フラッシュメモリ等の書き換え自在の固体情報記憶素子やＨＤＤなどの記憶媒体により形成され、車載カメラ４により時々刻々と出力される撮影画像Ｆの画像データやナビゲーション用の地図情報Ｍ、以下で説明する各種機能により使用される各種データや各種機能により得られる各種データを記憶する。なお、この実施形態において記憶部３により記憶されるナビゲーション用の地図情報Ｍには、交差点、道路に設けられた横断歩道や車速、追越禁止、Ｕターン禁止などの各種道路標示、信号機、標識、ガソリンスタンド、飲食店などの各種店舗、モニュメントなどのランドマークなど、ドライバに対するナビゲーション情報を生成するための道路上の特徴部分ＣＰに関する位置情報、すなわち、“何”が“何処”にあるのかという互いの位置関係を把握するための位置情報が含まれている。なお、道路上の特徴物（特徴部分）の互いの位置関係を把握することができれば、地図情報Ｍは、所謂、３次元地図データであっても２次元地図データであってもよい。

車載カメラ４（本発明の「撮影手段」に相当）は、自車両周辺を撮影するものであって、この実施形態では、自車１の前方の撮影が可能なモノクロあるいはカラー撮影が可能なカメラから成り、連続的に時々刻々と撮影した撮影画像Ｆの信号を出力する（図２（ａ）参照）。また、この実施形態では、車載カメラ４は、ドライバの視線とほぼ同じ視線で自車１の前方の路面撮影を行うことができるように、自車１の車内の前方の上部位置に、上方から適当な角度で斜め下の路面をねらうように設けられている。

自車位置推定部７（本発明の「検出手段」に相当）は、ＧＰＳ受信部５により受信した自車位置のＧＰＳの測位情報や、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）通信部６により受信した速度センサ、加速度センサ、舵角センサ、ヨーレートセンサ等の自車に設けられた走行に関連する各種自律センサの検出情報を収集して管理される自車１の車両情報などに基づいて、各時刻における自車１の地図情報Ｍ上における位置を推定する。

走行環境認識部８（本発明の「取得手段」、「マッチング手段」に相当）は、記憶部３に記憶されたナビゲーション用の地図情報Ｍのうち、自車位置推定部７により推定された自車１の地図情報Ｍ上の位置に応じた地図情報Ｍを取得する（図２（ｂ）参照）。また、走行環境認識部８は、車載カメラ４による撮影画像Ｆに含まれる１または２以上の、交差点の角、道路に設けられた横断歩道や車速、追越禁止、Ｕターン禁止などの各種道路標示の端点、信号機、標識、ガソリンスタンド、飲食店などの各種店舗、モニュメントなどのランドマークなどの被撮影物Ｏの特徴部分ＣＰをパターン認識により認識する。

そして、走行環境認識部８は、撮影画像Ｆに被撮影物Ｏとして“何”が“何処”に撮影されているのか、といった撮影画像Ｆに含まれる各特徴部分ＣＰの位置と、自車位置推定部７により推定された自車１の地図情報Ｍ上の位置に応じて取得した地図情報Ｍに含まれる特徴部分ＣＰの位置とを照合することにより、撮影画像Ｆに地図情報Ｍ上のどの位置が撮影されているのかを認識して、地図情報Ｍ上における撮影画像Ｆの位置を同定するマッチング処理を行う。

なお、地図情報Ｍが２次元地図データとして記憶部３に格納されているときには、走行環境認識部８は、撮影画像Ｆを上方視の画像に射影変換すると共に上方視画像に認識した被撮影物Ｏの特徴部分ＣＰの位置情報を追加し、特徴部分ＣＰの位置情報が追加された上方視画像と、特徴部分ＣＰが含まれる地図情報Ｍとの位置関係とをパターン認識により照合することで、地図情報Ｍ上における撮影画像Ｆの位置を同定するようにしてもよい。

表示画像生成部９（本発明の「表示手段」に相当）は、走行環境認識部８により撮影画像Ｆの地図情報Ｍ上の位置が同定された結果、図３（ａ）に示すように、地図情報Ｍと自車１の位置とに基づいて設定された案内経路に該当する交差点ＩＳなどが撮影画像Ｆに含まれていると判断されるときには、ガイド図形Ｇなどのナビゲーション情報が表示されるべき当該交差点ＩＳなどの地図情報Ｍ上での位置に相当すると推定される撮影画像Ｆ中の位置に当該ナビゲーション情報を重畳した画像データを生成する。

車載モニタ１０（本発明の「表示手段」に相当）は、ドライバに対してカーナビゲーション用の地図などを表示するものであって、例えばインストルメントパネルなどに取付けられたＣＲＴ、液晶ディスプレイなどの液晶モニタなどにより形成されており、表示画像生成部９により生成された画像データであって、地図情報Ｍに基づいて生成されるナビゲーション情報が撮影画像Ｆに重畳された画像を表示する（図３（ｂ）参照）。

なお、表示画像生成部９は、ナビゲーション情報が表示されるべき交差点ＩＳなどが撮影画像Ｆ中に含まれていないときには、車載モニタ１０に表示される画像として、ナビゲーション情報が重畳表示されない撮影画像Ｆの画像データを生成する。

また、撮影画像Ｆの地図情報Ｍ上の位置が正確に同定されることにより、車載カメラ４の自車１への取付状態および撮影方向などから、自車位置推定部７により推定される地図情報Ｍ上における自車１の位置を正確に補正することができる。したがって、表示画像生成部９は、自車位置推定部７による自車１の位置と地図情報Ｍとに基づいたナビゲーション情報が表示されるべき撮影画像Ｆ中の位置を自車１の位置を基準として導出し、撮影画像Ｆ中の自車１の位置を基準とした位置にナビゲーション情報を重畳して、車載モニタ１０に表示するための画像データを生成してもよい。

また、撮影画像Ｆに重畳表示されるナビゲーション情報としては、図３（ｂ）に示すような進行方向を示すガイド図形Ｇに限られず、各種店舗情報や、ランドマークに関する情報など、どのようなものであってもよい。

そして、自車位置推定部７、走行環境認識部８、表示画像生成部９は、マイクロコンピュータのソフトウェア処理によって形成される。

次に、自車１に搭載される運転支援装置２による処理の一例について図４を参照して説明する。

図４はナビゲーション処理を示し、車載カメラ４により撮影されて記憶部３に記憶された撮影画像Ｆが、走行環境認識部８により取得されて（ステップＳ１）、撮影画像Ｆに含まれる被撮影物Ｏの特徴部分ＣＰがパターン認識により認識されることで特徴部分ＣＰの互いの位置関係などが抽出される（ステップＳ２）。

次に、自車位置推定部７により推定された自車１の位置に基づいて、記憶部３に記憶されたナビゲーション用の地図情報Ｍから、自車１周辺の地図情報Ｍが走行環境認識部８により取得される（ステップＳ３）。そして、撮影画像Ｆに含まれる被撮影物Ｏの特徴部分ＣＰの位置と、取得された自車１周辺の地図情報Ｍに含まれる特徴部分ＣＰの位置とが照合されることにより、撮影画像Ｆの地図情報Ｍ上の位置を同定するマッチング処理が走行環境認識部８により実行される（ステップＳ４）。

続いて、マッチング処理の結果に応じて、撮影画像Ｆ中の所定の位置にナビゲーション情報が重畳された画像データが表示画像生成部９により生成されて（ステップＳ５）、生成された画像データが車載モニタ１０に表示される（ステップＳ６）。

以上のように、この実施形態によれば、車載カメラ４による撮影画像Ｆに含まれる被撮影物Ｏの特徴部分ＣＰの位置と、自車位置推定部７により検出された自車１の位置に応じて取得された地図情報Ｍに含まれる被撮影物Ｏの特徴部分ＣＰに対応する位置とが照合されることにより、地図情報Ｍ上における撮影画像Ｆの位置が走行環境認識部８により同定されることで、撮影画像Ｆに含まれる被撮影物Ｏの地図情報Ｍ上における位置、すなわち、撮影画像Ｆに地図情報Ｍ上のどこの位置が撮影されているのかが正確に同定される。したがって、取得された地図情報Ｍに基づいて生成されるナビゲーション情報が表示されるべき地図情報Ｍ上の位置と、撮影画像Ｆ上の位置とが正確に対応付けされているため、ナビゲーション情報を撮影画像Ｆ中の正確な位置に重畳表示することができる。

また、撮影画像Ｆの地図情報Ｍ上の位置が正確に同定されることにより、車載カメラ４の自車１への取付状態および撮影方向などから、自車位置推定部７による地図情報Ｍ上における自車１の位置を正確に補正することができるため、補正された自車１の位置に関する情報および地図情報Ｍに基づいて目的地までの最適なナビゲーション情報を生成することができる。したがって、最短経路で目的地に向かうことができるので、低燃費化を図ることができる。

また、１または２以上の被撮影物Ｏの複数の特徴部分ＣＰの位置について照合が行われることにより、撮影画像Ｆの地図情報Ｍ上の位置をより正確に走行環境認識部８により同定することができる。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行なうことが可能であり、例えば、ナビゲーション用の地図情報Ｍをサーバなどに格納しておき、無線通信手段などによりサーバ上の地図情報Ｍを取得するようにしてもよい。

また、撮影画像Ｆの地図情報Ｍ上の位置を正確に同定することができるのであれが、必ずしも複数の特徴部分ＣＰを用いて撮影画像Ｆおよび地図情報Ｍの位置の同定を行わなくともよい。また、撮影画像Ｆおよび地図情報Ｍに含まれる複数の特徴部分ＣＰの全ての位置関係が一致しなくとも、所定の割合以上の特徴部分ＣＰの位置関係が一致することを条件として、撮影画像Ｆの地図情報Ｍ上の位置を同定するようにしてもよい。

また、上記した実施形態では、常に車載カメラ４による撮影画像Ｆを車載モニタ１０に表示するように構成されているが、通常は、一般的なカーナビゲーション用の地図を車載モニタ１０に表示し、自車１が交差点などのナビゲーション情報が必要な場所に近づいたときだけ、ナビゲーション情報が重畳された撮影画像Ｆを車載モニタ１０に表示するようにしてもよい。また、このとき、ナビゲーション情報が重畳された撮影画像Ｆを、一般的なカーナビゲーション用の地図にスーパーインポーズして車載モニタ１０に表示してよい。

また、車載カメラ４による撮影画像Ｆを、ドライバの視線により近い画像に変換して車載モニタ１０に表示してもよい。

また、運転支援装置２は図１の構成に限るものではないのは勿論である。

また、本発明は、撮影手段により撮影された撮影画像Ｆにナビゲーション情報を重畳表示することによる種々の運転支援に適用することができる。

１ 自車
４ 車載カメラ（撮影手段）
７ 自車位置推定部（検出手段）
８ 走行環境認識部（取得手段、マッチング手段）
９ 表示画像生成部（表示手段）
１０ 車載モニタ（表示手段）
ＣＰ 特徴部分
Ｆ 撮影画像
Ｇ ガイド図形（ナビゲーション情報）
Ｍ 地図情報
Ｏ 被撮影物

Claims (2)

1. 自車位置を検出する検出手段と、
   前記検出手段により検出された自車位置に応じた地図情報を取得する取得手段と、
   自車に搭載された自車両周辺を撮影する撮影手段と、
   前記撮影手段による撮影画像に含まれる被撮影物の特徴部分の位置と、前記取得手段により取得された前記地図情報に含まれる前記被撮影物の特徴部分に対応する位置とを照合することにより、前記地図情報上における前記撮影画像の位置を同定するマッチング手段と、
   前記地図情報に基づいて生成されるナビゲーション情報を前記マッチング手段による同定が行われた前記撮影画像に重畳して表示する表示手段と
   を備えることを特徴とする運転支援装置。
2. 請求項１に記載の運転支援装置において、
   前記マッチング手段は、１または２以上の前記被撮影物の複数の前記特徴部分の位置について照合を行うことを特徴とする運転支援装置。

Images