JP2019052904A - ランドマーク検出方法及びランドマーク検出装置 - Google Patents

Abstract

【課題】ランドマーク検出の計算負荷を軽くする。【解決手段】自車両の周囲のランドマークと、該ランドマークの特徴を表す複数のランドマーク特徴を、該ランドマーク特徴を取得した位置を含む取得条件と対応付けて記憶するランドマーク記憶部１０と、自身の位置情報を計測する位置計測センサ３０と、自身の進行方向の対象画像を撮像するカメラ２０と、位置情報から対象画像に含まれるランドマークを特定し、該特定した前記ランドマークの撮像条件に近い取得条件の順にランドマーク特徴を配列するランドマーク特徴配列部５０と、特定したランドマークの対象画像より、再検出ランドマーク特徴を抽出し、抽出した再検出ランドマーク特徴と、ランドマーク特徴を、配列した順に照合させてランドマークを検出するランドマーク検出部６０とを備える。【選択図】図２

Description

本発明は、例えば車両の位置測定に利用できるランドマーク検出方法及びランドマーク検出装置に関する。

ランドマークとは、目印となる地理学上の特徴物のことである。撮像した画像とランドマークを用いて自車の位置を測定する装置は、例えば特許文献１に開示されている。

特許文献１に開示された移動体位置測定装置は、１つのランドマークに対し、そのランドマークを識別する為の複数のランドマーク特徴を予め保存しておく。そして、撮像した画像と複数のランドマーク特徴をマッチングさせ、一致したランドマーク特徴から自車位置を測定する装置である。

特開２０１２−１２７８９６号公報

しかしながら特許文献１に開示された技術は、ランドマークを識別するために、ランドマーク数×複数のランドマーク特徴を計算する必要があり、計算負荷が重くなるという課題がある。

本発明は、上記課題に鑑みてなされたものであり、計算負荷を軽減させるランドマーク検出方法及びランドマーク検索装置を提供することを目的としている。

本発明の一態様に係わるランドマーク検出方法は、自車両の周囲のランドマークと、該ランドマークの特徴を表す複数のランドマーク特徴を、該ランドマーク特徴を取得した位置を含む取得条件と対応付けて記憶し、自車両の位置情報から対象画像に含まれるランドマークを特定し、特定したランドマークの撮像条件に近い前記取得条件の順にランドマーク特徴を配列し、特定したランドマークの対象画像より再検出ランドマーク特徴を抽出し、該再検出ランドマーク特徴と、前記ランドマーク特徴を、配列した順に照合させてランドマークを検出する。

本発明のランドマーク検出方法によれば、ランドマーク検出の計算負荷が軽減される。

ランドマークを説明するための画像例を示す図である。 図１Ａに示す画像から異なる取得条件で取得した複数のランドマーク特徴の例を示す図である。 本発明の実施形態に係るランドマーク検出装置の構成例を示したブロック図である。 図２に示すランドマーク検出装置の処理手順を示すフローチャートである。 図２に示すカメラで撮影した対象画像に含まれるランドマークの例を示す図である。 図４に示すランドマークと自車両との関係を模式的に示す図である。 図２に示すランドマーク特徴配列部の処理手順を示すフローチャートである。 ランドマーク特徴のスコア算出の処理手順を示すフローチャートである。 図２に示すランドマーク特徴配列部が出力する配列リストの例を示す図である。 図２に示すランドマーク記憶部に記憶されるランドマーク特徴の例を示す図である。 図２に示すランドマーク検出部の処理手順を示すフローチャートである。 図２に示すカメラで撮影した対象画像にテンプレート枠を適合させて再検出ランドマーク特徴を抽出する例を模式的に示す図である。 対象画像と、テンプレート枠と、輝度分散との関係を模式的に示す図である。

以下、本発明の実施形態を図面に基づいて説明する。本発明の実施形態に係るランドマーク検出装置１００の動作を説明する前に、図１Ａと図１Ｂを参照してランドマークについて説明する。

図１Ａは、ある建物の入り口付近を撮像した画像である。図１Ａに、一点鎖線で示す四角形は、テンプレート枠を示す。図１Ａにおいてランドマークは、テンプレート枠が適合された建物である。ランドマーク特徴は、テンプレート枠の範囲内の画像である。なお、建物（特徴物）とランドマークは、一対一の関係になるとは限らない。一つの建物の一部分をランドマークとする場合もある。撮像した画像の中のエッジやエッジの交わりをランドマークとする場合もある。

図１Ａに示すある建物の画像は、例えば1万画素のＣＣＤカメラで撮像したと仮定する。その場合、建物に接近してテンプレート枠部分の建物を撮像すると、そのテンプレート枠内の画像は、ほぼ1万画素で撮像された扉の一部分の画像となる。逆に建物から離れて同じ部分を撮像すると、テンプレート枠部分の画素数は、全体の画素数に対して相対的に減少することになる。

つまり、ランドマーク特徴の見え方は、対象物を撮像する位置によって変化する。図１Ｂは、その様子を示す図である。小さい画像は建物から離れて撮像した画像から切り取ったランドマーク特徴であり、大きい画像は建物に近づいて撮像した画像から切り取ったランドマーク特徴である。

このようにランドマーク特徴は、ランドマークを撮像した位置に応じて変化する。また、日照、天気等の条件により、ランドマーク特徴の見え方が変化する。つまり、ランドマーク特徴は、撮像した位置、時刻、及び天候等の取得条件、撮像条件によって変化する。したがって、撮像した画像から、それらの要因に左右されずにランドマークを検出するには、一つのランドマークに対応させて見え方の異なるランドマーク特徴を複数用意する必要がある。

本実施形態に係るランドマーク検出装置１００の機能構成例を図２に示す。ランドマーク検出装置１００は、例えば車両に搭載され自車両の位置を測位する装置に用いられる。その装置は、撮像した画像に含まれるランドマークと、予め記憶された地図情報上のランドマークをマッチング処理することにより、自車両の位置を推定する。また、ランドマークを地図上の位置と対応付けて記憶することにより、地図上の自車両の位置を推定する。また自車両の位置を推定することにより、具体的には、道路内での自車両の位置、車線内での自車両の位置、地図上での自車両の位置を推定することにより、自動運転装置や走行支援装置の制御で用いる自車両の走行軌跡の算出に用いることができるようになる。
また、一般的に、自車両の位置を推定する方法として、ＧＮＳＳを用いる方法や、オドメトリを用いる方法、などが用いられるが、これらの方法は、自己位置を高精度に求めることが難しく、自己位置に誤差が生じる、自己位置を推定することができない、ことがある。しかしながら、走行した場所のランドマーク、ランドマーク特徴を学習することで、次回走行した場合に学習したランドマーク、ランドマーク特徴を用いて自己位置を推定できるようになる。また、ランドマーク特徴を画像を用いて照合することにより、画素単位で位置を推定することができるようになるため、自車両の位置や角度を高精度に算出できるようになる。

図３は、ランドマーク検出装置１００が実行するランドマーク検出方法の処理手順を示すフローチャートである。図２と図３を参照して本実施形態に係るランドマーク検出装置１００の動作を説明する。以降において、ランドマーク検出装置１００は、例えば車両に搭載した例で説明する。

ランドマーク検出装置１００は、ランドマーク記憶部１０、カメラ２０、位置計測センサ３０、ジャイロ４０、ランドマーク特徴配列部５０、及びランドマーク検出部６０を備える。カメラ２０、位置計測センサ３０、及びジャイロ４０を除いたランドマーク検出装置１００は、例えば、中央演算ユニット（ＣＰＵ）や、ＲＡＭ、ＲＯＭ、ハードディスク等の記憶手段からなる一体型のコンピュータとして構成することができる。

ランドマーク記憶部１０は、自車両の周囲のランドマークと、該ランドマークの特徴を表す複数のランドマーク特徴を、該ランドマーク特徴を取得した位置を含む取得条件と対応付けて記憶する（図２、ステップＳ１）。取得条件は、ランドマーク特徴を抽出した画像（学習画像）の撮像条件を含む。よって取得条件には、学習画像を撮影した撮影位置（場所）、撮影角度、撮影時刻、及びカメラパラメータ等の撮像条件が含まれる。なお、ランドマーク記憶部１０は、自車両の周囲の複数のランドマークと、該複数のランドマークのそれぞれに対して複数の特徴を表す複数のランドマーク特徴を、該ランドマーク特徴を取得した位置を含む取得条件と対応付けて記憶してもよい。

ここで学習画像の「学習」の文言は、「記憶」に置き換えてもよい。つまり、自車両が走行した周囲の画像から抽出したランドマーク特徴を記憶することを「学習」と称している。なお、ランドマーク特徴は、自車両が走行して撮影した画像から抽出したものに限られない。他車が走行して撮影した画像から抽出された例えばクラウド上に存在するランドマーク特徴を、インターネット経由で取得し、ランドマーク記憶部１０に記憶するようにしてもよい。

カメラ２０は、自車両の周囲の対象画像を撮像する。対象画像とは、上記の学習画像と区別する為の呼称である。つまり対象画像は、自車両の周囲の画像である。

カメラ２０は、複数のカメラで構成してもよい（カメラ２０ａ〜２０ｄは図示せず）。例えば、カメラ２０ａは車両の前方に搭載されて車両前方を撮像する。カメラ２０ｂは車両の後方に搭載されて車両後方を撮像する。カメラ２０ｃは車両の左側に搭載されて車両左側を撮像する。カメラ２０ｄは車両の右側に搭載されて車両右側を撮像する。それぞれのカメラは、車両のルーフより下方に設置される。尚、ランドマークの検出に用いる画像は、カメラ２０ａ〜２０ｄのどのカメラで撮像された画像を用いるようにしてもよい。

位置計測センサ３０は、自車両の位置情報を計測する。位置計測センサ３０は、例えばＧＰＳ等の手段を用いて自車両の位置を計測する。位置計測センサ３０は、カメラ２０と連動し、カメラ２０が対象画像を撮像すると撮影位置（位置情報）を計測する。

ジャイロ４０は、自車両の重心の鉛直軸周りのヨーレイト（回転角速度）を検出する。この回転角速度から、自車両の進行方向に対する向き（姿勢）を検出することができる。ジャイロ４０は、上記の撮影角度をリアルタイムで計測する。

ランドマーク特徴配列部５０は、位置計測センサ３０で計測した位置情報から、カメラ２０で撮像した対象画像に含まれる複数のランドマークを特定し、該特定したランドマークのそれぞれについて、対象画像の撮像条件に近い取得条件の順にランドマーク特徴を配列させて配列リストＨＬを生成する（ステップＳ２）。ここで取得条件は、ランドマーク記憶部１０に記憶されたランドマーク特徴の取得条件であり、ランドマーク特徴を抽出した学習画像を撮影した撮影位置、撮影角度、及びカメラパラメータ等の撮像条件を含む。

したがってランドマーク特徴配列部５０は、ランドマーク記憶部１０に記憶されたランドマーク特徴を、対象画像の撮像条件に近い取得条件の順に配列（配列リストＨＬ）することができる。配列リストＨＬについて詳しくは後述する。

ランドマーク検出部６０は、カメラ２０で撮像された対象画像に、ランドマークにそれぞれ対応するテンプレート枠を適合させて再検出ランドマーク特徴を抽出し、抽出した各々の再検出ランドマーク特徴と、配列リストＨＬのランドマーク特徴を、配列リストＨＬの上位から順に照合させてランドマークを検出する（ステップＳ３）。ここで再検出ランドマーク特徴は、対象画像から再びランドマーク特徴を抽出することから「再検出ランドマーク特徴」と称している。

以上述べたように本実施形態に係るランドマーク検出装置１００は、自車両の周囲のランドマークと、該ランドマークの特徴を表す複数のランドマーク特徴を、該ランドマーク特徴を取得した位置を含む取得条件と対応付けて記憶するランドマーク記憶装置１０と、自車両の位置情報を計測する位置計測センサ３０と、自車両の周囲の対象画像を撮像するカメラ２０と、位置情報から対象画像に含まれるランドマークを特定し、該特定した前記ランドマークの撮像条件に近い取得条件の順にランドマーク特徴を配列するランドマーク特徴配列部５０と、特定したランドマークの対象画像より再検出ランドマーク特徴を抽出し、抽出した再検出ランドマーク特徴と、ランドマーク特徴を、配列した順に照合させてランドマークを検出するランドマーク検出部６０とを備える。

また、本実施形態に係るランドマーク検出装置１００が実行するランドマーク検出方法は、自車両の周囲のランドマークと、該ランドマークの特徴を表す複数のランドマーク特徴を、該ランドマーク特徴を取得した位置を含む取得条件と対応付けて記憶し、自車両の位置情報を計測し、自車両の周囲の対象画像を撮像し、位置情報から対象画像に含まれるランドマークを特定し、該特定したランドマークの撮像条件に近い取得条件の順にランドマーク特徴を配列し、特定したランドマークの対象画像より再検出ランドマーク特徴を抽出し、再検出ランドマーク特徴と、ランドマーク特徴を、配列した順に照合させてランドマークを検出する。

これにより、ランドマークを検出する計算負荷を軽減することができる。つまり、本実施形態に係るランドマーク検出装置とその方法によれば、マッチング計算を闇雲に繰り返すのではなく、対象画像の撮像条件に近い順に配列させた配列リストＨＬの上位から順にランドマーク特徴を照合させるので、適切なランドマークを早く検出することができる。つまり、計算コストを低く（計算負荷を軽く）することができる。

（対象画像とランドマーク）
ここで図４と図５を参照して対象画像とランドマークの関係について説明する。図４は、ある交差点の手前からカメラ２０で撮像した対象画像の一例を示す図である。

対象画像は、例えば数百万画素のＣＣＤ（カメラ２０）で撮像した画像である。対象画像の中のＰｉ（ｉは整数）で示す部分がランドマークである。この例では、ビルの角部、信号機、及び道路の境界等がランドマークとされている。ランドマークは、一つの対象画像から数十個が抽出される。図４では、作図の関係で省略しているが、遠方のビルの形状や、ビル群と空の境界線であるスカイラインの一部をランドマークとしてもよい。

図４に示すＰ１は信号機に掲示された交差点名標識、Ｐ２は街灯の支柱、Ｐ３はビルの角部、Ｐ４は中央分離帯の縁石、Ｐ５は歩道の縁石、Ｐ６はビルの角部である。Ｐ７以降の説明は省略する。

図５は、図４に示すランドマークと自車両の位置との関係を模式的に示す図である。図５に示すように対象画像に含まれるランドマークを検出できれば、検出したランドマークから自車両の位置を推定することができる。

ランドマークは、ランドマーク記憶部１０に記憶されたランドマーク特徴と、対象画像から抽出した再検出ランドマーク特徴を照合させて検出する。ランドマーク検出部６０は、ランドマーク特徴と再検出ランドマーク特徴が一致、若しくは近似するランドマークを検出する。

ランドマーク記憶部１０に記憶された複数のランドマークは、位置計測センサ３０で計測した自車両の位置情報を用いて特定する。位置計測センサ３０で計測可能な位置情報は、10m程度の誤差を含むが、対象画像内に存在するランドマークを特定するのに十分な精度である。

＜ランドマーク特徴配列部＞
図６は、ランドマーク特徴配列部５０の処理手順を示すフローチャートである。図６を参照してランドマーク特徴配列部５０を更に詳しく説明する。

ランドマーク特徴配列部５０は、カメラ２０から対象画像を取得する（ステップＳ１０）。対象画像を取得する際、該対象画像を撮像した撮像条件も取得する。撮像条件は、対象画像を撮像した撮影位置、撮影角度、及び撮影時刻等のそれぞれの情報を含む。

対象画像を取得する処理は、例えば1/15秒ごとにカメラ２０が対象画像を撮像する時間の単位（１フレーム）で行われる。ランドマーク特徴配列部５０は、対象画像を撮像する時間に同期させて、位置計測センサ３０から位置情報、ジャイロ４０から姿勢情報を取得する（ステップＳ１０）。

ランドマーク特徴配列部５０は、対象画像を取得すると対象画像に含まれるランドマーク特徴を識別する変数であるｉとｊをそれぞれ1に初期化する（ステップＳ１１）。そして、
該位置情報と姿勢情報から対象画像に含まれると推定されるランドマークＰｉを特定する（ステップＳ１２）。ランドマーク特徴配列部５０は、ランドマークＰｉを１個（ｉ＝1）ずつ特定する。

なお、ランドマークＰｉの特定に姿勢情報を用いなくても構わない。位置情報に、姿勢情報を含めても良い。つまり姿勢情報は、位置情報の変化（位置情報ベクトル）に代えても良い。

ランドマーク特徴配列部５０は、特定したランドマークＰｉの特徴を表す複数のランドマーク特徴の中から１つを読み出す（ステップＳ１３）。そして、読み出したランドマーク特徴のスコアを算出する（ステップＳ１４）。スコアは、ランドマーク特徴の確からしさを表す値である。

図７は、スコア算出（ステップＳ１４）のより詳細な処理手順を示すフローチャートである。スコア算出では、例えば撮影位置スコアを最初に算出する（ステップＳ１４０）。

撮影位置スコアは、対象画像を撮像した撮像位置と、ランドマーク特徴を抽出した学習画像の撮像位置とが近いものが大きなスコア値となる。例えば、対象画像の撮像位置と学習画像の撮像位置との差が1m以内であれば、スコア10を付与し、その差が2m以内であればスコア5を付与し、その差が3m以内であればスコア2を付与するといった具合である。

次に撮影角度スコアを算出する（ステップＳ１４１）。撮影角度スコアは、対象画像を撮像した撮像角度と、ランドマーク特徴を抽出した学習画像の撮像角度とが近いものが大きなスコア値となる。例えば、対象画像の撮像角度と学習画像の撮像角度との差が±5°以内であれば、スコア10を付与し、その差が±10°以内であればスコア5を付与し、その差が±10°以上であればスコア2を付与する。

次に撮影時刻スコアを算出する（ステップＳ１４３）。撮影時刻スコアは、対象画像を撮像した撮像時刻と、ランドマーク特徴を抽出した学習画像の撮像時刻とが近いものが大きなスコア値となる。例えば、対象画像の撮像時刻と学習画像の撮像時刻との差が昼間の+1時間以内であれば、スコア10を付与し、その差が昼間の+3時間以内であればスコア5を付与し、その差が+3時間以上であればスコア2を付与する。また、夜間、薄暮、明け方の時間帯で一致すれば、例えばスコア5を付与する。

各スコアを算出した後に合計スコアを算出する（ステップＳ１４３）。合計スコアは、対象画像の撮像条件と学習画像の取得条件（撮像条件）が近い程大きな値となる。つまり、ランドマーク特徴のスコアが大きいほど、そのランドマーク特徴は対応するランドマークを表す特徴量として適切であることを意味する。

ランドマーク記憶部１０から読み出したランドマーク特徴のスコアを算出した後、算出したスコアが所定値以上であるか否かを判定する（ステップＳ１５）。所定値以上であれば、そのランドマーク特徴に、インデックス（ｉｊ）を付与して一時記憶する（ステップＳ１６）。
所定値未満であれば、そのランドマーク特徴はランドマークＰｉの検出から除外する（ステップＳ１７）。

次に、ステップＳ１２で１個ずつ特定したランドマークに対応するランドマーク特徴がｊ個になったか否かを判定する（ステップＳ１８）。例えば、ランドマーク特徴が５個未満の場合（ステップＳ１７のＮＯ）は、変数ｊをインクリメントしてランドマークｉに対応する他のランドマーク特徴を読み出す処理（ステップＳ１３）に戻り、ランドマークｉに対応するランドマーク特徴が5個になるまで、ステップＳ１３〜Ｓ１８の処理を繰り返す。

ランドマークｉに対応するランドマーク特徴が、例えば5個になった場合（ステップＳ
１８のＹＥＳ）はランドマークＰｉが所定数になったか否かを判定する（ステップＳ２０）。ランドマークＰｉの数が例えば10個未満の場合は、変数ｉをインクリメント（ステップＳ２１）して対象画像から他のランドマークＰｉを特定する処理に戻る（ステップＳ１２）。ステップＳ１２〜ステップＳ２０の処理は、例えば、ランドマーク特徴Ｐｉｊを特定するインデックスｉｊが、ｉ＝10，ｊ＝5になるまで繰り返される。

そして、ランドマークＰｉ毎に、スコアの大きい順にランドマーク特徴Ｐｉｊを配列させて配列リストＨＬを生成する（ステップＳ２２）。配列リストＨＬは、ランドマークＰｉに対応させて、スコアの大きい順にランドマーク特徴Ｐｉｊを並べたものである。上記の例の場合の配列リストＨＬは、10行×5列のリストである。

図８は、配列リストＨＬの例を模式的に示す図である。図８の1行は、１個のランドマークＰｉと、そのランドマークＰｉに対応するスコアの大きい順に配列されたランドマーク特徴Ｐｉｊとで構成される。

図９は、ランドマーク記憶部１０に記憶されたランドマーク特徴の例を模式的に示す図である。図９に示すように、ランドマーク記憶部１０には、複数のランドマークＰｉのそれぞれに対応付けて複数のランドマーク特徴が記憶される。なお、図９では表記を省略しているが、各ランドマーク特徴には、それぞれのランドマーク特徴が抽出された学習画像の取得条件が対応付けられている。

例えば、図４に示した対象画像中のランドマークＰ1は、ランドマーク記憶部１０に記憶されたランドマークαに対応すると仮定する。そして、ランドマーク記憶部１０に記憶されたランドマークαに対応するランドマーク特徴は、例えばランドマークαに対する位置が近い順、ＰαＡ（5m）、ＰαＢ（10m）、ＰαＣ（15m）、ＰαＤ（20m）、ＰαＥ（30m）、…、に並んで記憶されているとする。（・m）は取得条件である。

カメラ２０が、例えば対象画像をランドマークαの手前30ｍで撮像したとする。その場合の配列リストＨＬのランドマークＰ１に対応するランドマーク特徴は、ランドマーク特徴が抽出された学習画像の取得条件（撮像条件）に最も近くスコアの大きいランドマーク特徴ＰαＥが最上位に配列される。以降、撮像位置から遠くなる例えばＰαＤ、ＰαＣ、ＰαＢ、ＰαＡの順に配列される。

なお、撮像位置が近くても他の撮像角度等の撮像条件のかい離が大きい場合、ランドマーク特徴のスコアは小さくなる。よって、配列リストＨＬは、撮像位置が近い順にランドマーク特徴が配列されたものに成るとは限らない。

このように配列リストＨＬは、ランドマークＰｉに対応するランドマーク特徴がスコアの大きいものの順に配列されたリストである。つまり、配列リストＨＬは、ランドマークＰｉに対応するランドマーク特徴Ｐｉｊを、確からしいものから順に配列したものである。

配列リストＨＬによって、対象画像の撮像条件に近い取得条件の順で、ランドマーク特徴と、対象画像から抽出した特徴量（再検出ランドマーク特徴）を照合できる。その結果、自車両の位置を推定するのに適したランドマークを早く検出することが可能になる。

＜ランドマーク検出部＞
図１０は、ランドマーク検出部６０の処理手順を示すフローチャートである。図１０を参照してランドマーク検出部６０を更に詳しく説明する。

ランドマーク検出部６０は、カメラ２０から対象画像を取得すると動作を開始する（ステップＳ３０）。ランドマーク検出部６０は、ランドマーク特徴配列部５０と同様にカメラ２０が対象画像を撮像する時間の単位（１フレーム）でランドマークを検出する。

ランドマーク検出部６０が対象画像を取得すると、対象画像に含まれるランドマーク特徴を識別する変数であるｉとｊをそれぞれ1に初期化する（ステップＳ３１）。その後、ランドマーク特徴配列部５０は、上記の処理を行って配列リストＨＬを出力する。

ランドマーク検出部６０は、ランドマーク特徴配列部５０が出力した配列リストＨＬを参照し、例えばランドマークＰ1に対応するテンプレート枠を、取得した対象画像に適合させて再検出ランドマーク特徴を抽出する（ステップＳ３２）。テンプレート枠は、画素の明度・輝度の差分を求め、差分の少ない対象画像の範囲に適合させる。

図１１は、対象画像ＴＧを例えば15×15画素の画像とし、テンプレート枠ＴＰの大きさを例えば5×5の画素の範囲と仮定した図である。対象画像ＴＧの中心のアルファベット「Ａ」は、例えば建物に相当する。その建物にテンプレート枠ＴＰが適合され、その部分の5×5の画素の範囲が再検出ランドマーク特徴ＳＰｉｊとなる。また、図中のＧＰは、学習テンプレート枠である。学習テンプレート枠は、ランドマーク記憶部１０に記憶されたランドマーク特徴（例えばＰαＡ（図８））を抽出した学習画像に適合させたテンプレート枠である。この例では、学習テンプレート枠ＧＰとテンプレート枠ＴＰは、同じ大きさにしている。

ランドマーク検出部６０は、配列リストＨＬのランドマークＰ１に対応付けられた最上位のランドマーク特徴Ｐ１１と再検出ランドマーク特徴ＳＰｉｊの輝度分散を求め、両者の類似度を算出する（ステップＳ３３）。

図１２は、対象画像ＴＧとテンプレート枠ＴＰと輝度分散の関係を模式的に示す図である。歩道を含む道路の対象画像の中央付近の白線部分に、テンプレート枠ＴＰを適合させて、白線部分の輝度が高く、白線から離れるにしたがって輝度が低下する輝度分散を表す輝度ヒストグラムが抽出されている。

輝度分散は、テンプレート枠ＴＧの全ての画素の輝度分散、つまりｘｙ平面の輝度分散であっても良い。又はｘ軸方向、又はｙ軸方向の一軸方向の輝度分散であっても良い。

図１１に示すテンプレート枠ＴＰの範囲内の対象画像の輝度分散は、例えば画素ｘ_６ｙ_８＝消灯、ｘ_７ｙ_８＝点灯、ｘ_８ｙ_８＝点灯、ｘ_９ｙ_８＝点灯、ｘ_１０ｙ_８＝消灯である。また、例えばｘ_８ｙ_６＝消灯、ｘ_８ｙ_７＝消灯、ｘ_８ｙ_８＝点灯、ｘ_１０ｙ_８＝消灯、ｘ_１１ｙ_８＝点灯である。また、画素のR，G，Bのそれぞれの画素値（0〜255）の分散を求めても良い。

テンプレート枠ＴＰの範囲内の対象画像の輝度分散と、ランドマーク特徴（学習テンプレート枠ＧＰ内の学習画像）の輝度分散の類似度を求め、その類似度を評価することでランドマークを検出することができる。つまり、学習テンプレート枠ＧＰとテンプレート枠ＴＰの輝度分散が似ているかどうかのテンプレートマッチング（正規化相関）を行う。

ランドマーク検出部６０は、再検出ランドマーク特徴ＳＰｉｊの輝度分散と、ランドマーク特徴Ｐｉｊの輝度分散の類似度が閾値１以上であれば、類似度を求めたランドマーク特徴Ｐｉｊに対応するランドマークＰｉを検出する。検出したランドマークＰｉは、位置推定部（図示せず）に出力される（ステップＳ３６）。

類似度が閾値１未満の場合、次に閾値２と比較する。閾値２は閾値１より小さい（閾値１＞閾値２）値であり、ランドマーク検出部６０は準最適解を選択するように動作する。類似度が閾値２以上であれば、類似度を求めたランドマーク特徴Ｐｉｊに対応するランドマークＰｉを検出する（ステップＳ３７）。

類似度が閾値２未満の場合は、ランドマーク特徴Ｐｉｊを識別する変数ｊをインクリメントさせる（ステップＳ３８）。ここでは、Ｐ１１→Ｐ１２にインクリメントされる。ｊがｎ未満であれば、次に、配列リストＨＬのランドマークＰ１の次の順位のランドマーク特徴Ｐ１ｊと、対象画像ＴＧから抽出した再検出ランドマーク特徴ＳＰｉｊが照合される。

つまり、対象画像ＴＧ内のランドマークＰ１に対応する閾値２以上のランドマークが検出されるまで、同じランドマークＰ１に対応する複数のランドマーク特徴Ｐ１ｊの照合が、配列リストＨＬの上位から順に繰り返される（ステップＳ３３〜Ｓ３９）。

対象画像ＴＧ内のランドマークＰ１に対応する最適なランドマークＰ１ｊが検出され（ステップＳ３６）、若しくは準最適なランドマークＰ１ｊが検出されると、対象画像ＴＧから検出したランドマークＰｉが所定数に達したか否かを判定する（ステップＳ４０）。検出したランンドマークＰｉの数が所定数に達していない場合、ランドマークを識別する変数ｉをインクリメントさせる（ステップＳ４１）。

ランドマークを識別するインデックスｉがインクリメントされると、ランドマーク検出部６０は、ランドマーク特徴配列部５０が出力した配列リストＨＬを参照し、ランドマークＰ２に対応するテンプレート枠を、取得した対象画像に適合させて再検出ランドマーク特徴を抽出する（ステップＳ３２）。このようにランドマーク検出部６０は、対象画像ＴＧから例えば10〜20個のランドマークＰｉを検出するまで、ステップＳ３２〜Ｓ４１の処理を繰り返す。

なお、一つのランドマークＰｉに対して抽出するランドマーク特徴Ｐｉｊの数は、ｎ個に固定する必要はない。一つのランドマークＰｉに対して抽出するランドマーク特徴Ｐｉｊの数は、取得条件と撮像条件の近さと該ランドマーク特徴の最大件数に応じて制限しても良い。例えば、取得条件と撮像条件が一致すれば、抽出するランドマーク特徴Ｐｉｊの数は１個でも良い。

以上述べたように本実施形態に係るランドマーク検出方法は、自車両の周囲の複数のランドマークＰｉと、該複数のランドマークＰｉのそれぞれに対して複数の特徴を表す複数のランドマーク特徴Ｐｉｊと、該ランドマーク特徴Ｐｉｊを取得した位置を含む取得条件とを対応付けて記憶し、自車両の位置情報を計測し、自車両の周囲の対象画像を撮像し、位置情報から対象画像ＴＧに含まれるランドマークＰｉを特定し、該特定したランドマークＰｉのそれぞれについて、対象画像ＴＧの撮像条件に近い取得条件の順にランドマーク特徴Ｐｉｊを配列させて配列リストＨＬを生成し、対象画像ＴＧに、ランドマークＰｉにそれぞれに対応するテンプレート枠ＴＰを適合させて再検出ランドマーク特徴を抽出し、抽出した各々の再検出ランドマーク特徴と、配列リストＨＬのランドマーク特徴Ｐｉｊを、配列リストＨＬの上位から順に照合させてランドマークＰｉを検出する。

また、本実施形態に係るランドマーク検出方法は、予め記憶したランドマークに対応するテンプレート枠を用いて、特定したランドマークの対象画像より、再検出ランドマーク特徴を抽出する。これにより、予め定めたテンプレート枠を用いる為、テンプレート枠の数をシステムリソースに合わせて設定することが出来るようになるため、システムリソースの余計な負担の増加を抑制することができる。

これにより、本実施形態に係るランドマーク検出方法は、マッチング計算を闇雲に繰り返すのではなく、対象画像の撮像条件に近い順にランドマーク特徴を照合させるので、適切なランドマークを早く検出することができる。つまり、計算コストを低く（計算負荷を軽く）することができる。

また、本実施形態に係るランドマークの検出は、再検出ランドマーク特徴とランドマーク特徴を照合して両者の類似度を算出し、該類似度が閾値以上の場合、該類似度を照合したランドマーク特徴に対応するランドマークを検出する。そしてその後、他のランドマークの検出を実行する。

これにより、類似度が閾値以上の場合、それ以降の照合を禁止するため、対象画像から抽出した特徴量と照合するランドマーク特徴の数を制限することができる。その結果、ランドマーク検出の計算量を削減することができる。

なお、テンプレート枠ＴＰと学習テンプレート枠ＧＰの大きさは、同じ大きさでなくても良い。テンプレート枠ＴＰの大きさを学習テンプレート枠ＧＰの例えば1.2倍にしても構わない。お互いの形状が相似する関係であれば、類似度を補間して求めることが可能である。

つまり、再検出ランドマーク特徴は、テンプレート枠ＴＰの範囲内の対象画像ＴＧから抽出され、テンプレート枠の形状は、ランドマーク特徴が抽出された学習画像の一部の範囲を限定する学習テンプレート枠ＧＰと相似する。

これにより、自車両の位置を検出するのに適したランドマーク特徴をテンプレートとして用いることができる。その結果、自車両の位置を検出するのに適したランドマーク同士を照合でき、自車両の位置の推定精度を向上させることができる。

また、本実施形態に係るランドマークの検出方法において、対象画像ＴＧを撮像した撮像条件は、対象画像を撮像した撮像位置、撮像角度、及び撮像時刻のそれぞれの情報を含む。

これにより、対象画像ＴＧから抽出した再検出ランドマーク特徴を、撮像条件に近い順にランドマーク記憶部１０に記憶されたランドマーク特徴Ｐｉｊと照合させることができる。その結果、ランドマーク検出の精度を高めることができる。

また、本実施形態に係るランドマークの検出方法において、再検出ランドマーク特徴と前記ランドマーク特徴の照合は、前記再検出ランドマーク特徴と前記ランドマーク特徴のそれぞれの輝度分散を求め、該輝度分散の大きなものを優先させて照合させる。

これにより、コントラストの良い再検出ランドマーク特徴とランドマーク特徴を照合させるので、ランドマーク検出の精度を向上させることができる。また、ランドマーク検出を高速化することができる。

また、本実施形態に係るランドマークの検出方法において、照合する前記ランドマーク特徴の数は、取得条件と撮像条件の近さと該ランドマーク特徴の最大件数に応じて制限してもよい。

これにより、ランドマーク記憶部１０に記憶された全てのランドマーク特徴と、再検出ランドマーク特徴を照合させなくてもよい。これにより、精度の悪いランドマーク特徴を照合の対象外にすることができ、ランドマーク検出の精度の低下を防ぐことができる。また、精度の低いランドマーク特徴と照合させないので、ランドマーク検出の高速化が図れる。

以上、本発明のランドマーク検出方法及びランドマーク検出装置を、図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置き換えることができる。例えば、上記した実施形態は、車両の位置を推定する例について説明したが、自動車に限らず、移動体であれば適用することが可能である。

また、上述したランドマーク特徴は例えば学習画像の一部の画像、再検出ランドマーク特徴は例えば対象画像の一部の画像の例で説明を行ったが、本発明のランドマーク検出方法及びランドマーク検出装置はこの例に限定されない。ランドマーク特徴及び再検出ランドマーク特徴は、一般的な画像認識に用いられる特徴量（例えばSIFT特徴量等）に置き代えても良い。

また、上述した実施形態の各機能部は、１又は複数の処理回路により実装され得る。処理回路は、電気回路を含む処理装置等のプログラムされた処理装置を含む。処理装置は、また、実施形態に記載された機能を実行するようにアレンジされた特定用途向け集積回路（ＡＳＩＣ）や従来形の回路部品のような装置を含んでも良い。

つまり、本発明のランドマーク検出装置は、自車両の周囲の複数のランドマークと、該複数のランドマークのそれぞれに対して複数の特徴を表す複数のランドマーク特徴と、該ランドマーク特徴を取得した位置を含む取得条件とを対応付けて記憶するランドマーク記憶装置１０と、記自車両の位置情報を計測する位置計測センサ３０と、自車両の周囲の対象画像を撮像するカメラ２０と、位置情報から対象画像に含まれるランドマークを特定し、該特定したランドマークのそれぞれについて、対象画像の撮像条件に近い取得条件の順にランドマーク特徴を配列させて配列リストを生成するランドマーク特徴配列回路５０と、対象画像に、ランドマークにそれぞれに対応するテンプレート枠を適合させて再検出ランドマーク特徴を抽出し、抽出した各々の再検出ランドマーク特徴と、配列リストのランドマーク特徴を、配列リストの上位から順に照合させて前記ランドマークを検出するランドマーク検出回路６０とを備える構成にしても良い。

以上、実施形態に沿って本発明の内容を説明したが、本発明はこれらの記載に限定されるものではなく、種々の変形及び改良が可能であることは、当業者には自明である。

１０ ランドマーク記憶部（ランドマーク記憶装置）
２０ カメラ
３０ 位置計測センサ
４０ ジャイロ
５０ ランドマーク特徴配列部（ランドマーク特徴配列回路）
６０ ランドマーク検出部（ランドマーク検出回路）
Ｐｉ ランドマーク
Ｐｉｊ ランドマーク特徴
ＳＰｉｊ 再検出ランドマーク特徴

Claims (10)

1. 自車両の周囲のランドマークと、該ランドマークの特徴を表す複数のランドマーク特徴を、該ランドマーク特徴を取得した位置を含む取得条件と対応付けて記憶し、
   前記自車両の位置情報を計測し、
   前記自車両の周囲の対象画像を撮像し、
   前記位置情報から前記対象画像に含まれるランドマークを特定し、
   該特定したランドマークの撮像条件に近い前記取得条件の順に前記ランドマーク特徴を配列し、
   前記特定したランドマークの前記対象画像より再検出ランドマーク特徴を抽出し、
   前記再検出ランドマーク特徴と、前記ランドマーク特徴を、前記配列した順に照合させてランドマークを検出する
   ことを特徴とするランドマーク検出方法。
2. 請求項１に記載したランドマーク検出方法において、
   予め記憶した前記ランドマークに対応するテンプレート枠を用いて、前記特定したランドマークの前記対象画像より、前記再検出ランドマーク特徴を抽出する
   ことを特徴とするランドマーク検出方法。
3. 請求項１又は２に記載したランドマーク検出方法において、
   前記再検出ランドマーク特徴は、予め記憶した前記ランドマークに対応するテンプレート枠の範囲内の前記対象画像から抽出され、該テンプレート枠の形状は、前記ランドマーク特徴が抽出された学習画像の一部の範囲を限定する学習テンプレート枠と相似する
   ことを特徴とするランドマーク検出方法。
4. 請求項１乃至３の何れか一項に記載したランドマーク検出方法において、
   前記ランドマークの検出は、前記再検出ランドマーク特徴と前記ランドマーク特徴を照合して両者の類似度を算出し、
   該類似度が閾値以上の場合、該類似度を照合したランドマーク特徴に対応するランドマークを検出する
   ことを特徴とするランドマーク検出方法。
5. 請求項１乃至４の何れか一項に記載したランドマーク検出方法において、
   前記取得条件は、前記対象画像を撮像した撮影位置、撮影角度、及び撮影時刻のそれぞれの情報を含む
   ことを特徴とするランドマーク検出方法。
6. 請求項１乃至５の何れか一項に記載したランドマーク検出方法において、
   前記再検出ランドマーク特徴と前記ランドマーク特徴の照合は、前記再検出ランドマーク特徴と前記ランドマーク特徴のそれぞれの輝度分散を求め、該輝度分散の大きなものを優先して照合する
   ことを特徴とするランドマーク検出方法。
7. 請求項１乃至６の何れか一項に記載したランドマーク検出方法において、
   照合する前記ランドマーク特徴の数は、前記取得条件と前記撮像条件の近さに応じて設定する
   ことを特徴とするランドマーク検出方法。
8. 請求項１乃至７の何れか一項に記載したランドマーク検出方法において、
   照合する前記ランドマーク特徴の数は、該ランドマーク特徴の最大件数に応じて制限される
   ことを特徴とするランドマーク検出方法。
9. 請求項１乃至８の何れか一項に記載したランドマーク検出方法において、
   前記ランドマークと、前記ランドマーク特徴を、該ランドマーク特徴を取得した地図上の位置と対応付けて記憶し、
   前記ランドマーク特徴と前記再検出ランドマーク特徴とを照合することにより、前記地図上の自車両の位置を推定する
   ことを特徴とするランドマーク検出方法。
10. 自車両の周囲のランドマークと、該ランドマークの特徴を表す複数のランドマーク特徴と、該ランドマーク特徴を取得した位置を含む取得条件とを対応付けて記憶するランドマーク記憶装置と
    前記自車両の位置情報を計測する位置計測センサと、
    前記自車両の周囲の対象画像を撮像するカメラと、
    前記位置情報から前記対象画像に含まれるランドマークを特定し、該特定したランドマークの撮像条件に近い前記取得条件の順に前記ランドマーク特徴を配列するランドマーク特徴配列回路と、
    前記特定したランドマークの前記対象画像より、再検出ランドマーク特徴を抽出し、抽出した再検出ランドマーク特徴と、前記ランドマーク特徴を、前記配列した順に照合させてランドマークを検出するランドマーク検出回路と
    を備えることを特徴とするランドマーク検出装置。