JP2012185011A - 移動体位置測定装置 - Google Patents

Abstract

【課題】車載カメラを利用した実時間測位の技術に係わり、安価かつ高精度な測位を実現できる技術を提供する。
【解決手段】本移動体位置測定装置の特徴検出部２０は、実画像の領域から、道路領域（Ａ）、路側領域（Ｂ）、及び他領域（Ｃ）を分割により検出し、当該Ａ，Ｂ，Ｃを含む情報を出力する処理を行う領域分割部２１と、実画像の領域から、直線や角点を含む特徴部群を抽出して特徴情報を出力する処理を行う特徴抽出部２２と、実画像における道路領域（Ａ）または路側領域（Ｂ）の少なくとも一方から、測位計算で用いないようにするための不要物に対応する特徴部を検出して除去し、当該除去後の特徴情報を出力する処理を行う不要物除去部２３と、を有する。
【選択図】図８

Description

本発明は、自動車（移動体）の測位技術に関する。特に、車載情報システム、マイコン、カーナビゲーションシステム等において、車載カメラ（その画像・映像）を用いて自動車（移動体）の現在位置を実時間で測位を行う技術に関する。更に、ＧＰＳ等の手段による位置情報、車載カメラの実画像（実時間での走行時の撮影画像）、及び地図ＤＢ（データベース）などを用いて、現在位置の推定・補正などの処理を行う技術に関する。

本発明に係わる自動車の測位技術に関し、背景技術及びその問題点などは以下である。

（従来手法１） 主流の手法としてＧＰＳ＋自律航法がある。ＧＰＳ衛星等から自車現在位置情報（誤差有り）を取得し、そのデータに対し、車載のセンサ（ヨーレイトセンサ、ジャイロセンサ、加速度センサ等）や車速計（車速信号）による自律航法によって補正をかけ、カーナビ等のデジタル地図上でマップマッチング（道路などから外れないように自車位置を補正して表示する等）を行う。しかしながらこの手法では、単独の測位精度は１５メートル、出力頻度は１Ｈｚであり、そして周囲道路ネットワーク状況によって１〜２秒の出力遅延などの問題点が存在する。

（従来手法２） 特開２００５−２６５４９４号公報（特許文献１）の路面マーク比較方式がある。この方式では、路面マーク及び道路標識などをランドマークとし、各ランドマークの絶対位置（３次元空間位置座標）をデータベース（地図ＤＢ）に逐一登録しておく。実時間測位の際には、車載カメラの撮影画像から、車線境界線（白線など）とランドマークを抽出し、地図ＤＢの情報と比較（整合性判定）して、車線位置を確定する（車線領域での自車の位置を推定する）。

（従来手法３） 特開平１０−３００４９３号公報（特許文献２）のレーザースキャン方式がある。この方式では、レーダ装置によって検出された静止物のデータと道路周囲環境記憶装置に記憶された静止物のデータに基づいて、ナビゲーション装置で求めた自車現在位置を修正することにより、自車現在位置の誤差を数１０ｍ程度から１０ｃｍ程度〜数１０ｃｍ程度の誤差にすることができ、精度を向上することができる。

（従来手法４） また、高精度ＲＴＫ（Real Time Kinematic）−ＧＰＳ方式などがある。この方式では、誤差２〜３ｃｍ程度の測位精度が得られるようになった。しかし、従来手法３，４等の方式による測位装置は非常に高価であり、また、例えば高速移動体に関する測位を実時間で実施するには不得意である。

（従来手法５） また、本発明者の提案によるハイブリッド法（特許文献３）もある。この手法では、既存のカーナビションシステムに加え、３次元慣性ジャイロスコープセンサ、車速センサ、及び白線検出結果を統合して正確な車両位置を実時間に推定する。この手法では、実時間の測位速度を達成しているが、平均測位精度は３〜５メートルにとどまっている。

（従来手法６） また、車載カメラを利用した測位の手法として、本発明者の提案による、特開２０１０−１５１６５８号公報（特許文献４）（「移動体位置測定装置」等）がある。この手法では、移動体（自車）に搭載したカメラ（撮像部）の実画像（走行方向の路面や景観）から抽出した特徴部（特徴情報）と、地図ＤＢ（地図情報）に含まれる特徴部（特徴情報）とをマッチング処理することにより、移動体の位置を測定（推定）する。なお、本発明と特許文献４では、大きな枠組みは共通するが、技術的特徴は異なる。

特許文献４では、具体的には、自車の走行方向の路面の白線（車線境界線）などを撮像・認識し、移動体の白線からのオフセット距離を検出して移動体の位置を補正する（例えば複数の車線から適切な車線を選択する）等の処理により、自車位置の精度を高める。また、所定間隔で設けられた交差点などの参照地点において、複数の位置から走路方向を臨んで撮像した画像を、当該地点に関連付けて記憶しておくことができる（３次元画像の不要による処理短縮化）。また、事前に、３次元画像（実画像データ）ではなくその特徴部データ（特徴情報）のみを記憶しておくことで、抽出処理の省略による高速化、及び必要な記憶容量の削減ができる。また、地図情報をもとに複数の車線がある場合など、自車が存在可能な複数の位置を想定し、各々の存在可能位置（車線）から例えば前方の画像の特徴部の情報と、対応する実時間処理で抽出した実画像の特徴部の情報とを比較して差分を演算する（マッチング処理）。

一方、カメラ画像を利用した測位技術に係わり、ＳＦＭ（Structure from Motion）と呼ばれる手法がある。例えば非特許文献１，２に記載されている。ＳＦＭ手法では、カメラを搭載したロボット（移動体）において、カメラで撮像した画像情報のみから、３次元環境の復元と同時にロボットの移動の前後の相対的な位置・姿勢などを推定する。

また、画像から特徴量（特徴部、特徴情報）を抽出する画像解析処理については、例えば非特許文献３などに記載されている。

特開２００５−２６５４９４号公報 （路面マーク比較） 特開平１０−３００４９３号公報 （レーザースキャン） 特開２００８−１７５７８６号公報 （ハイブリッド） 特開２０１０−１５１６５８号公報 （カメラ利用）

C. Tomasi and T. Kanade, "Shape and motion from image streams under orthography-A factorization method," Int. J. Comput. Vision, 9-2, pp. 137-154, Nov. 1992. 金出武雄, コンラッド・ポールマン, 森田俊彦, "因子分解法による物体形状とカメラ運動の復元," 電子情報通信学会論文誌D-II, J74-D-II-8, pp. 1497-1505, Aug. 1993. David G. Lowe, "Distinctive image features from scale-invariant keypoints", International Journal of Computer Vision,60, 2 (2004), pp. 91-110.

課題として、例えば従来手法６（特許文献４）のように車載カメラを利用した測位技術において、安価（高価な装置を使用しないこと）、かつ高精度（少なくとも一般的なＧＰＳ等の手段よりも高精度）な測位を実現したい。

ただ、従来手法６（特許文献４）のような測位技術は、完全な実時間測位を実現する技術ではなく、仮想画像処理（３次元ＣＧ処理）を用いた測位技術である。例えば特許文献４は、３次元ナビ用の仮想景観画像の自動生成機能を用いる技術であり、路上の複数の各々の車両存在可能位置（車線）から各々の仮想景観画像（３次元ＣＧ）を生成・取得し、この仮想景観画像と現時点で撮影した実画像とから、特徴部を抽出する処理を行い、特徴マッチング処理により、最適な位置を決定している（特許文献４の例えば段落[０００４]，[０００６]，[００３２]等）。

しかしながら、上記仮想画像処理を用いた測位技術では、例えば３次元ＣＧナビ用の都市地図ＤＢの製作と維持に大きなコストがかかる。また、地図ＤＢに収録するすべての道路には適応できないし、新築など道路景観が変わる際にも、柔軟に対応することはできない。

よって、課題として、上記仮想画像処理を用いない（または必要としない／削減できる）実時間測位を実現し、地図ＤＢの製作と維持を効率化・低コスト化したい。また、地図ＤＢに収録する多くの道路等に適応でき、道路景観の変化にも柔軟に対応できるようにしたい。

仮想画像処理無しの実時間測位を行う場合、カメラの実画像（道路景観）から抽出する特徴部（特徴情報）に関して、測位計算で有効になるように、適切な抽出及び判定などが必要になってくる。しかし、測位時（撮像時）の道路周囲状況・時間経過などの要因によって、実画像の内容（景観）が大きく変化するため、上記適切な抽出及び判定などが難しくなるという問題点がある。上記要因は、例えば、走行時の時期（季節）・天候・照明条件や、道路混雑状況（車両、歩行者などを含む）や、建築環境（道路、路側の建物、樹木、看板などを含む）の変動などが挙げられる。例えば景観（実画像）内に含まれている車や木などに相当する特徴部を検出して測位計算で用いてしまうと、処理速度や測位精度が下がってしまう。

以上のように、本発明の主な目的は、車載カメラを利用した実時間測位の技術に係わり、安価かつ高精度な測位を実現できる技術を提供することであり、特に、仮想画像処理を用いない実時間測位を実現し、地図ＤＢの製作・維持を効率化・低コスト化できること、及び、測位時（撮像時）の道路周囲状況などの要因・変動に対しても適応できる、ロバストな特徴検出等の手法を含む測位技術を提供することである。

上記目的を達成するため、本発明の代表的な形態は、自動車などの移動体及びそれに搭載される情報システム等に係わる移動体位置測定装置などであって、以下に示す構成を有することを特徴とする。

本装置は、移動体の位置を測定ないし推定する移動体位置測定装置であって、（ａ）移動体の走行時に実時間でＧＰＳ等の手段を用いて移動体の現在の概略の位置と方位を第１の位置情報として検出する位置検出部と、（ｂ）前記移動体に搭載され移動体の走行時に実時間で移動体の周囲の少なくとも１つの第１の方向（例えば前方）を撮影して第１の画像（実画像群）を得る１つ以上の撮像部（カメラ）と、（ｃ）前記第１の画像として、地図上の参照地点（ＲＰ）の付近で撮影された複数の実画像の中から、直線や角点（特徴点）を含む特徴部を抽出して第１の特徴情報とする第１の特徴抽出部と、（ｄ）地図上の所定の参照地点の付近の第２の画像（実画像群）の中から、直線や角点を含む特徴部を抽出して第２の特徴情報とし、当該第２の特徴情報を含むデータが事前に登録された地図データベースと、（ｅ）前記移動体の走行時に、前記第１の位置情報をもとに、前記地図データベースから、前記参照地点の付近の該当する第２の特徴情報を読み出して取得する第２の特徴抽出部と、（ｆ）前記第１の特徴情報と前記第２の特徴情報とを入力してそれぞれの特徴部を比較してマッチングすることにより、前記参照地点の付近の複数の特徴部の位置を推定し、当該複数の特徴部の位置をもとに、ＳＦＭ手法を用いて、移動に伴う各時点の前記移動体の位置と上記複数の各特徴部の位置との相対的な位置関係を演算することにより、前記移動体の現在の位置を推定して第２の位置情報として出力する、特徴マッチング部と、（ｇ）前記第１の位置情報に対して前記第２の位置情報を用いて補正することにより、前記移動体の現在の位置を第３の位置情報として出力する位置補正部と、を有する。

更に、本装置は、前記特徴抽出処理に係わり、ロバストな特徴検出部を有する。本特徴検出部は、カメラ撮像による実画像データを入力し、領域分割部と、特徴抽出部と、不要物除去部とで処理を行い、結果、特徴情報を出力する。領域分割部は、道路領域検出部と、路側領域検出部と、を含む。不要物除去部は、道路不要物除去部と、路側不要物除去部と、を含む。

道路領域検出部は、入力の実画像の領域から、道路領域（Ａ）を検出する。例えば、道路領域検出部は、実画像の領域から白線などの路面マークを検出し、検出した路面マークの形状に基づき、車線を含む道路領域（Ａ）を推測し確定する。路側領域検出部は、入力の実画像の領域から、路側領域（Ｂ）を検出する。例えば、路側領域検出部は、実画像の領域から、道路領域検出部で検出した道路領域（Ａ）の形状に基づき、路側領域（Ｂ）を推測し確定する。領域分割部は、上記実画像の領域における道路領域（Ａ）、路側領域（Ｂ）、及び他の領域（Ｃ）の情報を出力する。

特徴抽出部は、画像解析処理により、実画像における各領域（道路領域（Ａ）、路側領域（Ｂ）、他領域（Ｃ））から、特徴部群（角点、線分、色領域などの特徴部）を抽出する。

道路不要物除去部は、実画像の道路領域（Ａ）に対し、密集横線領域（複数の横線が高密度で集まっている領域）を検出し、検出した領域に対応する特徴部群を削除する。路側不要物除去部は、実画像の路側領域（Ｂ）に対し、密集角点領域（複数の角点が高密度でで集まっている領域）を検出し、検出した領域に対応する特徴部群を削除する。不要物除去部は、上記除去（削除）後の特徴情報（特徴部群の情報）を出力する。

本発明の代表的な形態によれば、車載カメラを利用した実時間測位の技術に係わり、安価かつ高精度な測位を実現できる。特に、仮想画像処理を用いない実時間測位を実現し、地図ＤＢの製作・維持を効率化・低コスト化でき、測位時（撮像時）の道路周囲状況などの要因・変動に対しても適応できる、ロバストな特徴検出等の手法を含む測位技術を提供できる。

本発明の一実施の形態のシステム（移動体位置測定装置）である自動車及び車載情報システムの構成例を示す図である。 ある時・位置における地図上のＲＰ付近の特徴部などの例を模式的に示す図である。 ある時・位置で撮像した実画像における特徴点などの例を示す図である。 移動前後の時・位置の実画像の間における自車位置と特徴点位置との相対関係の例を示す図である。 事前登録処理の詳しい処理例を示す図である。 実時間測位処理の詳しい処理例を示す図である。 ＳＦＭ手法を用いた位置推定等について概略的に示す図である。 詳細な実施の形態として、ロバストな特徴検出手法を実装した特徴検出部の構成例を示す図である。 道路上の各領域や物の例を示す図である。 実画像における領域分割・不要物除去の前の例を示す図である。 実画像における領域分割・不要物除去の後の例を示す図である。 実画像における限定処理の例を示す図である。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一符号を付し、その繰り返しの説明は省略する。略称として、ＲＰ：参照地点（Reference Point）、等とする。説明上の記号として、Ｔ：時点、Ｋ：自車位置（≒カメラ撮像位置）、Ｇ：画像・実画像、Ｐ：特徴点（及び特徴点位置）、等とする。

本実施の形態の主な特徴として、移動体（自動車）の実時間測位の際、ＳＦＭ手法を利用した特徴マッチング処理などを行い（図１、図５，図６等）、特に、道路景観の変動に適応できるロバストな特徴検出手法（図８等）を有する。これにより自車現在位置を安価かつ高精度で推定する。特に、図８のように、道路景観（実画像）から、道路や路側を含む各種領域を検出して、測位に悪影響な不要物（対応する特徴部）を除去する処理機能を有する。

［システム］
図１において、本発明の一実施の形態のシステム（移動体位置測定装置）である自動車及び車載情報システム１００の構成例を示している。自動車及び車載情報システム１００は、実時間測位部１、制御部２、センサ類３、カメラ（撮像部）４、地図ＤＢ（データベース）５、等を備える。制御部２は、例えばＣＰＵ，ＲＯＭ，ＲＡＭ等を含んで成り、回路やプログラムの処理により、システム全体の制御、及び実時間測位部１を含む処理機能を実現する。

なお本自動車（１００）はユーザが利用するが、後述する計測車両の場合は、実時間測位部１に対応した事前登録処理部などを備え、地図ＤＢ５への事前登録（ａ２）の処理（ｄ２登録処理を含む）を行う。またユーザの自動車（１００）に事前登録処理部を搭載する形態（地図ＤＢ５内容（ｄ２）を随時更新する形態）も可能である。

センサ類３は、ＧＰＳユニット３１、ジャイロセンサ３２、走行センサ３３、等の公知の要素である（他の手段を有してもよい）。ＧＰＳユニット３１により、複数のＧＰＳ衛星からの搬送波（例えば１回／１秒）を受信し、到達時間差などから緯度・経度による位置を検出する。ジャイロセンサ３２は、自車の角速度変化から、自車の方位角（向き）を検出する。走行センサ３３（車速計など）は、自車の走行の距離や速度を検出する。

カメラ４は、１台の自動車（１００）に対して１つ以上が搭載される。カメラ４の搭載の位置や向き、及び詳細な機能などは各種の形態が可能である。例えば図３のように、自動車（１００）の前方の路面や景観を含むフレームを撮像する位置・向きで搭載される。実時間測位の際、カメラ４は、自車の移動に伴い、走行方向（カメラ４の向きに対応）の道路や景観等を撮像し、それによる複数の実画像のフレームを得る。その実画像データは適宜記憶手段に一時記憶してもよい。カメラ４は、例えばリアビューカメラやドライブ・レコーダー用カメラなど、安価な単眼カメラが適用可能である。

１台の自動車に対して２つ以上（複数）のカメラ４を搭載する場合は、それら複数のカメラ４で同時に撮像した複数の実画像を特徴抽出処理（画像解析処理）などで用いる。これにより、コストが増える代わりに測位精度を高めることができる。上記複数の実画像については、例えば、同じ撮像位置（カメラ位置）から複数の方向の景観を撮像する形、あるいは、複数の撮像位置（カメラ位置）から同じ対象を撮像する形、などが可能である。

地図ＤＢ５は、地図情報（ｄ０）、ＲＰ情報（ｄ１）、第２の特徴情報（ｄ２）、等のデータを格納する。地図ＤＢ５は、図示しない記憶手段（例えばＨＤＤ，ＤＶＤ等）や通信ネットワーク上のサービス（地図ＤＢ５内容を自動更新する）等により実現される。地図ＤＢ５への事前登録（ａ２）の処理では、所定のＲＰ付近での実画像から特徴部を抽出し、ＲＰ情報（ｄ１）、第２の特徴情報（ｄ２）、等として関連付けて登録する。所定のＲＰとして少なくとも道路の交差点を含む。

地図情報（ｄ０）は、公知の道路情報・景観情報、等を含み、本例ではカーナビ６のデジタル地図で使用されるデータを想定している。また、本発明に係わる要素として、地図情報（ｄ０）には、特に、所定のＲＰに関する情報（ｄ１）を含み、ＲＰ情報（ｄ１）は、当該ＲＰに関連付けられる第２の特徴情報（ｄ２）を含む。

ＲＰ情報（ｄ１）は、地図上における、実時間測位の際の参照対象とする交差点などのＲＰやランドマーク等に関する情報であり、当該ＲＰ等に関する識別情報や属性情報、３次元空間（地図）内の位置座標（３次元座標｛Ｘ，Ｙ，Ｚ｝または対応する緯度・経度などの所定の形式の情報）などの情報を有する。

第２の特徴情報（ｄ２）は、ＲＰ情報（ｄ１）で識別されるＲＰの付近の景観（実画像）内に含まれる標識や建物などのランドマーク等に関して、事前登録（ａ２）の際の処理で抽出された特徴部（特徴点（Ｐ）など）に関する特徴量や位置座標（画像内の２次元座標{ｘ，ｙ}及び対応する３次元座標｛Ｘ，Ｙ，Ｚ｝）などの情報を含む。

カーナビ６は、実時間測位部１による自車現在位置の情報を利用・出力するカーナビゲーションシステムやディスプレイ等である。カーナビ６は、地図ＤＢ５のデータ、及び第３の位置情報（Ｌ３）等を用いて、ナビゲーション用の地図等のデータを随時に生成し、画面表示処理などを行う。また前述のように、車両制御のためのマイコンやＥＣＵへ車両現在位置と方位角の情報などを転送する形態としてもよい。

［実時間測位部、処理概要］
図１を用いて、本実施の形態（自動車及び車載情報システム１００）における実時間測位部１の構成、及びその実時間測位などの際の処理概要を以下（０）〜（５）等で説明する。実時間測位部１は、制御部２により、センサ類３、カメラ４、地図ＤＢ５、カーナビ６等と連携して、実時間測位に係わる処理を行う。実時間測位部１は、位置検出部１０、第１の特徴抽出部１１、第２の特徴抽出部１２、特徴マッチング部１３、位置補正部１４、等を備える。その他必要に応じて、画像データ記憶部、マップマッチング部、等の公知の要素を備えてもよい。なおユーザが一般車両で本システムを利用する際の各部の処理については基本的に実時間（リアルタイム）での処理であり、地図ＤＢ５のデータ｛ｄ０，ｄ１，ｄ２｝については、事前登録（ａ２）による処理（例えば本システム提供者、計測車両による処理）である。

（０） 位置検出部１０は、随時、実時間でのＧＰＳユニット３１等を含むセンサ類３からの検出情報（ｂ０）を入力し、そのデータを用いて自車の概略の現在位置と方位角など（一般的なＧＰＳによる測位誤差を持つ概略の第１の位置）を検出し、この検出情報を第１の位置情報（Ｌ１）とする。例えば図２に状況を示す。

（１） 第１の特徴抽出部１１は、実時間（ａ１）での入力によるカメラ４で撮像した実画像（カメラ４毎の時間軸上の複数の各々の画像フレーム）のデータ（ｂ１）を入力し、その実画像（例えば図３）の中から、自車周囲環境の道路を含む景観に関する特徴部を抽出する処理を行い、第１の特徴情報（ｃ１）として出力する。特徴部及び第１の特徴情報（ｃ１）は、上記実画像（２次元景観画像）に含まれる角点（特徴点（Ｐ））の座標（｛ｘ，ｙ｝）、及び、その角点の形状・色・明度変化などの特徴を表す特徴量（例えばＳＩＦＴ特徴量；例えば非特許文献３を参照）など、所定の画像解析処理などにより抽出できる各種の情報を含む（後述、図３等）。実時間測位は、少なくとも、交差点などのＲＰの近く（手前など）の位置から開始される。第１の特徴抽出部１１は、第１の位置情報（Ｌ１）に従って、視野範囲内にあるＲＰの近くの位置から、上記特徴抽出処理（時間軸上の複数の実画像フレームの処理）を行う。

（２） 第２の特徴抽出部１２は、上記第１の特徴抽出部１１の動作に並行して、自車の移動に伴う第１の位置情報（Ｌ１）をもとに、事前登録（ａ２）による各データ（ｄ０，ｄ１，ｄ２）が登録済みの地図ＤＢ５から、自車の第１の位置の付近の地図情報（ｄ０）、ＲＰ情報（ｄ１）、及び第２の特徴情報（ｄ２）を逐次に取得する。第２の特徴抽出部１２は、地図ＤＢ５からデータ（ｂ２）を読み出して入力する形で、該当ＲＰ付近の景観（実画像）の中から特徴部を抽出し、第１の特徴情報（ｃ１）に対するマッチングの対象（参照元）とするための第２の特徴情報（ｃ２）として出力する。上記データ（ｂ２）は、該当ＲＰ付近の特徴部の情報にあたる第２の特徴情報（ｄ２）を含む。地図ＤＢ５内に、対応する第２の特徴情報（ｄ２）が事前登録（ａ２）済みの場合は、単にそのデータを読み出して取得すればよい。第２の特徴情報（ｃ２）は、第１の特徴情報（ｃ１）と同様の形式であり、特徴点などについての特徴量や位置座標などの情報を含む。

上記（１），（２）における実時間（ａ１）及び事前登録（ａ２）の際のそれぞれの特徴抽出処理では、地図上のＲＰ（例えば図２の交差点など）付近の道路や景観を対象とした画像の中から、ランドマーク等（路面の白線、標識、建物など）に関する特徴部（特徴点など）を抽出する画像解析処理を行う（後述、図５，図６）。

（３） 特徴マッチング部１３は、第１の特徴情報（ｃ１）と第２の特徴情報（ｃ２）とを入力し、ＳＦＭ手法を用いた特徴マッチング処理を行うことにより、逐次で自車現在位置を推定し、この結果（推定の自車現在位置）を、第２の位置情報（Ｌ２）として出力する。自車の移動に伴う複数の時点（Ｔ）・位置（Ｋ）の複数の実画像（Ｇ）のフレーム中における複数の各々の特徴部（特徴点（Ｐ）など）との相対的な位置関係（相対的な自車の位置・方位）を、ＳＦＭ手法を用いて演算することにより、自車現在位置（Ｋ）を推定する（後述、図４等）。

（４） 位置補正部１４は、第１の位置情報（Ｌ１）と第２の位置情報（Ｌ２）とを入力し、Ｌ１に対してＬ２を用いて自車現在位置を補正し、その結果を第３の位置情報（Ｌ３）として出力する。Ｌ３は、車両現在位置と方位角の情報を含む。

なお、位置補正部１４を設けずに、第２の位置情報（Ｌ２）を最終結果の位置情報として出力する形態としてもよい。少なくともＬ２はＬ１よりも高精度な値が得られる。ＲＰ付近以外の場所では、位置補正部１４による補正を行うことが好適である。

またマップマッチング処理などを行う場合は、例えば、第１の位置情報（Ｌ１）等をもとに、地図内の道路から自車が外れないように補正する。例えばＬ１とその付近の地図情報（ｄ０）から、自車の存在可能位置を選択する。また、Ｌ１をもとに、道路の車線数や車線幅、路面上のマークや標識・信号といった地図情報（ｄ０）を取得して、自車の存在可能位置などを把握してもよい。

（５） 自動車及び車載情報システム１００では、上記第３の位置情報（Ｌ３）を用いて処理を行う。例えばカーナビ６で、Ｌ３等を用いて自車現在位置を表示する。また、車両制御のためのマイコンやＥＣＵへ上記Ｌ３による車両現在位置と方位角の情報を転送して利用する形態などとしてもよい。

［事前登録処理］
地図ＤＢ５への事前登録（ａ２）の際の処理は、例えば、計測車両（カメラ及び事前登録処理部などを備える）で行われる。事前登録処理部は、第１の特徴抽出部１１等と同様の処理部を含む構成である。計測車両により実際に対象の道路を走行して、対象のＲＰ付近の景観を撮像する。その実画像データを一旦記憶し、その実画像データから、第１の特徴抽出部１１での処理と同様に、特徴部を抽出する処理を行い、この結果を第２の特徴情報（ｄ２）とし、地図ＤＢ５内にＲＰ情報（ｄ１）に関連付けて登録する。この処理は、実時間測位の際の第１の特徴抽出部１１での処理内容と概略的には共通である。なおこの処理では、実時間測位の際とは異なり、すべてを実時間で処理する必要は無い。例えば予め収集・蓄積した実画像データを対象としてまとめて特徴抽出処理を実行する形態などとしてもよい。

［ＲＰ、ランドマーク］
図２において、地図、道路、ＲＰ、ランドマーク、特徴点（Ｐ）、等の例を、２次元平面によって模式的に示す（なお説明用であってカーナビ６で表示する地図とは異なる）。自車２００、交差点２０１、道路２０２、道路／車線２０３、白線（車線境界線）２０４、建物２０５、路側２０６、等の例を示す。Ｋは、自車２００の現在位置を示し、３次元座標｛Ｘ，Ｙ，Ｚ｝及び方位角（矢印）などによって表現される。

ＲＰは、測位に役立つ景観特徴を持つ測位参考点であり、２０１のような道路交差点や、分岐・合流部、そしてランドマーク地点などを指している。ＲＰとしては、現実（地図）に存在するうちの主なもの（測位に役立つもの）がＲＰ情報（ｄ１）として事前登録（ａ２）される。ＲＰは、交差点２０１に限らず、例えば所定間隔での複数の地点や、ランドマークとなる建物２０５などを対象としてもよい。またＲＰの３次元位置情報は、地図ＤＢ５を構築する際（ａ２）に計測車両によって計算されてＲＰ情報（ｄ１）に登録される。なおこのＲＰの３次元位置情報の計算過程については別に記述される（図５の事前登録処理にて記述されている）。また本実施の形態では登録しないが、事前に撮像されるＲＰ付近の実画像データを関連付けて登録してもよい。

図２では、交差点２０１（ＲＰ）付近の道路２０２・車線２０３において、自車２００が当該ＲＰに進入しようとしている時の自車２００の現在位置（Ｋ）を示している。ある時点（Ｔ）の位置（Ｋ）の情報として、事前に地図に登録されたＲＰの３次元位置座標（｛Ｘ，Ｙ，Ｚ｝）と方位角、そして当該位置データの誤差範囲（後述の推定精度）、等の情報を有する。なお座標だけでなく方位角も含めて位置情報と略称している。丸印は、実画像よりランドマーク等に関して抽出される特徴部の例として特徴点（Ｐ）を示し、例えば、自車２００の進行方向の路面の白線２０４の角点や、進行方向の両側の建物２０５の角などを示している。破線は、自車２００の現在位置（Ｋ）（≒カメラ４の撮像位置）と、複数の各々の特徴点（Ｐ）との間の距離（相対的な位置関係）を示している。なお特徴点（Ｐ）の位置は、図２では地図上の座標（｛Ｘ，Ｙ，Ｚ｝）で示しているが、対応する実画像内の画素の座標（｛ｘ，ｙ｝）の情報などを有する。

［実画像、特徴抽出処理］
図３は、ある時点（Ｔ）及び位置（Ｋ）におけるカメラ４で撮像した実画像（Ｇ）の例を模式的に示している。交差点（ＲＰ）の手前から前方を撮像した場合である。丸印は特徴点（Ｐ）の例である。わかりやすくするため他車の存在などは省略している。３０１は道路領域（走行車線領域）、３０２は白線（白線領域）を示す。各特徴点（Ｐ）は、実画像内の画素の位置座標情報（｛ｘ，ｙ｝）などを有する。

地図ＤＢ５に第２の特徴情報（ｄ２）を事前登録するための実画像（特徴部を抽出する対象）は、例えば図３のように、ＲＰの手前などから走行方向・ＲＰを臨んで撮像した画像とする。図２の交差点２０１の場合であれば、当該ＲＰに進入する４方向からの各画像を用いる。

特徴点（Ｐ）などを抽出するための特徴抽出処理では、基本的には公知の各種の技術（画像解析処理）を適用可能である。画像解析処理では、例えば、実画像を構成する画素の明度・輝度などの差分値を演算することで、路面の白線（２０４，３０２）や建物（２０５）の輪郭などに対応する線分や角点などの形状・色・明度変化などを表す特徴量を抽出することができる。なお、抽出する特徴部としては、適用する処理手法などに応じて、線分や角点などに限らず、所定の図形（円弧など）とすることも可能である。

［自車と特徴点との関係、特徴マッチング処理］
図４は、自車の移動による自車位置（Ｋ）と特徴点（Ｐ）との相対的な位置関係の例を示す。自車の移動に伴う複数の時点（Ｔ）・位置（Ｋ）の各実画像（Ｇ）における複数の特徴点（Ｐ）などがあるとき、ＳＦＭ手法によって、自車現在位置（Ｋ）を推定する。例えば、自車の移動の前後の２つの時点（Ｔ１，Ｔ２）を考える。対応する各位置（Ｋ１，Ｋ２）及び実画像（Ｇ１，Ｇ２）を有する。それぞれに対応して、複数の特徴点Ｐ（例えばＰ１〜Ｐ４）の位置と自車の位置（Ｋ）との相対的な距離がある。４０１（破線）はＴ１等に対応した距離、４０２（実線）はＴ２等に対応した距離である。

特徴部は、実画像（Ｇ）の撮像時の位置（Ｋ）によって変化する。言い換えると、特徴部の情報は、上記撮像時の位置（Ｋ）の情報が含まれている。よって、ＳＦＭ手法を利用した演算により、自車現在位置（Ｋ）を推定することができる。

特徴マッチング処理では、例えば、実時間測位の際に抽出された複数の特徴点Ｐ（第１の特徴情報（ｃ１））と、対応して地図ＤＢ５から読み出された複数の特徴点Ｐ（第２の特徴情報（ｃ２））とにおいて、複数の特徴点Ｐの位置が比較され、一致・類似の度合いが判定される。例えばよく使う手法としては、ユークリッド距離を計算し、距離が一番小さいものを、一致する特徴点とする。

［ＳＦＭ手法を用いた位置推定］
図７は、ＳＦＭ手法を用いた位置推定（特徴抽出・特徴マッチング処理）等について概略的に示す。本内容は、実時間測位部１及び事前登録処理部における特徴抽出処理や特徴マッチング処理の内容に対応する。

特徴点（Ｐ）は、２次元画像（例えば図３）より抽出され、その２次元座標（｛ｘ，ｙ｝）に基づいて、ＳＦＭ手法によって特徴点（Ｐ）の３次元空間位置（｛Ｘ，Ｙ，Ｚ｝）（例えば図２）が推定される。事前登録（ａ２）のプロセスでは、特徴点（Ｐ）における形状・色・明度変化などの特徴を表す特徴量（例えばＳＩＦＴ特徴量）と、推定されたＰ位置、及びその推定精度（誤差の共分散行列）などの情報が、地図ＤＢ５（ｄ２）へ登録される（後述、図５）。一方、実時間測位のプロセスでは、実時間（ａ１）の処理で抽出した各特徴点（Ｐ）の特徴量（ｃ１）と、地図ＤＢ５（ｄ２）に登録されている各特徴点（Ｐ）の特徴量（ｃ２）とのマッチングが行われる。この対応付けができた場合は、この結果（各Ｐ配置）を用いて、ＳＦＭ手法によって自車現在位置（Ｋ）を推定し（例えば図４）、その推定精度（誤差の共分散行列）も同時に計算できる。

［詳細］
以上に基づき、以下、本実施の形態における詳細な処理例などについて説明する。本システム（実時間測位部１）では、ＳＦＭ手法を活かして、車載のカメラ４から撮像した複数枚の実画像（Ｇ）の特徴部（ｃ１，ｃ２）のマッチングにより、高精度な３次元相対位置（Ｋ）を推定の計算により決定する。

本手法の一環である特徴量（第２の特徴情報（ｃ２））の事前登録（ａ２）の処理として、交差点（２０１）等のＲＰの付近で事前に撮像された複数枚の実画像（Ｇ）から、特徴点Ｐなどの特徴部（特徴量及び３次元位置座標など）を抽出し、自車位置（Ｋ）を推定する。ＲＰ付近の特徴量を最適化処理し、自車位置（Ｋ）の測定誤差（推定精度）を所定範囲内に抑えられるまでは逐次に最適な特徴量を選択する。自車位置（Ｋ）の測定誤差（推定精度）を最小とするように最適な特徴量を選択すると同時に、特徴量の３次元空間位置と推定精度を求めることができる。最終的に選択された特徴部の情報を、第２の特徴情報（ｃ２）として地図ＤＢ５に登録する。

一方、実時間測位部１では、カメラ４の実画像（ｂ１）から抽出した特徴部の特徴量などの情報（第１の特徴情報（ｃ１））と、対応する地図ＤＢ５から読み出した情報（第２の特徴情報（ｃ２））とで特徴マッチング処理を行い、ＳＦＭ手法によって自車現在位置（Ｋ）とＲＰ付近の特徴部（複数の特徴点Ｐ）との相対的な位置と方位を計測することにより、自車現在位置（Ｋ）の高精度な測位が実現される。実時間測位部１では、自車の移動に伴い、少なくとも交差点などのＲＰの近くの位置から上記特徴マッチング処理などを実行し、各時点（Ｔ）の実画像（Ｇ）の処理を経ながら、逐次に自車現在位置（Ｋ）の測位誤差を最小化し、所定の許容精度（範囲）内に達した時点で当該測位結果を出力する。

本システムでは、ＳＦＭ手法を用いた処理の際、公知の拡張カルマンフィルタの原理に基づいて、特徴量の最適化（連続で撮影された複数の実画像の中から最適な特徴部を選択するプロセス）と同時に３次元の測位（３次元位置座標の計算）を行う。本処理に関して、事前登録処理（図５）と実時間測位処理（図６）とで分けられる。違いとしては例えば図５では各特徴点位置を推定するが図６では登録済みゆえ推定しない。

［事前登録処理（詳細）］
事前登録（ａ２）の際の処理では、所定のＲＰ付近の実画像内の特徴部の情報（ｄ２）を含む地図ＤＢ５を作成するために、計測車両（事前登録処理部）では、例えば所定のＲＰの手前の位置から計測を開始する。計測車両の例えば前方に搭載された１台以上のカメラからＲＰ・走行方向を撮像し、それら時間軸上の複数の実画像に対する特徴抽出処理（画像解析処理）を行う。

図５を用いて、事前登録処理部での詳しい構成・処理例として、ＳＦＭ手法を用いた処理などについて説明する。５００は、入力である実画像などのデータ情報である。

（１）まず、道路領域検出処理５０１では、入力画像（５００）の中から、道路領域（及び非道路領域）などを検出する。道路領域（走行車線領域など）は、例えば図２の２０３、図３の３０１のような領域であり、図２の２０４、図３の３０２のような白線などで区画される領域などである。本処理５０１の詳細は後述する。

（２）不要物除去処理５０２では、上記（１）の結果に対して、不要物の特徴点など（測位計算に悪影響な変動物に対応する特徴部群）を除去する所定の処理を行う。本処理５０２の詳細は後述する。

上記（１），（２）を経て、各時点（Ｔ）・位置（Ｋ）の実画像（Ｇ）に関係付けられた複数の各々の特徴点（Ｐ）などの特徴部（図２〜図４）に関する特徴量及び位置座標情報などを特徴情報として得る。

（３）計測処理５０３（ＳＦＭ処理）では、上記（２）の結果を対象（入力）として、拡張カルマンフィルタ（予測式、及び初期値）を用いて、それぞれの特徴点（Ｐ）の３次元空間位置（｛Ｘ，Ｙ，Ｚ｝）、及び自車現在位置（Ｋ）を推定しながら、それぞれの推定精度（誤差の共分散行列）を計算する。図５のように、（ａ）自車現在位置（Ｋ）、及び（ｂ）各々の特徴点（Ｐ）の位置、及び（ｃ）それら各々の推定精度（誤差の共分散行列）、等を推定する計算処理を行う。ａの自車位置については動き（変動量）を用いる。詳しい計算式については後述する。

（４）初期値設定５０４： 上記（３）の初期値については、本システムで予め設定された値が入力される。初期値は、初期特徴点位置、初期自車位置（動き）、等である。初期値の設定の仕方としては、例えば、経験値によるか、あるいは、地図ＤＢ５の地図情報（ｄ０）から大まかな位置を設定する、等である。また、例えば２台のカメラ４を使用する場合では、ステレオ計算による奥行き情報から求めて設定することができる。

（５）逐次変動入力５０５： 上記（３）の予測式に対しては、次の時点（Ｔ）の実画像（Ｇ）のフレームを取り込むまでに、センサ類３による自車速度・方向変化などの逐次変動情報が入力される。

（６）判定処理５０６では、上記（３）の推定の結果（ａ〜ｃ）をもとに、当該時点（Ｔ）・位置（Ｋ）・実画像（Ｇ）における上記ｃの推定精度（誤差の共分散行列）の値が、例えば所定の範囲内（閾値以下）になったかどうかを判定する。ｃ値が範囲外である場合は、最初に戻り、続けて次の時点（Ｔ）の実画像（Ｇ）のフレームを入力して、上記同様の計算処理等（５０１〜５０３）を繰り返す。ｃ値が範囲内になった場合は、その時点で、当該推定値（ａ〜ｃ）を最適なものとして選択して計測処理を終了する。

上記（６）の処理では、自車位置（Ｋ）の推定精度（ｃ）が所定範囲内に抑えられるまでは、次の実画像（Ｇ）のフレームを入力して新しい特徴量を導入しながら、前後のフレーム間で追跡できなかった特徴量を削除する。自車位置（Ｋ）の推定精度（ｃ）から新しい特徴量を選択して取り入れることができる。例えば、自車進行方向（例えば図２のＹ方向）の位置（Ｋ）の精度（ｃ）が低い場合では、遠い所にある新しい特徴点を選択することができ、自車進行方向に対する横方向（例えば図２のＸ方向）の位置（Ｋ）の精度（ｃ）が低い場合では、近い所にある新しい特徴点を選択することができる。

（７）出力処理５０７では、上記（６）の選択の結果（ａ〜ｃ）の情報（最適な特徴部のリストを含む）を、当該ＲＰ位置に関する、自車位置（Ｋ）の推定値（対応する地図上の位置）及び特徴情報（ｃ２）として出力する。そして、事前登録（ａ２）の際は、上記出力情報を地図ＤＢ５に登録する。

［実時間測位処理（詳細）］
実時間測位の際の処理では、一般車両（１００）のカメラ４からＲＰ・走行方向を撮像し、第１の位置情報（Ｌ１）に基づいて地図ＤＢ５（ＲＰ情報（ｄ１））からカメラ４の視野範囲内のＲＰを検索し、当該ＲＰの手前の位置から実時間測位処理を開始する。

図６を用いて、実時間測位部１での詳しい構成・処理例として、ＳＦＭ手法を用いた処理などについて説明する。なお図６の処理は、図１では主に第１の特徴抽出部１１と特徴マッチング部１３の処理に対応する。６００は、入力である実画像のデータ（ｂ１）などである。以下、図５と重複する処理内容については簡略に説明する。

（１）まず、道路領域検出処理６０１では、入力画像（６００）の中から、道路領域（及び非道路領域）などを検出する（５０１と同様）。本処理６０１の詳細は後述する。

（２）不要物除去処理６０２では、上記（１）の結果に対して、不要物の特徴点（Ｐ）などを除去する所定の処理（５０２と同様）を行う。本処理６０２の詳細は後述する。

上記（１），（２）を経て、各時点（Ｔ）・位置（Ｋ）における実画像（Ｇ）に関係付けられた複数の各々の特徴点（Ｐ）などの特徴部（図２〜図４）に関する特徴量及び位置座標情報などを特徴情報として得る。

（３）計測処理６０３（ＳＦＭ処理）では、上記（２）の結果を対象（入力）として、拡張カルマンフィルタ（予測式、及び初期値）を用いて、それぞれの特徴点（Ｐ）の３次元空間位置、及び自車現在位置（Ｋ）を推定しながら、それぞれの推定精度（誤差の共分散行列）を計算する。図６のように、（ａ）自車現在位置（Ｋ）、及び（ｃ）現在位置の推定精度（誤差の共分散行列）、等を推定する計算処理を行う。詳しい計算式については後述する。

（４）初期値設定６０４： 上記（３）の初期値については、第１の位置情報（Ｌ１）と地図ＤＢ５の地図情報（ｄ０）に関連付けて登録された第２の特徴情報（ｃ２）から各特徴点（Ｐ）の目標位置を推定し、上記（３）の初期値を設定する。

（５）逐次変動入力６０５： 上記（３）の予測式に対しては、次の時点（Ｔ）の実画像（Ｇ）のフレームを取り込むまでに、センサ類３による自車速度・方向変化などの逐次変動情報が入力される。

（６）判定処理６０６では、上記（３）の結果（ａ，ｃ）をもとに、当該時点（Ｔ）・位置（Ｋ）・実画像（Ｇ）における上記ｃの推定精度（誤差の共分散行列）の値が、所定の範囲内（閾値以下）になったかどうかを判定する。上記ｃ値が範囲外である場合は、最初に戻り、続けて次の実画像（Ｇ）のフレームを入力して、上記同様の計算処理等（６０１〜６０３）を繰り返す。上記ｃ値が範囲内になった場合は、その時点で、当該推定値（ａ，ｃ）を選択して終了する。

（７）出力処理６０７では、上記（６）の選択の結果（ａ，ｃ）の情報を、自車現在位置（Ｋ）の推定値（Ｌ２に対応）として出力する。

［計算式］
前記（３）の計測処理（ＳＦＭ処理）における計算式などは以下である。

拡張カルマンフィルタの予測式は、下記の式（１）である。

ここでは、上記状態ベクトルＸ，計測誤差の共分散行列（予測誤差）Ｑは下記の式（２）で定義される。

Ｘは、計測対象である車両（カメラ）の相対位置・姿勢を表す車両状態ベクトルＶと景観画像の特徴点の２次元座標ベクトルＰとの接合ベクトルであり、ＶとＰはそれぞれ６個（回転分量Ｒと並進分量Ｔ）と２Ｎ個（Ｎ：特徴点数）の要素で構成される。

カルマンフィルタの逐次ループでは、下記の式（３）である。

ここでは、上記Ｇｖは車両状態（位置と向き）のジャコビアン行列、Ｇｐは特徴点のジャコビアン行列であり、上記Ｇｖ，Ｇｐは下記の式（４），（５）である。

カルマンフィルタの更新処理では、下記の式（６）である。

ここでは、上記のｕ，ｖは、下記の式（７）である。

prediction point：予測した特徴点の画像投影位置、matched point：マッチングした特徴点の２次元画像検出位置、Ｍｃ：カメラ内部行列、Ｒ_α，β，γ：カメラ回転行列、Ｐ：特徴点の３次元絶対位置、Ｖ：車両の現在位置を示す。

［ロバストな特徴検出手法］
次に、図８〜図１２を用いて、上記構成に基づく詳細な実施の形態として、道路景観の変動に適応できるロバストな特徴検出手法について説明する。本構成では、変動する道路景観の実画像（例えば図３）から特徴部（群）を適切に抽出して有効な測位計算（特徴マッチング部１３でのＳＦＭ処理（図５，図６の計測処理５０３，６０３））を行うために、実画像から道路領域及び路側領域を含む各領域を検出（分割）する処理（２１）と、それら各領域から「不要物」を除去する処理（２３）とを行う。

「不要物」とは、道路周囲環境の変動・時間経過などの要因により、景観（実画像）内の特徴部が大きく変動するような存在物（対応情報）であり、測位計算に用いる特徴情報としては有用でない情報である。なお、本測位計算以外の目的（例えば安全のための車両制御）では、上記「不要物」であっても有用な情報になり得るため、検出して利用してもよい。

図８は、ロバストな特徴検出手法を実装した特徴検出部２０の構成例を示す。なお本特徴検出部２０は、前述した形態との対応関係としては、図１の特徴抽出部１１，１２、図５の５０１〜５０３の処理、図６の６０１〜６０３の処理、等を修正した構成である。特徴検出部２０の処理はソフトウェアプログラム処理やハードウェア回路処理などにより実現できる。また特徴検出部２０の処理に関する設定が可能である。

図８で、特徴検出部２０は、領域分割部２１、特徴抽出部２２、不要物除去部２３を有する構成である。領域分割部２１は、道路領域検出部２１Ａ、路側領域検出部２１Ｂを有する。道路領域検出部２１Ａは、路面マーク検出部２１ａ、車線検出部２１ｂを有する。路側領域検出部２１Ｂは、路側帯検出部２１ｃを有する。不要物除去部２３は、道路不要物除去部２３Ａ、路側不要物除去部２３Ｂを有する。道路不要物除去部２３Ａは密集横線削除部２３ａを含む。路側不要物除去部２３Ｂは密集角点削除部２３ｂを含む。また例えば領域分割部２１と特徴抽出部２２との間に限定部２４を設けてもよい（後述）。

［各種の領域・物］
図９は、道路上の各領域や物の例を示す。片側２車線の道路の場合である。大別すると、道路領域５１と路側領域５２がある。３１は車線境界線（白線など）、３２は路面交通標識（例えば白線矢印）である。４１は自車（走行状態）、４２は他車（走行状態、先行車）、４３は他車（走行状態、対向車）、４４は他車（駐停車状態）である。５１は道路領域（全車線を含む）である。５２は、道路領域５１の隣（横）の路側領域（非道路領域）である。５３は、中央分離帯（ないし中央境界線）である。５４は、自車４１を含んだ走行車線領域（２車線分）である。５５は、対向車線領域（２車線分）である。５６は、自車４１の走行車線（自車線）である。５７は、５６の隣の他車線である。５８，５９はそれぞれ対向車線（他車線）である。６１は、５７（外側の車線）の隣・外側にあり得る路側帯や歩道などである。６２は、路側の非道路領域（５２との区別のため「路側物領域」と称する）である。

また、７１は、路側（６２）に存在する建物である。なお建物７１は、測位に有用なランドマークとして特徴部の検出対象とする場合としない場合とがある（ここでは検出対象の場合とする）。７２は、路側（６２）に存在する樹木である。７３は、路側（６２）に存在する看板（広告）である。７４は、路側帯６１などに存在する人（歩行者など）である。７５は、路側（６２）に存在する交通標識や信号機などである。

本構成では、道路領域検出部２１Ａで検出する「道路領域」とは、例えば図９の５１，５４，５６等である。路側領域検出部２１Ｂで検出する「路側領域」とは、例えば図９の５２（６１，６２）等である。

本構成では、「不要物」として検出・削除したい対象物として、車（４２等）、樹木７２、看板７３、人７４など（対応する特徴部）がある。一方、測位に有用な対象物（対応する特徴部）としては、路面の白線（３１）・交通標識（３２）、道路領域（５１等）、ランドマークとなる建物７１、路側の交通標識（７５）などがある。

［実画像例］
図１０は、ある時・位置の実画像の例における領域分割・不要物除去の前の状態、図１１は、その実画像における領域分割・不要物除去の後の状態を簡略的に示す。片側１車線の道路の場合である。図９と同様に、３１は白線（白線領域）、３２は交通標識である。８１は自車線（自車の走行車線）である。８２は対向車線である。８３は、自車線８１の隣の路側帯である。８４は、自車線８１の前方の他車（先行車）である。なお７２は樹木であるが、輪郭などを簡略的に示す。

ａの破線は、白線３１を検出した場合のラインを示す。白線３１（ａ）で区画される領域を車線（８１）としている。Ａ（Ａ１）の領域は、検出した道路領域５１を示す。Ｂ（Ｂ１，Ｂ２）の領域は、検出した路側領域５２を示す。Ｃの領域は、Ａ，Ｂ以外の領域である。

なお図９では路側領域５２の中に路側帯６１を含める定義としており、図１０では、道路領域５１の中に路側帯８３を含める定義としている。これらはいずれの定義とすることも可能である。

［特徴検出処理］
図８の特徴検出部２０の処理は以下のような流れとなる。特徴検出部２０は、道路景観が撮像された実画像８００のデータを入力する。

（１） 領域分割部２１は、入力の実画像（例えば図１０）のフレームの全領域を、各種の領域（例えば図１０のＡ，Ｂ，Ｃ）に分割する処理を行う。領域分割部２１は、道路構造、及びカメラ４の透視変換関係に基づき、各領域への分割を行う。なお領域分割の際に地図ＤＢ５の情報を併用（参照）してもよい。

まず、道路領域検出部２１Ａでは、入力の実画像の領域から、路面マーク検出部２１ａにより、白線（車線境界線）３１や路面交通標識３２を含む路面マーク（交通上の有用な情報）を検出する処理を所定アルゴリズムにより行う。例えば、路面マーク検出部２１ａは、実画像データにおける画素の差分値の演算で、Ｈｏｕｇｈ変換などを用いて、白線領域（３１）などのエッジ（線分や角点）を検出する。これにより、路面上の白線３１及び交通標識３２を検出する。

車線検出部２１ｂは、路面マーク検出部２１ａによる検出結果をもとに、自車線を含む車線（道路）を検出する。図１０の例では、主な白線３１のライン（ａ）で区画される領域を自車線８１として検出できる。また自車線８１の隣の領域についても、対向車線８２または路側帯８３として検出することができる。図９のように複数車線が存在する場合は、各白線３１の検出により複数の各車線を検出することができる。

また、道路領域検出部２１Ａは、道路構造やカメラ４の透視変換関係など（実画像におけるカメラ４視点から３次元空間を眺めた遠近構造）に応じて、Ａのような道路領域を区画する。なお図１０の例では、遠方の焦点付近の領域については他領域Ｃに含めるように区画している。

道路領域検出部２１Ａは、上記処理結果により、例えば図１０のＡ（Ａ１）のような道路領域５１を確定（分割）する。そして道路領域検出部２１Ａから、道路領域Ａ情報（ｒ１とする）を出力する。

また、路側領域検出部２１Ｂでは、道路領域検出部２１Ａの結果（ｒ１）を用いて、入力の実画像の領域から、所定アルゴリズムにより、路側物領域６２を含む路側領域５２を推定により検出する処理を行う。例えば、ｒ１による道路領域Ａの形状の情報（白線３１（ａ）等の形状を含む）を用いて、道路領域Ａ（または白線３１（ａ）等）の形状に沿って、例えば図１０のＢ（Ｂ１，Ｂ２）のような路側領域５２を確定（分割）する。ここで、路面からの高さに対応するＺ方向（ｙ方向）に関しては、路面から所定の高さ制限（例えば４メートルまで）によって路側領域Ｂを区画する。高さ制限値は設定可能である。また、路側領域検出部２１Ｂは、道路構造や透視変換関係などに応じて、Ｂのような路側領域を区画する。高さ制限により処理効率化が図れる。

また、路側領域検出部２１Ｂ内（道路領域検出部２１Ａ内でもよい）に、路側帯検出部２１ｃを備えてもよい。路側帯検出部２１ｃで所定アルゴリズム（例えば一番外側の白線３１に基づき推定する）により、図９の６１、図１０の８３のような路側帯領域を検出するようにし、当該路側帯領域を、道路領域５１内または路側領域５２内に含めるように決定する。

路側領域検出部２１Ｂは、上記処理結果により、例えば図１０のＢ（Ｂ１，Ｂ２）のような路側領域５２を確定（分割）する。そして路側領域検出部２１Ｂから、路側領域Ｂ情報（ｒ２とする）を出力する。

また、領域Ａ，Ｂ以外の領域Ｃ（図１０）は、例えば信号機、交通標識、ランドマークとなる建物の角、陸橋、街灯など、測位に有用・重要な情報が検出される領域になる。よって、以降の処理では、（不要物以外の）特徴情報をそのまま保持し、測位計算で入力として用いるようにする。領域分割部２１（路側領域検出部２１Ｂ）から、他領域Ｃ情報（ｒ３とする）も出力する。

（２） 特徴抽出部２２では、実画像８００データ、及び領域分割部２１による処理結果情報｛道路領域Ａ情報（ｒ１）、路側領域Ｂ情報（ｒ２）、他領域Ｃ情報（ｒ３）｝を入力する。特徴抽出部２２は、前述した処理（特徴抽出部１１、計測処理５０３，６０３等）と同様に、角点や線分や色領域などを含む特徴部群（各特徴部の特徴量及び位置座標情報を含む）を抽出する処理を行う。例えば、ＳＩＦＴ特徴検出器（回転変化及びスケール変化に強い）、Ｃａｎｎｙエッジ検出器、ＨＳＬカラーモデル変換による色塊領域を検出するフィルタ（色塊領域検出フィルタ）、等を用いる。特徴抽出部２２は、抽出した特徴部群の情報８０１を出力する。なおこの情報８０１には、各領域（ｒ１，ｒ２，ｒ３）から抽出された特徴部群の情報を含むものとする。

また特に、特徴抽出部２２では、各領域（Ａ，Ｂ，Ｃ）ごとに適用する処理アルゴリズム（フィルタ等）を変えることによって、効果的な特徴抽出をしてもよい。

（３） 不要物除去部２３では、特徴抽出部２２の処理結果情報（８０１）及び各領域の情報（ｒ１，ｒ２）を入力する。なおここでは領域Ｃ情報（ｒ３）を入力しない場合を示している。領域Ｃから抽出された特徴部群は、そのまま保持され、出力の特徴情報８１０内に含まれることになる。

道路不要物除去部２３Ａは、特徴部群情報８０１及び道路領域Ａ情報（ｒ１）を入力し、道路領域Ａにおける不要物（対応する特徴部）を削除する処理を行う。この不要物（道路不要物）として、例えば図９の他車４２〜４４、人７４、図１０の他車８４などがある。密集横線削除部２３ａは、所定アルゴリズムにより、道路領域Ａから、密集する横線（横エッジ線分）群の領域を検出する。密集横線削除部２３ａは、特徴部群として、横方向（ｘ方向）の線分が多数存在する領域に関して、それらの密度が例えば閾値よりも大きい場合、当該領域として検出する。そして、この検出した領域は、図１０の他車８４のような領域である可能性が高いと推測できるため（本発明者等による実験・検討に基づく）、不要物除去部２３は、当該領域を不要物として除去（対応する特徴情報を削除）する。

路側不要物除去部２３Ｂは、特徴部群情報８０１及び路側領域Ｂ情報（ｒ２）を入力し、路側領域Ｂにおける不要物（対応する特徴部）を削除する処理を行う。この不要物（路側不要物）として、例えば図９（図１０）の他車４４、人７４、樹木７２、看板７３などがある。密集角点削除部２３ｂは、所定アルゴリズムにより、路側領域Ｂから、密集する角点（エッジ点）の領域を検出する。密集角点削除部２３ｂは、特徴部群として、角点が多数存在する領域に関して、それらの密度が例えば閾値よりも大きい場合、当該領域として検出する。そして、この検出した領域は、図１０の樹木７２（その輪郭）や看板７３（その文字列）のような領域である可能性が高いと推測できるため（本発明者等による実験・検討に基づく）、不要物除去部２３は、当該領域を不要物として除去（対応する特徴情報を削除）する。

不要物除去部２３では、上記処理のように、入力の特徴部群の情報８０１から、不要物に相当する特徴部群を削除して情報・データ量を減らし、出力の特徴部群の情報８０２とする。この情報８０２が特徴検出部２０の出力の特徴情報８１０となる。言い換えると、本構成（特徴検出部２０）では、実画像（８００）、特徴部群（８０１）の中から、状況変動等の要因に依存しない、測位計算に有用な特徴情報（８１０）を判断・選定することを行っている。

図１１は、図１０の実画像から不要物を除去した後の例を示す。領域Ａ内の白線３１や交通標識３２に対応する特徴部や、路側領域Ｂ内の建物７１や交通標識７５に対応する特徴部や、他領域Ｃ内の特徴部など、測位計算に有用な特徴情報は残されており、各領域Ａ，Ｂ内の他車や樹木や看板など、状況に応じて大きく変動する不要物（測位計算に有用でない特徴情報）は除去されている。１１０１等は、不要物の領域として削除された箇所の例である。

そして例えば特徴マッチング部１３で特徴検出部２０の出力の特徴情報８１０を入力として用いて測位計算を行う。これにより、不要物除去により測位計算への悪影響を大きく抑制（低減）することができ、高精度の測位が実現できる。また、測位計算の入力の情報・データ量が削減されているため、処理速度も高くなる。

なお上記構成例（不要物除去部２３）では、道路領域Ａに対してのみ２３ａの削除処理を適用し、路側領域Ｂに対してのみ２３ｂの削除処理を適用する、といったように領域に対する適用処理をある程度限定することにより、処理効率化を図っている。これに限らず、各種領域に対して各削除処理を適用する形態とすることもできる。

［限定部］
更に応用的な形態として、図８の限定部２４を備えた構成について説明する。限定部２４は、特徴情報あるいはその処理の際に用いる情報（領域や特徴部）を限定する処理を行う。理論的には測位計算に用いる特徴部（特徴点Ｐ）の数が多いほど測位精度が高くなるが、処理効率（処理時間）が悪く（長く）なる傾向がある。よって、本形態では、以下のような手法に基づき、限定部２４により、情報を限定する処理を行い、出力の特徴情報８１０（測位計算に用いる特徴情報）における情報・データ量を削減し、処理高速化などを図る。

（１）第１の手法として、限定部２４は、実画像（１フレーム毎）に含まれる特徴部（特徴点Ｐ）の数を一定数（最大上限値）までに制限する。例えば、限定部２４は、特徴抽出部２２で特徴部群を抽出する処理の際における、１フレーム毎の実画像の領域から抽出される特徴点Ｐの数を、一定数（最大上限値）までに制限する。この一定数は例えば５０個とする。この一定数は設定可能である。一定数を越える場合の特徴部については、当該情報を削除する。

（２）第２の手法として、限定部２４は、入力の実画像８００の領域内において、以降の処理（２２，２３等を含む）での対象とする領域を特定の種類の領域に限定する。言い換えれば、特定の領域以外を処理対象外としてマスクする。

図１２の実画像において、１２００は地平線、１２０１はカメラの焦点を示す。１２０２は、地平線１２００よりも上の領域、１２０３は、地平線１２００よりも下の領域である。限定部２４は、上領域１２０２を処理対象領域として限定し、下領域１２０３をマスクする。これにより、特徴抽出部２２、不要物除去部２３、及び、測位計算で用いられる情報・データ量が削減されるため、処理が効率化される。

上記以外にも、限定部２４により実画像の処理対象領域の限定の仕方を各種変えてもよい。例えば、［道路領域Ａ＋他領域Ｃ］に限定（路側領域Ｂを除外）する形にしてもよい。例えば、図１２の１２０４の範囲（領域）のように、焦点１２０１の周りの所定のサイズの矩形に限定する形にしてもよい。

［効果等］
以上説明したように、本実施の形態によれば、自動車及び車載情報システム１００において、車載のカメラ４を利用した仕組みにより自車現在位置（Ｋ）の測位を安価に実現でき、かつ、ＧＰＳ等の手段よりも高精度な推定（計算）を実現できる。従来の一般的な測位精度（１０〜１５メートル）に比べて、安価なカメラ４（リアビューカメラ等）及び既存の安価なナビゲーション用のハードウェア・ソフトウェア等でも、実時間（出力更新：１０〜６０Ｈｚ）でのサブメートル測位精度（平均測位誤差：１メートル以下）を達成でき、先進的なナビ連動システムを実現して一般車両への普及が可能となる。

特に、仮想画像処理を用いない実時間測位を実現し、事前登録・更新処理の容易化・自動化により、地図ＤＢ５の製作・維持を効率化・低コスト化できる。測位時（撮像時）の道路周囲状況などの要因・変動に対しても適応できる、ロバストな特徴検出等の手法を含む測位技術を提供できる。実時間測位の処理速度に関しても、画像入力を含め１フレームの平均計算時間を従来よりも短縮することができる。

特に、実時間測位部１の高精度な測位の結果（Ｌ３）を利用して、例えばカーナビ６で、運転で必要とされている要素として、どの交差点で曲がるべきか、どの車線に進むべきか、等を効果的にナビゲートすることができる。また、車両へのシフト制御やエンジン噴射制御、さらにＡＣＣにおける車間距離制御などの車両協調システムなどに応用できる。

本発明では、従来手法２等と同様に、２次元の実画像（Ｇ）を利用するが、個々のマーク等（特徴点Ｐ等）の高精度な絶対位置の情報を地図ＤＢ５等へ事前登録する必要は無い（ＳＦＭ手法による推定の位置情報を登録する）。また本発明では、路側に存在する物（建物、看板、標識など）も、ＲＰ景観特徴を多く取り入れるため、前述の不要物除去処理により、先行車両などの遮蔽物による影響（測位精度への悪影響）を最小に抑制できる。

本発明では、従来手法３のように高価な手段・装置を必要とせずに高精度を実現できる。また実画像内の特徴は２次元情報であり、レーザーによる１次元情報よりも精度が高い、及び曖昧さが低い。また、カメラ４の視野が大きいため、先行車両や他の障害物による影響を受け難い。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。

本発明は、自動車及び車載情報システム、カーナビ、ナビ連動システム、車両先進安全システム、等に利用可能である。

１…実時間測位部、２…制御部、３…センサ類、４…カメラ、５…地図ＤＢ、６…カーナビ、１０…位置検出部、１１…第１の特徴抽出部、１２…第２の特徴抽出部、１３…特徴マッチング部、１４…位置補正部、２０…特徴検出部、２１…領域分割部、２２…特徴抽出部、２３…不要物除去部、２１Ａ…道路領域検出部、２１Ｂ…路側領域検出部、２１ａ…路面マーク検出部、２１ｂ…車線検出部、２１ｃ…路側帯検出部、２３Ａ…道路不要物除去部、２３Ｂ…路側不要物除去部、２３ａ…密集横線削除部、２３ｂ…密集角点削除部、２４…限定部、１００…自動車及び車載情報システム。

Claims (10)

1. 移動体位置測定装置であって、
   地図上で撮影された実画像のデータを入力して当該実画像から特徴を検出して測位計算で用いる特徴情報を出力する処理を行う特徴検出部を有し、
   前記特徴検出部は、領域分割部、特徴抽出部、不要物除去部を有し、
   前記領域分割部は、画像解析処理により、前記実画像の領域から、道路領域（Ａ）、路側領域（Ｂ）、及び他領域（Ｃ）を分割により検出し、当該道路領域（Ａ）、路側領域（Ｂ）、及び他領域（Ｃ）を含む情報を出力する処理を行い、
   前記特徴抽出部は、画像解析処理により、前記実画像の領域から、直線や角点を含む特徴部群を抽出して特徴情報を出力する処理を行い、
   前記不要物除去部は、前記実画像における前記道路領域（Ａ）または路側領域（Ｂ）の少なくとも一方から、前記測位計算で用いないようにするための不要物に対応する特徴部を検出して除去し、当該除去後の特徴情報を出力する処理を行うこと、を特徴とする移動体位置測定装置。
2. 請求項１記載の移動体位置測定装置において、
   前記領域分割部は、画像解析処理により、前記入力の実画像の領域から、自車の走行する車線を含む道路領域（Ａ）を検出し、当該道路領域（Ａ）を含む情報を出力する処理を行う道路領域検出部を有し、
   前記特徴抽出部は、画像解析処理により、前記実画像における前記道路領域（Ａ）から、直線や角点を含む特徴部群を抽出して特徴情報を出力する処理を行い、
   前記不要物除去部は、前記実画像における前記道路領域（Ａ）から、前記測位計算で用いないようにするための不要物に対応する特徴部を除去し、当該除去後の特徴情報を出力する処理を行う道路不要物除去部を有すること、を特徴とする移動体位置測定装置。
3. 請求項１記載の移動体位置測定装置において、
   前記領域分割部は、画像解析処理により、前記入力の実画像の領域から、前記道路領域（Ａ）の横にある路側領域（Ｂ）を検出し、当該路側領域（Ｂ）を含む情報を出力する処理を行う路側領域検出部を有し、
   前記特徴抽出部は、画像解析処理により、前記実画像における前記路側領域（Ｂ）から、直線や角点を含む特徴部群を抽出して特徴情報を出力する処理を行い、
   前記不要物除去部は、前記実画像における前記路側領域（Ｂ）から、前記測位計算で用いないようにするための不要物に対応する特徴部を除去し、当該除去後の特徴情報を出力する処理を行う路側不要物除去部を有すること、を特徴とする移動体位置測定装置。
4. 請求項２記載の移動体位置測定装置において、
   前記道路領域検出部は、
   前記実画像の領域から白線を含む路面マークを検出する処理を行う路面マーク検出部と、
   前記実画像の領域から前記路面マークの形状に基づき１つ以上の車線を検出する処理を行う車線検出部と、を有すること、を特徴とする移動体位置測定装置。
5. 請求項３記載の移動体位置測定装置において、
   前記路側領域検出部は、前記実画像の領域から、前記道路領域（Ａ）の形状に基づき、及び路面からの高さの制限に基づき、前記路側領域（Ｂ）を検出する処理を行うこと、を特徴とする移動体位置測定装置。
6. 請求項２記載の移動体位置測定装置において、
   前記道路不要物除去部は、前記実画像の道路領域（Ａ）から、複数の横線が高密度で集まっている領域を検出し、当該検出した領域に対応する特徴部群を削除する処理を行うこと、を特徴とする移動体位置測定装置。
7. 請求項３記載の移動体位置測定装置において、
   前記路側不要物除去部は、前記実画像の路側領域（Ｂ）から、複数の角点が高密度で集まっている領域を検出し、当該検出した領域に対応する特徴部群を削除する処理を行うこと、を特徴とする移動体位置測定装置。
8. 請求項１記載の移動体位置測定装置において、
   前記特徴検出部は、前記測位計算で用いるための前記特徴情報を限定する処理を行う限定部を有し、
   前記限定部は、前記特徴抽出部での処理における、前記実画像の領域から抽出される特徴部の数を、一定数までに制限する処理を行うこと、を特徴とする移動体位置測定装置。
9. 請求項１記載の移動体位置測定装置において、
   前記特徴検出部は、前記測位計算で用いるための前記特徴情報を限定する処理を行う限定部を有し、
   前記限定部は、前記実画像の領域における地平線より上の領域を処理対象領域として限定し、地平線より下の領域を処理対象外として削除する処理を行うこと、を特徴とする移動体位置測定装置。
10. 請求項１〜９のいずれか一項に記載の移動体位置測定装置において、
    実時間で移動体の位置を測定ないし推定する実時間測位部を有し、
    前記実時間測位部は、
    前記移動体に搭載され移動体の走行時に実時間で移動体の周囲の少なくとも１つの第１の方向を撮影して第１の画像を得る１つ以上の撮像部から前記第１の画像を入力し、
    前記第１の画像として、地図上の参照地点の付近で撮影された複数の実画像の中から、直線や角点を含む特徴部を抽出して第１の特徴情報とする第１の特徴抽出部と、
    地図上の所定の参照地点の付近の第２の画像の中から、直線や角点を含む特徴部を抽出して第２の特徴情報とし、当該第２の特徴情報を含むデータが事前に登録された地図データベースから、前記移動体の走行時に、前記参照地点の付近の該当する第２の特徴情報を読み出して取得する第２の特徴抽出部と、
    前記第１の特徴情報と前記第２の特徴情報とを入力してそれぞれの特徴部を比較してマッチングすることにより、前記参照地点の付近の複数の特徴部の位置を推定し、当該複数の特徴部の位置をもとに、ＳＦＭ手法を用いて、移動に伴う各時点の前記移動体の位置と上記複数の各特徴部の位置との相対的な位置関係を演算することにより、前記移動体の現在の位置を推定して第２の位置情報として出力する、特徴マッチング部と、を有し、
    前記第１の特徴抽出部または第２の特徴抽出部において、前記特徴検出部の処理を行うこと、を特徴とする移動体位置測定装置。