JP2011215975A - 画像処理システム及び車両制御システム - Google Patents

Abstract

【課題】高速道路だけでなく一般道を含め様々な車両走行路の走行中においても画像認識を用いて正確な自車位置検出が可能となる技術の構築。
【解決手段】車両からの風景を撮影した撮影画像に基づいて風景画像の認識を行う際に利用される参照データを作成する画像処理システム。所定形状の道路区間において撮影した撮影画像及び当該撮影画像の撮影位置を入力するデータ入力部と、前記道路区間内の任意の地点を特定地点として、前記道路区間を通過するための前記特定地点での目標運動量を規定する目標運動量設定部と、前記特定地点での前記撮影画像から生成された被マッチングデータを、特定地点の位置及び特定地点における目標運動量と関係付けて、前記参照データとしてデータベース化する参照データデータベース化部とを備えている。
【選択図】図１

Description

本発明は、画像処理システム、特にナビゲーション装置での風景画像認識に適した参照データを生成するために適したシステムと、そのシステムを利用した車両制御システムに関する。

従来から、カーナビゲーションの技術分野では、車両の現在位置を算出する方法として、ジャイロや地磁気センサ等のセンサから取得した情報を利用する方法（自律航法）、ＧＰＳ衛星からの信号を利用する方法、あるいは自律航法とＧＰＳとを組合せる方法が採用されている。さらに、高精度に現在位置を算出するために、測位衛星からの信号等を利用して暫定的な現在位置を求めておいて、撮影された車両前方の画像を用いて、暫定現在位置を基準にした座標系（自動車座標系）における道路標示の特徴点の座標（自動車座標系特徴点）を算出し、算出した自動車座標系特徴点と、記憶している道路標示の特徴点の座標（ワールド座標系で示した座標）とを用いて、車両の現在位置を算出するように構成された位置測位装置が知られている（例えば、特許文献１参照）。この装置では、測位衛星からの信号および各種センサからの信号による測位では誤差を含んでしまう場合であっても、精度の高い現在位置を算出することが可能となる。しかし、この特許文献１による位置測位装置では、道路上の道路標示の特徴点の空間座標をステレオ画像から求め、道路標示情報データベースに収められたその特徴点を有する道路標示の緯度・経度によって求められた座標を用いて自車位置を算出するので、道路標示のない場所では利用できない。

また、同じカーナビゲーションの技術分野において、カメラにより撮像される対象地物の位置及び形態の情報を含む地物情報に基づいて、対象地物の地物種別に応じて予め定められた測定点について、その形態情報及び位置情報を含む測定点情報が取得され、その測定点情報に含まれる前記形態情報に基づいて、画像情報に含まれている対象地物についての測定点の画像認識を行うことで認識された測定点の画像認識結果と、当該測定点の前記位置情報とに基づいて前記自車位置情報を補正する技術、及びその補正後の自車位置情報に基づいて自車両の走行制御を行う技術が提案されている（例えば、特許文献２参照）。この技術によれば、交差点シンボルなどの認識対象となりうる地物が少ない高速道路上でも、対象地物の画像認識結果を用いて自車位置情報を補正でき、そのような補正後の自車位置情報に基づいて自車両の走行制御を行う。しかしながら、この特許文献２によれば、高速道路上にある程度の距離間隔で設けられた本線車道とこれに接続する道路との接続部に存在する、道路標示の破線と実線とが分岐又は合流する部分が画像認識対象としているので、高速道路以外の一般道路への適用は困難である。

特開２００７−２０８０４３号公報（段落番号０００９−００１３、図１） 特開２００８−２９８６９９号公報(段落番号０００７−００２３、図９）

上述した実情から、高速道路だけでなく一般道を含め様々な車両走行路の走行中においても画像認識を用いて正確な自車位置検出が可能となる要素技術、さらにはそのような正確な自車位置検出技術を用いた車両制御システムが望まれる。

画像認識を用いた正確な自車位置検出のための要素技術としての、本発明に係る、車両からの風景を撮影した撮影画像に基づいて風景画像の認識を行う際に利用される参照データを作成する画像処理システムの特徴構成は、所定形状の道路区間において撮影した前記撮影画像及び当該撮影画像の撮影位置を入力するデータ入力部と、前記道路区間内の任意の地点を特定地点として、前記道路区間を通過するための前記特定地点での目標運動量を規定する目標運動量設定部と、前記特定地点での前記撮影画像から風景画像認識用被マッチングデータを生成する被マッチングデータ生成部と、前記被マッチングデータを、前記特定地点の位置及び前記特定地点における前記目標運動量と関係付けて、前記参照データとしてデータベース化する参照データデータベース化部とを備えている点である。

例えば、曲線路（カーブ）や勾配路等の所定形状の道路区間を走行する場合においては、その道路区間を通過するために車両の運動量を変動させる必要が生じる。この特徴構成によれば、道路区間内の特定地点での撮影画像から風景画像認識用被マッチングデータが作成される。さらその被マッチングデータに撮影位置や道路区間を通過するための特定地点での目標運動量を関係付けて、マッチング処理のための参照データとしてデータベース化する。このような参照データを用いて、実際の走行中に取得した撮影画像とのマッチングを順次繰り返し、特定地点と目標運動量とを関係付けているマッチングデータとのマッチングに成功した場合、その特定地点における自車の適切な目標運動量を認知することができる。また、自車位置の決定に一般的な風景を撮影した風景画像の画像認識に基づいているため、道路事情に影響を受けない自車位置の決定が実現する。

本発明の好適な実施形態の１つでは、前記目標運動量は、前記道路区間を通過するための前記特定地点での車両速度とされている。この構成では、車両の重要な運動特性である車両速度が、参照データと車両からの撮影画像とのマッチングの成功を通じて特定地点との関係で目標値あるいは最適値として認知される。例えば、道路区間が曲線路である場合には、その曲線路の開始点手前で車両減速をしなければならない。参照データは、この車両速度を目標運動量とすると、特定地点の位置と、車両速度と、当該特定地点での撮影画像に基づく被マッチングデータとが関係付けられたものとなる。従って、このような参照データを用いて、実際の走行中に取得した撮影画像とのマッチングを順次繰り返し、特定地点と車両速度とに関係付けられたマッチングデータとのマッチングに成功した場合、その特定地点での適切な車両速度を認知することができる。

本発明の他の好適な実施形態の１つでは、前記道路区間は曲線路を含み、前記目標運動量は、当該道路区間を通過するための前記特定地点での操舵角とされている。この構成では、車両の重要な運動特性である操舵角が、特定地点でのマッチングの成功を通じて特定位置との関係で目標値あるいは最適値として認知される。例えば、道路区間が曲線路である場合には、その曲線路の開始点から一定距離の間クロソイド曲線に適応するような操舵角の調整が必要となることが多い。参照データは、この操舵角を目標運動量とすると、特定地点の位置と、操舵角と、当該特定地点での撮影画像に基づく被マッチングデータとが関係付けられたものであるとみなすことができる。従って、このような参照データを用いて、実際の走行中に取得した撮影画像とのマッチングを順次繰り返し、特定地点と操舵角と関係付けられたマッチングデータとのマッチングに成功した場合、その特定地点での適切な操舵角を認知することができる。

本発明の別な好適実施形態の１つでは、入力された前記撮影画像から画像特徴点を抽出する特徴点抽出部と、前記画像特徴点を用いて前記撮影画像の画像特徴点データを生成する画像特徴点データ生成部とがさらに備えられ、前記被マッチングデータは前記画像特徴点データである。この構成では、被マッチングデータは画像特徴点からなる画像特徴点データとされているので、マッチング処理が簡単かつ効率よく行われるとともに、被マッチングデータのデータ容量も撮影画像に比べて激減することになる。
具体的には、そのような画像特徴点は、画像の上にある点で安定して検出できるものが好ましいので、一般にはエッジ検出フィルタなどを用いて検出できるエッジ点等が用いられる。本発明では、風景画像における特徴点という点を考慮すれば、ビルの輪郭やビル窓、各種看板の輪郭を示す直線上につながっていくエッジ点群が適している。従って、ここで採用される画像特徴点は、直線を形成する直線成分エッジ点が好適である。また、直線成分エッジ点のうち、建物や橋や看板などの最も重要な特徴点であるコーナ点、つまり２つの直線成分の交点としての交点エッジ点用いることで、画像認識の信頼度を維持しながらも、その演算負担を減らすことが可能となる。コーナ点の検出にはハリスオペレータ（演算子）などを用いることで比較的簡単に得ることができる。

さらに本発明は、上述した画像処理システムによる構築される参照データデータベースを用いて風景画像認識を行うことによって得られる自車車両位置の確定と、その際の目標運動量を好適に調整することができる車両制御システムも対象としている。そのような車両制御システムの特徴構成は、上述した画像処理システムにより作成された参照データデータベースと、車載カメラから撮影した風景の実撮影画像を入力して当該実撮影画像から前記被マッチングデータに対するマッチング用データを出力する撮影画像処理部と、前記車両の推定自車位置に基づいて前記道路区間内の前記特定地点の位置に関係付けられた前記参照データを前記参照データデータベースから抽出する参照データ出力部と、前記抽出された参照データと前記マッチング用データとのマッチングを行うマッチング実行部と、前記マッチングに成功した参照データに関係付けられた前記目標運動量を読み出す目標運動量読み出し部と、前記読み出された目標運動量に基づいて前記車両の運動量調節を実行する車両運動量調節部とを備えている点である。この車両制御システムでは、風景画像認識によって道路事情にかかわらず正確に自車位置を決定できるとともに、その決定された自車位置における、適切な目標運動量が参照データとして関係付けられているので、その設定された目標運動量を読み出して、それに基づいて車両の運動量の調節を適切に実行することが可能となる。

本発明による画像処理システムによる参照データの作成と、その参照データを用いたマッチング処理を通じての自車位置の決定及び目標運動量の調整を行う技術の基本概念を説明する模式図である。 本発明による画像処理システムの一例における主な機能を示す機能ブロック図である。 コーナリング前の減速挙動を例として特定動作イベントにおける目標運動量と特定位置と被マッチングデータとの関係を示す模式図である。 コーナリング中の操舵挙動を例として特定動作イベントにおける目標運動量と特定位置と被マッチングデータとの関係を示す模式図である。 調整係数を用いた重み係数の調整を模式的に示す模式図である。 本発明による画像処理システムで作成された参照データＤＢを用いたカーナビゲーションシステムの機能ブロックである。 風景マッチング部の機能を示す機能ブロック図である。

以下、図面を用いて本発明を詳しく説明する。図１は、車載カメラからの風景画像からの、本発明による画像処理システムによる参照データの作成と、その参照データを用いたマッチング処理を通じての自車位置の決定及び目標運動量の調整を行う技術の基本概念を模式的に示している。

まず、参照データデータベース９２（以下単に参照データＤＢと略称する）の構築手順を説明する。図１に示すように、走行途中における車両からの風景を撮影した撮影画像とその撮影時の撮影位置や撮影方位を含む撮影属性情報が入力される（＃０１）。入力された撮影画像に対して画像特徴点を検出するための特徴点検出処理、例えばエッジ検出処理が実行される（＃０２）。ここでは、１つの画素ないしは複数の画素に対応させたエッジ点が輪郭のような一本の線分を構成している部分をエッジと呼び、複数のエッジが交差している交点をコーナと呼ぶことにするが、画像特徴点の一例がこのエッジとコーナである。エッジ検出処理によって得られるエッジ検出画像から、コーナを含むエッジが画像特徴点として抽出される（＃０３）。

さらに、別系統で、撮影画像に特定被写体が含まれている可能性を表す撮影状況情報が取得される（＃０４）。後で詳しく説明するが、この撮影状況情報は、撮影画像の各領域に分布している画像特徴点に対して、特定被写体が位置する領域に属する画像特徴点の重要度を他の領域に属する画像特徴点に比べて相違させるために用いられる。これにより、風景画像認識にふさわしくない画像特徴点の重要性を低くすることや、風景画像認識にとって重要となる画像特徴点の重要性を高くすることで、最終的に信頼性の高い参照データＤＢ９２を構築することができる。この撮影状況情報に基づいて各画像特徴点の重要度が決定されると（＃０５）、その重要度に応じた各画像特徴点への重み係数の割り当てを規定している重み係数マトリックスが生成される（＃０６）。なお、撮影状況情報で取り扱われる被写体は、撮影画像から画像認識処理を通じて検知すること、各種車載センサ（距離センサ、障害物検出センサなど）からのセンサ信号を処理して検知すること、あるいはＶＩＣＳ (登録商標)（Vehicle Information and Communication System：道路交通情報通信システム）などを利用して外部からの信号を処理して検知することも可能である。

続いて、重み係数に基づいて画像特徴点を整理して撮影画像毎の画像特徴点データが生成される（＃０７）。この画像特徴点データの生成過程において、所定しきい値レベル以下の重み係数をもつ画像特徴点を破棄したり、所定しきい値レベル以上の重み係数をもつ画像特徴点とその周辺の画像特徴点以外を破棄したりする取捨選択処理が行われる。ここで生成された画像特徴点データは、風景画像認識の目的でパターンマッチングが採用されるときには、そのパターンとして用いられるので、風景画像のパターンマッチングにおいて効果的な画像特徴点だけを備えることがマッチングの高速性と正確さにとって重要である。生成された画像特徴点データはこの画像特徴点データに対応する撮影画像の撮影位置や撮影方位を関係付けることで、撮影位置や撮影方位を検索キーとして可能なデータベース用データとしての風景画像マッチング用被マッチングデータとなる（＃０８）。つまり、この用被マッチングデータは、風景画像認識のために利用される参照データ、例えばパターンマッチングのパターンとして参照データＤＢ９２に格納される（＃０９）。

次に、参照データに対してさらに目標運動量（車速や操舵角など）が関係付けられる処理を説明する。なお、以下の実施形態の説明では、所定形状の道路区間として曲線路が採用されている。その道路区間内の任意の点を特定地点と称しており、この特定地点は自車位置と同義語として用いることができる。また、この所定形状の道路区間を通過するために、当該道路区間の各特定地点で車両に生じる事象、減速、加速、ステアリング挙動、などを特定動作イベントと称しており、この各特定地点での特定動作イベントに関連して各特定地点での目標運動量が設定される。
車両の特定動作イベント時の目標運動量変動の間に、あるいは特定動作イベントのための準備段階での目標運動量変動の間に撮影されていた風景の撮影画像に対応する画像特徴点データに対しては、ステップ＃０８でのデータベース化処理時において、以下に説明する目標運動量も関係付けられる。コーナリング走行等の車両の特定動作イベントが認知されると（＃１０１）、認知された特定動作イベントに対して予め取り決められている、特定地点と目標運動量との関係を規定した目標運動量線、つまり特定地点と目標運動量とによって定まる特定点の集まり、または特定点を近似的に結ぶ線、が設定される（＃１０２）。この目標運動量線は実質的には、自車位置の特定の位置である特定地点と目標運動量との関数曲線である。従って、この関数曲線で示すことができる目標運動量線上の１つまたは2つ以上の所望の特定点を設定することで、その特定点によって規定される特定の自車位置である特定地点と、運動量の特定値である目標運動量が得られる（＃１０３）。ここで得られた特定地点に対応する撮影位置での撮影画像から生成された被マッチングデータは、ステップ＃１０３で得られた目標運動量とステップ＃０８において関係付けられ、目標運動量を付与された参照データとして参照データＤＢ９２に格納される（＃０９）。
なお、ここでの説明では、所定の距離間隔または所定の時間間隔で風景画像をしたものから、特定地点である特定地点に一致するものを抽出して特定地点と目標運動量と被マッチングデータとを関係付けた参照データを作成するという手順であった。それとは異なり、特定地点は予め決めておき、その特定地点で撮影した風景画像から生成された被マッチングデータに特定地点と目標運動量を関係付けて参照データを作成するという手順を採用してもよい。

さらに、上述したような手順で構築された参照データＤＢ９２を用いて、実際の車両走行時にその車両の位置（自車位置）を決定する手順を説明する。図１に示すように、車載カメラで風景を撮影して得られた実撮影画像と、参照データＤＢ９２から参照データを抽出するために用いられる、その撮影位置と撮影方位が入力される（＃１１）。ここでの撮影位置は、ＧＰＳ測定ユニットなどを用いて推定された推定自車位置である。入力された撮影画像から、上記ステップ＃０２〜＃０７の処理手順を経て画像特徴点データであるマッチング用データが生成される（＃１２）。同時的に、入力された撮影位置と撮影方位から推定自車位置の測定誤差に基づく誤差範囲が算定される（＃１３ａ）。この誤差範囲を検索条件として推定自車位置の前後の参照データがマッチング候補参照データとして参照データＤＢ９２から抽出され（＃１３ｂ）、マッチング候補参照データセットとして出力される（＃１３ｃ）。

マッチング候補参照データセットから１つずつ参照データをパターンとして設定し、実撮影画像から生成されたマッチング用データとの間のパターンマッチング処理が風景画像認識として実行される（＃１４）。マッチングが成功すれば（＃１５）、その対象となった参照データに関係付けられた撮影位置が読み出され、当該参照データに特定の車両運動量としての目標運動量が関係付けられている場合にはその目標運動量も読み出される（＃１６）。読み出された撮影位置が推定自車位置に代わる正式な自車位置と決定される（＃１７）。さらに、目標運動量が読み出された場合には、この目標運動量を目標とするように車両運動量が調整されるように車両制御が行われる（＃１８）。

次に、上述した位置測位技術の基本概念に基づいて撮影画像から参照データを作り出す、本発明による画像処理システムの一例を説明する。図２の機能ブロック図には、そのような画像処理システムの特に本発明に関係する機能が模式的に示されている。この画像処理システムは、撮影画像と、撮影位置及び撮影方位を含む撮影属性情報と、撮影状況情報とを入力するデータ入力部５１と、撮影画像に基づく画像特徴点データである被マッチングデータを生成する被マッチングデータ部５０と、上述した特定の車両運動量としての目標運動量と特定の自車位置としての特定位置とを含む特定点情報を出力する特定イベント処理部７０と、データベース化部５７とにその機能部を分けることができる。データベース化部５７は、被マッチングデータに特定位置及び目標運転量を関係付けて、被マッチングデータを参照データＤＢ９２に格納される参照データとしてデータベース化する。これらの各機能はハードウエアまたはソフトウエアあるいはその組み合わせで作り出すことができる。

特定イベント処理部７０は、特定動作イベント検知部７１と、目標運動量線設定部７２と、特定点設定部７３と、特定点情報生成部７４を含んでいる。特定動作イベント認知部９１は、撮影位置に基づく道路地図情報や目標運動量を手がかりに、特定動作イベントが発生する道路領域に属する撮影位置の撮影画像の入力が認知されると、特定動作イベントに関する処理をスタートさせる。

目標運動量線設定部７２は、特定動作イベント認知部７１によって認知された特定動作イベントにおける自車位置と目標運動量との関係を規定した目標運動量線を設定する。この目標運動量線は、一般には、自車位置と目標運動量の関数グラフであり、例えば、自車位置を変数Ｐ、目標運動量を変数Ｑ、関数をＦとすると、Ｑ＝Ｆ(Ｐ)で表すことができる。このような関数が、特定動作イベントの種類毎にテーブル化され用意されている。特定点設定部７３は、この目標運動量線上で、この特定動作イベントにおいて指針となる目標運動量または自車位置の特定の値である特定地点を選ぶことで決まる特定点を設定する。従って、この特定点設定部７３は目標運動量設定部または特定位置設定部としても機能する。この特定点が設定されることで、当該特定点を構成する、目標運動量と特定地点の組み合わせが得られる。つまり、目標運動量をQs、特定地点をＰsとすれば、Ｑs＝Ｆ(Ｐs)という関係になる。このような特定点が１つまたは２つ以上設定されると、特定点情報生成部７４が各特定点を構成する特定地点と目標運動量とを含む特定点情報を生成する。この特定点情報が、被マッチングデータ生成部５０に与えられることで、特定地点を撮影位置とする撮影画像から画像特徴点データが生成され、被マッチングデータとして参照データデータベース化部５７に与えられる。したがって、参照データデータベース化部５７によって作成される特定動作イベントに関係する自車位置領域の参照データには、撮影位置や撮影方位とともに、目標運動量が関係付けられる。

以下、目標運動量線設定部９１と特定点設定部９２と特定点情報生成部９３で行われる機能を図３と図４を参照しながら模式的に説明する。図３はコーナリング前の減速挙動を例として特定動作イベントにおける目標運動量と特定位置と被マッチングデータとの関係を示す模式図である。この特定動作イベントを示す図では、特定動作イベント準備領域としてコーナリング前の減速領域と、特定動作イベントとしてのコーナリングが実行される曲線路領域が示されている。この減速領域及び曲線路領域のそれぞれが所定形状の道路区間の一例である。コーナリングの開始点となる道路上でのポイントがP0で示されている。さらに、そのポイントより車両進行方向後方にポイントＰ1、Ｐ2、Ｐ3、Ｐ4が設定されている。このポイントＰ０からＰ４が、道路区間内の特定地点の一例である。この特定動作イベントでの目標運動量線は、0.2Ｇでの減速線である。従って、道路区間としての減速領域における目標運動量は、車両速度（km/h）、つまり車速となっている。基本となる特定点Ｍ0として、コーナリングへの進入する位置（自車位置Ｐ0）での最適な車速であるｑ0＝３０km/hが設定されている。さらに追加として、異なる車速、例えばｑ1＝４０km/h、ｑ2＝５０km/h、ｑ3＝６０km/h、ｑ4＝７０km/hとなる特定点Ｍ1、Ｍ2、Ｍ3、Ｍ4が設定されている。そして、結果的に各特定点Ｍ0、Ｍ1、Ｍ2、Ｍ3、Ｍ4から自車位置Ｐ0、Ｐ1、Ｐ2、Ｐ3、Ｐ4も設定される。これにより、各特定地点とそれに対応する目標運動量とから各特定点が規定され、特定地点と目標運動量との情報から構成される特定点の情報である特定点情報が作成される。この特定点情報に基づいて、その各特定地点を撮影位置とする画像特徴点データに特定地点と目標運動量とが関係付けられた被マッチングデータが生成され、参照データＤＢ９２に格納される参照データとなる。
このように作成された参照データは以下のように使用することができる。例えば、車速６０km/h（ｑ3）と関係付いている参照データと実撮影画像（実際は実撮影画像に基づく画像特徴点データ）とのマッチングが成功したとすると、そのときの車両が車速６０km/hであるならその時点で減速を開始する必要がある。それより実際の車速が速い場合にはより強い減速挙動が要求され、それより遅い場合減速が要求されない。このように、特定動作イベントの走行領域での参照データには、適正な目標運動量が関係付けられているので、撮影画像のマッチングが成功した時点で、目標運動量に関する種々の適正制御が可能となる。

もうひとつの例が図４に示されている。この図４は、コーナリング中の操舵挙動を例として特定動作イベントにおける目標運動量と特定位置と被マッチングデータとの関係を示す模式図である。この特定動作イベントを示す図では、特定動作イベントの間に経時的に行われる操舵角の変動が要求される、所定形状の道路区間としての曲線路のクロソイド領域が示されている。道路上でのコーナリング操作を行っている操舵ポイントポイントP0、Ｐ1、Ｐ2、Ｐ3、Ｐ4が走行方向順に設定されている。ここでは目標運動量は、操舵角度（操舵角）となっている。最終的な操舵角度がもたらされる特定点Ｍ0として、操舵角度ｑ0が設定されている。さらに追加として、異なる操舵角度ｑ1、ｑ2、ｑ3、ｑ4となる特定点Ｍ1、Ｍ2、Ｍ3、Ｍ4が設定されている。そして、結果的に各特定点Ｍ0、Ｍ1、Ｍ2、Ｍ3、Ｍ4から自車位置Ｐ0、Ｐ1、Ｐ2、Ｐ3、Ｐ4も設定される。これにより、各特定点を構成する特定地点と目標運動量とを含む特定点情報が作成される。この特定点情報に基づいて、その各特定地点を撮影位置とする画像特徴点データに特定地点と目標運動量とが関係付けられた被マッチングデータが生成され、参照データＤＢ９２に格納される参照データとなる。このように作成された参照データを用いると、例えば、操舵角度＝ｑ3と関係付いている参照データと実撮影画像（実際は実撮影画像に基づく画像特徴点データ）とのマッチングが成功したとすると、そのときの操舵角度がｑ3よりずれている場合には、その修正を報知または実行することができる。

データ入力部５１には、参照データ作成目的で走行している車両に搭載されたカメラによる風景を撮影した撮影画像と、その撮影時の撮影位置及び撮影方位を含む撮影属性情報と、さらに撮影状況情報が入力される。画像処理システムが走行車両に搭載されている形態においては、この入力部５１にはリアルタイムで撮影画像と撮影属性情報と撮影状況情報が入力されることになるが、この画像処理システムがデータ処理センタなどに設置されている形態においては、撮影画像と撮影属性情報と撮影状況情報が一時的に記録メディアに記録され、これらのデータ入力はバッチ処理的に行われる。撮影画像や撮影属性情報の生成方法は周知であるのでその説明は省略する。

撮影状況情報は、撮影画像に特定被写体が含まれている可能性を表す情報であり、この実施の形態の撮影状況情報に含まれる内容は、走行レーンデータと、移動物体データと、エリア属性データである。走行レーンデータは、撮影画像に対する画像処理を通じて得られる白線やガイドレールや安全地帯の認識結果から得られた、撮影画像における自車の走行レーン領域や道路外領域を示すデータである。移動物体データは、レーダなどの障害物を検知する車載センサによって認識される車両周辺に存在する移動物体の撮影画像中における存在領域を示すデータである。エリア属性データは、撮影画像の撮影時の車両位置と地図データとに基づいて認識された撮影場所の種別、例えば、山間エリア・郊外エリア・市街地エリア・高層都市エリアなどといったエリア属性を示すデータである。

被マッチングデータ部５０は、特徴点抽出部５２、特徴点重要度決定部５３と、重み付け部５５、調整係数設定部５４、画像特徴点データ生成部５６を備えている。
特徴点抽出部５２は、適当な演算子を使用して撮影画像から画像特徴点としてエッジ点を抽出する。特徴点重要度決定部５３は、特徴点抽出部５２によって抽出された画像特徴点の重要度を、撮影状況情報に含まれている各データの内容に基づいて決定する。例えば、走行レーンデータの内容を用いる場合、撮影画像中における、路肩寄りの走行レーンからさらに路肩側に外れた領域に属する画像特徴点に対してより高い重要度を付与する。また、移動物体データを用いる場合、撮影画像中における、移動物体が存在する領域に属する画像特徴点に対して低い重要度を付与する。さらに、エリア属性データの内容を用いる場合、撮影画像中の位置に応じた重要度の付与規則を前記エリア属性に応じて変更する。例えば、山間エリアの撮影画像では、撮影中心光軸の上方は空で左右は森林である可能性が高いので、撮影中心光軸周りである中心領域に対して高い重要度を設定する。郊外エリアの撮影画像では、車の往来が少なく、住宅等の構造物が周囲に広がっているので、撮影中心光軸の下方領域に対して高い重要度を設定する。市街地エリアの撮影画像では、車の往来が多いので、撮影中心光軸の上方領域に対して高い重要度を設定する。高層都市エリアの撮影画像では、高架道路や高架橋などが多いので、撮影中心光軸の上方領域に対して高い重要度を設定する。

重み付け部５５は、特徴点重要度決定部５３によって決定された重要度に応じて画像特徴点に重み係数を割り当てる。正確な画像認識（パターンマッチング）を行うために重要と思われる画像特徴点には高い重要度が設定されているので、高い重要度が設定された画像特徴点に大きい重み係数が割り当てられるが、低い重み係数をもつ画像特徴点は実際の画像認識において使用されない可能性が高いこと、あるいは参照データから削除されることを考慮して、画像特徴点の取捨選択の判定のために利用できるように算定される。

調整係数設定部５４は、重み付け部５５によって割り当てられた重み係数を対応する撮影画像領域における分布状態の観点から変更するための調整係数を算定する。つまり、特徴点抽出部５２によって抽出された画像特徴点に対して撮影状況情報に基づいて決定された重要度にはある程度の誤りが含まれ、その重要度がある程度高い画像特徴点もランダムに発生する可能性があるとも考えられる。このため、画像特徴点の偏在、言い換えると重み付け部５５によって割り当てられた重み係数の偏在が生じていた場合、その偏在を緩やかにする目的でこの調整係数設定部５４は用いられる。演算処理で得られた画像特徴点の散布度が画像特徴点の偏在を示している場合、画像特徴点の密度が小さい領域に属する画像特徴点の重み係数が大きくなるように調整係数が設定され、画像特徴点の密度が大きい領域に属する画像特徴点の重み係数が小さくなるように調整係数が設定される。

画像特徴点データ生成部５６は、重み付け部５５によって割り当てられた重み係数、及び場合によっては付与されている調整係数に基づいて各画像特徴点を整理して記撮影画像毎の画像特徴点データを生成する。その際、所定しきい値以下の重み係数をもつ画像特徴点を削除することでマッチング処理が効率よく行われるように画像特徴点を絞り込むことができる。また、この重み係数をそのまま参照データにおいても各画像特徴点に関係付けられるように画像特徴点データに付属させておき、その重み係数付き参照データを用いたマッチング処理時における重み付け類似度演算のために用いられるようにしてもよい。

ここで、上述した調整係数によって画像特徴点を撮影画像領域全体にわたってできるだけ広く散布させる処理を図５に示された模式的説明図を用いて説明する。撮影画像（図５（ａ）から画像特徴点を抽出することで特徴点画像（図５（ｂ））が生成される。この特徴点画像の各画像特徴点に重要度が付与される。重要度の付与された様子を模式的に理解できるように、図５（ｃ）では特徴点画像に対応する重要度レイヤの形で各画像特徴点に対応する重要度が示されている。この重要度レイヤを用いて、各画像特徴点に重み係数が割り当てられる。図５（ｄ）では、大きな重み係数をもつほど大きい点となるように画像特徴点を描いた特徴点画像の形で重み係数を割り当てたれた画像特徴点が示されている。ここで、所定しきい値以下の重み係数を割り当てられた画像特徴点が除去されるような画像特徴点の整理が行われると、例えば、図５（ｄ）で大きな点となっている画像特徴点だけが選別されると、特徴点画像の下方領域に位置している画像特徴点は排除され、残った画像特徴点の分布に大きな偏在が生じる。この偏在を回避するため、特徴点画像における画像特徴点の散布度を算出し、結果的に選別される画像特徴点の密度が低くなる領域の画像特徴点の重み係数を増加させるような調整係数が設定される。そのように設定される調整係数を模式的に理解できるように、図５（ｅ）では調整係数群を特徴点画像に対応するようにマトリックス的に（ここでは複数の画素領域からなる区画単位で）配置した調整係数レイヤの形で示されている。画像特徴点データ生成部５６は、このような重み係数と調整係数に基づいて最終的に設定された重み係数を用いて各画像特徴点を整理して、図５（ｆ）で示されたような画像特徴点データを撮影画像毎に生成する。

以上の説明では、画像特徴点毎に重要度が決定され、その結果画像特徴点毎に重み係数が設定されているような形態であったが、これらの処理をグループ単位で行うことも可能である。その際には、例えば、撮影画像領域が複数の画像区画に分割され、特徴点重要度決定部５３が、同一画像区画に属する記画像特徴点を画像特徴点群としてグループ化して統一的に取り扱い、当該画像特徴点群に含まれる画像特徴点には同一の重要度を与え、重み付け部５５も同様に画像特徴点群単位で重み係数を設定するとよい。また、ここで取り扱われている画像区画を、撮影画像を構成する１画素単位で取り扱ってもよいが、複数画素単位で画像区画を取り扱ってもよい。

次に、上述した画像処理システムで作成された参照データＤＢ９２を用いて風景画像認識（画像特徴点パターンマッチング）で自車位置を修正するとともに、車両制御に関する情報を出力する車載用カーナビゲーションシステムを説明する。図６には、そのようなカーナビゲーションシステムを車載ＬＡＮに組み込んだ形態で示した機能ブロックである。このカーナビゲーションシステムは、入力操作モジュール２１、ナビ制御モジュール３、自車位置検出モジュール４、撮影状況情報生成部７、上記の参照データＤＢ９２とカーナビ用道路地図データを収納した道路地図データベース９１（以下単に道路地図ＤＢと略称する）とを有するデータベース９を備えている。

ナビ制御モジュール３は、経路設定部３１、経路探索部３２、経路案内部３３を備えている。経路設定部３１は、例えば自車位置等の出発地、入力された目的地、通過地点や走行条件（高速道路の使用有無など）を設定する。経路探索部３２は、経路設定部３１によって設定された条件に基づき出発地から目的地までの案内経路を探索するための演算処理を行う処理部である。経路案内部３３は、経路探索部３２により探索された出発地から目的地までの経路に従って、モニタ１２の表示画面による案内表示やスピーカ１３による音声案内等により、運転者に対して適切な経路案内を行うための演算処理を行う処理部である。

自車位置検出モジュール４は、従来のＧＰＳによる位置算定及び推測航法による位置算定によって得られた推定自車位置を、この推定自車位置を利用した風景画像認識によって決定された自車位置で修正する機能を有する。自車位置検出モジュール４は、ＧＰＳ処理部４１、推測航法処理部４２、自車位置座標算定部４３、マップマッチング部４４、自車位置決定部４５、撮影画像処理部５、風景マッチング部６を備えている。ＧＰＳ処理部４１にはＧＰＳ衛星からのＧＰＳ信号を受信するＧＰＳ測定ユニット１５が接続されている。ＧＰＳ処理部４１はＧＰＳ測定ユニット１５で受信されたＧＰＳ衛星からの信号を解析し、車両の現在位置（緯度及び経度）を算定し、ＧＰＳ位置座標データとして自車位置座標算定部４３に送る。推測航法処理部４２には距離センサ１６と方位センサ１７が接続されている。距離センサ１６は、車両の車速や移動距離を検出するセンサであり、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、自車両Ｃの加速度を検知するヨー・Ｇセンサ及び検知された加速度を積分する回路等により構成される。距離センサ１６は、その検出結果としての車速及び移動距離の情報を推測航法処理部４２へ出力する。方位センサ１７は、例えば、ジャイロセンサ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成され、その検出結果としての方位の情報を推測航法処理部４２へ出力する。推測航法処理部４２は、刻々と送られてくる移動距離情報と方位情報とに基づいて推測航法位置座標を演算し、推測航法位置座標データとして自車位置座標算定部４３に送る。自車位置座標算定部４３は、ＧＰＳ位置座標データと推測航法位置座標データとから公知の方法により車両の位置を特定する演算を行う。算定された自車位置情報は、測定誤差等を含んだ情報となっており、場合によっては道路上から外れてしまうので、マップマッチング部４４により、自車位置を道路地図に示される道路上とする補正が行われる。その自車位置座標は推定自車位置として自車位置決定部４５に送られる。

撮影画像処理部５は、実質的には図２で示された画像処理システムの被マッチングデータ生成部５０を構成していた大部分の機能部を備えている。この撮影画像処理部５は、データ入力部５１、特徴点抽出部５２、特徴点重要度決定部５３と、重み付け部５５、調整係数設定部５４、画像特徴点データ生成部５６を備え、車載カメラ１４によって撮影された車両からの前方風景撮影画像がデータ入力部５１に入力されると、上述したような手順を経て画像特徴点データが画像特徴点データ生成部５６から出力される。なお、特徴点重要度決定部５３で利用される撮影情況情報は、車両に搭載された撮影状況情報生成部７によって生成され、撮影画像処理部５に送られる。撮影状況情報生成部７は、上記走行レーンデータを作成するために、車載カメラ１４と接続されており、撮影画像処理部５に送られる撮影画像と同じものを受け取る。受け取った撮影画像を公知のアルゴリズムを用いて画像処理することで走行レーンデータが作成される。また、撮影状況情報生成部７は、上記移動物体データを作成するために障害物検出用のセンサ群１８と接続されている。このセンサ群１８からのセンサ情報に基づいて移動物体データが作成される。さらに、撮影状況情報生成部７は、上記を作成するために、自車位置決定部４５及びデータベース９と接続している。自車位置決定部４５からの自車位置座標と検索キーとしてデータベース９を検索して、現在走行している場所のエリア属性（山間部や市街地など）を取得し、それに基づいてエリア属性データが作成される。

風景マッチング部６は、自車位置決定部４５から送られてきた推定自車位置に基づいて参照データＤＢ９２から抽出された参照データをパターンとして、撮影画像処理部５から送られてきた画像特徴点データであるマッチング用データに対するパターンマッチング処理を行う。このパターンマッチングが成功した場合には、マッチングパターンである参照データに関係付けられた撮影位置が読み出される。この撮影位置が自車位置として、自車位置決定部４５に転送される。自車位置決定部４５は転送されてきた自車位置を推定自車位置と置き換える自車位置修正を行う。

図７には、誤差範囲を用いて抽出された参照データと、撮影画像から生成されるマッチング用データとの間で風景画像認識を行う風景マッチング部６に備えられた各機能部を説明するための機能ブロック図が示されている。風景マッチング部６は、動作イベント推測部６１、誤差範囲算定部６２、参照データ出力部６３、マッチング実行部６４、マッチング撮影位置取り出し部６５、マッチング運動量取り出し部６６、目標運動量出力部６７を備えている。

動作イベント推測部６１は、車両の推定自車位置から上述した特定動作イベントの発生を推測するものである、道路地図位置と特定動作イベントとを関連付けたテーブルを備えている。動作イベント推測部６１は、特定動作イベントの発生を推測すると、マッチングした参照データに目標運動量に関するデータが関係付けられている可能性が高いので、そのチェックを指令する。

参照データ出力部６３は、推定自車位置に基づいて道路区間内の各特定地点の位置に関係付けられた参照データを参照データＤＢ９２から抽出する。本実施形態では、誤差範囲算定部６２は、推定自車位置を基準として推定自車位置の誤差を考慮して誤差範囲を算定する。そして参照データ出力部６３は、推定自車位置の誤差範囲内に存在する特定地点を判定して、存在する特定地点に対応する参照データを参照データＤＢ９２から抽出する。
なお、動作イベント推測部６１によって、参照データが記憶されている曲線路等の所定形状の道路区間を走行することが推測され、特定動作イベントの発生が推測されると、当該道路区間内の各特定地点の位置に関係付けられた参照データを抽出するための検索条件を誤差範囲算定部６２によって算定される誤差範囲とは別に作成する機能も動作イベント推測部６１に与えてもよい。例えば、推定自車位置が推定誤差範囲内であっても、参照データが記憶されている所定形状の道路区間を走行することが推測された場合のみ、参照データを参照データＤＢ９２から抽出するようにしてもよい。
そして、参照データ出力部６３は、この検索条件によって参照データＤＢ９２から引き出された参照データをマッチング実行部６４に転送する。マッチング実行部６４は、抽出された参照データ列を順々にパターンとしてセットしながら、マッチング用データに対するパターンマッチングを行う。マッチング撮影位置取り出し部６５は、マッチングが成功した場合、成功したマッチング相手としての参照画像に関係付けられている撮影位置（特定地点の位置（自車位置））を読み出して、これを高精度自車位置として自車位置決定部４５に送り出す。
マッチング運動量取り出し部（読み出し部）６６は、マッチングに成功した参照データに関係付けられた目標運動量を読み出す。目標運動量出力部６７は、マッチング運動量取り出し部６６によって読み出され、転送されてきた目標運動量を内部処理可能な形式に変換して、車載ＬＡＮを通じて接続されている車両制御モジュール２４に出力する。

このカーナビゲーションシステムは、また、周辺装置として、タッチパネル１１やスイッチなどの入力デバイス１１とそれらの入力デバイス１１を通じての操作入力を適切な操作信号に変化して内部に転送する操作入力評価部２１ａを有する入力操作モジュール２１、モニタ１２にカーナビゲーションに必要な画像情報を表示するための表示モジュール２２、スピーカ１３やブザーからカーナビゲーションに必要な音声情報を流す音声生成モジュール２３が備えられている。

このカーナビゲーションシステムの目標運動量出力部６７から出力される目標運動量は、走行している車両の現在位置において適正な目標運動量、例えば、車速や操舵角度などを示している。この有意義な目標運動量を利用するため、カーナビゲーションシステムと車載ＬＡＮを通じてデータ交換可能に接続されている車両制御モジュール２４には、受け取った目標運動量に基づいて車両の運動量を調整する車両運動量調節部２４ａが備えられている。

上述した実施形態では、画像特徴点として、エッジ検出処理によって得られるエッジ点、特に一本の線分を構成している線分エッジやそのような線分が交差、好ましくはほぼ直交する交点であるコーナエッジが効果的な画像特徴点として扱われる。しかしながら、本発明は、画像特徴点としてそのようなエッジ点に限定されるわけではない。例えば、円や四角形など幾何学的形状を形成する代表的なエッジ点（円なら円周上の３点など）あるいは幾何学的形状の重心やその重心としての点なども、その風景によっては効果的な画像特徴点となるので、用いられる。また、エッジ強度も重要度を算定するための因子として採用することも好適であり、例えば強度の強いエッジからなる線分なら、その線分の始点と終点は重要度の高い画像特徴点として取り扱うことができる。また、特徴的な幾何学的形状における特定点、例えば左右対称な物体の端点なども重要度の高い画像特徴点として取り扱うことができる。
さらには、エッジ検出処理によって得られるエッジ点以外に、撮影画像を色相や彩度の変化として捉え、その変化の大きい点を画像特徴点として採用することも可能である。同様に色情報に基づくものとして色温度の高い物体の端点を重要度の高い画像特徴点として取り扱うことも可能である。
つまり、本発明で取り扱われる画像特徴点は、参照データと実撮影画像から生成される画像特徴量データとの間の類似度判定、例えば、パターンマッチングにとって有効なものであれば、全て利用の対象となる。

上述した実施形態では、参照データＤＢ９２に格納される参照データには、撮影位置と撮影方位（カメラ光軸方位）が関係付けられていたが、それ以外に、上述した撮影状況情報、さらには撮影日時や撮影時天候なども、関係付けてもよい。
なお、撮影位置は、最低限、緯度・経度データのような二次元データでよいが、高さデータも加えて三次元データとしてもよい。
また、撮影方位を参照データに関係付けることは必須ではない。例えば、参照データの作成時も、この参照データを用いての風景画像認識時も、走行道路に対して実質的に同じ撮影方位で撮影されることが保証される場合では、撮影方位は不必要となる。
逆に、１つの基本的な撮影方位での参照データから撮影方位を適度にずらせた参照データを用意することができる場合では、方位センサなどの情報から算定された車両の走行方向に基づいて、その走行方位に適合する参照データだけを風景画像認識の対象とすることも可能である。
本発明で取り扱われる車載カメラは、車両走行方向前方の風景を撮影するものが最適である。しかしながら、前方斜めの風景をとるカメラであってもよいし、さらには側方、後方の風景を撮影するカメラであってよい。つまり、本発明で取り扱われる撮影画像は、車両走行方向の前方風景を撮影したものだけに限定されるわけではない。

上述した実施形態の説明に用いられた機能ブロック図で区分けされた示された機能部はわかりやすい説明を目的としており、ここで示された区分けに本発明は限定されているわけではなく、それぞれの機能部を自由に組み合わせたり、１つの機能部をさらに区分けしたりすることが可能である

本発明の技術は、カーナビゲーションのみならず、風景画像認識によって現在位置や方位を測位する技術分野及び正確な自車位置に基づいて車両を制御する技術分野に適用可能である。

３：ナビ制御モジュール
４：自車位置検出モジュール
４５：自車位置決定部
５：撮影画像処理部
５１：データ入力部
５２：特徴点抽出部
５３：特徴点重要度決定部
５４：重み付け部
５５：調整係数設定部
５６：画像特徴点データ生成部
５７：参照データデータベース化部
６：風景マッチング部
６１：動作イベント推測部
６２：誤差範囲算定部
６３：参照データ出力部
６４：マッチング実行部
６５：マッチング撮影位置取り出し部
６６：マッチング運動量取り出し部（読み出し部）
６７：目標運動量出力部
７０：特定イベント処理部
７１：特定イベント認知部
７２：目標運動量線設定部
７３：特定点設定部（目標運動量設定部または特定位置設定部）
７４：特定点情報生成部
１４：カメラ
２４：車両制御モジュール
２４ａ：目標運動量調整部
９２：参照データＤＢ
９１：道路地図ＤＢ

Claims (5)

1. 車両からの風景を撮影した撮影画像に基づいて風景画像の認識を行う際に利用される参照データを作成する画像処理システムであって、
   所定形状の道路区間において撮影した前記撮影画像及び当該撮影画像の撮影位置を入力するデータ入力部と、
   前記道路区間内の任意の地点を特定地点として、前記道路区間を通過するための前記特定地点での目標運動量を規定する目標運動量設定部と、
   前記特定地点での前記撮影画像から風景画像認識用被マッチングデータを生成する被マッチングデータ生成部と、
   前記被マッチングデータを、前記特定地点の位置及び前記特定地点における前記目標運動量と関係付けて、前記参照データとしてデータベース化する参照データデータベース化部と、
   を備えた画像処理システム。
2. 前記目標運動量は、前記道路区間を通過するための前記特定地点での車両速度である請求項１に記載の画像処理システム。
3. 前記道路区間は曲線路を含み、前記目標運動量は、当該道路区間を通過するための前記特定地点での操舵角である請求項１に記載の画像処理システム。
4. 入力された前記撮影画像から画像特徴点を抽出する特徴点抽出部と、前記画像特徴点を用いて前記撮影画像の画像特徴点データを生成する画像特徴点データ生成部とがさらに備えられ、前記被マッチングデータは前記画像特徴点データである請求項１から３のいずれか一項に記載の画像処理システム。
5. 請求項１から４のいずれか一項に記載の画像処理システムにより作成された参照データデータベースを備えた車両制御システムにおいて、
   車載カメラから撮影した風景の実撮影画像を入力して当該実撮影画像から前記被マッチングデータに対するマッチング用データを出力する撮影画像処理部と、
   前記車両の推定自車位置に基づいて前記道路区間内の前記特定地点の位置に関係付けられた前記参照データを前記参照データデータベースから抽出する参照データ出力部と、
   前記抽出された参照データと前記マッチング用データとのマッチングを行うマッチング実行部と、
   前記マッチングに成功した参照データに関係付けられた前記目標運動量を読み出す目標運動量読み出し部と、
   前記読み出された目標運動量に基づいて前記車両の運動量調節を実行する車両運動量調節部と、
   を備えている車両制御システム。
   

Images