JP2006107462A - 地形の航空画像において道路を検出する方法 - Google Patents

Abstract

【課題】航空画像において道路を検出するための完全に自動化された方法を提供することが望ましい。
【解決手段】方法は、航空画像のピクセル毎に、強度および勾配のような低レベルの特徴を判定し、低レベルの特徴から、ピクセル毎の方向のような中間レベルの特徴を判定し、さらに、中間レベルの特徴から高レベルの特徴を判定することにより、地形の航空画像において道路を検出する。高レベルの各特徴は１つの確率を割り当てられ、ピクセル毎の高レベルの特徴の確率が正規化され、総計されて、そのピクセルが道路に関連付けられる単一の確率が生成される。
【選択図】図１Ａ

Description

本発明は包括的には、航空画像において道路を検出するための方法に関し、より詳細には、高レベルの画像特徴を分類し、道路を検出することに関する。

航空画像を用いて、道路のような地理的なオブジェクトを検出することができる。道路に関連する画像データを用いて、地図を作成し、航行支援を行うことができる。航空画像において手作業で道路を検出するのは時間がかかる。それゆえ、自動化された方法が好ましい。

いくつかの方法は、高解像度の画像において平行なエッジを抽出し、プロファイルを外挿して、一致させる。別の方法は、少数の所与の点間の最適な経路を探索する。その後、それらの点は動的なプログラミングによって接続される。アプリケーションのうちのいくつかでは、リボンスネークネットワークのモデルを基にする最適化を用いて、粗くデジタル化された道路ネットワークを改善してきた。別の方法は、完全に自動化された抽出で開始し、その結果を手作業で編集する。別の方法は、道路の「種」を抽出し、道路を追跡するための低レベルのマルコフランダムフィールド（ＭＲＦ）モデルを、簡単なクラッタおよびオクルージョンモデル、ならびにカルマンフィルタで補足する。別の方法は、道路の抽出を妨害または支援する、影、車または樹木のようなコンテクストをモデル化することにより道路検出を改善する。

複数の学習方法が、平行なセグメントのグループを使用するか、またはマルチスケール法を用いて、隆起部のような記述子を検出する。ハフ変換を用いることもできる。

航空画像において道路を検出するための完全に自動化された方法を提供することが望ましい。

本発明は、航空画像のピクセル毎に、強度および勾配のような低レベルの特徴を判定し、低レベルの特徴から、ピクセル毎の方向のような中間レベルの特徴を判定し、さらに、中間レベルの特徴から高レベルの特徴を判定することにより、地形の航空画像において道路を検出するための方法を提供する。高レベルの各特徴は１つの確率を割り当てられ、ピクセル毎の高レベルの特徴の確率が正規化され、総計されて、そのピクセルが道路に関連付けられる単一の確率が生成される。

道路特徴の特性
本発明は、地形の航空画像において道路を検出するための方法を提供する。その方法は、地形の物理的特性と視覚的特性との間の関係を基にする。その方法は、視覚的特性の特徴を用いて、画像ピクセルを、おそらく道路ピクセルである、または非道路ピクセルであると分類する。物理的特性は一般的に、幾何学的特性、テクスチャ特性およびコンテクスト特性として分類することができる。

道路の幅は比較的一定であり、その道路の重要性に応じて、或る上限を有する。本発明の地形の航空画像では、幅の上限は約３０ピクセルである。この値は、アプリケーション、および用いられる航空画像のタイプ、たとえば低空飛行のヘリコプタ、高空飛行の偵察機、または衛星によって取得される画像によって調整することができることに留意されたい。道路の局所的な曲線は連続するように変更され、上限は道路の重要性によって決まる。道路は一般的に、局所的には直線であるが、大域的には直線でない場合もあることに留意されたい。道路を結ぶ場所が１つのネットワークを形成する。道路の密度および接続場所の密度は周囲のコンテクストによって決まる。

道路は、コンクリートおよびアスファルトのような材料を用いて建設される。それゆえ、道路の表面は固く、滑らかである。結果として、大部分の道路は、隣接するエリアとはかなり異なるテクスチャを有する。道路は大抵の場合に、隣接するエリアの色、たとえば黒色または灰色とは異なる特有の色を有する。

大部分の道路は、縁石、側溝、路肩、ガードレール、防護柵、車線区分線および建物のようなエッジ特徴を有する。これらの特徴は、道路と隣接するエリアとの間の強度を不連続にする。道路は通常、均一な局所的方向分布を有し、一方、隣接する建物の方向は通常、不揃いである。

これらの特性は種々の有利な点および不利な点を有する。幾何学的特性は、適当な曲線および平行な境界を有する連続した輪郭によって道路の大域的な構成を示すのに優れている。しかしながら、道路エッジは航空画像において遮断される可能性がある。テクスチャは道路と隣接するエリアとを区別することができる。しかしながら、屋根および駐車場は類似の色および素材を有する可能性がある。道路は、道路以外のエリアと比べて、一様な局所的方向を有する傾向がある。しかしながら、大きな空地も一様な方向を与える可能性がある。

これは、１つまたは少数の特徴を基にすることにより誤った結果が生じる可能性があることを意味する。それゆえ、本発明による方法は、多数の特徴を相補的に組み合わせて、より信頼性のある分類結果を与える。

道路特徴のレベル
図１Ａに示されるように、本発明は、航空画像１に対して、低レベルの特徴１１を判定する（１０）。低レベルの特徴は、ピクセルの生の強度値である。３つのＲＧＢチャネルの強度値は色を与える。本発明は強度値の勾配も低レベルの特徴であるとみなす。

本発明は、低レベルの特徴から、上記の視覚的特性に関連する方向、エッジおよび輪郭のような中間レベルの特徴２１を判定する（２０）。ピクセル毎の中間レベルの特徴２１は、各ピクセル上に配置されるローカルウインドウのヒストグラム３１に累積される（３０）。

その後、本発明は、ヒストグラム値からピクセル毎に高レベルの特徴４１を判定する（４０）。各ピクセルの高レベルの特徴４１は全て、単一の確率に分類される（５０）。その確率は、そのピクセルが道路に関連付けられる可能性を示す。確率画像５１において、各ピクセルは０〜１の範囲内で道路に関連付けられる、または関連付けられない確率を有する。

先行処理
図１Ｂに示されるように、その処理は地形の航空画像１０１で開始する。１つの特性として、航空画像１０１は、解像度が低く、大量のノイズを含む。それゆえ、本発明では、最初に画像１０１のピクセルの強度値Ｉ（ｘ，ｙ）がフィルタ１０５にかけられる（１１０）。その先行処理は、本発明による方法の性能を改善するためのオプションのステップであることに留意されたい。

本発明では、各ピクセルを適応的な２Ｄガウシアンローパスウィーナフィルタ（Ｗ）１０５にかけることによりフィルタリング（１１０）が実施される。そのフィルタは５×５の隣接するピクセルを用いて、各ピクセルの局所的な勾配の平均値および標準偏差を推定する。これによりノイズが減少する。他のフィルタリング技法を用いることができることに留意されたい。

次に、本発明では、フィルタリングされた画像１１１がｎ×ｎピクセルの重複しないブロック１２１に分割される（１２０）。ブロックのサイズはアプリケーションに応じて指定することができる。たとえば、画像が取得された高度に依存する可能性がある画像の解像度に応じて、ブロックのサイズを変更することができる。

その後、本発明では、各ブロック内の各ピクセルのｘ勾配（Ｇ_ｘ）およびｙ勾配（Ｇ_ｙ）１３１の大きさが判定される（１３０）。これは、２つの隣接するピクセルの平均をとることにより果たされる。先に述べられたように、本発明では、強度および勾配は低レベルの特徴であるとみなされる。

本発明では、ピクセルをフィルタリングするのと同じようにして、勾配の大きさがフィルタリングされる（１４０）。ブロック毎のフィルタリングされた勾配１４１から、以下の式に従って、方向画像２００が判定される（１５０）。

先に述べられたように、方向は中間レベルの特徴であると定義される。

図２は、１つの例示的な画像の場合の方向画像２００を示す。ノイズを削減したので、道路エリア２０１において、より均一な局所的方向分布が見られる。以下の高レベルの特徴選択ステップにおいて、この観測結果が用いられる。

特徴選択
本発明では、図３に示されるように、次に、分類３２０のために統計的に有意である、高レベルの方向３１１、輪郭３１２、色３１３、線３１４およびテクスチャ３１５特徴が選択される（３１０）。分類器は確率画像３２１を作成する。確率画像では、画像１０１の各ピクセルが道路である、または道路でないという確率を与えられる。その確率は、０〜１の範囲の実数にすることができる。確率画像３２１のノイズは、元の画像１０１の場合に果たされたのと同じように、メジアンフィルタにかけること（３３０）によって削減することができる。

方向特徴
本発明では、方向画像２００を用いて、方向特徴３１１が選択される。方向特徴は、所定のサイズ、たとえば３１×３１、または約１０００ピクセルのローカルウインドウから選択される。ウインドウのサイズは、航空画像において見られたような道路の幅と概ね同じである。ウインドウは各方向において重複しない。それゆえ、１つのウインドウ内に部分的に配置される特定の特徴が、隣接するウインドウ内に全体として配置される可能性がある。

本発明では、中間レベルの方向特徴から７つの高レベルの特徴が選択される。方向特徴は、ローカルウインドウ内の方向から導出される局所的方向ヒストグラム、および対応する重み付けされた方向を有する重み付けされた局所的方向ヒストグラムに基づく。

ローカルウインドウヒストグラム内の方向範囲は０〜πラジアンの１２ビンに等しい。ビンｉのための正規化されたヒストグラムはｈ（ｉ）であり、正規化され、重み付けされたヒストグラムはｗｈ（ｉ）である。各ピクセルは、方向画像２００に記憶されるような中間レベルの方向特徴ベクトル（→）ｃ（ｉ，ｊ）によって表される。ただし、ｉ、ｊはピクセル座標であり、‖（→）ｃ‖は方向画像２００内の方向の対応する大きさであり、ａｒｃｔａｎｃ_ｘ／ｃ_ｙはそのピクセルの対応する方向である。なお、（→）ｃは、ｃの上に→があることを表す。

ヒストグラムの最大値
第１の高レベルの特徴はローカル方向ヒストグラムの最大値ｈ_ｍａｘであり、主な方向がローカルウインドウ内に存在するか否かを反映する。ｈ_ｍａｘの値がより大きいことは、局所的方向の分布がより一様であることを意味する。これは、このエリアがおそらく道路として分類されるはずであることを示す。

ヒストグラムのエントロピー
第２の高レベルの特徴は、近似的な確率質量関数（ｐｍｆ）として表されるヒストグラムのエントロピーＥ_ｈである。近似的なｐｍｆがｈ（ｉ）（ただしｉ＝１、．．．、Ｎ）である場合には、対応するエントロピーは以下の式によって表される。

エントロピーＥは、ヒストグラム内の情報の不確定性を示す。エントロピーが低い場合には、方向は一様に分布し、高い場合には不揃いに分布する。

重み付けされたヒストグラムのエントロピー
第３の高レベルの特徴は、以下の式で表される、重み付けされたヒストグラムのエントロピーＥ_ｗｈである。

ローカルウインドウ内のベクトルの平均値
第４の高レベルの特徴ｕ_ｃは、ウインドウのヒストグラムにおける方向ベクトルの平均値である。局所的に一様な方向は、平均値が高い。

ローカルウインドウ内のベクトルの分散
第５の高レベルの特徴ｖ_ｃは、ウインドウのヒストグラムにおける方向ベクトルの分散である。局所的に一様な方向は、分散が小さい。

単一モードの密度関数によるヒストグラム畳み込み
第６の高レベルの特徴Ｒ_ｇｈは、理想化された道路への類似度の指標である。この特徴は、局所的方向ヒストグラムと、π／２ラジアンにおいてガウシアンモードを有する理想化された単一モードの密度関数モデルとの間の相互相関によって得られる。理想化されたモデルは、支配的な方向が存在するという仮定の下での道路領域を表す。

ただし、分母の０．１は、ローカルウインドウ内の直線の平行性のための許容差を与える。

単一モードの密度関数による重み付けされたヒストグラム畳み込み
第７の高レベルの特徴ｒ_ｗｇｈは、以下の式で表される重み付けされた類似度の指標である。

これらの高レベルの特徴は、道路と道路以外のエリアとの間の良好な可分性を有する。

輪郭特徴
輪郭は、連続したエッジ、平行な線および比較的真直ぐな輪郭のような大域的な特徴を特徴付けるので、輪郭特徴３１２は局所的方向特徴への良好な補足を提供する。

大域的な特徴を選択するための複数の従来技術の方法が知られている。普及している１つの方法はハフ変換を用いて直線を検出する。しかしながら、本発明者らは、建物境界、車両エッジおよび他のクラッタなどの数多くの小さな線分を含む、本発明の航空画像の場合に、ハフ変換が良好に機能しないことが分かっている。図２を参照されたい。さらに、道路は大域的には直線ではない。本発明では、連続した曲線を有する輪郭を検出できる必要がある。

それゆえ、本発明は、線分を「長くし」、線分間の隙間を許容して、直線および曲線、ならびに連続および不連続の輪郭を含む大域的な輪郭を検出する方法を用いる。その方法による輪郭選択はエッジ画像において機能する。エッジ画像は、所定の閾値を用いるＣａｎｎｙエッジ検出器によって、または複数の線およびそれらの線の周囲物のための明示的なモデルを用いる、閾値を用いない方法によって作成することができる。これにより、非対称な線に起因する偏りを除去できるようになる。その方法は勾配画像から線を抽出する。

ただし、以下の式が成り立つ。

その方法はさらに、局所的なテイラー多項式の以下の係数を判定する。

その際、（ｘ，ｙ）の方向は、ヘッシアン行列の固有値および固有ベクトルを計算することにより判定することができる。

最大絶対値の固有値に対応する固有ベクトルは単位ベクトル（ｎ_ｘ，ｎ_ｙ）である。その際、以下の式が成り立つ。

さらに、以下の式は、或るピクセルが或る線に関連することを表す。

図４は、この線検出方法を用いて本発明者らが得た、閾値のないエッジ画像４００を示す。

図５は、対応する輪郭画像５００を示す。本発明では、ノイズである可能性がある、所定の長さ閾値よりも短い、閉じているか、または曲線の輪郭を除去する。

しかしながら、市街地の大部分の航空画像は強いエッジを有する建物を含み、大きな建物は長い境界の輪郭を有するように見えるので、これら建物は道路輪郭と混同されやすい。それゆえ、本発明による方法は、既知のＤｏｕｇｌａｓ−Ｐｅｕｃｋｅｒアルゴリズムを変更したものに基づいて、連続した輪郭を多数の線で近似する。D. DouglasおよびT. Peucker「Algorithms for the reduction of the number of points required to represent a digitized line or its caricature」（The Canadian Cartographer, 10(2):112-122, 1973）を参照されたい。

航空画像では、建物エッジによってもたらされる輪郭は通常は閉じており、五角形以上の頂点を有し、一方、道路エッジによってもたらされる輪郭は通常は開いており、４つ未満の頂点を有する。

それゆえ、本発明では、ピクセル毎に、中間レベルの輪郭特徴から４つの高レベルの特徴を選択する。方向の場合と同様に、本発明ではローカルウインドウを用いる。

長さ
高レベルの特徴Ｌ_{ｃｏｎｔｏｕｒ}は輪郭長を表しており、その輪郭長は或る輪郭の連続性を示す。

密集性
大部分の道路輪郭は長く、開いた線であるので、建物のような他のエッジによってもたらされる閉じた輪郭に比べて、それらの密集性は相対的に小さい。高レベルの特徴Ｒ_{ｃｏｎｔｏｕｒ}は輪郭比を表しており、それは以下の式のように定義される。

ただし、Ｐｗｉｄｔｈ_{ｃｏｎｔｏｕｒ}およびＰｌｅｎｇｔｈ_{ｃｏｎｔｏｕｒ}は、輪郭セグメント全体を覆う最小の長方形の幅および長さである。

ローカルウインドウ内の輪郭数
高レベルの特徴Ｎ_{ｃｏｎｔｏｕｒ}は、１つの輪郭に関連付けられるローカルウインドウ内のピクセルの数である。Ｎ_{ｃｏｎｔｏｕｒ}が大きな値のウインドウほど、道路を含む可能性が高くなる。

輪郭方向エントロピー
高レベルの特徴Ｅ_{ｃｏｎｔｏｕｒ}は、それらの輪郭に沿った方向ヒストグラムに関する輪郭のエントロピーである。曲率がわずかしか変化しない輪郭はエントロピーが小さく、道路に関連付けられる可能性が高いのに対して、曲率が大きな輪郭はエントロピーが大きいのは明らかである。

色特徴
数多くのコンピュータビジョンアプリケーションでは、ピクセル強度または色情報は通常、物体を認識するための重要な手掛かりである。しかしながら、航空画像においては、道路の強度および色は、車、影および車線区分線に起因して変化する。

それゆえ、本発明は色確率画像を作成し、その画像は、一般的に黒色または灰色である道路エリアとは異なる色を有するエリアを抑圧することができる。たとえば、薄い赤色または茶色のピクセルは、建物である可能性が高いので、低い確率を与えられる。同様に、緑色のピクセルは、公園、野原、路肩および森林を示す可能性が高い。

高レベルの特徴Ｐ_{ｃｏｌｏｒ}はピクセル色分布を表す。本発明は、トレーニング画像から色ヒストグラムＨ_ｕを作成する。各（ＲＧＢ）色チャネルは範囲［０，２５５］に６４ビンを有する。その際、色特徴は、トレーニングされた色ヒストグラムを画像１０１上に逆投影することによって得られる確率である。

図６は、本発明による、トレーニングされた道路色ヒストグラムを示す。高レベルのヒストグラムに基づく色特徴はまた、ローカルウインドウに基づいて他の特徴に適合するように選択される。

線特徴
本発明は、線テンプレートＭ_{ｔｅｍｐｌａｔｅ}である、高レベルの線特徴も用いる。線分は、その両方の長辺において、異なる強度レベルを有する均一な領域によって画定される、均一な強度レベルを有する細長い長方形領域として特徴付けることができる。道路セグメントがその両側において同じコントラストを有するという仮定は、航空画像の場合にはほとんど当てはまらない。それゆえ、本発明は、線の一方の側に階段状のエッジを配置する半直線構造を用いる。

適当な線検出器はまた、１〜１０ピクセル幅の範囲のどこにおいても線を検出することができるであろう。スペックルおよびエッジとは対照的に、線ピクセルは一般的に、他の線ピクセルに隣接する。それゆえ、本発明は、ノイズをフィルタリングして削減し、より長い線構造の場合により高いスコアを生成する。

フィルタテンプレートは、その検出する方向に沿って引き延ばされる。しかしながら、通常はエッジ検出の直交対によって果たされるように、そのようなテンプレートを２つしか用いない場合には、特に対角線上に向けられる線の場合に、線検出の精度が制限される。線の中心から離れたピクセルを含むために、フィルタテンプレートを、検出方向に対して垂直な方向に延長することができる。しかしながら、そのような延長は線の連続性を無視し、特にノイズが存在する場合に誤りをもたらす。

それゆえ、本発明はコンパスタイプの方向フィルタセットを用いる。そのフィルタセットは、種々の方向において複数の線フィルタを含む。ここで、コンパスは、バンク内の個別の各フィルタが異なる方向θにおいて動作し、セット全体が方向のフルスペクトル［０，π］を網羅することを意味する。Ｍ×Ｎカーネルの場合に、方向θにおいて動作する基本フィルタは以下の通りである。

ただし、ｉ＝０、．．．、Ｍであり、ｊ＝０、．．．、Ｎである。カーネルサイズＭ、Ｎは、一致するテンプレートの形状および幅を決定する。フィルタは中央付近ではより大きな値を有し、ノイズへの感度を下げる。１つの線は基本的には２つの対向するエッジによって構成されるので、フィルタｇは２つの、ゼロパディングされたエッジフィルタテンプレートｇ^ａおよびｇ^ｂを含み、以下の式のように、線の一方の側にある階段状のエッジを検出する。

半テンプレート応答から、フィルタｇ_ｉ毎の各ピクセルｐにおける線強度ｓ（ｐ，θ_ｉ）は以下のように判定される。

しかしながら、全ての線強度を融合させることに関する問題がある。角スペクトル［０，θ］の境界において曖昧であるために、方向角を直に合計し、平均することはできない。たとえば、方向角π−εおよびεを有する２つの線は同じ方向に存在する。それらの方向角を平均することにより、ε／２が与えられるが、それは両方の線に概ね垂直である。それゆえ、任意の直交するフィルタ対の場合に比較的大きな強度を有することは曖昧である。適合しないフィルタ結果を削除するために、かつ任意の数の線強度を融合するために、本発明は、線方向からベクトルへのマッピングを用いて、垂直な線強度が互いに反対になるようにする。

本発明による推論は、線方向が方向フィルタにより近づくとき、垂直なフィルタからの応答が減衰するはずであるというものである。この特性を利用して、最大の大きさを有するフィルタの方向を正確に選択する代わりに、コンパスフィルタ方向間に存在する線の方向を見つけることができる。垂直な応答が相殺されるようなフィルタ方向が表される場合には、全てのフィルタ応答を融合して、総計された線方向および強度を導出することができる。

本発明は、方向の角スペクトルを［０，π］から［０，２π］に、およびｓ（ｐ，θ_ｉ）→ｓ（ｐ，ω_ｉ）＝ｓ（ｐ，θ_ｉ）ｅ^ｊ２θｉに拡張する。ただし、ω_ｉ＝２θ_ｉであり、ｓ（ｐ，θ_ｉ）はｉ番目の方向テンプレートのための応答および方向である。それゆえ、垂直なフィルタ対は逆の方向に変換される。同様に、垂直でないフィルタ対は相関する。変換されたベクトルを加算することにより、本発明は、垂直なフィルタの応答を減算し、４重フィルタの場合に、以下の式のように、垂直でないフィルタ対の応答を増幅する。

結果として生成されるベクトルは、位相成分を半分にすることにより線に変換される。

これは、線の可能性を点毎に評価する。局所的な整合性を達成するために、各ピクセル位置における円形のウインドウ内でマッピングが実行される。そのウインドウ内の線方向が大きな分散を有するとき、上記のマッピングを適用することにより、線強度が減衰する。１に正規化した後に、線の大きさおよび線方向は以下の式として得られる。

ただし、（→）ｓ_ｍａｘは現在の画像の場合の最大線強度である。なお、（→）ｓは、ｓの上に→があることを表す。

テクスチャ特徴
局所的スペクトルに関係する高レベルのテクスチャ特徴Ｌ_{ｔｅｘｔｕｒｅ}３１５は、本発明の道路検出システムにおいて用いることができる。テクスチャ特徴は、１組の２次元ガボールフィルタで航空画像１０１をフィルタリングすることによって得られる。そのフィルタは線形であり、かつ局所的である。そのフィルタは、好ましい方向および好ましい空間周波数によって特徴付けられる。航空画像は、異なる好ましい方向および空間周波数を有し、空間周波数領域を適当に網羅する１組のガボールフィルタでフィルタリングされる。その際、テクスチャ特徴は特徴ベクトルフィールドから得られる。

画像Ｉ（ｘ，ｙ）１０１は、２次元ガボール関数ｇ（ｘ，ｙ）で畳み込まれ、以下のようなガボール特徴画像ｒ（ｘ，ｙ）が得られる。

３つの異なる好ましい空間周波数および８つの異なる好ましい方向を用いた結果として、２４個のガボールフィルタのバンクが構成される。それゆえ、本発明では、画像のピクセル毎に２４次元の高レベルのテクスチャ特徴ベクトルが得られる。

本発明による高レベルの特徴ベクトルを処理するのに２つの方法がある。１つの方法は、ローカルウインドウに関してベクトルの種々のモーメントを判定し、その後、それらのベクトルのモーメントを、対応する局所的エリアのためのテスクチャ識別特性として処理する。しかしながら、そのようなモーメント推定方法は、道路方向が変化する可能性があり、方向が異なる道路ではモーメントに基づくテクスチャ識別特性が異なるので、本発明による分類には適していない場合がある。

別の方法は、方向に依存しない複素モーメント特徴を用いる。ガボールフィルタバンクの複素モーメントは以下の式によって判定される。

式（１９）では、ガボールエネルギーは、対称フィルタλおよび非対称フィルタΘの組み合わせで定義される。式（２０）は複素モーメントを定義する。和ｍ＋ｎは、複素モーメントの次数と呼ばれ、テクスチャ内の支配的な方向の数に関係する。偶数の次数ｍ＋ｎを有する複素モーメントは、（ｍ＋ｎ）／２の支配的な方向を有するテクスチャを区別する能力を有する。それゆえ、本発明では、２つの特徴、すなわち式（２１）においてｍ＝１、ｎ＝１およびｍ＝２、ｎ＝０（ｍ＝０、ｎ＝２と同じ）に対応する２次のモーメントＣ_１１およびＣ_２０を用いて、単一の支配的な方向を有するテクスチャを検出する。

図７Ａは入力画像を示し、図７ＢはモーメントＣ_１１の場合の対応するテクスチャ画像を示し、図７ＣはモーメントＣ_２０の場合の対応するテクスチャ画像を示す。したがって、複素モーメントは、方向を何も指定することなく、テクスチャ識別特性として処理されることができる。ガボールフィルタバンクで畳み込むという複雑な処理は、周波数領域において高速フーリエ変換（ＦＦＴ）および相補的な逆ＦＦＴで畳み込むことにより緩和することができる。

分類
分類３２０は線形または非線形にすることができる。

線形分類器
線形分類器は、全ての高レベルの特徴に対応する全ての確率画像の重み付けされた組み合わせである。本発明は、以下の式の全ての内積を形成する重みベクトルｗを判定する。

ただし、ｌ_ｉは対応するピクセルに割り当てられる確率である。その確率は、以下に記載されるように、投票方式または重み付け平均によって割り当てることができる。

分類器３２０によって用いられる全ての高レベルの特徴は、スライディングローカルウインドウによって判定される。それゆえ、各ピクセルは特徴ベクトルｆを割り当てられる。そのピクセルに割り当てられるラベルｌは、そのピクセルが、見込まれる道路エリアの確率画像３２１を得るための道路の一部である確率である。本発明では、１組の線形方程式に対する解を求めるという問題に置き換わり、その方程式は最小二乗誤差（ＭＳＥ）および擬似反転によって解くことができる。

トレーニングデータに基づいて、本発明は、ｎ×ｄ行列Ｙを用いることにより、その問題を公式化し直す。その行列内のｉ番目の行は高レベルの特徴ベクトルｆ_ｉである。列ベクトルｂは、トレーニングデータの分類されたラベルを含む。列ベクトルｗは、種々の高レベルの特徴のための重みを含む。本発明は、全てのトレーニングデータに関するＭＳＥ解を用いることにより、線形分類器の重みベクトルｗを決定する。それゆえ、以下の式が成り立つ。

ピクセルを分類するために、サポートベクトルマシン（ＳＶＭ）を用いることもできることに留意されたい。

非線形分類器
非線形分類器は、多層ニューラルネットワーク（ＭＬＮ）として構成することができる。ＭＬＮは、非線形マッピングを支配するパラメータが線形識別を支配するパラメータと同時に学習されるという概念に基づく。本発明は３層ネットワークを使用し、逆伝搬を用いて、ネットワークの係数をトレーニングする。入力層は１３個のノードを有する。中間層には２０個の隠れノードがあり、出力層には１つのノードがある。

特徴正規化
全ての異なる高レベルの特徴の値を１つの共通の確率画像に変換するために、本発明では、全ての高レベルの特徴の値を、実数の同じ確率範囲、たとえば０〜１の範囲の確率に正規化する必要がある。本発明では、後に式（２６）に示されるように、１組のマッピング関数Ｆ_ｉでこれを果たす。マッピング関数（２６）は線形関数および非線形関数を含む。

或る特定のピクセル（ｘ，ｙ）の場合に、列ベクトルはｆ（ｘ，ｙ）であり、ｆ（ｘ，ｙ）∈Θであると仮定される。各要素ｆ_ｉはｉ番目の高レベルの特徴値である。ベクトルｐ（ｘ，ｙ）は確率画像内のピクセル毎の確率を含み、ｐ∈Ψのようになる。こうして、以下の式が定義される。

確率画像を作成するための各マッピング関数は、以下の１組の式によって定義される。

本発明は例示として好ましい実施形態によって説明されてきたが、本発明の精神および範囲内で種々の他の改変および変更を行うことができることは理解されたい。それゆえ、添付の特許請求の範囲の目的は、本発明の真の精神および範囲に入るような全てのそのような変形および変更を網羅することである。

航空画像において道路を検出するための本発明による方法の流れ図である。 図１Ａの方法の先行処理ステップの流れ図である。 本発明による方向画像を示す図である。 図４の方法の処理ステップの流れ図である。 本発明によるエッジ画像の図である。 本発明による輪郭画像の図である。 本発明による道路色ヒストグラムの図である。 例示的な航空画像の図である。 対応するテクスチャ画像を示す図である。 対応するテクスチャ画像を示す図である。

Claims (15)

1. 地形の航空画像において道路を検出する方法であって、
   前記地形の前記航空画像内のピクセル毎に低レベルの特徴を判定すること、
   前記低レベルの特徴からピクセル毎に中間レベルの特徴を判定すること、
   各ピクセル上に、各ピクセルに隣接するピクセルを含む第１のウインドウを配置すること、
   前記第１のウインドウ内の全ての前記ピクセルの前記中間レベルの特徴から、前記第１のウインドウ内の全ての前記ピクセルのための高レベルの特徴を判定すること、
   及び
   前記高レベルの特徴に基づいて前記各ピクセルに、前記ピクセルが道路に関連付けられる可能性を示す単一の確率を割り当てること
   を含む地形の航空画像において道路を検出する方法。
2. 前記低レベルの特徴は、前記ピクセルの強度値及び前記強度値の勾配であり、
   前記中間レベルの特徴は、前記地形の視覚的特性に関係する方向、エッジ及び輪郭を含み、
   前記高レベルの特徴は、方向、輪郭、色、線及びテクスチャ特徴を含む
   請求項１記載の方法。
3. 前記視覚的特性は、前記地形の物理的特性に関係し、前記物理的特性は、幾何学的特性、テクスチャ特性及びコンテクスト特性を含む
   請求項２記載の方法。
4. 各ピクセルを適応的な２Ｄガウシアンローパスウィーナフィルタにかけることにより、先行処理ステップにおいて前記航空画像をフィルタリングすることをさらに含み、前記ピクセルは５×５の隣接するピクセルを用いて、各ピクセルの局所的な勾配の平均値及び標準偏差を推定する
   請求項１記載の方法。
5. 前記航空画像を重複しないブロックに分割すること、
   及び
   各ブロック内の各ピクセルの方向を判定することをさらに含む
   請求項１記載の方法。
6. 前記確率は、確率画像を形成し、
   メジアンフィルタで前記確率画像をフィルタリングすることをさらに含む
   請求項１記載の方法。
7. 前記低レベルの特徴は、前記ピクセルの強度値を含み、
   前記ピクセルの前記強度値をフィルタリングすること、
   前記各ピクセルの局所的な強度勾配を判定すること、
   前記局所的な強度勾配から勾配の大きさの画像を作成すること、
   及び
   前記勾配の大きさをフィルタリングし、方向画像を作成することをさらに含み、
   前記方向画像内の各ピクセルは１つの方向を有する
   請求項１記載の方法。
8. 前記第１のウインドウは、重複する
   請求項１記載の方法。
9. 前記勾配の大きさの画像から、エッジピクセルを含むエッジ画像を作成すること、
   及び
   前記エッジ画像から輪郭画像を作成することをさらに含む
   請求項７記載の方法。
10. 前記局所的な強度勾配を用いて各ピクセルの中心に配置される第２のウインドウ内で方向ヒストグラムを作成すること、
    及び
    前記エッジピクセルを接続することにより輪郭を作成することをさらに含む
    請求項９記載の方法。
11. 前記第２のウインドウにそれぞれ関連付けられる前記方向ヒストグラムは、０〜πラジアンの範囲内に１２ビンを有し、前記ラジアンは、前記エッジピクセルに対応する
    請求項１０記載の方法。
12. 第１の高レベルの特徴は、前記方向ヒストグラムの最大値であり、
    第２の高レベルの特徴は、前記方向ヒストグラムのエントロピーであり、
    第３の高レベルの特徴は、重み付けされた方向ヒストグラムのエントロピーであり、
    第４の高レベルの特徴は、前記方向ヒストグラムの平均値であり、
    第５の高レベルの特徴は、前記方向ヒストグラムの分散であり、
    第６の高レベルの特徴は、前記方向ヒストグラムと道路の理想化された単一モードの密度関数モデルとの間の類似度の指標であり、
    第７の高レベルの特徴は、重み付けされた類似度の指標である
    請求項１１記載の方法。
13. 前記高レベルの特徴に関連付けられる値を、正規化された確率の共通の範囲に正規化することをさらに含む
    請求項１記載の方法。
14. 前記正規化は、線形関数及び非線形関数を用いる
    請求項１３記載の方法。
15. 前記単一の確率を各ピクセルに割り当てることは、
    ピクセル毎に前記高レベルの特徴の前記正規化された確率を総計することをさらに含む
    請求項１３記載の方法。

Images