JP2017130067A - 衛星映像の位置正確度改善のための自動映像処理システム及びその方法 - Google Patents

Abstract

【課題】衛星映像の位置正確度改善のための自動映像処理システム及びその方法を提供する。【解決手段】自動映像処理システムは、収集対象人工衛星の映像を収集する衛星映像収集部、収集される新規衛星映像である対象映像を保存する衛星映像保存部、マッチングの基準になる衛星映像である基準映像を保存する基準衛星映像保存部、前記基準映像及び対象映像のそれぞれに対して１つ以上の対応点を抽出する対応点抽出部、マッチング対抽出のためのパラメータを決定するパラメータ決定部、前記対応点のうち前記決定されたパラメータによってマッチング対を抽出するマッチング対抽出部、及び前記マッチング対を用いてアフィン変換（ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍ）係数を推定し、前記推定されたアフィン変換係数を用いて前記対象映像の特徴点の座標を前記基準映像の座標体系に変換する座標変換部を含む。【選択図】図１

Description

本発明は、衛星映像を処理するシステム及びその方法に関し、より具体的には、基準になる衛星映像と対象になる衛星映像の映像特性を反映した変換とマッチングプロセスを通じて衛星映像の位置正確度を改善する自動映像処理システム及びその方法に関する。

一般に、衛星映像処理システムでは対象物体の映像を取得した後、映像分析を行うが、そのためには正確な位置情報が必要となる。衛星映像から取得できる多様な情報のうち、位置情報を含む結果物の正確度及び精密度は映像の幾何正確度に基づいて決定されると言える。

しかし、人工衛星で収集した映像データは、衛星の位置と姿勢の変化、衛星の速度変化、走査範囲と走査鏡の回転速度の変化、地球の自転、地図投影法などの多様な原因によって幾何学的に歪曲するが、このような歪曲現象のうち映像資料間の絶対位置の差を示す幾何学的な反り現象が最も大きいと言える。

このような幾何学的反りは映像内の各点の位置変動を意味するが、このように反った映像を平面上に存在する既存の地形図と重ね合わせるためには、人工衛星の映像に示される各点の位置を地形図と同じ大きさと投影値になるように変換する過程が必要となる。

このような変換過程を幾何学的補正（Ｇｅｏｍｅｔｒｉｃ Ｃｏｒｒｅｃｔｉｏｎ）と称し、このような過程を経なければ地図を通じて普段見る安定的な形態の映像を生成することができない。

このような映像補正プロセスは、例えば、映像資料を気象または海洋などの他の衛星資料と対応させる場合、映像資料を用いてデータベースを駆逐する場合、映像を分類した後面積などの計量的統計量を算出する場合、隣接した映像とモザイキングする場合、地図製作などの作業を行う場合などのような多様なプロセスに必須に伴うことが望ましい。

衛星映像の幾何歪曲を補正する方法としては、大きく２つの方法が挙げられる。その１つは衛星の位置と姿勢、軌道及びセンサーの特性、地球の形態と運動特性を考慮して映像データを供給する機関で行う系統的幾何補正方法であり、もう１つはユーザが映像と参照資料から識別可能な地上基準点（ＧＣＰ：Ｇｒｏｕｎｄ Ｃｏｎｔｒｏｌ Ｐｏｉｎｔ）を選定して使用し、映像と参照資料上の位置関係とを示す座標変換式を誘導した後、変換式を用いて映像を参照資料の位置関係に再配列して補正する方法である。

映像分析のための正確な位置情報を取得するため、衛星映像供給機関で提供する多様な位置決定変数データを用いて幾何補正を行う場合、衛星映像の位置決定のためのパラメータの精密度の限界などによって幾何正確度が低下する問題が生じ得る。

これに関連して韓国特許公開第１０−２０１０−０００８８８６号公報にＳＩＦＴ（Ｓｃａｌａｒ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）アルゴリズムを用いた衛星映像間の自動幾何補正方法が開示されている。しかし、この方法による場合、対応点検出時に不適切な多くの対応点が一緒に検出される誤謬が頻繁に発生し、そのことから映像補正のプロセス時間が不要に長くなり、ひいては幾何正確度が低下する問題が生じる。

したがって、衛星映像に対するサブピクセル（衛星映像空間解像度の半分以下程度の空間解像度）レベルの幾何正確度を達成するためには、高精密基準映像の確保とは独立的に対象映像と基準映像を活用して一層精密に映像を補正する方法が求められると言える。

韓国特許公開第１０−２０１０−０００８８８６号公報

本発明は、上記問題点を解決するためになされたものであり、同じ空間解像度を有する衛星映像間に映像マッチング方法を用いて幾何正確度を自動的に一層精密に確保する方法、及びそれを行うシステムを提供することを目的とする。

上記課題を達成するため、本発明による衛星映像の位置正確度改善のための自動映像処理システムは、収集対象人工衛星の映像を収集する衛星映像収集部；収集される新規衛星映像である対象映像を保存する衛星映像保存部；マッチングの基準になる衛星映像である基準映像を保存する基準衛星映像保存部；前記基準映像及び対象映像のそれぞれに対して１つ以上の対応点を抽出する対応点抽出部；マッチング対抽出のためのパラメータを決定するパラメータ決定部；前記対応点のうち前記決定されたパラメータによってマッチング対を抽出するマッチング対抽出部；及び前記マッチング対を用いてアフィン変換（ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍ）係数を推定し、前記推定されたアフィン変換係数を用いて前記対象映像の特徴点の座標を前記基準映像の座標体系に変換する座標変換部を含んで構成することができる。

ここで、本発明の前記対応点抽出部は、前記基準映像及び対象映像のそれぞれに対してＳＵＲＦ（Ｓｐｅｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）アルゴリズムを適用して前記１つ以上の対応点を抽出するように構成することが望ましい。また、本発明の前記マッチング対抽出部は、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）アルゴリズムを用いてマッチング対を抽出するように構成することが望ましい。

より望ましい実施形態を具現するため、本発明は区間的線形関数を用いて前記基準映像及び対象映像それぞれのドロネー三角分割（Ｄｅｌａｕｎａｙ ｔｒｉａｎｇｕｌａｔｉｏｎ）を生成し、前記生成された基準映像のドロネー三角分割と対象映像のドロネー三角分割との関係を用いて前記対象映像の各画素の座標を前記基準映像の座標体系に幾何補正する幾何補正部をさらに含むことができる。

本発明の他の課題を達成するため、本発明による衛星映像の位置正確度改善のための自動映像処理方法は、収集対象人工衛星の映像を収集する衛星映像収集段階；収集される新規衛星映像である対象映像を保存する衛星映像保存段階；マッチングの基準になる衛星映像である基準映像を保存する基準衛星映像保存段階；前記基準映像及び対象映像のそれぞれに対して１つ以上の対応点を抽出する対応点抽出段階；マッチング対抽出のためのパラメータを決定するパラメータ決定段階；前記対応点のうち前記決定されたパラメータによってマッチング対を抽出するマッチング対抽出段階；及び前記マッチング対を用いてアフィン変換係数を推定し、前記推定されたアフィン変換係数を用いて前記対象映像の特徴点の座標を前記基準映像の座標体系に変換する座標変換段階を含んで構成することができる。

本発明による衛星映像の位置正確度改善のための自動映像処理システム及びその方法は、自動で映像を収集し、同じ空間解像度を有する衛星映像間に映像マッチング方法を用いて幾何正確度を自動で補正することで、衛星映像の判読及び分析正確度を向上させることができ、幾何補正アルゴリズムの再現性を高めて、処理速度を向上させて製品の性能改善を一層加速化させることができる。

本発明の望ましい一実施例による衛星映像の位置正確度改善のための自動映像処理システムの詳細構成を示したブロック図である。 本発明の望ましい一実施例による衛星映像の位置正確度改善のための自動映像処理方法のプロセス過程を示したフロー図である。 本発明の望ましい一実施例によるＳＵＲＦアルゴリズムを説明するための図である。 本発明の望ましい一実施例によるＲＡＮＳＡＣアルゴリズムを説明するための図である。 本発明の望ましい一実施例による効果を説明するための図である。

以下、添付された図面を参照して本発明の望ましい実施例を詳しく説明する。これに先立ち、本明細書及び請求範囲に使われた用語や単語は通常的や辞書的な意味に限定して解釈されてはならず、発明者自らは発明を最善の方法で説明するために用語の概念を適切に定義できるという原則に則して本発明の技術的な思想に応ずる意味及び概念で解釈されねばならない。

図１は、本発明の望ましい一実施例による衛星映像の位置正確度改善のための自動映像処理システム（以下、「自動映像処理システム」と称する）１００の詳細構成を示したブロック図である。

図１に示されたように本発明の自動映像処理システム１００は、衛星映像収集部１１０、衛星映像保存部１２０、基準衛星映像保存部１３０、対応点抽出部１４０、パラメータ決定部１５０、マッチング対抽出部１６０、座標変換部１７０及び幾何補正部１８０を含んで構成することができる。

本発明で用いられる人工衛星の映像は、各人工衛星で取得して伝送する光学映像に該当する。本発明の衛星映像収集部１１０は、このような衛星映像の伝送を受けて収集（図２のＳ２００）し、伝送された衛星映像を衛星映像保存部１２０に伝達する。伝達された衛星映像は本発明の衛星映像保存部１２０に保存され（Ｓ２１０）、本発明の衛星映像保存部１２０は収集された衛星映像の初期データ（ｒａｗ ｄａｔａ）を保存する。以下、このように新たに伝送された衛星映像を対象映像と称する。

これに対し、前記対象映像と対比する基準になり、後述するプロセスなどの基準になる映像である基準映像は、本発明の基準衛星映像保存部１３０に保存される。

本発明の対応点抽出部１４０は、マッチングの基準になる基準映像（Ｒｅｆｅｒｅｎｃｅ ｉｍａｇｅ）とマッチングの対象になる対象映像（Ｓｅｎｓｅｄ ｉｍａｇｅ）それぞれに対してＳＵＲＦアルゴリズムを適用して対応点を抽出する（Ｓ２２０）。

ＳＵＲＦアルゴリズムは、ガウススケールスペース（Ｇａｕｓｓｉａｎ ｓｃａｌｅ ｓｐａｃｅ）上で特徴点を探す方法であり、下記数式１で表すことができる。

上記数式において、
は近似ヘッセ行列（Ａｐｐｒｏｘｉｍａｔｅ Ｈｅｓｓｉａｎ Ｍａｔｒｉｘ）を意味し、Ｄはガウスカーネル（Ｇａｕｓｓｉａｎ Ｋｅｒｎｅｌ）の２次偏導関数（ｓｅｃｏｎｄ ｏｒｄｅｒ ｐａｒｔｉａｌ ｄｅｒｉｖａｔｉｖｅ）の近似式を意味し、それぞれの近似式はフィルターの形態で映像にコンボリューション（ｃｏｎｖｏｌｕｔｉｏｎ）される。Ｄ_ｘｘ、Ｄ_ｘｙ、Ｄ_ｙｙは、前記近似式に代入される入力映像の選択変数（ピクセル値）である。

上述したように、ＳＩＦＴなどのような従来の映像マッチング技法を使用して対応点を検出する場合、不適切な多くの対応点が一緒に検出される誤謬が発生する可能性が高く、さらにマッチング対抽出のための後続プロセス（ＲＡＮＳＡＣアルゴリズム）の実行時間を長くし、幾何正確度も低下する問題を引き起こす。

本発明の対応点抽出部１４０は、特徴点情報を用いて正規化領域を生成し、正規化領域を対象にして勾配ヒストグラム（ｇｒａｄｉｅｎｔ ｈｉｓｔｏｇｒａｍ）を演算する。ＳＵＲＦアルゴリズムは、対応点を検出するものと表現するものに大別されるが、ＳＵＲＦアルゴリズムはイメージ映像の対応点検出過程で数式１で表された近似ヘッセ行列の行列式を用いてイメージ映像の縁部如何を判断する。

一方、図３に示されたように、フィルターはスケールが一定に増加するため、多様なスケールの縁部または角部を検出することができる。

その後、本発明の対応点抽出部１４０は、検出された特徴点（対応点）位置周辺の画素値を用いて特徴点の方向を計算する。このとき、生成された多数のベクトルのうち最も大きいベクトルの方向を対応点の方向として決定する。このように方向が計算された対応点は、最終的にベクトル形態の記述子で構成されて対応点自体を表すようになる。

このように基準映像及び対象映像の対応点が抽出された後、本発明のパラメータ決定部１５０は、後述されるマッチング対抽出部１６０で最適の対応点またはマッチング対を求めるために要求される勾配（ｇｒａｄｉｅｎｔ）の配列、方向成分を選択する。

本発明のマッチング対抽出部１６０は、ＲＡＮＳＡＣアルゴリズムを用いる。ＲＡＮＳＡＣアルゴリズムは、測定ノイズの多い原本データから適切なモデルパラメータを予測する方法であって、これを通じてホモグラフィ行列（Ｈｏｍｏｇｒａｐｈｙ Ｍａｔｒｉｘ）を生成する。

図４に示されたように、ＲＡＮＳＡＣアルゴリズムは他のアルゴリズムに比べて特定エラー（誤マッチング対抽出率）領域における損失（ｌｏｓｓ）が理想的な形態を有するため、一層実効性の高いマッチング対を抽出することができる。

前記ＲＡＮＳＡＣアルゴリズムは、全体の対応点候補からホモグラフィ行列を決定するために必要な最小限の対応点をランダムにサンプリングしながら繰り返される過程を通じて最適のマッチング対を算出する（Ｓ２３０）。ＲＡＮＳＡＣアルゴリズムの実行フローは次のようである。

（１）全体対応点候補からＮ（Ｎは１以上の自然数）個のサンプル対応点を取得する。
（２）取得したサンプル対応点を真値（ｔｒｕｅ ｖａｌｕｅ）と仮定し、ホモグラフィ行列を予測する。
（３）予測されたホモグラフィ行列の真値如何を判断する。
（４）真値ではない場合、前記（１）ないし（３）の過程を繰り返す。

このようにフィルタリングされた対応点を使用して映像間の相対的位置を確認し、ホモグラフィ行列を求めた後、映像を変換する過程を行うようになる。

本発明の座標変換部１７０は、最小二乗法に基づいた異常値除去過程を通じて、マッチング対抽出部１６０から抽出されたマッチング対のうち誤マッチング対を再度除去するプロセスを行う。また、誤マッチング対を除去した後、残りのマッチング対を用いてアフィン変換係数を推定算出する（Ｓ２４０）。

また、本発明の座標変換部１７０は、アフィン変換係数が算出されれば、算出されたアフィン変換係数を用いて対象映像のすべての特徴点の座標を基準映像の座標に変換する（Ｓ２５０）。

以下、本発明の座標変換部１７０のプロセスをより具体的に説明する。

上述したアフィン変換は、ｘ、ｙ軸に対するスケール、非直交性（ｎｏｎ−ｏｒｔｈｏｇｏｎａｌｉｔｙ）、回転、対称移動でマッチング対間の関係を表すが、これを整理すれば、下記数式２のように表される。

上記数式において、ｘ、ｙは基準映像のマッチング対座標であり、Ｘ、Ｙはそれに対応する対象映像のマッチング対座標を意味する。また、ａ_０、ａ_１、ａ_２、ｂ_０、ｂ_１、ｂ_２は独立したアフィン変換係数を意味する。６個のアフィン変換係数を算出するためには最小３個のマッチング対が必要であり、それ以上のマッチング対が存在する場合、最小二乗法を用いてアフィン変換係数を推定することができる。

ＳＵＲＦ技法で抽出されたマッチング対の場合、誤マッチング対が存在し得るため、それを除去する過程を追加的に行うことが望ましい。

すなわち、本発明の座標変換部１７０は、最小二乗法を用いて算出したアフィン変換係数をマッチングされた対象映像のすべての特徴点に適用することで、それに対応する基準映像の特徴点との距離差を判断する二乗平均平方根（ＲＭＳＥ、Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）を演算し、このような演算を通じて算出されたＲＭＳＥのうち最大のＲＭＳＥを有するマッチング対を誤マッチング対と判断して除去する（Ｓ２６０）。

本発明の座標変換部１７０は、マッチング対抽出部１６０から抽出されたマッチング対から誤マッチング対と判断されるマッチング対が除去されれば、残りのマッチング対をもって再度アフィン変換係数を更新する過程を繰り返す。また、誤マッチング対除去の過程を繰り返すことで、すべてのマッチング対のＲＭＳＥが特定閾値より低くなれば、現在の係数を最終アフィン変換係数と推定する。

本発明の座標変換部１７０は、このように最終的に推定されたアフィン変換係数を用いて対象映像のすべてのマッチング点の座標を基準映像の座標に変換する。

以下、本発明の幾何補正部１８０のプロセスを詳しく説明する。

高度が高いか又は高度変化が激しい地域は、センサーの撮影方式によって多くの起伏変位が生じ得る。特に、中低解像度の映像より高解像度の映像でこのような起伏変位は一層目立つ傾向がある。このように起伏変位が生じた２つの映像をアフィン変換や多項式関数（ｐｏｌｙｎｏｍｉａｌ ｆｕｎｃｔｉｏｎ）のような線形変換式で幾何補正する場合、歪曲補正には限界がある。

したがって、本発明の幾何補正部１８０は、線形式と非線形式とを組み合わせた形態である全域的／地域的変換モデル式（ｇｌｏｂａｌ／ｌｏｃａｌ ｍａｐｐｉｎｇ ｆｕｎｃｔｉｏｎ）を用いて、２つの映像が有する幾何学的な差を最小化するプロセス（Ｓ２７０）を行うように構成される。

具体的に本発明の幾何補正部１８０は、地域的変換モデル式として区間的線形関数（ｐｉｅｃｅｗｉｓｅ ｌｉｎｅａｒ ｆｕｎｃｔｉｏｎ）を使用し、区間的線形関数は映像間のマッチング対を用いてドロネー三角分割を構成する。また、幾何補正部１８０は、構成されたドロネー三角分割のそれぞれに対してアフィン変換係数を算出し、それを用いて２つの映像間の変換を行う。

ドロネー三角分割の規則によれば、３つの特徴点で構成された基準映像の三角網とそれに対応する対象映像の三角網との関係をアフィン変換を通じて表すことができ、また、アフィン変換係数を用いて三角網内に存在する対象映像のすべての画素の座標を基準映像の座標体系に変換することができる。

本発明の幾何補正部１８０は、このような変換過程をすべての三角網に対して繰り返して行い、このようなプロセスによって各三角網の相異なる係数を有するアフィン変換を通じて対象映像が基準映像の座標に幾何補正される。

図５の左上段に示されたイメージは、基準映像イメージであり、右側に示されたイメージは新規に取得される対象映像であり、右下段の四角領域に含まれたイメージは上述した本発明の方法による座標変換及び幾何補正が完了し、マッチングされた映像に該当する。

以上のように、本発明を限定された実施例と図面によって説明したが、本発明はこれに限定されるものではなく、本発明の属する技術分野で通常の知識を有する者によって本発明の技術思想と特許請求の範囲の均等範囲内で多様な修正及び変形が可能であることは言うまでもない。

１００ 本発明の自動映像処理システム
１１０ 衛星映像収集部
１２０ 衛星映像保存部
１３０ 基準衛星映像保存部
１４０ 対応点抽出部
１５０ パラメータ決定部
１６０ マッチング対抽出部
１７０ 座標変換部
１８０ 幾何補正部

Claims (5)

1. 収集対象人工衛星の映像を収集する衛星映像収集部と、
   収集される新規衛星映像である対象映像を保存する衛星映像保存部と、
   マッチングの基準になる衛星映像である基準映像を保存する基準衛星映像保存部と、
   前記基準映像及び対象映像のそれぞれに対して１つ以上の対応点を抽出する対応点抽出部と、
   マッチング対抽出のためのパラメータを決定するパラメータ決定部と、
   前記対応点のうち前記決定されたパラメータによってマッチング対を抽出するマッチング対抽出部と、
   前記マッチング対を用いてアフィン変換係数を推定し、前記推定されたアフィン変換係数を用いて前記対象映像の特徴点の座標を前記基準映像の座標体系に変換する座標変換部と、を含むことを特徴とする衛星映像の位置正確度改善のための自動映像処理システム。
2. 前記対応点抽出部は、
   前記基準映像及び対象映像のそれぞれに対してＳＵＲＦ（Ｓｐｅｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）アルゴリズムを適用して前記１つ以上の対応点を抽出することを特徴とする請求項１に記載の衛星映像の位置正確度改善のための自動映像処理システム。
3. 前記マッチング対抽出部は、
   ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）アルゴリズムを用いてマッチング対を抽出することを特徴とする請求項１に記載の衛星映像の位置正確度改善のための自動映像処理システム。
4. 区間的線形関数を用いて前記基準映像及び対象映像それぞれのドロネー三角分割を生成し、前記生成された基準映像のドロネー三角分割と対象映像のドロネー三角分割との関係を用いて前記対象映像の各画素の座標を前記基準映像の座標体系に幾何補正する幾何補正部をさらに含むことを特徴とする請求項１に記載の衛星映像の位置正確度改善のための自動映像処理システム。
5. 収集対象人工衛星の映像を収集する衛星映像収集段階と、
   収集される新規衛星映像である対象映像を保存する衛星映像保存段階と、
   マッチングの基準になる衛星映像である基準映像を保存する基準衛星映像保存段階と、
   前記基準映像及び対象映像のそれぞれに対して１つ以上の対応点を抽出する対応点抽出段階と、
   マッチング対抽出のためのパラメータを決定するパラメータ決定段階と、
   前記対応点のうち前記決定されたパラメータによってマッチング対を抽出するマッチング対抽出段階と、
   前記マッチング対を用いてアフィン変換係数を推定し、前記推定されたアフィン変換係数を用いて前記対象映像の特徴点の座標を前記基準映像の座標体系に変換する座標変換段階と、を含むことを特徴とする衛星映像の位置正確度改善のための自動映像処理方法。