JP2001243450A

JP2001243450A - 衛星画像のタイポイント検出方法及びその装置並びに記録媒体

Info

Publication number: JP2001243450A
Application number: JP2000054671A
Authority: JP
Inventors: Hideaki Nagamine; 英朗長峰
Original assignee: NTT Data Creation KK
Current assignee: NTT Data Creation KK
Priority date: 2000-02-29
Filing date: 2000-02-29
Publication date: 2001-09-07

Abstract

(57)【要約】【課題】複数の衛星画像間のタイポイントを効率的な
手順によって迅速に検出し、かつ、衛星画像の種々の歪
みを適切に補正する。【解決手段】画像の平行移動、縮尺、回転及び剪断、
射影による変形状態等のパラメータを含む変換式によ
り、マスタ画像Ａの位置とスレーブ画像Ｂの位置を同次
座標で表現する。そして、いくつかのパラメータの値
を、それらパラメータを座標軸とするパラメータ空間に
おける対角線又はそれに平行な直線に沿った経路上で変
化させつつ、相互相関係数を演算して当該経路における
最大位置を求める。この処理を順次新たな経路を設定し
て繰り返し、相互相関係数の最大位置を最短ルートで探
索して最適なパラメータ値を求め、それに基づいてタイ
ポイント座標を求める。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の衛星画像を
マッチングさせるためのタイポイントを検出する技術に
係り、特に、衛星画像間の相互相関からタイポイントを
高速で検出する技術に関する。

【０００２】

【従来の技術】人工衛星には姿勢や軌道に誤差があるた
め、地上の同一地域を同一条件下で撮影することは一般
に困難となっており、その撮影によって得られる衛星画
像には種々の歪みが生じる。このため、衛星によって撮
影された画像を処理するリモートセンシングの分野にお
いては、複数の衛星画像中（又はそれらの一部のチップ
画像中）で同一地点を検出し、当該同一地点を基準に画
像を重ね合わせることによってマッチングしたステレオ
ペア画像を作成することが行われており、そのステレオ
ペア画像に基づいてＤＥＭ（Digital Elevation Model
（数値標高モデル））やオルソ画像等が作成されてい
る。

【０００３】かかるステレオペア画像の作成において、
タイポイントとする同一地点を検出する従来の技術とし
ては、衛星画像間の相互相関係数を総当たりで演算して
最大値を探索する手法がある。すなわち、図７に示すよ
うに、マスタ画像Ａに対するスレーブ画像Ｂの位置を縦
方向と横方向についてそれぞれ１ピクセルずつ平行移動
させながら画素値の相互相関係数を演算していく。この
相互相関演算を行うと、縦方向、横方向のそれぞれの移
動量（画像間のずれ）に応じた相互相関係数の値が図８
に示すように得られる。

【０００４】そして、図８中の符号ＰMで示す相互相関
係数が最大になる位置（マスタ画像Ａに対するスレーブ
画像Ｂのずれの位置）を求め、当該位置ＰMを画像マッ
チングのためのタイポイントとして検出する。この場
合、相互相関係数は、マスタ画像とスレーブ画像とが一
致しない位置ではほとんど０に近い値をとるが、一致す
る位置に近づくにつれて急激に大きくなり、その一致す
る位置でのみ最大になるものと仮定される。

【０００５】

【発明が解決しようとする課題】ところで、衛星画像の
上記歪みによる位置のずれは大きく、同一地点を観測し
ようとした衛星画像であっても大幅に位置がずれてしま
う場合が多い。例えば、ステレオペア画像の作成用に同
一地点を観測した一般的な衛星画像は、縦方向に４００
ピクセル程度、横方向に１０００ピクセル程度ずれるこ
とも珍しくない。

【０００６】これに対し、上記従来のタイポイント検出
手法では、画像間の位置ずれを１ピクセルずつ変化させ
て総当たりで相互相関係数の最大位置を求めるので、少
なくともその最大位置に至るまで縦方向と横方向それぞ
れの１ピクセル毎のずれに応じた相互相関係数を逐次演
算していくことになる。従って、従来のタイポイント検
出手法は、対象とする画像間に生じているずれの面積
（ピクセル数）に比例して必要な相互相関係数の演算量
が増大するものとなっている。

【０００７】このため、従来のタイポイント検出手法に
おいては、位置が大幅にずれた衛星画像に適用しようと
すると相互相関係数の演算量が膨大となり、計算機によ
る処理が困難になるという問題があった。例えば、上述
のように縦が４００ピクセル、横が１０００ピクセルず
れていると、少なくとも４００×１０００＝４０万回も
相互相関係数を求める必要があり、その演算処理に膨大
な時間を要することから、計算機によって自動的にタイ
ポイントを検出するのは非実用的であることの方が多か
った。

【０００８】このように、従来のタイポイント検出手法
は、演算量が多すぎて実用的に対応できるものとはなっ
ていなかった。このため、従来におけるステレオペア画
像の作成では、人手によって同一地点を直に探索して画
像マッチングを行っているのが実情であった。

【０００９】又、このようなことから、画像マッチング
を伴う種々の衛星画像処理において人手を必要とし、大
量の画像を処理することが困難であるという問題があっ
た。例えば、異なる波長のカメラで同一地点を観測した
複数の衛星画像を重ね合わせるバンド間レジストレーシ
ョンにおいては、一般的なものでも４バンド、近年のハ
イパースペクトラル画像と呼ばれるものでは２００バン
ドもの波長の画像を重ね合わせる必要があり、そのため
の画像マッチング処理を事実上人手によって行わなけれ
ばならず、多大な労力と時間を費やさなければその後の
画像解析ができないという問題があった。

【００１０】更に、衛星画像における上記歪みは、実際
には縦方向や横方向の位置ずれだけには止まらない。す
なわち、人工衛星には軌道に誤差があり、傾きや回転等
の姿勢の変化も生じるため、撮影される衛星画像は拡大
ないし縮小されたり、射影状態の変化によって変形した
り、回転や剪断が生じたりする。ところが、上記従来の
タイポイント検出手法は、これらを考慮した上でタイポ
イントを検出するものとはなっていないので、種々の要
因によって変形している複数の衛星画像を適切に補正す
ることはできず、精確な画像マッチングを行うには更な
る幾何補正を必要とするという問題もあった。

【００１１】本発明はこのような事情に鑑みてなされた
もので、複数の衛星画像間のタイポイントを効率的な手
順によって迅速に検出することができると共に、衛星画
像において生じる種々の歪みを適切に補正することがで
き、計算機による自動タイポイント検出の実用化や実際
の人工衛星の状態を考慮した精確な画像マッチングの実
現等を可能とする衛星画像のタイポイント検出技術を提
供することを目的とする。

【００１２】

【課題を解決するための手段】請求項１記載の発明は、
各々座標値に特定の変化を与える複数のパラメータによ
り、複数の衛星画像の対応位置関係を規定する第１の過
程と、前記複数のパラメータを座標軸とする空間におい
て、いずれかの対角線上で前記複数の衛星画像間の相互
相関係数を最大にするパラメータ値の点を求める第２の
過程と、前記空間において、前回の過程で利用した対角
線とは別の対角線を利用し、前回の過程で求めた点を通
り、かつ、当該別の対角線に平行な直線上で、前記相互
相関係数を最大にするパラメータ値の点を求める第３の
過程とを有し、前記第１及び第２の過程の後に前記第３
の過程を実行し、その後、前記第３の過程を繰り返すこ
とにより、前記空間において前記相互相関係数を最大に
するパラメータ値の点を求め、前記複数のパラメータが
当該点のパラメータ値であるときの前記対応位置関係か
ら前記複数の衛星画像のタイポイントを検出することを
特徴としている。

【００１３】請求項２記載の発明は、請求項１記載のタ
イポイント検出方法において、前記複数のパラメータ
は、各々、前記特定の変化として、回転及び剪断、平行
移動、衛星画像の射影状態による変形に応じた移動、衛
星画像の縮尺の変動に応じた移動を与えるパラメータを
含むことを特徴としている。

【００１４】請求項３記載の発明は、請求項１又は２記
載のタイポイント検出方法において、前記第３の過程に
より新たに求めた点と前回の過程で求めた点との前記空
間における距離が予め定めた一定距離以下となったとき
に、前記第３の過程の繰り返しを終了し、そのときの前
記新たに求めた点を当該点とすることを特徴としてい
る。

【００１５】請求項４記載の発明は、請求項１〜３のい
ずれかの項記載のタイポイント検出方法において、検出
したタイポイント付近で前記対応位置関係を変化させた
ときの前記相互相関係数に基づき、更に精密なタイポイ
ントを検出する第４の過程を更に有することを特徴とし
ている。

【００１６】請求項５記載の発明は、請求項４記載のタ
イポイント検出方法において、前記第４の過程は、前記
パラメータを変化させることによって前記タイポイント
付近で前記対応位置関係を変化させたときの前記相互相
関係数を離散的に求める第５の過程と、前記第５の過程
で求めた離散的な相互相関係数を微分可能な連続量に変
換する第６の過程と、前記連続量を微分する第７の過程
と、前記第７の過程から得られる微分関数に基づき、前
記連続量の極大値を与える前記パラメータの値を求める
第８の過程とを有し、前記パラメータが前記第８の過程
により求められた値であるときの前記対応位置関係から
前記複数の衛星画像のタイポイントを検出することを特
徴としている。

【００１７】請求項６記載の発明は、請求項１〜３のい
ずれかの項記載のタイポイント検出方法において、前記
第２、第３の過程は、各々、前記いずれかの対角線上、
直線上で前記パラメータを変化させることによって前記
対応位置関係を変化させたときの前記相互相関係数を離
散的に求め、それら離散的な相互相関係数から前記パラ
メータ値の点を求める過程であり、当該点が求められた
直線を含む前記いずれかの対角線上若しくは直線上につ
いて求められた離散的な相互相関係数を、微分可能な連
続量に変換する第９の過程と、前記連続量を微分する第
１０の過程と、前記第１０の過程から得られる微分関数
に基づき、前記連続量の極大値を与える前記パラメータ
の値を求める第１１の過程と、前記パラメータが前記第
１１の過程により求められた値であるときの前記対応位
置関係から前記複数の衛星画像のタイポイントを検出す
る第１２の過程とを更に有することを特徴としている。

【００１８】請求項７記載の発明は、複数の衛星画像を
それぞれ分割し、それぞれの対応する分割領域の衛星画
像毎に、請求項１〜６のいずれかの項記載のタイポイン
ト検出方法を実行して代表的なタイポイントを検出し、
検出した代表的なタイポイントによる前記対応位置関係
を規定する前記複数のパラメータを逆算し、当該点のパ
ラメータ値を求めることを特徴としている。

【００１９】請求項８記載の発明は、請求項１〜７のい
ずれかの項記載のタイポイント検出方法において、当該
点のパラメータ値を衛星画像中の位置に対応する地図上
位置の検出に利用するパラメータの値として得ることを
特徴としている。

【００２０】請求項９記載の発明は、請求項１〜７のい
ずれかの項記載のタイポイント検出方法において、当該
点のパラメータ値を人工衛星の制御に利用するパラメー
タの値として得ることを特徴としている。

【００２１】請求項１０記載の発明は、各々座標値に特
定の変化を与える複数のパラメータにより、複数の衛星
画像の対応位置関係を規定する処理を行う処理手段と、
前記複数のパラメータを座標軸とする空間において、い
ずれかの対角線上で前記複数の衛星画像間の相互相関係
数を最大にするパラメータ値の点を求める演算を行う第
１の演算手段と、前記空間において、前回の演算で利用
した対角線とは別の対角線を利用し、前回の演算で求め
た点を通り、かつ、当該別の対角線に平行な直線上で、
前記相互相関係数を最大にするパラメータ値の点を求め
る演算を行う第２の演算手段とを有し、前記処理手段に
よる処理及び前記第１の演算手段による演算を実行し、
その後、前記第２の演算手段による演算を繰り返すこと
により、前記空間において前記相互相関係数を最大にす
るパラメータ値の点を求め、前記複数のパラメータが当
該点のパラメータ値であるときの前記対応位置関係から
前記複数の衛星画像のタイポイントを検出することを特
徴としている。

【００２２】請求項１１記載の発明は、各々座標値に特
定の変化を与える複数のパラメータにより、複数の衛星
画像の対応位置関係を規定する第１の過程と、前記複数
のパラメータを座標軸とする空間において、いずれかの
対角線上で前記複数の衛星画像間の相互相関係数を最大
にするパラメータ値の点を求める第２の過程と、前記空
間において、前回の過程で利用した対角線とは別の対角
線を利用し、前回の過程で求めた点を通り、かつ、当該
別の対角線に平行な直線上で、前記相互相関係数を最大
にするパラメータ値の点を求める第３の過程と、前記第
１及び第２の過程の後に前記第３の過程を実行し、その
後、前記第３の過程を繰り返すことにより、前記空間に
おいて前記相互相関係数を最大にするパラメータ値の点
を求め、前記複数のパラメータが当該点のパラメータ値
であるときの前記対応位置関係から前記複数の衛星画像
のタイポイントを検出する過程とを、コンピュータに実
現させるためのプログラムを記録したコンピュータ読み
取り可能な記録媒体である。

【００２３】

【発明の実施の形態】＜概要＞以下、図面を参照して本
発明の実施の形態について説明する。まず初めに、本実
施形態の背景となる衛星画像処理について概説し、本実
施形態によるタイポイント検出方法の概要について述べ
る。尚、以下に説明する本実施形態における種々の処理
は、所定の演算手段や記憶手段、表示手段、通信手段等
を具備した大容量高速のコンピュータないしワークステ
ーションシステム等の計算機によって実行される。

【００２４】図１は、ステレオペア画像を作成する衛星
画像処理を模式的に示した図である。この図において、
マスタ画像Ａ、スレーブ画像Ｂは、それぞれ人工衛星に
よって同一地点を観測した前方視画像、直下視画像であ
り、同一地点の画像を含む衛星画像の例である（但し、
ここでは予めポインティング角度によるおおよその幾何
補正がなされている前方視画像を示してある。一般に、
相関演算によるタイポイント検出の対象とする衛星画像
は、予めポインティング角度によるおおよその幾何補正
を行っておくことが望ましい。）。ステレオペア画像の
作成においては、このような同一地点の画像を含むマス
タ画像Ａとスレーブ画像Ｂを対象とし、それらの同一地
点を重ね合わせるためのタイポイントを検出して画像マ
ッチング処理を行い、マスタ画像Ａとスレーブ画像Ｂの
重複部分を重ね合わせた重複部分画像Ｃをステレオペア
画像として得る。

【００２５】本実施形態は、この重複部分画像Ｃを得る
画像マッチング処理を行うためのタイポイントの検出に
係る。すなわち、本実施形態によるタイポイント検出方
法は、マスタ画像Ａとスレーブ画像Ｂを入力とし、出力
としてそれらのタイポイント座標値等を得る。又、その
タイポイント座標値が複数のパラメータを含む座標変換
式で表され、それら複数のパラメータが衛星画像におけ
る種々の歪みを補正するパラメータとして得られるもの
となっている（詳細は後述）。

【００２６】かかる本タイポイント検出方法における処
理では、まず、マスタ画像Ａの位置とスレーブ画像Ｂの
位置を同次座標で表現することとし、その同次座標にお
ける両画像の位置関係を複数のパラメータを含む変換式
で規定する。そして、その変換式中のいくつかのパラメ
ータの値を変化させることにより、両画像の縦方向位置
若しくは横方向位置、縮尺、回転若しくは剪断、又は、
射影による変形状態等を変化させ、変化後の位置関係で
の相互相関係数（衛星画像データにおける振幅データ等
による画素値の相互相関係数）を演算していく。

【００２７】この相互相関係数の演算過程において、本
タイポイント検出方法では、相互相関係数の最大値を探
索する最短ルートを考える。その最短ルートとしては、
変化させるパラメータを座標軸としたパラメータ空間で
の相互相関係数マップにおいて、各パラメータの最小値
ないし最大値の間を互いに結ぶ対角線上若しくはそれに
平行な直線上に、相互相関係数の最大値を探索する経路
をとる（後述する図２中の矢印は、この最短ルートの一
例を示すものである。）。

【００２８】すなわち、まず第１のステップとして、変
化させようとするパラメータに対する相互相関係数マッ
プにおいて、パラメータの値をその最小値から最大値等
に向かう対角線上で順次変化させていき、当該パラメー
タがその対角線上の座標値をとるときの相互相関係数を
演算していく。これにより、その対角線上の経路で相互
相関係数が最大になる座標値（当該パラメータの値）を
求める。

【００２９】次に、第２のステップとして、前回求めら
れた座標値の点を通り、相互相関係数マップにおける別
の対角線に平行な直線上で、同様にパラメータを順次変
化させて相互相関係数を演算し、その直線上の経路で相
互相関係数が最大になる座標値を新たに求める。その
後、予め定めた終了条件についての判定を行うことと
し、その終了条件を満たすまで、新たに求められた座標
値を前回求められた座標値として第２のステップを同様
に繰り返す。

【００３０】終了条件としては、前回求められた座標値
に対する新たに求められた座標値の変動が一定値以下で
あることと、第２のステップの繰り返し回数が一定回数
以上であることとを定めておく。そして、これらのうち
のいずれかが満たされたときに第２のステップの繰り返
し処理を終了させることにする。

【００３１】ここで、座標値の変動が一定値以下になる
ということは、その時点で求められている座標値が前記
相互相関係数マップにおける相互相関係数の最大位置か
ら前記一定値以下の誤差範囲内にあるということであ
る。従って、この終了条件の方が満たされたときには、
その時点での座標値を変化させたパラメータについての
タイポイントとし、これによって規定される画像間の位
置関係からマスタ画像Ａとスレーブ画像Ｂにおけるタイ
ポイントの座標をそれぞれ計算する。

【００３２】一方、第２のステップが一定回数以上繰り
返されるということは、ある程度の数の経路を探索をし
ても最大位置が特定できないということであるので、こ
のときはタイポイントがないものとする。尚、それぞれ
の終了条件には、ここにいうように相互相関係数の最大
位置誤差やタイポイントの不存在を決定するという意味
があるので、前記一定値は必要なタイポイントの検出精
度に応じて（例えば１ピクセル相当の値等に）定め、前
記一定回数はタイポイントがないとみなすに充分な経路
探索の繰り返し回数等を定めておくことにする。

【００３３】＜具体的形態＞次に、本タイポイント検出
方法を実現する計算アルゴリズムや処理手順等を示し、
その形態を更に具体的に説明する。まず、本タイポイン
ト検出方法においては、マスタ画像Ａの位置とスレーブ
画像Ｂの位置を共に同次座標で表現する。

【００３４】その同次座標におけるマスタ画像Ａの位置
を（ｘA，ｙA，１）と表現することにすると、スレーブ
画像Ｂの位置は（ｘB，ｙB，Ｈ）で表現される。ここ
で、Ｈはマスタ画像Ａの位置を基準としたときのスレー
ブ画像Ｂの実際の位置を与えるパラメータであり、２次
元座標上の実際のスレーブ画像Ｂの位置は（ｘB／Ｈ，
ｙB／Ｈ）と表現される。

【００３５】このようにマスタ画像Ａとスレーブ画像Ｂ
を同次座標で表現すると、両画像を重ねたときの位置関
係は、

【数１】と表すことができる。

【００３６】数１において、変換行列中の各要素は、そ
れぞれマスタ画像Ａに対するスレーブ画像Ｂの位置を決
定するパラメータであり、ａ、ｂ、ｃ及びｄの要素が画
像位置の回転と剪断、ｌ及びｍの要素が画像位置の平行
移動、ｐ及びｑの要素が画像の射影状態、ｓの要素が画
像の縮尺を表すパラメータとなる。従って、これらのパ
ラメータにより、スレーブ画像Ｂの回転及び剪断、平行
移動、射影状態による変形に応じた移動及び縮尺の変動
に応じた移動が規定されることになる。

【００３７】１．平行移動のみについてのタイポイント
検出今、スレーブ画像Ｂがマスタ画像Ａに対し、回転及び剪
断を生じておらず、同縮尺でかつ射影による影響がない
ものとする（又はこれらが幾何学的に補正されていると
する）。すなわち、マスタ画像Ａとスレーブ画像Ｂが平
行移動のみを考慮すればタイポイントを検出できるもの
であるとする。このとき、上記数１は、

【数２】となる。尚、この場合、ｓ＝Ｈとなり、かつ、ｓ＝１で
あるので、Ｈ＝１としてよい（実際のスレーブ画像Ｂの
位置が（ｘB，ｙB）であるものとしてよい。）。

【００３８】数２中、パラメータｌ、ｍの値を変化させ
ると、それぞれｘ方向（横方向）、ｙ方向（縦方向）へ
スレーブ画像Ｂを平行移動させたときに、マスタ画像Ａ
中の各位置と対応する（重なる）スレーブ画像Ｂ中の位
置が求まる。従って、数２の変換式において、パラメー
タｌ、ｍの値をそれぞれ１ピクセル相当の移動量分ずつ
変化させながらマスタ画像Ａとスレーブ画像Ｂの対応点
を決定し、その都度相互相関係数を演算していくと、ス
レーブ画像Ｂを１ピクセル単位で平行移動させたときの
相互相関係数フィールドが得られることになり、一般的
に行われている相互相関係数の総当たり演算と等価にな
る。これに対し、本タイポイント検出方法では、かかる
総当たり演算を行わずに、相互相関係数の最大値を与え
るパラメータｌ、ｍの値を求めることを次のように考え
る。

【００３９】パラメータｌ、ｍの変化による相互相関係
数の変動は、一般的に図２に示すようになる。この図に
おいては、鉛直方向が相互相関係数、水平方向の２軸が
パラメータｌ、ｍを表している。図中のＬ_minとＬ_max、
Ｍ_minとＭ_maxは、それぞれパラメータｌ、ｍの最小値と
最大値である。具体的には、パラメータｌの値を変化さ
せてスレーブ画像Ｂをｘ方向において移動させたとき
に、マスタ画像Ａと重なり始めるときのｌの値が
Ｌ_min、重なる部分がなくなる直前のｌの値がＬ_maxに当
たり、パラメータｍの値を変化させてスレーブ画像Ｂを
ｙ方向において移動させたときに、マスタ画像Ａと重な
り始めるときのｍの値がＭ_min、重なる部分がなくなる
直前のｍの値がＭ_maxに当たる（従って、Ｌ_min〜
Ｌ_max、Ｍ_min〜Ｍ_maxは、それぞれｘ方向、ｙ方向のマ
スタ画像Ａとスレーブ画像Ｂのピクセル数の和に相当す
る距離となる。）。

【００４０】このように変動する相互相関係数に対し、
本タイポイント検出方法は、図３に示すような経路で最
大値を探索する。その探索手順のフローチャートを図４
に示し、以下、これらの図面を参照して本タイポイント
検出方法による相互相関係数の最大値の探索処理につい
て説明する。

【００４１】まず初めに、探索処理を行う上での条件を
設定する（図４のステップＳ1）。ここで設定すべき条
件は、上述の終了条件と、相互相関係数演算のピッチを
定めるパラメータの変化量である。本実施形態では、終
了条件として相互相関係数の最大位置変動の最小距離を
Ｐ_len、経路探索の最大繰り返し回数をＮ_maxと設定し、
パラメータｌ、ｍの変化量をそれぞれｄｌ、ｄｍと設定
するものとする。

【００４２】続いて初期探索経路を設定する（ステップ
Ｓ2）。すなわち、パラメータ空間における最大値ない
し最小値を結ぶ対角線線分のいずれかを選択し、最初に
相互相関係数の最大値を探索する経路として設定する。
ここでは、図３中に１点鎖線で示すｌ−ｍ平面における
点（Ｌ_min，Ｍ_min）から点（Ｌ_max，Ｍ_max）までの対角
線Ｄ１を設定する。

【００４３】その後、対角線Ｄ１に沿ってパラメータ
ｌ、ｍの値を同時にｄｌ、ｄｍずつ変化させ、その都度
マスタ画像Ａとスレーブ画像Ｂの対応点を決定して相互
相関係数を演算していく。これにより、対角線Ｄ１上の
各点に対応する相互相関係数の値を得、初期探索経路で
ある対角線Ｄ１上で相互相関係数の最大値を与える点Ｐ
1を求める（ステップＳ3）。

【００４４】ここで、マスタ画像Ａとスレーブ画像Ｂの
対応点の決定は上記数２によるが、演算されたスレーブ
画像Ｂの対応点座標値に端数が出た場合には、その位置
におけるスレーブ画像Ｂの画素値を補間して決定する。
尚、この場合の補間には、最近隣内挿法や共１次内挿
法、３次たたみ込み内挿法等による通常の補間方法を利
用すればよい（このことは、後述する処理での相互相関
係数演算においても同様である。）。

【００４５】次に、新たな探索経路を設定する（ステッ
プＳ4）。新たな探索経路は、パラメータ空間における
別の対角線に平行な直線上に設定する。このため、前回
求められた最大値の点を通り、前回の探索経路に垂直な
経路を計算すると共に、その経路上でパラメータがとり
得る値（最大値と最小値）を求める。ここでは、上記点
Ｐ1を通り、点（Ｌ_max，Ｍ_min）から点（Ｌ_min，
Ｍ_max）への対角線Ｄ２に平行な直線、すなわち、図３
中に破線で示す直線Ｅ１を幾何学的に演算する。又、直
線Ｅ１上でのパラメータｌ、ｍの最大値、最小値をそれ
ぞれ演算し、同図中の点ＰE1₁及び点ＰE1₂を求める。こ
れにより、直線Ｅ１上の点ＰE1₁〜点ＰE1₂までの区間を
新たな探索経路として設定する。

【００４６】その後、点ＰE1₁から点ＰE1₂まで、直線Ｅ
１に沿ってパラメータｌ、ｍの値を同時にｄｌ、ｄｍず
つ変化させ、上記ステップＳ2同様に相互相関係数を演
算していく。これにより、直線Ｅ１上の各点に対応する
相互相関係数の値を得、新たな探索経路である直線Ｅ１
上で相互相関係数の最大値を与える点Ｐ2を求める（ス
テップＳ5）。

【００４７】次いで終了条件の判定を行う（ステップＳ
6）。この判定では、まず、最大値を与える点として前
回の探索で求められた点Ｐnと新たに求められた点Ｐn+1
との間の距離len_nを演算し、上記ステップＳ1で設定し
た最小距離Ｐ_lenと比較して len_n ≦ Ｐ_len となるか否かを判定する。又、新たに探索経路を設定し
て相互相関係数の最大値を探索した繰り返し回数と上記
ステップＳ1で設定した最大繰り返し回数Ｎ_maxとを比較
して繰り返し回数＞Ｎ_max となるか否かを判定する。

【００４８】今のところ、相互相関係数の最大値の探索
は、初期探索経路とその次に設定した探索経路について
行っただけである。このため、前回の探索で求められた
点に当たる点Ｐ1と新たに求められた点に当たる点Ｐ2と
の距離len₁は未だ最小距離Ｐ _len以下にはなっておら
ず、新たに探索経路を設定して探索をした回数も１回で
最大繰り返し回数Ｎ_maxには達していないものとする
と、上記ステップＳ6における判定結果は共に“ＮＯ”
となり、ステップＳ4へ戻る。

【００４９】これにより、上記同様に再びステップＳ4
以下の処理を行う。すなわち、図３に示すように、点Ｐ
2を通り（前回経路に平行な対角線Ｄ２とは別の）対角
線Ｄ１に平行な直線Ｅ２を演算すると共に、直線Ｅ２上
でのパラメータｌ、ｍの最大値等を演算して直線Ｅ２上
の点ＰE2₁〜点ＰE2₂までを新たな探索経路として設定し
（ステップＳ4）、直線Ｅ２に沿ってパラメータｌ、ｍ
の値を変化させながら相互相関係数を演算して直線Ｅ２
上で相互相関係数の最大値を与える点Ｐ3を求める（ス
テップＳ5）。この結果、図２及び図３中に矢印で示す
ような経路を辿って相互相関係数マップにおける相互相
関係数の最大位置を求める探索が行われていくことにな
る。

【００５０】その後再びステップＳ6の判定を行い、上
記比較判定のいずれかの結果が“ＹＥＳ”とならない限
りステップＳ4へ戻る。このようにして以後においても
同様に最大値の探索を繰り返し、点Ｐ3を通る対角線Ｄ
２に平行な直線上での最大値の点Ｐ4、その点Ｐ4を通る
対角線Ｄ１に平行な直線上での最大値の点Ｐ5、…を順
次求める。これにより、ｌ−ｍ平面における対角線に平
行な各経路上での相互相関係数の最大位置Ｐ1、Ｐ2、Ｐ
3、…、Ｐn、Ｐn+1が求められていく。

【００５１】そして、点Ｐnと点Ｐn+1との距離len_nが最
小距離Ｐ_len以下になったときには、ステップＳ6におけ
る判定結果の一つが“ＹＥＳ”となり、このときの点Ｐ
n+1が相互相関係数マップにおける相互相関係数の最大
位置ということになる。従って、上述の繰り返し処理を
終了し、点Ｐn+1の座標値（ｌ_Pn+1，ｍ_Pn+1）をスレー
ブ画像Ｂの歪み（ここでは平行移動の位置ずれ）を補正
する最適なパラメータ値として、ステップＳ7の処理へ
進む。

【００５２】ステップＳ7では、点Ｐn+1の座標値（ｌ
_Pn+1，ｍ_Pn+1）を用い、上記数２に基づいてタイポイン
トの座標を計算する。すなわち、数２においてパラメー
タ値ｌ _Pn+1及びｍ_Pn+1を用いることにより、マスタ画像
Ａ中の任意の座標の同一地点に当たるスレーブ画像Ｂ中
の座標が得られるので、それら同一地点の座標をマスタ
画像Ａとスレーブ画像Ｂにおけるタイポイントの座標と
する。ここで、代表的なタイポイントを特定する必要が
ある場合には、例えば、マスタ画像Ａ中の最大輝度の点
等を選択し、その選択した点の同一地点に当たるスレー
ブ画像Ｂ中の点を計算してタイポイントとする。

【００５３】以上のようにして検出されたタイポイント
座標やパラメータ値ｌ_Pn+1及びｍ_Pn ₊₁等は、所定の記憶
手段の記憶領域に格納したり、所定の表示手段や演算手
段等への出力としたりする。そして、それらのタイポイ
ント座標等に基づいて後続の画像マッチング処理を行う
ことにより、マスタ画像Ａとスレーブ画像Ｂの重複部分
を重ね合わせた図１の重複部分画像Ｃが得られることに
なる。

【００５４】尚、上記ステップＳ6において、最大値探
索の繰り返し回数が最大繰り返し回数Ｎ_maxを超えて判
定結果が“ＹＥＳ”になったときには、ステップＳ7で
は何も処理を行わずにそのまま探索処理を終了する（こ
の場合はタイポイント検出失敗ということになる。）。

【００５５】本タイポイント検出方法は、以上のような
パラメータ空間における対角線若しくはそれに平行な直
線に沿って相互相関係数を演算していくという手法（以
下、これを「対角線相関法」という。）によってタイポ
イントを検出する。従って、本タイポイント検出方法に
よれば、それら対角線等に沿ってのみ相互相関係数を演
算すればよく、相互相関係数の最大位置を求めるために
演算する相互相関係数の量がそれら対角線等の長さに比
例するので、相互相関係数の総当たり演算によるタイポ
イント検出に比べて大幅に演算量が削減され、効率的か
つ迅速にタイポイントを検出することができ、計算機に
よる自動タイポイント検出を実用化することも容易とな
る。

【００５６】２．平行移動以外の歪みについてのタイポ
イント検出次に、スレーブ画像Ｂがマスタ画像Ａに対し、平行移動
以外の歪みを生じている場合、すなわち、回転や剪断、
縮尺の変化又は射影状態による変形を生じている場合の
タイポイント検出について説明する。

【００５７】本タイポイント検出方法は、マスタ画像Ａ
の位置とスレーブ画像Ｂの位置の対応を同次座標表現に
よって関係付けるところに特徴があり、両画像間の位置
関係に平行移動以外の歪みの要素を加味しても同様に対
応点を決定して相互相関係数を演算することができる。
例えば、マスタ画像Ａとスレーブ画像Ｂとの間に、回転
及び剪断や射影状態による変形はないが、平行移動によ
る位置ずれと縮尺の変動による歪みがある場合、両画像
を重ねたときの位置関係は、

【数３】と表すことができる。

【００５８】この場合、ｓ＝Ｈであり、実際のスレーブ
画像Ｂの位置が（ｘB／Ｈ，ｙB／Ｈ）となるので、ｓが
マスタ画像Ａに対するスレーブ画像Ｂの縮尺を表すパラ
メータになっていることが分かる。このような場合にあ
っては、パラメータｌ及びｍの座標軸にパラメータｓの
座標軸を更に加えたパラメータ空間での相互相関係数マ
ップにおいて、パラメータｌ、ｍ及びｓの値を所定の変
化量ずつ変化させながら上記同様の対角線相関法を実施
すればよい。すなわち、最初はｌ−ｍ−ｓ空間における
いずれかの対角線を初期探索経路として設定し、その初
期探索経路に沿ってパラメータｌ、ｍ及びｓの値を変化
させながら相互相関係数を演算して最大位置を求める。
その後は前回求められた最大位置の点を通り、前回の探
索経路に平行な対角線とは別の対角線に平行な直線上に
探索経路を設定し、同様に最大位置を求めることを終了
条件が満たされるまで繰り返す。

【００５９】その様子を図５に示す。この図において、
実線で示された直方体空間は、パラメータｌ、ｍ、ｓそ
れぞれの最小値から最大値までのパラメータ空間を表
し、その中の濃度は、高いほど相互相関係数の値が大き
いことを表している。又、一点鎖線はパラメータの最大
値ないし最小値の間を結ぶ対角線であり、この場合は４
つある。従って、探索経路の設定で利用する対角線の順
番を予め定めておき、新たな探索経路の設定において
は、その順番に従って次に利用する対角線を特定し、当
該対角線に平行でかつ前回の探索経路における最大位置
を通る直線上に新たな探索経路を設定するようにする。

【００６０】利用する対角線の順番は、例えば、１番目：点（ｌ_min，ｍ_min，ｓ_min）〜点（ｌ_max，ｍ_max，ｓ_max）の対角線２番目：点（ｌ_max，ｍ_max，ｓ_min）〜点（ｌ_min，ｍ_min，ｓ_max）の対角線３番目：点（ｌ_max，ｍ_min，ｓ_min）〜点（ｌ_min，ｍ_max，ｓ_max）の対角線４番目：点（ｌ_min，ｍ_max，ｓ_min）〜点（ｌ_max，ｍ_min，ｓ_max）の対角線のように定める。但し、ｓ_min、ｓ_maxは、それぞれパラ
メータｓの最小値、最大値であり、衛星軌道上の対地高
度の範囲に基づいて衛星画像の縮尺がとり得る値の範囲
を求めることによって決定する。

【００６１】この例による順番で対角線相関法を実施す
ると、図５中〜の矢印線分で示すような経路によっ
て相互相関係数の最大位置を探索することになる。すな
わち、上記１番目の対角線を初期探索経路として相互
相関係数の最大位置Ｐ1を求め、次いで上記２番目の対
角線に平行でＰ1を通る直線上を次の探索経路として
最大位置Ｐ2を求める。そして、上記３番目の対角線に
平行でＰ2を通る直線上を次の探索経路として最大位
置Ｐ3を求め、以後も同様の探索を繰り返す。これによ
り、スレーブ画像Ｂの縦方向位置と横方向位置のみなら
ず、マスタ画像Ａに対する縮尺をも変更しながら最大位
置を探索していくことができるので、縮尺が異なる衛星
画像間の相互相関係数が最大となるパラメータｌ、ｍ及
びｓの最適値を効率的に求めることができ、かかる衛星
画像間のタイポイントも少ない演算量で容易に検出する
ことができる。

【００６２】ここで、人工衛星は楕円軌道で移動してい
るので、対地高度が微妙に変化している。このため、平
行移動のみの相互相関係数探索では、多くの時期の衛星
画像で相関値が低くなり、的確な探索を行うことが困難
である。これに対し、上述のように画像の縮尺も含めた
相互相関係数探索によれば、適切な評価が可能な相関値
が効率的に得られ、正確かつ迅速な探索を行うことがで
きる。

【００６３】又、回転と剪断のパラメータａ、ｂ、ｃ及
びｄや射影状態のパラメータｐ及びｑについても、上記
同様に対角線相関法を実施することができ、相互相関係
数の最大値を与える最適なパラメータ値を効率的に求め
ることができる。従って、回転及び剪断や射影状態によ
る変形が生じている衛星画像についても、それらを補正
したタイポイントの検出を少ない演算量で容易に行うこ
とができる。

【００６４】＜応用等＞次に、上述した本タイポイント
検出方法ないし対角線相関法の応用例、用途例、変形例
等について説明する。１．ステレオペア画像の作成本タイポイント検出方法は、演算量が少なく高速な処理
が可能であり、回転や縮尺等の補正も可能であることか
ら、大局的な幾何補正に適しているということができ
る。従って、複数の衛星画像や航空機写真画像等を重ね
合わせる処理の自動化に利用することができ、上記図１
に示したように、対象画像のオーバーラップ部分を特定
して切り出す処理を自動的に行い、それに基づいてステ
レオペア画像を作成することも可能となる。又、本タイ
ポイント検出方法により、同一地点を種々の条件下で観
測した複数画像のマッチングを自動化して３次元測量を
行うこととすれば、一般の地図の作製や自動車のナビゲ
ーション等にも利用することができる。

【００６５】ここで、ステレオペア画像の作成用に撮影
される画像は、一般に広域にわたるものが多い。そこ
で、初めに本タイポイント検出方法によりおおよそのタ
イポイントを検出し、その後に精密な幾何補正を行うこ
ととすれば、精確にマッチングしたステレオペア画像を
短時間で得ることができる。

【００６６】すなわち、本タイポイント検出方法では、
要求されるタイポイント精度が１ピクセル程度までであ
れば、マスタ画像Ａのピクセル単位の画素値によって相
互相関係数を演算する。従って、パラメータ空間におけ
る相互相関係数マップは１ピクセル程度に相当する各パ
ラメータ値毎に対応する離散的な相互相関係数によって
構成され、その中での最大位置から最適なパラメータの
値を求めている。このため、本タイポイント検出方法に
よってそれ以上の精度要求に応えるためには、各種補間
手法により画素値を補間する必要がある。

【００６７】そこで、上記座標値変動の最小距離（Ｐ
_len）を２ピクセル程度に相当する値等として対角線相
関法を実施することで、まず、本タイポイント検出方法
により誤差２ピクセル程度の精度でタイポイントを検出
する。そして、そのタイポイントに基づいて対象画像間
のオーバーラップ領域のみをそれぞれ抽出し、抽出され
たオーバーラップ領域についてのみ精密な幾何補正（誤
差１ピクセル未満のタイポイント検出）を行う。このよ
うにすれば、精密な幾何補正を伴うステレオペア画像の
作成も演算時間を大幅に短縮することができる。

【００６８】２．精密なパラメータ値演算一般的な精密幾何補正を利用する場合上記ステレオペア画像の作成等で本タイポイント検出方
法と組み合わせることのできる精密な幾何補正として
は、従来より一般的に行われているＤＦＴ（Discrete F
ourier Transformation）による精密幾何補正がある。
これは、１ピクセル単位の平行移動による相互相関係数
フィールド内の相互相関係数をＤＦＴ処理してフーリエ
級数で近似し、精度要求に応じたサイズのサブピクセル
毎に相互相関係数を再計算して補間することにより、タ
イポイントを当該サブピクセル単位で検出するものであ
る。

【００６９】この精密幾何補正によってマスタ画像とス
レーブ画像におけるいくつかのタイポイントを精密に検
出すると、それらの座標値を用いて上記数１（又は数２
若しくは数３）における変換行列中の各パラメータの値
を最小自乗法等で演算することができる。そして、これ
によって求められるパラメータ値は、より精密なタイポ
イントに対応するものとなるので、精密幾何補正前のも
のよりも精確な値となる。

【００７０】他の幾何補正を利用する場合上述の精密幾何補正は、サブピクセル間の距離によって
精度が決定され、本来の連続量で表される位置座標にお
ける精密なタイポイントを検出することはできない。
又、サブピクセル単位でフーリエ級数の再計算をするの
で、精度を高くするほど演算量が多くなり、多くの時間
を要する。このため、ＶＬＢＩ（Very-Long-Baseline I
nterferometry（超長期線干渉法））やＩｎＳＡＲ（Int
erferenceSynthetic Aperture Radar（干渉合成開口レ
ーダ））等における高精度画像マッチングで要求される
タイポイント精度（誤差０．１ピクセル以下等）を満た
すことは、現状では困難とされている。そこで、かかる
困難性を解消し、かつ、本タイポイント検出方法と組み
合わせることのできる精密幾何補正としては、以下のよ
うな形態の高精度タイポイント検出処理がある。

【００７１】(i)第１形態その高精度タイポイント検出処理の第１の形態の手順を
図６に示す。尚、ここでは、マスタ画像Ａとスレーブ画
像Ｂの平行移動のみを考慮し、パラメータｌ及びｍの精
確な値を求める場合について説明するが、他のパラメー
タａ、ｂ、ｃ、ｄ、ｐ、ｑ及びｓについても、同様の手
順によって精確な値を求めることが可能である。

【００７２】まず、スレーブ画像Ｂの位置を１ピクセル
単位で平行移動させたときのマスタ画像Ａとの相互相関
係数を求める（ステップＳ10）。但し、ここでは、上述
の本タイポイント検出方法によって求められたパラメー
タｌ、ｍの最適値を基準とし、その最適値周辺のみ、又
は、抽出したオーバーラップ領域に係る部分についての
み、ｌ、ｍの値をそれぞれ１ピクセル相当ずつ変化させ
ながら相互相関係数を演算する。

【００７３】これにより、ｌ−ｍ平面における１ピクセ
ル単位の点（ｌ，ｍ）に対する相互相関係数Ｒ_lmが求ま
る。これらの相互相関係数Ｒ_lmは、（ｌ_min，ｍ_min）、
（ｌ _min＋１，ｍ_min）、（ｌ_min，ｍ_min＋１）、（ｌ
_min＋１，ｍ_min＋１）、…、（ｌ_max−１，ｍ_max−
１）、（ｌ_max，ｍ_max−１）、（ｌ_max−１，ｍ_max）、
（ｌ _max，ｍ_max）の各点に対応する離散的な相互相関係
数からなる相互相関係数フィールドを形成する。

【００７４】次に、ｌ及びｍについて連続量で定義され
る両画像間の相互相関係数Ｒ（ｌ，ｍ）をフーリエ級数
によって近似する（ステップＳ11）。すなわち、上記離
散的な相互相関係数Ｒ_lmに対してＤＦＴ処理を行い、ｌ
とｍを変数とする級数項で構成されるフーリエ級数を
得、これを相互相関係数Ｒ（ｌ，ｍ）とする。これによ
り、マスタ画像Ａとスレーブ画像Ｂとの間の離散的な相
互相関係数を（微分可能な）級数に展開し、連続的な相
互相関係数に変換する。

【００７５】ところで、マスタ画像Ａとスレーブ画像Ｂ
のタイポイントは、相互相関係数Ｒ（ｌ，ｍ）が極大と
なる位置で与えられる。その極大値においては、

【数４】が成立する。

【００７６】ここで、ｄｌ≠０であり、かつ、ｄｍ≠０
であるので、

【数５】となる。

【００７７】今、相互相関係数Ｒ（ｌ，ｍ）は、フーリ
エ級数で与えられているので、ｌとｍについてそれぞれ
項別に微分することが可能であり、その微分の結果も連
続量で与えられる。そこで、相互相関係数Ｒ（ｌ，ｍ）
をｌ、ｍについてそれぞれ項別微分し、数５におけるｆ
（ｌ，ｍ）とｇ（ｌ，ｍ）を求める（ステップＳ12）。

【００７８】これにより、数５の２つの式が特定される
ので、それらを連立させて極大値を与える点（ｌ，ｍ）
を求めることができることになる（これ以外の場合も同
様に、求めようとするパラメータの数に応じた多次元連
立微分方程式を連立させて相互相関係数の極大値を与え
る点を求めることになる。）。ここで、ｆ（ｌ，ｍ）と
ｇ（ｌ，ｍ）は連続量を表す式で得られるので、ｌとｍ
に適当な初期値を与え、相互相関係数Ｒ（ｌ，ｍ）の極
大値を与える点（ｌ，ｍ）を反復演算法により求める
（ステップＳ13）。

【００７９】尚、その反復演算法としては、ニュートン
−ラプソン（Newton-Rapson）法による非線形方程式の
解法を利用することができる。この場合、ｌ、ｍの初期
値ｌ ₀、ｍ₀を与えると共に、上記数５のｆ（ｌ，ｍ）、
ｇ（ｌ，ｍ）をそれぞれｌ、ｍについて更に項別微分
し、それによって得られる４つの偏微分関数とｆ（ｌ，
ｍ）及びｇ（ｌ，ｍ）並びに初期値ｌ₀及びｍ₀とを用
い、同解法に基づく反復演算を計算機処理によって実行
すればよい。

【００８０】そして、相互相関係数Ｒ（ｌ，ｍ）の極大
値を与える点として求められた点（ｌ，ｍ）の座標値を
パラメータｌ、ｍの最適値として得る（ステップＳ1
4）。これにより、連続量の座標値で表される精密なパ
ラメータ値が得られ、これに基づいてマスタ画像Ａ及び
スレーブ画像Ｂにおけるより精確なタイポイントも検出
することができる。

【００８１】(ii)第２形態次に、高精度タイポイント検出処理の第２の形態につい
て説明する。第２の形態では、対角線相関法の実施によ
って既に得られている相互相関係数を利用する。すなわ
ち、対角線相関法により探索した各探索経路について
は、対応する相互相関係数の値が離散的に（パラメータ
の変化量毎に）得られている。そこで、最終的に求めら
れた相互相関係数の最大位置がある探索経路等を座標軸
としてその座標軸上の値を表す変数を新たに定義し、得
られているそれぞれの相互相関係数の値と対応させる。

【００８２】これにより、新たに定義した変数に対する
離散的な相互相関係数フィールドが得られることになる
ので、それをＤＦＴ処理して当該変数により微分可能な
連続量（フーリエ級数）で表される相互相関係数を得
る。そして、上記第１形態同様の反復演算等により相互
相関係数が極大になる当該変数の連続量としての値を求
め、その値に対応するもとのパラメータの値を求める。

【００８３】例えば、上述した図４の探索処理におい
て、仮に、図３中の点Ｐ3が最終的に求められた相互相
関係数の最大位置であったとすると、直線Ｅ２を座標軸
として点ＰE2₁から点ＰE2₂までの座標値を定義する。そ
の座標値を変数ｅ₂で表すものとすると、直線Ｅ２上に
ついて得られているそれぞれの相互相関係数は、変数ｅ
₂のそれぞれの値に対応する離散的な相互相関係数値と
みなすことができる。従って、これに対してＤＦＴ処理
を行えばｅ₂を変数とする級数項で構成されるフーリエ
級数が得られ、そのフーリエ級数が直線Ｅ２上の連続的
な相互相関係数を近似したものとなる。

【００８４】しかし、図４の探索処理では、ｌ、ｍの２
つのパラメータを変化させたときの相互相関係数を演算
しているので、これを１つの変数ｅ₁のみで近似するの
は精度上好ましくない。このため、相互相関係数の最大
位置があった直線Ｅ２に加え、これに直交する直前に探
索した直線Ｅ１も座標軸として点ＰE1₁から点ＰE1₂まで
の座標値を定義する。そして、その座標値を変数ｅ₁で
表すものとし、直線Ｅ１及びＥ２上について得られてい
る相互相関係数を変数ｅ₁及びｅ₂に対応する離散的な相
互相関係数値とみなしてＤＦＴ処理を行い、変数ｅ₁及
びｅ₂の級数項で構成されるフーリエ級数によって連続
的な相互相関係数を近似する。

【００８５】ここで、座標軸の端の方等、最大位置から
離れたところには一般にノイズが生じている（微小な値
で相互相関係数が振動している。）。このため、ＤＦＴ
処理を行う前に、かかるノイズ部分の相互相関係数値は
すべて無視することとし、ノイズの影響による高周波成
分が現れないようにしておく。或いは、最大位置周辺の
相互相関係数値のみを利用してＤＦＴ処理を行うことに
より、ノイズの影響を避けることとしてもよい。

【００８６】このようにして相互相関係数を新たな変数
ｅ₁及びｅ₂により連続量で表し、後は第１形態同様にｅ
₁とｅ₂それぞれについての項別微分をして上記数５同様
の式を導出し、それらを連立させて上記同様の反復演算
等により極大値を与える点（ｅ₁，ｅ₂）を求める。そし
て、その極大値を与える点（ｅ１，ｅ２）に対応するパ
ラメータｌ、ｍの値を求め、それらをパラメータｌ、ｍ
の精密な最適値とする。これにより、連続量としての精
密なパラメータ値が得られ、これに基づいてマスタ画像
Ａ及びスレーブ画像Ｂの精確なタイポイントを検出する
ことも可能となる。

【００８７】但し、この第２形態で得られるパラメータ
値は、対角線相関法による探索経路上の相互相関係数の
みによって連続的な相互相関係数を近似するので、上記
第１形態よりは精度が劣る。しかし、既に求められてい
る誤差１ピクセル程度のタイポイントから小数点以下の
ピクセル誤差で更に精密なタイポイントを検出するもの
であり、一般的な衛星画像処理で要求される程度の精度
は確保できる（タイポイントに０．３〜０．５ピクセル
の誤差があると重ね合わせた画像に生じるにじみが人間
の視覚でも認識できるといわれており、第２形態でもそ
れ以下に誤差を抑えることはできる。）。又、既に求め
られている相互相関係数を利用するので演算量が少な
く、迅速な処理が可能である。従って、上述した第２形
態は、誤差１ピクセル未満のタイポイントを求める場合
の簡易な高精度タイポイント検出処理として利用価値が
あり、実用的には有用である。

【００８８】尚、上記第２形態は、このように実用に耐
え得る程度の簡易な手法であり、座標軸の数が少なすぎ
ると精度が低下するが、多ければ多いほど精度が向上す
るようなものではない。このため、座標軸とする探索経
路の数は、必要に応じて適宜定めることとしてもよい
が、通常は相互相関係数の最大位置があった最後の探索
経路のみの１つか、又は、これとその直前の１つの探索
経路との２つとすればよい。又、座標軸とする探索経路
としては、まず相互相関係数の最大位置があった最後の
探索経路を選定し、次いでそれに直交する直前の探索経
路、更にその直前の探索経路、…というように最後の探
索経路から順に前の探索経路を選定することにする。

【００８９】本タイポイント検出方法と組み合わせるこ
とのできる高精度タイポイント検出処理としては以上の
ような形態のものが挙げられる。これらの処理によれ
ば、多数の補間点における相互相関係数を再計算する場
合よりも演算量が大幅に削減され、かつ、連続量として
の正確なタイポイントの位置座標が求まる。

【００９０】３．チップ画像の利用衛星画像はピクセル数が多く、４０００×４０００ピク
セル以上あるのが一般的である。従って、画像全体を用
いて相互相関演算を行うと演算量が多すぎるため、一部
の小領域を切り出したチップ画像を用いて相互相関演算
をすることが行われている。又、マスタ画像とスレーブ
画像には人工衛星の姿勢変動による回転等が生じている
ため、平行移動のみによる相互相関演算では精度の高い
相互相関係数を得ることは難しい。しかし、小領域を切
り出したチップ画像においては人工衛星の姿勢変動によ
る影響が小さく、これを無視することもできるので、チ
ップ画像の利用は有効である。

【００９１】このようなことから、本タイポイント検出
方法では、チップ画像を次のように利用することができ
る。まず、マスタ画像Ａ及びスレーブ画像Ｂの全体をそ
れぞれ３０〜４０ピクセル程度四方の小領域に分ける。
これにより、例えば、４０００×４０００ピクセルの画
像であれば、４０×４０ピクセルの小領域に分けると、
１００×１００＝１００００区域のマスタチップ画像Ａ
_iとスレーブチップ画像Ｂ_iができる。ここに、ｉは対応
区域番号を表す１〜１００００の整数である。

【００９２】その後、これらの各区域ｉ内毎に、当該各
区域ｉのマスタチップ画像Ａ_iとスレーブチップ画像Ｂ_i
を用いてそれぞれ対角線相関法を実施する。この場合、
変化させるパラメータはｌとｍにし、ａ及びｄは１、
ｂ、ｃ、ｐ及びｑは０として回転及び剪断や射影状態に
よる影響はないものとみなす。又、ｓについては、縮尺
が著しく異なるようなときに必要に応じて変化させるこ
ととしてもよいが、ここでは便宜上ｓ＝１とみなせるも
のとする。これにより、それぞれの区域のマスタチップ
画像における代表的なタイポイント座標（ｘA₁，ｙA₁，
１）、（ｘA₂，ｙA₂，１）、…、（ｘA_i，ｙA_i，１）、
…、（ｘA₁₀₀₀₀，ｙA₁₀₀₀₀，１）と、それらに対応する
スレーブチップ画像におけるタイポイント座標（ｘB₁，
ｙB₁，１）、（ｘB₂，ｙB₂，１）、…、（ｘB_i，ｙB_i，
１）、…、（ｘB₁₀₀₀₀，ｙB₁₀₀₀₀，１）とを演算する。

【００９３】すると、これらのタイポイント座標は、画
像全体として見れば、回転及び剪断等も考慮した上記数
１をおおよそ満たすものとなる。そこで、

【数６】とみなし、ｉ＝１〜１００００の演算したタイポイント
座標を用いて変換行列Ｍを最小自乗法により決定する。

【００９４】このようにして変換行列Ｍを決定すると、
すべてのパラメータについて、画像全体として見たとき
の平均的な最適値を求めることができる。これにより、
画像全体の平均的な回転及び剪断や射影状態等も抽出す
ることが可能となる。

【００９５】４．バンド間レジストレーションの自動
化バンド間レジストレーションは、異なる複数の波長で観
測した複数の衛星画像をマッチングさせて重ね合わせる
処理である。代表的なものとしては、近赤外領域と赤外
領域との比較をする植生指数画像の作成がある。一般的
なバンド間レジストレーションでは、４バンド程度の波
長で観測した画像を比較するが、近年のハイパースペク
トラル画像の処理では、２００バンドもの波長で観測し
た画像の比較を行い、画像解析を行う。

【００９６】これに対し、本タイポイント検出方法は、
演算量が少なく計算機による処理が容易でタイポイント
を高速で検出することができる。従って、かかる多数の
画像をマッチングさせるバンド間レジストレーションに
も向いており、その画像マッチング処理を自動化して多
くの画像を迅速に処理することもできる。

【００９７】５．変化抽出における用途画像中の同一地点の変化を抽出する技術を画像の変化抽
出という。この変化抽出においては、画像の輝度成分解
析だけでなく、テクスチャ（模様）解析が行われること
も多い。そこで、同一地点をピクセル単位に重ね合わせ
る技術として本タイポイント検出方法を利用することに
より、かかる解析の前処理を自動化して迅速に行うこと
が可能となる。

【００９８】６．標高データの比較現在通用している既存の標高データは、測量年月がだい
ぶ古いものもあり、実際の標高と乖離しているものも多
い。そこで、写真測量による標高データと既存の標高デ
ータとを画像化し、本タイポイント検出方法によってマ
ッチング処理を行うことにより、標高が食い違う部分や
平均的な傾斜の偏り等を面的に把握することが可能にな
り、測量計画を支援することができる。

【００９９】７．対象物の位置検出人工衛星の姿勢等が安定している場合には、上記変換行
列を一度求めれば、それを当該人工衛星でその後に撮影
した画像に対して引き続き利用することができる。そこ
で、地図を画像化したものをマスタ画像Ａ、当該人工衛
星によってその地図領域を撮影した衛星画像をスレーブ
画像Ｂとすると、両画像間の位置関係は、一度求めた変
換行列Ｍによって“ＡＭ＝Ｂ”と表せる。

【０１００】従って、変換行列Ｍの逆行列Ｍ^-1を求めて
おけば、衛星画像中の対象物（特定位置の地上物等）の
前記地図における位置を直ちに求めることができる。す
なわち、“Ａ＝ＢＭ^-1”であるので、衛星画像中の対象
物位置の座標と逆行列Ｍ^-1を用いた行列演算を行うだけ
で当該対象物の地図上の位置（実際の位置）が求まる。
尚、このような位置の検出は、現在のＩｎＳＡＲ等の衛
星画像を用いれば誤差１ｍ程度の精度で行うことができ
る。

【０１０１】８．人工衛星の制御タイポイントを与える最適値として最終的に求められる
上記各パラメータは、それぞれ人工衛星によって撮影さ
れた画像の各種歪みを補正するものであるので、その値
から各種歪みに対応する人工衛星の姿勢変動等を把握
し、評価することができる。従って、求められた各パラ
メータ値は、人工衛星の姿勢等を制御する際のパラメー
タとしても利用することができる。

【０１０２】例えば、パラメータａ、ｂ、ｃ及びｄの値
に基づいて人工衛星の回転状態等を制御し、パラメータ
ｐ及びｑの値に基づいて人工衛星の姿勢の傾き具合を制
御し、パラメータｓの値に基づいて人工衛星の軌道を補
正する。これにより、人工衛星の姿勢及び軌道が所望の
状態となるように制御をすることができる。

【０１０３】又、同じ観測条件下で撮影した複数の画像
についてそれぞれ対角線相関法を実施し、各パラメータ
の値をそれぞれ複数求める。そして、それらの値を比較
することにより、人工衛星の姿勢や軌道の誤差を評価す
ることも可能になる。

【０１０４】９．３次元への拡張本タイポイント検出方法は、２次元の衛星画像等に適用
するものとして説明してきたが、このような形態に限ら
ず、３次元の画像データ等にも適用することができる。
この場合、上記数１は、

【数７】のようになる。尚、数７の変換行列における各要素ｍ₀₀
〜ｍ₃₃は、それぞれ幾何学的な各種変位による歪みを補
正するパラメータであり、上述した２次元の場合と同様
に対角線相関法を実施することによって求められる。

【０１０５】１０．記録媒体本タイポイント検出方法又はこれと上記応用例等におけ
る種々の処理は、その手順を規定したプログラムをコン
ピュータ読み取り可能な記録媒体に記録し、その記録媒
体に記録されたプログラムをコンピュータシステムに読
み込ませて実行することとしてもよい。尚、ここにいう
コンピュータシステムとは、ＯＳや周辺機器等のハード
ウェアを必要に応じて含み、ＷＷＷシステムを利用して
いるものにあってはホームページ提供環境（あるいは表
示環境）も含む。又、コンピュータ読み取り可能な記録
媒体は、フロッピー（登録商標）ディスク、光磁気ディ
スク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュー
タシステムに内蔵されるハードディスクなどのいずれの
記憶装置でもよく、更には、インターネット等のネット
ワークや電話回線等の通信回線を介してプログラムを送
信する場合の通信線のように、短時間の間動的にプログ
ラムを保持するもの（伝送媒体ないしは伝送波）や、そ
の場合のサーバやクライアントとなるコンピュータシス
テム内部の揮発性メモリのように、一定時間プログラム
を保持しているもの等であってもよい。又、上記プログ
ラムは、上述した各種処理の一部を規定したものであっ
てもよく、上記タイポイント検出等をコンピュータシス
テムに既に記録されているプログラムとの組み合わせで
実現するいわゆる差分ファイル（差分プログラム）であ
ってもよい。

【０１０６】

【発明の効果】以上説明したように本発明によれば、複
数のパラメータにより複数の衛星画像の対応位置関係を
規定し、それらのパラメータを座標軸とする空間におい
て、対角線上又は対角線に平行な直線上で前記複数の衛
星画像間の相互相関係数を最大にする点を求めることを
繰り返すことにより、相互相関係数を最大にする前記空
間内の点を求め、その点のパラメータ値に基づいて前記
複数の衛星画像のタイポイントを検出することとしたの
で、前記空間の対角線等に沿った経路についてのみ相互
相関係数を演算すればタイポイントを検出することがで
きる。これにより、相互相関係数の演算量が大幅に削減
され、複数の衛星画像間のタイポイントを効率的な手順
によって迅速に検出することができるという効果が得ら
れる。

【０１０７】そしてこのことから、本発明によれば、計
算機による自動タイポイント検出を実用化することが可
能となり、大量の画像を容易に処理することができるこ
とになる。従って、ステレオペア画像の作成、バンド間
レジストレーション、画像の変化抽出、画像による標高
データの比較等も計算機処理によって自動化することが
可能となる。

【０１０８】又、本発明によれば、各々座標値に特定の
変化を与える複数のパラメータについて、相互相関係数
の最大値を与えるものの値を求めてタイポイントを検出
しているので、それぞれのパラメータが与える座標値変
化についての補正がなされたタイポイントを得ることが
できる。これにより、衛星画像において生じる種々の歪
みを適切に補正することができる。

【０１０９】ここで、請求項２記載の発明によれば、前
記複数のパラメータとして、回転及び剪断、平行移動、
衛星画像の射影状態による変形に応じた移動、衛星画像
の縮尺の変動に応じた移動を与えるパラメータを含むこ
ととしたので、これらについての補正をすることができ
る。すなわち、通常行われる衛星画像の平行移動による
位置ずれの補正のみならず、人工衛星の姿勢や軌道の変
動による衛星画像の回転及び剪断、射影状態による変形
並びに縮尺の変動についても補正をすることができ、実
際の人工衛星の状態を考慮した精確な画像マッチングを
実現することが可能となる。

【０１１０】尚、請求項３記載の発明によれば、求めら
れる点のパラメータ空間内における位置変動が一定距離
以下となったときのパラメータ値に基づいてタイポイン
トを検出することとしたので、その一定距離を適宜定め
ることにより、検出されるタイポイントの精度を適宜設
定することができる。

【０１１１】又、請求項４記載の発明によれば、検出し
たタイポイント付近での相互相関係数から更に精密なタ
イポイントを検出することとしたので、例えば、請求項
１に記載の過程等によって初めにおおよそのタイポイン
トを検出し、その後に精密なタイポイントを検出するこ
ととすれば、少ない演算量で精密なタイポイントを得る
ことができ、高速な画像マッチング処理が可能となる。

【０１１２】ここで、請求項５記載の発明によれば、離
散的に求めた相互相関係数を微分可能な連続量に変換
し、これを微分して得られる微分関数に基づいて前記連
続量の極大値を与えるパラメータ値を求めることとした
ので、タイポイントを与えるパラメータ値を連続量で定
義された座標値によって得ることができる。又、微分関
数から極大値座標を求めるため、多数の補間点の相互相
関係数を再計算する手法等の高精度幾何補正よりも演算
量が少なくて済む。従って、本来の連続量で表される座
標値のタイポイントが迅速に得られ、誤差１ピクセル未
満等の精密な画像マッチングも自動的に高速で処理する
ことが可能となる。

【０１１３】これに対し、請求項６記載の発明は、前記
空間内で相互相関係数を最大にする点がある直線等につ
いて求められた離散的な相互相関係数を微分可能な連続
量に変換し、これを微分して得られる微分関数に基づい
て前記連続量の極大値を与えるパラメータ値を求めるこ
ととしたので、これによってもタイポイントを与えるパ
ラメータ値を連続量で定義された精確な座標値として得
ることができる。又、この場合のパラメータ値は、既に
求められている相互相関係数を利用した処理によって得
られるので、更に少ない演算量で迅速に求めることが可
能であり、実用的にはより有用である。

【０１１４】一方、請求項７記載の発明によれば、複数
の衛星画像を分割したそれぞれの領域毎に上述のタイポ
イント検出を行って代表的なタイポイントを検出し、そ
れらの代表的なタイポイントから前記複数のパラメータ
を逆算することとしたので、衛星画像全体として見たと
きの平均的なパラメータ値を求めることができ、それら
のパラメータ値から画像全体の平均的な回転及び剪断や
射影状態等も抽出することができる。又、それらのパラ
メータ値を用いて新たにタイポイントを求めることとす
れば、最初の代表的なタイポイント検出で回転及び剪断
や射影状態等のパラメータを用いなかった場合にあって
も、それらのパラメータの平均的な値による補正がなさ
れた新たなタイポイントを得ることができる。

【０１１５】更に、請求項８記載の発明によれば、求め
られたパラメータ値を利用して衛星画像中の位置に対応
する地図上位置を検出することができ、請求項９記載の
発明によれば、同パラメータ値を利用して人工衛星の制
御を行うことができる。

【図面の簡単な説明】

【図１】ステレオペア画像を作成する衛星画像処理を
模式的に示した図である。

【図２】パラメータの変化による相互相関係数の変動
及び本発明の一実施形態によるタイポイント検出方法に
よる相互相関係数の最大位置探索の様子を示す図であ
る。

【図３】同最大位置探索の経路を示す図である。

【図４】同最大位置探索の手順を示すフローチャート
である。

【図５】他のパラメータを加えた場合の同タイポイン
ト検出方法による相互相関係数の最大位置探索の様子を
示す図である。

【図６】同タイポイント検出方法と組み合わせること
ができる高精度タイポイント検出処理の手順を示すフロ
ーチャートである。

【図７】マスタ画像Ａに対してスレーブ画像Ｂを平行
移動させる様子を示す図である。

【図８】平行移動の量に応じた相互相関係数を示す図
である。

【符号の説明】

Ａマスタ画像Ｂスレーブ画像Ｃ重複部分画像

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 2C032 HB03 HB22 HC23 HC24 HC25 5B057 AA14 CA08 CA12 CA16 DA20 DC32 5L096 AA13 BA20 FA09 GA08 HA01 9A001 CC05 HH23

Claims

【特許請求の範囲】

【請求項１】各々座標値に特定の変化を与える複数
のパラメータにより、複数の衛星画像の対応位置関係を
規定する第１の過程と、前記複数のパラメータを座標軸とする空間において、い
ずれかの対角線上で前記複数の衛星画像間の相互相関係
数を最大にするパラメータ値の点を求める第２の過程
と、前記空間において、前回の過程で利用した対角線とは別
の対角線を利用し、前回の過程で求めた点を通り、か
つ、当該別の対角線に平行な直線上で、前記相互相関係
数を最大にするパラメータ値の点を求める第３の過程と
を有し、前記第１及び第２の過程の後に前記第３の過程を実行
し、その後、前記第３の過程を繰り返すことにより、前
記空間において前記相互相関係数を最大にするパラメー
タ値の点を求め、前記複数のパラメータが当該点のパラ
メータ値であるときの前記対応位置関係から前記複数の
衛星画像のタイポイントを検出することを特徴とするタ
イポイント検出方法。
【請求項２】請求項１記載のタイポイント検出方法
において、前記複数のパラメータは、各々、前記特定の変化とし
て、回転及び剪断、平行移動、衛星画像の射影状態によ
る変形に応じた移動、衛星画像の縮尺の変動に応じた移
動を与えるパラメータを含むことを特徴とするタイポイ
ント検出方法。
【請求項３】請求項１又は２記載のタイポイント検
出方法において、前記第３の過程により新たに求めた点と前回の過程で求
めた点との前記空間における距離が予め定めた一定距離
以下となったときに、前記第３の過程の繰り返しを終了
し、そのときの前記新たに求めた点を当該点とすること
を特徴とするタイポイント検出方法。
【請求項４】検出したタイポイント付近で前記対応
位置関係を変化させたときの前記相互相関係数に基づ
き、更に精密なタイポイントを検出する第４の過程を更
に有することを特徴とする請求項１〜３のいずれかの項
記載のタイポイント検出方法。
【請求項５】請求項４記載のタイポイント検出方法
において、前記第４の過程は、前記パラメータを変化させることによって前記タイポイ
ント付近で前記対応位置関係を変化させたときの前記相
互相関係数を離散的に求める第５の過程と、前記第５の過程で求めた離散的な相互相関係数を微分可
能な連続量に変換する第６の過程と、前記連続量を微分する第７の過程と、前記第７の過程から得られる微分関数に基づき、前記連
続量の極大値を与える前記パラメータの値を求める第８
の過程とを有し、前記パラメータが前記第８の過程により求められた値で
あるときの前記対応位置関係から前記複数の衛星画像の
タイポイントを検出することを特徴とするタイポイント
検出方法。
【請求項６】請求項１〜３のいずれかの項記載のタ
イポイント検出方法において、前記第２、第３の過程は、各々、前記いずれかの対角線
上、直線上で前記パラメータを変化させることによって
前記対応位置関係を変化させたときの前記相互相関係数
を離散的に求め、それら離散的な相互相関係数から前記
パラメータ値の点を求める過程であり、当該点が求められた直線を含む前記いずれかの対角線上
若しくは直線上について求められた離散的な相互相関係
数を、微分可能な連続量に変換する第９の過程と、前記連続量を微分する第１０の過程と、前記第１０の過程から得られる微分関数に基づき、前記
連続量の極大値を与える前記パラメータの値を求める第
１１の過程と、前記パラメータが前記第１１の過程により求められた値
であるときの前記対応位置関係から前記複数の衛星画像
のタイポイントを検出する第１２の過程とを更に有する
ことを特徴とするタイポイント検出方法。
【請求項７】複数の衛星画像をそれぞれ分割し、そ
れぞれの対応する分割領域の衛星画像毎に、請求項１〜
６のいずれかの項記載のタイポイント検出方法を実行し
て代表的なタイポイントを検出し、検出した代表的なタイポイントによる前記対応位置関係
を規定する前記複数のパラメータを逆算し、当該点のパ
ラメータ値を求めることを特徴とするタイポイント検出
方法。
【請求項８】当該点のパラメータ値を衛星画像中の
位置に対応する地図上位置の検出に利用するパラメータ
の値として得ることを特徴とする請求項１〜７のいずれ
かの項記載のタイポイント検出方法。
【請求項９】当該点のパラメータ値を人工衛星の制
御に利用するパラメータの値として得ることを特徴とす
る請求項１〜７のいずれかの項記載のタイポイント検出
方法。
【請求項１０】各々座標値に特定の変化を与える複
数のパラメータにより、複数の衛星画像の対応位置関係
を規定する処理を行う処理手段と、前記複数のパラメータを座標軸とする空間において、い
ずれかの対角線上で前記複数の衛星画像間の相互相関係
数を最大にするパラメータ値の点を求める演算を行う第
１の演算手段と、前記空間において、前回の演算で利用した対角線とは別
の対角線を利用し、前回の演算で求めた点を通り、か
つ、当該別の対角線に平行な直線上で、前記相互相関係
数を最大にするパラメータ値の点を求める演算を行う第
２の演算手段とを有し、前記処理手段による処理及び前記第１の演算手段による
演算を実行し、その後、前記第２の演算手段による演算
を繰り返すことにより、前記空間において前記相互相関
係数を最大にするパラメータ値の点を求め、前記複数の
パラメータが当該点のパラメータ値であるときの前記対
応位置関係から前記複数の衛星画像のタイポイントを検
出することを特徴とするタイポイント検出装置。
【請求項１１】各々座標値に特定の変化を与える複
数のパラメータにより、複数の衛星画像の対応位置関係
を規定する第１の過程と、前記複数のパラメータを座標軸とする空間において、い
ずれかの対角線上で前記複数の衛星画像間の相互相関係
数を最大にするパラメータ値の点を求める第２の過程
と、前記空間において、前回の過程で利用した対角線とは別
の対角線を利用し、前回の過程で求めた点を通り、か
つ、当該別の対角線に平行な直線上で、前記相互相関係
数を最大にするパラメータ値の点を求める第３の過程
と、前記第１及び第２の過程の後に前記第３の過程を実行
し、その後、前記第３の過程を繰り返すことにより、前
記空間において前記相互相関係数を最大にするパラメー
タ値の点を求め、前記複数のパラメータが当該点のパラ
メータ値であるときの前記対応位置関係から前記複数の
衛星画像のタイポイントを検出する過程とを、コンピュータに実現させるためのプログラムを記録した
コンピュータ読み取り可能な記録媒体。