JP2013206432A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】二つの画像のずれが一様でなくとも、適切に特徴点ペアを決定する。
【解決手段】画像処理装置は、抽出部と、作成部と、決定部とを備える。抽出部は、第１の画像および第２の画像の各々から特徴点を抽出する。作成部は、前記第１および第２の画像の各々の特徴点について、該特徴点に基づいて決定される第１の方向および当該第１の方向に基づいて決定される第２の方向をそれぞれ軸とし、かつ、前記特徴点を中心とする楕円状のマトリクスの各領域に、当該領域内の画素の輝度値と前記特徴点の輝度値との差分に関する情報を対応づけた特徴量マトリクスを作成する。決定部は、前記第１の画像の特徴点の特徴量マトリクスと、前記第２の画像の特徴点の特徴量マトリクスとを比較し、類似する特徴点ペアを決定する。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。

従来、同一の地点を異なる時期に撮影して得られた複数の画像を比較し照合するための技術が用いられている。例えば、空中写真画像を用いた処理として、旧撮影空中写真画像と新撮影空中写真画像とを照合して、各画像から特徴点を抽出する。各画像の特徴点のうち、対応する特徴点を特徴点ペアとして抽出する。そして、特徴点ペアを構成する二つの特徴点を対応づけて、二つの画像の位置合わせを行う。位置合わせ後、両画像を比較することで、前の撮像時点から後の撮像時点までの間に撮像対象地点に生じた変化を、差分として抽出することができる。

特徴点ペアの抽出においては、たとえば、二つの画像から抽出された特徴点それぞれについて、画像特徴と傾き方向を算出する。算出した画像特徴や傾き方向に基づいて特徴点間の類似度を計算し、類似度の高い特徴点をペアとして抽出する。

また、撮影日時の異なる複数の航空写真などから、その土地の利用状況の時間的変化を高速に把握するための画像解析装置も提案されている。この画像解析装置では、複数の画像情報を微分処理して輪郭線画像を取得する。そして、取得した画像からフーリエ変換画像を生成して、各画素値の差分の総計が最小になる回転角度を求める。求めた回転角度で一つの画像を回転させた後、縦横方向の各画素値の差分の総計が最小となる平行移動量を求める。求めた移動量で一つの画像を移動させることで、二つの画像の位置合わせをおこなう。位置合わせ後の二つの画像の差分を求めて差分画像を生成する。

さらに、異なる撮影位置、照明条件、角度、縮尺で撮影された複数画像から変化を抽出するための変化抽出装置および方法も提案されている。この方法では、画像それぞれからフットプリント情報を抽出して比較することで、変化を抽出する。フットプリント情報とは、幾何特徴（輪郭や内部の領域情報等）、画像特徴（色彩又はエッジ特徴等）、空間特徴（地物の空間位置情報、隣接地物間の位置関係等）のいずれか、またはその組合せである。

特開２００５−１７３１２８号公報 特開２０００−７６４２３号公報 特開２００６−６５４２９号公報

しかしながら、従来の手法を用いて二つの画像を比較照合する場合、二つの画像内のずれ等に起因して、二つの画像から特徴点のペアを決定することができない場合がある。例えば、二つの画像のそれぞれが、画像内にずれを生じており、そのずれが異なる部分で生じている場合等に、適切な特徴点のペアを決定することができない。また、画像内のずれが一様でない場合等も、適切な特徴点のペアを決定することができない。かかる場合には、従来の技術で用いていた回転処理や平行移動処理等を行うのみでは、二つの画像間のずれの違いを吸収することができない。

開示の技術は、上記に鑑みてなされたものであって、二つの画像のずれが一様でなくとも、適切に特徴点ペアを決定することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、開示の技術は、第１の画像および第２の画像の各々から特徴点を抽出する。そして、前記第１および第２の画像の各々の特徴点について、該特徴点に基づいて第１の方向を決定する。さらに、当該第１の方向に基づいて第２の方向を決定する。そして、第１の方向および第２の方向をそれぞれ軸とし、かつ、前記特徴点を中心とする楕円状のマトリクスを作成する。作成したマトリクスの各領域に、当該領域内の画素の輝度値と前記特徴点の輝度値との差分に関する情報を対応づけた特徴量マトリクスを作成する。そして、前記第１の画像の特徴点の特徴量マトリクスと、前記第２の画像の特徴点の特徴量マトリクスとを比較し、類似する特徴点ペアを決定する。

開示の画像処理装置、画像処理方法および画像処理プログラムは、二つの画像のずれが一様でなくとも、適切に特徴点ペアを決定することができるという効果を奏する。

図１は、実施例１に係る画像処理サーバの構成の一例を示す図である。 図２は、画像記憶部に記憶される画像情報の構成の一例を示す図である。 図３は、特徴点記憶部に記憶される特徴点情報の構成の一例を示す図である。 図４は、第１マトリクス記憶部に記憶される特徴量マトリクス情報の構成の一例を示す図である。 図５は、第２マトリクス記憶部に記憶される特徴量マトリクス情報の構成の一例を示す図である。 図６は、特徴量マトリクスの構成の一例について説明するための図である。 図７は、ペア記憶部に記憶される特徴点ペア情報の構成の一例を示す図である。 図８は、回転角記憶部に記憶される情報の構成の一例を示す図である。 図９は、拡大縮小率記憶部に記憶される情報の構成の一例を示す図である。 図１０は、実施例１に係る画像処理サーバによる画像処理の処理手順の一例を示すフローチャートである。 図１１は、特徴量マトリクスの作成処理の一例を説明するための図である。 図１２−１は、特徴量マトリクスの作成処理において、注目点から最も近い特徴点を利用することを説明するための図である。 図１２−２は、特徴量マトリクスの作成処理において、注目点から最も近い特徴点を利用することを説明するための他の図である。 図１２−３は、特徴量マトリクスの作成処理において、注目点から最も近い特徴点を利用することを説明するためのさらに他の図である。 図１３は、特徴量マトリクスの拡大縮小処理を説明するための図である。 図１４は、拡大縮小処理での縮小率についてさらに説明するための図である。 図１５−１は、拡大縮小処理での拡大率について説明するための図である。 図１５−２は、拡大縮小処理での拡大率について説明するための他の図である。 図１６−１は、特徴量マトリクスの回転処理について説明するための図である。 図１６−２は、特徴量マトリクスの回転処理について説明するための他の図である。 図１６−３は、特徴量マトリクスの回転処理について説明するためのさらに他の図である。 図１７−１は、角度変化範囲の決定手法について説明するための図である。 図１７−２は、角度変化範囲の決定手法について説明するための他の図である。 図１７−３は、角度変化範囲の決定手法について説明するためのさらに他の図である。 図１７−４は、角度変化範囲の決定手法について説明するためのさらに他の図である。 図１７−５は、角度変化範囲の決定手法について説明するためのさらに他の図である。 図１７−６は、角度変化範囲の決定手法について説明するためのさらに他の図である。 図１７−７は、角度変化範囲の一例を示す図である。 図１８−１は、回転処理を経た特徴量マトリクスの作成処理について説明するための図である。 図１８−２は、回転処理を経た特徴量マトリクスの作成処理について説明するための他の図である。 図１８−３は、回転処理を経た特徴量マトリクスの作成処理について説明するためのさらに他の図である。 図１８−４は、回転処理を経た特徴量マトリクスの作成処理について説明するためのさらに他の図である。 図１８−５は、回転処理を経た特徴量マトリクスの作成処理について説明するためのさらに他の図である。 図１８−６は、回転処理を経た特徴量マトリクスの作成処理について説明するためのさらに他の図である。 図１９は、実施例１〜２に係る画像処理プログラムを実行するコンピュータの一例について説明するための図である。

以下に、本願の開示する画像処理装置、画像処理方法および画像処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

本願の開示する画像処理装置の実施例１として、画像処理サーバ１００を説明する（図１参照）。画像処理サーバ１００は、たとえば、クライアント２００から同一の地点を異なる時点で撮影した二つの画像の入力を受ける。または、画像処理サーバ１００は、クライアント２００から同一の地点を異なる時期に撮影した二つの画像を特定する指示を受け付ける。そして、画像処理サーバ１００は、二つの画像の各々から特徴点を抽出する。さらに、画像処理サーバ１００は、各特徴点の輝度値と、当該特徴点から所定の距離範囲内に位置する画素の輝度値との差分に関する情報を、当該特徴点を中心とする楕円状のマトリクスの複数の領域各々に対応付けて、各特徴点の特徴量マトリクスを作成する。画像処理サーバ１００は、一つの画像の特徴点の特徴量マトリクスと、他の画像の特徴点の特徴量マトリクスとを比較して類似度を求める。画像処理サーバ１００は、特徴量マトリクスの類似度が高い特徴点の対を特徴点ペアとして決定する。

まず、図１を参照して、画像処理サーバ１００の構成の一例につき説明する。図１は、実施例１に係る画像処理サーバ１００の構成の一例を示す図である。画像処理サーバ１００は、記憶部１１０と、制御部１２０と、入出力部１３０とを備える。記憶部１１０は、画像処理サーバ１００内での処理に使用するデータおよび画像処理サーバ１００内での処理により生成されるデータを記憶する。制御部１２０は、画像処理サーバ１００内での画像処理を制御する。入出力部１３０は、外部から画像処理サーバ１００に入力されるデータを受信するとともに、画像処理サーバ１００により生成されるデータを外部に送信する。

また、画像処理サーバ１００は、クライアント２００と、ネットワーク３００を介して接続される。クライアント２００は、たとえば、モニタ２０１を備える。画像処理サーバ１００内で処理された画像は、入出力部１３０を介してクライアント２００に送られ、モニタ２０１に表示することができる。なお、図１では、画像処理サーバ１００の外部にひとつのクライアント２００およびモニタ２０１が設けられるものとしたが、画像処理サーバ１００は、ネットワーク３００を介して複数のクライアント２００と接続されてもよい。そして、画像処理サーバ１００を、複数のクライアント２００から送信される画像を受信するように構成してもよい。また、画像処理サーバ１００内にモニタを設けて画像を確認できるように構成してもよい。また、画像処理サーバ１００自体に撮像機能を設けてもよく、また、画像処理サーバ１００を、クライアント２００とは別の撮像装置と接続してもよい。なお、クライアント２００は、例えば、パーソナルコンピュータ、携帯電話機、スマートフォン、インターネットＴＶなどのコンピュータである。

［記憶部の構成］
記憶部１１０は、画像記憶部１１１、特徴点記憶部１１２、マトリクス記憶部１１３、ペア記憶部１１４および設定記憶部１１５を備える。なお、記憶部１１０は、半導体メモリ素子や記憶装置などである。例えば、半導体メモリ素子としては、ＶＲＡＭ（Video Random Access Memory）、ＲＡＭ（Random Access Memory)、ＲＯＭ（Read Only Memory）やフラッシュメモリ（flash memory）などが挙げられる。また、記憶装置としては、ハードディスク、光ディスクなどの記憶装置が挙げられる。以下、記憶部１１０に記憶される情報につき説明する。

［画像情報］
画像記憶部１１１は、画像処理サーバ１００が受信した画像情報を記憶する。図２は、画像記憶部１１１に記憶される画像情報の構成の一例を示す図である。たとえば、図２に示すように、画像情報は、画像を一意に識別する画像ＩＤ（Identifier）を含む。そして、画像記憶部１１１は、画像ＩＤに対応付けて、画像が撮影された場所、撮影日時、画像自体等を記憶する。図２に示す例では、画像ＩＤ「００１」に対応づけて、画像ＩＤ「００１」の画像の撮影地点の緯度と経度が「３５．６５８７，１３９．７４」として記憶されている。さらに、画像ＩＤ「００１」に対応づけて、撮影日時「２０１２／０３／３０」が記憶されている。さらに、画像ＩＤ「００１」に対応づけて、画像自体が記憶されている。

［特徴点情報］
特徴点記憶部１１２は、画像処理サーバ１００が受信した画像の特徴点に関する情報を記憶する。図３は、特徴点記憶部１１２に記憶される特徴点情報の構成の一例を示す図である。

ここで、特徴点とは、画像の中で目立った特徴を示す点のことをいう。たとえば、画像中の物体の角にあたる部分や、境界線に該当する部分など、周囲の画素との輝度勾配が大きい部分が特徴点として抽出される。なお、特徴点の抽出については後述するが、抽出の手法は特に限定されない。

図３に示すように、特徴点記憶部１１２は、たとえば、画像ＩＤ「００１」に対応付けて、当該画像から抽出された特徴点の情報を記憶する。図３の例では、画像ＩＤ「００１」に対応付けて、特徴点を一意に特定する特徴点ＩＤ「ＦＰ００１」が記憶されている。さらに、特徴点ＩＤ「ＦＰ００１」で特定される特徴点の位置が、画像上の座標「ｘ_１，ｙ_１」であることが記憶されている。特徴点は、各画像について複数個抽出され、その各々についての情報が特徴点記憶部１１２に記憶される。

［特徴量マトリクス情報］
マトリクス記憶部１１３は、特徴点各々の特徴量マトリクスの情報を記憶する。図４は、第１マトリクス記憶部１１３ａに記憶される特徴量マトリクス情報の構成の一例を示す図である。図５は、第２マトリクス記憶部１１３ｂに記憶される特徴量マトリクス情報の構成の一例を示す図である。図６は、比較画像の特徴点の特徴量マトリクスの構成の一例について説明するための図である。図４乃至図６を参照して、特徴量マトリクス情報について説明する。

マトリクス記憶部１１３は、第１マトリクス記憶部１１３ａおよび第２マトリクス記憶部１１３ｂを備える（図１参照）。第１マトリクス記憶部１１３ａは、照合する２つの画像のうち比較対象となる画像（以下、適宜「比較画像」とも称する。）の特徴点の特徴量マトリクスを記憶する。第２マトリクス記憶部１１３ｂは、照合する２つの画像のうち比較画像ではない、処理対象となる画像（以下、適宜「処理画像」とも称する。）の特徴点の特徴量マトリクスを記憶する。第１マトリクス記憶部１１３ａは、比較画像の各特徴点につき一つの特徴量マトリクスを記憶する。これに対して、第２マトリクス記憶部１１３ｂは、処理画像の各特徴点につき複数の特徴量マトリクスを記憶する。

図４に示すように、比較画像の特徴点についての特徴量マトリクス情報は、「画像ＩＤ」、「特徴点ＩＤ」、「マトリクスＩＤ」、「マトリクスセグメントＩＤ」、「輝度値」、「輝度差」および「輝度差レベル」を含む。特徴量マトリクス情報は、各特徴点の特徴量マトリクスについての情報である。例えば、図４の例では、「画像ＩＤ：００１」の画像の「特徴点ＩＤ：ＦＰ００１」の特徴点について、「マトリクスＩＤ：Ｍ００１０１」の特徴量マトリクスについての情報が記憶されている。

他方、図５に示すように、処理画像の特徴点についての特徴量マトリクス情報は、上記比較画像の特徴点について記憶される情報に加えて以下の情報を含む。すなわち、「回転角」「拡大縮小率」である。また、処理画像の特徴点についての特徴量マトリクスは、一つの特徴点について複数作成される。図５の例では、特徴点ＩＤ「ＦＰ００１」の特徴点について、マトリクスＩＤ「Ｍ００１０１」、「Ｍ００１０２」、「Ｍ００１０３」等の複数の特徴量マトリクスが記憶されている。また、マトリクスＩＤ「Ｍ００１０１」は、「回転角：０°」、「拡大縮小率１．０」と対応付けられている。

特徴量マトリクスの詳細についてさらに説明する。なお、特徴量マトリクスは後述する作成部１２４によって作成される。図６に示すように、特徴量マトリクスは、特徴点を中心とし所定の長さの軸を有する楕円を、周方向および半径方向に所定の数の領域に分割したものである。たとえば、作成部１２４は、特徴点に基づいて第１の方向を決定する。そして、作成部１２４は、第１の方向に基づいて第２の方向を決定する。作成部１２４は、決定した第１の方向と第２の方向とをそれぞれ軸として、特徴点を中心として楕円状のマトリクスを作成する。たとえば、作成部１２４は、特徴点と最も近い特徴点の方向を第１の方向とする。そして、作成部１２４は、当該特徴点と最も近い特徴点とを結ぶ線分に対して９０度の角度の方向を第２の方向とする。作成部１２４は、このようにして作成した特徴量マトリクスに、特徴点の輝度値と、マトリクスの領域の輝度値との差分に関する情報を対応づける。各領域に含まれる画素の輝度値と、楕円の中心に位置する特徴点の輝度値との差分が、各領域の「輝度差」の値となる。なお、図６の例には、合計４９個の画素を示すが、以下、説明の便宜上、４９個の画素をそれぞれ、「行番号、列番号」で特定して説明する。行番号は、下から上に向かって「１」〜「７」で示し、列番号は、左から右に向かって「１」〜「７」で示す。

図６の例では、作成部１２４は、特徴点ＦＰを中心として、特徴点の存在する画素位置から長軸方向に３画素の領域にわたる特徴量マトリクスを設定する。また、図６の例では、特徴量マトリクスを構成する楕円は、径方向に２領域、周方向に４領域に分割され、全部で８個の領域が形成される。各領域には、当該領域を一意に特定するためのマトリクスセグメントＩＤが付与される。図６の例では、楕円の上中心から右回り方向に内側から外側に向けて順番に、マトリクスセグメントＩＤが付与されている。たとえば、中心側の楕円に含まれる４つの領域には、上中心から右回りに、マトリクスセグメントＩＤ「１」〜「４」が付与されている。外側の楕円に含まれる４つの領域には、上中心から右回りに、マトリクスセグメントＩＤ「５」〜「８」が付与されている。

このように特徴量マトリクスの領域を設定した場合、一つの画素が２以上の領域にまたがって存在する場合がある。ここでは、作成部１２４は、二つの領域にまたがる画素については、右側かつ下側の領域に入れて特徴量を計算する。たとえば、図６の画素「５，４」は、マトリクスセグメントＩＤ「１」「４」「５」「８」の４つの領域にまたがって存在する。そして、右側の領域は、マトリクスセグメントＩＤ「１」「５」の領域であり、そのうち下側の領域はマトリクスセグメントＩＤ「１」の領域である。したがって、作成部１２４は、画素「５，４」はマトリクスセグメントＩＤ「１」の領域に入れて特徴量を算出する。

このようにして、作成部１２４は、図６に示す各領域について、特徴量を算出する。たとえば、マトリクスセグメントＩＤ「１」の領域には、画素「５，４」、「５，５」が入る。したがって、輝度値「（１００＋１００）／２＝１００」がマトリクスセグメントＩＤ「１」の領域の輝度値となる。そして、特徴点が存在する領域の画素の輝度値は「２５５」である。よって、「２５５−１００＝１５５」が、マトリクスセグメントＩＤ「１」の領域の輝度差の値となる。

また、マトリクスセグメントＩＤ「２」の領域には、画素「４，４」、画素「４，５」が含まれる。したがって、輝度値「（２５５＋２５５）／２＝２５５」がマトリクスセグメントＩＤ「２」の領域の輝度値となる。よって、「２５５−２５５＝０」が、マトリクスセグメントＩＤ「２」の領域の輝度差の値となる。

同様に、図６に示すマトリクスセグメントＩＤ「３」〜「８」について輝度差を求めると、最終的に得られる数値は図４に示すようになる。このように、作成部１２４は、各特徴点について、マトリクスセグメント各々の輝度差を求め、マトリクス記憶部１１３は、特徴量マトリクス情報として記憶する。

また、マトリクス記憶部１１３は、輝度差の値がとり得る範囲である−２５５から２５５の値を、たとえば１３のレベルに区分して、輝度差がどのレベルに該当するかも記憶する。たとえば、輝度差が「−２５５〜−２１５」の場合をＰ１、「−２１５〜−１７５」の場合をＰ２、「−１７５〜−１３５」の場合をＰ３、「−１３５〜−９５」の場合をＰ４とする。また、輝度差が「−９５〜−５５」の場合をＰ５、「−５５〜−１５」の場合をＰ６、「−１５〜１５」の場合をＰ７、「１５〜５５」の場合をＰ８、「５５〜９５」の場合をＰ９、「９５〜１３５」の場合をＰ１０とする。さらに、輝度差が「１３５〜１７５」の場合をＰ１１、「１７５〜２１５」の場合をＰ１２、「２１５〜２５５」の場合をＰ１３とする。この場合、図４に示すように、マトリクスセグメントＩＤ「１」の領域については、輝度差が「１５５」であるため、輝度差レベルは「Ｐ１１」となる。なお、これに限定されず、輝度差の値のみを記憶してもよい。

［特徴点ペア情報］
ペア記憶部１１４は、画像処理サーバ１００による処理によって決定される特徴点ペアについての情報を記憶する。図７は、ペア記憶部１１４に記憶される特徴点ペア情報の構成の一例を示す図である。

図７に示すように、特徴点ペア情報は、処理画像を一意に特定する「処理画像ＩＤ」と、比較画像を一意に特定する「比較画像ＩＤ」とを含む。さらに、「処理画像ＩＤ」および「比較画像ＩＤ」に対応づけて、各特徴点ペアを一意に特定する「ペアＩＤ」を記憶する。そして、「ペアＩＤ」に対応づけて、処理画像の特徴点を一意に特定する「処理画像特徴点ＩＤ」と、比較画像の特徴点を一意に特定する「比較画像特徴点ＩＤ」とを記憶する。たとえば、図７の例では、「処理画像ＩＤ：００１」「比較画像ＩＤ：２０１」に対応づけて、ペアＩＤ「００１」、「００２」、「００３」等が記憶される。そして、ペアＩＤ「００１」に対応づけて、「処理画像特徴点ＩＤ：ＦＰ００１」と「比較画像特徴点ＩＤ：ＦＰ２０１」が記憶される。このように、特徴点ペア情報は、二つの画像のどの特徴点同士が対応するかを示す情報である。

［設定記憶部に記憶される情報］
実施例１に係る画像処理サーバ１００は、二つの画像の一方（処理画像）の特徴点について、適用するマトリクスを所定の比率で拡大縮小して、複数の特徴量マトリクスを作成する。また、画像処理サーバ１００は、作成した複数の楕円状の特徴量マトリクスの軸の一方を、特徴点を中心として所定の回転角度で回転させて、さらに特徴量マトリクスを作成する。かかる処理を実現するため、実施例１に係る画像処理サーバ１００の記憶部１１０には、設定記憶部１１５が設けられている。たとえば、設定記憶部１１５は、回転角記憶部１１５ａと拡大縮小率記憶部１１５ｂとを有する。なお、設定記憶部１１５に記憶される情報は、ユーザの入力に基づいて記憶されてもよく、回転部１２４ａおよび拡大縮小部１２４ｂによる処理の結果に基づいて記憶されてもよい。また、初期値として予め所定の値を設定記憶部１１５に記憶してもよい。

［回転角情報］
回転角記憶部１１５ａは、回転処理に用いる情報を記憶する。図８は、回転角記憶部１１５ａに記憶される情報の構成の一例を示す図である。たとえば、回転角記憶部１１５ａは、特徴量マトリクスの軸を回転させる回数と、回転させる角度を変化させる角度変化範囲およびその時点で適用されている回転数および角度変化範囲を示すフラグを記憶する。図８の例では、「回転数」、「角度変化範囲」、「フラグ」が記憶される。たとえば、回転数「１７８」に対応付けて、角度変化範囲「−８９°〜＋８９°」が記憶されている。また、この時点で回転数「１７８」、角度変化範囲「−８９°〜＋８９°」が選択されていることを示すフラグが記憶されている。図８の例では、ユーザが手動で回転数および角度変化範囲を設定することができるよう、最下段に「回転数：任意（手動設定）」のボックスを設けている。ユーザが手動で回転数および角度変化範囲を設定した場合は、最下段の空白のボックスに設定した回数および設定した角度変化範囲が記憶される。

ここでは、回転角記憶部１１５ａに記憶された情報に基づいて、角度変化範囲を変更することができる例を示すが、画像処理サーバ１００において適用できる回転角度および回転数を固定にして、回転角記憶部１１５ａを設けないものとすることもできる。また、回転部１２４ａにおける処理の結果、角度変化範囲等が回転記憶部１１５ａに設定されるものとしてもよい。

拡大縮小率記憶部１１５ｂは、特徴量マトリクス作成のため特徴点に適用するマトリクスを拡大縮小する際の、拡大縮小率を記憶する。図９は、拡大縮小率記憶部１１５ｂに記憶される情報の構成の一例を示す図である。

拡大縮小率記憶部１１５ｂは、画像の種類に対応付けて、拡大縮小率と、拡大縮小回数と、その時点で適用されている拡大縮小率を示すフラグとを記憶する。たとえば、図９に示すように、画像の種類「衛星画像」に対応づけて、拡大縮小率「０．５〜２．０」が記憶される。さらに、この場合の拡大縮小回数である「１６」が記憶される。これは、０．５〜２．０倍の範囲内で、０．１きざみに、「０．５倍」、「０．６倍」、「０．７倍」から「２．０倍」までの拡大縮小率を適用することを意味する。さらに、この時点で「衛星画像」の拡大縮小率が適用されていることを示すフラグが記憶されている。

作成部１２４は、たとえば、特徴量マトリクスの長軸または短軸の長さを増減させる。ここでは、拡大縮小処理は、短軸または長軸を基準として、他方の軸の長さを変更して行う。たとえば、長軸の長さを「１」として、短軸の長さを「０．５〜２．０」の拡大縮小率で変更する。なお、拡大縮小率の増減幅を別途定義するようにしてもよい。

拡大縮小率記憶部１１５ｂは、予め画像の種類に対応付けて拡大縮小率を記憶するが、ユーザが拡大縮小率を任意に設定することもできる。図９の最下段に示すように、ユーザが拡大縮小率を任意に設定した場合は、空白のボックスに拡大縮小率が記憶され、フラグが設定される。

ここでは、拡大縮小率記憶部１１５ｂに記憶された情報に基づいて、拡大縮小率を変更することができる例を示すが、画像処理サーバ１００において適用できる拡大縮小率を固定にして、拡大縮小率記憶部１１５ｂを設けないこともできる。また、拡大縮小部１２４ｂにおける処理の結果、拡大縮小率等が拡大縮小率記憶部１１５ｂに設定されるものとしてもよい。

実施例１では、拡大縮小処理において、特徴量マトリクスの長軸または短軸の長さを増減させるものとする。ただし、後述する回転処理において、特徴量マトリクスの軸を回転させた結果、軸方向が変化した場合は、回転後の軸方向に特徴量マトリクスを拡大縮小してもよい。

［制御部１２０の構成］
図１に戻り、制御部１２０の構成を説明する。制御部１２０は、設定部１２１と、受付部１２２と、抽出部１２３と、作成部１２４と、決定部１２５と、位置合わせ部１２６と、検出部１２７と、を備える。制御部１２０は、入出力部１３０を介して受信した画像を解析して特徴点ペアを決定する処理を実行する。さらに、制御部１２０は、決定した特徴点ペアに基づき、画像の位置合わせと画像間の差分検出を実行する。制御部１２０における処理によって生成されるデータは適宜、記憶部１１０に記憶される。なお、制御部１２０は、例えば、各種の集積回路や電子回路である。例えば、集積回路としては、ＡＳＩＣ（Application Specific Integrated Circuit）が挙げられる。また、電子回路としては、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などが挙げられる。

設定部１２１は、入出力部１３０を介して、クライアント２００からの入力にもとづき、特徴量マトリクスの設定を行う。たとえば、設定部１２１は、特徴量マトリクスの角度変化範囲および拡大縮小率を設定する。たとえば、所定のコマンドをクライアント２００のモニタ２０１から入力することで、モニタ２０１に入力画面が表示され、ユーザは、モニタ２０１から設定を入力する。設定部１２１は、設定の入力があると、入力された内容を、回転角記憶部１１５ａおよび拡大縮小率記憶部１１５ｂに設定する。たとえば、該当する角度変化範囲および画像種類にフラグが設定される。または、ユーザが任意の数値を入力した場合は、空白のボックスに数値が入力され、当該ボックスにフラグが設定される。なお、設定の入力を待たず、デフォルトで回転角および拡大縮小率が設定されるものとしてもよい。また、画像処理サーバ１００における処理の結果、回転角および拡大縮小率が設定されるものとしてもよい。

なお、上述のように全ての画像に固定の角度変化範囲および拡大縮小率を適用する場合には、設定部１２１を設けなくてもよい。

受付部１２２は、入出力部１３０を介して同一の地点を異なる時期に撮影することによって得られる少なくとも二つの画像を受け付ける。受け付けた画像は、指示入力に基づき抽出部１２３に送られる。また、受付部１２２が受け付けた画像は、画像記憶部１１１に記憶される。また、受付部１２２は、通常は受け付けた画像を画像記憶部１１１に記憶するのみとし、オペレータ等による指示入力があった場合に、画像記憶部１１１に記憶された画像を読み出し、抽出部１２３に送るよう構成してもよい。

抽出部１２３は、受付部１２２から送られる画像から特徴点を抽出する。たとえば、画像内の建物、道路、森林、敷地などの輪郭点や境界点などを特徴点として抽出する。特徴点を抽出するために用いる手法は特に限定されない。たとえば、ハリス（Harris）オペレータやモラベック（Moravec）オペレータを用いる方法、ＳＵＳＡＮ（Smallest Univalue Segment Assimilating Nucleus）、ＭＩＣ（Minimum Intensity Change）等を利用することができる。抽出部１２３が抽出した特徴点に関する情報は、特徴点記憶部１１２に記憶される。

作成部１２４は、抽出部１２３により抽出された特徴点各々について、上述した特徴量マトリクスを作成する。作成部１２４は、回転部１２４ａと拡大縮小部１２４ｂとを備える。作成部１２４は、回転角記憶部１１５ａおよび拡大縮小率記憶部１１５ｂに記憶される情報に基づき、二つの画像の一方（処理画像）の特徴点の特徴量マトリクスの回転処理および拡大縮小処理を実行する。すなわち、回転部１２４ａは、回転角記憶部１１５ａに記憶された角度変化範囲等に基づいて、特徴量マトリクスの軸を回転させる。拡大縮小部１２４ｂは、拡大縮小率記憶部１１５ｂに記憶される拡大縮小率に基づいて、特徴点に適用するマトリクスを拡大縮小する。回転部１２４ａおよび拡大縮小部１２４ｂによる回転処理および拡大縮小処理を経て作成部１２４が作成した特徴量マトリクスの情報は、マトリクス記憶部１１３に記憶される。回転処理および拡大縮小処理についてはさらに詳しく後述する。

決定部１２５は、二つの画像の各々の特徴点について作成された特徴量マトリクスを比較し、類似度を算出する。たとえば、決定部１２５は、一方の画像の特徴点をひとつ選択する。そして、決定部１２５は、当該特徴点の特徴量マトリクスを、他方の画像の特徴点すべての特徴量マトリクスと比較する。たとえば、決定部１２５は、二つの特徴量マトリクスの各領域の輝度差レベル（図４、図５参照）を比較する。そして、決定部１２５は、比較結果に基づき、特徴量マトリクス間の類似度を算出する。決定部１２５は、最も類似度が高い特徴点の対を特徴点ペアと決定する。なお、類似度を算出する手法は特に限定されないが、例えば、正規化相互相関（ＺＮＣＣ：Zero-mean Normalized Cross-Correlation）を用いることができる。また、差分絶対値和（ＳＡＤ：Sum of Absolute Differences）、差の二乗和（ＳＳＤ：Sum of Squared Difference）等を利用した手法を適用してもよい。

位置合わせ部１２６は、決定部１２５が決定した特徴点ペアに基づいて、二つの画像の位置合わせを実行する。たとえば、位置合わせ部１２６は、特徴点ペアの画像上の座標に基づいてホモグラフィ行列を算出し、一方の画像を、ホモグラフィ行列を用いて変換することで、画像の位置合わせを実行する。ただし、位置合わせに用いる手法は特に限定されない。

検出部１２７は、位置合わせ後の二つの画像の差分を検出する。たとえば、検出部１２６は、位置合わせ後の画像の画素値、たとえば輝度成分を比較して差分を検出する。ただし、差分検出に用いる手法は特に限定されない。検出した差分画像は、入出力部１３０を介して、クライアント２００に送信することができる。

ここで、位置合わせ部１２６や検出部１２７は必ずしも設けなくてもよい。また、回転部１２４ａおよび拡大縮小部１２４ｂも必ずしも設けなくてもよい。

［実施例１に係る画像処理の流れ］
次に、図１０を参照し、実施例１に係る画像処理サーバ１００による画像処理の流れにつき説明する。図１０は、実施例１に係る画像処理サーバ１００による画像処理の処理手順の一例を示すフローチャートである。

まず、設定部１２１が、回転角および拡大縮小率を設定する（ステップＳ２０１）。次に、受付部１２２が、比較照合の対象となる二つの画像Ａ（比較画像）、Ｂ（処理画像）の入力を受け付ける（ステップＳ２０２）。受付部１２２は、受け付けた画像Ａ、Ｂを抽出部１２３に送る。抽出部１２３は、受け取った画像Ａ、Ｂのそれぞれから、特徴点を抽出する（ステップＳ２０３）。抽出部１２３は、たとえば、画像の各画素の輝度値や輝度変化の方向にもとづき、画像内の建物、道路、森林、敷地などの輪郭点や境界点を抽出する。

次に、作成部１２４は、抽出部１２３が抽出した、画像Ａの特徴点各々について、特徴量マトリクスを作成する（ステップＳ２０４）。すなわち、作成部１２４は、当該特徴点を中心とする楕円状のマトリクスの各領域内の画素の輝度値を算出し、特徴点の画素の輝度値との差分を算出する。作成部１２４は、算出した差分を、各領域に対応づけて、特徴量マトリクスを作成する。

次に、決定部１２５は、特徴量マトリクスを作成していない方の画像Ｂ（処理画像）の特徴点を一つ選択する（ステップＳ２０５）。決定部１２５による選択を受け、作成部１２４は、画像Ｂの選択された特徴点について、特徴量マトリクスを作成する（ステップＳ２０６）。そして、決定部１２５は、作成部１２４が作成した画像Ｂの特徴点の特徴量マトリクスを、画像Ａ（比較画像）の特徴点各々の特徴量マトリクスと比較して類似度を算出する（ステップＳ２０７）。

次に、決定部１２５は、回転部１２４ａが回転角記憶部１１５ａに記憶された所定の回転数だけ回転処理を実行したか否かを判定する（ステップＳ２０８）。所定の回転数の回転処理が完了していないと判定した場合（ステップＳ２０８、否定）、決定部１２５は、処理を作成部１２４に回す。回転部１２４ａはさらに、所定角度だけ特徴量マトリクスの軸を回転させて回転処理を実行する（ステップＳ２０９）。そして、作成部１２４が、回転処理を施した特徴量マトリクスを作成し（ステップＳ２０６）、決定部１２５が、類似度を算出して記憶部１１０に格納する（ステップＳ２０７）。

所定の回転数の回転処理が完了していると判定した場合（ステップＳ２０８、肯定）、決定部１２５は、拡大縮小率記憶部１１５ｂに記憶されている拡大縮小率に対応する拡大縮小処理が完了したか否かを判定する（ステップＳ２１０）。拡大縮小処理が完了していないと判定した場合（ステップＳ２１０、否定）、決定部１２５は、処理を作成部１２４に戻す。拡大縮小部１２４ｂは完了していない拡大縮小率による特徴量マトリクスの拡大縮小処理を実行する（ステップＳ２１１）。そして、作成部１２４は、拡大縮小処理後の特徴量マトリクスを元に、選択されている画像Ｂの特徴点の特徴量マトリクスを作成する（ステップＳ２０６）。決定部１２５は、作成された画像Ｂの特徴点の特徴量マトリクスをもとに、類似度を算出する（ステップＳ２０７）。そして、再び、作成部１２４は、所定回数の回転処理が完了したか否かを判定する（ステップＳ２０８）。

他方、ステップＳ２１０において拡大縮小処理が完了したと判定した場合（ステップＳ２１０、肯定）、決定部１２５は、算出した類似度のうち最も高い類似度が算出された画像Ａの特徴点を選択する（ステップＳ２１２）。次に、決定部１２５は、選択した画像Ａの特徴点の類似度が所定値以上か否かを判定する（ステップＳ２１３）。所定値未満と判定した場合（ステップＳ２１３、否定）、決定部１２５は、ステップＳ２０５で選択した画像Ｂの特徴点を除外する（ステップＳ２１４）。すなわち、画像Ｂについて特徴点記憶部１１２に記憶された特徴点の情報から、当該特徴点の情報を削除する。他方、所定値以上と判定した場合（ステップＳ２１３、肯定）、決定部１２５は、ステップＳ２１２で選択した画像Ａの特徴点と、ステップＳ２０６で選択した画像Ｂの特徴点とをペアとして決定する（ステップＳ２１５）。

そして、決定部１２５は、処理画像の全ての特徴点についてペアが決定したか否かを判定する（ステップＳ２１６）。全ての特徴点についてペアが決定していないと判定した場合（ステップＳ２１６、否定）、決定部１２５は次の特徴点を選択し（ステップＳ２１７）、ステップＳ２０６の処理に戻る。他方、全ての特徴点についてペアが決定したと判定した場合（ステップＳ２１６、肯定）、位置合わせ部１２６が、決定した特徴点ペアに基づいて画像の位置合わせをおこなう（ステップＳ２１８）。次に、位置合わせ後の二つの画像に基づいて、検出部１２７が差分を検出する（ステップＳ２１９）。検出した差分から構成される差分画像は、入出力部１３０を介して出力される（ステップＳ２２０）。これによって処理が終了する。

［特徴量マトリクスの作成処理］
次に、特徴量マトリクスの作成処理の一例について説明する。図１１は、特徴量マトリクスの作成処理の一例を説明するための図である。まず、決定部１２５は、画像から抽出した特徴点の中から１つの特徴点（注目点）を選択する。例えば、決定部１２５は、図１１（Ａ）のＰ_１を選択する。作成部１２４は、注目点から最も近くにある特徴点を選択する。図１１（Ａ）の場合、注目点Ｐ_１から最も近くにある特徴点はＰ_２であるため、作成部１２４は、Ｐ_２を選択する。作成部１２４は、そして、Ｐ_１とＰ_２とを結ぶ線分に対して９０度の角度をなす線分を算出する。作成部１２４は、算出した線分上での輝度変化を算出して輝度変化が閾値以上になる点を抽出する。図１１（Ａ）の場合、Ｐ_３において、大きな輝度変化が生じ閾値以上となるため、探索の結果、作成部１２４は、Ｐ_３を抽出する。そして、作成部１２４は、Ｐ_１を中心とし、Ｐ_２およびＰ_３を通る楕円形を算出する（図１１（Ｂ））。作成部１２４は、算出した楕円形を複数領域に分割し、各領域内の画素の輝度値と、中心にある特徴点Ｐ_１の画素値との差分を求め、差分を各領域に対応づける。これによって、特徴点の特徴量マトリクスが作成される。

［最も近い特徴点を利用する理由］
上記の例では、作成部１２４は、特徴量マトリクスの作成において、注目点から最も近い特徴点を利用する。図１２−１乃至図１２−３は、特徴量マトリクスの作成処理において、注目点から最も近い特徴点を利用することを説明するための図である。

まず、図１２−１に示す画像Ａにおいて、注目点をＰ_１とすると、最も近い特徴点はＰ_２となる。これに対して、天候が変化したこと、たとえば、曇りの日や夕方に撮影した等の理由で、画像全体が暗く写ったとする。図１２−２に示すように、画像全体が暗くなった場合は、画像全体として輝度差の大きい部分、すなわちエッジが弱くなる。しかし、エッジが完全になくなってしまうわけではなく、作成部１２４は、輝度差の大きい部分を抽出することができる。したがって、作成部１２４は、注目点をＰ_１とし、特徴点Ｐ_２を最も近い特徴点として抽出することができる。

さらに、日照の変化により画像の一部に影がかかる等の変化が生じる場合がある。図１２−３に示すように、画像の左下領域のみに影がかかり、左下領域のみ明るさが他の部分と異なった場合を考える。この場合、左下領域においてはエッジが弱くなるため、作成部１２４は、Ｐ_２を特徴点として抽出できないことがある。そして、Ｐ_２が特徴点として抽出されない結果、作成部１２４は、他の特徴点、たとえば、Ｐ_３を注目点Ｐ_１から最も近い特徴点として抽出する。この場合は、作成部１２４が作成する特徴マトリクスは、比較画像の特徴点について作成される特徴マトリクスとずれることになり、正しく特徴点ペアが検出できない可能性がある。

しかし、通常は、特徴点ペアとして数百のペアを抽出したのち、正当性をチェックして誤対応ペアを除外する処理を行う。また、衛星画像等の場合、全ての特徴点について日照変化等の影響で誤検出が生じる可能性は低い。したがって、日照変化の影響を考慮しても、最も近い特徴点を抽出して特徴量マトリクスを作成することによって妥当な特徴点ペアを決定することができる。また、作成部１２４は、二つの画像の一方の特徴点については、回転処理および拡大縮小処理を行い、一つの特徴点について複数の特徴量マトリクスを作成し、類似度が閾値より小さい場合は、特徴点を除外する。したがって、誤検出を抑制して適正な特徴点ペアを決定することができる。

なお、このように、最も近い特徴点の方向を楕円状のマトリクスの一軸方向とする場合、特徴量マトリクスの領域の設定は、当該軸方向を基準として行う。たとえば、図６に示す例において楕円の長軸方向（列１から列７へ向かう方向）を、最も近い特徴点の方向として、図６に示すようにマトリクスの領域を設定し、各領域の輝度差の値を算出する。これによって、異なる画像の特徴点の特徴量マトリクスを適正に比較することができる。ただし、特徴量マトリクスを適正に比較することができれば、他の基準を用いて特徴量マトリクスの領域を設定してもよい。

［拡大縮小処理］
図１３を参照し、特徴量マトリクスの拡大縮小処理を説明する。図１３は、特徴量マトリクスの拡大縮小処理を説明するための図である。まず、上述のように注目点Ｐ_１から最も近い特徴点Ｐ_２を抽出し、注目点Ｐ_１と最も近い特徴点Ｐ_２とを結ぶ線分に対して９０度の角度をなす線分上において輝度変化が閾値以上となる点Ｐ_３を抽出する。そして、９０度の角度をなす線分の長さを所定の割合で増減させて、複数の特徴量マトリクスを作成する。

９０度の角度をなす線分の長さは、注目点から注目点に最も近い特徴点までの長さを基準として、増減の範囲を０．５倍〜２倍までに設定してもよい。そして、基準の長さに対して、０．５倍、０．６倍、０．７倍、・・・２．０倍まで長さを変化させて特徴量マトリクスを作成すればよい。たとえば、図１３に示すように、９０度の角度をなす線分の長さを変更する。

このように、特徴量マトリクスの短軸又は長軸の長さを変化させて複数の特徴量マトリクスを作成することにより、画像の一部が歪んでいる場合であっても、正確に画像の輝度を反映した特徴量マトリクスを作成することができる。

なお、ここでは、特徴点（注目点）から最も近い他の特徴点を抽出して、注目点と当該他の特徴点を結ぶ線分と、当該線分と９０度の角度をなす線分とを、楕円状の特徴量マトリクスの短軸および長軸とした。しかし、これに限定されず、任意の方向と、当該方向と所定の関係を有する他の方向とを、楕円形状のマトリクスの短軸方向及び長軸方向としてもよい。たとえば、画像に方位情報が含まれていれば、北方向等を第１の方向、すなわち、楕円の短軸方向または長軸方向の一方としてもよい。また、第１の方向に対して、いずれかの方向に９０度を任意の角度（９０度±α）で補正した方向を第２の方向、すなわち、楕円の短軸方向または長軸方向の他方としてもよい。この場合も、拡大縮小部１２４ｂは、拡大縮小処理を、特徴量マトリクスの長軸または短軸を所定の比率で増減させることにより実行すればよい。また、回転処理および拡大縮小処理をともに実行する場合は、拡大縮小部１２４ｂは、回転後の軸方向に特徴量マトリクスを拡大縮小するものとしてもよい。

なお、ここでは、９０度方向の線分の長さは、当該方向上の点で、当該点における輝度変化が所定の閾値以上となる点とした。しかし、９０度方向の線分の長さは、たとえば、所定画素数の長さとしてもよく、楕円の中心となる特徴点と当該特徴点と最も近い特徴点との間の長さに対する比率によって決定してもよい。

［縮小率および拡大率の設定］
図１４は、拡大縮小処理での縮小率についてさらに説明するための図である。図１４に示すように、特徴量マトリクスの半径をＲ（Ｒは画素数で示す）、半径方向の領域数をＮとする。ここで、半径Ｒが、領域数Ｎよりも小さい場合、半径方向の１領域が１画素に満たないことになる。そこで、拡大縮小部１２４ｂは、縮小率を、半径方向の１領域が１画素以上となるように設定する。すなわち、縮小率ｐの最大値は、ｐ＝Ｎ／Ｒとする。

また、拡大縮小部１２４ｂは、拡大率ｑを、画像の大きさを元に算出する。図１５−１および図１５−２は、拡大縮小処理での拡大率について説明するための図である。図１５−１に示すように、拡大縮小部１２４ｂは、拡大縮小率を、特徴量マトリクスが画像の縦横の長さを超えるような数値に設定することはできない。たとえば、図１５−１に示すように、画像の縦方向長さをＷ、横方向長さをＨとする。このとき、特徴点が図１５−１の座標「（ｘ_１，ｙ_１）」で表される位置にある場合、特徴量マトリクスの半径を、特徴点から画像上端までの距離より長く設定することはできない。また、特徴点が図１５−１の座標「（ｘ_２，ｙ_２）」で表される位置にある場合、特徴量マトリクスの半径を、特徴点から画像右端までの距離より長く設定することはできない。したがって、拡大縮小部１２４ｂは、特徴点の座標の位置に応じて、設定できる特徴量マトリクスの拡大率を決定することができる。

拡大率ｑは、特徴点の位置が、図１５−２に示す位置（１）〜（４）のいずれの位置にあるかによって、以下の式に基づいて決定することができる。

特徴点が、図１５−２の位置（１）にある場合は、ｘがｙよりも大きければ、ｑ＝ｘ／Ｒとなる。また、ｘよりｙが小さければ、ｑ＝ｙ／Ｒとなる。

特徴点が、図１５−２の位置（２）にある場合は、（Ｗ−ｘ）よりｙが大きければ、ｑ＝（Ｗ−ｘ）／Ｒとなる。また、（Ｗ−ｘ）よりｙが小さければ、ｑ＝ｙ／Ｒとなる。

特徴点が、図１５−２の位置（３）にある場合は、ｘより（Ｈ−ｙ）が大きければ、ｑ＝ｘ／Ｒとなる。また、ｘより（Ｈ−ｙ）が小さければ、ｑ＝（Ｈ−ｙ）／Ｒとなる。

特徴点が、図１５−２の位置（４）にある場合は、（Ｗ−ｘ）より（Ｈ−ｙ）が大きければ、ｑ＝（Ｗ−ｘ）／Ｒとなる。また、（Ｗ−ｘ）より（Ｈ−ｙ）が小さければ、ｑ＝（Ｈ−ｙ）／Ｒとなる。

このように、拡大率および縮小率を設定することができる。しかし、拡大縮小による変化の幅が最大となるように拡大率および縮小率を設定した場合、処理量が多くなり、画像処理サーバ１００の負担も増加する。したがって、画像間で拡大率に大きな変動がない衛星画像等の場合には、拡大縮小の幅を小さく設定することで、処理量の増加を抑制してもよい。また、適用する画像の種類に応じて、予め拡大縮小率を設定しておいてもよい。

［回転処理］
次に、図１６−１乃至図１６−３を参照し、処理画像の特徴点の特徴量マトリクスの回転処理を説明する。図１６−１乃至図１６−３は、特徴量マトリクスの回転処理について説明するための図である。

図１６−１に示すように、撮影角度が変化した場合、複数画像間で、画像の映り具合が変化する。図１６−１に示す画像Ａと、図１６−２に示す画像Ｂとでは、被写体の縦横の長さの比率が微妙に変化している。画像Ａでは、注目点をＰ_１Ａとした場合、作成部１２４は、最も近い特徴点としてＰ_２Ａを抽出する。そして、作成部１２４は、Ｐ_１ＡとＰ_２Ａとを結ぶ線分に対して９０度の角度をなす線分上のＰ_３Ａを抽出する。そしてＰ_３Ａにおいて大きな輝度変化が生じているため、作成部１２４は、Ｐ_３Ａを、輝度変化が所定値以上になる点として抽出する。他方、画像Ｂでは、画像Ａと比較して横方向の長さが短くなっている。このため、注目点をＰ_１Ｂとした場合、作成部１２４は、最も近い特徴点としてＰ_２Ｂを抽出するが、Ｐ_１ＢとＰ_２Ｂとを結ぶ線分と９０度をなす線分上にＰ_３Ｂがないため、Ｐ_３Ｂを抽出できない。

ここで、輝度が大きく変化する点として抽出される点を、画像Ａと画像Ｂとで等しくするためには、輝度変化を抽出するために用いる線分の角度を変化させるとよい。そこで、作成部１２４は、注目点と、注目点に最も近い特徴点とを結ぶ線分となす角度を９０度から所定の範囲内で増減させて、複数の特徴量マトリクスを作成する（画像Ｃ、図１６−３参照）。角度は、たとえば、線分に対して−８９度から＋８９度までの範囲内で、１度ずつ変化させればよい。

［角度変化範囲の決定処理］
画像処理サーバ１００は、特にユーザが設定しなくとも、画像とともに撮影角度の情報を受信した場合、回転部１２４ａが、受信した情報に基づき角度変化範囲を算出するものとしてもよい。回転部１２４ａが角度変化範囲を算出する場合は、算出した数値等が、回転角記憶部１１５ａに記憶される。そして、算出した角度変化範囲に基づき、回転部１２４ａは、特徴量マトリクスの回転処理を実行するものとしてもよい。

そこで、回転部１２４ａが楕円状の特徴量マトリクスの長軸と短軸とがなす角度を所定の範囲内で増減させて複数の特徴量マトリクスを作成する場合に、角度を変化させる範囲を決定する手法について、図１７−１乃至図１７−７を参照して説明する。図１７−１乃至図１７−６は、回転部１２４ａにおける角度変化範囲の決定手法について説明するための図である。図１７−７は、回転部１２４ａが決定する角度変化範囲の一例を示す図である。

たとえば、衛星画像や航空画像においては、撮影場所から被写体への角度を撮影時に取得できる場合がある。このような場合には、回転部１２４ａは、取得した角度を元に、角度を変化させる範囲を決定することができる。例えば、図１７−１に示すように、地上に半径ｒの正円が存在すると考える。この場合、図１７−１に示す上空の位置Ｘから真下方向を撮影した場合、半径ｒの正円は、図１７−２のように見える。また、図１７−１に示す上空の位置Ｙから斜め下方向の半径ｒの正円を撮影したとする。位置Ｘと位置Ｙとの成す角度はθであるとする。この場合、位置Ｙから撮影した正円は、図１７−３のように見える。すなわち、長軸半径がｒ、短軸半径がｒｃｏｓθの楕円に見える。

このように斜めから撮影した画像の場合は、実際は９０度の部分の見かけの角度が９０度とは大きく異なる場合がある。例えば、図１７−４に示す例では、二つの矢印にはさまれた部分の角度は実際の被写体においては９０度であるが、見かけ上は９０度より大きいまたは小さい角度に見える。他方、図１７−１の位置Ｘのように被写体の真上から撮影を行った場合は、見かけの角度と実際の角度が一致する。図１７−５に示す例では、見かけの角度が実際の角度と同じ９０度になっている。

そこで、回転部１２４ａは、実際の被写体上において９０度である角度を包含する範囲について、角度を変化させるように、角度を変化させる範囲を決定する。例えば、撮影位置が被写体の真上方向となす角度がθである場合、中心を原点とする座標を描くと、図１７−６に示すように、角度φｍａｘおよびφｍｉｎによって、角度を変化させる範囲を決定できる。角度φｍａｘおよびφｍｉｎは、座標（ｒ，ｒｃｏｓθ）の位置と、座標（ｒ，−ｒｃｏｓθ）の位置と、座標（−ｒ，ｒｃｏｓθ）の位置によって決定される。実際に９０度の角度の見かけ上の角度は、最大でφｍａｘ、最小でφｍｉｎとなるためである。具体的には、角度を変化させる範囲は、以下の式で定義できる。

φｍｉｎ≦変化範囲≦φｍａｘ

ここで、φｍａｘおよびφｍｉｎは以下の式により求めることができる。

φｍｉｎ＝２ｔａｎ^−１（ｃｏｓθ）

φｍａｘ＝２ｔａｎ^−１（１／ｃｏｓθ）

たとえば、θ＝３０度の場合、φｍｉｎは８１．７９度、φｍａｘは９８．２１度となる。したがって、角度を変化させる範囲は、８１．７９度以上９８．２１度以下となる。

図１７−７に、θの角度ごとに算出した角度を変化させる範囲の一例を示す。回転部１２４ａは、たとえば、図１７−７に示す変化範囲内で、所定角度ずつ角度を変化させて特徴量マトリクスを作成すればよい。実際の処理においては、回転部１２４ａは、図１７−７に示す角度を画素数に換算して、変化させる角度を決定する。たとえば、１画素が５０センチメートルから１メートルに相当するとすれば、回転部１２４ａは、２、３画素ずつ角度を変化させて特徴量マトリクスを作成する。なお、回転部１２４ａは、角度を変化させる単位を、差分として検出したい対象物の大きさにあわせて決定するものとしてもよい。

［回転処理を経た特徴量マトリクスの作成処理］
次に、回転処理を実行する場合の作成部１２４による特徴量マトリクスの作成処理につき説明する。図１８−１乃至図１８−６は、回転処理を経た特徴量マトリクスの作成処理について説明するための図である。まず、図１８−１に示すように、回転部１２４ａが、９０度方向を角度θだけ回転させるとする。なお、図１８−１中、注目点をＰ_１、注目点に最も近い特徴点をＰ_２で示す。

このように回転部１２４ａが９０度方向を角度θだけ回転させると、注目点Ｐ_１を中心とした楕円を描くことができない。そこで、回転部１２４ａは、４つの楕円の部分を組み合わせることによって特徴量マトリクスを作成する。まず、図１８−２に示すように、９０度方向をθだけ回転させた線分の先端をＰ_ｘとする。そして、回転部１２４ａは、Ｐ_ｘから、Ｐ_１とＰ_２とを結ぶ線分に対しておろした垂線と、Ｐ_１とＰ_２とを結ぶ線分との交点Ｐ_３を算出する。そして、回転部１２４ａは、垂線を短径（または長径）とし、Ｐ_３からＰ_２までの距離を長径（または短径）とする楕円を算出する。まず、図１８−２に示すように、回転部１２４ａは、右上部分について、Ｐ３を中心とする楕円を算出する。

次に、図１８−３に示すように、回転部１２４ａは、左上部分について、Ｐ_３を中心とし、Ｐ_１とＰ_２との間の距離だけ、Ｐ_３から左方向に伸ばした点までの距離を長径（または短径）とし、垂線を短径（または長径）とする楕円を算出する。さらに、図１８−４に示すように、回転部１２４ａは、９０度方向を角度θだけ回転させて得られる線分の下側の端点Ｐ_ｙからＰ_１とＰ_２とを結ぶ線分に対する垂線を算出する。そして、回転部１２４ａは、Ｐ_１とＰ_２とを結ぶ線分と垂線との交点Ｐ_４を算出する。また、回転部１２４ａは、Ｐ_１からＰ_２までの長さだけ、Ｐ_１からＰ_２と反対方向に延ばした線分の端点Ｐ_５を算出する。そして、図１８−４に示すように、回転部１２４ａは、左下部分について、Ｐ_４を中心とし、Ｐ_４からＰ_ｙの長さを短径（または長径）、Ｐ_４からＰ_５の長さを長径（または短径）とする楕円を算出する。さらに、図１８−５に示すように、回転部１２４ａは、右下部分について、Ｐ_４を中心とし、Ｐ_４からＰ_２の長さを長径（または短径）、Ｐ_４からＰ_ｙまでの長さを短径（または長径）とする楕円を算出する。回転部１２４ａは、このようにして求めた楕円の４つの部分を組み合わせることによって、特徴量マトリクスを算出する（図１８−６）。

そして、作成部１２４は、回転部１２４ａが算出した特徴量マトリクスの各領域に、当該領域内の画素の輝度値と特徴点の画素の輝度値との差分を対応づけることにより、特徴量マトリクスを作成する。

［実施例１の効果］
上述の実施例１においては、画像処理サーバ１００は、第１の画像および第２の画像の各々から特徴点を抽出する。画像処理サーバ１００は、第１および第２の画像の各々の特徴点について、該特徴点に基づいて決定される第１の方向および当該第１の方向に基づいて決定される第２の方向を決定する。そして、画像処理サーバ１００は、第１の方向および第２の方向をそれぞれ軸とし、かつ、特徴点を中心とする楕円状のマトリクスを作成する。画像処理サーバ１００は、作成したマトリクスの各領域に、当該領域内の画素の輝度値と特徴点の輝度値との差分に関する情報を対応づけて特徴量マトリクスを作成する。画像処理サーバ１００は、第１の画像の特徴点の特徴量マトリクスと、第２の画像の特徴点の特徴量マトリクスとを比較し、類似する特徴点ペアを決定する。このため、画像サーバ１００は、二つの画像間でのずれ方が画像内で一様でなくとも、適切に特徴点ペアを決定することができる。また、画像のアスペクト比を考慮した特徴量マトリクスを作成することができ、画像間にずれが生じている場合であっても、正確な特徴量マトリクスを作成して比較することができ、正確な特徴点ペアを決定することができる。

たとえば、実施例１の画像処理サーバ１００は、以下のような画像間のずれに対処することができる。

二つの画像間のずれや、画像内で一様ではないずれは、二つの画像の撮影時の撮影角度や撮影方向の違いに起因して生じることがある。たとえば、上空のカメラから真下方向を撮影した場合には、画像内の地物は、中心から周囲に向けた方向に倒れたような状態で写る。他方、上空のカメラから斜め下方向（たとえばカメラから西向き等）を撮影した場合には、画像内の地物は、画像の一端、たとえば東方向に相当する辺の中央を中心とする扇状に倒れたような状態で写る。さらに、カメラの向きが横方向に回転すると、上記の状態に回転要素が加わる。このように撮影角度や撮影方向の差異に起因して画面にずれが生じる場合、画面中の領域ごとにアスペクト比、すなわち、縦方向の長さと横方向の長さの比が変化する場合がある。たとえば、円形の時計盤を真上から見ると円形に見えるが、３時方向から斜めに見下ろすと、１２時−６時を長軸とした楕円に見える。また、６時の方向から斜めに見下ろすと、３時−９時を長軸とした楕円に見える。上空から撮影した画像の場合にも同様のずれが画面内の領域ごとに生じる場合がある。

このようなずれが生じている場合に、各画像から特徴点を抽出し、特徴点の周囲の画素との輝度変化の大きさと輝度変化の方向を算出する。そして、両画像間で算出した情報を比較することによりペアの決定を試みる。この場合、両画像間でアスペクト比が相違する箇所については、輝度変化の大きさと輝度変化の方向が一致または類似せず、正しくペアを決定することができない。また、カメラの向きが横方向に回転している場合、上記のアスペクト比の変化に回転方向の変化が加わる。つまり、上記時計盤の例をとると、１２時−６時の軸が中央を中心として回転方向にずれる場合がある。このような場合にも、特徴点の輝度変化の方向が、画像ごとにずれることになり、正しく特徴点ペアを決定することができない。さらには、撮影時点が異なるために画像の明るさが画像ごとに相違し、特徴点ペアを決定するために使用する特徴量を輝度のみをもとにしている場合、特徴点ペアを正しく決定することができない。

実施例１の画像処理サーバ１００は、上記のようなアスペクト比の違いや回転方向の変化、画像の明るさの違いに対処し、画像内に一様でないずれがある場合でも、正確な特徴点ペアを決定することができる。

また、実施例１においては、画像処理サーバ１００は、特徴点から最も近い他の特徴点に向かう第１の方向と、第１の方向と９０度の角度をなす第２の方向とを決定する。画像処理サーバ１００は、決定した第１の方向および第２の方向を軸とし、かつ特徴点を中心とする楕円状のマトリクスを作成する。画像処理サーバ１００は、作成したマトリクスの各領域に、当該領域内の画素の輝度値と特徴点の輝度値との差分に関する情報を対応づけて特徴量マトリクスを作成する。このため、二つの画像のずれが一様でなくとも、正確な特徴量マトリクスを作成して比較することができ、正確な特徴点ペアを決定することができる。また、二つの画像の特徴点の特徴量マトリクスの対応度を高めることができる。

また、実施例１においては、画像処理サーバ１００は、第２の方向を、特徴点を中心として所定角度ずつ回転させて、一つの特徴点につき複数の特徴量マトリクスを作成する。このため、二つの画像のずれが一様でなくとも、正確な特徴量マトリクスを作成して比較することができ、正確な特徴点ペアを決定することができる。また、二つの画像各々に異なる程度の回転要素が含まれている場合であっても、正確な特徴量マトリクスを作成して比較することができ、特徴量マトリクスの比較によって適切な特徴点ペアを決定することができる。

また、実施例１においては、画像処理サーバ１００は、楕円状のマトリクスを長軸方向または短軸方向に所定の比率で拡大または縮小して、一つの特徴点につき複数の特徴量マトリクスを作成する。このため、二つの画像の縮尺が部分的に異なっている場合でも、正確な特徴量マトリクスを作成して比較することができ、特徴量マトリクスの比較によって適切な特徴点ペアを決定することができる。

なお、実施例１によれば、時間的に離れた２時点でそれぞれ撮影された、人工衛星や航空機により撮影された画像を比較し、差分を検出することで、変化が生じた地点を特定することができる。たとえば、実施例１によれば、違法に増改築された土地や建物、違法に伐採された森林や不法投棄などが行われている場所を特定することができる。また、かかる場所を画像上で特定したうえで、実際の場所を調査することができる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

［回転および拡大縮小の省略等］
上述した実施例１においては、一方の画像の特徴点全てについて、回転角度および拡大縮小率を変化させて複数の特徴量マトリクスを作成するものとして説明した。しかし、いくつかの特徴点について回転角度および拡大縮小率を変動させて比較を行った結果、類似度が高い回転角度および／または拡大縮小率を決定することができる場合もある。そのような場合には、他の特徴点については同じ角度および／または同じ拡大縮小率の特徴量マトリクスのみを作成し、類似度を算出するものとしてもよい。

また、回転処理および拡大縮小処理を双方の画像の特徴点について実行するものとしてもよい。

また、実施例１は、回転処理および拡大縮小処理を行うものとして説明したが、回転処理および拡大縮小処理のいずれか一方を実行するようにしてもよい。

［画像処理サーバ］
開示の画像処理方法は、クラウドシステムを構成する画像処理サーバに実装し、クラウドシステムを介してユーザから送信される画像の処理に適用することができる。たとえば、衛星写真システムや航空写真システムから随時提供される写真のデータを、クラウドシステムのサーバに格納する。ユーザは、画像に撮影地点の情報を添付して送信する。また、ユーザは、撮影地点ごとに検出したい対象物を特定し、また、変化の有無を検出するための処理を行う間隔を指定する。画像処理サーバは、開示の画像処理を行うことにより特徴点ペアを決定し、画像の位置合わせおよび差分検出を行う。このように構成することで、ユーザは、クラウドシステムに画像のデータを送信するだけで、所望の期間ごとに、同一地点においてどのような変化があったかを容易に確認することができる。

［分散および統合］
図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。たとえば、図１に示したモニタ２０１を画像処理サーバ１００に組み入れ、画像処理サーバ１００においてモニタに画像等を出力し確認することができるように構成してもよい。また、記憶部１１０について、画像記憶部１１１、特徴点記憶部１１２、ペア記憶部１１４を統合して一つの記憶部として構成してもよい。また、画像記憶部１１１を外部メモリとして、ネットワーク３００により画像処理サーバ１００に接続される構成にしてもよい。

［画像処理プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１９を用いて、上記の実施例と同様の機能を有する画像処理プログラムを実行するコンピュータの一例について説明する。

図１９は、実施例１〜２に係る画像処理プログラムを実行するコンピュータの一例について説明するための図である。図１９に示すように、コンピュータ１０００は、操作部１１００と、ディスプレイ１２００と、通信部１３００とを有する。さらに、このコンピュータ１０００は、ＣＰＵ１４００と、ＲＯＭ１５００と、ＲＡＭ１６００と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１７００とを有する。これら１１００〜１７００の各部はバス１８００を介して接続される。

ＨＤＤ１７００には、図１９に示すように、上記の実施例１で示した設定部１２１、受付部１２２、抽出部１２３と同様の機能を発揮する画像処理プログラム１７００ａ等が予め記憶される。さらに、ＨＤＤ１７００には、上記の実施例１で示した作成部１２４、決定部１２５、位置合わせ部１２６および検出部１２７と同様の機能を発揮する画像処理プログラム１７００ａ等が予め記憶される。この画像処理プログラム１７００ａについては、図１に示した各々の各構成要素と同様、適宜統合または分離してもよい。すなわち、ＨＤＤ１７００に格納される各データは、常に全てのデータがＨＤＤ１７００に格納される必要はなく、処理に必要なデータのみがＨＤＤ１７００に格納されればよい。

そして、ＣＰＵ１４００が、画像処理プログラム１７００ａをＨＤＤ１７００から読み出してＲＡＭ１６００に展開する。これによって、図１９に示すように、画像処理プログラム１７００ａは、画像処理プロセス１６００ａとして機能する。この画像処理プロセス１６００ａは、ＨＤＤ１７００から読み出した各種データを適宜ＲＡＭ１６００上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、画像処理プロセス１６００ａは、たとえば図１に示した設定部１２１、受付部１２２、抽出部１２３、作成部１２４にて実行される処理、たとえば、図１０に示す処理を含む。また、画像処理プロセス１６００ａは、決定部１２５、位置合わせ部１２６および検出部１２７にて実行される処理、たとえば、図１０に示す処理を含む。また、ＣＰＵ１４００上で仮想的に実現される各処理部は、常に全ての処理部がＣＰＵ１４００上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されればよい。

なお、上記の画像処理プログラム１７００ａについては、必ずしも最初からＨＤＤ１７００やＲＯＭ１５００に記憶させておく必要はない。たとえば、コンピュータ１０００に挿入されるフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの「可搬用の物理媒体」に各プログラムを記憶させる。または、ＤＶＤ（Digital Versatile Disc）ディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１０００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮ（Wide Area Network）などを介してコンピュータ１０００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させてもよい。そして、コンピュータ１０００がこれらから各プログラムを取得して実行するようにしてもよい。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）第１の画像および第２の画像の各々から特徴点を抽出する抽出部と、
前記第１および第２の画像の各々の特徴点について、該特徴点に基づいて決定される第１の方向および当該第１の方向に基づいて決定される第２の方向をそれぞれ軸とし、かつ、前記特徴点を中心とする楕円状のマトリクスの各領域に、当該領域内の画素の輝度値と前記特徴点の輝度値との差分に関する情報を対応づけた特徴量マトリクスを作成する作成部と、
前記第１の画像の特徴点の特徴量マトリクスと、前記第２の画像の特徴点の特徴量マトリクスとを比較し、類似する特徴点ペアを決定する決定部と、
を備えることを特徴とする画像処理装置。

（付記２）前記作成部は、前記特徴点から最も近い他の特徴点に向かう前記第１の方向と、前記第１の方向と９０度の角度をなす前記第２の方向とを軸とし、かつ前記特徴点を中心とする楕円状のマトリクスの各領域に、当該領域内の画素の輝度値と前記特徴点の輝度値との差分を対応づけた特徴量マトリクスを作成することを特徴とする、付記１に記載の画像処理装置。

（付記３）前記作成部は、前記第２の方向を、前記特徴点を中心として所定角度ずつ回転させて、一つの特徴点につき複数の特徴量マトリクスを作成し、
前記決定部は、前記第１の画像の特徴点の複数の特徴量マトリクスと、前記第２の画像の特徴点の特徴量マトリクスとを比較し、類似する特徴点ペアを決定することを特徴とする、付記１または２に記載の画像処理装置。

（付記４）前記作成部は、前記楕円状のマトリクスを前記第２の方向に所定の比率で拡大または縮小して、一つの特徴点につき複数の特徴量マトリクスを作成し、
前記決定部は、前記第１の画像の特徴点の複数の特徴量マトリクスと、前記第２の画像の特徴点の特徴量マトリクスとを比較し、類似する特徴点ペアを決定することを特徴とする、付記１〜３のいずれか１つに記載の画像処理装置。

（付記５）画像処理サーバによって実行される画像処理方法であって、
第１の画像および第２の画像の各々から特徴点を抽出し、
前記第１および第２の画像の各々の特徴点について、該特徴点に基づいて決定される第１の方向および当該第１の方向に基づいて決定される第２の方向をそれぞれ軸とし、かつ、前記特徴点を中心とする楕円状のマトリクスの各領域に、当該領域内の画素の輝度値と前記特徴点の輝度値との差分に関する情報を対応づけた特徴量マトリクスを作成し、
前記第１の画像の特徴点の特徴量マトリクスと、前記第２の画像の特徴点の特徴量マトリクスとを比較し、類似する特徴点ペアを決定する
ことを特徴とする画像処理方法。

（付記６）前記特徴点から最も近い他の特徴点に向かう前記第１の方向と、前記第１の方向と９０度の角度をなす前記第２の方向とを軸とし、かつ前記特徴点を中心とする楕円状のマトリクスの各領域に、当該領域内の画素の輝度値と前記特徴点の輝度値との差分を対応づけた特徴量マトリクスを作成することを特徴とする、付記５に記載の画像処理方法。

（付記７）前記第２の方向を、前記特徴点を中心として所定角度ずつ回転させて、一つの特徴点につき複数の特徴量マトリクスを作成し、
前記第１の画像の特徴点の複数の特徴量マトリクスと、前記第２の画像の特徴点の特徴量マトリクスとを比較し、類似する特徴点ペアを決定することを特徴とする、付記５または６に記載の画像処理方法。

（付記８）前記楕円状のマトリクスを前記第２の方向に所定の比率で拡大または縮小して、一つの特徴点につき複数の特徴量マトリクスを作成し、
前記第１の画像の特徴点の複数の特徴量マトリクスと、前記第２の画像の特徴点の特徴量マトリクスとを比較し、類似する特徴点ペアを決定することを特徴とする、付記５〜７のいずれか１つに記載の画像処理方法。

（付記９）第１の画像および第２の画像の各々から特徴点を抽出し、
第１の画像および第２の画像の各々から特徴点を抽出し、
前記第１および第２の画像の各々の特徴点について、該特徴点に基づいて決定される第１の方向および当該第１の方向に基づいて決定される第２の方向をそれぞれ軸とし、かつ、前記特徴点を中心とする楕円状のマトリクスの各領域に、当該領域内の画素の輝度値と前記特徴点の輝度値との差分に関する情報を対応づけた特徴量マトリクスを作成し、
前記第１の画像の特徴点の特徴量マトリクスと、前記第２の画像の特徴点の特徴量マトリクスとを比較し、類似する特徴点ペアを決定する、
各処理をコンピュータに実行させることを特徴とする画像処理プログラム。

（付記１０）前記特徴点から最も近い他の特徴点に向かう前記第１の方向と、前記第１の方向と９０度の角度をなす前記第２の方向とを軸とし、かつ前記特徴点を中心とする楕円状のマトリクスの各領域に、当該領域内の画素の輝度値と前記特徴点の輝度値との差分を対応づけた特徴量マトリクスを作成することを特徴とする、付記９に記載の画像処理プログラム。

（付記１１）前記第２の方向を、前記特徴点を中心として所定角度ずつ回転させて、一つの特徴点につき複数の特徴量マトリクスを作成し、
前記第１の画像の特徴点の複数の特徴量マトリクスと、前記第２の画像の特徴点の特徴量マトリクスとを比較し、類似する特徴点ペアを決定することを特徴とする、付記９または１０に記載の画像処理プログラム。

（付記１２）前記楕円状のマトリクスを前記第２の方向に所定の比率で拡大または縮小して、一つの特徴点につき複数の特徴量マトリクスを作成する、
前記第１の画像の特徴点の複数の特徴量マトリクスと、前記第２の画像の特徴点の特徴量マトリクスとを比較し、類似する特徴点ペアを決定することを特徴とする、付記９〜１１のいずれか１つに記載の画像処理プログラム。

１００ 画像処理サーバ
１１０ 記憶部
１１１ 画像記憶部
１１２ 特徴点記憶部
１１３ マトリクス記憶部
１１３ａ 第１マトリクス記憶部
１１３ｂ 第２マトリクス記憶部
１１４ ペア記憶部
１１５ 設定記憶部
１１５ａ 回転角記憶部
１１５ｂ 拡大縮小率記憶部
１２０ 制御部
１２１ 設定部
１２２ 受付部
１２３ 抽出部
１２４ 作成部
１２４ａ 回転部
１２４ｂ 拡大縮小部
１２５ 決定部
１２６ 位置合わせ部
１２７ 検出部
１３０ 入出力部
２００ クライアント
２０１ モニタ
３００ ネットワーク

Claims (6)

1. 第１の画像および第２の画像の各々から特徴点を抽出する抽出部と、
   前記第１および第２の画像の各々の特徴点について、該特徴点に基づいて決定される第１の方向および当該第１の方向に基づいて決定される第２の方向をそれぞれ軸とし、かつ、前記特徴点を中心とする楕円状のマトリクスの各領域に、当該領域内の画素の輝度値と前記特徴点の輝度値との差分に関する情報を対応づけた特徴量マトリクスを作成する作成部と、
   前記第１の画像の特徴点の特徴量マトリクスと、前記第２の画像の特徴点の特徴量マトリクスとを比較し、類似する特徴点ペアを決定する決定部と、
   を備えることを特徴とする画像処理装置。
2. 前記作成部は、前記特徴点から最も近い他の特徴点に向かう前記第１の方向と、前記第１の方向と９０度の角度をなす前記第２の方向とを軸とし、かつ前記特徴点を中心とする楕円状のマトリクスの各領域に、当該領域内の画素の輝度値と前記特徴点の輝度値との差分を対応づけた特徴量マトリクスを作成することを特徴とする、請求項１に記載の画像処理装置。
3. 前記作成部は、前記第２の方向を、前記特徴点を中心として所定角度ずつ回転させて、一つの特徴点につき複数の特徴量マトリクスを作成し、
   前記決定部は、前記第１の画像の特徴点の複数の特徴量マトリクスと、前記第２の画像の特徴点の特徴量マトリクスとを比較し、類似する特徴点ペアを決定することを特徴とする、請求項１または２に記載の画像処理装置。
4. 前記作成部は、前記楕円状のマトリクスを前記第２の方向に所定の比率で拡大または縮小して、一つの特徴点につき複数の特徴量マトリクスを作成し、
   前記決定部は、前記第１の画像の特徴点の複数の特徴量マトリクスと、前記第２の画像の特徴点の特徴量マトリクスとを比較し、類似する特徴点ペアを決定することを特徴とする、請求項１〜３のいずれか１項に記載の画像処理装置。
5. 画像処理サーバによって実行される画像処理方法であって、
   第１の画像および第２の画像の各々から特徴点を抽出し、
   前記第１および第２の画像の各々の特徴点について、該特徴点に基づいて決定される第１の方向および当該第１の方向に基づいて決定される第２の方向をそれぞれ軸とし、かつ、前記特徴点を中心とする楕円状のマトリクスの各領域に、当該領域内の画素の輝度値と前記特徴点の輝度値との差分に関する情報を対応づけた特徴量マトリクスを作成し、
   前記第１の画像の特徴点の特徴量マトリクスと、前記第２の画像の特徴点の特徴量マトリクスとを比較し、類似する特徴点ペアを決定する
   ことを特徴とする画像処理方法。
6. 第１の画像および第２の画像の各々から特徴点を抽出し、
   第１の画像および第２の画像の各々から特徴点を抽出し、
   前記第１および第２の画像の各々の特徴点について、該特徴点に基づいて決定される第１の方向および当該第１の方向に基づいて決定される第２の方向をそれぞれ軸とし、かつ、前記特徴点を中心とする楕円状のマトリクスの各領域に、当該領域内の画素の輝度値と前記特徴点の輝度値との差分に関する情報を対応づけた特徴量マトリクスを作成し、
   前記第１の画像の特徴点の特徴量マトリクスと、前記第２の画像の特徴点の特徴量マトリクスとを比較し、類似する特徴点ペアを決定する、
   各処理をコンピュータに実行させることを特徴とする画像処理プログラム。

Images