JP2008134741A - 画像照合方法及び装置及びプログラム - Google Patents

Abstract

【課題】画像内容に基づいた画像間の類似度を精度よく求める。
【解決手段】本発明は、画像間の類似度を求めるものであり、代表点（例えば格子状）の近傍に計測点をＭ個とる。画像Ａの１つの計測点からみて画像Ｂの計測点で類似度がＬａ番目の類似度を求める。代表画像Ａの１つの代表点毎にＭ個の類似度（距離）が求まり、距離が小さいＴ個の画像Ａの代表点からみた画像Ｂの代表点への距離ＲＳａ（例えば平均値）を決める。同じように、画像Ｂからみた画像Ａへの距離ＲＳｂが決まる。ＲＳａとＲＳｂから代表点からの距離ｄｐ（例えば大きい方）を決める。ｄｐから画像間の類似度（例えば、総和）を決める。
【選択図】図１

Description

本発明は、画像照合方法及び装置及びプログラムに係り、特に、画像の管理・閲覧を効率的に行うための画像分類や、類似画像検索などにおいて必要となる２つの画像間の類似度を算出するための画像照合方法及び装置及びプログラムに関する。

２つの画像間の類似度を算出する従来の方法には以下のものがある。

（１）画像全体で照合する方法：
画像全体から抽出した特徴量に基づいて類似度を求める方法である。特徴量として画像全体での色の頻出分布を表した色ヒストグラムがよく用いられており、この場合は２つの画像から抽出した色ヒストグラムの距離を画像間の類似度としている。この方法は簡易な処理で実現できることが特徴である（例えば、非特許文献１参照）。

（２）オブジェクト領域間での照合による方法：
画像をオブジェクトに対応した領域に分割する前処理を行い、各画像から抽出したオブジェクト領域の対応付けを行った後、対応付けられたオブジェクト領域間の類似度から画像間の類似度を求める方法である（例えば、非特許文献２参照）。

（３）画像内容によらずに分割された部分領域間での照合による方法：
画像を、例えば、矩形ブロックで規則的に分割するなどの方法で部分領域に分割しておき、各ブロック領域から抽出した特徴量でブロック間の照合を行う方法である。ブロック間の照合を行う方法として、画像での位置が同じブロック間の類似度の総和で画像間の類似度を求める方法がある（例えば、非特許文献３参照）。
M.J.Swain and D.H. Ballard. "Color indexing", International Journal of Computer Vision, 7:1,1991 串間和彦、赤間浩樹、紺谷精一、大本晴夫、山室雅司、"オブジェクトに基づく高速画像検索システム：ExSight"、情報処理学会論文誌 Vol. 40, No.2, pp.732-741, 1999 平井敬吾、岡隆一、"画像に付属するテキストのクラスタリングを用いた画像の類似性抽出とその評価"電子情報通信学会画像工学研究会技術報告、IE2003-32, pp.29-32, 2003.

しかしながら、上記の従来の技術の画像全体で照合する方法では、類似度算出において、画像における位置的な構成が十分反映されないため、画像内容が似ていなくても画像全体の特徴が似ている場合には、類似度が高くなってしまうことが問題である。

また、オブジェクト領域間での照合による方法は、この問題を解決できるが、オブジェクト領域を正しく検出できることが前提となる。背景が均一な場合や画像に出現するオブジェクトが特定できる場合などの限定された状況ではオブジェクト領域を抽出することは可能であるが、一般的な画像からオブジェクト領域を精度高く抽出することは困難である。

画像内容によらずに分割された部分領域間での照合による方法では、オブジェクト領域抽出のような困難な処理を用いずに、画像における位置的な構成を反映した照合が行えるので画像全体で照合する方法の問題を改善できる可能性がある。しかし、画像内容を考慮しないで規則的に抽出した部分領域で照合するので、比較する画像間でオブジェクトの位置や背景の一部が変わっている場合には、部分領域として切り出した画像情報が異なる。画像全体では類似しているが局所的に異なる部分を多く含むような２つの画像を比較する場合に、規則的に切り出した部分領域では類似度が低下することが問題となる。部分領域を小さく設定すればこの問題の影響は少なくなるが、部分領域が小さいと、部分領域毎の類似度が全体的に高くなり画像間の類似度が適切に求められない。

一方、部分領域を大きく設定すると、画像の主要な構成要素に対しての類似度が反映され、適切に画像間の類似度が求められる傾向となるが、局所的に異なる部分を多く含む画像間では、部分領域における類似度の低下が起きる影響をより大きく受けることになる。

また、部分領域間の照合を全画素の画像情報を直接用いずに、例えば、部分領域内の各画素の色情報の平均値と標準偏差で照合するなどの大局的な特徴量を用いれば、部分領域内で一部が異なる問題の影響は小さくなるが、全体的に類似度の精度が低下することが問題となる。

本発明は、上記の点に鑑みなされたもので、画像内容に基づいた画像間の類似度を精度よく求めることが可能な画像照合方法及び装置及びプログラムを提供することを目的とする。

図１は、本発明の原理を説明するための図である。

本発明（請求項１）は、２つの画像ＦａとＦｂが入力されたときに、それらの類似度を算出する装置における画像照合方法であって、
代表点設定手段が、Ｎ個の代表点Ｐｎ（ｎ＝１，２，…，Ｎ）を設定する代表点設定ステップ（ステップ１）と、
計測点間特徴距離算出手段が、画像Ｆａにおいて、代表点設定ステップ（ステップ１）で得られた代表点Ｐｎの周辺に位置するＭａ個の計測点Ｑａ（ｊ）（ｊ＝１，２，…，Ｍａ）と、画像Ｆｂにおいて該代表点Ｐｎの周辺に位置するＭｂ個の計測点Ｑｂ（ｋ）（ｋ＝１，２，…，Ｍｂ）について、該画像Ｆａ，Ｆｂから抽出した特徴空間におけるＱａ（ｊ）とＱｂ（ｋ）の距離ｄ（Ｑａ（ｊ），Ｑｂ（ｋ））を求める計測点間特徴距離算出ステップ（ステップ２）と、
画像Ｆａ代表点画像距離算出手段が、画像間距離の算出に用いるパラメータが記憶されているパラメータ記憶手段から最短距離有効順位のパラメータＬｂ及び最大距離有効順位のパラメータＴを取得し、代表点Ｐｎの計測点Ｑａ（ｊ）とＭｂ個の各点Ｑｂ（ｋ）（ｋ＝１，２，…，Ｍｂ）とのＭｂ通りの距離の中で小さい方からＬｂ番目となる距離ｒａ（ｊ）を選択する処理をｊ＝１，２，…，Ｍａに対して行うことでＭａ個の距離ｒａ（ｊ）を求め、求めた該Ｍａ個の距離ｒａ（ｊ）の小さい方からＴ番目までの距離を用いて距離ＲＳａ（ｎ）を算出する画像Ｆａ代表点画像距離算出ステップ（ステップ３）と、
画像Ｆｂ代表点画像距離算出手段が、パラメータ記憶手段から最短距離有効順位のパラメータＬａ及び最大距離有効順位のパラメータＴを取得し、代表点Ｐｎの計測点Ｑｂ（ｋ）とＭａ個の各点Ｑａ（ｊ）（ｊ＝１，２，…，Ｍａ）とのＭａ通りの距離の中で小さい方からＬａ番目となる距離ｒｂ（ｋ）を選択する処理をｋ＝１，２，…，Ｍｂに対して行うことでＭｂ個の距離ｒｂ（ｋ）を求め、求めた該Ｍｂ個の距離ｒｂ（ｋ）の小さい方からＴ番目までの距離を用いて距離ＲＳｂ（ｎ）を算出する画像Ｆｂ代表点画像距離算出ステップ（ステップ４）と、
代表点画像距離算出手段が、画像Ｆａ代表点画像距離算出ステップ（ステップ３）で算出したＲＳａ（ｎ）と画像Ｆｂ代表点画像距離算出ステップ（ステップ４）で算出したＲＳｂ（ｎ）の大きい方を代表点Ｐｎにおける代表点画像距離ｄｐ（ｎ）として求める代表点画像距離算出ステップ（ステップ５）と、
画像類似度算出手段が、Ｎ個の代表点に対する代表点画像距離ｄｐ（ｎ）から画像Ｆａと画像Ｆｂとの類似度を求める画像類似度算出ステップ（ステップ６）と、を行う。

図２は、本発明の原理構成図である。

本発明（請求項２）は、２つの画像ＦａとＦｂが入力されたときに、それらの類似度を算出する画像照合装置であって、
画像間距離の算出に用いるパラメータが記憶されているパラメータ記憶手段１と、
Ｎ個の代表点Ｐｎ（ｎ＝１，２，…，Ｎ）を設定する代表点設定手段２と、
画像Ｆａにおいて、代表点設定手段２で得られた代表点Ｐｎの周辺に位置するＭａ個の計測点Ｑａ（ｊ）（ｊ＝１，２，…，Ｍａ）と、画像Ｆｂにおいて、該代表点Ｐｎの周辺に位置するＭｂ個の計測点Ｑｂ（ｋ）（ｋ＝１，２，…，Ｍｂ）について、該画像Ｆａ，Ｆｂから抽出した特徴空間におけるＱａ（ｊ）とＱｂ（ｋ）の距離ｄ（Ｑａ（ｊ），Ｑｂ（ｋ））を求める計測点間特徴距離算出手段と、
パラメータ記憶手段から最短距離有効順位のパラメータＬｂ及び最大距離有効順位のパラメータＴを取得し、代表点Ｐｎの計測点Ｑａ（ｊ）とＭｂ個の各点Ｑｂ（ｋ）（ｋ＝１，２，…，Ｍｂ）とのＭｂ通りの距離の中で小さい方からＬｂ番目となる距離ｒａ（ｊ）を選択する処理をｊ＝１，２，…，Ｍａに対して行うことでＭａ個の距離ｒａ（ｊ）を求め、求めた該Ｍａ個の距離ｒａ（ｊ）の小さい方からＴ番目までの距離を用いて距離ＲＳａ（ｎ）を算出する画像Ｆａ代表点画像距離算出手段と、
パラメータ記憶手段から最短距離有効順位のパラメータＬａ及び最大距離有効順位のパラメータＴを取得し、代表点Ｐｎの計測点Ｑｂ（ｋ）とＭａ個の各点Ｑａ（ｊ）（ｊ＝１，２，…，Ｍａ）とのＭａ通りの距離の中で小さい方からＬａ番目となる距離ｒｂ（ｋ）を選択する処理をｋ＝１，２，…，Ｍｂに対して行うことでＭｂ個の距離ｒｂ（ｋ）を求め、求めた該Ｍｂ個の距離ｒｂ（ｋ）の小さい方からＴ番目までの距離を用いて距離ＲＳｂ（ｎ）を算出する画像Ｆｂ代表点画像距離算出手段と、
画像Ｆａ代表点画像距離算出手段で算出したＲＳａ（ｎ）と画像Ｆｂ代表点画像距離算出手段で算出したＲＳｂ（ｎ）の大きい方を代表点Ｐｎにおける代表点画像距離ｄｐ（ｎ）として求める代表点画像距離算出手段と、
Ｎ個の代表点に対する代表点画像距離ｄｐ（ｎ）から画像Ｆａと画像Ｆｂとの類似度を求める画像類似度算出手段と、を有する。

本発明（請求項３）は、コンピュータを、請求項２記載の画像照合装置として機能させる画像照合プログラムである。

上記のように本発明によれば、オブジェクト領域を考慮することなく設定した部分領域間の照合で画像間の類似度を求められる方法であって、２つの画像から抽出した同じ位置の部分領域間の照合を、部分領域内の全画素に対する画像間の特徴空間での距離の中から主要な画素間の距離を選択して類似度を求めているので、画像全体では類似しているが局所的に異なる部分を多く含むような２つの画像間に対しても高精度に類似度を求めることができる。

以下、図面と共に本発明の実施の形態を説明する。

最初に、本発明で用いる集合間距離について説明する。画像上の点列からなる２つの集合間の距離としてエッジ画像に対するテンプレートマッチングで用いられているModified Hausdorff距離がある(文献：M.Dubuisson, A.Jain; "A modified hausdorff distance for object matching", Proceedings 12th International Conference on Pattern Recognition, pp.566-568, 1994)。

点列｛ａ_１，ａ_２，…，ａ_Ｍ｝を集合Ａ，点列｛ｂ_１，ｂ_２，…，ｂ_Ｎ｝を集合Ｂとすると、２つの集合間の距離を表すModified Hausdorff距離ＭＨＤは次式で定義される。

ｄ（ａ_ｊ，ｂ_ｋ）は、集合Ａに属する点ａ_ｊと集合Ｂに属する点ｂ_ｋの距離で、画像上でのユークリッド距離、または色情報などの特徴空間上における２点間の距離などを用いる。また、

は、Ｍ通りのｄａ（ｊ）を小さい順に並べたときのＫ番目の値を選択する操作を表す。ここで、Ｋは、ｘ＝Ｋ／Ｍ％となるように決定する。従って、例えば、ｘ＝５０の場合には、小さい方から５０％の値、つまり、中央の値になる。

上記の集合距離が有効であることを具体例により説明する。図３は、本発明に用いる集合間距離を説明するための図である。図３（ａ）は比較する２つの集合ＡとＢに属する点の特徴空間上での分布を示す図で、集合Ａ｛ａ_１，ａ_２，…，ａ_８｝を○で、集合Ｂ｛ｂ_１，ｂ_２，…，ｂ_７｝を×で表している。２つの分布が似ており、この２つの集合間距離は小さい場合の例である。集合Ａには、ａ_５とａ_６のようなノイズが含まれているので上記の式３で算出する。ａ_５とａ_６に対する集合Ｂの各点との最小距離ｄ（５）とｄ（６）はかなり大きくなる。しかし、式２でｘ＝５０とした場合には集合Ａの８つの点に対するｄ（ｊ）を小さい順に並べたときの４番目の値を採用するので、このようなノイズの影響を抑えることができる。

以上述べた通り、ノイズが一部含まれるが基本的には同じように分布する２つの集合間の類似度を集合間距離ＭＨＤで求めることができる。

本発明では、上記の集合間距離を画像領域間の類似度の算出に導入する。導入するにあたって、式２におけるｘを適切に設定することが困難な場合がある。比較する集合間の全体の分布が類似していて、僅かのノイズが含まれる場合はよいが、図３（ｂ）のように、全体としては類似しているとはいえないが、集合Ａと集合Ｂの部分集合が類似している場合にも２つの集合間が類似していると判定できるように、式２において、ｄａ（ｊ）を小さい順に並べたときのＫ番目までの（Ｋはｘ＝Ｋ／Ｍ％となるように決定する）Ｋ個の値を用いてｓ（Ａ，Ｂ）を算出する。Ｋ番目の値のみではなく、それ以下の全ての値を用いることでｘの値が不適切な場合の影響を抑えることができる。

また、図３（ｃ）に示すように２つの集合は類似していないが、｛ａ_１，ａ_２，ａ_３，ａ_４，ａ_５｝と｛ｂ_１｝が近くに分布しているために、式３のｄａ（ｊ）はｊ＝１〜５については小さい値となる。同様に、集合Ｂの要素に対する集合Ａまでの最小距離を求めるときには、｛ａ_６｝と｛ｂ_２，ｂ_３，ｂ_４，ｂ_５，ｂ_６｝が近くに分布しているためにやはり小さくなり、集合間距離ＭＨＤは小さい値となってしまう。そこで、式３において、最小値ではなく、小さい方からｙ％となる値を選択することとする。図３（ｃ）の例で、ｙ＝２０％とすれば、各点間の距離で２番目に近い値を採用するので、集合間距離は大きくなる。同様の条件でも図３（ａ）や（ｂ）の場合には類似度が低下することはない。

次に、本発明のシステム構成について説明する。

図４は、本発明の一実施の形態における画像照合装置の構成を示す。

同図に示す画像照合装置は、パラメータ記憶部１、代表点設定部２、計測点間特徴距離算出部３、画像Ｆａ代表点画像距離算出部４、画像Ｆｂ代表点画像距離算出部５、代表点画像距離算出部６、画像類似度算出部７から構成される。

パラメータ記憶部１は、画像間距離の算出に用いるパラメータを格納しておき、画像Ｆａ代表点画像距離算出部４及び画像Ｆｂ代表点画像距離算出部５からの読み取り要求があると、記憶しておいたパラメータを要求元に出力する。格納するパラメータとして最短距離有効順位１のＬｂ、最短距離有効順位２のＬａ、最大距離有効順位のＴの３種類を記憶しておく。

代表点設定部２は、画像におけるＮ個の代表点Ｐｎ（ｎ＝１，２，…，Ｎ）を設定し、Ｎ個の代表点位置を計測点間特徴距離算出部３に出力する。設定方法の例として、画像を水平方向にＮ１等分、垂直方向にＮ２等分（Ｎ＝Ｎ１×Ｎ２）となるようブロック分割し、各ブロックの中心を代表点とすればよい。また、色情報などの画像特徴が類似している領域を統合することで画像を小領域に分割する処理を行い、各小領域の重心を代表点とする方法も有効である。

計測点間特徴距離算出部３は、２つの画像ＦａとＦｂを読み取り、画像Ｆａにおいて代表点設定部２より受け取った代表点Ｐｎ（ｎ＝１，２，…，Ｎ）の周辺に位置するＭａ個の計測点Ｑａ（ｊ）（ｊ＝１，２，…，Ｍａ）と、画像Ｆｂにおいて代表点の周辺に位置するＭｂ個の計測点Ｑｂ（ｋ）（ｋ＝１，２，…，Ｍｂ）について、画像から抽出した特徴空間におけるＱａ（ｊ）とＱｂ（ｋ）の距離ｄ（Ｑａ（ｊ），Ｑｂ（ｋ））を求め、求めた画素間特徴距離ｄ（Ｑａ（ｊ），Ｑｂ（ｋ））（ｊ＝１，２，…，Ｍａ，ｋ＝１，２，…，Ｍｂ）を画像Ｆａ代表点画像距離算出部４と画像Ｆｂ代表点画像距離算出部５に出力する。代表点Ｐｎの周辺の点Ｑａ（ｊ）及びＱｂ（ｋ）の選定方法として、代表点Ｐｎを中心として他の代表点までの最短距離を半径とする円の内側に位置する画素とする方法や、代表点を代表点設定部２での設定例で示したブロック分割を用いて設定した場合にはブロック内画素とする方法などがある。また、Ｑａ（ｊ）とＱｂ（ｋ）の距離ｄ（Ｑａ（ｊ），Ｑｂ（ｋ））の例として、カラー画像であればＲＧＢやＬａ＊ｂ＊などの色空間での距離を画素間特徴距離ｄ（Ｑａ（ｊ），Ｑｂ（ｋ））とすればよい。勿論、画素間特徴距離を求めるときに利用する特徴空間として色情報の他、テキスチャー情報やエッジ情報など様々な画像特徴量や、それらを統合した特徴空間での距離を用いることも有効である。

画像Ｆａ代表点画像距離算出部４は、パラメータ記憶部１に読み取り要求を行い、最短距離有効順位１のＬｂと最大距離有効順位のＴを読み出しておき、各代表点の計測点について以下の処理を行う。計測点Ｑａ（ｊ）とＭｂ個の各点Ｑｂ（ｋ）（ｋ＝１，２，…，Ｍｂ）とのＭｂ通りの距離のなかで小さい方からＬｂ番目となる距離ｒａ（ｊ）を選択する処理をｊ＝１，２，…，Ｍａに対して行うことでＭａ個の距離ｒａ（ｊ）を求め、求めたＭａ個の距離ｒａ（ｊ）の小さい方からＴ番目までの距離を用いてＲＳａ（ｎ）を算出する。ＲＳａ（ｎ）の算出方法としては、Ｔ個の距離の平均値とする方法や、Ｔ番目の距離とする方法を用いればよい。以上の処理により求められるＮ個の代表点に対するＲＳａ（ｎ）を代表点画像距離算出部６に出力する。最短距離有効順位１のＬｂはＭｂ以下の値、最大距離有効順位のＴはＴ≦ｍｉｎ（Ｍａ，Ｍｂ）を満たす値に設定しておくが、設定の例として、
Ｌｂ＝０．２×Ｍｂ 式４
Ｔ＝０．８×ｍｉｎ（Ｍａ，Ｍｂ） 式５
とすればよい。

画像Ｆｂ代表点画像距離算出部５は、パラメータ記憶部１に読み取り要求を出して最短距離有効順位２のＬａと最大距離有効順位のＴを読み出しておき、計測点Ｑｂ（ｋ）とＭａ個の各点Ｑａ（ｊ）（ｊ＝１，２，…，Ｍａ）とのＭａ通りの距離の中で小さい方からＬａ番目（ＬａはＭａ以下の値で、パラメータ記憶部１を参照して得る）となる距離ｒｂ（ｋ）を選択する処理をｋ＝１，２，…，Ｍｂに対して行うことでＭｂ個の距離ｒｂ（ｋ）、を求め、求めたＭｂ個の距離ｒｂ（ｋ）の小さい方からＴ番目までの距離を用いてＲＳｂ（ｎ）を算出する。

以上の処理により求められるＮ個の代表点に対するＲＳｂ（ｎ）を代表点画像距離算出部６に出力する。ＬａはＭａ以下の値に設定しておくが、設定例として、式１と同様に、
Ｌａ＝０．２×Ｍａ 式６
とすればよい。

代表点画像距離算出部５は、画像Ｆａ代表点画像距離算出部４より受け取るＲＳａ（ｎ）と、画像Ｆｂ代表点画像距離算出部５より受け取るＲＳｂ（ｎ）の大きい方を代表点Ｐｎにおける代表点画像距離ｄｐ（ｎ）として求め、Ｎ個の代表点画像距離ｄｐ（ｎ）（ｎ＝１，２，…，Ｎ）を画像類似度算出部７に出力する。

画像類似度算出部７は、代表点画像距離算出部６より受け取ったＮ個の代表点に対する代表点画像距離ｄｐ（ｎ）から２つの画像ＦａとＦｂとの類似度を求め、出力する。画像間の類似度は、Ｎ個の代表点画像距離ｄｐ（ｎ）の総和や、Ｎ個の代表点画像距離の中で外れ値を除く総和などで求められる。

次に、上記の構成における処理手順について説明する。

図５は、本発明の一実施の形態における画像照合装置の動作のフローチャートである。

ステップ２０１） 代表点設定部２において、Ｎ個の代表点Ｐｎ，ｎ＝１，２，…，Ｎを設定する。図６（ａ）に４０×３０画素の画像を水平方向に８等分、垂直方向に６等分したときの交差する３５点に代表点を設定したときの例を示す。

ステップ２０２） 代表点設定部２において２つの画像ＦａとＦｂを読み込む。

ステップ２０３） 計測点特徴距離算出部３において、代表点Ｐｎの周辺に位置するＭａ個の計測点Ｑａ（ｊ）（ｊ＝１，２，…，Ｍａ）と、画像Ｆｂにおいて代表点の周辺に位置するＭｂ個の計測点Ｑｂ（ｋ）（ｋ＝１，２，…，Ｍｂ）について、画像から抽出した特徴空間におけるＱａ（ｊ）とＱｂ（ｋ）の距離ｄ（Ｑａ（ｊ），Ｑｂ（ｋ））を求める。図６（ｂ）に代表点Ｐ１の周辺の計測点を選定するエリアを示す。１０×１０画素のこのエリアに位置する１００個の画素を計測点Ｑａ（ｊ）とする。他の代表点についても同様に設定する。

ステップ２０４） Ｎ個の代表点Ｐｎに対して、画像Ｆａ代表点画像距離算出部４において、次式のＲＳａ（ｎ）を算出し、一時的にメモリ（図示せず）に格納する。

ここで、min(Lb)｛｝は、｛｝の中で小さい方からＬｂ番目となる値を選択する操作を示す。

ステップ２０５） Ｎ個の代表点Ｐｎに対して、画像Ｆｂ代表点画像距離算出部５において、次式のＲＳｂ（ｎ）を算出し、一時的にメモリ（図示せず）に格納する。

ここで、min(La){}は、｛｝の中で小さい方からＬａ番目となる値を選択する操作を示す。

ステップ２０６） 代表点画像距離算出部６において画像Ｆａ代表点画像距離算出部４及び画像Ｆｂ代表点画像距離算出部５のメモリ（図示せず）からＲＳａ（ｎ），ＲＳｂ（ｎ）を読み出して、次式により代表点画像距離ｄｐ（ｎ）を求める。

ｄｐ（ｎ）＝max（ＲＳａ（ｎ），ＲＳｂ（ｎ）） 式９
ステップ２０７） 画像類似度算出部７において、Ｎ個の代表点画像距離ｄｐ（ｎ）から２つの画像ＦａとＦｂとの画像間距離Ｄｉ（ａ，ｂ）を次式により求め、Ｄｉ（ａ，ｂ）の逆数などを画像間類似度として出力する。

なお、画像類似度算出部７の画像類似度の出力先は、表示装置や記憶装置とする。

上記の実施の形態の画像照合装置の機能をプログラムとして構築し、画像照合装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールするまたは、配布することが可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、画像分類処理や類似画像検索処理に適用可能である。

本発明の原理を説明するための図である。 本発明の原理構成図である。 本発明に用いる集合間距離を説明するための図である。 本発明の一実施の形態における画像照合装置の構成図である。 本発明の一実施の形態における画像照合装置の動作のフローチャートである。 代表点と計測点の例を説明する図である。

符号の説明

１ パラメータ記憶手段、パラメータ記憶部
２ 代表点設定手段、代表点設定部
３ 計測点間特徴距離算出手段、計測点間特徴距離算出部
４ 画像Ｆａ代表点画像距離算出手段、画像Ｆａ代表点画像距離算出部
５ 画像Ｆｂ代表点画像距離算出手段、画像Ｆｂ代表点画像距離算出部
６ 代表点画像距離算出手段、代表点画像距離算出部
７ 画像類似度算出手段、画像類似度算出部

Claims (3)

1. ２つの画像ＦａとＦｂが入力されたときに、それらの類似度を算出する装置における画像照合方法であって、
   代表点設定手段が、Ｎ個の代表点Ｐｎ（ｎ＝１，２，…，Ｎ）を設定する代表点設定ステップと、
   計測点間特徴距離算出手段が、前記画像Ｆａにおいて、前記代表点設定ステップで得られた前記代表点Ｐｎの周辺に位置するＭａ個の計測点Ｑａ（ｊ）（ｊ＝１，２，…，Ｍａ）と、前記画像Ｆｂにおいて、該代表点Ｐｎの周辺に位置するＭｂ個の計測点Ｑｂ（ｋ）（ｋ＝１，２，…，Ｍｂ）について、該画像Ｆａ，Ｆｂから抽出した特徴空間におけるＱａ（ｊ）とＱｂ（ｋ）の距離ｄ（Ｑａ（ｊ），Ｑｂ（ｋ））を求める計測点間特徴距離算出ステップと、
   画像Ｆａ代表点画像距離算出手段が、画像間距離の算出に用いるパラメータが記憶されているパラメータ記憶手段から最短距離有効順位のパラメータＬｂ及び最大距離有効順位のパラメータＴを取得し、前記代表点Ｐｎの計測点Ｑａ（ｊ）とＭｂ個の各点Ｑｂ（ｋ）（ｋ＝１，２，…，Ｍｂ）とのＭｂ通りの距離の中で小さい方からＬｂ番目となる距離ｒａ（ｊ）を選択する処理をｊ＝１，２，…，Ｍａに対して行うことでＭａ個の距離ｒａ（ｊ）を求め、求めた該Ｍａ個の距離ｒａ（ｊ）の小さい方からＴ番目までの距離を用いて距離ＲＳａ（ｎ）を算出する画像Ｆａ代表点画像距離算出ステップと、
   画像Ｆｂ代表点画像距離算出手段が、前記パラメータ記憶手段から最短距離有効順位のパラメータＬａ及び最大距離有効順位のパラメータＴを取得し、代表点Ｐｎの計測点Ｑｂ（ｋ）とＭａ個の各点Ｑａ（ｊ）（ｊ＝１，２，…，Ｍａ）とのＭａ通りの距離の中で小さい方からＬａ番目となる距離ｒｂ（ｋ）を選択する処理をｋ＝１，２，…，Ｍｂに対して行うことでＭｂ個の距離ｒｂ（ｋ）を求め、求めた該Ｍｂ個の距離ｒｂ（ｋ）の小さい方からＴ番目までの距離を用いて距離ＲＳｂ（ｎ）を算出する画像Ｆｂ代表点画像距離算出ステップと、
   代表点画像距離算出手段が、前記画像Ｆａ代表点画像距離算出ステップで算出した前記ＲＳａ（ｎ）と前記画像Ｆｂ代表点画像距離算出ステップで算出した前記ＲＳｂ（ｎ）の大きい方を前記代表点Ｐｎにおける代表点画像距離ｄｐ（ｎ）として求める代表点画像距離算出ステップと、
   画像類似度算出手段が、Ｎ個の前記代表点に対する代表点画像距離ｄｐ（ｎ）から前記画像Ｆａと前記画像Ｆｂとの類似度を求める画像類似度算出ステップと、
   を行うことを特徴とする画像照合方法。
2. ２つの画像ＦａとＦｂが入力されたときに、それらの類似度を算出する画像照合装置であって、
   画像間距離の算出に用いるパラメータが記憶されているパラメータ記憶手段と、
   Ｎ個の代表点Ｐｎ（ｎ＝１，２，…，Ｎ）を設定する代表点設定手段と、
   前記画像Ｆａにおいて、前記代表点設定手段で得られた前記代表点Ｐｎの周辺に位置するＭａ個の計測点Ｑａ（ｊ）（ｊ＝１，２，…，Ｍａ）と、前記画像Ｆｂにおいて該代表点Ｐｎの周辺に位置するＭｂ個の計測点Ｑｂ（ｋ）（ｋ＝１，２，…，Ｍｂ）について、該画像Ｆａ，Ｆｂから抽出した特徴空間におけるＱａ（ｊ）とＱｂ（ｋ）の距離ｄ（Ｑａ（ｊ），Ｑｂ（ｋ））を求める計測点間特徴距離算出手段と、
   前記パラメータ記憶手段から最短距離有効順位のパラメータＬｂ及び最大距離有効順位のパラメータＴを取得し、前記代表点Ｐｎの計測点Ｑａ（ｊ）とＭｂ個の各点Ｑｂ（ｋ）（ｋ＝１，２，…，Ｍｂ）とのＭｂ通りの距離の中で小さい方からＬｂ番目となる距離ｒａ（ｊ）を選択する処理をｊ＝１，２，…，Ｍａに対して行うことでＭａ個の距離ｒａ（ｊ）を求め、求めた該Ｍａ個の距離ｒａ（ｊ）の小さい方からＴ番目までの距離を用いて距離ＲＳａ（ｎ）を算出する画像Ｆａ代表点画像距離算出手段と、
   前記パラメータ記憶手段から最短距離有効順位のパラメータＬａ及び最大距離有効順位のパラメータＴを取得し、代表点Ｐｎの計測点Ｑｂ（ｋ）とＭａ個の各点Ｑａ（ｊ）（ｊ＝１，２，…，Ｍａ）とのＭａ通りの距離の中で小さい方からＬａ番目となる距離ｒｂ（ｋ）を選択する処理をｋ＝１，２，…，Ｍｂに対して行うことでＭｂ個の距離ｒｂ（ｋ）を求め、求めた該Ｍｂ個の距離ｒｂ（ｋ）の小さい方からＴ番目までの距離を用いて距離ＲＳｂ（ｎ）を算出する画像Ｆｂ代表点画像距離算出手段と、
   前記画像Ｆａ代表点画像距離算出手段で算出した前記ＲＳａ（ｎ）と前記画像Ｆｂ代表点画像距離算出手段で算出した前記ＲＳｂ（ｎ）の大きい方を前記代表点Ｐｎにおける代表点画像距離ｄｐ（ｎ）として求める代表点画像距離算出手段と、
   Ｎ個の前記代表点に対する代表点画像距離ｄｐ（ｎ）から前記画像Ｆａと前記画像Ｆｂとの類似度を求める画像類似度算出手段と、
   を有することを特徴とする画像照合装置。
3. コンピュータを、
   請求項２記載の画像照合装置として機能させることを特徴とする画像照合プログラム。

Images