JP2004178592A - 画像の幾何学的に変換されたコピーを検出する方法及びシステム - Google Patents

Abstract

【課題】 本発明の目的は、他の画像の少なくとも一部分の画像からの内容の幾何学的に変換されたコピーを検出することである。
【解決手段】 第１と第２のディジタル画像を供給し、各画像内の関心のオブジェクトを検索し、画像内の対応するオブジェクトの組を識別し、各オブジェクト上の特徴点の位置
を特定し、第１の画像内の特徴点と、第２の画像内の対応する特徴点の一致するものを見つけ、各画像についての対応する点の組を発生し、第１の画像の対応する点の組を、第２の画像の対応する点の組へマップする幾何学的変換のパラメータを決定し、決定した幾何学的変換のパラメータに従い第１の画像を変換し、変換された第１の画像と第２の画像の内容の間の類似の領域を検出し、第２の画像が第１の画像の領域の幾何学的に変換されたコピーである領域を含むかを決定する、画像の少なくとも一部分の内容の幾何学的に変換されたコピーを検出する方法である。
【選択図】 図１

Description

本発明は、一般的にはディジタル画像処理の分野に関連し、特に、画像の幾何学的に変換されたコピーを検出することに関連する。

ディジタル画像コレクションの数とサイズは、民生及び商業領域の両方で急速に成長している。ディジタル画像の、共有、販売、及び他の配布は、しばしば、データベース内に実質的に同様な画像が既に含まれているコレクション又はデータベースへ、導入される。これらの同様な画像は、貴重な記憶資源を消費しそして、コレクションへ重要な価値を付加することなしにコレクションの管理を複雑にする。商用のデータベースについては、冗長画像の存在は、これらの資産の商品性に悪影響を及ぼす。冗長画像を識別しそして選択的にコレクションからそれらを取り除くことにより、画像データベース内のこの冗長性を制御する必要がある。

更に加えて、画像の捕捉と再使用の相対的な容易さは、画像資産の所有者が、それらの画像の許可されていない再使用を検出することを困難にする。そのような所有者は、それらの画像資産内に、視覚的に知覚されないディジタルウォータマークを埋め込むことができる。他の画像内の資産の部分の許可されていない再使用は、ウォータマークされた部分から情報を抽出することを困難にする。画像のコピーされた部分の識別は、ウォータマークの回復の可能性を改善できる。このように、それらの資産の全て又は一部の許可されていない再使用の検出で助けとなる必要がある。

複製又は実質的に同様な画像の検出は、全体的な画像分析により実行される。この例は、Ｊａｉｎ他の特許文献１及びＤｏｅｒｍａｎｎの非特許文献１により使用されている方法がある。ＪａｉｎとＤｏｅｒｍａｎｎは、各画像から描写の特徴を抽出し、そして、画像データベースへの画像の挿入を制御するために、そのような特徴を使用する。これらの方法は、それらのオリジナルから実質的に異ならないコピーの検出に適用可能である。それらは、オリジナル画像の一部のみを複写するコピーを検出するのに失敗し得る。

指紋分析も画像の一致を扱うが、しかし、目標は、複製画像又は画像部分を見つけることから実質的に異なる。この領域では、問題は、２つの画像又はその部分が共通の画像のオリジン（起源）を共有するかどうかではなく、むしろ、２つの別個の画像が同じ指により作られたかである。確かに、典型的には、２つの画像が明確に異なるオリジンを有する印象であることは、先験的に知られている。

指紋分析技術は、部分的な指紋、画像歪み、及び多数の向きに適応しなければならない。特許文献２では、Ｍｏｎｄｅｎ他は、各指紋の関心の多くの点を選択する。それらは、１つの点が各画像から来るように、同様な点のペアを構成する。そしてそれらは、これら点のペアが最も整列する仮定の幾何学変換を構築するために、点のこれらのペアの間の位置関係を分析する。変換に従わないペアは、捨てられ、そして、残りのペアの付近で抽出された局所的な特徴は、２つの指紋の間の比較の基礎として使用される。

対応する点の検索は、画像領域の先験的な知識により簡単になされる。指紋は、規模が大きく変わらず、そして、指紋一致は、指紋パターンの実質的な部分を含む画像に試行される。画像の類似性の最終的な分析は、注目の各点を囲む局所的な特徴に基づいており、選択された点を越えて何の情報も発生されない。

Ｆｏｒｓｔｎｅｒは、非特許文献２で、画像一致を説明している。この説明では、各画像の特徴点が選択されそして組にされ、そして、空間マッピング関数が、ロバスト推定法を使用して決定される。最終ステップで、結果は受け入れられる対応する点をわたり評価される。

指紋一致及びＦｏｒｓｔｎｅｒにより説明された方法は、それらが有している意味上の重要性に関係無く、注目の点が選択されそして局所的な特徴に基づいて組にされる、画像の組と取り組む。しばしば、画像は、意味上の重要性を有する画像内のオブジェクトの数と比較して、多くの数の関心の点を含む。これらのアルゴリズムは、画像内の意味上のオブジェクトに頼らないので、それらは、少ない数の意味上のオブジェクトの一致に頼るアルゴリズムよりも、２つの画像を強く一致させる多くの量の計算労力を必要としがちである。更に、一旦、対応関数が決定されると、指紋一致法とＦｏｒｓｔｎｅｒにより説明された方法のいずれも、この関係が有効である領域の範囲を定めようとしない。従って、説明されたどの方法も、新たな画像を形成するためにコピーされうる又は他の画像と結合されうる画像又は画像部分の識別と取り組まない。このように、他の画像の幾何学的に変換された部分でありうる画像の部分を検出し且つ識別する必要が存在する。

幾何学的変換は、画像内の点と変換された相対物の間の空間的な対応を確立する、マッピング関数である。多くの異なる形式のマッピング関数が、画像処理の種々の領域で使用される。例えば、画像のリサイジング（大きさを変更する）は、異なる画素寸法と明らかな解像度を有する画像を生成するために、オリジナル画像の水平と垂直のスケーリングとして考えられる。画像の回転は、典型的には、画像捕捉中のカメラの僅かの回転のずれを補償するのに又は、肖像（風景）画像を風景（肖像）画モードで記憶するために、実行される。画像移動は、典型的には、画像捕捉中のカメラの僅かな移動のずれを補償する又は、画像の関心の領域を中心にする、画像座標の水平及び垂直移動である。アフィン又は透視変換は、典型的には、平行であるべき又は、ある方向へ支配的に向けられた、画像内のエッジ又は線を修正するために画像に適用される。バイリニア、多項式、局所多項式及びスプラインモデルは、典型的には、レンズ歪み又は収差のような、画像内の更に複雑な現象をモデル化するのに使用される。ある場合には、マッピング機能は、画像の全体の領域をわたって定義されないが、しかし、画像クロッピングのような、むしろ関心の領域をわたってのみ定義される。画像クロッピングでは、関心の領域は、オリジナル画像内で選択されそして、関心の領域外の画像データは消去される。多くの場合には、幾何学的変換は、複数のマッピング関数の合成である考えられる。例えば、典型的な画像化動作は、オリジナル画像をクロップ又はリサイズする（大きさを変更する）ことであり、それにより、関心のオブジェクトが、中心にされそして、”ズームイン”される。画像の幾何学的変換に関する更なる一般的な情報は、非特許文献１２を参照する。

同じコレクション又はデータベース内の他の画像の幾何学的変換版であるコレクション又はデータベース内の画像は、親画像に既に含まれていない情報をなにも加えない。従って、これらの幾何学的にに変換された画像は、大きな記憶空間を占有するが、しかし、情報的な価値をなにも加えない。

他の画像の幾何学的変換版である画像を識別する明白な自動の方法は、変換のパラメータの組合せの種々の値で、２つの画像の内容を比較することであろう。この解決方法は、画像リサイジングのような単純な場合でさえも、２つの画像を比較するために実質的に無限の数の可能な相対的なスケールの組み合わせのために、計算的に手に負えない。他の形式の幾何学的変換は、更に多くの程度の自由度を必要とし、それにより、更に計算的な要求は増加する。従って、１つの部分が他の幾何学的変換版であるかどうかを決定するために、２つの画像を自動的且つ効率的にテストする方法についての技術的な要求がある。

更に加えて、しばしば、幾何学的に変換された画像は、小さなカラー補正も受ける。これらの場合には、カラー補正を和らげる許容値で同様な内容関係を検出することが望ましい。
米国特許番号５，９１１，１３９号 米国特許番号６，０９４，５０７号 "Ｔｈｅ Ｄｅｔｅｃｔｉｏｎ ｏｆ Ｄｕｐｌｉｃａｔｅｓ ｉｎ Ｄｏｃｕｍｅｎｔ Ｉｍａｇｅ Ｄａｔａｂａｓｅ"、ｂｙ Ｄａｖｉｄ Ｄｏｅｒｍａｎｎ，Ｈｕｉｐｉｎｇ Ｌｉ， Ｏｍｉｄ Ｋｉａ，ａｎｄ Ｋｅｍａｌ Ｋｉｌｉｃ．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄｏｃｕｍｅｎｔ Ａｎａｌｙｓｉｓ ａｎｄ Ｒｅｃｏｇｎｉｔｉｏｎ，１９９７． "Ｉｍａｇｅ Ｍａｔｃｈｉｎｇ"ｂｙ Ｒｏｂｅｒｔ Ｍ．Ｈａｒａｌｉｃｋ ａｎｄ Ｌｉｎｄａ Ｇ．Ｓｈａｐｉｒｏ．Ｃｏｍｐｕｔｅｒ ａｎｄ Ｒｏｂｏｔ Ｖｉｓｉｏｎ，ＶｏｌｕｍｅＩＩ，Ｃｈａｐｔｅｒ１６．５，Ａｄｄｉｓｏｎ Ｗｅｓｌｅｙ，１９９３． "Ａ Ｒｏｂｕｓｔ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｍａｔｃｈｉｎｇ Ｔｗｏ Ｕｎｃａｌｉｂｒａｔｅｄ Ｉｍａｇｅｓ Ｔｈｒｏｕｇｈ ｔｈｅ Ｒｅｃｏｖｅｒｙ ｏｆ ｔｈｅ Ｕｎｋｎｏｗｎ Ｅｐｉｐｏｌａｒ Ｇｅｏｍｅｔｒｙ" ｂｙ Ｚｈｅｎｇｙｏｕ Ｚｈａｎｇ，Ｒｉｃｈａｒｄ Ｄｒｅｒｉｃｈｅ，Ｏｌｉｖｅｒ Ｆａｕｇｅｒａｓ，Ｑｕａｎｇ−Ｔｕａｎ Ｌｕｏｎｇ．ＩＮＲＩＡ Ｒｅｓｅａｒｃｈ Ｒｅｐｏｒｔ Ｎｏ．２２７３，Ｍａｙ １９９４． "Ａ Ｄｉｒｅｃｔ Ｍｅｔｈｏｄ ｆｏｒ Ｓｔｅｒｅｏ Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ ｂａｓｅｄ ｏｎ Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ"ｂｙ Ｍａｕｒｉｚｉｏ Ｐｉｌｕ．Ｐｒｏｃ．ＣＶＰＲ，ｐｐ．２６１−２６６，１９９７． "Ｔｈｅ Ｅｌｅｍｅｎｔｓ ｏｆ Ｉｎｔｅｇｒａｔｉｏｎ ａｎｄ Ｌｅｂｅｓｇｕｅ ｍｅａｓｕｒｅ"ｂｙ Ｒ．Ｂａｒｔｌｅ．Ｊｏｈｎ Ｗｉｌｅｙ ＆ Ｓｏｎｓ，１９９５、ｐｐ．５２−６４． "Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ"ｂｙ Ｒａｆａｅｌ Ｃ．Ｇｏｎｚａｌｅｚ ａｎｄ Ｒｉｃｈａｒｄ Ｅ．Ｗｏｏｄｓ．Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ、１９９２．ｐｐ．１８５−１８７，５１８−５４８． "Ｄｅｔｅｃｔｉｎｇ Ｆａｃｅｓ Ｉｎ Ｉｍａｇｅｓ：Ａ Ｓｕｒｖｅｙ"ｂｙ Ｍｉｎｇ−Ｈｓｕａｎ Ｙａｎｇ，Ｄａｖｉｄ Ｋｒｉｅｇｍａｎ，Ｎａｒｅｎｄｒａ Ａｈｕｊａ．ＩＥＥＥ Ｔｒａｎｓ．Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２４，Ｎｏ．１，ｐｐ．３４−５８，２００２． "Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ：Ａ Ｌｉｔｅｒａｔｕｒｅ Ｓｕｒｖａｙ"ｂｙ Ｗ．Ｚｈａｏ，Ｒ．Ｃｈｅｌｌａｐｐａ，Ａ．Ｒｏｓｅｎｆｅｌｄ，ａｎｄ Ｐ．Ｊ．Ｐｈｉｌｌｉｐｓ．Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｍａｒｙｌａｎｄ， Ｃｅｎｔｅｒ ｆｏｒ Ａｕｔｏｍａｔｉｏｎ Ｒｅｓｅａｒｃｈ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｒｏｔ，ＣＡＲ−ＴＲ−９４８、２０００． "Ａｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｉａｌ Ｆｅａｔｕｒｅ Ｆｉｎｄｉｎｇ Ｓｙｓｔｅｍ ｆｏｒ Ｐｏｒｔｒａｉｔ Ｉｍａｇｅｓ"ｂｙ Ｍａｒｋ Ｒ．Ｂｏｌｉｎ ａｎｄ Ｓｈｏｕｐｕ Ｃｈｅｎ．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ５５ｔｈ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ Ｓｏｃｉｅｔｙ ｆｏｒ Ｉｍａｇｉｎｇ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ（ＰＩＣＴＳ２００２），ｐｐ．２６６−２３１． "Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ"ｂｙ Ｗｉｌｌｉａｍ Ｋ．Ｐｒａｔｔ．Ｓｅｃｏｎｄ Ｅｄｉｔｉｏｎ． Ｊｏｈｎ Ｗｉｌｅｙ ＆ Ｓｏｎｓ，１９９１、ｐｐ．１１２−１１７． "Ｅｉｇｅｎｆａｃｅｓ ｆｏｒ Ｒｅｃｏｇｎｉｔｉｏｎ"ｂｙ Ｍａｔｔｈｅｗ Ｔｕｒｋ ａｎｄ Ａｌｅｘ Ｐｅｎｔｌａｎｄ．Ｊｏｕｒｎａｌ ｏｆ Ｃｏｇｎｉｔｉｖｅ Ｎｅｕｒｏｓｃｉｅｎｃｅ，Ｖｏｌｕｍｅ３，Ｎｕｍｂｅｒ１，１９９１，ｐｐ．７１−８６． "Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｗａｒｐｉｎｇ"、Ｇ．Ｗｏｌｂｅｒｇ，ＩＥＥＥＣｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ，１９９０．

本発明の目的は、他の画像の少なくとも一部分の１つの画像からの内容の幾何学的に変換されたコピーを検出することである。

本発明の更なる目的は、２つの画像の同様な領域の空間的な範囲を識別することである。

本発明は、上述の１つ又はそれ以上の問題の組みを解決することに向けられている。本発明は、画像の少なくとも一部分の内容の幾何学的に変換されたコピーを検出する方法であって、（ａ）第１と第２のディジタル画像を供給するステップを有し、；（ｂ）各ディジタル画像内の関心のオブジェクトを検索するステップを有し、；（ｃ）ディジタル画像内の対応する関心のオブジェクトの組を識別するステップを有し、対応する関心のオブジェクトの各組は、第１のディジタル画像内の位置を特定された関心のオブジェクトと、第１の画像内の位置を特定された関心のオブジェクトに対応する、第２のディジタル画像内の対応する位置を特定された関心のオブジェクトを有し、；（ｄ）各ディジタル画像内の各位置を特定された関心のオブジェクト上の特徴点の位置を特定するステップを有し、；（ｅ）第１のディジタル画像内の位置を特定された関心のオブジェクト上の特徴点と、第２のディジタル画像内の対応する関心のオブジェクト上の特徴点の一致するものを見つけ、それにより、各画像についての対応する点の組を発生するステップを有し、；（ｆ）第１のディジタル画像の対応する点の組を、第２のディジタル画像の対応する点の組へマップする幾何学的変換のパラメータを決定するステップを有し、；（ｇ）ステップ（ｆ）で決定した幾何学的変換のパラメータに従って第１のディジタル画像を変換するステップを有し、；（ｈ）変換された第１のディジタル画像と第２のディジタル画像の内容の間の類似の領域を検出し、それにより、第２のディジタル画像が第１のディジタル画像の領域の幾何学的に変換されたコピーである領域を含むかどうかを決定するステップを有する方法に存在する。

本発明の更なる面は、２つの画像の同様な領域の空間的な範囲を識別することである。この識別は、３段のアプローチを使用して実行される。第１に、対応点は、各画像内の関心のオブジェクトについて検索され、対応する関心のオブジェクトの一致を見つけ、関心の各オブジェクト上の特徴点の位置を特定し、そして、一致する関心のオブジェクト上の特徴点の一致を見つけることにより、識別される。第２に、対応点に関連する幾何学的変換が計算される。第３に、２つの画像の同様な領域の空間的な範囲が、計算された幾何学的変換に従って第１の画像をひずませ（ｗａｒｐ）、そして、歪ませられた第１の画像の画素コード値とオリジナルの第２の画像のとを比較することにより、見つけられる。

商用データベースについては、本発明の利点は、冗長画像を識別しそして選択的にコレクションからそれらを取り除くことにより、画像データベース及びコレクション内の冗長性を認識し且つ制御する能力にある。更に加えて、画像の一部分の内容の幾何学的に変換されたコピーを検出する能力は、画像資産の所有者が、それらの画像の許可されていない再使用を、特に、許可されていない再使用が画像の所定の一部分にのみ現れる場合を、検出することを可能とする。

本発明のこれらのそして他の面、目的、特徴及び利点は、添付の図面を参照して、以下の好ましい実施例の詳細な説明と添付の請求項を読めば、更に明確に理解されそして評価されよう。

以下の記載では、本発明の好ましい実施例を、ソフトウェアプログラムとして通常は実行されうることに関して記載する。当業者は、そのようなソフトウェアの等価物はハードウェアでも構成されうることは、容易に認識する。画像操作アルゴリズムとシステムは良く知られているので、本記載は、本発明に従ったシステムと方法の、一部を構成する又は、直接的に協働する、アルゴリズム及びシステムに、特に向けられている。ここに特に示されておらず説明されていない、そのようなアルゴリズムとシステムの他の面、及びそれに関連する画像信号を発生しそして、そうでなければ処理するハードウェア及び／又はソフトウェアは、技術的に知られたそのようなシステム、アルゴリズム、構成要素及び要素から選択される。以下の資料で本発明に従って記載されるシステムとすれば、本発明を実行するのに有益な、ここに特に示されていない、暗示又は記載されていないソフトウェアは、伝統的なものでありそして、そのような技術の通常の知識内である。

更に、ここで使用するように、コンピュータプログラムは、コンピュータ読み出し可能な記憶媒体に記憶され、これは、例えば、（ハードドライブ又はフレキシブルディスクのような）磁気ディスク又は磁気テープのような磁気記憶媒体；光ディスク、光テープ又は、機械読み出し可能なバーコードのような光記憶媒体；ランダムアクセスメモリ（ＲＡＭ）又は、読み出し専用メモリ（ＲＯＭ）のような固体電気記憶装置；又は、コンピュータプログラムを記憶するのに使用される他の物理装置又は媒体を含みうる。

本発明を記載する前に、本発明は、パーソナルコンピュータのような、良く知られたコンピュータシステム上で使用されるのが好ましいことを注意するのは理解を容易にする。従って、コンピュータシステムは、ここでは詳細には説明しない。画像はコンピュータシステムに直接的に入力されるか（例えば、ディジタルカメラにより）又は、コンピュータシステムに入力前にディジタル化されるか（例えば、銀ハロゲン化物ようなオリジナルを操作することにより）のいずれかであることに注意することも有益である。

図１を参照すると、本発明を実行するコンピュータシステム１１０が示されている。コンピュータシステム１１０は、好ましい実施例を説明するために示されているが、本発明は、示されたコンピュータシステム１１０に限定されず、しかし、ホームコンピュータ、キオスク、小売又は、卸売り、現像又は、ディジタル画像を処理する他のシステムで見つかるような、電子処理システムで使用されうる。コンピュータシステム１１０は、ソフトウェアプログラムを受信し且つ処理しそして他の処理機能を実行する、マイクロプロセッサベースのユニット１１２を有する。ディスプレイ１１４は、例えばグラフィックユーザインターフェースにより、ソフトウェアに関連するユーザに関連する情報を表示する、マイクロプロセッサベースのユニット１１２に電気的に接続されている。キーボード１１６も、ユーザがソフトウェアへ情報を入力することを可能とするためにマイクロプロセッサベースのユニット１１２に接続されている。入力のためにキーボード１１６を使用する代わりに、ディスプレイ１１４上のセレクタ１２０を移動しそして、セレクタ１２０が重なるアイテムを選択するために、技術的に良く知られているように、マウス１１８が使用されうる。

コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）１２４は、これは典型的にはソフトウェアプログラムを含み、マイクロプロセッサベースのユニット１１２へソフトウェアプログラムと他の情報を入力する手段を提供するために、マイクロプロセッサベースのユニットへ挿入される。更に加えて、フレキシブルディスク１２６も、ソフトウェアプログラムを含んでもよく、そして、ソフトウェアプログラムを入力するためにマイクロプロセッサベースのユニット１１２へ挿入される。コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）１２４又はフレキシブルディスク１２６は、代わりに、外部に配置されたマイクロプロセッサベースのユニット１１２に接続されたディスクドライブユニット１２２に挿入されても良い。更に、マイクロプロセッサベースのユニット１１２は、技術的に知られているように、ソフトウェアプログラムを内部で記憶するために、プログラムされうる。マイクロプロセッサベースのユニット１１２は、電話線のような、ローカルエリアネットワーク又はインターネットのような、外部ネットワークへのネットワーク接続１２７も有しても良い。プリンタ１２８も、コンピュータシステム１１０からの出力のハードコピーを印刷するために、マイクロプロセッサベースのユニット１１２に接続されうる。

画像は、以前に知られていたカード１３０内に電子的に具体化されたディジタル化された画像を含む（パーソナルコンピュータメモリカードインターナショナルアソシーエーションの使用に基づいた）ＰＣＭＣＩＡカードのような、パーソナルコンピュータカード（ＰＣカード）１３０を介してディスプレイ１１４に表示されてもよい。ＰＣカード１３０は、ディスプレイ１１４上に画像の視覚的表示を可能とするために、最後に、マイクロプロセッサベースのユニット１１２に挿入される。代わりに、ＰＣカード１３０は、マイクロプロセッサベースのユニット１１２に接続された、外部に配置されたＰＣカードリーダ１３２に挿入されることが可能である。画像は、コンパクトディスク１２４、フレキシブルディスク１２６、又は、ネットワーク接続１２７を介して入力されてもよい。ＰＣカード１３０、フレキシブルディスク１２６又はコンパクトディスク１２４、に記憶された又は、ネットワーク接続１２７を通して入力されたどの画像も、ディジタルカメラ又はスキャナ（図示していない）のような、種々のソースから得られうる。例えば、画像は、マイクロプロセッサベースのユニット１１２に接続されたカメラドッキングポート１３６を介してディジタルカメラ１３４から直接的に、又は、マイクロプロセッサベースのユニット１１２へのケーブル接続１３８を介して又はマイクロプロセッサベースのユニット１１２への無線接続１４０を介してディジタルカメラ１３４から直接的に入力されてもよい。

本発明に従って、アルゴリズムは、今まで述べたどの記憶装置へも記憶され得そして、他の画像の幾何学的変換版である画像を検出するために、適用される。

図２は、画像の幾何学的に変換されたコピーを検出する本発明の方法を示す。第１のステップ２００では、２つのディジタル画像：第１のディジタル画像２０２と第２のディジタル画像２０４が提供される。ディジタル画像は、種々の手段で提供されることが可能であり；例えば、それらはディジタルカメラにより捕捉され、ビデオシーケンスから抽出され、ハードコピー出力走査され又は、他の手段により発生される。次に、第１のディジタル画像２０２と第２のディジタル画像２０４の間の対応する点の組みが識別される（ステップ２０６）。対応する点は、同じシーンの点に対応する第１のディジタル画像２０２と第２のディジタル画像２０４の画素の位置であるように定義される。例えば、画像内容の先験的な（ａ ｐｒｉｏｒｉ）知識なしの対応する点の識別は、強く行うのが難しい。この問題を解決するために、２つの画像の間の幾何学的な差が増加するにつれて減少する制限された成功を有する、幾つかのアルゴリズムが開発されている。例えば、そのようなアルゴリズムは、Ｚｈａｎｇ，Ｚ．，Ｄｒｅｒｉｃｈｅ，Ｒ．，Ｆａｕｇｅｒａｓ，Ｏ．，Ｌｕｏｎｇ、Ｑ．−Ｔ．の”未知のエピポーラ幾何学の回復を通して２つの未較正画像の一致を見つけるロバスト技術（Ａ Ｒｏｂｕｓｔ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｍａｔｃｈｉｎｇ Ｔｗｏ Ｕｎｃａｌｉｂｒａｔｅｄ Ｉｍａｇｅｓ Ｔｈｒｏｕｇｈ ｔｈｅ Ｒｅｃｏｖｅｒｙ ｏｆ ｔｈｅ Ｕｎｋｎｏｗｎ Ｅｐｉｐｏｌａｒ Ｇｅｏｍｅｔｒｙ）”、ＩＮＲＩＡリサーチレポート、Ｎｏ．２２７３，１９９４年５月及び、Ｐｉｌｕ、Ｍ．，の”特異値分解に基づくステレオ対応のための直接的方法（Ａ Ｄｉｒｅｃｔ Ｍｅｔｈｏｄ ｆｏｒ Ｓｔｅｒｅｏ Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ ｂａｓｅｄ ｏｎ Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）”、Ｐｒｏｃ．ＣＶＰＲ，１９９７年ｐｐ．２６１−２６６を参照する。各画像内の関心のオブジェクトの知られた位置のような、先験的な情報が存在するときには、この情報は、対応する点の組みを識別する処理を単純化するのに使用されることが可能である。先験的な情報を使用する本発明の実施例の例は、図３に記載されている。

対応する点の組みが識別されると（ステップ２０６）、第１のディジタル画像２０２からの対応する点から第２のディジタル画像２０４からの対応する点への幾何学的変換マッピングのパラメータが決定される（ステップ２０８）。前述の幾何学的変換は、ある数のパラメータ又は自由度で表現される。例えば、画像リサイジングは、スケーリングパラメータを必要とする。画像回転は、（回転の中心が固定されている、即ち画像の中心でと仮定し）回転の角度を記述する角度パラメータを必要とする。画像の移動は、移動の水平及び垂直オフセットを記述する２つのパラメータを必要とする。アフィン変換は、６つのパラメータを必要とし、そして、透視及びバイリニア変換の両方は、８パラメータを必要とする。多項式、局所多項式及び、スプライン変換は、多項式又はスプラインの程度及び使用される局所多項式又はスプライン間隔の数に依存して増加する数のパラメータを必要とする。２つの画像間の幾何学的変換が、Ｎのパラメータを必要とする場合には、（一般的な位置の；例えば、アフィン変換については少なくとも３の同一線上でない対応する点の組みの）少なくとも

の対応する点の組みが識別されたときに、それらのパラメータは、推定される。正確に

の一般的な位置の対応する点の組みが識別された場合には、幾何学的変換のパラメータは、正確に計算されることが可能である。

以上の一般的な位置の対応する点の組みが識別される場合には、多過ぎるマッピングが決定され、それにより、幾何学的変換のパラメータはある意味で最適に推定される。例えば、第２のディジタル画像２０４の対応する点と第２のディジタル画像２０４の予測された対応する点の間の誤差又は差は、ｌ_２ノルムのようなノルム内で最小化される（Ｂａｒｔｌｗ，Ｒ．，積分の要素とルベーグ手段（Ｔｈｅ Ｅｌｅｍｅｎｔｓ ｏｆ Ｉｎｔｅｇｒａｔｉｏｎ ａｎｄ Ｌｅｂｅｓｇｕｅ Ｍｅａｓｕｒｅ、Ｊｈｏｎ Ｗｉｌｅｙ＆Ｓｏｎ、１９９５、ｐｐ．５２−６４を参照する））。代わりに、メジアン絶対誤差が最小化され又は、推定されたパラメータを、不正確に識別された対応する点に対して強くするために、最大尤度推定がなされる。

ステップ２１０では、第１のディジタル画像２０２がそして、ステップ２０８で決定されたパラメータを有する幾何学的に変換に従って、変換されて、変換された第１のディジタル画像２１２を形成する。前述の幾何学的変換のすべては、クロッピングは別として、２段階処理の画像に適用されうる。最初に、画像の画素位置が、幾何学的変換に従って、変換される。そして、画像値は、規則的なグリッドの点で補間され、変換された画像を形成する。種々の補間技術の詳細は、Ｇｏｎｚａｌｅｚ，Ｒ．，及びＷｏｏｄｓ，Ｒ．，のディジタル画像処理（Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）、Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ，１９９２年に記載されている。

最後に、ステップ２１４で、変換された第１のディジタル画像２１２と第２のディジタル画像２０４の間の類似性が検出される。類似性の存在は、１つの画像の少なくとも一部分が他の画像の幾何学的に変換されたコピーであることを示す。類似性を検出する１つの単純な技術は、第２のディジタル画像２０４から変換された第１のディジタル画像を減算して、差画像を形成することである。画像が同様な場合には、差画像のヒストグラムは、ゼロのまわりに大きなクラスタリングの値を示す。画像のコピーされた部分に適用されるカラー又は輝度変換について補償することが必要である。画像の部分のみが共通である場合には、差画像は両方の画像に共通な領域の空間の範囲を示すマップを発生しうる。結果の類似性マップと空間及びカラー変換は、報告される（ステップ２１６）。（差分技術に関する更なる情報は、前述のＧｏｎｚａｌｅｚ及びＷｏｏｄｓの参照文献のｐｐ．１８５−１８７を参照する）。

図３は、第１のディジタル画像２０２と第２のディジタル画像２０４の間の対応する点の組を識別するステップ２０６の実施例を示す。最初に、各ディジタル画像は、関心のオブジェクトについて、検索される（ステップ３００）。関心のオブジェクトの例は、人間の顔、人、動物、建築構造、実際の世界のオブジェクトに対応しない画素値の構造化されたパターン等を含む。ディジタル画像は、種々の手段により検索されうる。多重解像度テンプレートマッチング、ニューラルネットワーク及びベイズの推論のようなパターン認識技術は、画像内の関心のオブジェクトを検索するのに使用されうる多くのディジタル画像処理アルゴリズムの幾つかである。更に加えて、関心のオブジェクトの位置が、ある手動又は、自動技術により先験的に見つかる場合には、それらの位置は、各提供された画像２０２と２０４の画像ファイル内にメタデータとして記憶されうる。単純な手動技術の例は、ユーザが各ディジタル画像の関心の各オブジェクトの周りに円又は境界となるボックスを描くとき又は、ディジタル画像のメタデータにテキストメッセージを置き、各画像に画像内容を記述するテキストメッセージを知らせるときである。関心のオブジェクトの位置が、画像２０２と２０４の画像ファイル内にメタデータとして記憶される場合には、ステップ３００は、画像ファイルからメタデータを抽出することのみが必要であり、そして、更なるディジタル画像処理を必要としない。

一旦、関心のオブジェクトを検索するステップ３００が発生すると、各画像は関心のオブジェクトを含むかどうかに関する質問３０２がなされる。質問３０２に対する否定の応答は、利用できる先験的な情報がないことを示し、そして、対応する点の組は、前述の（Ｚｈａｎｇ他又は、Ｐｉｌｕ）のロバスト画像一致アルゴリズムの１つで識別される（ステップ３０４）。質問３０２への肯定の応答は、対応する関心のオブジェクトの組が識別されるべきであることを示す（ステップ３０６）。対応する関心のオブジェクトの組は、シーンの同じ関心のオブジェクトに対応する、第１のディジタル画像２０２内の位置を特定された関心のオブジェクトと第２のディジタル画像２０４内の位置を特定された関心のオブジェクトとして、定義される。対応する関心のオブジェクトは、種々の技術により識別されうる。Ｋ−の最も近い隣接、ニューラルネットワークのような分類アルゴリズム又は、サポートベクトルマシンが、関心のオブジェクトに、１つ又はそれ以上のクラスの組に属するとラベル付けするのに使用されうる。（分類アルゴリズムの調査については、Ｆｕｋｕｎａｇａ，Ｋ．，の統計的パターン認識（Ｓｔａｔｉｓｔｉｃａｌ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ），２ｎｄＥｄ．，Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ、１９９０年を参照する）。両画像が同じクラスに属する場合には、１つのディジタル画像内の関心のオブジェクトは、他のディジタル画像内の関心のオブジェクに対応するといわれる。１つの画像内の１つ以上の関心のオブジェクトが同じクラスに属する場合には、例えば、画像値を比較しそして関心のオブジェクトとして同じ画像値メトリックに関して最も近いものを選択することにより、対応が決定されうる。分類アルゴリズムの代わりとして、関心のオブジェクトは、予め分類され、そして、それらの分類は画像ファイルのメタデータに格納される。関心のオブジェクトが人間の顔でありそしてディジタル画像が２人の人である場合を考えて欲しい。２人の人間の顔は、画像内に現れ、そして、”第１の人間”及び”第２の人間”としてそれぞれ分類される。第１の人間の（それぞれ、第２の人間の）顔の位置とラベル”第１の人間”（それぞれ、”第２の人間”）は、画像のメタデータに記憶される。

一旦、対応する関心のオブジェクトの組を識別するステップ３０６が発生すると、対応する関心のオブジェクトの組が識別されたかどうかに関する質問３０８が、なされる。質問３０８に対する否定の応答は、利用できる先験的な情報がないことを示し、そして、対応する点の組は、前述の（Ｚｈａｎｇ他又は、Ｐｉｌｕ）のロバスト画像一致アルゴリズムの１つで識別される（ステップ３０４）。質問３０８への肯定の応答は、特徴点が各関心のオブジェクト上に位置を特定されるべきであることを示す（ステップ３１０）。特徴点の例は、角、分岐点、ある特定の画像値を有する点及び、関心のオブジェクト上で知られた構造を示す点を含む。特徴点は、種々のディジタル画像処理技術を通して検出され得又は、それらは、先験的に見つけられ又はラベルが付され、そして、それらの位置は第１と第２のディジタル画像の画像ファイルのメタデータ内に記憶される。

関心のオブジェクト上の特徴点の、位置が特定されたときに（ステップ３１０）、それらは、他のディジタル画像の対応する関心のオブジェクト上の特徴点との一致が見つけられる（ステップ３１２）。これは、前述のパターン認識技術の１つによりなされることが可能である。代わりに、特徴点は、ラベル付けされ又は分類され、そして、それらは、他の画像内の対応する関心のオブジェクト内の同様にラベル付けされた又は分類された特徴点との一致が見つけられる。例えば、関心のオブジェクトが人間の顔である場合には、特徴点は”右目の中心”、”鼻ばしら”等とラベル付けされうる。一旦、特徴点が、全ての対応する関心のオブジェクトについて一致見つけられると、一致した点の結果の組は、対応する点３１４の組のセットを構成する。

好ましい実施例では、関心のオブジェクトは人間の顔である。画像内の顔を検出しそして認識する従来技術で利用できる多くのアルゴリズムがある。顔検出及び認識についての良好な調査論文については、Ｙａｎｇ，Ｍ．−Ｈ．，Ｋｒｉｅｇｍａｎ，Ｄ．，及びＡｈｕｊａ，Ｎ．，の”画像内の顔の検出：調査（Ｄｅｔｅｃｔｉｎｇ Ｆａｃｅｓ Ｉｎ Ｉｍａｇｅｓ：Ａ Ｓｕｒｖｅｙ）”の、ＩＥＥＥ Ｔｒａｎｓ．Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２４，Ｎｏ．１，ｐｐ．３４−５８，２００２及び、Ｚｈａｏ，Ｗ．，Ｃｈｅｌｌａｐｐａ，Ｒ．，Ｒｏｓｅｎｆｅｌｄ，Ａ．，及びＰｈｉｌｌｉｐｓ，Ｐ．Ｊ．，の”顔認識：論文調査（Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ：Ａ Ｌｉｔｅｒａｔｕｒｅ Ｓｕｒｖａｙ）”、メリーランド大学（Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｍａｒｙｌａｎｄ），自動化研究センタ技術報告（Ｃｅｎｔｅｒ ｆｏｒ Ａｕｔｏｍａｔｉｏｎ Ｒｅｓｅａｒｃｈ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｒｏｔ），ＣＡＲ−ＴＲ−９４８、２０００を参照する。顔検出アルゴリズムは、ステップ３００を実行するのに使用され、そして、顔認識アルゴリズムは、ステップ３０６の一部として顔及を分類するのに使用されうる。個々の顔は、Ｖｉｓｉｏｎｎｉｃｓ社のＦａｃｅＩｔシステムのような顔認識システムを通して識別され、；同様な識別を有する顔は、組にされる。代わりに、組にすることは、最も高い類似性を有する顔を見つけることにより達成されうる。顔の間の類似性は、Ｔｕｒｋ及びＰｅｎｔｌａｎｄによる、”認識のための固有の顔（Ｅｉｇｅｎｆａｃｅｓ ｆｏｒ Ｒｅｃｏｇｎｉｔｉｏｎ）”、Ｊｏｕｒｎａｌ ｏｆ Ｃｏｇｎｉｔｉｖｅ Ｎｅｕｒｏｓｃｉｅｎｃｅ３（１），１９９１又は、以下に記載するのと同じ方法を使用してスケール、回転、及び移動の差について補正後に、顔の特徴点の間の最も高い相関を検出こと、により記載されたもののような種々の方法を使用して計算されうる。顔は、目、鼻、口及び他の明確な特徴の位置のような、多くの認識可能な特徴点を有する。顔の特徴点は、Ｂｏｌｉｎ，Ｍ．，及びＣｈｅｎ，Ｓ．による、”肖像画の児童会特徴検出システム（Ａｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｉａｌ Ｆｅａｔｕｒｅ Ｆｉｎｄｉｎｇ Ｓｙｓｔｅｍ ｆｏｒ Ｐｏｒｔｒａｉｔ Ｉｍａｇｅｓ）”、画像科学及び技術の５５回年次会議のプロシーディング（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ５５ｔｈ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ Ｓｏｃｉｅｔｙ ｆｏｒ Ｉｍａｇｉｎｇ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ）（ＰＩＣＴＳ２００２）により記載のもののような方法を使用して得られうる。

図４Ａを参照すると、ステップ２００で供給された各ディジタル画像は、ディジタル画像ファイル４００に記憶され、これは、画像データ４０２とメタデータ４０４の両方を含む。メタデータ４０４は、画像に関連する補助データと（画像データ４０２それ自身以外のデータ）して定義される。例えば、画像内の関心のオブジェクトの位置は、自動ディジタル画像処理技術により又は、手動のラベル付けにより、先験的に識別され得、そして、これらの位置は、画像ファイル４００のメタデータ４０４内に格納される。他の例では、関心の各オブジェクトの分類はメタデータ内に記憶される。そのようなメタデータを画像ファイル内の画像データに単に追加することが可能である。ＴＩＦＦのようなあるファイルフォーマットは、ユーザ定義の情報についてのセグメントを提供する。代わりに、メタデータは、より広い種々の標準ファイルフォーマットの使用を可能とするために、そして、メタデータが、（”鍵”値のような）埋め込み処理のある知識でのみ回復されるあるレベルの安全性を提供するために、画像データそれ自身内に埋め込まれうる。

図４Ｂを参照すると、第１（２０２）と第２（２０４）のディジタル画像を供給するステップ２００は、第１（４０６）と第２（４０８）のソース画像を提供すること及び、各画像の解像度を減少させ４０１、第１（２０２）と第２（２０４）のディジタル画像を発生することを含む。各ソース画像の解像度を減少させるステップ４１０は、第１のディジタル画像を幾何学的に変換し２１０そして、変換された第１のディジタル画像２１２と第２のディジタル画像２０４の内容の間の類似性を検出する２１４、後続のステップの計算の速度の上昇を可能とする。ステップ２１０と２１４は、第１（２０２）と第２（２０４）のディジタル画像の各画素に関する操作を含むので、減少された解像度の第１（２０２）と第２（２０４）のディジタル画像を（ステップ２００で）供給することは、画素の数を減少させ、それにより、必要な操作の数を減少させる。その技術の種々の技術は、第１（２０２）と第２（２０４）のディジタル画像を縮小するのに適用されうる（前述のＧｏｎｚａｌｅｚの引用文献を参照する）。

図５Ａと５Ｂを参照すると、第１のディジタル画像２０２内の対応する点５００の組は、（ｕ_ｉ，ｖ_ｉ），ｉ＝１，．．．，Ｎとラベルが付され、そして、第２のディジタル画像２０４２０２内の対応する点５００の組は、（ｘ_ｉ，ｙ_ｉ），ｉ＝１，．．．，Ｎとラベルが付され、ここで、Ｎは対応する点の組の合計の数である。対応する点の組をマップする幾何学的変換のパラメータを決定するステップ２０８の実施例は、図５Ｂに示されている。ステップ５０２では、対応する点の組をマップする特定の形式の変換が、選択される。好ましい実施例では、選択された変換は、アフィン変換である。数学的には、アフィン変換は、以下の方法で対応する点に関連する、（ｊ，ｋ）エントリａ_ｊｋを有する２×３マトリクスＡとして記述されうる：

選択された変換は正確に２Ｎのパラメータを含むかどうかに関する質問５０４が、なされる。選択された変換がアフィン変換である、好ましい実施例では、質問５０４が肯定的な応答に値するためのみのＮの値は、Ｎ＝３である。この場合には、アフィン変換は、以下の方法で、直接的に計算される（ステップ５０６）：

実際には、逆マトリクスを直接的に計算することは、最も数値的に安定な手順ではなく、そのために、部分的行ピボットを有するガウスの消去法、、ＱＲ因数分解等のような、他の数値線形代数技術が使用される。（数値線形代数技術の調査に関しては、Ｓｔｅｗａｒｔ，Ｇ．，の”マトリクスアルゴリズム第１巻：基本分解（Ｍａｔｒｉｘ Ａｌｇｏｒｉｔｈｍ Ｖｏｌｕｍｅ １：Ｂａｓｉｃ Ｄｅｃｏｍｐｏｓｉｔｉｏｎｓ）”、ＳＩＡＭ，１９９８を参照する）。更に、大きな状態数のマトリクスを避けるために、ユーザが各画像内の画素値を正規化するのが有利である。適切な正規化機構は、画像の中心に原点を設定し、そして、画素位置をスケーリングしそれにより平均の対応する点は原点から単位距離を有する。

質問５０４への応答が否定の場合には、変換が２Ｎよりも少ないパラメータを含むかどうかに関する質問５０８が、なされる。好ましい実施例では、選択された変換がアフィン変換の場合には、質問５０４は、Ｎ＞３のときはいつでも否定の応答に値する。この場合には、対応する点を正確にマップするアフィン変換はない。従って、ステップ５１０により示されたように、”最良適合”変換が得られる（即ち、第２の画像内の各対応する点とアフィン変換を通したその予測の間の誤差を最小化する変換）。典型的には、誤差は、前述のｌ_２ノルムに関して最小化されるがしかし、どのようなノルム、又は、２乗最小メジアン、最大尤度等のようなロバスト手順に関しても最小化されうる。

を定義し、最良適合アフィン変換は、特異値分解Ｃ＝ＵΣＶ^Ｔに従ってＣを分解し、そして、

を計算することにより計算されることが可能であり、ここで、

は、Σの左３×３サブマトリクス、及び

は、Ｖの左Ｎ×３サブマトリクスである。特異値分解の詳細は、前述のＳｔｅｗａｒｔの引用文献に示されている。当業者は、ＱＲ分解、線形最小２乗を介した解法、のようなｌ_２ノルムの最良適合アフィン変換を決定する種々の他の技術があることがわかる（最小２乗問題を解決する方法の調査に関しては、Ｌａｗｓｏｎ，Ｃ．，及びＨａｎｓｏｎ，Ｒ．，の”最小２乗問題の解法（Ｓｏｌｖｉｎｇ Ｌｅａｓｔ Ｓｑｕａｒｅ Ｐｒｏｂｌｅｍ）”、ＳＩＡＭ，１９９５を参照する）。

質問５０８が否定の場合には、現在の変換よりも少ないパラメータを有する他の変換がステップ５１２で選択され、そして、処理は、新たな変換を使用して繰返され、質問５０４で開始する。アフィン変換が好ましいが、他の変換も本発明の精神及び範囲から離れることなしに使用され得る。他の変換は、２つの画像巻の幾何学的関係に関する知識がある状況又は、計算効率が優先である状況で好ましい。

他の実施例では、対応する点をマップする幾何学的変換は、水平及び垂直方向に、単一のスカラーパラメータによる画像リサイジング（大きさ変更）である。数学的には、原点が画像の中心にあるように画素座標が正規化される場合には、画像リサイジングは、以下の方法で対応する点に関連するスカラー倍数ａとして記述されうる：

Ｎの対応する点の組がある場合には、ａの最良適合値が以下の方法で得られる。定義すると：

ａの最良適合値は

により与えられる。

他の実施例では、対応する点の組をマップする幾何学的変換は、水平及び垂直方向の異なるスカラーパラメータによる画像リサイジングである。数学的には、原点が画像の中心であるように画素座標が正規化される場合には、２つの方向の画像リサイジングは、以下の方法：

で対応する点を関連付けるベクトルＡ＝（ａ_１，ａ_２）により記述される。１つのみの対応する点の組がありそして、ｕ_１もｖ_１もゼロではない場合には、スケールパラメータは、正確に、ａ_１＝ｘ_１／ｕ_１及びａ_２＝ｙ_１／ｖ_１と計算されうる。Ｎの対応する点の組がある場合には、Ａの最良適合値が以下の方法で得られる。定義すると：

Ａの最良適合値は、特異値分解Ｃ＝ＵΣＶ^Ｔに従ってＣを分解し、そして、

を計算することにより計算されることが可能であり、ここで、

は、Σの左２×２サブマトリクス、及び

は、Ｖの左Ｎ×２サブマトリクスである。

他の実施例では、対応する点の組をマップする幾何学的変換は、原点に関する画像の回転である。数学的には、原点が画像の中心にあるように画素座標が正規化される場合には、画像回転は、以下の方法：

で、対応する点に関連する時計周り角度パラメータθにより記述されうる。Ｎの対応する点の組がある場合には、Ａの最良適合値は、以下の方法で得られる。（ｘ_ｉ，ｙ_ｉ）と（ｕ_ｉ，ｖ_ｉ）を極形式：（ｒ_ｉ，α_ｉ）及び（ｐ_ｉ，β_ｉ）に変換する（それぞれ、ｘ_ｉ＝ｒ_ｉｃｏｓα_ｉ、ｙ_ｉ＝ｒ_ｉｓｉｎα_ｉ、ｕ_ｉ＝ｐ_ｉｃｏｓβ_ｉ、及び、ｖ_ｉ＝ｐ_ｉｓｉｎβ_ｉ）。そして、θの最良適合値は、

により与えられる。代わりに、θの最良適合値は、非線形最小２乗最小化により、推定されうる。例えば、典型的な非線形最適化技術は、Ｆｌｅｔｃｈｅｒ，Ｒ．，の”最適化の実際的な方法（Ｐｒａｃｔｉｃａｌ Ｍｅｔｈｏｄ ｏｆ Ｏｐｔｉｍｉｚａｔｉｏｎ）”、第２版，Ｊｏｈｎ Ｗｉｌｅｙ ＆ Ｓｏｎｓ，１９８７を参照する。

他の実施例では、対応する点の組をマップする幾何学的変換は、画像の水平及び垂直方向への移動である。数学的には、原点が画像の中心であるように画素座標が正規化される場合には、２つの方向の移動は、以下の方法：

で、対応する点を関連付ける、ベクトルＡ＝（ａ_１，ａ_２）^Ｔにより、記述されうる。Ｎの対応する点の組がある場合には、Ａの最良適合値は、

により与えられる。

他の実施例では、対応する点の組をマップする幾何学的変換は、水平及び垂直方向のせん断加工（ｓｈｅａｒｉｎｇ）である。数学的には、原点が画像の中心であるように画素座標が正規化される場合には、２つの方向の画像せん断加工は、以下の方法：

で対応する点を関連付けるベクトルＡ＝（ａ_１，ａ_２）により記述される。１つのみの対応する点の組がありそして、ｕ_１もｖ_１もゼロではない場合には、せん断は、正確に、ａ_１＝（ｘ_１−ｕ_１）／ｖ_１及びａ_２＝（ｙ_１−ｖ_１）／ｕ_１と計算されうる。Ｎの対応する点の組がある場合には、Ａの最良適合値が以下の方法で得られる。定義すると：

Ａの最良適合値は、特異値分解Ｃ＝ＵΣＶ^Ｔに従ってＣを分解し、そして、

を計算することにより計算されることが可能であり、ここで、

は、Σの左２×２サブマトリクス、及び

は、Ｖの左Ｎ×２サブマトリクスである。

当業者は、これらの実施例のいずれの構成も、本発明の範囲を超えないことがわかる。例えば、対応する点の組をマップする幾何学的変換が、数学的に：

により表される、回転、移動及び画像リサイジングの構成である場合には、パラメータの最良適合セットは、前述のＦｌｅｔｃｈｅｒの引用文献に従った非線形最適化ルーチンにより解かれうる。

他の実施例では、対応する点の組をマップする幾何学的変換は、透視変換である。数学的には、透視変換は、以下の方法：

で対応する点を関連付けるマトリクスＡにより記述されることが可能である。変数ｗ_ｉは、実際には、ダミー変数であり；透視変換は、代わりに、有理線形関数：

として考えられうる。透視変換のパラメータの最適なセットは、前述のＦｌｅｔｃｈｅｒの引用文献に従った非線形最適化ルーチンにより解かれる。

他の実施例では、対応する点の組をマップする幾何学的変換は、多項式、局所多項式又は、スプライン変換のような、高次の変換である。これらの変換は、前述のＷｏｌｂｅｒｇの引用文献に全て記載されており、そして、それらの最適なパラメータは、種々の最適化技術を通して見つけることができる。

図６は、変換された第１の画像と第２の画像の間の類似性のある領域を検出する実施例を示す。ステップ２０８で決定された変換は、対応する点の位置の誤差による又は、変換モデルを適合させる幾つかの点の失敗による、ある程度の不正確さを有しうる。この不正確さは、後続の動作の性能を劣化させうる２つの画像の間の僅かの位置ずれを導きうる。画像一致処理内のそのような誤差を適合させるために、低域通過フィルタが、変換後の対応する点の間の差を測定することにより、予想された位置ずれを軽減するために設計されうる。好ましい実施例では、ガウスブラーカーネル（Ｇａｕｓｓｉａｎ ｂｌｕｒ ｋｅｒｎｅｌ）が構成される（ステップ６１０）。カーネルの不鮮明の程度とサイズは、変換後の対応する点の間の誤差に比例する。画像は、輝度のみの表現に変換され（ステップ６２０）、そして、各画像は、構成されたカーネルと畳み込みされる（ステップ６３０）。

画像のコントラストと輝度は、しばしば、画像の再使用で修正され；従って、これらの変更は画像を比較するときに合わされねばならない。関心の対応するオブジェクトを含む画素は、変換と低域通過フィルタリング動作を通して空間的に相関がとられる。この空間的な相関は、２つの画像間の輝度変換を決定するのに使用される（ステップ６４０）。対応する画素値は、画像の輝度とコントラストを調整する線形変換を生成するのに使用されることができる。これは、直線回帰又は上述の方法を使用して解かれうる。

更に複雑なモデルは、ガンマ補正を適合するために生成されうるが、しかし、これらの変換内でクリップするダイナミックレンジは、解法を複雑化しうる。代わりのものは、単純に、２つの画素の対応するオブジェクトの間の画素値をマップする、ルックアップテーブルを構築することである。補間と外挿技術が、ルックアップテーブル内に場所を占めていない対応を決定するために使用され得る。決定された輝度変換は、第１の画像に適用され（ステップ６５０）、そして、差画像が、その画像を減算することにより生成される（ステップ６６０）。差画像への絶対値へしきい値を適用することは、同様な画素の２値マップを生成する（ステップ６７０）。このマップは、形態上の操作を適用することにより又は、接続されたコンポーネント分析を介して領域併合及び充填により、整理され且つ単純化される（ステップ６８０）。結果のマップは、２つの画像の間の類似の領域を記述する。種々の形態上の動作と接続されたコンポーネント技術の詳細は、Ｇｏｎｚａｌｅｚ，Ｒ．，及びＷｏｏｄｓ，Ｒ．，の”ディジタル画像処理（Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）”、Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ，１９９２年、ページ５１８−５４８に、記載されている。

類似性の領域を検出する前の記載は、画像の輝度チャネルに関する動作を参照してなされる。当業者は、本発明の範囲から離れることなしに、画像のフルカラー表現についても類似の動作がなされうることは認識するであろう。

本発明がシステムであると考えられる場合には、図２の処理ステップは、別の処理段階と見られることができる。基本的には、本発明は、第２の画像が、第１の画像内の領域の幾何学的に変換されたコピーである少なくともその領域を含むかどうかを検出するシステムを提供する。図２を参照すると、第１の処理段階２０６は、各ディジタル画像内の関心のオブジェクトを検索することにより２つの画像の間の対応する点の組を識別し；ディジタル画像内の対応する関心のオブジェクトの組を識別し、対応する関心のオブジェクトの各組は、第１のディジタル画像内の位置を特定された関心のオブジェクトと、第１の画像内の位置を特定された関心のオブジェクトに対応する、第２のディジタル画像内の対応する位置を特定された関心のオブジェクトを有し、；各ディジタル画像内の各位置を特定された関心のオブジェクト上の特徴点の位置を特定し、；第１のディジタル画像内の位置を特定された関心のオブジェクト上の特徴点と、第２のディジタル画像内の対応する関心のオブジェクト上の特徴点の一致するものを見つけ、それにより、各画像についての対応する点の組を発生する。第２の処理段階２０８は、第１のディジタル画像の対応する点の組を、第２のディジタル画像の対応する点の組へマップする幾何学的変換のパラメータを決定する。第３の処理段階２１０は、段階２０８で決定した幾何学的変換のパラメータに従って第１のディジタル画像を変換し、第４の処理段階２１４は、変換された第１のディジタル画像と第２のディジタル画像の内容の間の類似の領域を検出し、それにより、第２の画像が第１の画像の領域の幾何学的に変換されたコピーである領域を含むかどうかを決定する。更に、第５の処理段階２１６で、第２のディジタル画像の内容と実質的に同様であると検出される変換された第１のディジタル画像の内容の空間的な範囲を報告する。各処理段階は、図１に示されたマイクロプロセッサベースのユニット１１２により実行されるコンピュータコードにより実行される。

本発明を実行するコンピュータシステムの展望図である。 本発明の方法を示すフローチャートである。 本発明のステップの１つの実施例を示すフローチャートである。 画像データとメタデータを含む画像ファイルの図である。 本発明のステップの１つの実施例を示すフローチャートである。 対応する点の組のセットを示す図である。 幾何学的変換のパラメータを決定する処理を示すフローチャートである。 変換された画像間の類似の領域を検出する処理を示すフローチャートである。

符号の説明

１１０ コンピュータシステム１１０ 名詞
１１２ マイクロプロセッサベースのユニット１１２ 名詞
１１４ ディスプレイ１１４ 名詞
１１６ キーボード１１６ 名詞
１１８ マウス１１８ 名詞
１２０ ディプレイ上のセレクタ１２０ 名詞
１２２ ディスクドライブユニット
１２４ コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）
１２６ フレキシブルディスク１２６ 名詞
１２７ ネットワーク接続１２７ 名詞
１２８ プリンタ１２８ 名詞
１３０ パーソナルコンピュータカード（ＰＣカード）
１３２ ＰＣカードリーダ１３２ 名詞
１３４ ディジタルカメラ１３４ 名詞
１３６ カメラドッキングポート１３６ 名詞
１３８ ケーブル接続１３８ 名詞
１４０ 無線接続１４０ 名詞
２００ 供給するステップ
２０２ 第１のディジタル画像２０２ 名詞
２０４ 第２のディジタル画像２０４ 名詞
２０６ 識別ステップ
２０８ 決定ステップ
２１０ 幾何学的変換ステップ
２１２ 変換された第１のディジタル画像２１２ 名詞
２１４ 類似性検出ステップ
２１６ 報告ステップ
３００ 位置を見つけるステップ
３０２ 質問
３０４ 画像一致ステップ
３０６ 識別ステップ
３０８ 質問
３１０ 位置を見つけるステップ
３１２ 一致ステップ
３１４ 対応する点
４００ 画像ファイル４００ 名詞
４０２ 画像データ４０２ 名詞
４０４ メタデータ４０４ 名詞
４０６ 第１ソースデータ
４０８ 第２ソースデータ
４１０ 減少ステップ
５００ 対応点
５０２ 変換選択ステップ
５０４ 質問
５０６ 正確なパラメータを計算するステップ
５０８ 質問
５１０ 最良適合パラメータ推定ステップ
５１２ 他の変換を選択するステップ
６１０ 位置合わせを分析するステップ
６２０ 変換ステップ
６３０ フィルタステップ
６４０ 画素検査ステップ
６５０ 変換ステップ
６６０ 減算ステップ
６７０ しきい値ステップ
６８０ ２値マップ整理ステップ

Claims (3)

1. 画像の少なくとも一部分の内容の幾何学的に変換されたコピーを検出する方法であって、前記方法は、
   （ａ）第１と第２のディジタル画像を供給するステップを有し、
   （ｂ）各ディジタル画像内の関心のオブジェクトを検索するステップを有し、
   （ｃ）ディジタル画像内の対応する関心のオブジェクトの組を識別するステップを有し、対応する関心のオブジェクトの各組は、第１のディジタル画像内の位置を特定された関心のオブジェクトと、第１の画像内の位置を特定された関心のオブジェクトに対応する、第２のディジタル画像内の対応する位置を特定された関心のオブジェクトを有し、
   （ｄ）各ディジタル画像内の各位置を特定された関心のオブジェクト上の特徴点の位置を特定するステップを有し、
   （ｅ）第１のディジタル画像内の位置を特定された関心のオブジェクト上の特徴点と、第２のディジタル画像内の対応する関心のオブジェクト上の特徴点の一致するものを見つけ、それにより、各画像についての対応する点の組を発生するステップを有し、
   （ｆ）第１のディジタル画像の対応する点の組を、第２のディジタル画像の対応する点の組へマップする幾何学的変換のパラメータを決定するステップを有し、
   （ｇ）ステップ（ｆ）で決定した幾何学的変換のパラメータに従って第１のディジタル画像を変換するステップを有し、
   （ｈ）変換された第１のディジタル画像と第２のディジタル画像の内容の間の類似の領域を検出し、それにより、第２のディジタル画像が第１のディジタル画像の領域の幾何学的に変換されたコピーである領域を含むかどうかを決定するステップを有する、
   方法。
2. 前記領域は、各画像の実質的に全てを含む、請求項１に記載の方法。
3. 前記領域は、各画像の一部分を含む、請求項１に記載の方法。
   

Images