JP2018129036A - 画像の補完 - Google Patents

Abstract

【課題】少なくとも１つの穴を有する画像を補完するための、改善された方法、システム、及びプログラムを提供する。【解決手段】画像における既知の部分を表すアトムの辞書を提供するＳ１０と、ノードおよびラベルを有するマルコフ確率場上に定義されたエネルギーの少なくとも１回の最小化を含む処理を用いてアトムの線形結合の最適な分布を決定するＳ２０と、最適な分布で穴を埋めるＳ３０とを含む。各ノードは穴の各位置に対応し各ラベルに関連付けられる。【選択図】図１

Description

本発明は、コンピュータプログラムおよび及びシステムの分野に関し、より具体的には、少なくとも１つの穴を有する画像を補完するための方法、システム、及びプログラムに関する。

オブジェクトの設計、エンジニアリング、製造のため、多数のシステムおよびプログラムが市場に提供されている。ＣＡＤは、コンピュータ支援設計（Ｃｏｍｐｕｔｅｒ−Ａｉｄｅｄ Ｄｅｓｉｇｎ）の略語であり、例えば、オブジェクトを設計するためのソフトウェア・ソリューションに関する。ＣＡＥは、コンピュータ支援エンジニアリング（Ｃｏｍｐｕｔｅｒ−Ａｉｄｅｄ Ｅｎｇｉｎｅｅｒｉｎｇ）の略語であり、例えば、将来の製品の物理的挙動をシミュレーションするためのソフトウェア・ソリューションに関する。ＣＡＭは、コンピュータ支援製造（Ｃｏｍｐｕｔｅｒ−Ａｉｄｅｄ Ｍａｎｕｆａｃｔｕｒｉｎｇ）の略語であり、例えば、製造工程および動作を定義するためのソフトウェア・ソリューションに関する。このようなコンピュータ支援設計システムにおいて、グラフィカル・ユーザ・インターフェースは、技術の効率に関して、重要な役割を果たす。これらの技術は、製品ライフサイクル管理（Ｐｒｏｄｕｃｔ Ｌｉｆｅｃｙｃｌｅ Ｍａｎａｇｅｍｅｎｔ： ＰＬＭ）システムに組み込むことができる。ＰＬＭとは、企業が、拡張エンタープライズの概念全体にわたって、製品データを共有し、共通の工程を適用し、構想に始まり製品寿命の終わりに至る製品開発のための企業知識を活用するのを支援するビジネス戦略を指す。ダッソー・システムズが提供するＰＬＭソリューション（製品名ＣＡＴＩＡ、ＥＮＯＶＩＡ、ＤＥＬＭＩＡ）は、製品エンジニアリング知識を体系化するエンジニアリング・ハブ、製品エンジニアリング知識を管理する製造ハブ、およびエンジニアリング・ハブと製造ハブの両方に対するエンタープライズ統合と接続を可能にするエンタープライズ・ハブを提供する。全てのシステムは、製品、工程、リソースを結ぶオープンなオブジェクトモデルを提供し、最適化された製品定義、製造準備、生産およびサービスを推進する、動的な知識ベースの製品作成および意思決定支援を可能にする。

こうした文脈および他の文脈において、画像補完について多くの研究が行われている。画像補完とは、少なくとも１つの穴を有する画像を補完するためのアルゴリズムを指す。画像補完は画像修復を含み、これは、上記の少なくとも１つの穴が比較的小さい箇所における画像補完を指す。比較的大きな穴の画像補完は、画像修復よりも解決が難しい課題である可能性がある。実際、画像修復は補間に似ており、周囲の画素の値のみを外挿することができる。

画像補完は、異なる文脈において有用であり、これには、画像の一部が除去され、例えば、ユーザが除去された部分を埋める必要があるような、すべての画像修整アプリケーションが含まれる。これには、画像内のオブジェクトを移動させたり、または画像内のオブジェクトを別のものに置き換えたりするようなアプリケーションが含まれる。より一般的には、画像補完は、欠けているデータを埋める必要があり、データが連続した２Ｄ配列（マトリックス形式）、より一般的には連続したＮ次元配列として構成されるような、任意の状況において有用であり得る。

画像補完については、３つの既知のカテゴリを特定することができる。
Ａ．ＰＤＥベースの方法
Ｂ．統計ベースの方法
Ｃ．標本ベースの方法

Ａ．ＰＤＥベースの方法
ＰＤＥベースの方法は、ひび割れ、折り目、アーチファクト、あるいは反射のために穴が形成されることの多い画像を修復するのに初めて導入された。これらの方法では、残された空隙を、空隙の端部から情報を伝搬させることによって充填することを考える。この情報は、画素レベルで解かれる偏微分方程式を用いて伝搬させる。このような方程式には、熱方程式のような伝搬方程式が含まれる。これらの方法では、ディリクレ境界条件を設定したラプラスのＰＤＥを使用するか、異方性拡散処理をシミュレートすることが多い。純粋な拡散法では、ぼけた結果となるが、エッジを保存するように設計されたアルゴリズムもある。

ＰＤＥベースの方法の例は、以下の論文に見つけることができる。
・Ｂｅｒｔａｌｍｉｏ，Ｍａｒｃｅｌｏ，Ａｎｄｒｅａ Ｌ．Ｂｅｒｔｏｚｚｉ， ａｎｄ Ｇｕｉｌｌｅｒｍｏ Ｓａｐｉｒｏ．Ｎａｖｉｅｒ−ｓｔｏｋｅｓ，ｆｌｕｉｄ ｄｙｎａｍｉｃｓ，ａｎｄ ｉｍａｇｅ ａｎｄ ｖｉｄｅｏ ｉｎｐａｉｎｔｉｎｇ．ＣＶＰＲ．２００１
・Ｃｈａｎ，Ｔｏｎｙ Ｆ．，ａｎｄ Ｊｉａｎｈｏｎｇ Ｓｈｅｎ．Ｎｏｎｔｅｘｔｕｒｅ ｉｎｐａｉｎｔｉｎｇ ｂｙ ｃｕｒｖａｔｕｒｅ−ｄｒｉｖｅｎ ｄｉｆｆｕｓｉｏｎｓ．Ｊｏｕｒｎａｌ ｏｆ Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ａｎｄ Ｉｍａｇｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ．２００１
・Ａｕｒｏｕｘ，Ｄｉｄｉｅｒ，ａｎｄ Ｍｏｈａｍｅｄ Ｍａｓｍｏｕｄｉ．Ａ ｏｎｅ−ｓｈｏｔ ｉｎｐａｉｎｔｉｎｇ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｔｈｅ ｔｏｐｏｌｏｇｉｃａｌ ａｓｙｍｐｔｏｔｉｃ ａｎａｌｙｓｉｓ．Ｃｏｍｐｕｔａｔｉｏｎａｌ ＆ Ａｐｐｌｉｅｄ Ｍａｔｈｅｍａｔｉｃｓ．２００６
・Ｐｉｅｔｒｏ Ｐｅｒｏｎａ ａｎｄ Ｊｉｔｅｎｄｒａ Ｍａｌｉｋ．Ｓｃａｌｅ−ｓｐａｃｅ ａｎｄ ｅｄｇｅ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａｎｉｓｏｔｒｏｐｉｃ ｄｉｆｆｕｓｉｏｎ．ＩＥＥＥ Ｔｒａｎｓ．１９９０
・Ｉｖａｒｓ Ｐｅｔｅｒｓｏｎ．Ｆｉｌｌｉｎｇ ｉｎ ｂｌａｎｋｓ：Ａｕｔｏｍａｔｉｎｇ ｔｈｅ ｒｅｓｔｏｒａｔｉｏｎ ｏｆ ａ ｐｉｃｔｕｒｅ’ｓ ｍｉｓｓｉｎｇ ｐｉｅｃｅｓ．Ｓｃｉｅｎｃｅ Ｎｅｗｓ．２００２

Ｂ．統計ベースの方法
統計ベースの方法は、主に、テクスチャ（すなわち、画像における反復パターン）を合成する場合に用いられる。自然画像の多くは、テクスチャのパッチワークから形成される（例えば、草地にいる人物の写真の場合、草地はテクスチャとして見ることができる）。テクスチャは一見ランダムであり、テクスチャの合成は、目に快い程度のランダムさを達成することを目指す。これらの方法は、２つのステップからなる。
１）学習ステップ：テクスチャが入力されると、本方法では、関連する統計値をコンパクトなパラメトリック統計モデルを用いて抽出することによってそれを記述することを試みる。このコンパクトな統計モデルはウェーブレット係数に基づくことが多く、マルチスケール手法を組み合わせることができる。
２）拡散ステップ：テクスチャは内側に向かって成長し、未知の領域を補完する。統計ベースの方法では、一般に、画像内の構造を見つけることができる画像補完の問題については、画像の構造がランダムではないため失敗する。

統計ベースの方法の例は、以下の論文に見つけることができる。
・Ｐｏｒｔｉｌｌａ，Ｊａｖｉｅｒ，ａｎｄ Ｅｅｒｏ Ｐ．Ｓｉｍｏｎｃｅｌｌｉ．Ａ ｐａｒａｍｅｔｒｉｃ ｔｅｘｔｕｒｅ ｍｏｄｅｌ ｂａｓｅｄ ｏｎ ｊｏｉｎｔ ｓｔａｔｉｓｔｉｃｓ ｏｆ ｃｏｍｐｌｅｘ ｗａｖｅｌｅｔ ｃｏｅｆｆｉｃｉｅｎｔｓ．ＩＪＣＶ．２０００
・Ｈｅｅｇｅｒ，Ｄａｖｉｄ Ｊ．，ａｎｄ Ｊａｍｅｓ Ｒ．Ｂｅｒｇｅｎ．Ｐｙｒａｍｉｄ−ｂａｓｅｄ ｔｅｘｔｕｒｅ ａｎａｌｙｓｉｓ／ｓｙｎｔｈｅｓｉｓ．ＳＩＧＧＲＡＰＨ．１９９５
・Ｌｉ−Ｙｉ Ｗｅｉ ａｎｄ Ｍａｒｃ Ｌｅｖｏｙ．Ｆａｓｔ ｔｅｘｔｕｒｅ ｓｙｎｔｈｅｓｉｓ ｕｓｉｎｇ ｔｒｅｅ−ｓｔｒｕｃｔｕｒｅｄ ｖｅｃｔｏｒ ｑｕａｎｔｉｚａｔｉｏｎ．ＳＩＧＧＲＡＰＨ，ｐａｇｅｓ ４７９−４８８．２０００

Ｃ．標本ベースの方法
標本ベースの方法では、既存の画像パッチを用いて残された空隙を埋める。大まかに言えば、これは、画像の区画をコピーして空隙内に貼り付けることからなる。これらのパッチでどのように穴を埋めるかは、選択する方法によって異なる。標本ベースの方法の多くは、次の３つの分類のうちの１つに関連付けることができる。
１）内方拡散法：この最も初期の方法は、空隙を反復的に補完する。論文「Ｃｒｉｍｉｎｉｓｉ，Ｐeｒｅｚ，ａｎｄ Ｔｏｙａｍａ．Ｒｅｇｉｏｎ ｆｉｌｌｉｎｇ ａｎｄ ｏｂｊｅｃｔ ｒｅｍｏｖａｌ ｂｙ ｅｘｅｍｐｌａｒ−ｂａｓｅｄ ｉｍａｇｅ ｉｎｐａｉｎｔｉｎｇ．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ． ２００４」では、空隙は、外縁から内側に向かって小さなパッチで埋められ、いったん最初の外側の輪が埋められると、空隙が小さかったかのように、アルゴリズムが再開され、空隙が埋まり切るまで繰り返す。別の例を、論文「Ｘｉａｏｗｕ Ｃｈｅｎ，Ｂｉｎ Ｚｈｏｕ，Ｆａｎｇ Ｘｕ，ａｎｄ Ｑｉｎｐｉｎｇ Ｚｈａｏ．Ａｕｔｏｍａｔｉｃ ｉｍａｇｅ ｃｏｍｐｌｅｔｉｏｎ ｗｉｔｈ ｓｔｒｕｃｔｕｒｅ ｐｒｏｐａｇａｔｉｏｎ ａｎｄ ｔｅｘｔｕｒｅ ｓｙｎｔｈｅｓｉｓ．２０１０」に見つけることができる。残念ながら、これらのアルゴリズムでは、中心部の補完が不可能になるような縁を選択したがために止まってしまうということが多い。
２）マッチングベースの方法：これらの方法は、テクスチャモデルに関連することが多く、パッチ再注入を用いる。これらの方法では、未知の領域のパッチを既知のパッチ（抽出された集合のうち最も近いパッチとされることが多い）で置き換えることによって、現在の充填物の改善を繰り返し試みる。論文「Ｄｒｏｒｉ，Ｉｄｄｏ，Ｄａｎｉｅｌ Ｃｏｈｅｎ−Ｏｒ，ａｎｄ Ｈｅｚｙ Ｙｅｓｈｕｒｕｎ．Ｆｒａｇｍｅｎｔ−ｂａｓｅｄ ｉｍａｇｅ ｃｏｍｐｌｅｔｉｏｎ．ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ．２００３」では、空隙を１つの画像パッチだけで埋めることができる小さな穴とみなせるような小規模なところから始めて、前の画像からフル解像度まで規模を大きくしていき、前の解像度で作られた充填物にマッチするようなパッチを見つけることによって、空隙を埋める。同様の手法を、論文「Ａｌｅｘｅｉ Ａ．Ｅｆｒｏｓ ａｎｄ Ｔｈｏｍａｓ Ｋ．Ｌｅｕｎｇ．Ｔｅｘｔｕｒｅ ｓｙｎｔｈｅｓｉｓ ｂｙ ｎｏｎ−ｐａｒａｍｅｔｒｉｃ ｓａｍｐｌｉｎｇ．ＩＣＣＶ，ｐａｇｅｓ １０３３−１０３８．１９９９」および論文「Ｙｏｎａｔａｎ Ｗｅｘｌｅｒ，Ｅｌｉ Ｓｈｅｃｈｔｍａｎ，ａｎｄ Ｍｉｃｈａｌ Ｉｒａｎｉ．Ｓｐａｃｅ−ｔｉｍｅ ｖｉｄｅｏ ｃｏｍｐｌｅｔｉｏｎ．ＣＶＰＲ（１），ｐａｇｅｓ １２０−１２７．２００４」に見つけることができる。これらの方法にも、重大な欠陥がある。すなわち、繰り返し中に、もし１つのステップが失敗すると、結果が完全にオフになってしまう。よって、画像の幻像部分が空隙中にコピーされ、現実的ではない画像が得られることになる。
３）統計的オフセット解析法：これらの方法では、統計モデルを通じて画像中の主な変位を学習し、この知識を用いて欠損部分を埋める。この種の方法の例は、論文「Ｋａｉｍｉｎｇ Ｈｅ ａｎｄ Ｊｉａｎ Ｓｕｎ．Ｃｏｍｐｕｔｉｎｇ ｎｅａｒｅｓｔ−ｎｅｉｇｈｂｏｒ ｆｉｅｌｄｓ ｖｉａ ｐｒｏｐａｇａｔｉｏｎ−ａｓｓｉｓｔｅｄ ｋｄ−ｔｒｅｅｓ．ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．２０１２」および論文「Ｋａｉｍｉｎｇ Ｈｅ ａｎｄ Ｊｉａｎ Ｓｕｎ．Ｓｔａｔｉｓｔｉｃｓ ｏｆ ｐａｔｃｈ ｏｆｆｓｅｔｓ ｆｏｒ ｉｍａｇｅ ｃｏｍｐｌｅｔｉｏｎ．Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ−ＥＣＣＶ．２０１２」に見つけることができる。これらの方法は、画像が構造的な規則性を含む場合には正常に機能するが（例えば建築物の画像など）、一般的な画像では大きく失敗することが多い。

標本ベースの手法の有名な例は、論文「Ｃｏｎｎｅｌｌｙ Ｂａｒｎｅｓ，Ｅｌｉ Ｓｈｅｃｈｔｍａｎ，Ａｄａｍ Ｆｉｎｋｅｌｓｔｅｉｎ，ａｎｄ Ｄａｎ Ｂ．Ｇｏｌｄｍａｎ． Ｐａｔｃｈ−ｍａｔｃｈ：ａ ｒａｎｄｏｍｉｚｅｄ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｓｔｒｕｃｔｕｒａｌ ｉｍａｇｅ ｅｄｉｔｉｎｇ．ＡＣＭ Ｔｒａｎｓ．Ｇｒａｐｈ．，２８（３），２００９」に開示されているＰａｔｃｈ−Ｍａｔｃｈと呼ばれるアルゴリズムである。このアルゴリズムは、Ａｄｏｂｅ Ｐｈｏｔｏｓｈｏｐ^TM Ｃｏｎｔｅｎｔ Ｆｉｌｌ Ａｗａｒｅで用いられたことにより、広く普及している。実際には、このヒューリスティックは実装が簡単であるものの、堅牢ではない。

このような文脈において、少なくとも１つの穴を有する画像を補完するための改善された方法が依然として必要とされている。

したがって、少なくとも１つの穴を有する画像を補完するための、コンピュータにより実施される方法が提供される。本方法は、画像における既知の部分を表すアトムの辞書を提供することを含む。本方法はまた、ノードおよびラベルを有するマルコフ確率場上に定義されたエネルギーの少なくとも１回の最小化を含む処理を用いてアトムの線形結合の最適な分布を決定することであって、各ノードは穴の各位置に対応し各ラベルに関連付けられるような、決定することを含む。本方法はまた、最適な分布で穴を埋めることを含む。

本方法は、以下の１つまたは複数を含んでいてもよい。
・各ラベルは、好ましくは５００個未満、２００個未満、１５０個未満、あるいは１００個未満の値を含む値の有限集合のうちの値をとる；
・前記処理は、前記少なくとも１回の最小化の結果を用いて初期化され、かつ、前記画像の既知の部分から抽出したパッチに基づく、マッチングベースのアルゴリズムを含む；
・前記決定では、トップダウン手法を実施する。
・エネルギーの前記少なくとも１回の最小化は、第１の最小化であって、当該第１の最小化についての前記マルコフ確率場の各ラベルがアトムの辞書における値をとるような、第１の最小化と、次いで、第２の最小化であって、当該第２の最小化についての前記マルコフ確率場の各ラベルが所定の係数の集合における値をとるような、第２の最小化とを含む；
・前記所定の係数の集合は、前記画像の既知の部分のパッチを生成するための前記アトムに適用される係数の集合のＫ平均クラスタリングに由来する；
・前記第１の最小化についてのエネルギーは、測光歪みおよび／または統計的歪みにペナルティを課し、かつ／あるいは、前記第２の最小化についてのエネルギーは、測光歪みおよび／または統計的歪みにペナルティを課す；
・前記第１の最小化は、前記穴の縁に合致しない程度についてさらにペナルティを課す；
・本方法はさらに、次いで、第３の最小化であって、当該第３の最小化についての前記マルコフ確率場の各ラベルが前記アトムの辞書における値をとるような、第３の最小化と、次いで、第４の最小化であって、当該第４の最小化についての前記マルコフ確率場の各ラベルが前記所定の係数の集合における値をとるような、第４の最小化とを含む；
・前記第３の最小化についてのエネルギーは、統計的歪みにペナルティを課し、かつ／あるいは、前記第４の最小化についてのエネルギーは、統計的歪みにペナルティを課す；
・前記画像はビデオのフレームである；かつ／あるいは、
・前記ビデオはさらに、前記画像の前に１つまたは複数の他の画像を含み、前記方法はさらに、前記１つまたは複数の他の画像に基づき前記アトムの辞書を決定することを含む。

さらには、前記方法を実行するための命令を含むコンピュータプログラムが提供される。

さらには、前記コンピュータプログラムを記録したコンピュータ読み取り可能記憶媒体が提供される。

さらには、前記コンピュータプログラムを記録したメモリに接続されたプロセッサとグラフィカル・ユーザ・インターフェースを備えるシステムが提供される。
以下、非限定的な例として、本発明の実施の形態を添付の図面を参照しつつ説明する。

本方法を例示したフローチャート。 本システムの一例。 本方法の一例のフローチャート。 本方法により行ったテストの例示。 本方法により行ったテストの例示。 本方法により行ったテストの例示。 本方法により行ったテストの例示。 本方法により行ったテストの例示。

図１は、少なくとも１つの穴を有する画像を補完するための、コンピュータにより実施される方法を示す。本方法は、画像における既知の部分を表すアトムの辞書を提供すること（Ｓ１０）を含む。本方法はまた、アトムの線形結合の最適な分布を決定すること（Ｓ２０）を含む。決定（Ｓ２０）は、ノードおよびラベルを有するマルコフ確率場上に定義されたエネルギーの、少なくとも１回の最小化を含む処理により実行される。各ノードは、穴の各位置に対応し、各ラベルに関連付けられる。本方法はまた、最適な分布で穴を埋めること（Ｓ３０）を含む。このような方法は、画像補完の分野を改善する。

特に、従来の画像補完手法と比較して、本方法は、比較的短い演算時間で、比較的少ない費用と処理リソースを用い、穴が比較的大きい状況を含む比較的多くの状況において、比較的高品質の結果（例えば、非常に現実的な結果）に到達することを可能にする。

この方法では、Ｓ３０で画像の穴を埋め、それにより完全な画像を得ることができる。要素の任意の集合ではなく、画像の既知の部分を具体的に表すアトムの辞書をＳ１０で提供することにより、埋めること（Ｓ３０）では、とりわけ現実的な画像の補完が可能になる。結果は、特に、比較的リッチであり（例えば、穴の輪郭のみの代わりに、例えば画像の既知の部分全体に含まれる情報を統合する）、かつ／あるいは、含まれるアーチファクトや、ぼけや、唐突なテクスチャ形状（例えば、穴の代わりに局所化される）が比較的少ない。また、具体的な辞書を提供すること（Ｓ１０）のおかげで、最適な分布の決定（Ｓ２０）の基礎は比較的小さくてもよく、かつ／または、アトムの線形結合が比較的疎であってもよい。これにより、比較的速く収束し、かつ／あるいは、ほぼ真の最適値に到達することが可能になり、したがって、（例えば、最適な分布の決定（Ｓ２０）において剪定を行うことなく）最も妥当な結果がもたらされる。さらに、Ｓ１０においてそのような辞書を提供することにより、具体的に、堅牢で収束するのが比較的速いことが知られているマルコフ確率場（ＭＲＦ）のエネルギー最小化を、Ｓ２０で用いることが可能になる。

画像は、例えば連続したＮＤ配列（すなわち、Ｎ次元配列、ここでＮは任意の正の整数、例えば２）からなる任意のデータ構造であり、配列の各位置は「画素」と呼ばれ、（例えば同じ）物理的信号の値に関連付けられていてもよい。画像は、特に、写真、すなわち画素が色を表す値に関連付けられた２Ｄ配列（例えば、物理的信号値が、ＲＧＢ値であり、かつ／あるいは、階調値である）であってもよい。画像は、自然画像、すなわち、センサによって取得された画像（例えば、現実のシーン、および／または、１つまたは複数の現実の物体上の画像）、人工画像（例えば、合成画像）、または、１つまたは複数の自然画像と１つまたは複数の仮想画像との組み合わせ、および／または、重ね合わせであってもよい。画像は、数値写真（ｎｕｍｅｒｉｃ ｐｈｏｔｏｇｒａｐｈ）のような自然画像であってもよい。あるいは、画像は、奥行き画像、赤外線画像、または、自然画像、人工画像、奥行き画像、および／または、赤外線画像の、任意の組み合わせであってもよい。

画像は、１つまたは複数の穴を含む。穴は、配列における連続した（例えば複数の）位置の集合であり、これらは物理的信号値とは関連付けられておらず、よって値が関連付けられるか、あるいは、既に物理的信号値が関連付けられているが代わりの物理的信号値が割り当てられる（例えば、現在の値が壊れているか、除去される物体に関連付けられているため）。本方法では、Ｓ２０において、当該割り当て値を決定する。こうした割り当ては、本方法における充填（Ｓ３０）で実行される。このようにして、充填（Ｓ３０）では、穴に対して画像の補完を行う。

当該画像補完は、例えば、画像の一部が除去されており、例えばユーザが、除去された部分を埋める必要があるような、画像修整アプリケーションで実施されてもよい。当該画像補完は、画像内のオブジェクトを移動させたり、または画像内のオブジェクトを別のものに置き換えたりするようなアプリケーションで実施されてもよい。当該画像補完は、また、画像（例えばビデオのピクチャフレームとして）を含むビデオ（すなわち、ピクチャフレームの時間シーケンス）を補完するために実施されてもよい。

ビデオ補完の場合、ビデオは、補完された画像の前に、１つまたは複数の他の画像（言い換えれば、充填（Ｓ３０）で補間されたピクチャフレームよりも時間シーケンスにおいて前に来る１つまたは複数のピクチャフレーム）を含んでいてもよい。このような場合、本方法は、当該１つまたは複数の前の画像に基づいて（例えば、それらの画像だけに基づいて）アトムの辞書を決定することを含んでいてもよい。ビデオは時間的に連続するキャプションに由来していてもよい。このような場合、アトムの辞書は、次の画像を表してもよく、したがって、そのような次の画像の補完に効率的に用いることができる。これにより、あらかじめ辞書を決定することが可能になり、よって、来たる補完を、高速に、例えばビデオが再生されるときにリアルタイムで（すなわち、バッファリングを全く行わずに）実行することができる一例において、辞書は、１つまたは複数の初期画像フレームに基づいて、ビデオ全体について１回だけ決定されてもよい。あるいは、辞書は継続的に更新されてもよい。これにより時間経過に伴う環境の変化を考慮することが可能になる。すべての場合において、図１の方法は異なるフレームについて繰り返されてもよい。

アトムは辞書の要素であるパッチである。パッチは、画像と同じ性質のデータ構造であるが、サイズはそれより小さい。したがって、パッチは「画像パッチ」と呼ばれることがある。画像パッチは、２Ｄ画像用の小さな矩形（例えば、正方形）の画素として定義することができる。パッチは、各次元において２０画素未満、１６画素未満、１５画素未満、または１０画素未満であってもよく、あるいは１つの次元においてこれらの値未満であってもよく、かつ／あるいは、１つの次元またはそれ以上の次元において２０画素未満、１６画素未満、１５画素未満、または１０画素未満であってもよい。パッチは、１つの次元で４画素より大きいか、６画素より大きくてもよく、かつ／あるいは、別の次元において４画素より大きいか、または６画素より大きくてもよい。画像パッチは、例えば常に、例えば８×８画素のサイズであってもよい。

アトムの線形結合は、１つまたは複数の、例えば同じ方向を有するアトムの（代数的意味における）線形結合から生じるパッチである。すなわち、各画素座標について、前記画素座標の前記１つまたは複数のアトムの物理的信号の値が、（線形結合によって）線形的に結合される。したがって、アトムの線形結合は、線形結合に関与するアトムと同じサイズを有していてもよい。Ｓ１０で提供されるアトムの辞書は、同一の、所定のサイズ（すなわち、上述のとおり、画像のサイズより小さい固定サイズ）のアトムからなっていてもよい。線形結合は、例えば、決定（Ｓ２０）におけるパラメータに応じて、特に、少なくとも１回の最小化が行われる方法に応じて、固定数の、または可変数のアトムを含んでいてもよい。線形結合は、（例えば、すべて）１つのアトムだけを含んでいてもよい。そのような場合、線形結合は、アトムを正または負の（非ゼロの）スカラで乗算することに相当してもよい。あるいは、少なくとも１つの線形結合（例えば、すべての線形結合）は、厳密に２つ以上のアトム（例えば、正確に２つのアトム）を含んでいてもよい。線形結合は、すべて同一で共通の数のアトムを含んでいてもよい。いずれの場合も、アトムの線形結合はパッチを形成し、したがって画像を局所的に修正する（すなわち、物理的な信号値を生成または置換する）ように画像の位置に割り当てることができる。

アトムの線形結合の分布は、（例えば複数の）アトムの線型結合の集合であり、アトムの線形結合のそれぞれは、他のアトムの線形結合を基準に空間的に配置される。よってアトムの線形結合の分布はパッチの空間分布を形成し、したがって画像を修正するように画像の位置に割り当てることができる。これらの位置は、ＭＲＦノードに対応していてもよい。空間分布は、特に、穴のジオメトリに対応してもよく、（例えば、少なくとも実質的に）例えば穴を覆ってもよい。したがって、分布を用いて穴を埋めることは、穴の上に分布を配置する／重ねること、および分布の画素の物理的信号値（例えば、色）を穴の対応する画素に割り当てることを含んでいてもよい。

分布におけるパッチの画素が共に重なり合う場合（すなわち、画素が充填（Ｓ３０）の際に重ねられる）、結果として得られる画素について保持された物理的信号の値は、重なり合う画素のそれぞれについての画素の物理的信号の値を加算したもの、あるいはその平均に対応してもよい。分布のパッチは、特に、それぞれ、隣接するパッチの同じサイズのバンドと重なる画素のバンド（例えば８×８画素のパッチの場合、例えば幅４）を有していてもよい。分布におけるパッチの画素が穴の外の画像の画素に重なる場合、結果として得られる画素について保持された物理的信号の値は、重なり合う画素のそれぞれについての画素の物理的信号の値を加算したもの、あるいはその平均、または、画像の画素を分布のパッチの画素で置き換えたものに対応してもよい。そのような重なりは、いずれの場合も、所定の規則に従って処理されてもよい。前記所定の規則は、各ＭＲＦエネルギーの定式化において考慮されてもよい。

１つまたは複数の穴のうちの少なくとも１つが大きくてもよい。大きな穴は、単一のパッチやアトム、またはアトムの線形結合では完全にカバーすることができない穴として定義することができる。この穴は、例えば、画像から除去されるべき前景オブジェクトに対応していてもよい。実際、画像の補完の例には、ピクチャ内の大きな前景オブジェクトを除去し、残された空隙を埋めることが含まれる。反対に、画像修復を、画像上の小さな構造の補完として定義することができる。画像修復では、構造物は、典型的には、単一の重なり合うパッチで充填することができる。画像修復の例には、ピクチャ上のテキストを除去し、残された空隙を埋めることが含まれる。図１の方法は、どちらの場合にも適用することができる。特に、図１の方法では、穴が大きい場合でも、効率的に適用する（すなわち、良好な結果を速やかに提供する）ことができる。この穴は、例えば画像の穴のサイズの１０％より大きく、例えば画像の穴のサイズの１／４の大きさであってもよい。

ここで、Ｓ１０で提供されるアトムの辞書について説明する。

辞書は、「アトム」と呼ばれる要素の集合であり、辞書は所与のデータセットを表す。所与のデータセットは、図１の方法の場合、画像の既知の部分であり、これは画像の穴の外側の部分である。「画像の既知の部分を表す」とは、辞書の少なくとも１つのアトムと同じサイズの所与の既知の部分の（例えば実質的に）それぞれについて、当該所与のパッチに少なくとも類似したパッチが結果として得られるような上記サイズを有するアトムの線型結合が存在することを意味する。Ｓ１０で与えられる辞書のアトムは、すべて同じ所与のサイズを有していてもよい。このような場合、「画像の既知の部分を表す」とは、上記所与の同じサイズを有する所与の既知の部分の（例えば実質的に）それぞれについて、当該所与のパッチに少なくとも類似したパッチが結果として得られるようなアトムの線型結合が存在することを意味する。同じサイズの２つのパッチは、当該２つのパッチが所定のパッチ距離に対して少なくとも互いに近接する場合に「少なくとも類似している」と言われる。所定のパッチ距離は、２つの画像間の任意の距離であり、例えば測光歪みであってもよい。「互いに接近する」とは、２つの画像間の距離が所定の（例えば、比較的低い）閾値を下回ることを意味する。閾値は、２つのパッチ内の画素数についての増加関数であってもよい。

ここで、辞書がそのような集合でなく、辞書の少なくとも１つのアトムと同じサイズの所与の既知の部分の（例えば実質的に）それぞれについて、当該所与のパッチに少なくとも類似したパッチが結果として得られるような上記サイズを有するアトムの疎な線型結合が存在することを特に保証するようなものである。「アトムの疎な線形結合」とは、線形結合に関与するアトムの数が少なく、例えば常に１５より小さいか、常に１０より小さいか、または常に５より小さいことを意味する。また、辞書は、比較的小さなサイズの集合であってもよい。

一例において、辞書は、画像の既知の部分からそのように抽出されたパッチの集合（例えば、画像の既知の部分のパッチの数の５％を超え、例えば１０％程度）を含んでいてもよい。辞書は、例えば以下を含むか、あるいは以下からなっていてもよい：
・画像の既知の部分における規則的な場所で抽出されたパッチ；
・画像の既知の部分における関心のある場所で抽出されたパッチ（例えば、Ｈａｒｒｉｓの検出器を含む、そのような関心のある場所についての１つまたは複数の検出器を使用する）；
・画像の既知の部分に対して操作した統計モデルから抽出されたパッチ（例えば、画像が異なるテクスチャをわずかしか含まない場合）；および／または
・画像の既知の部分から抽出されたパッチの密な集合。

あるいは、または追加的に、辞書は、辞書学習によって得たパッチを含む集合であってもよい。したがって、アトムの辞書は、辞書学習したパッチの集合を含むか、それからなっていてもよい。

辞書学習の概念は、少なくとも論文「Ｅｌａｄ Ｍ， Ａｈａｒｏｎ Ｍ．Ｋ−ｓｖｄ：Ａｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｄｅｓｉｇｎｉｎｇ ｏｖｅｒｃｏｍｐｌｅｔｅ ｄｉｃｔｉｏｎａｒｉｅｓ ｆｏｒ ｓｐａｒｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ．２００６」以来知られている。辞書学習は、形式的には、ウェーブレット理論を画像パッチに適用して拡張したものである。ウェーブレット理論では、ウェーブレットからなるベクトルベースで画像パッチを分解することができる。従って、画像パッチは、ウェーブレットの線形結合として表すことができる。画像パッチのウェーブレット基底は、画像パッチ内の画素と同じ数の基底ベクトルから構成される。このような基底に基づき画像パッチを分解することは興味深い。なぜなら、ほとんどのウェーブレット係数はゼロまたはゼロに近く、良好な圧縮率が実現できるからである。ほとんどの係数をゼロにするか、またはゼロに近づけることが、疎な分解の定義である。

辞書学習は、例えば、「辞書」と呼ばれる過完備族（すなわち、画像パッチ内の画素よりも例えばはるかに多くのベクトルが存在する集合）上の画像パッチを分解することによって、この理論をさらに進歩させる。次元ｎの空間内におけるｋ個のベクトルの集合は、ｋ個のベクトルが空間全体を生成し、ｋ＞ｎであるときに、過完備であると言われる。言い換えると、集合は厳密に、ベクトル基底を含む一例において、ｋはｎよりはるかに大きく、例えばｋ≧２ｎである。この分解は、辞書作成処理で実施されるため、設計によって疎となる。

辞書学習の目的は、全ての画像パッチについて疎な表現ｘを見つけることができるような辞書を見つけることである。ｘの疎らさの程度と分解の精度との間のトレードオフは、異なる方法で表現することができる。文献では、しばしば以下の最小化問題（いずれも図１の方法によって実施することができる）を見つけることができる：
１．
のとき
を最小化。
２．
のとき
を最小化。
３．（
のとき）
を最小化。

ここでＴ、Ｍ、およびλは、疎さの程度を制御するパラメータである。

上記の問題を解決するためのアルゴリズムはそれ自体知られており、概説を、論文「Ｍａｉｒａｌ，Ｊｕｌｉｅｎ，Ｆｒａｎｃｉｓ Ｂａｃｈ，ａｎｄ Ｊｅａｎ Ｐｏｎｃｅ．Ｓｐａｒｓｅ ｍｏｄｅｌｉｎｇ ｆｏｒ ｉｍａｇｅ ａｎｄ ｖｉｓｉｏｎ ｐｒｏｃｅｓｓｉｎｇ．２０１４」に見つけることができる（なお、概説におけるアルゴリズムは、いずれも図１の方法によって実施できる）。

この表現では、ｘは、その非ゼロ係数が、信号ｙの説明に関与する辞書の列（すなわちアトム）に対応する疎ベクトルである。これらの係数の値はアトム間の混合率を定量化する。なお、本方法は、論文「Ｒｏｄｏｌｐｈｅ Ｊｅｎａｔｔｏｎ，Ｊｕｌｉｅｎ Ｍａｉｒａｌ，Ｇｕｉｌｌａｕｍｅ Ｏｂｏｚｉｎｓｋｉ，ａｎｄ Ｆｒａｎｃｉｓ Ｂａｃｈ．Ｐｒｏｘｉｍａｌ ｍｅｔｈｏｄｓ ｆｏｒ ｈｉｅｒａｒｃｈｉｃａｌ ｓｐａｒｓｅ ｃｏｄｉｎｇ．Ｊｏｕｒｎａｌ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ． ２０１１」に示されるように、（非ゼロの係数を得た）選択されたアトムの選択において何らかの構造を実施してもよい。

辞書を効果的に学習することは、画像または画像の集合のパッチを最もよく表すアトムの集合を学習することであり、それらを線型的に結合させると、画像の再構成が可能になる。図１の方法は、この事実を利用することにより、画像から内容をコピーすることなしに（この手法は、望ましくないアーチファクトを生み出し、よって本物らしくない結果につながる）、関連する欠落部分を作り出すことができる。

Ｓ１０で提供される辞書は、図１の方法を実行するときに上記に従って例えばその場で（例えば、少なくとも部分的に）学習した辞書、および／または、（例えば部分的に）予め学習した辞書を含むか、または、それからなっていてもよい。その場で学習する場合、提供すること（Ｓ１０）は、辞書を学習することを含んでいてもよい。辞書学習が実行されるデータベースは、辞書を得るのに適切な任意の適切なパッチのデータベースであってもよい。データベースは、画像の既知の部分から抽出されたパッチの集合（以前に提供されたそのような抽出されたパッチの集合の任意の例など）、および／または、画像の既知の部分に類似したパッチの集合を含むか、または、それからなっていてもよい。

一例において、辞書は、そのようなデータベースに基づき、以下を含むか、または以下からなっていてもよい：
・Ｋ平均クラスタリングの結果として得られるパッチの集合；
・階層的Ｋ平均クラスタリングの結果として得られるパッチの集合；
・Ｋ−ＳＶＤアルゴリズムの結果として得られるパッチの集合；
・アーキタイプ分析（Ａｒｃｈｅｔｙｐａｌ Ａｎａｌｙｓｉｓ）の結果として得られるパッチの集合（例えば論文「Ａ．Ｃｕｔｌｅｒ ａｎｄ Ｌ．Ｂｒｅｉｍａｎ．Ａｒｃｈｅｔｙｐａｌ ａｎａｌｙｓｉｓ．Ｔｅｃｈｎｏｍｅｔｒｉｃｓ，３６（４）：３３８−３４７，１９９４」に開示）；および／または、
・フーリエ分解の結果として得られるパッチの集合。

したがって、学習は、そのような既知の辞書学習処理に相当してもよい。

画像の既知の部分に類似したパッチの集合は、画像の既知の部分と同じ性質の画像のデータベースから抽出してもよい。例えば、画像が建築物（あるいは内装、あるいはビーチ）の画像である場合、画像のデータベースは、建築物（あるいは内装、あるいはビーチ）の画像のデータベースである。一例では、本方法は、ラベル付き画像（ＩｍａｇｅＮｅｔなど）の非常に大きなデータベースに基づいていてもよい。このような場合、本方法は、入力画像のラベル付けまたは分類、およびデータベース内の同じラベルまたはクラスを有するデータベースの画像に由来するパッチに関する辞書学習を含んでいてもよい。ディープラーニングのように、ラベル付けまたは分類のための異なる既存の方法が知られており、図１の方法によって実施することができる。

ここで、決定（Ｓ２０）について説明する。

決定（Ｓ２０）は、Ｓ１０で提供される辞書に基づいており、各ＭＲＦエネルギーの少なくとも１回の最小化を含む。広く知られているように、ＭＲＦエネルギーはノードのグラフ上に定義され、ノードは「ラベル」と呼ばれる異なる値を取ることができる。エネルギーの最小化（すなわち、エネルギーに対応する尤度の最大化を含むそのような最小化に相当する任意の最適化アルゴリズム）は、ＭＲＦエネルギーに関与する１つまたは複数の基準に関して最適条件を提供する。ＭＲＦエネルギーは、そのような１つまたは複数の基準に、（例えば、それぞれが各基準に対応するペナルティ条件または「コスト」を用いて）ペナルティを課す。

図１の方法の場合、グラフは、各ノードが穴の各位置に対応し、各ラベルに関連付けられるように構成される。各ＭＲＨエネルギーの最小化が２回以上実行される場合、エネルギーのグラフは同じ構造（すなわち、同じノード、すなわち同じ穴の位置）を有していてもよい。ＭＲＦエネルギーの基礎をなすグラフは、例えば、穴を覆う（例えば、規則的な）グリッドを形成してもよい。グリッドは、（例えば、上述したように）線形結合が空間的に重複するようなものであってもよい。これにより、画像に強いエッジが生成され、高品質の結果が得られる。

ここで、明確化のため、広く知られているグラフのラベル付けの概念について説明する。

グラフは、ノードとエッジからなる数学的オブジェクトである。グラフのラベル付けの問題は、グラフの各ノードにラベルを割り当てる問題である。各ノードは、ラベルの所定の集合の中から選択することができ、そのような選択は、ルールの集合に従って行うことができる。グラフのエッジは、ノードのペア、またはクリーク（完全に接続されたノードの集合）にルールを適用することによって、ノードのラベル選択に影響を与えてもよい。

ここでマルコフ確率場について説明する。

マルコフ確率場（ＭＲＦ）は、ランダム変数の集合が所定のラベルの集合における値を取ることができる統計モデルである。これらのモデルは、異なる変数の部分集合間における同時確率を、同時に符号化することを目的としている。図１の方法は、特に次のように説明することができる２次のＭＲＦを考慮してもよい。
・基礎をなす無向グラフ（Ｖ，Ｅ）に関して、Ｖ＝（ｖ₁，・・・，ｖ_n）はグラフの頂点の集合であり、各ノードｖ_iは変数Ｖ_iに対応し、Ｅは、グラフの双方向エッジの集合である。
・各変数Ｖ_iは、ラベルの有限集合｛１，・・・，Ｌ_i｝における値のみをとることができる。
・同時確率ｐ（Ｖ₁＝ｌ₁，・・・，Ｖ_n＝ｌ_n）は、以下のように書き表すことができる。
ここで、関数
は単項に対応し、関数
はバイナリ項に対応する。

文献および実践において、ＭＲＦの解法は対数尤度と反対の働きをすることが多い。このような方法は、−ｌｏｇ変換を用いてラベルごとにコスト（エネルギーとも呼ばれる）を導出する。
関数Ｕ_iは単項に対応し、Ｂ_i,jはバイナリ項に対応する。

ここでラベル付けの問題について説明する。

そのようなＭＲＦが与えられたとき、本方法は、エネルギーＥ（ｌ₁，・・・，ｌ_n）が最小化される（このエネルギーを最小化することにより、上式の尤度が最大になる）ような割り当て（Ｖ₁＝ｌ₁，・・・，Ｖ_n＝ｌ_n）を探すという問題を考慮することに相当してもよい。

なお、この最小化がＮＰ困難であることが知られていることが重要である。しかし、ＭＲＦは、１９８０年代から広く研究されてきており、いくつかのヒューリスティックアルゴリズムは、例えば、論文「Ｋｏｌｍｏｇｏｒｏｖ，Ｖ．Ｃｏｎｖｅｒｇｅｎｔ ｔｒｅｅ−ｒｅｗｅｉｇｈｔｅｄ ｍｅｓｓａｇｅ ｐａｓｓｉｎｇ ｆｏｒ ｅｎｅｒｇｙ ｍｉｎｉｍｉｚａｔｉｏｎ．Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ＩＥＥＥ ２００６」に記載されているＴｒｅｅ ＲｅＷｅｉｇｈｔｅｄ Ｍｅｓｓａｇｅ Ｐａｓｓｉｎｇのように、非常に良好な結果をもたらしており、本方法でこれを実施してもよい。

さらに、各ラベルが値の有限集合のうちの値をとるように、最小化が実行されてもよい。そのような場合、従来技術から離散的なマルコフ確率場（ＭＲＦ）のオプティマイザが収束することが知られており、そのような任意のアルゴリズムが、任意のＭＲＦエネルギー最小化のための方法によって実施されてもよい。

例えば、以下の文献に記載されている任意のＭＲＦ解法を実施してもよい：
・Ｊ．Ｋａｐｐｅｓ ｅｔ ａｌ，Ａ Ｃｏｍｐａｒａｔｉｖｅ Ｓｔｕｄｙ ｏｆ Ｍｏｄｅｒｎ Ｉｎｆｅｒｅｎｃｅ Ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ Ｄｉｓｃｒｅｔｅ Ｍｉｎｉｍｉｚａｔｉｏｎ Ｐｒｏｂｌｅｍｓ， ｉｎ ＣＶＰＲ ２０１３。
・Ｃｏｎｖｅｘ Ｒｅｌａｘａｔｉｏｎ ＭＲＦ解法（例えばＬｉｎｅａｒ Ｐｒｏｇｒａｍｍｉｎｇ（Ｓｃｈｌｅｓｉｎｇｅｒ １９７６），Ｓｅｍｉｄｅｆｉｎｉｔｅ Ｐｒｏｇｒａｍｍｉｎｇ（Ｌａｓｓｅｒｒｅ ２０００）、あるいはＳｅｃｏｎｄ−Ｏｒｄｅｒ Ｃｏｎｅ Ｐｒｏｇｒａｍｍｉｎｇ（Ｍｕｒａｍａｔｓｕ ａｎｄ Ｓｕｚｕｋｉ，２００３））。
ＬｉｎｅａｒＰｒｏｇｒａｍｍｉｎｇＲｅｌａｘａｔｉｏｎＭＲＦ解法の二重化（例えばＴｒｅｅ Ｒｅｗｅｉｇｈｔｅｄ Ｍｅｓｓａｇｅ Ｐａｓｓｉｎｇ，Ｄｕａｌ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）。
・Ｇｒａｐｈ Ｃｕｔ ＭＲＦ解法 （例えばＡｌｐｈａ Ｅｘｐａｎｓｉｏｎ，Ａｌｐｈａ−Ｂｅｔａ Ｓｗａｐ，ＦａｓｔＰＤ）。
・Ｂｅｌｉｅｆ Ｐｒｏｐａｇａｔｉｏｎ ＭＲＦ解法（例えばＬｏｏｐｙ Ｂｅｌｉｅｆ Ｐｒｏｐａｇａｔｉｏｎ，Ｇｅｎｅｒａｌｉｚｅｄ Ｂｅｌｉｅｆ Ｐｒｏｐａｇａｔｉｏｎ）。

特に、ＭＲＦエネルギー最小化は、各ラベルが、５００個未満、２００個未満、１５０個未満、あるいは１００個未満の値を含む値の有限集合のうちの値をとるように構成されてもよい。そのような場合、（１回または複数回の）最小化は、特に高速になる。

図１の方法は、各ＭＲＦエネルギーの少なくとも１回の最小化を含む。前記少なくとも１つの最小化は、ちょうど１つの最小化（すなわち、１つのＭＲＦのみが定義され、ラベルは、最適な分布に関与し得る辞書のアトムの、あり得るすべての線形結合に対応する）からなっていてもよい。

あるいは、図１の方法は、トップダウン手法を実施してもよい。「トップダウン手法を実施する」とは、本方法が、例えばいくつかの連続したＭＲＦエネルギー最小化など、別個のＭＲＦ最小化（それぞれ、各ＭＲＦエネルギーに対応する）を含み、すべての最小化の結果（すなわち最適値）を組み合わせてアトム線形結合の最適分布を提供することを意味する。言い換えれば、各最小化は、最終結果（すなわち、アトム線形結合の最適分布）のそれぞれの（例えば、所定の）部分を提供する。

例えば、最小化は最適なアトムを検索し、別の最小化は最適な係数を検索する。追加的または代替的に、最小化は、決定されるべき最適な線形結合における第１のメンバー（アトムおよび／または係数）を検索し、別の最小化が第２のメンバー（アトムおよび／または係数）を検索する。

そのような場合、辞書は、最小化のＭＲＦスキームの構造、例えば階層化された構造を想定して編成されてもよい。辞書のアトムは、それぞれの最小化用に準備されるか、または割り当てられてもよい。これにより、ＭＲＦの最小化をより速く実行することができる。なぜなら、探索される変数の集合が（的を絞られているために）縮小されているからである。

このようなトップダウン手法は、最初の複雑な問題を一連のより小さな問題に分割することを可能にする。各最小化は比較的容易であり、よって決定（Ｓ２０）は全体的に高速である。しかし、問題の分割が、最終的に出力される最適値の質に与える影響は、比較的小さい。

本方法は、コンピュータにより実施される。すなわち、本方法のステップ（あるいは略全てのステップ）が少なくとも１つのコンピュータ、または類似の任意のシステムによって実行される。よって本方法のステップは、コンピュータにより、完全に自動的に、あるいは半自動的に実行される可能性がある。例えば、本方法の少なくともいくつかのステップは、ユーザとコンピュータの対話を通じて始動されてもよい。求められるユーザとコンピュータの対話レベルは、想定される自動性のレベルに応じたものであって、ユーザの要望を実装する必要性との間でバランスをとるものとしてもよい。例えば、このレベルは、ユーザが設定し、かつ／あるいは、予め定義されていてもよい。

方法のコンピュータによる実施の典型的な例は、この目的に適したシステムを用いて本方法を実行することである。当該システムは、本方法を実行するための命令を含むコンピュータプログラムを記録したメモリに接続されたプロセッサ、および、グラフィカル・ユーザ・インターフェース（ＧＵＩ）を備えていてもよい。メモリは、データベースを記憶していてもよい。メモリは、そのような記憶に適した任意のハードウェアであり、場合により、物理的に区別可能ないくつかの部分（例えば、プログラム用に１つ、場合によりデータベース用に１つ）を含む。

図２は、本システムの一例を示すものであって、当該システムは、クライアントコンピュータシステム、例えばユーザのワークステーションである。

本例のクライアントコンピュータは、内部通信バス１０００に接続された中央演算処理装置（ＣＰＵ）１０１０、および同じくバスに接続されたランダムアクセスメモリ（ＲＡＭ）１０７０とを備える。クライアントコンピュータは、さらに、バスに接続されたビデオランダムアクセスメモリ１１００と関連付けられたグラフィックス処理装置（ＧＰＵ）１１１０を備える。ビデオＲＡＭ１１００は、当該技術分野において、フレームバッファとしても知られる。大容量記憶装置コントローラ１０２０は、ハードドライブ１０３０などの大容量記憶装置へのアクセスを管理する。コンピュータプログラムの命令及びデータを具体的に実現するのに適した大容量メモリ装置は、例として、ＥＰＲＯＭ、ＥＥＰＲＯＭ及びフラッシュメモリ装置のような半導体メモリ装置、内蔵ハードディスクやリムーバブルディスクなどの磁気ディスク、光磁気ディスク、およびＣＤ−ＲＯＭディスク１０４０を含む、全ての形式の不揮発性メモリを含む。前述のいずれも、特別に設計されたＡＳＩＣ（特定用途向け集積回路）によって補完されてもよいし、組み入れられてもよい。ネットワークアダプタ１０５０は、ネットワーク１０６０へのアクセスを管理する。クライアントコンピュータはまた、カーソル制御装置、キーボードなどの触覚装置１０９０を含んでいてもよい。カーソル制御装置は、ユーザがディスプレイ１０８０上の任意の所望の位置にカーソルを選択的に位置させることを可能にするために、クライアントコンピュータ内で使用される。さらに、カーソル制御デバイスは、ユーザが様々なコマンドを選択し、制御信号を入力することを可能にする。カーソル制御装置は、システムに制御信号を入力するための多数の信号生成装置を含む。典型的には、カーソル制御装置はマウスであってもよく、マウスのボタンは信号を生成するために使用される。あるいは、または追加的に、クライアントコンピュータシステムは、感知パッドおよび／または感知スクリーンを備えてもよい。

コンピュータプログラムは、コンピュータによって実行可能な命令を含んでいてもよく、命令は、上記システムに方法を実行させるための手段を含む。プログラムは、システムのメモリを含む任意のデータ記憶媒体に記録可能であってもよい。プログラムは、例えば、デジタル電子回路、またはコンピュータハードウェア、ファームウェア、ソフトウェア、またはそれらの組み合わせで実装されてもよい。プログラムは、例えばプログラマブルプロセッサによる実行のための機械読み取り可能な記憶装置に具体的に実現された製品のような装置として実装されてもよい。方法ステップは、プログラム可能なプロセッサが命令のプログラムを実行し、入力データを操作して出力を生成することによって方法の機能を実行することによって実行されてもよい。したがって、プロセッサは、データ記憶システム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスからデータおよび命令を受信し、また、それらにデータおよび命令を送信するようにプログラム可能であってもよく、またそのように接続されていてもよい。アプリケーションプログラムは、高水準の手続き型またはオブジェクト指向のプログラミング言語で、または必要に応じてアセンブリ言語または機械語で実装されていてもよい。いずれの場合も、言語はコンパイラ型言語またはインタープリタ型言語であってもよい。プログラムは、フルインストールプログラムまたは更新プログラムであってもよい。いずれの場合も、プログラムをシステムに適用すると、本方法を実行するための指示が得られる。

図３は、トップダウン手法を実施する本方法の一例を示しており、ここで、決定（Ｓ２０）は、各マルコフ確率場に定義されたエネルギーについて、それぞれちょうど４回の別個の最小化を含む。この例は、特に効率的であるとともに質の高い補完が得られることを証明している。

Ｓ１０で提供される（例えば、学習した）辞書は、ルートアトムの層と補正／修正（ｃｏｒｒｅｃｔｉｏｎ／ｃｏｒｒｅｃｔｉｖｅ）アトムの層とを含む。穴の各位置について、第１の最小化で最適なルートアトムを見つけ出し、第２の最小化でルートアトムの最適な係数を見つけ出し、第３の最小化で最適な補正アトムを見つけ出し、第４の最小化で補正アトムの最適な係数を見つけ出す。第３の最小化に関して、ラベルは、保持されているルートアトムに依存する辞書におけるアトムの集合の内の値をとってもよい。言い換えれば、辞書は階層的で、ルートアトムを含み、各ルートアトムについては、補正アトムであってもよい。ルートアトムに対して提供されるそのような補正アトムの集合は、各ルートアトムに対して比較的小さくてもよい。これにより、本方法はとりわけ効率的になる。

第２および第４の最小化に関して、ラベルが取る値を含む所定の係数の集合は、それぞれ、または、ともに、係数が、例えば辞書学習によって定義されている領域の規則的なサンプリングに由来し、画像の既知の部分のパッチを生成する（例えば、［０，１］の規則的なサンプリング）。あるいは、所定の係数の集合は、それぞれ、あるいは、ともに、画像の既知の部分のパッチを生成するための辞書のアトムに適用される係数の集合に由来してもよい。言い換えれば、辞書のアトムの線形結合により既知の部分のパッチを生成するために実際に用いられる係数は、所定の係数の集合の精緻化に基づいており、それによりＭＲＦ最小化をより速くする一例において、実際の係数の集合は、Ｋ平均クラスタリングを用いて量子化される。Ｋ＝２０は、実験に基づく効率的な値であり、既存のＭＲＦオプティマイザによって効率的に探索され、かつ十分なバリエーションを実現する集合に対応する。

辞書は、１００個未満のルートアトム、例えば２５個から７５個まで、例えば５０個のルートアトムを含んでいてもよい。各ルートアトムは、それに関連付けられた１５個未満の補正アトム、例えば５〜１０個の補正アトムを有していてもよい。このように、辞書は、ルートと修正との間でアトムを階層化してもよい。階層は、ツリーデータ構造として実施してもよい。

ここで、図３の方法のテストについて説明する。

我々は、論文「Ｅｌａｄ Ｍ，Ａｈａｒｏｎ Ｍ．Ｋ−ｓｖｄ：Ａｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｄｅｓｉｇｎｉｎｇ ｏｖｅｒｃｏｍｐｌｅｔｅ ｄｉｃｔｉｏｎａｒｉｅｓ ｆｏｒ ｓｐａｒｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ．２００６」または論文「Ｒｏｄｏｌｐｈｅ Ｊｅｎａｔｔｏｎ，Ｊｕｌｉｅｎ Ｍａｉｒａｌ，Ｇｕｉｌｌａｕｍｅ Ｏｂｏｚｉｎｓｋｉ，ａｎｄ Ｆｒａｎｃｉｓ Ｂａｃｈ．Ｐｒｏｘｉｍａｌ ｍｅｔｈｏｄｓ ｆｏｒ ｈｉｅｒａｒｃｈｉｃａｌ ｓｐａｒｓｅ ｃｏｄｉｎｇ．Ｊｏｕｒｎａｌ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ，２０１１」に記載されているＫ−ＳＶＤアルゴリズムを、画像の既知の部分から抽出した８×８画素のサイズ（他のサイズでもテストを行い類似の良好な結果を得たが、８×８のサイズが特に効率的である）のパッチの集合からなる「トレーニング信号の集合」（すなわち入力データベース）と共に用いて、本手法をテストした。しかし、（例えば上記のような）他の任意の入力の基礎、および／または、他の任意の辞書学習アルゴリズム（例えば、論文「ＭａｉｒａｌＪｕｌｉｅｎ，ＦｒａｎｃｉｓＢａｃｈ，ａｎｄＪｅａｎＰｏｎｃｅ．Ｓｐａｒｓｅｍｏｄｅｌｉｎｇｆｏｒｉｍａｇｅａｎｄｖｉｓｉｏｎｐｒｏｃｅｓｓｉｎｇ．２０１４」で提供されている辞書学習アルゴリズムの概説のいずれか）でも同様に、許容可能な結果が得られたであろう。

本テスト法では、穴が大きい場合の画像補完パラダイムにおける画像修復方法の精度を活用する。そのために、本テスト法では、マルコフ確率場と辞書学習という２つの強力なツールを使用する。

本テスト法は、以下により、辞書学習技術を用いて画像における大きな空隙を埋めることを可能にする：
・空隙上に定義されたグラフの各ノードについて、線形結合が行われるアトムのリストを知ることができるようなグラフベースの手法を用いて、辞書のアトムの選択を全体的に解決する。アトムの選択は、画像の既知の部分から未知の部分へと、構造とテクスチャが保存されるような方法で行われる。
・係数の選択を全体的に解決する：アトムのリストが与えられたとき、グラフ内の各ノードについて、グラフ内のノード間が滑らかに遷移するように、線形結合の係数を調整する。

本テスト法は、画像からコピーすることなしに画像内の空隙を埋めることができるため、より現実的である。

テストは、ここで説明する、図３の方法の１つの単純な実施例について実行した。この実施例は、特に良好な結果を生み出した。この実施例では、本方法は２層の階層的モデルを用いており、ここで、各パッチは、ルートアトムと、適切な係数を有する補正アトムの組み合わせとして取得することができる（このように階層的辞書学習手法が考慮される）。
１）第１ステップ：（２層の）辞書の学習（Ｓ１０）
まず初めに、画像の既知の部分から、パッチの大きな集合を抽出した。次に、Ｓ１０に関して、それらパッチについてＫ−ＳＶＤアルゴリズムを用いて辞書Ｄ_rootの学習を行った。ここで、分解は１のサイズでなければならない（考慮したすべての画像についてＤ_rootは５０〜１５０個のアトムを用いる）。同様の手法を用いて、アトムｄ_kを用いた分解で残った残余パッチに基づいて、Ｄ_rootの各アトムｄ_kについて、（５個程度のアトムを用いて）辞書
を算出した。このように、Ｓ１０で提供される階層的辞書は、Ｄ_rootおよび関連付けられたすべての
として決定される。
２）第２ステップ：グリッドグラフの構築（Ｓ２０の開始）
グラフは、ノード同士が規則的に離間してグリッドを定義するように、欠落領域上に構築される。隣接する２つのノード間のスペースは、例えば、パッチのサイズの半分（例えば、パッチのサイズが８×８の場合、隣接する２つのノード間のスペースは４画素）とすることができる。そして、各ノードは、例えば四連結を用いて近傍ノードに接続される。
３）第３ステップ：分解の算出（Ｓ２０の終了）
このステップでは、グリッドグラフの各ノードに、４つのパラメータ、すなわち、Ｄ_rootのアトムｄ_k、このルートアトムの係数、
における補正アトム、およびこの補正アトムの係数を割り当てたい。目標は、可能な限り良好な補完を達成するために、これらの割り当てを全体的に最適化することである。

この処理は、異なるステージに分けられる。
ａ．第１ステップでは、マルチスケール手法を用いて、ルートアトムのみの最適化を試みる。
ｂ．第２ステップは、それらのルートアトムの係数を取得することからなる。
ｃ．第３ステップは、各位置において補正アトムを見つけることを目的とする。
ｄ．最後に、第４ステップでは、これらの補正アトムの係数を算出する。

これらの４つの最適化は、同じＭＲＦグラフ（第２ステップで構築されたもの）を用いるが、ラベルの性質、および使用されるコスト関数に関して互いに異なる。

以下、これら最適化ステージのそれぞれについて詳細を説明する。
ａ）ルートアトムの選択：
この第１ステップは、ルートアトムを有するノードのラベル付けを見つけることを目的とする。大まかに言えば、このステップは「粗い」解決策を見つけることからなる。大きな幅（幅とは、２つの隣接するノード間の距離を意味する）についての解を最初に算出し、幅がより小さくなるように繰り返す。このマルチスケール手法は、主に、演算時間を短縮するために実行される。演算時間は、直接的に小さな幅を扱うＭＲＦ最適化における最適化と比較して、結果の質について大きな犠牲を払うことなく、典型的には５分の１であることが経験上示されている。

ここでエネルギーについて説明する。

テストでは、第１の最小化についてのエネルギーは、測光歪みおよび統計的歪みにペナルティを課し、第２の最小化についてのエネルギーもまた、測光歪みおよび統計的歪みにペナルティを課す（以下「バイナリ項またはバイナリ・コスト」）。

異なる基準を用いてＭＲＦのユナリ・コストとバイナリ・コストを設計し、それらを線形結合によって混合することもできる。ここでは、テストで用いた幾つかのコスト関数を示す（これらのコストの任意の組み合わせを実施できる）。
・縁の基準（ユナリ・コスト）：穴の縁上のラベルを既知の部分と一致させるユナリ・コスト関数を設計できる。アトムが係数を持たないため、縁に合致し得る最良の係数を用いてコストを構築する（これは幾分楽観的である）。
・測光基準（バイナリ・コスト）：係数を持たないアトムを扱う場合も、２つのアトムの一定の重複領域が得られるような所与のオフセットを基準とした比較方法を確立することができる。重複領域上のアトムのコサイン類似度の逆数を測光エネルギーを得るためのバイナリ・コストとして用いた。
・統計的オフセット基準（バイナリ・コスト）：さらに、画像中のアトムの発生率の再分割が、幾つかの空間的性質を有することを見出した。この知識をエネルギー関数に組み入れるために、アトムのラベルｌ₁、ｌ₂の各対と各オフセットｄ（ここでは、四連結に対応するものと八連結に対応するもののうちいずれかを使用する）について、以下に比例する対称コストを算出する：−ｌｏｇ（ｐ₁×ｐ₂）、ここでｐ₁は、画像の既知の部分における、ルートアトムｌ₁からの変位ｄに位置する探索ルートアトムｌ₂の相対的頻度として算出され、ｐ₂は対称的に定義される。より正確には、Ｏｃｃ（ｌ₁）とＯｃｃ（ｌ₂）が画像の既知の部分におけるこれらのルートアトムの発生率を表し、Ｏｃｃ_d（ｌ₁，ｌ₂）がオフセットｄに基づく既知の領域における対（ｌ₁，ｌ₂）の発生率を表すとすると、ｐ₁＝Ｏｃｃ_d（ｌ₁，ｌ₂）／Ｏｃｃ（ｌ₁）となり、またｐ₂＝Ｏｃｃ_d（ｌ₁，ｌ₂）／Ｏｃｃ（ｌ₂）となる。

測光歪みとは、近傍パッチが互いに異なる程度（例えば、光度正規化係数を法とする）のことである。統計的歪みとは、パッチのシーケンスが既知の部分の構造を再現する程度のことである。

測光歪みには、コサイン類似度を用いてペナルティを課すことができる。そのため、アトムは正規化されてもよい。正規化は、アトムにノルム１を課すことからなる（すなわち、それら画素の値の二乗の和が１に等しい）。パッチの大きさがｎ×ｎであるとする。パッチは垂直方向または水平方向に重なる。水平の場合、左側のパッチの最後のｘ列が、右側のパッチの最初のｘ列と共通する。したがって、共通部分は、高さはｎだが幅がわずかｘの一種のパッチそれ自体である（例えば、ｘはｎ／４とｎ／２の間）。測光歪みは、この重なり部分のみに適用される。

統計的歪みモデルに用いられる式は、均質性および対称性の制約を考慮して、確率的な方法で正準的に配列される。

これらの歪みは、所定のパッチが別のパッチに対して右／左／上／下に位置するような傾向のモデル化を可能にする。測光歪みは、この状況とは関係なしに、２つのパッチが「良い」近傍パッチであるという事実をモデル化する。統計的歪みは、既知の部分の統計量に基づく（複雑な画像の場合でも、その部分から多くの構造が実験的に出力される）。実際には、統計的歪みが弱い場合、既知の部分にパターンが数回現れたことを意味する。逆は真ではない。しかしながら、画像の残りの部分で観察されないように全体の一部を埋める必要がある場合には、測光歪みがそのような充填のほとんどを行う。ある意味では、統計的歪みはより精細だが、常に応答するわけではなく、一方、測光歪はより堅牢であるが、場合によっては精細さが劣る。この２つの組み合わせは、両世界の利点が達成されているため、特に強力である。

テストでは、第１の最小化は、穴の縁に合致しない程度についてさらにペナルティを課す（以下「単項またはユナリ・コスト」）。

また、線形構造を穴内に拡張することを目的としたユナリ・コスト関数を実装した。この関数を構築するために、同じルートアトムを用いる画素の（八連結のための）連結成分への分割を算出する（この演算は、深さ優先探索アルゴリズムで行われる）。次に、穴に隣接する各成分について、その中心点ｃおよびその２つの主ベクトルｅ₁およびｅ₂を、これらの点の共分散行列（ｅ₁は最大固有値λ₁に関連付けられ、ｅ₂は最小固有値λ₂に関連付けられる）に対してＳＶＤを用いて算出する。

比λ₁／λ₂が２０より大きく、成分が少なくとも１５個の画素を含む場合、以下を行う：穴内の各画素位置ｘに対して、以下に比例する「ボーナススコア」を与える：
ここで、
であり、また
であって、σは、合理的な消滅率を有するように調整したシグモイド関数である：
この単項は、内装および建築物の画像に対するアルゴリズムの結果を大幅に改善した。
ｂ）ルートアトム係数の最適化：
係数は連続的であるため、アトムごとに約２０個の可能な係数を有するようにそれらを定量化することを選択した。これらの値は、それぞれ、新しいＭＲＦのラベルに対応し、ラベル付けはルートアトムの係数に対する結合選択に対応する。実験により、与えられたアトムに用いられた係数の集合は一様に分布せず、クラスタを形成することがわかった。したがって、量子化ステップを選択するために、Ｋ平均クラスタリングを用いることを考えた。最初の組み合わせステップについては、測光の部分と統計モデルの両方を組み込んだエネルギーを設計した。

測光の部分は、近傍パッチにおける異なるパッチのＬ₂ノルムを用いて（その重なり部分に対して）算出される。なぜなら、アトムと係数の組み合わされた知識がパッチに対応するからである。

統計的部分に関しては、各オフセットｄとルートアトムラベルの対（ｌ₁，ｌ₂）について、ｌ₁とｌ₂の係数の差についてのガウスモデルを（既知の領域について）学習した（このモデルは、数多くのルートモデルの対についてこれらの違いを表示し、それが全体的に、データセットの画像のガウス分布に従うことに気付くことによって発見された）。コストは以下に比例する：
ここで
は学習したガウス関数であり、ｃ１、ｃ２は係数パラメータである。
ｃ）係数アトム選択
この第３のステップは、各ノードについて、使用される補正アトムを見つけることからなる。すでにルートアトムを選択しているため、各ノードについて可能性のある少数のなかから選択するだけでよい（典型的には、この３番目の最適化では、各ノードは５個程度の異なるラベルを取ることができる）。

このエネルギーの設計は、測光コストを用いなかったことを除けば、ルートラベルの最適化の場合と非常に似ている。したがって、縁とエッジ拡張のためのオフセットとユナリ・コストを用いた統計モデルのみを使用した。
ｄ）補正アトム係数の最適化：
この最適化ステップの最後のステップは、測光コストを用いて係数を見つけるだけであるため、最も簡単なステップである（各ノードについて、ルートアトムとその係数、および選択した補正アトムを既に知っているため）。この演算はまた、モデルを学習する必要がないため、非常に高速である。

なお、最終的な実施例においては、２つの係数検索ステップは実際には２次であるが、非２次のエネルギーを試す可能性があるため、２次オプティマイザの代わりにＭＲＦ最適化を用いた。
４）第４ステップ：仕上げ
結果をより良く仕上げるために、マッチングベースのアルゴリズムを実装した。このアルゴリズムは反復的であり、初期化が良好に行われることを前提としている（この場合、初期化は、前の４つのＭＲＦ最適化の結果である）。各繰り返しにおいて、再構築された領域におけるいくつかのパッチの集合Ｓを選択し、それらを既知の領域から抽出したパッチの集合のうちの最も近いパッチで置き換える。集合Ｓは互いに重なり合う多数のパッチを含み得るため、異なるパッチに存在する画素の最終的な値を、平均値を処理して得る必要がある。

ここで、テストの結果について、図４〜８を参照して提示する。

図４は、左から右へ、穴を有する入力画像、エッジ拡張ユナリ・コストなしの結果、およびエッジ拡張ユナリ・コストありの結果を示す。エッジ拡張ユナリ・コストなしの場合でも結果が比較的高品質であることがわかる。

図５はテストに使用されたＧＵＩインターフェースのスクリーンショットを示す。ここでは、異なる画像、パッチサイズ、アトムの数、分解のサイズを選択し、所与の画像５０２の任意のパッチの分解をインタラクティブに視覚化することができる。入力画像５０２に基づき辞書学習した比較的小さなパッチ５０４の集合を使用すると、入力画像における任意の元のパッチが、辞書のパッチの線形結合（この例では５つ）により、比較的良好に再構成できることがわかる。

図６は、大きな穴を補完するためのアルゴリズムの別のテストを示す。このアルゴリズムは、１．６秒で高品質の補完ができた。

図７は、左から右へ、初期劣化画像、充填する領域の選択、および結果画像を示す。

図８は、マルチスケール手法による第１層演算を示す。左から右に、各繰り返しにおいてステップが２つに分割されていることが分かる。各色は、所与のアトムラベル用いたことに対応している。

このように、ＭＲＦ手法を辞書学習と併用することにより以下が得られることがテストにより示された：
・妥当な結果：結果画像は、たとえ細部が矛盾しているように見えても、人間にとっては自然に見えた。
・堅牢なアルゴリズム：アルゴリズムが誤った判断で止まってしまうことがなく、異なる種類の画像（自然画像、内装画像、深度マップ画像、さらには人工画像）について機能した。
・リアルタイムに近い演算（例えば、３秒未満）。これにより、ユーザは、画像内のオブジェクトをインタラクティブに除去または置換することができる。

Claims (15)

1. 少なくとも１つの穴を有する画像を補完するための、コンピュータにより実施される方法であって、
   前記画像における既知の部分を表すアトムの辞書を提供すること（Ｓ１０）と、
   ノードおよびラベルを有するマルコフ確率場上に定義されたエネルギーの少なくとも１回の最小化（Ｓ２２〜Ｓ２８）を含む処理を用いてアトムの線形結合の最適な分布を決定することであって、各ノードは前記穴の各位置に対応し各ラベルに関連付けられるような、決定すること（Ｓ２０）と、
   前記最適な分布で前記穴を埋めること（Ｓ３０）と
   を含むことを特徴とする方法。
2. 各ラベルは、好ましくは５００個未満、２００個未満、１５０個未満、あるいは１００個未満の値を含む値の有限集合のうちの値をとる
   ことを特徴とする請求項１に記載の方法。
3. 前記処理は、前記少なくとも１回の最小化の結果を用いて初期化され、かつ、前記画像の既知の部分から抽出したパッチに基づく、マッチングベースのアルゴリズムを含む
   ことを特徴とする請求項１または２に記載の方法。
4. 前記決定（Ｓ２０）ではトップダウン手法を実施する
   ことを特徴とする請求項１〜３のいずれかに記載の方法。
5. エネルギーの前記少なくとも１回の最小化は、
   第１の最小化であって、当該第１の最小化についての前記マルコフ確率場の各ラベルがアトムの辞書における値をとるような、第１の最小化（Ｓ２２）と、次いで、
   第２の最小化であって、当該第２の最小化についての前記マルコフ確率場の各ラベルが所定の係数の集合における値をとるような、第２の最小化（Ｓ２４）と、 を含むことを特徴とする請求項４に記載の方法。
6. 前記所定の係数の集合は、前記画像の既知の部分のパッチを生成するための前記アトムに適用される係数の集合のＫ平均クラスタリングに由来する
   ことを特徴とする請求項５に記載の方法。
7. 前記第１の最小化についてのエネルギーは、測光歪みおよび／または統計的歪みにペナルティを課し、かつ／あるいは、前記第２の最小化についてのエネルギーは、測光歪みおよび／または統計的歪みにペナルティを課す
   ことを特徴とする請求項５または６に記載の方法。
8. 前記第１の最小化は、前記穴の縁に合致しない程度についてさらにペナルティを課す
   ことを特徴とする請求項７に記載の方法。
9. 第３の最小化であって、当該第３の最小化についての前記マルコフ確率場の各ラベルが前記アトムの辞書における値をとるような、第３の最小化（Ｓ２６）と、次いで、
   第４の最小化であって、当該第４の最小化についての前記マルコフ確率場の各ラベルが前記所定の係数の集合における値をとるような、第４の最小化（Ｓ２８）と、
   を次いでさらに含むことを特徴とする請求項５〜８のいずれかに記載の方法。
10. 前記第３の最小化についてのエネルギーは、統計的歪みにペナルティを課し、かつ／あるいは、前記第４の最小化についてのエネルギーは、統計的歪みにペナルティを課す
    ことを特徴とする請求項９に記載の方法。
11. 前記画像はビデオのフレームである
    ことを特徴とする請求項１〜１０のいずれかに記載の方法。
12. 前記ビデオはさらに、前記画像の前に１つまたは複数の他の画像を含み、前記方法はさらに、前記１つまたは複数の他の画像に基づき前記アトムの辞書を決定することを含む
    ことを特徴とする請求項１１に記載の方法。
13. 請求項１〜１２のいずれかに記載の方法を実行するための命令を含むコンピュータプログラム。
14. 請求項１３に記載のコンピュータプログラムを記録したコンピュータ読み取り可能記憶媒体。
15. 請求項１３に記載のコンピュータプログラムを記録したメモリに接続されたプロセッサと、グラフィカル・ユーザ・インターフェースとを備えるシステム。