JP2012043437A - 画像処理方法及び画像処理装置 - Google Patents

Abstract

【課題】探索速度を向上させるとともに、正確な探索結果を取得すること。
【解決手段】開示の画像処理装置は、サンプル画像から抽出された複数の画像ブロックを含む画像ブロック集合と、当該画像ブロック集合に含まれる画像ブロックのそれぞれから最も近い一つ又は複数の画像ブロックとを対応付けて記憶する記憶部に記憶された当該画像ブロック集合から、探索対象に最も近い画像ブロックを探索し、前記画像ブロックを探索する処理により探索された画像ブロックから最も近い一つ又は複数の画像ブロックを前記記憶部から取得し、取得した一つ又は複数の画像ブロックから前記探索対象に最も近い一つ又は複数の画像ブロックを探索する。
【選択図】図９

Description

本発明は、画像処理方法及び画像処理装置に関する。

画像処理方法の一つである学習においては、通常、後続の画像処理の使用に備え、大量の画像サンプルを訓練することによって、画像または画像ブロックの訓練集合（または辞書)を取得しておく。例えば、大量の互いに対応する低解像度と高解像度の画像サンプルを訓練することによって、複数ペアの互いに対応する低解像度画像ブロックと高解像度画像ブロックが含まれた訓練集合を取得する。この訓練集合は、例えば、共起モデル（Co-occurrence Model）または辞書として、低解像度の画像から高解像度の画像を生成する画像超解像処理に適用される。この画像超解像処理では、例えば、低解像度の画像ブロックを探索対象として訓練集合を探索することにより、低解像度の画像ブロックに対応する高解像度の画像ブロックを取得する。

特開２００８−２９９６１８号公報

ところで、上記従来技術では、探索速度を向上させるとともに、正確な探索結果を取得することが求められている。

開示の技術は、上記に鑑みてなされたものであって、探索速度を向上させるとともに、正確な探索結果を取得することができる画像処理方法及び画像処理装置を提供することを目的とする。

以下、本発明のいくらかの方面についての基本的な理解のために、本発明についての概要を記述する。この概要は本発明についての全面的な概述ではない。これは、本発明のキー又は重要な部分を確定することを意図せず、また、本発明の範囲を限定することを意図しない。その目的は、ただ簡素した形態でいくらかの概念を与えることにある。これを、後述のより詳しい記述の前書きとする。

本発明の幾らかの実施形態によると、画像処理装置は、サンプル画像から抽出された複数の画像ブロックを含む画像ブロック集合と、当該画像ブロック集合に含まれる画像ブロックのそれぞれから最も近い一つ又は複数の画像ブロックとを対応付けて記憶する記憶部に記憶された当該画像ブロック集合から、探索対象に最も近い画像ブロックを探索し、前記画像ブロックを探索する処理により探索された画像ブロックから最も近い一つ又は複数の画像ブロックを前記記憶部から取得し、取得した一つ又は複数の画像ブロックから前記探索対象に最も近い一つ又は複数の画像ブロックを探索する。

本願の開示する技術の一つの態様によれば、探索速度を向上させるとともに、正確な探索結果を取得することができるという効果を奏する。

図１は、一実施例における画像処理方法を模式的に示すフローチャートである。 図２は、一実施例における画像処理方法を模式的に示すフローチャートである。 図３Ａは、最適超平面により画像ブロック集合を分割する処理を説明するための図である。 図３Ｂは、最適超平面により画像ブロック集合を分割する処理を説明するための図である。 図３Ｃは、最適超平面により画像ブロック集合を分割する処理を説明するための図である。 図３Ｄは、最適超平面により画像ブロック集合を分割する処理を説明するための図である。 図４は、多階層木構造に組織された画像ブロック集合の一例を示す図である。 図５は、一実施例における近傍画像ブロックを探索する方法を模式的に示すフローチャートである。 図６は、近傍画像ブロックを探索する方法と多階層木構造を用いた方法との組合せについて説明するための図である。 図７は、近傍画像ブロックを探索する方法と多階層木構造を用いた方法との組合せについて説明するための図である。 図８は、一実施例における画像処理装置の模式的な構成を示す機能ブロック図である。 図９は、一実施例における画像処理方法を模式的に示すフローチャートである。 図１０は、一実施例における画像処理方法を模式的に示すフローチャートである。 図１１は、一実施例における画像処理装置の模式的な構成を示す機能ブロック図である。 図１２は、一実施例における画像処理装置の模式的な構成を示す機能ブロック図である。 図１３Ａは、低解像度画像の一例を示す図である。 図１３Ｂは、従来技術の双線形補間法によって生成された高解像度画像の一例を示す図である。 図１３Ｃは、開示技術の画像処理装置によって生成された高解像度画像の一例を示す図である。 図１３Ｄは、撮影された高解像度画像の一例を示す図である。 図１４は、実施例の実施に使用可能なコンピュータの模式的なブロック図である。

以下、図面を参照して開示技術の実施例を説明する。開示技術の一つの図面あるいは一種類の実施形態において記述された要素と特徴は、一つ又は複数の別の図面あるいは実施形態において示した要素と特徴と組合せることができる。明瞭のため、図面と説明には、開示技術と関係なく、当業者にとって既知の部品及び処理に対する表示と記述を省略する。

図１は、一実施例における画像処理方法を模式的に示すフローチャートである。ここで、画像処理装置は、複数のサンプル画像を訓練することによって画像ブロック集合を抽出した後に、画像ブロック集合における画像ブロックのそれぞれについての近傍画像ブロックを探索して画像ブロックごとの近傍集合を生成して、後続の画像処理プロセスの探索に使用されるようにする。なお、画像ブロック集合は、訓練集合または辞書とも称する。また、例えば、画像処理装置は、サンプル画像から抽出された複数の画像ブロックを含む画像ブロック集合において、画像ブロックのそれぞれから最も近い一つ又は複数の画像ブロックを探索する。また、例えば、画像処理装置は、画像ブロック集合と、その画像ブロック集合に含まれる画像ブロックのそれぞれから最も近い一つ又は複数の画像ブロックとを対応付けて記憶部に保存する。

図１に示すように、画像処理方法は、例えば、ステップＳ１０１とステップＳ１０２とを含む。

ステップＳ１０１において、画像処理装置は、例えば、サンプル画像から抽出された複数の画像ブロックを含む画像ブロック集合において、画像ブロックのそれぞれから最も近い一つまたは複数の画像ブロックを探索する。ここで、探索された画像ブロックは、近傍画像ブロックと称する。これらの近傍画像ブロックは、各画像ブロックのそれぞれについての近傍集合を形成する。また、例えば、画像処理装置は、画像ブロックごとに探索した一つ又は複数の近傍画像ブロックを近傍集合に格納する。

開示技術では、画像ブロック集合は、任意の方法によって、大量のサンプル画像を訓練することによって得られた訓練集合であって良い。例えば、任意の方法としては、サンプル画像における画像ブロックごとの局所エネルギーを分析して、意義がある画像プリミティブ（例えば、エッジ、角及び／または斑点など）に対応するエネルギーの高い画像ブロックのみを残す方法がある。なお、任意の方法は、上記の方法に限定されるものではなく、サンプル画像から画像ブロックを抽出するいかなる方法であっても適用することができる。ここで、限定及び詳しい説明を行わない。

ステップＳ１０２において、画像処理装置は、例えば、画像ブロック集合及び画像ブロック集合における画像ブロックごとの近傍集合に関する情報を保存する。また、例えば、画像処理装置は、画像ブロック集合と、その画像ブロック集合における画像ブロックごとの近傍集合とを、画像処理装置が備える記憶部に保存する。この記憶部は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、ハードディスクや光ディスクなどの記憶装置に対応する。

図１に示した方法により、画像処理装置は、例えば、訓練によって複数の画像ブロックを含む訓練集合が取得した後に、取得した訓練集合における画像ブロックのそれぞれについての近傍集合を生成する。画像処理装置は、例えば、取得した訓練集合を保存する同時に、その中の画像ブロックのそれぞれについての近傍集合の情報を保存する。このため、画像処理装置は、例えば、後続の画像処理において訓練集合を探索する必要があるときに、訓練集合からある画像ブロックを探索した後に、必要に応じて探索した画像ブロックの近傍集合においてより細かい探索を行ってより所望に合わせた画像ブロックを取得することができる。訓練集合のみを生成及び保存する方法と比べると、図１に示した方法の方が、後続の探索に対してより有利であり、より正確な情報を探索により取得することができる。

図２は、一実施例における画像処理方法を模式的に示すフローチャートである。図２に示す方法は、図１に示した方法と類似し、異なるところは、画像ブロック集合が階層化された木構造に組織されることである。

図２に示したように、画像処理方法は、例えば、ステップＳ２０１と、ステップＳ２０２と、ステップＳ２０３とを含む。具体的には、ステップＳ２０１において、画像処理装置は、例えば、サンプル画像から抽出された複数の画像ブロックを含む画像ブロック集合を、多階層木構造に組織する。この多階層木構造において、根ノードは、画像ブロック集合に対応し、かつ、画像ブロック集合を次の階層のノードに対応するサブ集合に分割するための限界の情報を含む。分岐ノードのそれぞれは、画像ブロック集合の一つのサブ集合に対応し、かつ、分岐ノードに対応するサブ集合を、次の階層のノードに対応するサブ集合に分割するための限界の情報を含む。葉ノードのそれぞれは、画像ブロック集合中の一つ又は一グループの画像ブロックに対応する。なお、ステップＳ２０２の処理は、上述したステップＳ１０１の処理と同様である。また、ステップＳ２０３の処理は、上述したステップＳ１０２の処理と同様である。

例えば、画像処理方法は、最適超平面を利用して画像ブロック集合を再帰的に分割することによって、多階層木構造を形成する。図３Ａから図３Ｄは、最適超平面により画像ブロック集合を分割する処理を説明するための図である。例えば、画像処理方法は、ｋｄ木において使用された最大幅分割規則（Maximum Spread Splitting Rule）で前記画像ブロック集合を再帰的に分割する。例えば、画像処理方法は、分割しようとする画像ブロック集合をＳで表すと、分割次元としては、集合Ｓにおいて最大幅を有する次元を採用し、分割次元における分割点としては、集合Ｓにおいて分割次元に沿った中間値点を採用する。図３Ａに示すように、画像処理装置は、例えば、分割面３ａによって集合Ｓを類１と類２との二類に分割する。また、図３Ｂに示すように、画像処理装置は、例えば、分割面３ｂによって類１を類１−１と類１−２との二類に分割する。また、図３Ｃに示すように、画像処理装置は、例えば、分割面３ｃによって類１−１を類１−１−１と類１−１−２との二類に分割する。また、図３Ｄに示すように、画像処理装置は、例えば、分割面３ｄによって類１−１−１を類１−１−１−１と類１−１−１−２との二類に分割する。このように再帰的に分割することによって、画像処理装置は、例えば、画像ブロック集合Ｓを高さがｌｏｇ２Ｎである二分木構造に分割する。なお、Ｎは、画像ブロック集合Ｓにおける画像ブロックの数を示す。

図４は、多階層木構造に組織された画像ブロック集合の一例を示す図である。図４に示すように、根ノードまたは分岐ノードのそれぞれは、対応する画像ブロック集合またはサブ集合を二類に分割する限界の情報を含む。

例えば、根ノードまたは分岐ノードのそれぞれは、図４に示すように、ｃｕｔ＿ｄｉｍと、ｃｕｔ＿ｖａｌと、ｌｏｗ＿ｂｎｄと、ｈｉｇｈ＿ｂｎｄと、ｌｅｆｔ＿ｃｈｉｌｄと、ｒｉｇｈｔ＿ｃｈｉｌｄとを含む。ｃｕｔ＿ｄｉｍは、分割面と直交する次元の情報を示す。つまり、ｃｕｔ＿ｄｉｍは、分割次元の情報を示す。ｃｕｔ＿ｖａｌは、分割面の位置を示す。つまり、ｃｕｔ＿ｖａｌは、分割限界値を示す。ｌｏｗ＿ｂｎｄは、木ノードに対応する画像ブロック集合またはサブ集合の下限を示す。ｈｉｇｈ＿ｂｎｄは、木ノードに対応する画像ブロック集合またはサブ集合の上限を示す。ｌｅｆｔ＿ｃｈｉｌｄは、自ノードの左サブノードまでのリンクを示す。ｒｉｇｈｔ＿ｃｈｉｌｄは、自ノードの右サブノードまでのリンクを示す。

また、葉ノードのそれぞれは、画像ブロック集合における一つの要素、つまり、一つの画像ブロックに対応する。葉ノードのそれぞれは、ｉｎｄｅｘを含む。ｉｎｄｅｘは、葉ノードに対応する画像ブロックのインデックスを示し、画像ブロック集合に含まれる画像ブロックに一意に付与される。

なお、上記の木構造は一例であり、これに限定されるものではない。例えば、木構造は、任意の適切な他の木構造を採用しても良い。ここでは、逐一例示しない。

図２に示した例では、画像処理装置は、例えば、画像ブロック集合に木構造を採用する。このため、画像処理装置は、後続の画像処理プロセスにおいて画像ブロック集合を探索する際に、木構造の各木ノードにおける分割限界情報を用いることで、探索対象に近似的にマッチした（適した）葉ノードを速やかに探し出すことができる。言い換えれば、このような木構造を採用することによって、画像処理装置は、木構造の全体をトラバースで探索しなくても良い。したがって、画像処理装置は、探索速度を大きく向上させることができる。勿論、画像ブロック集合を再帰的に分割するプロセスに、分割するたびに使用される分割面は、ただ画像ブロック集合の空間のある次元を代表するため、このような木構造から検出された葉ノードは探索対象に最もマッチした画像ブロックではない可能性がある。しかし、探し出した葉ノードの近傍集合をさらに探索することにより、探索結果を更に最適化させることができる。

例えば、画像処理装置は、任意の適切な方法で画像ブロックのそれぞれについての近傍画像ブロックを探索する。例えば、画像処理装置は、図１のステップＳ１０１において、Ｋ近傍（K Nearest Neighbors）探索法などの方法で、ある画像ブロックについての近傍画像ブロックを探索する。ここで、例を逐一挙げない。図５を用いて、図１のステップＳ１０１の処理を説明する。図５は、一実施例における近傍画像ブロックを探索する方法を模式的に示すフローチャートである。図５の探索方法では、画像処理装置は、一グループの疑似点を画像ブロックのそれぞれにリンクすることで、画像ブロックのそれぞれについての近傍集合を生成する。

図５に示すように、例えば、画像ブロックＰが画像ブロック集合中の一つの画像ブロックであると想定すると、画像ブロックＰについての近傍画像ブロックを探索する方法、つまり、図１のステップＳ１０１の処理は、ステップＳ３０１からステップＳ３０６までのステップを含む。ステップＳ３０１において、画像処理装置は、例えば、一つの特徴ベクトルをランダムに生成する。この特徴ベクトルの次元数は、画像ブロックＰに含まれる画素数と同等であり、つまり、両者が同一の特徴空間に位置し、かつ当該特徴ベクトルと画像ブロックＰとの距離は、所定の範囲内にあり、すなわち、画像ブロック集合の空間のある次元又はある複数の次元（実際の状況に応じて画像ブロック集合の空間におけるある次元又は複数の次元を選択する。選択された次元数が多いほど、当該特徴ベクトルで探し出された近傍画像ブロックが正確となる。ここで限定しない。）において、当該特徴ベクトルと画像ブロックとの距離はある閾値を超えない。当該所定の範囲または閾値は実際の適用シーンに応じて設定されることができることを理解すべきであるが、ここで限定しない。また、例えば、ここで生成される特徴ベクトルの次元数は、画像ブロックＰに含まれる画素数と等しい。つまり、この特徴ベクトルと画像ブロックＰとが同一の特徴空間に位置する。また、この特徴ベクトルと画像ブロックＰとの距離は、所定の範囲内である。すなわち、画像ブロック集合の空間のある次元又はある複数の次元において、特徴ベクトルと画像ブロックとの距離はある閾値を超えない。ここで、ある次元又は複数の次元は、実際の状況に応じて画像ブロック集合の空間から選択される。ここで選択された次元数が多いほど、特徴ベクトルによって探索された近傍画像ブロックは正確になる。なお、ここで選択される次元数は、画像処理装置を利用する者が任意に設定して良い。また、上記の閾値についても、画像処理装置を利用する者が任意に設定して良い。

ステップＳ３０２において、画像処理装置は、例えば、生成した特徴ベクトルを探索対象として、画像ブロック集合において、探索対象から最も近い画像ブロックを探索する。例えば、画像処理装置は、任意の適切な探索方法（網羅的探索法、exhaustive search）を用いて、画像ブロック集合において探索対象に最も近い画像ブロックを探索する。ここで詳しく説明しない。

ステップＳ３０３において、画像処理装置は、例えば、探索した最も近い画像ブロックが画像ブロックＰと同一であるか否かを判断する。同一であると判断された場合には、画像処理装置は、ステップＳ３０５に移行する。同一でないと判断された場合には、画像処理装置は、ステップＳ３０４において、探索した最も近い画像ブロックを一つの疑似点とするとともに、疑似点に関連する計数値を増加する。具体的には、画像処理装置は、今巡で探索し取得された疑似点はこの前のある巡又は複数巡の探索において得られた疑似点と同じであれば、その計数値に１を増加する。今巡で探索して取得された疑似点はこの前に探索して取得された疑似点のいずれとも同じではなければ、その計数値を１に設定する。また、例えば、画像処理装置は、探索した疑似点ごとに計数値を加える。つまり、探索した疑似点が既に探索済みの疑似点であった場合には、画像処理装置は、探索済みの疑似点に設定された計数値に１を加算する。一方、探索した疑似点が未探索の疑似点であった場合には、画像処理装置は、探索した疑似点の計数値に１を設定する。

ステップＳ３０５において、画像処理装置は、探索がＴ巡実行されたか否かを判断する。Ｔ巡実行された場合には、画像処理装置は、ステップＳ３０６に移行する。Ｔ巡実行されていない場合には、画像処理装置は、ステップＳ３０１の処理に移行し、ステップＳ３０１からステップＳ３０４までの処理を繰り返し実行する。つまり、画像処理装置は、特徴ベクトルをランダムに生成するステップと探索のステップとを繰り返し実行する。ここで、Ｔは、１より大きい整数であり、具体的な値が実際の必要に応じて設定される。つまり、画像処理装置は、特徴ベクトルをランダムに生成するステップと、画像ブロック集合から特徴ベクトルの疑似点を探索するステップとを複数回繰り返し実行してもよく、また、実際の適用シーンに応じて、特徴ベクトルをランダムに生成するステップ及び探索のステップを繰り返し行う回数を特定してもよい。一般的に、繰り返し回数が多いほど、得られた結果が正確になるが、計算量も大きくなる。したがって、実際の需要に応じてＴの値を比較判断してもよい。また、Ｔの値は、画像処理装置を利用する者が任意に設定して良い。

ステップＳ３０６において、画像処理装置は、探し出された、大きい計数値に関連する一つ又は複数の疑似点を、当該画像ブロックＰの近傍集合とする。また、例えば、画像処理装置は、探索した疑似点のうち、疑似点の計数値が閾値よりも大きい疑似点を近傍画像ブロックとする。また、例えば、画像処理装置は、画像ブロックＰについて探索された一つ又は複数の近傍画像ブロックを画像ブロックＰの近傍集合とする。また、上記の計数値の閾値は、画像処理装置を利用する者が任意に設定して良い。

図５に示した方法において、ランダムに生成された、探索対象となる特徴ベクトルは、一次元または幾つかの次元しかないため、複数の次元の画像ブロックを探索対象として近傍画像ブロックを探索すると比べて、計算量が大きく減少されるため、探索速度を向上させることができる。

例えば、画像処理装置は、図５に示した探索方法と、図２に示した画像ブロック集合を木構造に組織する方法とを組み合わせて用いても良い。上記のように、図２に示した方法で木構造に組織された画像ブロック集合から探索して取得された葉ノードは、探索対象に最もマッチした画像ブロックではない可能性がある。図６に示すように、探索対象６ａから最も近い画像ブロックは画像ブロック６ｂであり、画像ブロック６ｃではない。しかし、実際の分割面は分割面６ｄとなる可能性があり、この分割面６ｄによれば、木構造において探索して取得された葉ノードは画像ブロック６ｃとなる。図５に示した方法を利用することにより、画像処理装置は、一グループの疑似点を各葉ノード（一つの画像ブロックに対応する）にリンクして各葉ノードのそれぞれについての近傍集合を形成する。例えば、画像ブロック６ｃの近傍集合は、画像ブロック６ｂを含むことができる。このように、画像処理装置は、近傍集合においてさらに探索すると、探索対象に最もマッチした画像ブロックを取得することができる。図６は、近傍画像ブロックを探索する方法と多階層木構造を用いた方法との組合せについて説明するための図である。

図７を用いて、近傍画像ブロックを探索する方法と多階層木構造を用いた方法との組合せについてさらに説明する。図７において、画像ブロック集合中のある画像ブロックＰｔは、木構造における一つの葉ノードに対応する。図７に示すように、画像処理装置は、画像ブロックＰｔに対して、まず、画像ブロック集合の空間において画像ブロックＰｔを含むセルＣｅｌｌ＿Ｐｔを探し出す。このセルＣｅｌｌ＿Ｐｔは、境界ボックス又はbounding boxとも称する。このセルＣｅｌｌ＿Ｐｔは、木構造において分割よって葉ノードＰｔが取得されて対応する複数の分割面で囲む最小の空間セルに対応する。また、例えば、このセルＣｅｌｌ＿Ｐｔは、木構造において分割された複数の分割面で囲まれた最小の空間セルに対応する。画像処理装置は、セルＣｅｌｌ＿Ｐｔにおいて、一つの特徴ベクトルＱｔをランダムに生成する。この特徴ベクトルＱｔは、探索対象とも称する。例えば、画像処理装置は、画像ブロック集合において探索対象Ｑｔに最も近い画像ブロックＰｔ＿ｔｒｕｅを網羅的探索法で探索する。画像処理装置は、探索したＰｔ＿ｔｒｕｅが画像ブロックＰｔと異なる場合に、Ｐｔ＿ｔｒｕｅを一つの疑似点として画像ブロックＰｔの疑似点リストに設定する。疑似点リストに探索したＰｔ＿ｔｒｕｅが既に存在している場合には、対応する出現頻度の計数値に１を加算し、さもなければ、対応する出現頻度の計数値を1に設定する。画像処理装置は、上記の探索対象Ｑｔをランダムに生成するステップから疑似点を更新するステップまで（具体的な回数は、実際の適用によって特定することができるため、ここで限定しない）を複数回繰り返し実行する。画像処理装置は、相応する出現頻度の計数値に基づいて、疑似点リストにおける各疑似点をソートして、出現頻度の計数値が大きい一つまたは複数のものを選択して画像ブロックＰｔの近傍集合とする。例えば、画像処理装置は、疑似点リストにおいて出現頻度の計数値がある閾値Ｆ＿ｔｈよりも小さい疑似点を除去してもよい。閾値Ｆ＿ｔｈは具体的なシーンにより設定されてもよい。ここで限定しない。

図７は、近傍画像ブロックを探索する方法と多階層木構造を用いた方法との組合せについて説明するための図である。図７に示すように、分割面７ａと分割面７ｂのそれぞれが実際の分割面を表し、実際の分割面で囲まれた領域７ｃはＣｅｌｌ＿Ｐｔとなる。また、分割面７ｄと分割面７ｅのそれぞれは理想分割面を表す。領域７ｆと領域７ｇとは、実際分割面と理想分割面との間の誤差による必要疑似点のエラー領域を表す。このうち、領域７ｆは、前記の例示の方法によって探し出された、出現頻度が高い疑似点の領域を表す。領域７ｇは、前記の例示の方法によって探し出された、出現頻度が低い疑似点（除去可能）の領域を表す。

当該例示において、画像処理装置は、まず、葉ノードＰｔに対応するセルＣｅｌｌ＿Ｐｔを探し出すため、ランダムに生成された特徴ベクトル（探索対象）のいずれも当該セル内に位置することを保証することができ、間違った探索対象の生成が防止され、生成された近傍集合の正確性が保証される。なお、画像処理装置は、疑似点リストにおける各疑似点の出現頻度を計算することにより、出現頻度の最も高い疑似点のみを保留することを保証することができる。したがって、画像処理装置は、記憶の速度を向上させるとともに、所要の記憶空間も減少させることができる。

次に、一実施例における画像処理方法を利用する画像処理装置について説明する。

図８は、一実施例における画像処理装置の模式的な構成ブロック図である。図８に示したように、この画像処理装置１００は、処理部１０１と記憶部１０２とを含む。

処理部１０１は、サンプル画像から抽出された複数の画像ブロックを含む画像ブロック集合に対して処理を行う。具体的には、処理部１０１は、画像ブロック集合における画像ブロックのそれぞれについて、一つ又は複数の近傍画像ブロックを探索する。処理部１０１は、画像処理方法と同様に、画像ブロック集合を探索することによって取得した一つ又は複数の近傍画像ブロックを、画像ブロックのそれぞれについての近傍集合とする。この近傍集合は、画像ブロック集合における画像ブロックのそれぞれから最も近い一つ又は複数の画像ブロックを含む。

記憶部１０２は、画像ブロック集合及び処理部１０１によって取得された画像ブロック集合における画像ブロックごとの近傍集合と関連する情報を含むことができる。

図８に示すように、画像処理装置は、訓練によって複数の画像ブロックを含む訓練集合を取得した後に、その訓練集合中の画像ブロックのそれぞれについて近傍集合を生成する。また、画像処理装置は、その訓練集合を保存する際に、その訓練集合中のなかの画像ブロックのそれぞれについての近傍集合の情報を保存する。このようなことから、画像処理装置は、後続の画像処理において訓練集合を探索する必要があるときに、探索によってある画像ブロックが取得された後に、画像ブロックの近傍集合の情報を更に取得することができ、必要に応じて近傍集合において更なる細かい探索を行って、要求に合った画像ブロックを取得することができる。訓練集合のみを生成及び保存する方法又は装置と比べると、図８に示した画像処理装置が生成する情報の方が、後続の探索に対してより有利であり、すなわち、より正確な情報を探索によって取得することができる。

他の実施例において、処理部１０１は、さらに、画像ブロック集合を階層化された木構造に組織しても良い。例えば、上述した図２、図３Ａから図３Ｄ、図４を参照して説明した方法で画像ブロック集合を木構造に組織する。なお、処理の詳細については、上述した通りである。

他の実施例において、処理部１０１は、上述した図５、図６及び図７を参照して説明した方法で画像ブロック集合中の画像ブロックのそれぞれについての近傍集合を探索しても良い。なお、処理の詳細については、上述した通りである。

他の実施例において、画像処理方法及び画像処理装置における画像ブロック集合中の画像ブロックは、グループとなるものであっても良い。グループごとの画像ブロックは、互いに対応する二つ以上の画像ブロックを含む。このように、画像ブロックのそれぞれについての複数の近傍画像ブロックを探索する処理（ステップＳ１０１、ステップＳ２０２）は、画像ブロック集合においてグループごとの画像ブロック中の一つの画像ブロックから最も近い一つ又は複数の画像ブロックを探索し、前記の一つ又は複数の画像ブロックが対応する一グループ又は複数のグループの画像ブロックを当該グループの画像ブロックについての近傍集合とすることを含むことができる。この場合、画像ブロック集合を木構造に組織すると、その木構造における葉ノードのそれぞれが一グループの画像ブロックに対応する。例えば、画像処理装置は、ある画像の超解像処理において、互いに対応する低解像度と高解像度の画像ブロックを複数ペア含む画像ブロック集合を生成する。すなわち、画像処理装置は、大量の低解像度と高解像度の画像ブロックのサンプルペアを利用して互いに対応する低解像度と高解像度の画像ブロックを複数のペアを抽出して、複数のペアの画像ブロックを含む訓練集合を生成する。画像処理装置は、画像ブロックのそれぞれについての近傍集合を探索するときに、ペア毎の画像ブロック中の一つの画像ブロックについての近傍集合のみを探索してもよく、解像度が近傍集合における画像ブロックと対応する画像ブロックを、画像ブロックのペア中の他の画像ブロックについての近傍集合とする。言い換えれば、ペア毎の画像ブロックは、互いに対応する一ペアの近傍集合に対応する。例えば、一つの低解像度画像を利用して高解像度画像を生成するときに、低解像度画像においてある領域を探索対象とし、訓練集合においてそれにマッチした低解像度画像ブロックを探索することにより、低解像度画像ブロックに対応する高解像度画像ブロックを取得することができ、高解像度画像ブロックを利用すれば、探索対象となる領域に対応する高解像度領域を再構築することができる。

図９は、一実施例における画像処理方法を模式的に示すフローチャートである。図９に示した方法では、上述した画像処理方法又は画像処理装置により取得した画像ブロック集合と近傍集合の情報を利用して画像処理を行う。

図９に示したように、画像探索方法は、ステップＳ４０１とステップＳ４０２とを含む。

ステップＳ４０１において、画像処理装置は、ある探索対象に対して、まず、サンプル画像から抽出された複数の画像ブロックを含む画像ブロック集合において粗い探索を行って、探索対象から近似的に最も近い画像ブロックを取得する。ここで、画像処理装置は、任意の探索方法で粗い探索を行ってよい。例えば、ランダム探索、カオス探索又は均等間隔探索などを採用してよい。ここで逐一に例を挙げない。また、例えば、画像処理装置は、サンプル画像から抽出された複数の画像ブロックを含む画像ブロック集合と、その画像ブロック集合に含まれる画像ブロックのそれぞれから最も近い一つ又は複数の画像ブロックとを対応付けて記憶する記憶部に記憶された画像ブロック集合から、探索対象に最も近い画像ブロックを探索する。

画像ブロック集合における画像ブロックのそれぞれは、いずれも一つの近傍集合を有する。また、近傍集合は、画像ブロック集合において画像ブロックから最も近い一つ又は複数の画像ブロックを含む。したがって、画像処理装置は、例えば、粗い探索により、ある画像ブロックを探し出した後に、ステップＳ４０２において細かい探索を行う。すなわち、画像処理装置は、例えば、その近傍集合において探索対象から最も近い一つ又は複数の画像ブロックを探索する。例えば、画像処理装置は、細かい探索によって取得された画像ブロックを探索対象についての一つ又は複数の最近傍画像ブロックとすることができる。また、例えば、画像処理装置は、探索した画像ブロックから最も近い一つ又は複数の画像ブロックを記憶部から取得し、取得した一つ又は複数の画像ブロックから探索対象に最も近い一つ又は複数の画像ブロックを探索する。

図９に示した方法において、画像処理装置は、例えば、上述した画像処理方法又は画像処理装置が生成した画像ブロック集合における画像ブロック毎の近傍集合の情報を利用する。これらの情報を利用することによって、画像処理装置は、例えば、探索を粗い探索と細かい探索との二つステップに分けて行う。すなわち、画像処理装置は、例えば、まず、粗い探索によって探索対象に近似的マッチした結果を速やかに探索する。そして、画像処理装置は、例えば、探索結果としての近傍集合に基づき細かい探索を行うことによって、最もマッチした結果を探索する。このため、画像処理装置は、例えば、探索速度を向上させると共に、正確な探索結果を取得することができる。

他の実施例において、画像ブロック集合は、階層化された木構造に組織されたものであっても良い。また、葉ノードのそれぞれは、画像ブロック集合のうちの一つまたは一グループの画像ブロックに対応する。根ノードは、画像ブロック集合に対応し、また、画像ブロック集合を次の階層のノードに対応するサブ集合に分割するための限界の情報を含む。分岐ノードのそれぞれは、画像ブロック集合の一つのサブ集合に対応し、分岐ノードに対応するサブ集合を次の階層のノードに対応するサブ集合に分割するための限界の情報を含む。例えば、画像ブロック集合は、図４に示した構造に組織される。この場合、画像処理装置は、例えば、画像ブロック集合において粗い探索を行うステップ（例えばステップＳ４０１）において、探索対象に近似的にマッチした葉ノードに到達するまで、木構造の根ノードから階層順に、次の階層における探索対象にマッチしたノードへ移動する。ここで、画像処理装置は、例えば、階層毎に、ノード中の情報に基づいて次の階層において前記探索対象にマッチしたノードを選択する。このような粗い探索によって探索対象に近似的にマッチしたある葉ノードを取得した後に、画像処理装置は、さらに、葉ノードの近傍集合において細かい探索を行うことによって、探索対象に最もマッチした構造を取得する。この方法において、画像処理装置は、例えば、画像ブロック集合の全体（木構造）をトラバースする必要がなく、葉ノードの近傍集合に含まれた要素が相対的に少なくなる。したがって、画像処理装置は、例えば、正確な探索結果を取得すると共に、探索速度を向上させることができる。

上記の実施例と類似し、画像ブロック集合における画像ブロックはグループとなるものであってよい。グループ毎の画像ブロックは、互いに対応する二つ以上の画像ブロックを含んでいてよい。

例えば、画像処理装置は、画像の超解像処理において、複数のペアの画像ブロックを含む画像ブロック集合を生成する。ペア毎の画像ブロックは、互いに対応する一ペアの低解像度画像ブロックと高解像度画像ブロックとを含む。具体的には、画像処理装置は、例えば、大量の低解像度と高解像度の画像サンプルペアを利用して互いに対応する低解像度と高解像度の画像サンプルを複数ペア抽出して、複数のペアの画像ブロックが含まれた訓練集合（または辞書と称す）を形成する。画像処理装置は、例えば、低解像度画像を利用して高解像度画像を生成するときに、このような訓練集合を利用する。図１０は、一実施例における画像処理方法を模式的に示すフローチャートである。

図１０に示したように、この画像処理方法は、ステップＳ５０１、ステップＳ５０２及びステップＳ５０３を含む。

ステップＳ５０１は、ステップＳ４０１と類似し、複数のペアの画像ブロックを含む画像ブロック集合において粗い探索を行うステップである。画像ブロック集合におけるペア毎の画像ブロックは、互いに対応する一ペアの低解像度画像ブロックと高解像度画像ブロックを含む。これらの画像ブロックは、いずれも大量の低解像度と高解像度の画像サンプルペアを利用して抽出されたものである。また、画像ブロック集合における各画像ブロックのそれぞれは、一つの近傍集合を有する。近傍集合は、上記に説明された画像処理方法又は画像処理装置によって生成されたものであってもよく、ここで重複説明しない。画像処理装置は、例えば、低解像度画像を利用して高解像度画像を再構築するために、低解像度画像におけるある領域を探索対象とする。まず、画像処理装置は、例えば、画像ブロック集合において粗い探索を行って、探索対象に近似的にマッチした画像ブロックを取得する。上述した画像処理方法及び画像処理装置と同様に、任意の適当な方法で粗い探索を行って良い。例えば、画像処理装置は、画像ブロック集合が木構造に組織された場合には、探索対象に近似的にマッチした葉ノードに到達するまで、木構造の根ノードから階層順に、次の階層における探索対象にマッチしたノードへ移動する。ここで、画像処理装置は、階層毎に、ノード中の情報に基づいて次の階層において探索対象にマッチしたノードを選択する。また、画像処理装置は、ランダム探索、カオス探索又は均等間隔探索などの他の方法により粗い探索を行ってもよい。ここで、重複な説明をしない。

ステップＳ５０２において、画像処理装置は、例えば、粗い探索によって取得された、探索対象から近似的に最も近い画像ブロックの近傍集合において細かい探索を行って、そのうちの探索対象から最も近い一つ又は複数の画像ブロックを探し出し、探索対象の一つ又は複数の最近傍画像ブロックとする。これらの最近傍画像ブロックはいずれも低解像度の画像ブロックである。

ステップＳ５０３において、まず、画像処理装置は、例えば、探索対象の一つ又は複数の最近傍画像ブロックに対応する一つ又は複数の高解像度画像ブロックを探し出し、その後に、これらの高解像度画像ブロックを利用して高解像度画像領域を生成して、高解像度画像における探索対象の位置に対応する部分とする。画像処理装置は、例えば、任意の適当な方法により、一つ又は複数の高解像度画像ブロックを利用して高解像度画像領域を生成する。画像処理装置は、例えば、以下の文献（関連文献１と称す）中の関連方法を採用することができ、すなわち、Wei Fanなどの著者の“Image Hallucination Using Neighbor Embedding Over Visual Primitive Manifolds”（Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition（CVPR)アメリカメネソタ州，2007年6月18−23日）である。その文献の内容は引用によりここで合併される。

このように、画像処理装置は、例えば、低解像度画像における領域のそれぞれに対して上記の処理を行って、低解像度画像に対応する高解像度画像を再構築する。図１０に示した方法では、画像処理装置は、例えば、同様に上記の画像処理方法又は画像処理装置によって生成された画像ブロック集合における各画像ブロックの近傍集合の情報を利用する。このため、画像処理装置は、例えば、探索速度が向上するとともに、正確な探索結果を取得することができる。なお、図１０の方法において、画像処理装置は、一枚の低解像度画像のみを利用して高解像度画像を生成することができる。

図１１は、一実施例における画像処理装置の模式的な構成を示す機能ブロック図である。この画像処理装置１１０は、図９に示した画像処理方法と類似し、上述した画像処理方法又は画像処理装置により得られた画像ブロック集合及び近傍集合の情報を利用して画像処理を行う。

図１１に示したように、画像処理装置１１０は、試査探索部１１１と精査探索部１１２とを含む。

例えば、試査探索部１１１は、ある探索対象に対し、サンプル画像から抽出された複数の画像ブロックを含む画像ブロック集合において粗い探索を行って、探索対象から近似的に最も近い画像ブロックを取得する。試査探索部１１１は任意の適当な探索方法を利用して粗い探索を行っても良い。ここで重複な説明を省略する。

画像ブロック集合における画像ブロックのそれぞれは、いずれも一つの近傍集合を有し、かつ、近傍集合は、画像ブロック集合において画像ブロックから最も近い一つまたは複数の画像ブロックを含む。したがって、試査探索部１１１がある画像ブロックを探し出した後に、精査探索部１１２は、画像ブロックの近傍集合において、探索対象から最も近い一つ又は複数の画像ブロックを探し出して、探索対象の一つの又は複数の最近傍画像ブロックとする。

図１１に示した画像処理装置１１０は、上述した画像処理方法または画像処理装置によって生成された画像ブロック集合における各画像ブロックの近傍集合の情報を利用することで、探索速度が向上するとともに、正確な探索結果を取得することができる。

上記の幾らかの実施例と類似し、画像ブロック集合は、階層化された木構造に組織されたものであってもよく、その中、葉ノードのそれぞれが画像ブロック集合中の一つ又は一グループの画像ブロックに対応する。根ノードは、画像ブロック集合に対応し、画像ブロック集合を次の階層のノードに対応するサブ集合に分割するための限界の情報を含む。分岐ノードのそれぞれは、画像ブロック集合の一つのサブ集合に対応し、分岐ノードに対応するサブ集合を次の階層のノードに対応するサブ集合に分割するための限界の情報を含む。例えば、画像ブロック集合は、図５に示した構造に組織されても良い。この場合には、試査探索部１１１は、探索対象に近似的にマッチした葉ノードに到達するまで、木構造の根ノードから階層順に、次の階層における探索対象にマッチしたノードへ移動する。ここで、試査探索部１１１は、階層毎に、ノード中の情報に基づいて次の階層において探索対象にマッチしたノードを選択する。試査探索部１１１は、探索対象に近似的にマッチした葉ノードを、試査探索部１１１の出力結果とする。このため、試査探索部１１１は、画像ブロック集合の全体（木構造）に対してトラバースする必要がなく、葉ノードの近傍集合に含まれた要素が相対的に少なくなる。したがって、試査探索部１１１は、正確な探索結果を取得するとともに、さらに探索速度を向上させることができる。

前記の幾らかの実施例と類似し、画像ブロック集合における画像ブロックは、グループとなるものであってもよい。グループ毎の画像ブロックは、互いに対応する二つ以上の画像ブロックを含む。

図１２は、一実施例における画像処理装置の模式的な構成を示す機能ブロック図である。この画像処理装置１２０は、画像処理装置１１０と類似し、この実施例において異なるところは、利用される画像ブロック集合中の画像ブロックがペアとなることである。ペア毎の画像ブロックは、互いに対応する一ペアの低解像度画像ブロックと高解像度画像ブロックとを含む。また、画像ブロック集合における画像ブロックのそれぞれは、いずれも一つの近傍集合を有する。近傍集合は、上記に説明した画像処理方法または画像処理装置によって生成されたものであってよく、ここで重複説明をしない。図１２に示したように、画像処理装置１２０は、試査探索部１２１と、精査探索部１２２と、解像度強化部１２３とを含む。

試査探索部１２１は、例えば、低解像度画像におけるある領域を探索対象として、画像ブロック集合において粗い探索を行い、探索対象に近似的にマッチした画像ブロックを取得する。上記の実施例／例示と類似し、任意の適当な方法で粗い探索を行うことができる。例えば、試査探索部１２１は、画像ブロック集合が木構造に組織された場合は、探索対象に近似的にマッチした葉ノードに到達するまで、木構造の根ノードから階層順に、次の階層における探索対象にマッチしたノードへ移動する。ここで、試査探索部１２１は、階層毎に、ノード中の情報に基づいて、次の階層において探索対象にマッチしたノードを選択する。試査探索部１２１は、他の方法を利用して粗い探索を行ってもよいが、ここで重複な説明をしない。

精査探索部１２２は、試査探索部１２１で粗い探索によって取得された、探索対象から近似的に最も近い画像ブロックの近傍集合において、細かい探索を行って、探索対象から最も近い一つ又は複数の画像ブロックを探し出し、探索対象の一つ又は複数の最近傍画像ブロックとする。これらの最近傍画像ブロックは、いずれも低解像度の画像ブロックである。

そして、解像度強化部１２３は、まず、探索対象の一つ又は複数の最近傍画像ブロックに対応する一つ又は複数の高解像度画像ブロックを探し出し、その後、これらの高解像度画像ブロックを利用して高解像度画像領域を生成して、高解像度画像における探索対象の位置に対応する部分とする。解像度強化部１２３は、任意の適当な方法（例えば、上記に言及した関連文献１に係る方法）により、一つ又は複数の高解像度画像ブロックを利用して、前記の高解像度画像領域を生成するが、ここで重複な説明をしない。このため、画像処理装置１２０は、試査探索部１２１、精査探索部１２２及び解像度強化部１２３を利用して、低解像度画像における領域のそれぞれに対して上記の処理を行うと、低解像度画像に対応する高解像度画像を再構築することができる。

図１０に示した方法の実施例と類似し、図１２に示した画像処理装置は、同様に上記の画像処理方法又は画像処理装置によって生成された、画像ブロック集合における画像ブロック毎の近傍集合の情報を利用する。このため、画像処理装置１２０は、探索速度が向上するとともに、正確な探索結果を取得することができる。なお、図１２の画像処理装置は、一枚の低解像度画像のみを利用して高解像度画像を生成することができる。

図１３Ａは、低解像度画像の一例を示す図である。図１３Ｂは、従来技術の双線形補間法によって生成された高解像度画像の一例を示す図である。図１３Ｃは、開示技術の画像処理装置によって生成された高解像度画像の一例を示す図である。図１３Ｄは、撮影された高解像度画像の一例を示す図である。これにより、開示技術の画像処理装置によって生成された高解像度画像の品質は満足できるものであることがわかる。

上述の実施例及び例示は例示的なものであり、網羅性のものではない。開示技術は、いかなる具体的な実施例又は例示に限定されない。開示技術の実施例又は例示において、係る画像サンプル又は画像ブロックはいかなるフォーマットであってもよいが、ここで、いずれの限定もしない。

一つの例示として、前記の方法の各ステップ及び前記の装置の各構成モジュール及び／又は装置は、ソフトウェア、ファームウェア、ハードウェアまたはその組み合わせの方式として実施することができる。例えば、画像処理機能を有する各種の装置（コンピュータ、個人用携帯情報端末（ＰＤＡ）、カメラ、ビデオカメラ及びその他の画像処理装置などのようなもの、ここで逐一に例を挙げない）の一部とすることができる。前記の装置における各構成モジュールがソフトウェア、ファームウェア、ハードウェアまたはその組み合わせの方式によって配置されるときに、使用される手段または方法は、当業者にとって熟知されているものであるため、ここで説明を省略する。

前記のように、上記の方法及び装置において画像を処理するステップ及びモジュールは、ソフトウェアによって実現することができる。記憶媒体又はネットワークから専用のハードウェア構成を持つコンピュータ（例えば、図１４に示した汎用コンピュータ１４０）へ当該ソフトウェアを構成するプログラムがインストールされる。当該コンピュータは各種プログラムがインストールされた場合に各種機能等を実行することができる。図１４は、実施例の実施に使用可能なコンピュータの模式的なブロック図である。

図１４においては、中央処理装置（ＣＰＵ）１４１が、読取専用メモリ（ＲＯＭ）１４２に記憶されたプログラム又は記憶部１４８からランダムアクセスメモリ（ＲＡＭ）１４３にアップロードされたプログラムにしたがって、各種の処理を実行する。ＲＡＭ１４３は、ＣＰＵ１４１が必要に応じて各種の処理等を実行するとき等に必要なデータを記憶する。ＣＰＵ１４１、ＲＯＭ１４２とＲＡＭ１４３同士はバス１４４を介して互いに接続されている。入力／出力インターフェース１４５もバス１４４に接続されている。

入力部１４６と、出力部１４７と、記憶部１４８と、通信部１４９とは、入力／出力インターフェース１４５に接続される。ここで、入力部１４６は、キーボード、マウス等を含む。出力部１４７は、ディスプレイ、例えばブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）等とスピーカ等を含む。記憶部１４８は、ハードディスク等を含む。通信部１４９は、ネットワークインターフェースカード、例えば、ＬＡＮカード、モデム等を含む。通信部１４９がネットワーク、例えばインターネットを経由して通信処理を実行する。必要に応じて、入力／出力インターフェース１４５にはドライブ１５０も接続されている。例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等のような着脱可能な媒体１５１は、必要に応じてドライブ１５０に取り付けられており、その中から読み出されたコンピュータプログラムが必要に応じて記憶部１４８にインストールされる。

ソフトウェアで前記の一連の処理を実現する場合、ネットワーク例えばインターネット、又は記憶媒体、例えば着脱可能な媒体１５１からソフトウェアを構成するプログラムをインストールする。

このような記憶媒体は、図１４に示したような、その中にプログラムが記憶されているものであって、デバイスから離れて配送されることでユーザにプログラムを提供する着脱可能な媒体１５１には限定されない。着脱可能な媒体１５１は、例えば、フロッピー（登録商標）などの磁気ディスク、コンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）やディジタルヴァーサタイルディスク（ＤＶＤ）などの光ディスク、ミニディスク（登録商標）などの光磁気ディスク及び半導体メモリである。また、記憶媒体は、ＲＯＭ１４２、記憶部１４８に含まれるハードディスクなどでも良い。その中にプログラムが記憶されており、これらを含むデバイスと一緒にユーザに提供される。

開示技術は更に、機器で読取可能な命令コードが記憶されたプログラム製品で提供される。前記の命令コードが機器で読取られて実行されると、前記の開示技術による実施例の方法を実行することができる。

それに対して、前記の機器で読取り可能な命令コードが記憶されたプログラム製品を搭載する記憶媒体も開示技術の開示に含まれる。前記の記憶媒体は、フロッピー（登録商標）、光ディスク、光磁気ディスク、メモリカード、メモリスティック等を含むが、これらに限定されない。

以上の開示技術の具体的な実施例の記述においては、一種の実施形態について記述し及び／又は示した特徴は同一あるいは類似の形態で一つ又は複数の他の実施形態で使用されたり、他の実施形態における特徴と組み合わせたり、あるいは他の実施形態における特徴の代替とすることができる。

ここで、説明する必要があるのは、専門用語“含む／有する”が本文で使用される場合には、特徴、要素、ステップ又はコンポーネントの存在を意味するが、一つ又は複数の他の特徴、要素、ステップ又はコンポーネントの存在又は付加を排除しない。

また、開示技術の方法は明細書において記述した時間順に実行することには限られず、その他の時間順序に従って、並行にあるいは個別に実行されてもよい。従って、本明細書で記述した方法の実行順序は開示技術の技術的範囲を制約しない。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）コンピュータが実行する画像処理方法であって、
サンプル画像から抽出された複数の画像ブロックを含む画像ブロック集合において、画像ブロックのそれぞれから最も近い一つ又は複数の画像ブロックを探索し、
前記画像ブロック集合と、当該画像ブロック集合に含まれる画像ブロックのそれぞれから最も近い一つ又は複数の画像ブロックとを対応付けて記憶部に保存する
ことを特徴とする画像処理方法。

（付記２）前記画像ブロックを探索する処理は、前記画像ブロック集合に含まれる画像ブロックとの距離が所定の範囲内にある特徴ベクトルをランダムに生成し、生成した特徴ベクトルから最も近い画像ブロックを探索し、探索した画像ブロックが前記画像ブロックと異なる場合に、探索した画像ブロックと関連する計数値を増加させ、計数値が閾値より大きい一つ又は複数の画像ブロックを最も近い画像ブロックとして探索すること特徴とする付記１に記載の画像処理方法。

（付記３）前記画像ブロック集合における画像ブロックは、互いに対応する二つ以上の画像ブロックがグループとなるものであって、
前記画像ブロックを探索する処理は、前記画像ブロック集合において、各グループの画像ブロック中の一つの画像ブロックから最も近い一つ又は複数の画像ブロックを探索することを特徴とする付記１に記載の画像処理方法。

（付記４）前記グループは、互いに対応する一ペアの低解像度画像ブロックと高解像度画像ブロックとを含むことを特徴とする付記３に記載の画像処理方法。

（付記５）前記画像処理方法は、前記画像ブロック集合を木構造に組織することを特徴とする付記１〜４のいずれか一つに記載の画像処理方法。

（付記６）前記画像ブロック集合における画像ブロックは、互いに対応する二つ以上の画像ブロックがグループとなるものであって、
前記木構造に組織する処理は、前記画像ブロック集合が分割された集合のそれぞれが１グループの画像ブロックを含むまで、前記画像ブロック集合を再帰的に分割することを特徴とする付記５に記載の画像処理方法。

（付記７）コンピュータが実行する画像処理方法であって、
サンプル画像から抽出された複数の画像ブロックを含む画像ブロック集合と、当該画像ブロック集合に含まれる画像ブロックのそれぞれから最も近い一つ又は複数の画像ブロックとを対応付けて記憶する記憶部に記憶された当該画像ブロック集合から、探索対象に最も近い画像ブロックを探索し、
前記画像ブロックを探索する処理により探索された画像ブロックから最も近い一つ又は複数の画像ブロックを前記記憶部から取得し、取得した一つ又は複数の画像ブロックから前記探索対象に最も近い一つ又は複数の画像ブロックを探索する
ことを特徴とする画像処理方法。

（付記８）前記画像ブロック集合における画像ブロックはグループとなるものであって、グループ毎の画像ブロックは互いに対応する一ペアの低解像度画像ブロックと高解像度画像ブロックとを含み、前記探索対象は低解像度画像におけるある領域である場合に、前記画像処理方法は、
前記探索対象の一つ又は複数の最近傍画像ブロックに対応する一つ又は複数の高解像度画像ブロックを利用して高解像度画像領域を生成することを特徴とする付記７に記載の画像処理方法。

（付記９）前記画像ブロック集合は階層化された木構造に組織され、かつ前記木構造の各葉ノードのそれぞれは前記画像ブロック集合における一つ又は一グループの画像ブロックに対応し、かつ前記画像ブロック集合において粗い探索を行うことは、
前記探索対象にマッチした葉ノードに到達するまで、前記木構造の根ノードから階層順に次の階層における前記探索対象にマッチしたノードへ移動することを特徴とする付記７又は８に記載の画像処理方法。

（付記１０）サンプル画像から抽出された複数の画像ブロックを含む画像ブロック集合において、画像ブロックのそれぞれから最も近い一つ又は複数の画像ブロックを探索する処理部と、
前記画像ブロック集合と、当該画像ブロック集合に含まれる画像ブロックのそれぞれから最も近い一つ又は複数の画像ブロックとを対応付けて記憶する記憶部と
を含むことを特徴とする画像処理装置。

（付記１１）前記処理部は、前記画像ブロック集合に含まれる画像ブロックとの距離が所定の範囲内にある特徴ベクトルをランダムに生成し、生成した特徴ベクトルから最も近い画像ブロックを探索し、探索した画像ブロックが前記画像ブロックと異なる場合に、探索した画像ブロックと関連する計数値を増加させ、計数値が閾値より大きい一つ又は複数の画像ブロックを最も近い画像ブロックとして探索すること特徴とする付記１０に記載の画像処理装置。

（付記１２）前記画像ブロック集合における画像ブロックは、互いに対応する二つ以上の画像ブロックがグループとなるものであって、
前記処理部は、前記画像ブロック集合において、各グループの画像ブロック中の一つの画像ブロックから最も近い一つ又は複数の画像ブロックを探索することを特徴とする付記１０に記載の画像処理装置。

（付記１３）前記グループは、互いに対応する一ペアの低解像度画像ブロックと高解像度画像ブロックとを含むことを特徴とする付記１２に記載の画像処理装置。

（付記１４）前記処理部は、前記画像ブロック集合を木構造に組織することを特徴とする付記１０〜１３のいずれか一つに記載の画像処理装置。

（付記１５）前記画像ブロック集合における画像ブロックは、互いに対応する二つ以上の画像ブロックがグループとなるものであって、
前記処理部は、前記画像ブロック集合が分割された集合のそれぞれが１グループの画像ブロックを含むまで、前記画像ブロック集合を再帰的に分割することを特徴とする付記１４に記載の画像処理装置。

（付記１６）サンプル画像から抽出された複数の画像ブロックを含む画像ブロック集合と、当該画像ブロック集合に含まれる画像ブロックのそれぞれから最も近い一つ又は複数の画像ブロックとを対応付けて記憶する記憶部に記憶された当該画像ブロック集合から、探索対象に最も近い画像ブロックを探索する試査探索部と、
前記試査探索部により探索された画像ブロックから最も近い一つ又は複数の画像ブロックを前記記憶部から取得し、取得した一つ又は複数の画像ブロックから前記探索対象に最も近い一つ又は複数の画像ブロックを探索する精査探索部と
を備えたことを特徴とする画像処理装置。

（付記１７）前記画像ブロック集合における画像ブロックはグループとなるものであって、グループ毎の画像ブロックは互いに対応する一ペアの低解像度画像ブロックと高解像度画像ブロックとを含み、前記探索対象は低解像度画像におけるある領域である場合に、前記画像処理装置は、
前記探索対象の一つ又は複数の最近傍画像ブロックに対応する一つ又は複数の高解像度画像ブロックを利用して高解像度画像領域を生成する解像度強化部を備えたことを特徴とする付記１６に記載の画像処理装置。

上記に開示技術の具体的実施例を記述することにより開示技術を開示したが、前記の全ての実施例と例示はいずれも例示的なものであり、限定的なものではないことを理解すべきである。当業者は添付の特許請求の範囲の精神と範囲に、開示技術に対する各種の修正、改良あるいは均等物を設計することができる。これらの修正、改良あるいは均等物は開示技術の保護範囲内に含まれるものであると考えられるべきである。

１００，１１０，１２０ 画像処理装置
１０１ 処理部
１０２ 記憶部
１１１，１２１ 試査探索部
１１２，１２２ 精査探索部
１２３ 解像度強化部

Claims (10)

1. コンピュータが実行する画像処理方法であって、
   サンプル画像から抽出された複数の画像ブロックを含む画像ブロック集合と、当該画像ブロック集合に含まれる画像ブロックのそれぞれから最も近い一つ又は複数の画像ブロックとを対応付けて記憶する記憶部に記憶された当該画像ブロック集合から、探索対象に最も近い画像ブロックを探索し、
   前記画像ブロックを探索する処理により探索された画像ブロックから最も近い一つ又は複数の画像ブロックを前記記憶部から取得し、取得した一つ又は複数の画像ブロックから前記探索対象に最も近い一つ又は複数の画像ブロックを探索する
   ことを特徴とする画像処理方法。
2. 前記画像ブロック集合における画像ブロックはグループとなるものであって、グループ毎の画像ブロックは互いに対応する一ペアの低解像度画像ブロックと高解像度画像ブロックとを含み、前記探索対象は低解像度画像におけるある領域である場合に、前記画像処理方法は、
   前記探索対象の一つ又は複数の最近傍画像ブロックに対応する一つ又は複数の高解像度画像ブロックを利用して高解像度画像領域を生成することを特徴とする請求項１に記載の画像処理方法。
3. コンピュータが実行する画像処理方法であって、
   サンプル画像から抽出された複数の画像ブロックを含む画像ブロック集合において、画像ブロックのそれぞれから最も近い一つ又は複数の画像ブロックを探索し、
   前記画像ブロック集合と、当該画像ブロック集合に含まれる画像ブロックのそれぞれから最も近い一つ又は複数の画像ブロックとを対応付けて記憶部に保存する
   ことを特徴とする画像処理方法。
4. 前記画像ブロックを探索する処理は、前記画像ブロック集合に含まれる画像ブロックとの距離が所定の範囲内にある特徴ベクトルをランダムに生成し、生成した特徴ベクトルから最も近い画像ブロックを探索し、探索した画像ブロックが前記画像ブロックと異なる場合に、探索した画像ブロックと関連する計数値を増加させ、計数値が閾値より大きい一つ又は複数の画像ブロックを最も近い画像ブロックとして探索すること特徴とする請求項３に記載の画像処理方法。
5. 前記画像ブロック集合における画像ブロックは、互いに対応する二つ以上の画像ブロックがグループとなるものであって、
   前記画像ブロックを探索する処理は、前記画像ブロック集合において、各グループの画像ブロック中の一つの画像ブロックから最も近い一つ又は複数の画像ブロックを探索することを特徴とする請求項３に記載の画像処理方法。
6. サンプル画像から抽出された複数の画像ブロックを含む画像ブロック集合と、当該画像ブロック集合に含まれる画像ブロックのそれぞれから最も近い一つ又は複数の画像ブロックとを対応付けて記憶する記憶部に記憶された当該画像ブロック集合から、探索対象に最も近い画像ブロックを探索する試査探索部と、
   前記試査探索部により探索された画像ブロックから最も近い一つ又は複数の画像ブロックを前記記憶部から取得し、取得した一つ又は複数の画像ブロックから前記探索対象に最も近い一つ又は複数の画像ブロックを探索する精査探索部と
   を備えたことを特徴とする画像処理装置。
7. 前記画像ブロック集合における画像ブロックはグループとなるものであって、グループ毎の画像ブロックは互いに対応する一ペアの低解像度画像ブロックと高解像度画像ブロックとを含み、前記探索対象は低解像度画像におけるある領域である場合に、前記画像処理装置は、
   前記探索対象の一つ又は複数の最近傍画像ブロックに対応する一つ又は複数の高解像度画像ブロックを利用して高解像度画像領域を生成する解像度強化部を備えたことを特徴とする請求項６に記載の画像処理装置。
8. サンプル画像から抽出された複数の画像ブロックを含む画像ブロック集合において、画像ブロックのそれぞれから最も近い一つ又は複数の画像ブロックを探索する処理部と、
   前記画像ブロック集合と、当該画像ブロック集合に含まれる画像ブロックのそれぞれから最も近い一つ又は複数の画像ブロックとを対応付けて記憶する記憶部と
   を含むことを特徴とする画像処理装置。
9. 前記処理部は、前記画像ブロック集合に含まれる画像ブロックとの距離が所定の範囲内にある特徴ベクトルをランダムに生成し、生成した特徴ベクトルから最も近い画像ブロックを探索し、探索した画像ブロックが前記画像ブロックと異なる場合に、探索した画像ブロックと関連する計数値を増加させ、計数値が閾値より大きい一つ又は複数の画像ブロックを最も近い画像ブロックとして探索すること特徴とする請求項８に記載の画像処理装置。
10. 前記画像ブロック集合における画像ブロックは、互いに対応する二つ以上の画像ブロックがグループとなるものであって、
    前記処理部は、前記画像ブロック集合において、各グループの画像ブロック中の一つの画像ブロックから最も近い一つ又は複数の画像ブロックを探索することを特徴とする請求項８に記載の画像処理装置。