JP2008299618A - 画像高品質化装置、方法およびプログラム - Google Patents

Abstract

【課題】高速に高品質な画像の生成を可能にする。
【解決手段】画像ブロック毎に第１高品質特徴量と第１低品質特徴量と第１領域情報とを関連付けて記憶する手段１０４と、第１領域情報毎に第１低品質特徴量から代表低品質画像特徴量を生成し、代表低品質画像特徴量毎に代表高品質画像特徴量を生成する手段１０３と、代表低品質画像特徴量と、代表高品質画像特徴量と、第１領域情報とを関連付けて記憶する手段１０４と、入力画像で、画像のパターンの類似性に応じて入力画像を複数の第２領域に分離する手段１０６と、入力画像ブロック毎に、第２領域情報と一致する第１領域情報に対応する代表低品質画像特徴量から１以上の第１選択特徴量を選択する手段１０７と、第１選択特徴量に対応する１以上の代表高品質画像特徴量を第２選択特徴量として選択する手段１０７と、第２選択特徴量を使用して、高品質画像を作成する手段１０７と、を具備する。
【選択図】図１

Description

本発明は、画像をパターンによる分離に基づいた学習手段、分離に基づいた画像作成手段により画像の高画質化、計算時間の削減の効果が得られるようにした、画像高品質化装置、画像高品質化方法および画像高品質化プログラムに関する。

低品質な入力画像に対して、高解像度化および鮮鋭化等の処理を行い、高品質画像を生成する技術について、学習データを用いる方法がある（例えば、非特許文献１参照）。

この方法は、まず、学習用画像を用いて低品質画像パッチと、このパッチに対応する高品質画像パッチを対にして記憶して辞書とする。次に、入力画像をパッチ分割する。そして、この分割されたパッチに類似する低品質画像パッチを辞書中から１つ以上選択し、さらに、この選択されたパッチと対になっている高品質画像パッチを読み込む。読み込まれた１つ以上の高品質画像パッチをマルコフネットワークのノードに割り当て、隣接ノードとの共起確率を考慮してノードに割り当てられる高品質画像パッチをネットワーク全体で最適化する。最後に、ノードに割り当てられた高品質画像パッチを用いて高品質画像を生成する。
W. T. Freeman, "Learning low level vision," International Journal of Computer Vision 40(1), pp25-47, 2000.

従来では、上述したように最適化により、例えば異なるオブジェクト領域間等の、本来隣接性を考慮する必要の無いノード間についても隣接性が考慮され、ノードの値が最適化されるまでのアルゴリズム反復回数が増加するという問題がある。
また、異なる画像パターンの領域について高品質画像パッチを同じ辞書に含めて記憶しているため、入力された低品質画像パッチに対応する高品質画像パッチとして異なるパターンのパッチが読み出され、画質が劣化するという問題がある。

本発明は、上述した問題点を解決するためになされたものであって、高速に高品質な画像の生成を可能にする画像高品質化装置、方法およびプログラムを提供することを目的とする。

上述の課題を解決するため、本発明の画像高品質化装置は、復元すべき画像の低品質化過程を再現する低品質化を学習用画像に施し学習用低品質画像を生成する第１生成手段と、前記学習用画像の第１高品質特徴量と、前記学習用低品質画像の第１低品質特徴量とを関連付けて生成する第２生成手段と、１以上の学習用画像に対して、前記第１高品質特徴量と前記第１低品質特徴量とを関連付けて記憶する記憶手段と、高品質化の対象となる入力画像において、画像のパターンの類似性に応じて該入力画像を複数の領域に分離する分離手段と、画像ブロック毎に、複数の前記領域のうちのどの領域に属しているかを示す領域情報を対応付ける対応付け手段と、前記画像ブロック毎に第２低品質特徴量を生成する生成手段と、前記画像ブロック毎に前記第２低品質特徴量との類似度が最も大きい前記第１低品質特徴量から類似度が高い順に１以上の第１低品質特徴量を選択する第１選択手段と、１以上の前記第１低品質特徴量に関連付けてある１以上の前記第１高品質特徴量を１以上の代表画像特徴量として選択する第２選択手段と、１以上の前記代表高品質画像特徴量をマルコフネットワークの、前記画像ブロックに対応するノードとして割り当てる割当手段と、ノード毎に、前記代表高品質画像特徴量の、代表低品質画像特徴量に対する適合度を示す生起エネルギーを計算する第１計算手段と、隣接するノード間毎に、隣接するノードに割り当てられた前記代表高品質画像特徴量同士の適合度を示す隣接エネルギーを計算する第２計算手段と、ノード毎に、生起エネルギーと隣接エネルギーとを含むエネルギー関数を最小化する高品質画像特徴量を、前記代表高品質画像特徴量から選択する第３選択手段と、ノード毎に選択された高品質画像特徴量を使用して高品質画像を作成する作成手段と、を具備し、前記第３選択手段は、ビリーフプロパゲーションによって前記エネルギー関数を最小化し、隣接するノード間で割り当てられた高品質画像特徴量の領域情報が異なる場合には、そのノード間でメッセージを伝播しないことを特徴とする。

本発明の画像高品質化装置は、復元すべき画像の低品質化過程を再現する低品質化を学習用画像に施し学習用低品質画像を生成する第１生成手段と、前記学習用画像の画像ブロック毎に、前記学習用画像の第１高品質特徴量と、前記学習用低品質画像の第１低品質特徴量とを関連付けて生成する第２生成手段と、前記画像ブロック毎に、どの領域であるかを示す第１領域情報を生成する第３生成手段と、１以上の学習用画像に対して、前記画像ブロック毎に前記第１高品質特徴量と前記第１低品質特徴量と前記第１領域情報とを関連付けて記憶する第１記憶手段と、前記第１領域情報毎に、該第１領域情報に関連付けられた少なくとも１つの第１低品質特徴量から、少なくとも１つの代表低品質画像特徴量を生成する第４生成手段と、前記代表低品質画像特徴量毎に、該代表低品質画像特徴量に対応する１以上の第１高品質特徴量を代表高品質画像特徴量として生成する第５生成手段と、前記代表低品質画像特徴量と、前記代表高品質画像特徴量と、前記第１領域情報とを関連付けて記憶する第２記憶手段と、高品質化の対象となる入力画像において、画像のパターンの類似性に応じて該入力画像を複数の第２領域に分離する分離手段と、前記入力画像の入力画像ブロック毎に、前記入力画像の第２低品質特徴量を生成する第６生成手段と、前記入力画像ブロック毎に、どの領域であるかを示す第２領域情報を生成する第７生成手段と、前記入力画像ブロック毎に、該入力画像ブロックに対応する第２領域情報と一致する前記第１領域情報に対応する代表低品質画像特徴量から１以上の第１選択特徴量を選択する第１選択手段と、前記第１選択特徴量に対応する１以上の前記代表高品質画像特徴量を第２選択特徴量として選択する第２選択手段と、第２選択特徴量を使用して、高品質画像を作成する作成手段と、を具備することを特徴とする。

本発明の画像高品質化装置、方法およびプログラムによれば、高速に高品質な画像の生成を可能にする。

以下、図面を参照しながら本発明の実施形態に係る画像高品質化装置、方法およびプログラムについて詳細に説明する。なお、以下の実施形態中では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
本実施形態の概要を簡単に説明する。
本実施形態では、画像をパターンの類似性に基づいて領域分離してラベル付けし、ラベル情報毎に特徴量を学習して記憶する。このラベル付けにより、異なるラベル情報を持つ領域間では隣接性を考慮しないこと、すなわち、本来考慮する必要の無い隣接ノード関係を無視することができ、出力画像の画質を損なうことなくノードの値が最適化されるまでのアルゴリズム反復回数が減少し、処理時間が減少する。換言すれば、アルゴリズムの収束速度を向上させることができる。
また、各画像パターンに特化した辞書を作成して用い、入力画像を領域分離して領域情報に適合した特徴量を辞書に記憶されている特徴量から選択することで、画像生成時の高品質画像パッチを読み出す際に異なるパターンのパッチを読み出すことが無くなり、画質が向上する。

本実施形態の画像高品質化装置について図１を参照して説明する。
本実施形態の画像高品質化装置は、学習用画像を取得して辞書を作成する辞書作成部１０５と、低品質画像を取得して辞書作成部１０５の辞書を参照することにより高品質画像を生成する画像生成部１０８を含む。

低品質化回路１０１は、辞書作成部１０５に含まれ、高品質な画像である学習用画像を学習用画像データベース（図示せず）から取得し、画像高品質化装置が復元すべき画像の低品質化過程を再現する低品質化を学習用画像に施して学習用低品質画像を生成する。具体例は後に図３を参照して説明する。

領域分離回路１０２は、辞書作成部１０５に含まれ、低品質化回路１０１で生成された学習用低品質画像を画像のパターンの類似性に基づいて画像ブロック毎に領域分離してラベル付けしたラベル情報を生成する。なお、領域分離回路１０２は、必須ではなくこの回路がなくても本実施形態の効果はある。

特徴量学習回路１０３は、辞書作成部１０５に含まれ、取得した学習用画像と、低品質化回路１０１が生成した学習用低品質画像と、領域分離回路１０２が生成したラベル情報とを取得してラベル付けされた特徴量を生成する。

特徴量記憶メモリ１０４は、辞書作成部１０５に含まれ、特徴量学習回路１０３が抽出した特徴量を記憶する。

領域分離回路１０６は、画像生成部１０８に含まれ、高画質化したいターゲットである低品質画像を取得し、領域分離回路１０２と同様の動作によって領域分離を行い、ラベル情報を生成する。

画像作成回路１０７は、画像生成部１０８に含まれ、低品質画像を取得し、特徴量記憶メモリ１０４の特徴量と、領域分離回路１０６のラベル情報とを参照して、取得した低品質画像を高品質化した高品質画像を作成する。

次に、図１の画像高品質化装置の辞書作成部１０５の動作の一例について図２から図６までを参照して説明する。
まず、低品質化回路１０１が、入力された学習用画像に対して、装置が復元すべき低品質化過程を再現する低解像度化や光学的劣化等の低品質化を施した学習用低品質画像を作成する（ステップＳ２０１）。低品質化は、例えば、図３のように高品質画像３０１を４画素毎に画素値を平均化して低品質画像３０２の１画素とする低解像度化３０３がある（Ａ＝（ａ＋ｂ＋ｃ＋ｄ）／４）。

次に、領域分離回路１０２が、入力された学習用低品質画像を、例えばエッジ領域とテクスチャ領域などの画像のパターンの類似性に基づいて画像ブロック毎に領域分離してラベル付けしたラベル情報を生成する（ステップＳ２０２）。この分離は、例えばＳｏｂｅｌフィルタ等のエッジ検出フィルタを用いて計算できる。

ステップＳ２０２では、まず領域分離回路１０２が、次式の式（１）にしたがって画像を画素毎にエッジ画素か非エッジ画素かを判定する。

なお、ｆ（ｘ，ｙ）は座標（ｘ，ｙ）の画素の輝度値、σ（≧０）は閾値であり、Ｓ（ｘ，ｙ）は座標（ｘ，ｙ）の画素がエッジならば“１”、非エッジならば“０”を示す関数になる。

次に領域分離回路１０２が、領域判定したい画像ブロックに属する画素についてＳ（ｘ，ｙ）を参照し、画像ブロックが、１画素でもエッジ画素を含めばその画像ブロックをエッジ領域とし、エッジ画素を１画素も含まなければテクスチャ領域とする。図４に領域分離の模式図を示す。図４を参照すると、画像ブロックごとにエッジ画素があるかないか判定し、エッジ画素を含む画像ブロックをエッジ領域とし、エッジ画素を含まない画像ブロックをテクスチャ領域としていることがわかる。

なお、ここでは、エッジ画素をふくむパターンとエッジ画素を含まないパターンの２種類である場合を説明したが、パターンの種類は３つ以上であっても良い。このとき、分離する方法としてはＬＢＰ（Local Binary Patterns）に基づくテクスチャ分類(例えば、T.Ojala et al., “Multiresolution gray-scale and rotation invariant texture classification with Local Binary Patterns”, IEEE Trans. on Pattern Analysis and Machine Intelligence, vol.24, no.7, July 2002参照）等による結果を用いても良い。他に、濃度共起行列を利用して画像を分離してもよい。

次からのステップＳ２０３からステップＳ２０７までは、特徴量学習回路１０３が処理を行う。ステップＳ２０３以降の処理については図５も参照する。ステップＳ２０６、Ｓ２０７の処理については図６も参照する。

特徴量学習回路１０３が、まず入力された学習用画像を画像ブロックに分割し（図５のＳ２０３ａ）、画像ブロックから高周波成分を取り出し（図５のＳ２０３ｂ）、直交変換の一種であるＰＣＡ（Principle Component Analysis）を用いて次元圧縮して（図５のＳ２０３ｃ）、これを高品質画像特徴量ｈとする。同時に、学習用低品質画像に対して同様の手順（Ｓ２０３ａ〜ｃ）で特徴量を抽出して、これを低品質画像特徴量ｍとする。そして、学習用画像中で同じ位置に対応する高品質画像特徴量と低品質画像特徴量とを組にして保持する（ステップＳ２０３）。ここで、高品質画像特徴量ｈと低品質画像特徴量ｍは、通常それぞれベクトルである。例えば、特徴量は、前記画像ブロック内の画像の高周波成分のＰＣＡ空間への射影ベクトルである。

さらに特徴量学習回路１０３が、画像中の位置情報を手がかりに、領域分離回路１０２から取得した、画像ブロック毎に対応するラベル情報を、この画像ブロックに対応する高品質画像特徴量と低品質画像特徴量との組に付加する（ステップＳ２０４）。そして特徴量学習回路１０３が、特徴量の組をラベル情報別に一時メモリ（図示せず）に記憶する（ステップＳ２０５）。一時メモリは例えば特徴量学習回路１０３に含まれている。

まず特徴量学習回路１０３が、一時メモリに記憶されている低品質画像特徴量の中から、ある１つのラベル情報が付加されている特徴量のみを全て読み出し、図６に示すように、例えばＫ−ｍｅａｎｓ法等のクラスタリングアルゴリズムを用いて１つ以上の集合に分割し、各集合を代表する低品質画像特徴量を少なくとも１つ選択または生成して代表低品質画像特徴量とする（ステップＳ２０６）。この特徴量を生成するとは、例えば、複数の特徴量の重心をとって新たな特徴量を生成することである。この生成は、クラスタリングアルゴリズム（例えば、Ｋ−ｍｅａｎｓ法）で行われる。

次に特徴量学習回路１０３が、一時メモリに含まれる特徴量をクラスタリングするために、一時メモリに含まれる対応付けを基にして低品質画像特徴量の集合を高品質画像特徴量の集合に対応付けて（図６のステップＳ２０７ａ）、集合中の低品質画像特徴量と組になっている高品質画像特徴量を読み出して１つの集合とする。次に特徴量学習回路１０３が、この集合から例えばクラスタリングアルゴリズムを用いて１つ以上の高品質画像特徴量を選択または生成して代表高品質画像特徴量とする（図６のステップＳ２０７ｂ）。次に特徴量学習回路１０３が、対応する集合の代表低品質画像特徴量と代表高品質画像特徴量を組みにして（図６のステップＳ２０７ｃ）、ラベル情報と共に特徴量記憶メモリへ出力する（ステップＳ２０７）。別のラベル情報の付加されている特徴量についても、ラベル情報毎に同様の操作を行う。
次に特徴量記憶メモリ１０４が、特徴量学習回路１０３で学習した特徴量の組をラベル情報別に記憶する（ステップＳ２０８）。

以上の手順を経て、特徴量記憶メモリ１０４には１つの低品質画像特徴量と１つ以上の高品質画像特徴量を１つの組として、複数の組がラベル情報別に記憶されている。なお、このようにして記憶メモリに記憶された情報を、便宜上「辞書」と呼ぶことにする。

次に、図１の画像高品質化装置の画像生成部１０８の動作の一例について図７を参照して説明する。
まず領域分離回路１０６が、上述した領域分離回路１０２と同様の操作で、入力低品質画像を領域分離してラベル付けする（ステップＳ７０１）。

ステップＳ７０２以降は全て画像作成回路１０７が処理を行い、入力低品質画像とラベル情報と特徴量記憶メモリ１０４からの特徴量情報とを入力として、高品質画像を出力する。ステップＳ７０２以降の処理については図８も参照する。
まず画像作成回路１０７が、上述した学習時と同様の操作で入力低品質画像から入力低品質画像特徴量を抽出する。つまり、まず入力低品質画像を画像ブロックに分割し（図８のステップＳ７０２ａ）、画像ブロックから高周波成分を取り出し（図８のステップＳ７０２ｂ）、ＰＣＡを用いて次元圧縮（図８のステップＳ７０２ｃ）して、これを入力低品質画像特徴量ｍ_Ｓｉｎとする（ステップＳ７０２）。なお、画像作成回路１０７が低品質特徴量の抽出を行う際の、ブロックの切り出し（図８のステップＳ７０２ａ）は、隣り合うブロックと重なりを持って切り出しても良い。

次に画像作成回路１０７が、上述した学習時と同様の操作で、画像中の位置情報と領域分離回路の結果を基にして、入力低品質画像特徴量のラベル情報を得る（ステップＳ７０３）。

次に画像作成回路１０７が、ステップＳ７０３で得られた各入力低品質画像特徴量について、特徴量記憶メモリ１０４に含まれている、同じラベル情報が付加されている代表低品質画像特徴量の中から、ステップＳ７０３で得られた入力低品質画像特徴量に例えば最も類似した代表低品質画像特徴量を１つ選択する（ステップＳ７０４）。これをｍ_Ｓとする。ここで用いられる類似の指標である類似度は、例えば特徴量ベクトルの２乗誤差‖ｍ_Ｓ−ｍ_Ｓｉｎ‖^２が小さいほど類似度が高いように定義する。このとき、選択する代表低品質画像特徴量は１つ以上であればいくつ選択しても良いし、また、類似度の順に選択しなくても良い。

次に画像作成回路１０７が、ステップＳ７０４で選択された代表低品質画像特徴量と対応付けられて特徴量記憶メモリ１０４に記憶されている１つ以上（Ｒ個）の代表高品質画像特徴量

を読み出す（ステップＳ７０５）。

画像作成回路１０７が、ステップＳ７０５で求めた代表高品質画像特徴量を使用してマルコフネットワークを構成する（ステップＳ７０６）。ここで、一例として図９を参照して説明する。入力画像は、既にステップＳ７０３での入力低品質画像特徴量を抽出する過程で画像ブロックに分割されている。図９では、その一部にＡ，Ｂ，…，Ｆと名前を付けてある。図９の右側のマルコフネットワーク側では、同じく名前の振られたノードが用意されている。このとき、マルコフネットワーク側のノードは、画像ブロックの入力画像中での位置関係を保って配置される。つまり、各アルファベットの付いたノードは、同じアルファベットの付いた画像ブロックに対応している。さらに、入力画像中で隣接している画像ブロックに対応するノード間には、ノード同士を繋ぐ枝が張られている。例えばノードＡとノードＢの間には枝がある。つまり、図９で示されたネットワークは、画像ブロックの位置と隣接関係を保持した構造になっている。また、そのノード数は、入力画像サイズをＸ×Ｙ、画像ブロックサイズをＸ_{ｂｌｏｃｋ}×Ｙ_{ｂｌｏｃｋ}とすれば、（Ｘ／Ｘ_{ｂｌｏｃｋ}）×（Ｙ／Ｙ_{ｂｌｏｃｋ}）個となる。

このような構造を持つネットワークのノードに対して、読み出された代表高品質画像特徴量

をノードの候補として割り当てる。また、ノードに対してラベル情報も割り当てる。つまり図１０のような構造となる。すなわち、各ノードに、対応するラベル情報と対応する複数の高品質画像特徴量候補とが関連付けてある。

次に、マルコフネットワークのノードと枝についてエネルギーを定義する。
まず、ノードについて、ノードに割り当てられた代表高品質画像特徴量の代表低品質画像特徴量に対する適合度を示す生起エネルギーを定義する。例えば、ノードＳの生起エネルギーを次式の式（２）で定義する。

ただし、λは緩和パラメタである。次に、枝について、隣接するノードに割り当てられた代表高品質画像特徴量同士の適合度を示す隣接エネルギーを定義する。例えば、ノードＳとノードＱ間の隣接エネルギーを次式の式（３）で定義する。

Ｐ（ｈ_Ｓ，ｒ，ｈ_Ｑ，ｕ）は、例えば事前に学習画像を用いて計算した、高品質画像特徴量の隣接出現確率である。

以上のようにノードに特徴量の候補が割り当てられ、ノードと枝にエネルギーが定義されたマルコフネットワークについて、例えばビリーフプロバゲーション等のエネルギー最適化アルゴリズムを用いて、生起エネルギーと隣接エネルギーの重み付き和を最小化することにより、各ノードについて１つ以上の代表高品質画像特徴量の中から最適な高品質画像特徴量を選択する（ステップＳ７０７）。ステップＳ７０７の処理については後に図１１を参照して説明する。

最後に、ステップＳ７０７で選択された高品質画像特徴量を用いて、高品質画像を作成する（ステップＳ７０８）。例えば、高品質画像特徴量が高解像度画像の高周波成分を表現する情報ならば、まず入力低品質画像を最近傍内挿により拡大し、その拡大画像に対して高周波成分を加算することにより高品質な高解像度画像を算出することができる。他に、入力低品質画像を３次畳み込み内挿により拡大し、その拡大画像に対して高周波成分を加算することにより高品質な高解像度画像を算出してもよい。

このように、実施形態に係わる画像高品質化装置によれば、分離された異なる領域をまたいだメッセージの伝播を行わないことにより、異なるパターン領域間での本来相関の無いエネルギーの伝播がなくなり、反復アルゴリズムの収束性が向上することで処理時間の短縮が可能となる。また、辞書がラベル付けされて記憶されていることで、各ノードの特徴量候補として間違った特徴量を選択することが減り、画質が向上する。

次に、図７のステップＳ７０７の処理の一例について図１１を参照して説明する。図１１はビリーフプロパゲーションを用いた最適化の動作を示すフローチャートである。この処理は全て画像作成回路１０７が行う。
まず、ピボットとなる１つのノードＳを選択する（ステップＳ１１０１）。次に、選択したノードに隣接するノードＱを１つ選択する（ステップＳ１１０２）。選択された２つのノード間で、割り当てられているラベル情報を比較し、情報が異なれば処理を行わず（後述するように、ピボットのノードＳから隣接ノードＱへ「メッセージ」０（零）を伝播する、ともいえる）に次の隣接ノードの選択を行う（ステップＳ１１０３）。もしラベル情報が一致すれば、ピボットのノードＳから隣接ノードＱへ「メッセージ」を伝播する（ステップＳ１１０４）。「メッセージ」とは、ノードＳから与えられるノードＱの高品質特徴量候補の信頼度を示す値のことで、例えばｎ回目の反復におけるメッセージは、生起エネルギーと隣接エネルギーを用いて次式の式（４）で定義する。

μは緩和パラメタである。ただし、

とする。

なお、ステップＳ１１０３でラベル情報が一致しない場合に、便宜的にメッセージ“０”を伝播しても良い。さらに、一般には、ラベル情報が一致しない場合に伝播するメッセージは“０”には限らず、ラベル情報の類似度に基づいて

を減衰させた値を用いても良い。

また、伝播するメッセージは、ノードＳからノードＱへ伝播されるメッセージの総和が“０”となるように次式の式（５）により正規化されていてもよい。

ただし、

は正規化されたメッセージを表す。

次に、ステップＳ１１０２に戻って、ピボットのノードＳについて全ての隣接ノードに対して上記処理を行い（ステップＳ１１０５）、処理が終了したら次のピボットとなるノードを選択し、このようにして全てのノードについて上記処理を行った後（ステップＳ１１０６）、伝播されたメッセージとノードに割り当てられたエネルギー情報を用いて、各ノード毎に高品質画像特徴量候補の中からエネルギーを最小化する特徴量

を次式の式（６）にしたがって選択する（ステップＳ１１０７）。

以上の操作を１回の反復とし、選択される特徴量がある範囲内に収束するか、事前に決められた回数繰り返すまでステップＳ１１０１に戻り反復を繰り返す（ステップＳ１１０８）。

このように、異なるラベル情報を持つノード間でメッセージを伝播しないことで、例えば図１２のような画像においては背景領域から人領域への隣接関係は定義されず、より実世界の物体の隣接関係に近いマルコフネットワークの計算が可能になる。

（実験例）
上記の実施形態に実施形態に基づいた実験の結果について図１３、図１４を参照して説明する。なお、辞書については、エッジ領域、テクスチャ領域で同じものを用いた。つまり、辞書作成部１０５は領域分離回路１０２を含まない形態で作成した。
本実験例では、画像サイズ７２０×４８０の入力画像について、縦横それぞれ２倍に拡大する実験を行った。低品質画像特徴量を構成する画像ブロックサイズは４×４で、上下左右のブロックと２画素ずつ重なるように切り出した。対応する高品質画像特徴量を構成する画像ブロックサイズは４×４で、ネットワークのノードの隣接関係にしたがって並べると、タイル状に重なり無く画像をカバーする。１つのノードには８個の特徴量候補を割り当てた。

図１３は、２０回目の反復が終了したときに各ノードで選択された特徴量

を正解結果として、各反復終了時に

と異なる特徴量が選択されたノード数を示した表である。最右列は、非分離型に対する分離型のノード数の割合を示している。なお、総ノード数は８４６０９個であった。この結果によれば、従来技術である非分離型に対して、本実施形態に対応する分離型の方が早く正解結果へ収束していることがわかる。また図１３は、次式の式（７）で定義されるマルコフネットワークに割り当てられたエネルギーの総和を反復毎にプロットし、グラフにしたものである。

ただし、Ｉはラベル情報が同一の隣接ノードの集合である。この結果によれば、ネットワークのエネルギーについても本実施形態による画像の生成の方が早くエネルギーを小さくできる。

以上に示した実施形態によれば、画像をパターン別に領域分離し、本来考慮する必要の無い隣接ノード関係を無視することにより、出力画像の画質を損なうことなくノードの値が最適化されるまでのアルゴリズム反復回数が減少し、処理時間が減少する。
また、各画像パターンに特化した辞書を作成して用いることで、画像生成時の高品質画像パッチの読み出しで異なるパターンのパッチを読み出すことが無くなり、画質が向上する。

また、上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態の画像高品質化装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の画像高品質化装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。
すなわち、この画像高品質化装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、低品質化回路１０１、領域分離回路１０２，１０６、特徴量学習回路１０３、画像作成回路１０７は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、画像高品質化装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、特徴量記憶メモリ１０４は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。

また、記憶媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本願発明における記憶媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。
また、記憶媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本発明における記憶媒体に含まれ、媒体の構成は何れの構成であってもよい。

なお、本願発明におけるコンピュータまたは組み込みシステムは、記憶媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本願発明の実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の実施形態における機能を実現することが可能な機器、装置を総称している。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

実施形態の画像高品質化装置のブロック図。 図１の辞書作成部の動作の一例を示すフローチャート。 図２のステップＳ２０１の処理を説明するための図。 図２のステップＳ２０２の処理を説明するための図。 図２のステップＳ２０３以降の処理を説明するための図。 図２のステップＳ２０６、Ｓ２０７の処理を説明するための図。 図１の画像生成部の動作の一例を示すフローチャート。 図７のステップＳ７０２以降の処理を説明するための図。 図７のステップＳ７０６の処理を説明するための図。 図７のステップＳ７０６の処理の結果を説明するための図。 図７のステップＳ７０７の処理の一例を示すフローチャート。 図１１の処理結果について説明するための図。 実験で得られた、ノードで選択される特徴量の収束を示した表を示す図。 実験で得られた、マルコフネットワークのエネルギーの収束を示したグラフを示す図。

符号の説明

１０１・・・低品質化回路、１０２，１０６・・・領域分離回路、１０３・・・特徴量学習回路、１０４・・・特徴量記憶メモリ、１０５・・・辞書作成部、１０７・・・画像作成回路、１０８・・・画像生成部、３０１・・・高品質画像、３０２・・・低品質画像、３０３・・・低解像度化。

Claims (19)

1. 復元すべき画像の低品質化過程を再現する低品質化を学習用画像に施し学習用低品質画像を生成する第１生成手段と、
   前記学習用画像の第１高品質特徴量と、前記学習用低品質画像の第１低品質特徴量とを関連付けて生成する第２生成手段と、
   １以上の学習用画像に対して、前記第１高品質特徴量と前記第１低品質特徴量とを関連付けて記憶する記憶手段と、
   高品質化の対象となる入力画像において、画像のパターンの類似性に応じて該入力画像を複数の領域に分離する分離手段と、
   画像ブロック毎に、複数の前記領域のうちのどの領域に属しているかを示す領域情報を対応付ける対応付け手段と、
   前記画像ブロック毎に第２低品質特徴量を生成する生成手段と、
   前記画像ブロック毎に前記第２低品質特徴量との類似度が最も大きい前記第１低品質特徴量から類似度が高い順に１以上の第１低品質特徴量を選択する第１選択手段と、
   １以上の前記第１低品質特徴量に関連付けてある１以上の前記第１高品質特徴量を１以上の代表画像特徴量として選択する第２選択手段と、
   １以上の前記代表高品質画像特徴量をマルコフネットワークの、前記画像ブロックに対応するノードとして割り当てる割当手段と、
   ノード毎に、前記代表高品質画像特徴量の、代表低品質画像特徴量に対する適合度を示す生起エネルギーを計算する第１計算手段と、
   隣接するノード間毎に、隣接するノードに割り当てられた前記代表高品質画像特徴量同士の適合度を示す隣接エネルギーを計算する第２計算手段と、
   ノード毎に、生起エネルギーと隣接エネルギーとを含むエネルギー関数を最小化する高品質画像特徴量を、前記代表高品質画像特徴量から選択する第３選択手段と、
   ノード毎に選択された高品質画像特徴量を使用して高品質画像を作成する作成手段と、を具備し、
   前記第３選択手段は、ビリーフプロパゲーションによって前記エネルギー関数を最小化し、隣接するノード間で割り当てられた高品質画像特徴量の領域情報が異なる場合には、そのノード間でメッセージを伝播しないことを特徴とする画像高品質化装置。
2. 復元すべき画像の低品質化過程を再現する低品質化を学習用画像に施し学習用低品質画像を生成する第１生成手段と、
   前記学習用画像の画像ブロック毎に、前記学習用画像の第１高品質特徴量と、前記学習用低品質画像の第１低品質特徴量とを関連付けて生成する第２生成手段と、
   前記画像ブロック毎に、どの領域であるかを示す第１領域情報を生成する第３生成手段と、
   １以上の学習用画像に対して、前記画像ブロック毎に前記第１高品質特徴量と前記第１低品質特徴量と前記第１領域情報とを関連付けて記憶する第１記憶手段と、
   前記第１領域情報毎に、該第１領域情報に関連付けられた少なくとも１つの第１低品質特徴量から、少なくとも１つの代表低品質画像特徴量を生成する第４生成手段と、
   前記代表低品質画像特徴量毎に、該代表低品質画像特徴量に対応する１以上の第１高品質特徴量を代表高品質画像特徴量として生成する第５生成手段と、
   前記代表低品質画像特徴量と、前記代表高品質画像特徴量と、前記第１領域情報とを関連付けて記憶する第２記憶手段と、
   高品質化の対象となる入力画像において、画像のパターンの類似性に応じて該入力画像を複数の第２領域に分離する分離手段と、
   前記入力画像の入力画像ブロック毎に、前記入力画像の第２低品質特徴量を生成する第６生成手段と、
   前記入力画像ブロック毎に、どの領域であるかを示す第２領域情報を生成する第７生成手段と、
   前記入力画像ブロック毎に、該入力画像ブロックに対応する第２領域情報と一致する前記第１領域情報に対応する代表低品質画像特徴量から１以上の第１選択特徴量を選択する第１選択手段と、
   前記第１選択特徴量に対応する１以上の前記代表高品質画像特徴量を第２選択特徴量として選択する第２選択手段と、
   第２選択特徴量を使用して、高品質画像を作成する作成手段と、を具備することを特徴とする画像高品質化装置。
3. 復元すべき画像の低品質化過程を再現する低品質化を学習用画像に施し学習用低品質画像を生成する第１生成手段と、
   画像のパターンの類似性に応じて前記学習用低品質画像を複数の第１領域に分離する第１分離手段と、
   前記学習用画像の画像ブロック毎に、前記学習用画像の第１高品質特徴量と、前記学習用低品質画像の第１低品質特徴量とを関連付けて生成する第２生成手段と、
   前記画像ブロック毎に、どの領域であるかを示す第１領域情報を生成する第３生成手段と、
   １以上の学習用画像に対して、前記画像ブロック毎に前記第１高品質特徴量と前記第１低品質特徴量と前記第１領域情報とを関連付けて記憶する第１記憶手段と、
   前記第１領域情報毎に、該第１領域情報に関連付けられた少なくとも１つの第１低品質特徴量から、少なくとも１つの代表低品質画像特徴量を生成する第４生成手段と、
   前記代表低品質画像特徴量毎に、該代表低品質画像特徴量に対応する１以上の第１高品質特徴量を代表高品質画像特徴量として生成する第５生成手段と、
   前記代表低品質画像特徴量と、前記代表高品質画像特徴量と、前記第１領域情報とを関連付けて記憶する第２記憶手段と、
   高品質化の対象となる入力画像において、画像のパターンの類似性に応じて該入力画像を複数の第２領域に分離する第２分離手段と、
   前記入力画像の入力画像ブロック毎に、前記入力画像の第２低品質特徴量を生成する第６生成手段と、
   前記入力画像ブロック毎に、どの領域であるかを示す第２領域情報を生成する第７生成手段と、
   前記入力画像ブロック毎に、該入力画像ブロックに対応する第２領域情報と一致する前記第１領域情報に対応する代表低品質画像特徴量から１以上の第１選択特徴量を選択する第１選択手段と、
   前記第１選択特徴量に対応する１以上の前記代表高品質画像特徴量を第２選択特徴量として選択する第２選択手段と、
   第２選択特徴量を使用して、高品質画像を作成する作成手段と、を具備することを特徴とする画像高品質化装置。
4. 前記第４生成手段は、
   前記第１低品質特徴量を、１以上の集合に分類する分類手段と、
   前記集合ごとに１以上の代表低品質画像特徴量を生成する生成する生成手段と、を含むことを特徴とする請求項２または請求項３に記載の画像高品質化装置。
5. 前記第５生成手段は、前記集合に属する第１低品質特徴量に対応する第１高品質特徴量から１以上の代表高品質画像特徴量を生成することを特徴とする請求項４に記載の画像高品質化装置。
6. 前記特徴量は、前記画像ブロック内の画像の高周波成分のＰＣＡ（Principle Component Analysis）空間への射影ベクトルであることを特徴とする請求項２から請求項５のいずれか１項に記載の画像高品質化装置。
7. 前記分離手段は、特定のパターンに応答するフィルタからの出力に応じて画像を分離することを特徴とする請求項２から請求項６のいずれか１項に記載の画像高品質化装置。
8. 前記分離手段は、ＬＢＰ（Local Binary Patterns）によるテクスチャの分類結果に応じて画像を分離することを特徴とする請求項２から請求項６のいずれか１項に記載の画像高品質化装置。
9. 前記分離手段は、濃度共起行列を使用して画像を分離することを特徴とする請求項２から請求項６のいずれか１項に記載の画像高品質化装置。
10. 前記分離手段は、画像を分割したブロック単位で画像を分離することを特徴とする請求項７から請求項９のいずれか１項に記載の画像高品質化装置。
11. 前記作成手段は、１以上の前記第２選択特徴量をマルコフネットワークの、前記画像ブロックに対応するノードとして割り当てる割当手段を含むことを特徴とする請求項２から請求項１０のいずれか１項に記載の画像高品質化装置。
12. ノード毎に、前記第２選択特徴量の、代表低品質画像特徴量に対する適合度を示す生起エネルギーを計算する第１計算手段と、
    隣接するノード間毎に、隣接するノードに割り当てられた前記第２選択特徴量同士の適合度を示す隣接エネルギーを計算する第２計算手段と、
    ノード毎に、生起エネルギーと隣接エネルギーとを含むエネルギー関数を最小化する高品質画像特徴量を、前記第２選択特徴量から選択する第３選択手段と、
    ノード毎に選択された第２選択特徴量を使用して高品質画像を作成する作成手段と、を含むことを特徴とする請求項１１に記載の画像高品質化装置。
13. 前記第３選択手段は、ビリーフプロパゲーションを使用することを特徴とする請求項１２に記載の画像高品質化装置。
14. 前記第３選択手段は、隣接するノード間で割り当てられた高品質画像特徴量の領域情報が異なる場合には、そのノード間でメッセージを伝播しないことを特徴とする請求項１３に記載の画像高品質化装置。
15. 前記第３選択手段は、隣接するノード間で割り当てられた高品質画像特徴量の領域情報が異なる場合には、該領域情報の類似度に応じてノード間で減衰させたメッセージを伝播することを特徴とする請求項１３に記載の画像高品質化装置。
16. 前記作成手段は、前記第３選択手段が選択した高品質画像特徴量を、前記入力画像の最近傍内挿による拡大画像に加算することを特徴とする請求項１２に記載の画像高品質化装置。
17. 前記作成手段は、前記第３選択手段が選択した高品質画像特徴量を、前記入力画像の３次畳み込み内挿による拡大画像に加算することを特徴とする請求項１２に記載の画像高品質化装置。
18. 復元すべき画像の低品質化過程を再現する低品質化を学習用画像に施し学習用低品質画像を生成し、
    前記学習用画像の画像ブロック毎に、前記学習用画像の第１高品質特徴量と、前記学習用低品質画像の第１低品質特徴量とを関連付けて生成し、
    前記画像ブロック毎に、どの領域であるかを示す第１領域情報を生成し、
    １以上の学習用画像に対して、前記画像ブロック毎に前記第１高品質特徴量と前記第１低品質特徴量と前記第１領域情報とを関連付けて記憶する第１記憶手段を用意し、
    前記第１領域情報毎に、該第１領域情報に関連付けられた少なくとも１つの第１低品質特徴量から、少なくとも１つの代表低品質画像特徴量を生成し、
    前記代表低品質画像特徴量毎に、該代表低品質画像特徴量に対応する１以上の第１高品質特徴量を代表高品質画像特徴量として生成し、
    前記代表低品質画像特徴量と、前記代表高品質画像特徴量と、前記第１領域情報とを関連付けて記憶する第２記憶手段を用意し、
    高品質化の対象となる入力画像において、画像のパターンの類似性に応じて該入力画像を複数の第２領域に分離し、
    前記入力画像の入力画像ブロック毎に、前記入力画像の第２低品質特徴量を生成し、
    前記入力画像ブロック毎に、どの領域であるかを示す第２領域情報を生成し、
    前記入力画像ブロック毎に、該入力画像ブロックに対応する第２領域情報と一致する前記第１領域情報に対応する代表低品質画像特徴量から１以上の第１選択特徴量を選択し、
    前記第１選択特徴量に対応する１以上の前記代表高品質画像特徴量を第２選択特徴量として選択し、
    第２選択特徴量を使用して、高品質画像を作成することを特徴とする画像高品質化方法。
19. コンピュータを、
    復元すべき画像の低品質化過程を再現する低品質化を学習用画像に施し学習用低品質画像を生成する第１生成手段と、
    前記学習用画像の画像ブロック毎に、前記学習用画像の第１高品質特徴量と、前記学習用低品質画像の第１低品質特徴量とを関連付けて生成する第２生成手段と、
    前記画像ブロック毎に、どの領域であるかを示す第１領域情報を生成する第３生成手段と、
    １以上の学習用画像に対して、前記画像ブロック毎に前記第１高品質特徴量と前記第１低品質特徴量と前記第１領域情報とを関連付けて記憶する第１記憶手段と、
    前記第１領域情報毎に、該第１領域情報に関連付けられた少なくとも１つの第１低品質特徴量から、少なくとも１つの代表低品質画像特徴量を生成する第４生成手段と、
    前記代表低品質画像特徴量毎に、該代表低品質画像特徴量に対応する１以上の第１高品質特徴量を代表高品質画像特徴量として生成する第５生成手段と、
    前記代表低品質画像特徴量と、前記代表高品質画像特徴量と、前記第１領域情報とを関連付けて記憶する第２記憶手段と、
    高品質化の対象となる入力画像において、画像のパターンの類似性に応じて該入力画像を複数の第２領域に分離する分離手段と、
    前記入力画像の入力画像ブロック毎に、前記入力画像の第２低品質特徴量を生成する第６生成手段と、
    前記入力画像ブロック毎に、どの領域であるかを示す第２領域情報を生成する第７生成手段と、
    前記入力画像ブロック毎に、該入力画像ブロックに対応する第２領域情報と一致する前記第１領域情報に対応する代表低品質画像特徴量から１以上の第１選択特徴量を選択する第１選択手段と、
    前記第１選択特徴量に対応する１以上の前記代表高品質画像特徴量を第２選択特徴量として選択する第２選択手段と、
    第２選択特徴量を使用して、高品質画像を作成する作成手段として機能させるための画像高品質化プログラム。

Images