JP2016153933A - 画像処理装置、画像処理システム、画像処理方法、プログラム、及び記録媒体 - Google Patents

Abstract

【課題】超解像処理に係る処理負荷が軽減できることを目的とする。
【解決手段】第１画像を画像処理する画像処理装置が、画像が変化する前及び前記画像が変化した後を示す第１エントリを記憶し、前記第１画像が有する画素がそれぞれ示す画素値の分布を示す特徴量をベクトルで示す特徴量ベクトルに基づいて前記第１エントリから第２エントリを選択し、前記第２エントリを特定する中間データを記憶し、前記中間データに基づいて前記第１画像を画像処理して第２画像を生成することにより上記課題を解決する。
【選択図】図１

Description

本発明は、画像処理装置、画像処理システム、画像処理方法、プログラム、及び記録媒体に関する。

従来、画像データは、解像度変換又はＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｏｒｔｓ Ｇｒｏｕｐ）圧縮等によって低品質化される場合がある。そのため、低品質となった画像が有する輪郭又はテクスチャの部分に、高周波成分を補う等の超解像処理又は画像の輪郭（ｅｄｇｅ）を強調する鮮鋭化処理等が知られている。

超解像処理の手法の一つとして、例えば、学習型超解像処理と呼ばれる手法が知られている。学習型超解像処理は、学習過程と超解像過程とを有する手法である。まず、学習過程では、予め用意される多数のトレーニングデータを用いて画像が劣化する過程を学習し、劣化前及び劣化後のそれぞれのパターンの対を記憶した辞書データを生成する。一方、超解像過程では、学習過程で記憶した辞書データに基づいて低品質の画像に対して高周波成分が補われ、画像の解像感を向上させる。

学習過程で、画像を低解像度化した低解像画像から、対応する小領域をそれぞれ切り出し、複数の小領域のペア（対）を登録して辞書データを生成する。さらに、超解像過程では、学習過程で生成される辞書データを用いて入力画像に対して高周波成分を補う方法が知られている（特許文献１参照）。

しかしながら、従来の超解像処理では、精度よく高周波成分を復元するため、高周波成分を補う処理に多くの対が使われる場合がある。この場合、多くの対が使われるので、対に係る処理負荷が増大するため、超解像処理に係る処理負荷が増大する場合がある。

本発明の１つの側面は、超解像処理に係る処理負荷が軽減できる画像処理装置を提供することを目的とする。

一態様における、第１画像を画像処理する画像処理装置は、画像が変化する前及び前記画像が変化した後を示す第１エントリを記憶する第１記憶部と、前記第１画像が有する画素がそれぞれ示す画素値の分布を示す特徴量をベクトルで示す特徴量ベクトルに基づいて前記第１エントリから第２エントリを選択する選択部と、前記第２エントリを特定する中間データを記憶する第２記憶部と、前記中間データに基づいて前記第１画像を画像処理して第２画像を生成する生成部とを含む。

超解像処理に係る処理負荷が軽減できる。

本発明の一実施形態に係る画像処理装置の使用例を示す図である。 本発明の一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 本発明の第１実施形態の一実施形態に係る画像処理装置による全体処理の一例を示すフローチャートである。 本発明の一実施形態に係るエントリの一例を示す図である。 本発明の一実施形態に係る画像処理装置による特徴量ベクトルに係る処理の一例を示す図である。 本発明の一実施形態に係る画像処理装置による特徴量ベクトルに係る処理の別の一例を示す図である。 本発明の一実施形態に係る画像処理装置によるプレビュー画像の出力の一例を示す図である。 本発明の一実施形態に係る画像処理装置による全体処理の処理結果の一例を示す図である。 本発明の第３実施形態の一実施形態に係るプレビュー画像の一例を示す図である。 本発明の第４実施形態の一実施形態に係る画像処理装置による特徴量ベクトルに係る処理の一例を示す図である。 本発明の一実施形態に係る画像処理装置によるプレビュー画像等を表示する画面の一例を示す図である。 本発明の一実施形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。

以下、本発明の実施の形態について説明する。

（第１実施形態）
（使用例）
図１は、本発明の一実施形態に係る画像処理装置の使用例を示す図である。具体的には、以下、図１で示すように、画像処理装置がＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）１であり、ＰＣ１をユーザＵＳＥＲが使用する例で説明する。例えば、ＰＣ１には、入力画像ＩｍｇＩが入力される。次に、ＰＣ１は、入力された入力画像ＩｍｇＩに超解像処理等を行い、複数のプレビュー画像ＩｍｇＰを生成する。また、生成される複数のプレビュー画像ＩｍｇＰは、ユーザＵＳＥＲにそれぞれ表示される。

さらに、ユーザＵＳＥＲは、ＰＣ１によって表示されるプレビュー画像ＩｍｇＰを評価し、生成される複数のプレビュー画像ＩｍｇＰのうち、一つのプレビュー画像ＩｍｇＰを選択する。即ち、ＰＣ１には、プレビュー画像ＩｍｇＰを選択する操作ＭがユーザＵＳＥＲによって入力される。

次に、ユーザＵＳＥＲによって操作Ｍが入力されると、ＰＣ１は、選択されたプレビュー画像ＩｍｇＰを出力画像ＩｍｇＯとして出力する。

（ハードウェア構成例）
図２は、本発明の一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。具体的には、ＰＣ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１Ｈ１と、記憶装置１Ｈ２と、入力Ｉ／Ｆ（ｉｎｔｅｒｆａｃｅ）１Ｈ３と、入力装置１Ｈ４と、出力装置１Ｈ５と、出力Ｉ／Ｆ１Ｈ６とを有する。

ＣＰＵ１Ｈ１は、ＰＣ１が行う各種処理及び画像データ等の各種データの加工を行う演算装置並びにＰＣ１が有するハードウェア等を制御する制御装置である。

記憶装置１Ｈ２は、ＰＣ１が使うデータ、プログラム、及び設定値等を記憶する。また、記憶装置１Ｈ２は、いわゆるメモリ（ｍｅｍｏｒｙ）等である。なお、記憶装置１Ｈ２は、ハードディスク（ｈａｒｄｄｉｓｋ）等の補助記憶装置等をさらに有してもよい。

入力Ｉ／Ｆ１Ｈ３は、入力画像ＩｍｇＩを示す画像データ等の各種データをＰＣ１に入力するインタフェースである。具体的には、入力Ｉ／Ｆ１Ｈ３は、コネクタ及び処理ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等である。例えば、入力Ｉ／Ｆ１Ｈ３は、記録媒体又はネットワーク等をＰＣ１に接続し、記録媒体又はネットワークを介して各種データをＰＣ１に入力する。また、入力Ｉ／Ｆ１Ｈ３は、スキャナ又はカメラ等の装置とＰＣ１を接続し、装置から各種データを入力してもよい。

入力装置１Ｈ４は、ユーザＵＳＥＲによる操作Ｍを入力する。具体的には、入力装置１Ｈ４は、例えばキーボード及びマウス等である。

出力装置１Ｈ５は、ユーザＵＳＥＲにプレビュー画像ＩｍｇＰ等を表示する。具体的には、出力装置１Ｈ５は、例えばディスプレイ等である。

出力Ｉ／Ｆ１Ｈ６は、ＰＣ１から出力画像ＩｍｇＯを示す画像データ等の各種データを出力するインタフェースである。具体的には、出力Ｉ／Ｆ１Ｈ６は、コネクタ及び処理ＩＣ等である。例えば、出力Ｉ／Ｆ１Ｈ６は、記録媒体又はネットワーク等をＰＣ１に接続し、記録媒体又はネットワークを介して各種データをＰＣ１から出力する。

なお、ハードウェア構成は、例えば入力装置１Ｈ４及び出力装置１Ｈ５が一体となったタッチパネルディスプレイ等を有する構成でもよい。また、ＰＣ１は、サーバ、スマートフォン、タブレット、又はモバイルＰＣ等の情報処理装置でもよい。

（全体処理例）
ＰＣは、入力される入力画像に対して超解像処理を行う。なお、超解像処理は、複数の画像を使用して１枚の画像を処理する場合と、１枚の画像に対して処理を行う場合とがある。まず、複数の画像を使用して１枚の画像を処理する場合は、例えば画像が動画であり、動画は、複数のフレームを有するため、超解像処理では、各フレームがそれぞれ示す画像が使用される。

一方、１枚の画像に対して処理を行う場合、超解像処理は、いわゆる学習型超解像処理と呼ばれる処理等である。例えば、学習型超解像処理では、画像が変化する前を示すデータ及び画像が変化した後を示すデータをペアにしたデータ（以下「エントリ」という。）が予めＰＣに記憶される。また、学習型超解像処理における学習では、高解像度の画像と、それを低解像度化した画像とから、対応する一定の領域を切り出した画像（以下「画像パッチ」という。）の対が用いられる。画像パッチが、基底と呼ばれる基本的な構造要素に分解され、高解像度の基底と低解像度の基底とを対にして辞書のデータが構築される。さらに、学習型超解像処理における超解像では、入力画像のある領域を復元する際に、復元の対象となる領域が複数の低解像度の基底の線形和で表現され、対応する高解像度の基底が同一の係数で合成されて当該領域に重畳される。

次に、ＰＣは、エントリに基づいて高周波成分を復元する処理等を行い、画像を生成する。以下、エントリを使用する画像処理の例で説明する。

図３は、本発明の第１実施形態の一実施形態に係る画像処理装置による全体処理の一例を示すフローチャートである。

（入力画像の入力例（ステップＳ０１））
ステップＳ０１では、ＰＣは、入力画像を入力する。

（第１画像の生成例（ステップＳ０２））
ステップＳ０２では、ＰＣは、ステップＳ０１で入力される入力画像から画像（以下「第１画像」という。）を生成する。具体的には、ステップＳ０２では、ＰＣは、ステップＳ０１で入力される入力画像を変倍又はぼかして、いわゆる低品質な画像である第１画像を生成する。なお、ＰＣは、入力画像を第１画像としてもよい。例えば、ユーザが入力画像に対して解像感又は鮮鋭さを付与させたい場合及び入力画像が所定の解像度又は周波数特性を満足する場合等である。

（第２エントリの選択例（ステップＳ０３））
ステップＳ０３では、ＰＣは、使用するエントリを選択する。具体的には、ステップＳ０３では、ＰＣは、例えば、画像処理によって復元される高周波成分の強度等（以下「処理強度」という。）を指示する操作をユーザに入力させ、入力される処理強度に基づいて使用するエントリを選択する。また、ステップＳ０３では、ＰＣは、後述する中間データが記憶されていると、中間データを使用してエントリを選択する。なお、処理強度は、予め所定の値がＰＣに入力され、初期値が設定されてもよい。

さらに、処理強度及び使用するエントリ数は、相互に対応する。例えば、処理強度及び使用するエントリ数は、比例し、処理強度が高いと、使用するエントリ数は、増加する。また、処理強度及びエントリ数は、ＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）等によって関係が定められてもよい。

以下、使用するエントリ数が増加すると、画像処理によって復元される高周波成分が増加する例で説明する。

図４は、本発明の一実施形態に係るエントリの一例を示す図である。具体的には、エントリは、予めＰＣに辞書データＤ１として記憶される。即ち、辞書データＤ１には、エントリ（以下「第１エントリ」という。）１Ｅが記憶される。例えば、図４は、第１エントリ１ＥがエントリＥ１乃至エントリＥＮのＮ個のエントリで構成される場合の例を示す。

エントリは、例えば、低解像度の画像と、高解像度の画像とがペアとなって記憶されるデータである。また、高解像度画像ＩｍｇＨを学習用の画像とすると、エントリは、高解像度画像ＩｍｇＨから生成される。具体的には、エントリは、高解像度画像ＩｍｇＨから画像パッチを示す高解像度の画像パッチ（以下「高解像度パッチ」という。）ＰＨを有する。

さらに、エントリは、高解像度画像ＩｍｇＨに基づく低解像度の画像パッチ（以下、「低解像度パッチ」という。）ＰＬを高解像度パッチＰＨとペアにして記憶する。例えば、低解像度パッチＰＬは、高解像度画像ＩｍｇＨをガウシアンフィルタ（Ｇａｕｓｓｉａｎ ｆｉｌｔｅｒ）等でぼかして生成される。即ち、エントリは、例えば、変化前の画像として高解像度パッチＰＨと、変化後の画像として低解像度パッチＰＬとを対応させて記憶するデータである。

図３に示すステップＳ０３では、ＰＣは、処理強度に応じて、第１エントリ１Ｅのうち、使用するエントリ（以下「第２エントリ」という。）を選択する。

例えば、ＰＣは、入力画像の一部の領域を抽出し、画像パッチを生成する。次に、ＰＣは、画像パッチの特徴量を算出する。

なお、特徴量は、画像が有する画素がそれぞれ示す画素値の分布を示す値である。例えば、特徴量は、画素値、画素値を一次微分若しくは二次微分した値、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）、ＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）、又はこれらの組み合わせによって算出される値である。また、特徴量は、ベクトル形式で示される。以下、特徴量が示されるベクトルを特徴量ベクトルという。

特徴量ベクトルが算出されると、ＰＣは、例えば、単位ベクトル及び重み係数を組み合わせて、特徴量ベクトルを表現する。

基礎ベクトルは、低解像度パッチに基づいて決定されるベクトルである。具体的には、基礎ベクトルとして、低解像度パッチ又は低解像度パッチの特徴量ベクトルが用いられる。さらに、基礎ベクトルには、低解像度パッチ又は低解像度パッチの特徴量ベクトルに主成分分析等を適用し、ベクトルの次元を削減又はベクトルの長さが「１」となるよう規格化して単位ベクトルに変換されたベクトルが用いられてもよい。

また、辞書データのエントリの低解像度パッチを、基礎ベクトルで代替してもよい。即ち、エントリは、低解像度パッチと高解像度パッチとを対応させて記憶するのではなく、基礎ベクトルと高解像度パッチとを対応させて記憶してもよい。

以降、辞書データのエントリは、基礎ベクトルと高解像度パッチとが対応付けて記憶されている例で説明する。

図５は、本発明の一実施形態に係る画像処理装置による特徴量ベクトルに係る処理の一例を示す図である。以下、図５に示すように、Ｘ軸と、Ｘ軸に直交するＹ軸とによって示される２次元座標の例で説明する。また、図５では、表現しようとする特徴量ベクトルを目的ベクトルｒ_０とする。

まず、ＰＣは、第１ベクトルＶ１を求める。具体的には、目的ベクトルｒ_０との内積を最大化するベクトルを第１エントリから探索することで第１ベクトルＶ１が求まる。なお、探索されるベクトルは、第１基礎ベクトルであり、第１基礎ベクトルは、例えばＹ軸に直交する単位ベクトル（以下「第１単位ベクトル」という。）ｅ_１である。以下、第１基礎ベクトルとして、図５（Ａ）に示す第１単位ベクトルｅ_１が使用される例で説明する。なお、第１基礎ベクトルは、単位ベクトル以外の任意の長さのベクトルでもよい。

さらに、目的ベクトルｒ_０との内積から、ＰＣは、第１単位ベクトルｅ_１に係る重み係数（以下「第１重み係数」という。）ｗ_１を求めることができる。即ち、第１ベクトルＶ１は、例えば、図５（Ａ）に示すように、目的ベクトルｒ_０のＸ軸成分に相当するベクトルとして求まる。

次に、ＰＣは、図５（Ｂ）に示すように、残差ベクトルｒ_１を求める。なお、残差ベクトルｒ_１は、目的ベクトルｒ_０と、第１ベクトルＶ１との差を示すベクトル（以下「残差ベクトル」という。）である。また、ＰＣは、残差ベクトルｒ_１を第２基礎ベクトルと、第２基礎ベクトルに係る重み係数（以下「第２重み係数」という。）ｗ_２との組み合わせから求めることができる。具体的には、図５（Ｃ）に示すように、ＰＣは、残差ベクトルｒ_１を例えば第２基礎ベクトルとしてＸ軸に直交する単位ベクトル（以下「第２単位ベクトル」という。）ｅ_２と、第２重み係数ｗ_２との組み合わせから求める。以下、第２基礎ベクトルとして、図５（Ｃ）に示す第２単位ベクトルｅ_２が使用される例で説明する。

なお、図５は、第１ベクトルＶ１及び後述する第２ベクトルＶ２等によって、目的ベクトルｒ_０との差がゼロとなる例を示す。したがって、図５では、ＰＣは、これ以上の辞書のエントリを求めない場合である。一方、第１単位ベクトルｅ_１及び第２単位ベクトルｅ_２が目的ベクトルｒ_０に対してそれぞれ直交する成分でない場合、第１ベクトルＶ１及び後述する第２ベクトルＶ２等によって差がゼロとならない場合がある。差がゼロでない場合、ＰＣは、差を小さくするように、さらに第１エントリからベクトルを求めてもよい。これは、残差ベクトルｒ_ｋ（ｋ＝１、２・・・）とすると、残差ベクトルｒ_ｋは、下記（１）式のように示せる。

また、単位ベクトルは、いずれかの軸に直交するベクトルに限られない。図は、Ｘ軸及びＹ軸を説明の都合から図示しているにすぎない。

図６は、本発明の一実施形態に係る画像処理装置による特徴量ベクトルに係る処理の別の一例を示す図である。具体的には、図６は、図５（Ａ）と同様の目的ベクトルｒ_０を表現する場合の例である。即ち、図６に示す処理で表現する図６（Ａ）に示す目的ベクトルｒ_０は、図５（Ａ）と同様とする。さらに、図６に示す処理では、図５（Ｂ）と同様に、第１単位ベクトルｅ_１及び第１重み係数ｗ_１が求められるとする。即ち、図６に示す第１ベクトルＶ１は、図５（Ｂ）と同様のベクトルであり、第１ベクトルＶ１によって求められる残差ベクトルｒ_１も同様である。

次に、ＰＣは、図６（Ｃ）に示すように、Ｘ軸に対して角度を有する第２単位ベクトルｅ_２と、第２重み係数ｗ_２とを残差ベクトルｒ_１が最小となるように組み合わせる。また、第２単位ベクトルｅ_２と、第２重み係数ｗ_２とを組み合わせたベクトルを第２ベクトルＶ２とする。

したがって、図６では、第１ベクトルＶ１と第２ベクトルＶ２とによって表現されるベクトルと、目的ベクトルｒ_０とには差がある。この場合、差は、図６（Ｃ）に示すように、残差ベクトルｒ_２で示される。なお、残差ベクトルｒ_２は、上記（１）式で求めることができる。

また、ＰＣは、単位ベクトルの種類が多いと、より多くの単位ベクトルを使用できるため、ＰＣは、第１ベクトルＶ１及び第２ベクトルＶ２によって表現されるベクトルと、目的ベクトルｒ０との差を小さくできる。したがって、第２エントリの数が多いと、ＰＣは、第１ベクトルＶ１及び第２ベクトルＶ２によって表現されるベクトルと、目的ベクトルｒ０との差を小さくできるため、より画像を精度よく復元することができる。

さらに、図３に示すステップＳ０３では、ＰＣは、画像パッチの特徴量ベクトルである目的ベクトルｒ_０との差が最小となるように、第１エントリ１Ｅ（図４）から、第２エントリとしてエントリを選択する。即ち、ステップＳ０３では、ＰＣは、上記（１）式の残差ベクトルｒ_ｋが最小となる第２エントリを第１エントリ１Ｅから選択する。また、ステップＳ０３では、ＰＣは、図５及び図６でそれぞれ図示するように、第２エントリに係る重み係数ｗ_ｋを第２エントリに対応させてそれぞれ算出する。

したがって、重み係数ｗ_ｋは、残差ベクトルｒ_ｋを小さくするため、差を示す画像パッチの特徴量ベクトルから算出される係数等が望ましい。具体的には、重み係数ｗ_ｋは、２つのベクトルの内積に基づいて算出される値が望ましい。なお、重み係数ｗ_ｋは、予め設定される定数又は類似度等でもよい。例えば、類似度は、目的ベクトルと、第１ベクトル又は第２ベクトル等の各ベクトルとの距離を示すマンハッタン距離（ｍａｎｈａｔｔａｎ ｄｉｓｔａｎｃｅ）又はマハラノビス距離（ｍａｈａｌａｎｏｂｉｓ ｄｉｓｔａｎｃｅ）等の逆数等である。

さらに、ステップＳ０１（図３）で入力される入力画像が有する領域について、ＰＣがそれぞれ画像パッチを生成するため、ステップＳ０３は、各画像パッチに対して繰り返される。なお、画像パッチは、各画像パッチが示す領域が重ならないように抽出されてもよいし、領域の一部が重なるように抽出されてもよい。

（中間データの記憶例（ステップＳ０４））
図３に戻り、ステップＳ０４では、ＰＣは、中間データを記憶する。

中間データは、ステップＳ０３で選択される第２エントリを特定するデータである。即ち、中間データは、１つのエントリを特定できるデータである。具体的には、中間データは、エントリを識別するＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）を示すデータ又はエントリのデータをコピーしたコピーデータ等である。また、中間データを使用して図５及び図６にそれぞれ示される処理を行う場合、ＰＣは、中間データによって第１単位ベクトルｅ_１及び第２単位ベクトルｅ_２のいずれか一方又は両方を特定できる。したがって、中間データを使用すると、ＰＣは、単位ベクトルを探索する処理負荷を軽減できる。

また、中間データは、特定される各エントリに対応させて、重み係数ｗ_ｋをそれぞれ記憶してもよい。中間データに重み係数ｗ_ｋが記憶されると、中間データを使用して例えば図５に示す処理が行われる場合では、ＰＣは、第１ベクトルＶ１及び第２ベクトルＶ２をそれぞれ求めるのに、中間データに記憶される重み係数ｗ_ｋを参照できる。よって、中間データに重み係数ｗ_ｋが記憶されると、ＰＣは、第１ベクトルＶ１及び第２ベクトルＶ２等を求める処理のうち、重み係数ｗ_ｋを求める処理の一部又は全部を省略できる。したがって、ＰＣは、中間データによって、特徴量ベクトルに係る処理の処理負荷を軽減できる。

なお、中間データは、１つの画像パッチに対して複数のエントリ及び重み係数ｗ_ｋを記憶してもよい。また、上記（１）式の残差ベクトルｒ_ｋは、使用されるエントリによって変化するため、中間データは、第２エントリを使用する順序及び残差ベクトルｒ_ｋを記憶するのが望ましい。

（中間データに基づく第２画像の生成例（ステップＳ０５））
ステップＳ０５では、ＰＣは、中間データに基づいて第１画像を画像処理して画像（以下「第２画像」という。）を生成する。具体的には、ステップＳ０５では、ＰＣは、まず、中間データに基づいて第２エントリを特定する。また、中間データが重み係数ｗ_ｋを記憶する場合、ＰＣは、中間データに基づいて特定される第２エントリに対応する重み係数ｗ_ｋを取得してもよい。

次に、ステップＳ０５では、ＰＣは、中間データによって特定される第２エントリが有するデータのうち、高解像度パッチＰＨ（図４）に重み係数を乗じ、重み係数を乗じた高解像度パッチＰＨを加算して合成パッチを生成する。なお、重み係数は、中間データに基づいて取得される重み係数ｗ_ｋ又は図５若しくは図６にそれぞれ示される処理によって算出される値である。

さらに、ステップＳ０５では、ＰＣは、第１画像が有するそれぞれの領域に生成される合成パッチを重畳する。具体的には、ＰＣは、第１画像が有する画素を合成パッチが有する画素に置き換えて重畳する。なお、ＰＣは、第１画像が有する画素がそれぞれ示す画素値に、合成パッチが有する画素がそれぞれ示す画素値をそれぞれ加算して重畳してもよい。

なお、領域の一部が重なるように各画像パッチが抽出される場合、合成パッチを重畳する処理は、加重平均されて処理が行われるのが望ましい。

（プレビュー画像の出力例（ステップＳ０６））
ステップＳ０６では、ＰＣは、プレビュー画像を出力する。

図７は、本発明の一実施形態に係る画像処理装置によるプレビュー画像の出力の一例を示す図である。具体的には、図７は、ＰＣによって表示される画面ＰＮＬの例を示す。

例えば、画面ＰＮＬは、ステップＳ０５（図３）で生成される第２画像をプレビュー画像ＩｍｇＰとして表示する。さらに、画面ＰＮＬは、ユーザＵＳＥＲ（図１）に操作Ｍ（図１）を入力させるため、例えば第１ボタンＢＴ１、第２ボタンＢＴ２、第３ボタンＢＴ３、及び第４ボタンＢＴ４等のＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を有する。

画面ＰＮＬでは、ユーザＵＳＥＲは、第１ボタンＢＴ１及び第２ボタンＢＴ２のいずれかを押して処理強度をＰＣに指示する操作Ｍを入力する。例えば、表示されるプレビュー画像ＩｍｇＰに行われた処理強度が高すぎるとユーザＵＳＥＲが評価する場合、ユーザＵＳＥＲは、第１ボタンＢＴ１を押す。一方、表示されるプレビュー画像ＩｍｇＰに行われた処理強度が低すぎるとユーザＵＳＥＲが評価する場合、ユーザＵＳＥＲは、第２ボタンＢＴ２を押す。

なお、プレビュー画像ＩｍｇＰとして表示される第２画像を生成した処理強度が最大である場合、ＰＣは、第２ボタンＢＴ２を無効にして画面ＰＮＬを表示してもよい。同様に、プレビュー画像ＩｍｇＰとして表示される第２画像を生成した処理強度が最小である場合、ＰＣは、第１ボタンＢＴ１を無効にして画面ＰＮＬを表示してもよい。

画面ＰＮＬでは、ユーザＵＳＥＲは、第４ボタンＢＴ４を押して出力画像を決定する操作Ｍを入力する。即ち、表示されるプレビュー画像ＩｍｇＰに行われた処理強度が最適であるとユーザＵＳＥＲが評価する場合、ユーザＵＳＥＲは、第４ボタンＢＴ４を押し、プレビュー画像ＩｍｇＰとして表示される第２画像を出力画像と決定する。

なお、ＰＣに全体処理を終了させる場合、画面ＰＮＬでは、ユーザＵＳＥＲは、第３ボタンＢＴ３を押す。即ち、第３ボタンＢＴ３が押されると、ＰＣは、図３に示す全体処理を終了する。

また、画面ＰＮＬは、プレビュー画像ＩｍｇＰとして第１画像を表示してもよい。

（処理強度が変更されたか否かの判断例（ステップＳ０７））
図３に戻り、ステップＳ０７では、ＰＣは、処理強度が変更されたか否かを判断する。具体的には、ステップＳ０６で図７に示す画面ＰＮＬが表示される場合、ＰＣは、第１ボタンＢＴ１又は第２ボタンＢＴ２が押されると、処理強度が変更されたと判断する（ステップＳ０７でＹＥＳ）。一方、画面ＰＮＬが表示される場合、ＰＣは、第４ボタンＢＴ４（図７）が押されると、処理強度が変更されないと判断する（ステップＳ０７でＮＯ）。

また、ステップＳ０７では、処理強度が変更されたとＰＣが判断すると、ＰＣは、ステップＳ０３に進む。一方、ステップＳ０７では、処理強度が変更されないとＰＣが判断すると、ＰＣは、ステップＳ０８に進む。

（出力画像の出力例（ステップＳ０８））
ステップＳ０８では、ＰＣは、出力画像を出力する。具体的には、ステップＳ０８では、ＰＣは、ステップＳ０６で出力画像に決定された第２画像をディスプレイ又はプリンタ等の出力装置に出力する。また、ステップＳ０８では、ＰＣは、第２画像を示す画像データを記録媒体等に出力してもよい。

（処理結果例）
図８は、本発明の一実施形態に係る画像処理装置による全体処理の処理結果の一例を示す図である。具体的には、図８は、図８（Ａ）に示す画像を第１画像Ｉｍｇ１とする例である。

例えば、ＰＣは、第１画像Ｉｍｇ１に対して、図３に示すステップＳ０３乃至ステップＳ０５を行い、プレビュー画像の１つとして図８（Ｂ）に示す第１プレビュー画像ＩｍｇＰ１を生成する。なお、第１プレビュー画像ＩｍｇＰ１は、ステップＳ０３乃至ステップＳ０５によって、第１画像Ｉｍｇ１の高周波成分を復元した画像の例である。ゆえに、第１プレビュー画像ＩｍｇＰ１は、高周波成分の復元度合いが高くなるように画像処理された画像である。なお、第１プレビュー画像ＩｍｇＰ１が生成される場合、ＰＣは、第１プレビュー画像ＩｍｇＰ１を生成する際に使用した第２エントリ等を特定する中間データをステップＳ０４（図３）で記憶する。

次に、ＰＣは、ステップＳ０３乃至ステップＳ０５をさらに行い、プレビュー画像をさらに生成する。例えば、第１プレビュー画像ＩｍｇＰ１がステップＳ０６（図３）で表示され、第１プレビュー画像ＩｍｇＰ１では高周波成分の復元度合いが低く、処理強度が低すぎるとユーザが評価する場合等である（ステップＳ０７（図３）でＹＥＳ）。この場合、ＰＣは、第１プレビュー画像ＩｍｇＰ１を生成した場合とは異なる処理強度で、第１画像Ｉｍｇ１に対してステップＳ０３乃至ステップＳ０５をさらに行い、プレビュー画像の１つとして図８（Ｃ）に示す第２プレビュー画像ＩｍｇＰ２をさらに生成する。

第２プレビュー画像ＩｍｇＰ２は、第１プレビュー画像ＩｍｇＰ１より平滑化の度合いが低い画像の例である。そのため、第２プレビュー画像ＩｍｇＰ２を生成する処理は、第２エントリの数が、第１プレビュー画像ＩｍｇＰ１より多い。

ＰＣは、第１プレビュー画像ＩｍｇＰ１を生成する際に記憶した中間データを使用して、第２プレビュー画像ＩｍｇＰ２を生成する。具体的には、第２プレビュー画像ＩｍｇＰ２を生成する場合、ＰＣは、ステップＳ０３では、中間データによって特定されるエントリ以外を第１エントリ１Ｅ（図４）から追加するように選択する。なお、ＰＣは、複数のエントリを追加してもよい。

即ち、ＰＣは、中間データを使用すると、第２エントリのうち、第１プレビュー画像ＩｍｇＰ１の生成の際に使用したエントリを特定できる。したがって、ＰＣは、中間データを使用すると、第２エントリのうち、第１プレビュー画像ＩｍｇＰ１の生成の際に使用したエントリを特定する処理の一部又は全部を省略でき、処理負荷を軽減できる。

なお、中間データは、第１プレビュー画像ＩｍｇＰ１の生成の際に使用した重み係数を記憶してもよい。中間データが重み係数を記憶すると、ＰＣは、第２エントリに基づいて第１ベクトルＶ１（図５等）を算出する処理の一部又は全部を省略でき、処理負荷を軽減できる。

また、辞書データからエントリを取得する方法及び重み係数を求める方法には、例えば、「Ｃｈａｎｇ， Ｈｏｎｇ， Ｄｉｔ―Ｙａｎ Ｙｅｕｎｇ， ａｎｄ Ｙｉｍｉｎ Ｘｉｏｎｇ"Ｓｕｐｅｒ―ｒｅｓｏｌｕｔｉｏｎ ｔｈｒｏｕｇｈ ｎｅｉｇｈｂｏｒ ｅｍｂｅｄｄｉｎｇ."Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２００４. ＣＶＰＲ ２００４．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２００４ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ. Ｖｏｌ．１ ＩＥＥＥ，２００４.」又は「Ｙａｎｇ， Ｊｉａｎｃｈａｏ， ｅｔ ａｌ．"Ｉｍａｇｅ ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ ｖｉａ ｓｐａｒｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ．"Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ １９．１１ （２０１０）： ２８６１−２８７３．」等に記載される方法が利用されてもよい。

（変形例）
第一実施形態では、辞書データのエントリには、高解像度パッチ及び低解像度パッチの対が記憶される。しかし、辞書データのエントリは、これに限定されない。

例えば、「Ｙａｎｇ， Ｊｉａｎｃｈａｏ， ｅｔ ａｌ．"Ｉｍａｇｅ ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ ｖｉａ ｓｐａｒｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ．"Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ １９．１１ （２０１０）： ２８６１−２８７３．」等に記載される方法を用いて、ＰＣは、画像パッチを、基底と呼ばれる基本的な構造要素に分解し、ＰＣは、高解像度の基底と低解像度の基底とを対にして辞書データのエントリとして記憶してもよい。即ち、ＰＣは、第一実施形態における高解像度パッチを高解像度の基底で、低解像度パッチを低解像度の基底で、それぞれ代替してもよい。

したがって、ステップＳ０３（図３）において、第１エントリのうち、使用するエントリ（第２エントリ）を選択する際に用いる基礎ベクトルは、低解像度の基底又はその特徴量ベクトルから導出されるベクトルとなる。また、ステップＳ０５（図３）において、合成パッチを生成する際に、ＰＣは、高解像度パッチではなく、高解像度の基底に重み係数を乗じ、重み係数を乗じた高解像度の基底を加算して合成パッチを生成する。

（第２実施形態）
第２実施形態は、例えば図２に示すハードウェア構成のＰＣ１を用いる。また、第２実施形態では、ＰＣ１は、図３に示す全体処理を行う。したがって、ハードウェア構成及び全体処理の説明は、省略する。第２実施形態は、第１実施形態と比較して、中間データに係る処理が異なる。以下、第１実施形態と異なる点を中心に説明する。

第２実施形態では、中間データは、重み係数を含む。複数のプレビュー画像を生成する場合（ステップＳ０７（図３）でＹＥＳ）、ＰＣは、中間データとして記憶される第２エントリを特定するデータ及び重み係数を使用して、エントリの選択等を行う。

以下、第２実施形態に係る処理を図８に示す例で説明する。まず、第２実施形態では、ＰＣは、第１実施形態と同様に、第１プレビュー画像ＩｍｇＰ１を生成する。次に、処理強度が低すぎるとユーザが評価する場合（ステップＳ０７でＹＥＳ）、ＰＣは、第１プレビュー画像ＩｍｇＰ１を生成する際に記憶した中間データを使用して第２プレビュー画像ＩｍｇＰ２をさらに生成する。

第２実施形態では、第２プレビュー画像ＩｍｇＰ２を生成する際、ＰＣは、重み係数を算出する。次に、第２実施形態に係るステップＳ０４（図３）では、ＰＣは、第２プレビュー画像ＩｍｇＰ２を生成する際に算出される重み係数で中間データを更新する。即ち、中間データには、第１プレビュー画像ＩｍｇＰ１を生成する際に算出された重み係数が記憶される。さらに、第２実施形態では、第２プレビュー画像ＩｍｇＰ２を生成する際に算出される重み係数で、第１プレビュー画像ＩｍｇＰ１を生成するに算出された重み係数を上書きし、中間データを更新する。

第１プレビュー画像ＩｍｇＰ１が生成された後、ＰＣが第２プレビュー画像ＩｍｇＰ２を生成する場合、ＰＣは、第１エントリ１Ｅ（図４）から新たにエントリを追加する。以下、図６（Ｃ）に示す例で説明する。第２単位ベクトルｅ_２が追加されるとすると、ＰＣは、中間データよって特定される第１単位ベクトルｅ_１及び第１重み係数ｗ_１と、第２単位ベクトルｅ_２及び第２重み係数ｗ_２とによって、残差ベクトルｒ_２が最小となるようにエントリを追加する。また、第２実施形態では、ＰＣは、残差ベクトルｒ_２が最小となる第１重み係数ｗ_１を算出し、算出した値で中間データに含まれる値を変更し、かつ、第２単位ベクトルｅ_２のエントリを追加する。

ＰＣは、図５に示すような、互いに直交する単位ベクトルを常に有する辞書データＤ１（図４）を用意するのは難しい。したがって、ＰＣは、図６に示すように、残差ベクトルｒ_ｋをできるだけ小さくするように、第２エントリを選択及び重み係数を算出する。そのため、第２実施形態のように、ＰＣが重み係数を第２エントリに応じて変化させることができると、ＰＣは、上記（１）式の残差ベクトルｒ_ｋをより小さくすることができる。よって、ＰＣは、重み係数を更新することによって、画像をより精度よく復元することができる。

なお、第２実施形態では、ＰＣは、中間データとして記憶される重み係数を図５又は図６にそれぞれ示される処理の初期値として使用して、重み係数を算出してもよい。また、処理強度によって重み係数が変化するため、中間データには、計算される重み係数が処理強度と対応付されて追加されるのが望ましい。さらに、中間データに含まれる重み係数は、処理強度と対応付されて計算される重み係数に上書きされる等によって更新されてもよい。

（第３実施形態）
第３実施形態は、例えば図２に示すハードウェア構成のＰＣ１を用いる。また、第３実施形態では、ＰＣ１は、図３に示す全体処理を行う。したがって、ハードウェア構成及び全体処理の説明は、省略する。第３実施形態は、第１実施形態と比較して、中間データに係る処理が異なる。以下、第１実施形態と異なる点を中心に説明する。

図９は、本発明の第３実施形態の一実施形態に係るプレビュー画像の一例を示す図である。具体的には、図９は、図８（Ａ）に示す画像を第１画像Ｉｍｇ１とする場合に生成されるプレビュー画像の例を示す。

第３実施形態では、例えば、ＰＣが、第１画像Ｉｍｇ１に対して、図３に示すステップＳ０３乃至ステップＳ０５を行い、プレビュー画像の１つとして図９に示す第３プレビュー画像ＩｍｇＰ３が生成されるとする。なお、第３プレビュー画像ＩｍｇＰ３は、高い処理強度のステップＳ０３乃至ステップＳ０５によって、第１画像Ｉｍｇ１の高周波成分を復元した画像の例である。ゆえに、第３プレビュー画像ＩｍｇＰ３は、第１画像Ｉｍｇ１と比較して平滑化の度合いがより低くなるように画像処理された画像である。なお、第３プレビュー画像ＩｍｇＰ３が生成される場合、ＰＣは、第３プレビュー画像ＩｍｇＰ３を生成する際に使用した第２エントリ等を特定する中間データをステップＳ０４（図３）で記憶する。

処理強度が高すぎると、例えば、第２画像には、エッジ（ｅｄｇｅ）部分等でいわゆるオーバーシュート（ｏｖｅｒｓｈｏｏｔ）が発生する領域（以下「オーバシュート領域」という。）ＯＳが発生する場合がある。なお、オーバシュート領域ＯＳは、図９に示すように、エッジが強調され過ぎた領域又は明るくなり過ぎた領域等である。

この場合、ＰＣは、第１プレビュー画像ＩｍｇＰ１を生成した場合とは異なる処理強度で、第１画像Ｉｍｇ１に対してステップＳ０３乃至ステップＳ０５をさらに行い、プレビュー画像をさらに生成する。具体的には、第３プレビュー画像ＩｍｇＰ３がステップＳ０６（図３）で表示され、かつ、第３プレビュー画像ＩｍｇＰ３がオーバシュート領域ＯＳを有する場合、処理強度が高すぎるとユーザが評価する場合等である（ステップＳ０７（図３）でＹＥＳ）。この場合、ＰＣは、第１画像Ｉｍｇ１に対して、ステップＳ０３乃至ステップＳ０５をさらに行い、プレビュー画像の１つとして図８（Ｃ）に示す第２プレビュー画像ＩｍｇＰ２等をさらに生成する。以下、第３プレビュー画像ＩｍｇＰ３を生成した後、ＰＣが第２プレビュー画像ＩｍｇＰ２をさらに生成する例で説明する。

第３プレビュー画像ＩｍｇＰ３は、第２プレビュー画像ＩｍｇＰ２と比較して、平滑化の度合いが低い画像の例である。ゆえに、第３プレビュー画像ＩｍｇＰ３を生成する処理は、第２エントリの数が第２プレビュー画像ＩｍｇＰ２より多い。

ＰＣは、第３プレビュー画像ＩｍｇＰ３を生成する際に記憶した中間データを使用して第２プレビュー画像ＩｍｇＰ２をさらに生成する。具体的には、第２プレビュー画像ＩｍｇＰ２をさらに生成する場合、ＰＣは、ステップＳ０３では、中間データによって特定されるエントリから第２エントリを選択する。したがって、中間データを使用すると、ＰＣは、第２プレビュー画像ＩｍｇＰ２を生成する処理では、エントリを追加しなくともよい。

よって、ＰＣは、中間データを使用すると、第２エントリを第３プレビュー画像ＩｍｇＰ３の生成の際に使用したエントリから特定できる。処理強度が低い画像を生成する場合、処理強度が高い画像を生成する場合と比較して、第２エントリの数が少なくなる。そのため、処理強度が低い画像を生成する処理は、処理強度が高い画像を生成した際に記憶された中間データによって特定されるエントリで行うことができる。したがって、ＰＣは、中間データを使用すると、第２エントリを選択する処理の一部又は全部を省略でき、処理負荷を軽減できる。

なお、第３実施形態では、第２実施形態で説明したように、ＰＣは、重み係数を更新又は追加してもよい。処理強度が変化すると、各エントリに対する重みが変化するため、ＰＣは、重み係数を更新又は追加して残差ベクトルを小さくすることができる場合がある。ゆえに、ＰＣは、重み係数を更新又は追加することによって、より画像を精度よく復元することができる。

（第４実施形態）
第４実施形態は、例えば図２に示すハードウェア構成のＰＣ１を用いる。また、第４実施形態では、ＰＣ１は、図３に示す全体処理を行う。したがって、ハードウェア構成及び全体処理の説明は、省略する。第４実施形態は、第１実施形態と比較して、特徴量ベクトルを表現する方法が異なる。以下、第１実施形態と異なる点を中心に説明する。

図１０は、本発明の第４実施形態の一実施形態に係る画像処理装置による特徴量ベクトルに係る処理の一例を示す図である。以下、図５と同様に、Ｘ軸と、Ｘ軸に直交するＹ軸とによって示される２次元座標の例で説明する。また、以下、図５と同様に、表現しようとする特徴量ベクトルを目的ベクトルとする。

まず、ＰＣは、第１エントリ１Ｅ（図４）のうち、目的ベクトルと最も類似する第１類似ベクトルｅａ_１を類似度等によって求める。次に、ＰＣは、第１エントリ１Ｅのうち、第１類似ベクトルｅａ_１の次に目的ベクトルに類似する第２類似ベクトルｅａ_２を類似度等によって求める。なお、第１類似ベクトルｅａ_１及び第２類似ベクトルｅａ_２は、例えば、図１０（Ａ）に図示されるベクトルとする。

さらに、ＰＣは、第１類似ベクトルｅａ_１と重み係数ｗａ_１とを組み合わせた第３ベクトル及び第２類似ベクトルｅａ_２と重み係数ｗａ_２とを組み合わせた第４ベクトルを合成した合成ベクトルｃ_ｋを例えば図１０（Ｂ）のように生成する。なお、合成ベクトルｃ_ｋは、下記（２）式で定まる。

ここで、Ｚは、規格化を行うための定数であり、下記（３）式で定まる。

また、ｗａ_ｋは、重み係数である。例えば、重み係数ｗａ_ｋには、目的ベクトルと合成ベクトルｃ_ｋとの内積又は図１０（Ｃ）に示す残差ベクトルｒ_ｋのそれぞれの長さ｜ｒ_ｋ｜の逆数等がそれぞれ用いられる。

即ち、第４実施形態は、特徴量ベクトルを表現するため、ＰＣは、類似するベクトルを第２エントリとして選択し、複数の類似するベクトルを合成した合成ベクトルｃ_ｋを生成する。したがって、第４実施形態では、中間データは、類似ベクトルｅａ_ｋを特定するデータである。

例えば、第１実施形態と同様に、第１プレビュー画像ＩｍｇＰ１（図８）が生成された後、ＰＣが第２プレビュー画像ＩｍｇＰ２（図８）を生成する場合、ＰＣは、第１エントリ１Ｅ（図４）から新たにエントリを追加する。また、第２プレビュー画像ＩｍｇＰ２は、第１プレビュー画像ＩｍｇＰ１より平滑化の度合いが低い画像であるため、第２プレビュー画像ＩｍｇＰ２を生成する処理は、第２エントリの数が第１プレビュー画像ＩｍｇＰ１より多い。

ＰＣは、第１プレビュー画像ＩｍｇＰ１を生成する際に記憶した中間データを使用して第２プレビュー画像ＩｍｇＰ２を生成する。具体的には、第２プレビュー画像ＩｍｇＰ２を生成する場合、ＰＣは、ステップＳ０３では、第１エントリ１Ｅから、中間データによって特定されるエントリ以外のエントリを追加する。

即ち、ＰＣは、中間データを使用すると、第２エントリのうち、第１プレビュー画像ＩｍｇＰ１の生成の際に使用したエントリを特定できる。したがって、ＰＣは、中間データを使用すると、第２エントリのうち、第１プレビュー画像ＩｍｇＰ１の生成の際に使用したエントリを特定する処理の一部又は全部を省略でき、処理負荷を軽減できる。また、図１０に示す特徴量ベクトルを表現する方法によって、ＰＣは、文字等を精度よく復元することができる。

（変形例）
図１１は、本発明の一実施形態に係る画像処理装置によるプレビュー画像等を表示する画面の一例を示す図である。具体的には、複数のプレビュー画像ＩｍｇＰを表示及びユーザによる操作Ｍ（図１）を入力する画面ＰＮＬは、図示するように、複数のプレビュー画像を示す画面でもよい。以下、図１１に示す画面ＰＮＬが表示される場合の例で説明する。

ＰＣが図１１に示す画面ＰＮＬを表示する場合、ＰＣは、図３に示すステップＳ０６を行う前に、第１プレビュー画像ＩｍｇＰ１乃至第３プレビュー画像ＩｍｇＰ３を生成する。そのため、図３に示すステップＳ０６を行う前に、ＰＣは、各プレビュー画像を生成するステップＳ０３乃至ステップＳ０５をそれぞれ行う。

例えば、ＰＣは、複数のプレビュー画像ＩｍｇＰのうち、処理強度が低い方から順にプレビュー画像をそれぞれ生成する。具体的には、ＰＣは、まず、第１プレビュー画像ＩｍｇＰ１乃至第３プレビュー画像ＩｍｇＰ３のうち、最も処理強度が低い第１プレビュー画像ＩｍｇＰ１を生成するため、ステップＳ０３乃至ステップＳ０５をそれぞれ行う。

次に、ＰＣは、次に処理強度が低い第２プレビュー画像ＩｍｇＰ２をさらに生成するため、ステップＳ０３乃至ステップＳ０５をさらに行う。この場合、ＰＣは、中間データによって第１プレビュー画像ＩｍｇＰ１を生成した際の第２エントリが特定できるため、ＰＣは、中間データを使用しない場合と比較して、第２プレビュー画像ＩｍｇＰ２を生成する処理の処理負荷を軽減できる。

さらに、第３プレビュー画像ＩｍｇＰ３をさらに生成するため、ステップＳ０３乃至ステップＳ０５をさらに行う。この場合、ＰＣは、中間データによって第１プレビュー画像ＩｍｇＰ１及び第２プレビュー画像ＩｍｇＰ２を生成した際の第２エントリが特定できる。そのため、ＰＣは、中間データを使用しない場合と比較して、第３プレビュー画像ＩｍｇＰ３を生成する処理の処理負荷を軽減できる。また、図１１に示す画面ＰＮＬでは、複数のプレビュー画像が表示されるため、ユーザは、各画像を比較して評価しやすい。

なお、ＰＣは、複数のプレビュー画像ＩｍｇＰのうち、処理強度が高い方から順にプレビュー画像をそれぞれ生成してもよい。処理強度が高い方から順にプレビュー画像をそれぞれ生成する場合、ＰＣは、例えば第３実施形態で説明した方法で各プレビュー画像を順にそれぞれ生成する。この場合、ＰＣは、中間データを使用しない場合と比較して、第１プレビュー画像ＩｍｇＰ１及び第２プレビュー画像ＩｍｇＰ２を生成する処理の処理負荷をそれぞれ軽減できる。

（機能構成例）
図１２は、本発明の一実施形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。具体的には、ＰＣ１は、変換部１Ｆ１と、第１記憶部１Ｆ２と、選択部１Ｆ３と、第２記憶部１Ｆ４と、生成部１Ｆ５と、表示部１Ｆ６とを含む。

変換部１Ｆ１は、入力画像ＩｍｇＩを入力し、入力画像ＩｍｇＩから第１画像Ｉｍｇ１を生成する。なお、変換部１Ｆ１は、例えばＣＰＵ１Ｈ１（図２）及び入力Ｉ／Ｆ１Ｈ３（図２）等によって実現される。

第１記憶部１Ｆ２は、辞書データＤ１を入力し、画像が変化する前及び画像が変化した後を示すエントリを第１エントリ１Ｅとして記憶する。なお、第１記憶部１Ｆ２は、例えば記憶装置１Ｈ２（図２）等によって実現される。

選択部１Ｆ３は、第１画像Ｉｍｇ１から特徴量ベクトルを算出し、特徴量ベクトル及び処理強度等に基づいて第１記憶部１Ｆ２が記憶する第１エントリ１Ｅ等から第２エントリ２Ｅを選択する。また、中間データＤ２が記憶されていると、選択部１Ｆ３は、中間データＤ２に基づいて第２エントリ２Ｅを選択する。なお、選択部１Ｆ３は、例えばＣＰＵ１Ｈ１等によって実現される。

第２記憶部１Ｆ４は、選択部１Ｆ３によって選択される第２エントリ２Ｅを特定する中間データＤ２を記憶する。なお、第２記憶部１Ｆ４は、例えば記憶装置１Ｈ２等によって実現される。

生成部１Ｆ５は、第２記憶部１Ｆ４が記憶する中間データＤ２に基づいて第２エントリ２Ｅを特定し、特定された第２エントリ２Ｅに基づいて第１画像Ｉｍｇ１を画像処理して第２画像としてプレビュー画像ＩｍｇＰを生成する。なお、生成部１Ｆ５は、例えばＣＰＵ１Ｈ１等によって実現される。

表示部１Ｆ６は、生成部１Ｆ５が生成するプレビュー画像ＩｍｇＰをユーザＵＳＥＲに表示する。また、表示部１Ｆ６は、処理強度の指示等のユーザＵＳＥＲによる操作Ｍを入力する。なお、表示部１Ｆ６は、例えば入力装置１Ｈ４（図２）及び出力装置１Ｈ５（図２）等によって実現される。

ＰＣ１は、変換部１Ｆ１によって、入力画像ＩｍｇＩを変倍等して第１画像Ｉｍｇ１を生成する。また、ＰＣ１は、辞書データＤ１を入力して、第１記憶部１Ｆ２によって、第１エントリ１Ｅを記憶する。さらに、ＰＣ１は、選択部１Ｆ３によって、第１画像Ｉｍｇ１から特徴量ベクトルを算出し、特徴量ベクトル及び処理強度等に基づいて第２エントリ２Ｅを選択する。さらにまた、ＰＣ１は、第２記憶部１Ｆ４によって、選択部１Ｆ３によって選択された第２エントリ２Ｅを特定する中間データＤ２を記憶する。

中間データＤ２が記憶されていると、ＰＣ１は、中間データＤ２によって第２エントリ２Ｅを特定できる。したがって、ＰＣ１は、中間データＤ２を使用すると、第２エントリ２Ｅを選択する処理の一部又は全部が省略できる。ゆえに、ＰＣ１は、表示部１Ｆ６によってユーザＵＳＥＲに表示されるプレビュー画像ＩｍｇＰを中間データＤ２に基づいて生成するため、ＰＣ１は、プレビュー画像ＩｍｇＰとして表示される第２画像を生成する処理の処理負荷を軽減することができる。

なお、本発明の一実施形態に係る全体処理は、１以上の画像処理装置を有する画像処理システムによって行われてもよい。具体的には、画像処理システムは、ネットワークを介して他の１以上の画像処理装置と接続し、各種処理の全部又は一部を分散、並列、又は冗長して処理を行ってもよい。

なお、本発明の一実施形態に係る全体処理の全部又は一部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、及びＪａｖａ（登録商標）等のレガシープログラミング言語又はオブジェクト指向プログラミング言語等で記述されたコンピュータに実行させるためのプログラムによって実現されてもよい。即ち、プログラムは、画像処理装置、情報処理装置、又は画像処理システム等のコンピュータに各処理を実行させるためのコンピュータプログラムである。

また、プログラムは、ＲＯＭ又はＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）等のコンピュータが読み取り可能な記録媒体に格納して頒布することができる。さらに、記録媒体は、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤ（登録商標）カード、又はＭＯ等でもよい。さらにまた、プログラムは、電気通信回線を通じて頒布することができる。

さらに、画像処理システムは、ネットワーク等によって相互に接続される２以上の情報処理装置を有し、各種処理の全部又は一部を複数の情報処理装置が分散、並列、又は冗長してそれぞれ処理を行ってもよい。

以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。

１ ＰＣ
ＩｍｇＩ 入力画像
ＩｍｇＰ プレビュー画像
ＩｍｇＯ 出力画像
ＩｍｇＨ 高解像度画像
Ｉｍｇ１ 第１画像
Ｉｍｇ２ 第２画像
Ｄ１ 辞書データ
Ｄ２ 中間データ
１Ｅ 第１エントリ
２Ｅ 第２エントリ
Ｅ１、Ｅ２、ＥＮ エントリ
ＰＨ 高解像度パッチ
ＰＬ 低解像度パッチ

特許第４１４０６９０号明細書

Claims (15)

1. 第１画像を画像処理する画像処理装置であって、
   画像が変化する前及び前記画像が変化した後を示す第１エントリを記憶する第１記憶部と、
   前記第１画像が有する画素がそれぞれ示す画素値の分布を示す特徴量をベクトルで示す特徴量ベクトルに基づいて前記第１エントリから第２エントリを選択する選択部と、
   前記第２エントリを特定する中間データを記憶する第２記憶部と、
   前記中間データに基づいて前記第１画像を画像処理して第２画像を生成する生成部と
   を含む画像処理装置。
2. 前記生成部による前記画像処理は、前記特徴量ベクトルと、第２エントリによって定まる第１基礎ベクトルに第１重み係数を組み合わせて生成される第１ベクトルとの差を示す残差ベクトルに基づいて、前記第１基礎ベクトルとは異なる第２エントリによって定まる第２基礎ベクトルに第２重み係数を組み合わせて第２ベクトルを生成し、前記第１ベクトル及び前記第２ベクトルに基づくベクトルによる処理である請求項１に記載の画像処理装置。
3. 前記中間データは、前記第１重み係数及び前記第２重み係数をさらに含む請求項２に記載の画像処理装置。
4. 前記選択部が前記第２エントリを選択する場合、前記中間データに含まれる前記第１重み係数及び前記第２重み係数をそれぞれ更新又は追加する請求項３に記載の画像処理装置。
5. 前記生成部による前記画像処理は、前記特徴量ベクトルと類似する第２エントリによって定まる第１類似ベクトルに第３重み係数を組み合わせて生成される第３ベクトルと、前記第１類似ベクトルとは異なる第２エントリによって定まる第２類似ベクトルに第４重み係数を組み合わせて第４ベクトルとを生成し、前記第３ベクトル及び前記第４ベクトルを合成したベクトルに基づく処理である請求項１に記載の画像処理装置。
6. 前記中間データは、前記第３重み係数及び前記第４重み係数をさらに含む請求項５に記載の画像処理装置。
7. 前記選択部が前記第２エントリを選択する場合、前記中間データに含まれる前記第３重み係数及び前記第４重み係数をそれぞれ更新又は追加する請求項６に記載の画像処理装置。
8. 前記生成部は、前記中間データに基づく前記第２エントリと、前記選択部によって選択される前記第１エントリとに基づいて前記画像処理を行う請求項１乃至７のいずれかに記載の画像処理装置。
9. 前記生成部は、前記中間データに基づく前記第２エントリに基づいて前記画像処理を行う請求項１乃至７のいずれかに記載の画像処理装置。
10. 複数の前記第２画像を表示する表示部をさらに含む請求項１乃至９のいずれかに記載の画像処理装置。
11. 前記画像処理装置に入力される入力画像を所定の解像度にして前記第１画像を生成する変換部をさらに含む請求項１乃至１０のいずれかに記載の画像処理装置。
12. 第１画像を画像処理する１以上の画像処理装置を有する画像処理システムであって、
    
    画像が変化する前及び前記画像が変化した後を示す第１エントリを記憶する第１記憶部と、
    前記第１画像が有する画素がそれぞれ示す画素値の分布を示す特徴量をベクトルで示す特徴量ベクトルに基づいて前記第１エントリから第２エントリを選択する選択部と、
    前記第２エントリを特定する中間データを記憶する第２記憶部と、
    前記中間データに基づいて前記第１画像を画像処理して第２画像を生成する生成部と
    を含む画像処理システム。
13. 第１画像を画像処理する画像処理装置が行う画像処理方法であって、
    前記画像処理装置が、画像が変化する前及び前記画像が変化した後を示す第１エントリを記憶する第１記憶手順と、
    前記画像処理装置が、前記第１画像が有する画素がそれぞれ示す画素値の分布を示す特徴量をベクトルで示す特徴量ベクトルに基づいて前記第１エントリから第２エントリを選択する選択手順と、
    前記画像処理装置が、前記第２エントリを特定する中間データを記憶する第２記憶手順と、
    前記画像処理装置が、前記中間データに基づいて前記第１画像を画像処理して第２画像を生成する生成手順と
    を含む画像処理方法。
14. 第１画像に対して画像処理をコンピュータに実行させるためのプログラムであって、
    前記コンピュータが、画像が変化する前及び前記画像が変化した後を示す第１エントリを記憶する第１記憶手順と、
    前記コンピュータが、前記第１画像が有する画素がそれぞれ示す画素値の分布を示す特徴量をベクトルで示す特徴量ベクトルに基づいて前記第１エントリから第２エントリを選択する選択手順と、
    前記コンピュータが、前記第２エントリを特定する中間データを記憶する第２記憶手順と、
    前記コンピュータが、前記中間データに基づいて前記第１画像を画像処理して第２画像を生成する生成手順と
    を実行させるためのプログラム。
15. 第１画像に対して画像処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記コンピュータが、画像が変化する前及び前記画像が変化した後を示す第１エントリを記憶する第１記憶手順と、
    前記コンピュータが、前記第１画像が有する画素がそれぞれ示す画素値の分布を示す特徴量をベクトルで示す特徴量ベクトルに基づいて前記第１エントリから第２エントリを選択する選択手順と、
    前記コンピュータが、前記第２エントリを特定する中間データを記憶する第２記憶手順と、
    前記コンピュータが、前記中間データに基づいて前記第１画像を画像処理して第２画像を生成する生成手順と
    を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。