JP4987688B2 - 画像高解像度化方法および装置 - Google Patents

Description

本発明は、カメラで撮影された画像データやテレビが受信した画像データをより高い解像度の画像データに変換する画像高解像度化方法および装置に関する。

近年、画素数が多いテレビやディスプレイなどの表示装置が普及してきている。表示装置の画素数が多ければ、画像の細かい部分まで表示できる。すなわち、高解像度な画像を表示できる。

画素数を増やす高解像度化のためには、内挿法がよく利用される。内挿法は、高速に処理できる一方で、必ずしも鮮鋭な画像を得られない。内挿法よりも鮮鋭な画像が得るために、再構成制約と呼ばれる制約を満足する高解像度化画像を作成する方法がある（例えば、非特許文献１参照）。
A. Tanaka, H. Imai, and M. Miyakoshi, "Digital Image Enlargement Based on Kernel Component Estimation," International Journal of Computing Anticipatory Systems, vol. 15, pp. 97-108, 2004.

しかし、従来の方法の再構成制約を満足する高解像度化画像を作成する方法は、計算コストが高いという問題がある。計算コストが高い場合、例えば、動画を表示装置に表示するために高解像度化が必要な場面において、高解像度化の処理速度が動画の再生速度よりも遅くなり、コマ落ちという問題が発生する。

この発明は、上述した事情を考慮してなされたものであり、従来よりも計算コストが低い画像高解像度化装置および方法を提供することを目的とする。

上述の課題を解決するため、本発明の画像高解像度化装置は、縦および横の画素数を示すサイズが第１サイズである低解像度画像を入力する第１入力手段を有し、サイズが所望の第２サイズである第１画像を作成する画像高解像度化装置であって、ある内挿法または超解像の方法により前記低解像度画像を、前記第２サイズに高解像度化した高解像度画像を入力する第２入力手段と、前記低解像度画像の第１サイズと、前記第２サイズとに応じて、高解像度化のための処理単位であるブロックサイズとして、前記第１サイズに対応する第１ブロックサイズと前記第２サイズに対応する第２ブロックサイズとを算出する第１算出手段と、前記第１ブロックサイズのブロックの前記低解像度画像での第１位置と、前記第２ブロックサイズのブロックの前記高解像度画像または前記第１画像での該第１位置に対応する第２位置とを算出する第２算出手段と、前記低解像度画像に含まれる前記第１位置に位置する第１ブロックと、前記高解像度画像に含まれる前記第２位置に位置する第２ブロックを設定する第１設定手段と、前記第２ブロックサイズの縦の画素数と横の画素数との積を次元とするユークリッド空間内で、低解像度化によって前記第１ブロックになる前記第２ブロックサイズのブロックを示すベクトルの集合からなる線形多様体に、前記第２ブロックを示す第１ベクトルを射影した第２ベクトルが表す第３ブロックを、前記第１ブロックの高解像度化ブロックに設定する第２設定手段と、前記第１位置と前記第２位置とを変更して設定した前記高解像度化ブロックを少なくとも１つ利用することにより前記第１画像を作成する第３算出手段と、を具備することを特徴とする。

また、本発明の画像高解像度化装置は、縦および横の画素数を示すサイズが第１サイズである低解像度画像を入力する入力手段を有し、サイズが所望の第２サイズである第１画像を作成する画像高解像度化装置であって、前記第１サイズと、前記第２サイズとに応じて、高解像度化のための処理単位であるブロックサイズとして、前記第１サイズに対応する第１ブロックサイズと前記第２サイズに対応する第２ブロックサイズとを算出する第１算出手段と、前記第１ブロックサイズのブロックの前記低解像度画像での第１位置と、前記第２ブロックサイズのブロックの前記第１画像での該第１位置に対応する第２位置とを算出する第２算出手段と、前記低解像度画像に含まれる前記第１位置に位置する第１ブロックを設定する第１設定手段と、前記第１ブロックから、ある内挿法により前記第２ブロックサイズの第２ブロックを作成するための第１係数を、前記第１ブロックサイズと前記第２ブロックサイズとを使用して算出する第３算出手段と、前記第２ブロックサイズの縦の画素数と横の画素数との積を次元とするユークリッド空間内で、低解像度化によって前記第１ブロックの一部になる前記第２ブロックサイズのブロックを示すベクトルの集合からなる線形多様体に、前記第２ブロックを示す第１ベクトルを射影した第２ベクトルを計算するための第２係数を、前記第１係数と前記第１ブロックサイズと前記第２ブロックサイズとを使用して算出する第４算出手段と、前記第１ブロックと前記第２係数とから、前記第２位置が示す位置に対応する前記第２ベクトルを算出し、該第２ベクトルが示す第３ブロックを前記第１ブロックの一部の高解像度化ブロックに設定する第２設定手段と、前記第１位置と前記第２位置とを変更して設定した前記高解像度化ブロックを少なくとも１つ利用することにより前記第１画像を作成する第前記第１ブロックの高解像度化ブロックに設定５算出手段と、を具備することを特徴とする。

本発明の画像高解像度化装置および方法によれば、従来よりも計算コストを低くすることができる。

以下、図面を参照しながら本発明の実施形態に係る画像高解像度化方法および装置について詳細に説明する。なお、以下の実施形態中では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。また、実施形態は、後述の実施形態で限定されるものではなく、変更しても構わない。例えば、後述の変形例により変更したり、それら変形例を組み合わせることにより変更したりしても構わない。
最初に簡単に用語について説明する。
デジタル画像は、各位置に色や輝度の情報を持った値からなる。この値を持つ単位を画素と呼び、その値を画素値と呼ぶ。以下では、説明を簡単にするため、画素値として輝度を表す値のみを持つ場合を説明する。この場合、１画素あたりに画素値が１つである。色の情報を持った値を画素値として持たせる場合としては、例えば、赤と緑と青に関する色の情報を３次元の空間で表現したＲＧＢ色空間での値を画素値として持たせると良い。この場合、１画素あたりに赤と緑と青に関する３つの値が画素値になる。

デジタル画像を高解像度化するためには、画素数を増やす必要がある。画素数を増やすことを画像の高解像度化という場合がある。また、画像の拡大と高解像度化を同じ意味で利用したり、画像の縮小と低解像度化を同じ意味で利用したりする場合がある。以降の説明において、低解像度画像と高解像度画像を区別して図示するために、低解像度画像を小さな画面で、高解像度画像を大きな画面で表現する場合がある。

画像中の矩形の部分画像は、ブロックと呼ばれる。以下では、ブロックの画素の値を並べたベクトルにより、ブロックを表現する。説明の簡略化のために、そのブロックとベクトルを区別せず、ベクトルをブロックと呼んだり、ブロックをベクトルと呼んだりする場合がある。

（第１の実施形態）
本実施形態の画像高解像度化装置について図１を参照して説明する。
本実施形態の画像高解像度化装置１００は、低解像度画像入力部１０１、高解像度画像入力部１０２、設定部１０３、初期化部１０４、および、作成部１０５を含む。画像高解像度化装置１００は、枚数データ１５６、サイズデータ１６０、低解像度画像１５１、および、高解像度画像１５２から、高解像度化画像１５３を作成し、出力する。以降、高解像度化したい低解像度な画像（静止画や動画）の横方向の画素の数（幅）をｗ_ｌ、縦方向の画素の数（高さ）をｈ_ｌで表し、それを高解像度化した画像の幅をｗ_ｈ、高さをｈ_ｈで表す。

低解像度画像入力部１０１は、高解像度化したい低解像度な画像（動画や静止画）のうちのｎ枚目（ｎ＝１，２，．．．，Ｎ）を、低解像度画像１５１として入力する。低解像度画像１５１は、各画素の画素値を表すデータである。高解像度化したい低解像度な画像が、例えばｊｐｅｇ形式やｍｐｅｇ２形式などで符号化されたものであれば、低解像度画像入力部１０１はそれを復号するためのコーデックを備えている。低解像度画像入力部１０１は、設定部１０３が設定したブロックデータ１５８を取得し、低解像度画像１５１から、ブロックデータ１５８が表す低解像度ブロック１５５を抽出し、低解像度ブロック１５５を作成部１０５へ渡す。ブロックデータ１５８は、低解像度画像１５１中の幅がｃ_ｌ、高さがｒ_ｌの低解像度ブロック１５５の位置を表すデータである。この位置は、例えば、ブロックの左上の座標である。ブロックデータ１５８は、位置をずらしながら設定部１０３に指定される。具体的には、横方向にはｃ_ｌ、縦方向にはｒ_ｌずつ位置がずらされる。これにより、低解像度画像１５１中の低解像度ブロック１５５を順に処理する。

高解像度画像入力部１０２は、低解像度画像１５１が高解像度化された高解像度画像１５２を入力する。高解像度画像１５２は、画像高解像度化装置１００が作成して出力する高解像度化画像１５３と同じサイズの画像の各画素の画素値を表すデータであり、ｎ枚目の低解像度画像１５１が高解像度化されたものが入力される。その高解像度化の方法は、既存の内挿法で作成でき、例えば、バイリニア法、３次畳み込み法、バイキュービック法、キュービックスプライン法などが高速に処理できるため良いが、再構成型超解像、事例学習型超解像の方法を利用しても良い。高解像度画像１５２が、例えばｊｐｅｇ形式やｍｐｅｇ２形式などで符号化されたものであれば、高解像度画像入力部１０２はそれを復号するためのコーデックを備えている。高解像度画像入力部１０２は、設定部１０３が設定したブロックデータ１５９を取得し、高解像度画像１５２から、ブロックデータ１５９が表す高解像度ブロック１５７を抽出し、高解像度ブロック１５７を作成部１０５へ渡す。ブロックデータ１５９は、高解像度画像１５２中の幅がｃ_ｈ、高さがｒ_ｈの高解像度ブロック１５７の位置を表すデータである。この位置は、例えば、ブロックの左上の座標である。ブロックデータ１５９は、ブロックデータ１５８と対応した位置で指定される。具体的には、横方向にはｃ_ｈ、縦方向にはｒ_ｈずつ位置がずらされる。

初期化部１０４は、サイズデータ１６０を取得し、ブロックサイズデータ１５４、作成データ１６２を出力する。サイズデータ１６０は、低解像度画像１５１のサイズ（横方向の画素の数と縦方向の画素の数）、作成する高解像度化画像１５３のサイズを表すデータである。高解像度化したい低解像度な画像（動画や静止画）が、例えばｊｐｅｇ形式やｍｐｅｇ２形式などで符号化されたものであれば、サイズデータ１６０は、ヘッダーの一部である。ブロックサイズデータ１５４は、入力されたサイズデータ１６０（ｗ_ｌ、ｈ_ｌ、ｗ_ｈ、ｈ_ｈ）から算出される。ブロックサイズデータ１５４は、高解像度化のための処理単位である低解像度画像１５１におけるブロックのサイズ（幅ｃ_ｌと高さｒ_ｌ）と、高解像度画像１５２や高解像度化画像１５３におけるブロックのサイズ（幅ｃ_ｈと高さｒ_ｈ）を表すデータである。ブロックサイズデータ１５４（ｃ_ｌ、ｒ_ｌ、ｃ_ｈ、ｒ_ｈ）の算出方法については、後に（１−１）で説明する。作成データ１６２は、作成部１０５で必要となるデータであり、ブロックサイズデータ１５４（ｃ_ｌ、ｒ_ｌ、ｃ_ｈ、ｒ_ｈ）から算出される。作成データ１６２の詳細とその算出方法については、後に（１−２）で説明する。

設定部１０３は、枚数データ１５６、サイズデータ１６０、初期化部１０４が算出したブロックサイズデータ１５４を取得する。枚数データ１５６は、高解像度化したい低解像度画像の枚数Ｎを表すデータである。高解像度化したい低解像度な画像が動画であり、その動画が例えばｍｐｅｇ２形式などで符号化されたものであれば、枚数データ１５６は、ヘッダーの一部である。設定部１０３は、これらのデータを取得して、ブロックデータ１５８、ブロックデータ１５９、ブロックデータ１６１を算出する。ブロックデータ１６１は、高解像度化画像１５３中の幅がｃ_ｈ、高さがｒ_ｈの高解像度化ブロックの位置を表すデータである。ブロックデータ１６１は、ブロックデータ１５８と対応した位置で指定される。具体的には、横方向にはｃ_ｈ、縦方向にはｒ_ｈずつ位置がずらされる。ブロックデータ１５８、１５９、１６１を互いに対応付けることにより、画像全体で処理するのではなく、画像のブロックごとに処理することができる。また、設定部１０３は、高解像度化画像１５３中の全ての高解像度化ブロックが処理されたかどうかを判定する。さらに、設定部１０３は、高解像度化したい低解像度な画像（動画や静止画）のうちの全て（Ｎ枚；Ｎフレーム）が処理されたかどうかを、枚数データ１５６から判定する。

作成部１０５は、低解像度ブロック１５５、高解像度ブロック１５７、作成データ１６２、および、ブロックデータ１６１から、ブロックデータ１６１が表す高解像度化画像１５３中の高解像度化ブロックを作成する。高解像度化ブロックを作成する手法については後に（１−３）で説明する。作成部１０５は、高解像度化画像１５３中の全ての高解像度化ブロックを作成し、高解像度化画像１５３を作成する。

次に、図１の画像高解像度化装置１００の動作の一例について図２を参照して説明する。
（ステップＳ２０１）まず、枚数データ１５６が設定部１０３に入力され、サイズデータ１６０が初期化部１０４と設定部１０３に入力される。次に、ブロックサイズデータ１５４が初期化部１０４により算出され、設定部１０３に送られる。最後に、作成データ１６２が初期化部１０４により算出され、作成部１０５に送られる。
（ステップＳ２０２）低解像度画像入力部１０１に、高解像度化したい低解像度な画像（動画や静止画）のうちのｎ枚目が、低解像度画像１５１として入力される。
（ステップＳ２０３）高解像度画像入力部１０２に、低解像度画像１５１が高解像度化された高解像度画像１５２が入力される。

（ステップＳ２０４）まず、ブロックデータ１５８が設定部１０３により低解像度画像入力部１０１に送られ、ブロックデータ１５９が設定部１０３により高解像度画像入力部１０２に送られ、ブロックデータ１６１が設定部１０３により作成部１０５に送られる。そして、ブロックデータ１５８が表す低解像度画像１５１中の低解像度ブロック１５５が低解像度画像入力部１０１により作成部１０５に送られ、ブロックデータ１５９が表す高解像度画像１５２中の高解像度ブロック１５７が高解像度画像入力部１０２により作成部１０５に送られる。ブロックデータ１５８は、Ｓ２０４が繰り返して処理される際に、位置をずらしながら指定される。ブロックデータ１５８、１５９、１６１を互いに対応付けることにより、画像全体で処理するのではなく、画像のブロックごとに処理する。

（ステップＳ２０５）ブロックデータ１６１が表す高解像度化画像１５３中の高解像度化ブロックが、低解像度ブロック１５５、高解像度ブロック１５７、および、作成データ１６２から、作成部１０５により作成される。

（ステップＳ２０６）高解像度化画像１５３中の全ての高解像度化ブロックが処理されたかどうかが設定部１０３により判定される。全てのブロックが処理された場合はＳ２０７に進み、処理されていない場合はＳ２０４に戻る。設定部１０３により制御されるブロックデータ１５８、１５９、１６１が変化しながら、Ｓ２０５が繰り返される。その繰り返しにより、作成部１０５において、高解像度化画像１５３中の全ての高解像度化ブロックが作成され、高解像度化画像１５３が作成され、出力される。なお、端のブロックは、注目が集まりにくく、重要でない場合が多いため、より計算コストの少ない方法で作成しても良い。

（ステップＳ２０７）高解像度化したい低解像度な画像（動画や静止画）のうちの全て（Ｎ枚）が処理されたかどうかが設定部１０３により、枚数データ１５６から判定される。全ての枚数（フレーム数）が処理された場合は終了し、処理されていない場合はＳ２０２に戻る。

（１−１）ブロックサイズデータ１５４（ｃ_ｌ、ｒ_ｌ、ｃ_ｈ、ｒ_ｈ）の算出方法：初期化部１０４
低解像度ブロックの高さｒ_ｌと高解像度ブロックの高さｒ_ｈは、縦方向の高解像度化率から計算する。縦方向の高解像度化率はｈ_ｈ／ｈ_ｌである。この分数を約分することにより、既約分数にする。この既約分数の分母を低解像度ブロックの高さｒ_ｌとし、分子を高解像度ブロックの高さｒ_ｈとする。既約分数に約分するためには、例えば、ユークリッドの互除法により、ｈ_ｈとｈ_ｌの最大公約数を求め、その最大公約数でｈ_ｈ／ｈ_ｌの分子と分母をそれぞれ除算すれば良い。低解像度ブロックの幅ｃ_ｌと高解像度ブロックの幅ｃ_ｈは、横方向の高解像度化率から計算する。横方向の高解像度化率はｗ_ｈ／ｗ_ｌである。この分数を約分することにより、既約分数にする。この既約分数の分母を低解像度ブロックの幅ｃ_ｌとし、分子を高解像度ブロックの幅ｃ_ｈとする。既約分数に約分するためには、例えば、ユークリッドの互除法により、ｗ_ｈとｗ_ｌの最大公約数を求め、その最大公約数でｗ_ｈ／ｗ_ｌの分子と分母をそれぞれ除算すれば良い。

（１−２）作成データ１６２の算出方法：初期化部１０４
高解像度画像Ｘ中の高解像度ブロックｘが低解像度画像Ｙ中の低解像度ブロックｙに低解像度化する過程を、低解像度化行列Ｗを用いて次式で表す。
ｙ＝Ｗｘ
ここで、ｘは高解像度ブロックの各画素の画素値を並べたｃ_ｈｒ_ｈ次元の縦ベクトルであり、ｙは低解像度画像の各画素の画素値を並べたｃ_ｌｒ_ｌ次元の縦ベクトルであり、Ｗはｃ_ｌｒ_ｌ行ｃ_ｈｒ_ｈ列の行列である。Ｗは、例えば、対応する画素の面積比により決定される面積平均を表す行列と等しい。４×４の高解像度ブロックが１×１の低解像度ブロックに低解像度化する図３の例（ｃ_ｌ＝１、ｒ_ｌ＝１、ｃ_ｈ＝４、ｒ_ｈ＝４）では、面積平均を表す行列は１行１６列の行列であり、この行列の要素は全て１／１６である。面積平均を表す行列をＷとして採用しなくても構わない。例えば、画素の中心ほど重みが大きい重み付き面積平均を表す行列を採用しても良い。あるいは、あるカメラの光学特性を考慮した行列を採用しても良い。解像度は、ｘよりｙの方が低いため、ｃ_ｌｒ_ｌ＜ｃ_ｈｒ_ｈが成り立つ。高解像度化の問題は、この式ｙ＝Ｗｘで表される再構成制約を満足する高解像度ブロックｘを入力の低解像度ブロックｙから再構成し、その高解像度ブロックｘを高解像度画像Ｘの全体に敷き詰める問題として捉えられる。

ところで、高解像度ブロックｘは、ｃ_ｈｒ_ｈ次元ユークリッド空間

中の一点である。すなわち、ｘはこのｃ_ｈｒ_ｈ次元ユークリッド空間内のｃ_ｈｒ_ｈ次元ベクトルで示される。このｃ_ｈｒ_ｈ次元ユークリッド空間

は、Ｒ（Ｗ^＊）とＮ（Ｗ）の直交直和になっている。すなわち、以下の式が成立する。

ここで、Ｗ^＊は、Ｗの共役転置行列を表す。ここでは、Ｗは実数行列であるので、Ｗ^＊は転置行列である。Ｒ（Ｗ^＊）は、
Ｒ（Ｗ^＊）＝｛ｘ｜ｘ＝Ｗ^＊ｙ｝
により定義されるＷ^＊の値域であり、Ｎ（Ｗ）は、
Ｎ（Ｗ）＝｛ｘ｜Ｗｘ＝０｝
により定義されるＷの零空間であり、この式中の０は要素が全て０のｃ_ｌｒ_ｌ次元縦ベクトルを表す。

は、直交直和を表す。この直交直和の関係から、ユークリッド空間

の任意の元を、Ｒ（Ｗ^＊）の元とＮ（Ｗ）の元に、一意に分解できる。したがって、高解像度ブロックｘを

と分解できる。ここで、

は、Ｒ（Ｗ^＊）への正射影行列を表し、

が成立する。Ｗ^＋は、ＷのMoore-Penrose一般逆行列であり、行列サイズはｃ_ｈｒ_ｈ行ｃ_ｌｒ_ｌ列である。Ｐ_Ｎ（Ｗ）は、Ｎ（Ｗ）への正射影行列を表し、

が成立する。Ｉは、ｃ_ｈｒ_ｈ行ｃ_ｈｒ_ｈ列の単位行列である。したがって、高解像度ブロックｘを
ｘ＝Ｗ^＋Ｗｘ＋（Ｉ−Ｗ^＋Ｗ）ｘ
と分解できる。再構成制約ｙ＝Ｗｘを満足するｘであれば、
ｘ＝Ｗ^＋ｙ＋（Ｉ−Ｗ^＋Ｗ）ｘ
と分解できる。右辺の第一項がｘのＲ（Ｗ^＊）成分であり、第二項がｘのＮ（Ｗ）成分である。したがって、再構成制約ｙ＝Ｗｘを満足する高解像度ブロックｘの一般形、すなわち、一般解は、次式で表すことができる。

ｘ＝Ｗ^＋ｙ＋（Ｉ−Ｗ^＋Ｗ）ｚ
ここで、ｚは、任意の高解像度ブロックであり、ｃ_ｈｒ_ｈ次元の縦ベクトルである。この一般解のＲ（Ｗ^＊）成分は一意に定まる。一方、Ｎ（Ｗ）成分には任意の高解像度ブロックｚが含まれ、一意に定まらないため、ｘのＮ（Ｗ）成分は一意に定まらない。したがって、再構成制約を満足するｘは複数あり、一意に定まらない。図３は、高解像度ブロックｘ_１とｘ_２が低解像度化行列Ｗにより表される低解像度化により、同一の低解像度ブロックｙに低解像度化した例を表す図である。この例では、解像度が１／１６（縦方向と横方向にそれぞれ１／４）に低下している。低解像度ブロックｙから、再構成制約を満足する高解像度ブロックｘが一意に定まらないことが、図３からもわかる。そこで、本発明では、鮮鋭な高解像度ブロックを低い計算コストで獲得するために、ｚ_ｐをｙから内挿法により高速に計算し、そのｚ_ｐから、次式により高解像度ブロックｘ_ｐを求める。

ｘ_ｐ＝Ｗ^＋ｙ＋（Ｉ−Ｗ^＋Ｗ）ｚ_ｐ
右辺の第一項がｘ_ｐのＲ（Ｗ^＊）成分であり、第二項がｘ_ｐのＮ（Ｗ）成分である。この式（ｘ_ｐ＝Ｗ^＋ｙ＋（Ｉ−Ｗ^＋Ｗ）ｚ_ｐ）の第一項（Ｒ（Ｗ^＊）成分）は、「小川英光，“信号と画像の復元［ＩＩＩ］−最適復元のための射影フィルタ族−，”電子情報通信学会誌，ｖｏｌ．７１，ｐｐ．７３９−７４８，１９８８．」に記載の一般逆フィルタをブロック単位で画像の高解像度化に応用した場合に相当する。図４は、ｚ_ｐからｘ_ｐの計算の幾何学的意味を説明するための図である。この例では、ｃ_ｈｒ_ｈ＝３としたため、

は３次元のユークリッド空間である。ｚ_ｐとｘ_ｐは、その３次元のユークリッド空間

中の一点である。上述の通り、

はＲ（Ｗ^＊）とＮ（Ｗ）の直交直和である。図４では、Ｒ（Ｗ^＊）を１次元で表現し、Ｒ（Ｗ^＊）の直交補空間であるＮ（Ｗ）を２次元で表現した。ｘ_ｐのＲ（Ｗ^＊）成分は、低解像度ブロックｙと低解像度化行列Ｗから定まる。ｘ_ｐのＮ（Ｗ）成分は、ｚ_ｐをＮ（Ｗ）に正射影したものである。Ｎ（Ｗ）と並行な線形多様体Ｍの全ての元は、再構成制約ｙ＝Ｗｘを満足する。本実施形態により得られる高解像度化ブロックｘ_ｐは、ｚ_ｐをＭに正射影したものであり、Ｍの元のうち、ｚ_ｐに最も近いものである。

作成データ１６２は、この正射影に必要なデータである。例えば、Ｗ^＋とＩ−Ｗ^＋Ｗを表すデータである。

（１−３）高解像度化画像１５３中の高解像度化ブロックの作成方法：作成部１０５
低解像度ブロック１５５は上述の低解像度ブロックｙを表すデータであり、高解像度ブロック１５７はそれと対応した位置の上述の高解像度ブロックｚ_ｐを表すデータであり、作成データ１６２は上述のＷ^＋とＩ−Ｗ^＋Ｗを表すデータである。これらから、作成部１０５では、ブロックデータ１６１が表す高解像度化画像１５３中の高解像度化ブロックｘ_ｐが、上述の式（ｘ_ｐ＝Ｗ^＋ｙ＋（Ｉ−Ｗ^＋Ｗ）ｚ_ｐ）に基づいて算出される。

（１−４）本実施形態の効果
本実施形態では、画像全体ではなく、画像中のブロックごとに計算するため、計算コストを削減することができる。従来技術の例えば非特許文献１の方法では、ＹとＺ_ｃからＸ_ｃを求める際、Ｘ_ｃ中の１画素の画素値を求めるため（すなわち、Ｘ_ｃ＝Ｋ＋Ｙ＋（Ｉ−Ｋ^＋Ｋ）Ｚ_ｃを計算するため）（ｗ_ｌｈ_ｌ＋ｗ_ｈｈ_ｈ）回の積和演算が必要であった。一方、本実施形態では、
ｘ_ｐ＝Ｗ^＋ｙ＋（Ｉ−Ｗ^＋Ｗ）ｚ_ｐ
より、１画素当たりで（ｃ_ｌｒ_ｌ＋ｃ_ｈｒ_ｈ）回の積和演算が必要である。（ｃ_ｌｒ_ｌ＋ｃ_ｈｒ_ｈ） ＜ （ｗ_ｌｈ_ｌ＋ｗ_ｈｈ_ｈ）であるから、計算コストを削減できる。例えば、ｗ_ｌ＝７２０、ｈ_ｌ＝４８０、ｗ_ｈ＝１９２０、ｈ_ｈ＝１０８０の場合、ｃ_ｌ＝３、ｒ_ｌ＝４、ｃ_ｈ＝８、ｒ_ｈ＝９となるため、ｃ_ｌｒ_ｌ＋ｃ_ｈｒ_ｈ＝８４、ｗ_ｌｈ_ｌ＋ｗ_ｈｈ_ｈ＝２４１９２００となり、計算量を大幅に削減できる。

また、本実施形態では、画像全体ではなく、画像中のブロックごとに計算するため、一般逆行列を計算するためのコストを削減することができる。従来技術の例えば非特許文献１の方法では、低解像度化行列Ｋのサイズが大きく、ｗ_ｌｈ_ｌ行ｗ_ｈｈ_ｈ列であった。一方、本実施形態では、低解像度化行列Ｗのサイズはｃ_ｌｒ_ｌ行ｃ_ｈｒ_ｈ列であり、Moore-Penrose一般逆行列の計算コストは、行列サイズが大きくなればなるほど高くなることが知られているので、Moore-Penrose一般逆行列の計算コストを削減できる。

さらに、本実施形態では、一意に定まらない解を一意に定めるために、線形計画法による繰り返し計算を必要としないため、計算コストを削減することができる。従来技術の例えば非特許文献１の方法では、微分画像がラプラス分布に従うという仮定に基づく尤度を最大化するために、線形計画法による繰り返し計算が必要であった。一方、本実施形態では、微分画像がラプラス分布に従うという仮定を利用しないので、計算コストが高い線形計画法による繰り返し計算を必要としないので、この分だけ計算コストを削減できる。

なお、本実施形態では、低解像度化の過程が既知であり、それが式（ｙ＝Ｗｘ）で表せれば、ｚ_ｐよりも高いか同じＰＳＮＲ（Peak Signal-to-Noise Ratio）を得られる。それを証明するために、低解像度化する前の高解像度ブロックをｘで表す。証明のためには、ｘ_ｐのｘに対するＳＳＤ（ｘ_ｐ）がｚ_ｐのｘに対するＳＳＤ（ｚ_ｐ）以下になることを示せば十分である。ＳＳＤ（ｘ_ｐ）は、以下の通りに計算できる。

ＳＳＤ（ｘ_ｐ）＝‖ｘ−ｘ_ｐ‖^２
ＳＳＤ（ｘ_ｐ）＝‖Ｗ^＋ｙ＋（Ｉ−Ｗ^＋Ｗ）ｘ−Ｗ^＋ｙ−（Ｉ−Ｗ^＋Ｗ）ｚ_ｐ‖^２
ＳＳＤ（ｘ_ｐ）＝‖（Ｉ−Ｗ^＋Ｗ）（ｘ−ｚ_ｐ）‖^２
ここで、‖ｘ‖はｘのノルムを表す。ＳＳＤ（ｚ_ｐ）は以下の通りに計算できる。

ＳＳＤ（ｚ_ｐ）＝‖ｘ−ｚ_ｐ‖^２
ＳＳＤ（ｚ_ｐ）＝‖Ｗ^＋ｙ＋（Ｉ−Ｗ^＋Ｗ）ｘ−Ｗ^＋Ｗｚ_ｐ−（Ｉ−Ｗ^＋Ｗ）ｚ_ｐ‖^２
ＳＳＤ（ｚ_ｐ）＝‖Ｗ^＋ｙ−Ｗ^＋Ｗｚ_ｐ‖^２＋２＜Ｗ^＋ｙ−Ｗ^＋Ｗｚ_ｐ，（Ｉ−Ｗ^＋Ｗ）（ｘ−ｚ_ｐ）＞＋‖（Ｉ−Ｗ^＋Ｗ）（ｘ−ｚ_ｐ）‖^２
ＳＳＤ（ｚ_ｐ）＝‖Ｗ^＋ｙ−Ｗ^＋Ｗｚ_ｐ‖^２＋‖（Ｉ−Ｗ^＋Ｗ）（ｘ−ｚ_ｐ）‖^２
ここで、＜ｘ，ｚ＞は、ｘとｚの内積を表す。Ｗ^＋ｙ−Ｗ^＋Ｗｚ_ｐがＲ（Ｗ^＊）の元であること、（Ｉ−Ｗ^＋Ｗ）（ｘ−ｚ_ｐ）がＮ（Ｗ）の元であること、Ｒ（Ｗ^＊）とＮ（Ｗ）が互いに直交することから、
＜Ｗ^＋ｙ−Ｗ^＋Ｗｚ_ｐ，（Ｉ−Ｗ^＋Ｗ）（ｘ−ｚ_ｐ）＞＝０
が成立することを上記計算では利用した。したがって、ＳＳＤ（ｘ_ｐ）−ＳＳＤ（ｚ_ｐ）は、以下の通りに計算できる。

ＳＳＤ（ｘ_ｐ）−ＳＳＤ（ｚ_ｐ）＝‖（Ｉ−Ｗ^＋Ｗ）（ｘ−ｚ_ｐ）‖^２−‖Ｗ^＋ｙ−Ｗ^＋Ｗｚ_ｐ‖^２−‖（Ｉ−Ｗ^＋Ｗ）（ｘ−ｚ_ｐ）‖^２
ＳＳＤ（ｘ_ｐ）−ＳＳＤ（ｚ_ｐ）＝−‖Ｗ^＋ｙ−Ｗ^＋Ｗｚ_ｐ‖^２
よって、ＳＳＤ（ｘ_ｐ）−ＳＳＤ（ｚ_ｐ）は０以下となる。これにより、本実施形態では、低解像度化の過程が既知であり、それが式（ｙ＝Ｗｘ）で表せれば、ｚ_ｐよりも高いか同じＰＳＮＲを得られることを証明できた。

（１−５）第１変形例：高解像度ブロックの作成方法の変形例
本実施形態では、再構成制約を満足する高解像度ブロックｘ_ｐを式（ｘ_ｐ＝Ｗ^＋ｙ＋（Ｉ−Ｗ^＋Ｗ）ｚ_ｐ）により求めた。それに対し、再構成制約を厳密には満足しない高解像度ブロックを求めても良い。例えば、高解像度ブロックｘ_ｐを次の式により求めても良い。

ｘ_ｐ＝αＷ^＋ｙ＋（Ｉ−αＷ^＋Ｗ）ｚ_ｐ
この式は、ｚ_ｐとＷ^＋ｙ＋（Ｉ−Ｗ^＋Ｗ）ｚ_ｐを通る直線を表す。αを０とすると、高解像度ブロックｘ_ｐはｚ_ｐとなり、αを１とすると、高解像度ブロックｘ_ｐはＷ^＋ｙ＋（Ｉ−Ｗ^＋Ｗ）ｚ_ｐとなり、αを０と１の間の値にすると、高解像度ブロックｘ_ｐはｚ_ｐとＷ^＋ｙ＋（Ｉ−Ｗ^＋Ｗ）ｚ_ｐの内挿点となる。内挿点を求めることにより、Ｗ^＋ｙ＋（Ｉ−Ｗ^＋Ｗ）ｚ_ｐよりも主観画質が向上する場合がある。なぜなら、Ｗ^＋ｙ＋（Ｉ−Ｗ^＋Ｗ）ｚ_ｐは、最近傍内挿法で高解像度化した場合のようなブロック感が発生する場合があるのに対し、内挿点を求めることにより、そのブロック感が軽減されるためである。ＳＳＤは良くならないが、エッジのジャギーが軽減する。例えば、縦横それぞれ２倍に高解像度化するために、
Ｗ＝（１／４ １／４ １／４ １／４）
とした場合、
Ｗ^＋＝（１ １ １ １）^Ｔ
となるため、Ｗ^＋ｙはｙを最近傍内挿法で高解像度化したものとなる。ここで、この式のＴは行列の転置を表す。図４からわかるように、式（ｘ_ｐ＝Ｗ^＋ｙ＋（Ｉ−Ｗ^＋Ｗ）ｚ_ｐ）による高解像度化は、ｚ_ｐのＲ（Ｗ^＊）成分をＷ^＋ｙに置き換える変換であるため、最近傍内挿法で高解像度化した場合のようなブロック感が発生する場合がある。他の滑らかな画像を生成できる方法で作成したｚ_ｐとの内挿点を求めれば、そのブロック感を削減できる。

あるいは、再構成制約を厳密に満足する高解像度ブロックではなく、
‖ｙ−Ｗｘ‖^２＋β‖Ｄｘ‖^２
を最小化する高解像度ブロックを求めても良い。ここで、Ｄは、任意の行数でｃ_ｈｒ_ｈ列の正則化行列であり、βは正則化パラメータである。この高解像度ブロックｘ_ｐは、次式により計算できる。

ｘ_ｐ＝（Ｗ^ＴＷ＋βＤ^ＴＤ）^−１Ｗ^Ｔｙ＋（Ｉ−Ｗ^＋Ｗ）ｚ_ｐ
ここで、−１は行列の逆行列を表す。βを正とし、ｘが平坦なほど‖Ｄｘ‖^２が小さいＤを利用すれば、再構成制約を厳密に満足する高解像度ブロックよりも平坦な高解像度ブロックが計算されるようになる。これにより、画像中に雑音が含まれた場合に、雑音の強調を避けられる場合がある。

あるいは、これらを融合して、高解像度ブロックを次式により計算しても良い。

ｘ_ｐ＝α（Ｗ^ＴＷ＋βＤ^ＴＤ）^−１Ｗ^Ｔｙ＋（Ｉ−αＷ^＋Ｗ）ｚ_ｐ
これにより、ブロック感と雑音の強調を共に軽減できる場合がある。なお、αおよびβ、αまたはβを付加しても付加する前と比べて計算量は変わらない。

（１−６）第２変形例：強調部５０１を追加
上記実施形態では、構成が図１であり、処理の流れが図２であった。それに対し、本変形例では、構成を図５に変更し、処理の流れを図６に変更する。変更点のみを説明する。この変形例では、処理の流れにＳ６０１が追加され、構成では、低解像度画像入力部１０１の代わりに、強調部５０１、低解像度画像入力部５０２が追加される。

低解像度画像入力部５０２は、入力としては上記実施形態での低解像度画像１５１と同様な画像を入力し、通常はそのまま強調部５０１に低解像度画像１５１を画像データ５５１として出力する。低解像度画像１５１が例えばｊｐｅｇ形式やｍｐｅｇ２形式などで符号化されたものであれば、低解像度画像入力部５０２は低解像度画像１５１を復号し画像データ５５１を強調部５０１に出力する。

強調部５０１は、低解像度画像入力部５０２から画像データ５５１を受け取り、この画像データ５５１に強調処理を施し、設定部１０３からブロックデータ１５８を受け取り、ブロックデータ１５８が表す強調されたブロックであるブロック５５２を作成部１０５に渡す。強調処理としては、例えば、アンシャープマスクやラプラシアンフィルタが施される。

図６の動作の一例では、Ｓ６０１のみ図２と異なり、Ｓ６０１では、低解像度画像１５１に強調処理が施された強調画像が作成される。

Ｓ２０４では、ブロックデータ１５８が、設定部１０３により低解像度画像入力部１０１に送られる代わりに、本変形例では強調部５０１に送られる。そして、ブロックデータ１５８が表す低解像度画像１５１中の低解像度ブロック１５５が低解像度画像入力部１０１により作成部１０５に送られる代わりに、本変形例ではブロックデータ１５８が表す強調画像中のブロックがブロック５５２として強調部５０１により作成部１０５に送られる。

この変形例では、低解像度画像が強調され、低解像度化すると強調された低解像度画像になる高解像度化画像が作成されるようになる。これにより、より鮮鋭な高解像度化画像を作成できるようなる。

（１−７）第３変形例：低解像度化行列Ｗに関する変形例
上記実施形態では、低解像度化行列Ｗを初期化部１０４で算出した。それに対し、本変形例では高解像度化率が予め決まっている場合には、初期化部１０４がＷを画像高解像度化装置１００の外部から入力するように変更しても良い。その場合の変更点のみを説明する。その場合、例えば、図１の初期化部１０４にＷを入力するための結線を追加すれば良い。そのブロック図は省略する。処理の流れは、Ｓ２０１において、作成データ１６２が初期化部１０４により算出される際、Ｗが算出される代わりに、入力されたＷが利用される。これにより、Ｗを算出する計算コストが削減される。

（１−８）第４変形例：低解像度化行列Ｗに関する別の変形例
上記実施形態では、低解像度化行列Ｗを初期化部１０４が算出した。それに対し、Ｗが初期化部１０４に記憶されているように変更しても良い。例えば、予めＷを計算しておき初期化部１０４がＷを計算して記憶しておく。その場合の変更点のみを説明する。その場合、処理の流れは、Ｓ２０１において、作成データ１６２が初期化部１０４により算出される際、Ｗが算出される代わりに、予め記憶されたＷが利用される。これにより、Ｗを算出する計算コストが削減される。低解像度化行列Ｗではなく、作成データ１６２を記憶しても良い。その場合、初期化部１０４が作成データ１６２を記憶しても良いし、作成部１０５が作成データ１６２を記憶しても良い。作成部１０５が記憶する場合、作成データ１６２が初期化部１０４により算出する計算コストが削減される。また、作成データ１６２を作成部１０５に送る必要がなくなる。

（１−９）第５変形例：別の低解像度化の過程を仮定した場合の変形例
本実施形態では、低解像度化の過程を次式で表した。

ｙ＝Ｗｘ
それに対し、加法性の雑音を考慮し、低解像度化の過程を次式で表しても良い。

ｙ＝Ｗｘ＋ｎ
ここで、ｎは加法性雑音のブロックを表すｃ_ｌｒ_ｌ次元の縦ベクトルである。｛ｎ｝の相関行列をＱで表す。すなわち、Ｑは次式で定義される。

ここで、Ｅ_ｎはｎに関する平均を表す。ｎが実数ベクトルであるため、

である。ここで、ｎ^Ｔはｎの転置ベクトルを表す。加法性の雑音を考慮する場合、次の式により高解像度化ブロックｘ_ｐを算出する。

ｘ_ｐ＝Ｖ^＋Ｗ^＊Ｕ^＋ｙ＋（Ｉ−Ｗ^＋Ｗ）ｚ_ｐ
ここで、ＵとＶは以下の式で定義される行列である。

Ｕ＝ＷＷ^＊＋Ｑ
Ｖ＝Ｗ^＊Ｕ^＋Ｗ
式（ｘ_ｐ＝Ｖ^＋Ｗ^＊Ｕ^＋ｙ＋（Ｉ−Ｗ^＋Ｗ）ｚ_ｐ）の第一項（Ｒ（Ｗ^＊）成分）は、上記の「小川英光，“信号と画像の復元［ＩＩＩ］−最適復元のための射影フィルタ族−，”電子情報通信学会誌，ｖｏｌ．７１，ｐｐ．７３９−７４８，１９８８．」に記載の射影フィルタを画像の高解像度化にブロック単位で応用した。射影フィルタはＲ（Ｗ^＊）における雑音の平均を最小化するため、式（ｘ_ｐ＝Ｖ^＋Ｗ^＊Ｕ^＋ｙ＋（Ｉ−Ｗ^＋Ｗ）ｚ_ｐ）の第一項（Ｒ（Ｗ^＊）成分）は、Ｒ（Ｗ^＊）における最良近似となる。射影フィルタを画像の高解像度化にブロック単位で応用しただけでは、Ｒ（Ｗ^＊）成分しか推定できない。それに対し、本実施形態では、式（ｘ_ｐ＝Ｖ^＋Ｗ^＊Ｕ^＋ｙ＋（Ｉ−Ｗ^＋Ｗ）ｚ_ｐ）の第二項によりＮ（Ｗ）成分をも推定するため、射影フィルタを画像の高解像度化にブロック単位で応用した場合よりも、さらに鮮鋭な画像を得られる。この変更のためには、初期化部１０４が作成データ１６２を上述のＶ^＋Ｗ^＊Ｕ^＋とＩ−Ｗ^＋Ｗを表すデータに変更すれば良い。なお、Ｒ（Ｗ）が

と一致する場合、射影フィルタは一般逆フィルタと一致する。また、加法性雑音がない場合、Ｑは零のみを要素に持つ行列となり、射影フィルタは一般逆フィルタと一致する。逆に言えば、Ｒ（Ｗ）が

に一致しない場合に第５変形例は効果的である。

（１−１０）第６変形例：さらに別の低解像度化の過程を仮定した場合の変形例
上記実施形態では、再構成制約として、ｃ_ｈ×ｒ_ｈの高解像度ブロックｘがｃ_ｌ×ｒ_ｌの低解像度ブロックｙに低解像度化する過程を表した式（ｙ＝Ｗｘ）を採用した。それに対し、（ｃ_ｈ＋ｂ）×（ｒ_ｈ＋ｂ）の高解像度ブロックｘがｃ_ｌ×ｒ_ｌの低解像度ブロックｙに低解像度化する過程を表した式を再構成制約としても構わない。この場合の低解像度化の過程（再構成制約）を、次式で表す。

ｙ＝ＡＢｘ
ここで、高解像度ブロックｘは（ｃ_ｈ＋ｂ）（ｒ_ｈ＋ｂ）次元の縦ベクトルであり、Ｂはｃ_ｈｒ_ｈ行（ｃ_ｈ＋ｂ）（ｒ_ｈ＋ｂ）列の行列であり、Ａはｃ_ｌｒ_ｌ行ｃ_ｈｒ_ｈ列の行列である。Ｂは例えば高解像度ブロックｘがぼける様子を表す行列であり、Ａは例えば高解像度ブロックＢｘが面積平均行列により低解像度化する様子を表す行列である。この場合の低解像度化の過程（再構成制約）の例を図７に示す。この例では、ｂ＝２、ｃ_ｈ＝４、ｒ_ｈ＝４、ｃ_ｌ＝１、ｒ_ｌ＝１である。

Ｗ＝ＡＢ
とおけば、低解像度化の過程（再構成制約）は、次式で表されるため、この変更を適用しない場合と同じ式で問題を扱える。

ｙ＝Ｗｘ
したがって、この変更のためには、初期化部１０４が作成データ１６２を新たなＷによるＷ^＋とＩ−Ｗ^＋Ｗを表すデータに差し替えればよい。ただし、高解像度ブロックｘと低解像度ブロックｙのブロックサイズが異なり、低解像度化行列Ｗのサイズが異なることに注意が必要である。縦横それぞれ２倍に高解像度化する場合を例にとって、具体的に説明する。この変形例を適用しない場合には、例えば、図８に示す低解像度画像の隣接する低解像度ブロック８０１、８０２から、それぞれ、図９に示す高解像度化画像の隣接する高解像度化ブロック９０１、９０２が作成される。一方、ｂ＝２でこの変形例を適用する場合、図８に示す低解像度画像の隣接する低解像度ブロック８０１、８０２から、それぞれ、図１０に示す高解像度化画像の重なり合う高解像度化ブロック１００１、１００２が作成される。したがって、この変更のためには、設定部１０３が、制御するブロックデータ１５９、１６１を変更しなければならない。それに伴い高解像度ブロック１５７が自ずと変化する。作成部１０５において、高解像度化ブロック１００１と１００２の重なり部分は、平均値を採用するように変更すると良い。さらに加法性の雑音を考慮する場合は（１−８）の変形例を適用すればよい。

（１−１１）本実施形態の利用例
縦横それぞれの方向に高解像度化したい場合、まず、縦方向にのみ高解像度化し、その後で横方向にのみ高解像度化した方が計算コストを削減できる。なぜなら、縦横同時に高解像度化するときと、縦横独立に高解像度化するときとでは、低解像度化行列Ｗのサイズが後者の方が小さくなり、Ｗ^＋の計算と式（ｘ_ｐ＝Ｗ^＋ｙ＋（Ｉ−Ｗ^＋Ｗ）ｚ_ｐ）の計算のコストが後者の方が小さいためである。

（第２の実施形態）
本実施形態の画像高解像度化装置について図１１を参照して説明する。
本実施形態の画像高解像度化装置１１００は、初期化部１１０１、内挿係数初期化部１１０２、係数算出部１１０３、設定部１１０４、低解像度画像入力部１１０５、作成部１１０６を含む。画像高解像度化装置１１００は、サイズデータ１６０と低解像度画像１５１から高解像度化画像１１５５を作成し、出力する。

初期化部１１０１は、サイズデータ１６０を取得し、ブロックサイズデータ１５４を出力する。

内挿係数初期化部１１０２は、ブロックサイズデータ１５４を取得し、ブロックサイズデータ１５４を初期化し内挿係数データ１１５１を算出する。内挿係数データ１１５１は、（ｃ_ｌ＋ｉ）×（ｒ_ｌ＋ｉ）の低解像度ブロックｙ_ｐからｃ_ｈ×ｒ_ｈの高解像度ブロックｚ_ｐを内挿法で算出する際の係数を表すデータであり、例えば、後述のＣである。ｉは、その内挿法で周囲どれだけの画素を利用して画素を内挿するかを表す値である。例えば、内挿法が３次畳み込み法の場合、ｉ＝４となり、バイリニア法の場合、ｉ＝２となる。それを内挿係数行列と呼び、Ｃで表す。

ｚ_ｐ＝Ｃｙ_ｐ
ここで、高解像度ブロックｚ_ｐはｃ_ｈｒ_ｈ次元の縦ベクトルであり、低解像度ブロックｙ_ｐは（ｃ_ｌ＋ｉ）（ｒ_ｌ＋ｉ）次元の縦ベクトルであり、内挿係数行列Ｃはｃ_ｈｒ_ｈ行（ｃ_ｌ＋ｉ）（ｒ_ｌ＋ｉ）列の行列である。図１３は、ｙ_ｐとｚ_ｐの関係を説明するための図である。ｙ_ｐは、ｚ_ｐが表す被写体の部分よりも広い部分を表していることがわかる。ｙ_ｐは、ｚ_ｐを内挿法で作成するために必要な低解像度ブロックである。第１の実施形態では、高解像度画像１５２が入力されるため、高解像度ブロック１５７（ｚ_ｐ）が得られた。一方、本実施形態では、高解像度画像１５２が入力されない。本実施形態では、第１の実施形態における高解像度ブロック１５７に相当するｚ_ｐを、ｙ_ｐと内挿法により作成したと仮定した場合に得られるｘ_ｐを計算する。このｘ_ｐの計算の際、ｚ_ｐの計算を介さず、直接ｘ_ｐを計算する。ｚ_ｐの計算を介さないのは、その方が計算量を少なくできるためである。直接ｘ_ｐを計算するために必要なのが、内挿係数行列Ｃである。

係数算出部１１０３は、内挿係数データ１１５１とブロックサイズデータ１５４とを取得し、係数データ１１５２を計算する。係数データ１１５２は、（ｃ_ｌ＋ｉ）×（ｒ_ｌ＋ｉ）の低解像度ブロックｙ_ｐからｃ_ｈ×ｒ_ｈの高解像度化ブロックｘ_ｐを作成するための係数データであり、上述のＷとＣから算出する後述の係数行列Ｔである。Ｔは、例えば、次式により算出する。

Ｔ＝Ｓ＋（Ｉ−Ｗ^＋Ｗ）Ｃ
ここで、Ｓは、Ｓｙ_ｐ＝Ｗ^＋ｙを満足する行列であり、Ｗ^＋の要素と０を要素に持つ。例えば、ｃ_ｌとｒ_ｌが共に１である場合、Ｓ＝［０ Ｗ^＋ ０］である。［０ Ｗ^＋ ０］は、Ｗ^＋の左右にそれぞれ同じサイズの零行列を連結した行列である。

設定部１１０４は、枚数データ１５６と、ブロックサイズデータ１５４とを取得し、ブロックデータ１１５３とブロックデータ１６１とを設定する。ブロックデータ１１５３は、低解像度画像１５１中の幅がｃ_ｌ＋ｉ、高さがｒ_ｌ＋ｉの低解像度ブロック１１５４の位置を表すデータである。ブロックデータ１６１は、高解像度化画像１１５５中の幅がｃ_ｈ、高さがｒ_ｈの高解像度化ブロックの位置を表すデータである。ブロックデータ１６１は、ブロックデータ１１５３と対応した位置で指定される。

低解像度画像入力部１１０５は、低解像度画像１５１とブロックデータ１１５３とを取得し、ブロックデータ１１５３が表す低解像度画像１５１中の低解像度ブロック１１５４を生成する。ブロックデータ１１５３は、位置をずらしながら指定される。具体的には、横方向にはｃ_ｌ、縦方向にはｒ_ｌずつ位置がずらされる。これにより、低解像度画像１５１中の低解像度ブロック１１５４を順に処理する。ｉが正である場合、低解像度ブロック１１５４同士には重なりが生じる。低解像度画像入力部１１０５は、高解像度化したい低解像度な画像（動画や静止画）が、例えばｊｐｅｇ形式やｍｐｅｇ２形式などで符号化されたものであれば、それを復号するためのコーデックを備えている。

作成部１１０６は、低解像度画像１５１中の低解像度ブロック１１５４と係数データ１１５２とから、ブロックデータ１６１が表す高解像度化画像１１５５中の高解像度化ブロックを作成する。高解像度化画像１１５５中の高解像度化ブロックｘ_ｐは、低解像度ブロックｙ_ｐと係数行列Ｔにより、次の式で作成される。

ｘ_ｐ＝Ｔｙ_ｐ
このｘ_ｐは次の式を満足する。

ｘ_ｐ＝Ｗ^＋ｙ＋（Ｉ−Ｗ^＋Ｗ）Ｃｙ_ｐ
したがって、第１の実施形態で入力される高解像度画像の高解像度ブロックｚ_ｐに対して式（ｚ_ｐ＝Ｃｙ_ｐ）が成立すれば、第２の実施形態により第１の実施形態と同じ高解像度化ブロックｘ_ｐを得られる。第１の実施形態で入力される高解像度画像の高解像度ブロックｚ_ｐに対して式（ｚ_ｐ＝Ｃｙ_ｐ）が成立しなくても、（１−４）における証明では、ｚ_ｐに関して何も仮定していないため、低解像度化の仮定が式（ｙ＝Ｗｘ）であれば、ｘ_ｐのｘに対するＳＳＤ（ｘ_ｐ）が内挿法により得られる高解像度ブロックＣｙ_ｐのｘに対するＳＳＤ（Ｃｙ_ｐ）以下になる。図１４は、ｙ_ｐとｘ_ｐの関係を説明するための図である。ｙ_ｐは、ｘ_ｐが表す被写体の部分よりも広い部分を表していることがわかる。ｙ_ｐは、ｘ_ｐを本実施形態の係数行列Ｔで作成するための低解像度ブロックである。ｚ_ｐの計算を介さず、ｙ_ｐとＴからｘ_ｐを直接計算する。

次に、図１１の画像高解像度化装置１１００の動作の一例について図１２を参照して説明する。
（Ｓ１２０１）まず、枚数データ１５６が設定部１１０４に入力され、サイズデータ１６０が初期化部１１０１に入力される。そして、ブロックサイズデータ１５４が初期化部１１０１により算出され、内挿係数初期化部１１０２と係数算出部１１０３と設定部１１０４に送られる。

（Ｓ１２０２）内挿係数データ１１５１が内挿係数初期化部１１０２によりブロックサイズデータ１５４から初期化され、係数算出部１１０３に送られる。

（Ｓ１２０３）係数データ１１５２が係数算出部１１０３により内挿係数データ１１５１とブロックサイズデータ１５４から算出され、作成部１１０６に送られる。

（Ｓ１２０４）低解像度画像入力部１１０５に、高解像度化したい低解像度な画像（動画や静止画）のうちのｎ枚目（ｎ＝１，２，．．．，Ｎ）が、低解像度画像１５１として入力される。

（Ｓ１２０５）ブロックデータ１１５３が設定部１１０４により低解像度画像入力部１１０５に送られ、ブロックデータ１６１が設定部１１０４により作成部１１０６に送られる。そして、ブロックデータ１１５３が表す低解像度画像１５１中の低解像度ブロック１１５４が低解像度画像入力部１１０５により作成部１１０６に送られる。ブロックデータ１１５３は、Ｓ１２０５が繰り返して処理される際に、位置をずらしながら指定される。具体的には、横方向にはｃ_ｌ、縦方向にはｒ_ｌずつ位置がずらされる。これにより、低解像度画像１５１中の低解像度ブロック１１５４を順に処理する。ｉが正である場合、低解像度ブロック１１５４同士には重なりが生じる。ブロックデータ１６１は、具体的には、横方向にはｃ_ｈ、縦方向にはｒ_ｈずつ位置がずらされる。ブロックデータ１１５３、１６１を互いに対応付けることにより、画像全体で処理するのではなく、画像のブロックごとに処理する。

（Ｓ１２０６）ブロックデータ１６１が表す高解像度化画像１１５５中の高解像度化ブロックが、低解像度ブロック１１５４と係数データ１１５２から、作成部１１０６により作成される。

（Ｓ１２０７）高解像度化画像１１５５中の全ての高解像度化ブロックが処理されたかどうかが設定部１１０４により判定される。全てのブロックが処理された場合はＳ１２０８に進み、処理されていない場合はＳ１２０５に戻る。設定部１１０４により制御されるブロックデータ１１５３、１６１を変化させながら、Ｓ１２０６が繰り返される。その繰り返しにより、作成部１１０６において、高解像度化画像１１５５中の全ての高解像度化ブロックが作成され、高解像度化画像１１５５が作成され、出力される。なお、端のブロックは、注目が集まりにくく、重要でない場合が多いため、より計算コストの少ない方法で作成しても良い。

（Ｓ１２０８）高解像度化したい低解像度な画像（動画や静止画）のうちの全て（Ｎ枚）が処理されたかどうかが設定部１１０４により、枚数データ１５６から判定される。全てが処理された場合は終了し、処理されていない場合はＳ１２０４に戻る。

（２−１）本実施形態の効果
本実施形態では、第１の実施形態よりもさらに少ない計算コストで済む。第１の実施形態では、１画素当たりで（ｃ_ｌｒ_ｌ＋ｃ_ｈｒ_ｈ）回の積和演算が必要であった。一方、本実施形態では、式（ｘ_ｐ＝Ｔｙ_ｐ）から、（ｃ_ｌ＋ｉ）（ｒ_ｌ＋ｉ）回の積和演算が必要である。ほとんどの場合、（ｃ_ｌ＋ｉ）（ｒ_ｌ＋ｉ） ＜ （ｃ_ｌｒ_ｌ＋ｃ_ｈｒ_ｈ）であるから、計算コストを削減できる。例えば、ｗ_ｌ＝７２０、ｈ_ｌ＝４８０、ｗ_ｈ＝１９２０、ｈ_ｈ＝１０８０、ｉ＝４の場合、ｃ_ｌ＝３、ｒ_ｌ＝４、ｃ_ｈ＝８、ｒ_ｈ＝９となるため、（ｃ_ｌ＋ｉ）（ｒ_ｌ＋ｉ）＝５６、ｃ_ｌｒ_ｌ＋ｃ_ｈｒ_ｈ＝８４となり、計算量を第１の実施形態よりもさらに削減できる。（１−１１）と同じく、縦横同時にではなく、縦横独立に高解像度化すれば、さらに計算コストを削減できる。図１５に縦横独立に高解像度化する場合の様子の例を示す。この例では、ｗ_ｌ＝７２０、ｈ_ｌ＝４８０、ｗ_ｈ＝１９２０、ｈ_ｈ＝１０８０、ｉ＝４である。図１５の例では、２画素ずつ３×４ブロック、３×９ブロックからはみ出る。内挿法により定まるｉにより、はみ出る量が決まる。図１５の例では、ｉ＝４の内挿法（バイキュービック法やキュービックコンボリューション法など）の場合である。例えば、内挿法としてｉ＝２のバイリニア法を使用すると３×４ブロック、３×９ブロックから１画素ずつはみ出る。

（２−２）第１変形例：高解像度ブロックの作成方法の変形例
（１−５）の第１の実施形態の第１変形例と同様に、再構成制約を満足しない高解像度ブロックを求めても良い。例えば、
Ｔ＝αＳ＋（Ｉ−αＷ^＋Ｗ）Ｃ
とすると良い。あるいは、Ｓｙ_ｐ＝（Ｗ^ＴＷ＋βＤ^ＴＤ）^−１Ｗ^Ｔｙを満足するＳを利用して、
Ｔ＝Ｓ＋（Ｉ−Ｗ^＋Ｗ）Ｃ
とすると良い。あるいは、Ｓｙ_ｐ＝（Ｗ^ＴＷ＋βＤ^ＴＤ）^−１Ｗ^Ｔｙを満足するＳを利用して、
Ｔ＝αＳ＋（Ｉ−αＷ^＋Ｗ）Ｃ
とすると良い。これにより、（１−５）と同じ効果を得られる。

（２−３）第２変形例：強調部を追加した変形例
本実施形態では、処理の流れが図１２であり、構成が図１１であった。それに対し、構成を図１６に変更し、処理の流れを図１７に変更しても構わない。変更点のみを説明する。この変形例では、処理の流れにＳ１４０１が追加され、構成に強調部１６０１が追加される。

強調部１６０１は、低解像度画像１５１を画像データ５５１として取得し、ブロックデータ１１５３を設定部１０３から取得し、ブロックデータ１１５３が表す低解像度ブロック１５５を抽出し、この低解像度ブロック１５５に強調処理を施し、強調したブロックのブロック１６５１を作成部１１０６に渡す。強調処理としては、例えば、アンシャープマスクやラプラシアンフィルタが施される。

次に、図１６の画像高解像度化装置１６００の動作の一例について図１７を参照して説明する。
（Ｓ１２０４）上述の処理に加え、画像データ５５１が低解像度画像入力部５０２により出力され、強調部１６０１に送られる。画像データ５５１は、低解像度画像１５１が表す画素値を並べたデータである。したがって、もし、低解像度画像１５１が符号化されていないデータであれば、画像データ５５１は低解像度画像１５１そのものであり、そうでなければ、画像データ５５１は低解像度画像１５１を復号したデータである。

（Ｓ１４０１）画像データ５５１に強調処理が施された強調画像が作成される。強調処理としては、例えば、アンシャープマスクやラプラシアンフィルタが施される。

（Ｓ１２０５）上記第２の実施形態でのブロックデータ１１５３が設定部１０３により低解像度画像入力部１１０５に送られる代わりに、本変形例では強調部１６０１に送られる。そして、上記第２の実施形態でのブロックデータ１１５３が表す低解像度画像１５１中の低解像度ブロック１１５４が低解像度画像入力部１１０５により作成部１１０６に送られる代わりに、ブロックデータ１１５３が表す強調画像中の低解像度ブロック１６５１が強調部１６０１により作成部１１０６に送られる。

この変形例では、低解像度画像が強調され、低解像度化すると強調された低解像度画像になる高解像度化画像が作成されるようになる。これにより、より鮮鋭な高解像度化画像を作成できるようなる。

（２−４）第３変形例：係数算出部１１０３に関する変形例
係数算出部１１０３において、Ｓｙ_ｐ＝Ｗ^＋Ｅｙを満足するＳを利用して、係数行列Ｔ（係数データ１１５２）を算出するように変更しても良い。ここで、ｊは例えば２であり、Ｅは、ｃ_ｌｒ_ｌ行（ｃ_ｌ＋ｊ）（ｒ_ｌ＋ｊ）列の行列であり、（ｃ_ｌ＋ｊ）×（ｒ_ｌ＋ｊ）の低解像度ブロックに３×３の強調フィルタ（アンシャープマスクやラプラシアンフィルタ）を施して得られる、そのうちの中央のｃ_ｌ×ｒ_ｌ画素が強調された低解像度ブロックに変換する強調行列である。この変更により、（２−３）の第２変形例のように、強調部を追加しなくても、低解像度化すると強調された低解像度画像になる高解像度化画像が作成されるようになる。この変更により、より鮮鋭な高解像度化画像を作成できるようなる。

（２−５）第４変形例：別の低解像度化の過程を仮定した場合の変形例
上記第２の実施形態では、低解像度化の過程を次式で表した。

ｙ＝Ｗｘ
それに対し、（１−９）の第１の実施形態の第５変形例と同様に、加法性の雑音を考慮し、低解像度化の過程を次式で表しても良い。

ｙ＝Ｗｘ＋ｎ
この場合、Ｓｙ_ｐ＝Ｖ^＋Ｗ^＊Ｕ^＋ｙを満足するＳを利用して、係数行列Ｔ（係数データ１１５２）を算出するように変更すると良い。これにより、（１−９）と同じ効果を得ることができる。

（２−６）第５変形例：さらに別の低解像度化の過程を仮定した場合の変形例
（１−１０）の第１の実施形態の第６変形例と同様に、低解像度化の過程（再構成制約）を、次式で表しても良い。

ｙ＝ＡＢｘ
ここで、高解像度ブロックｘは（ｃ_ｈ＋ｂ）（ｒ_ｈ＋ｂ）次元の縦ベクトルであり、Ｂはｃ_ｈｒ_ｈ行（ｃ_ｈ＋ｂ）（ｒ_ｈ＋ｂ）列の行列であり、Ａはｃ_ｌｒ_ｌ行ｃ_ｈｒ_ｈ列の行列であった。

Ｗ＝ＡＢ
とおけば、低解像度化の過程（再構成制約）は、次式で表されるため、この変更を適用しない場合と同じ式で問題を扱えた。

ｙ＝Ｗｘ
したがって、係数行列Ｔ（係数データ１１５２）も、式（Ｔ＝Ｓ＋（Ｉ−Ｗ^＋Ｗ）Ｃ）中のＷに関する部分を置き換えれば良い。ただし、（１−１０）と同様に、高解像度ブロックｘと低解像度ブロックｙのブロックサイズと低解像度化行列Ｗのサイズが異なることに注意が必要である。

（２−７）第６変形例：係数データ１１５２を予め算出する変形例
高解像度化率が予め定まっていれば、係数データ１１５２を予め算出しても良い。その場合、図１１の画像高解像度化装置１１００を、図１８に示す係数計算装置１８００と図１９に示す高解像度化演算装置１９００の２つに分割すると良い。例えば、本実施形態の画像高解像度化装置１１００をテレビに適用する場合、工場でテレビを生産するための設備の一つが係数計算装置１８００であり、テレビに搭載される部品の一つが高解像度化演算装置１９００である。この場合、図１２のＳ１２０１〜Ｓ１２０３が、係数計算装置１８００における処理となり、Ｓ１２０４〜Ｓ１２０８が、高解像度化演算装置１９００における処理となる。これにより、高解像度化演算装置１９００では、係数データ１１５２を計算する必要がないため、計算コストを削減できる。

以上に示した実施形態によれば、ブロック単位で処理するため、高解像度画像中の１画素の画素値を計算するための乗算や加算の回数が少なくなるため、計算コストが削減される。また、低解像度化行列のサイズが小さいため、低解像度化行列のMoore-Penrose一般逆行列を計算するためのコストが低くなる。さらに、微分画像がラプラス分布に従うという仮定に基づく尤度を最大化する必要がないため、微分画像がラプラス分布に従うという仮定に基づく尤度を最大化する必要がない。

また、本実施形態の画像高解像度化装置は、パソコン、デジタルカメラ、ビデオカメラ、携帯電話、携帯情報端末、プリンタなどの画像を記録したり、表示したり、印刷したりする機能を有する電子機器に、画像を高品質化する機能を持たせるために利用できる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

第１の実施形態の画像高解像度化装置のブロック図。 図１の画像高解像度化装置の動作の一例を示すフローチャート。 高解像度画像が低解像度画像に低解像度化する様子を表す一例を示す図。 第１の実施形態の画像高解像度化方法の幾何学的意味を説明するための図。 第１の実施形態の第２変形例の画像高解像度化装置のブロック図。 図５の画像高解像度化装置の動作の一例を示すフローチャート。 第１の実施形態の第６変形例での高解像度画像が低解像度画像に低解像度化する様子を表す一例を示す図。 低解像度画像中の低解像度ブロック同士の位置関係を説明するための図。 高解像度画像中の高解像度ブロック同士の位置関係を説明するための図。 第１の実施形態の第６変形例を適用した場合での高解像度画像中の高解像度ブロック同士の位置関係を説明するための図。 第２の実施形態の画像高解像度化装置のブロック図。 図１１の画像高解像度化装置の動作の一例を示すフローチャート。 y_pとz_pの関係を説明するための図。 y_pとx_pの関係を説明するための図。 第２の実施形態の画像高解像度化方法により、縦横独立に高解像度化する様子を説明するための図。 第２の実施形態の第２変形例の画像高解像度化装置のブロック図。 図１６の画像高解像度化装置の動作の一例を示すフローチャート。 第２の実施形態の第６変形例の画像高解像度化装置に含まれる係数計算装置のブロック図。 第２の実施形態の第６変形例の画像高解像度化装置に含まれる高解像度化演算装置のブロック図。

符号の説明

１００，１１００，１６００・・・画像高解像度化装置、１０１，５０２，１１０５・・・低解像度画像入力部、１０２・・・高解像度画像入力部、１０３，１１０４・・・設定部、１０４，１１０１・・・初期化部、１０５，１１０６・・・作成部、１５１・・・低解像度画像、１５２・・・高解像度画像、１５３，１１５５・・・高解像度化画像、１５４・・・ブロックサイズデータ、１５５，８０１，１１５４，１６５１・・・低解像度ブロック、１５６・・・枚数データ、１５７・・・高解像度ブロック、１５８，１５９，１６１，１１５３・・・ブロックデータ、１６０・・・サイズデータ、１６２・・・作成データ、５０１，１６０１・・・強調部、５５１・・・画像データ、５５２，１６５１・・・ブロック、９０１，９０２，１００１，１００２・・・高解像度化ブロック、１１０２・・・内挿係数初期化部、１１０３・・・係数算出部、１１５１・・・内挿係数データ、１１５２・・・係数データ、１８００・・・係数計算装置、１９００・・・高解像度化演算装置。

Claims (12)

1. 縦および横の画素数を示すサイズが第１サイズである低解像度画像を入力し、サイズが所望の第２サイズである第１画像を作成する画像高解像度化方法であって、
   ある内挿法または超解像の方法により前記低解像度画像を、前記第２サイズに高解像度化した高解像度画像を入力し、
   前記第１サイズと、前記第２サイズとに応じて、高解像度化のための処理単位であるブロックサイズとして、前記第１サイズに対応する第１ブロックサイズと前記第２サイズに対応する第２ブロックサイズとを算出し、
   前記第１ブロックサイズのブロックの前記低解像度画像での第１位置と、前記第２ブロックサイズのブロックの前記高解像度画像または前記第１画像での該第１位置に対応する第２位置とを算出し、
   前記低解像度画像に含まれる前記第１位置に位置する第１ブロックと、前記高解像度画像に含まれる前記第２位置に位置する第２ブロックを設定し、
   前記第２ブロックサイズの縦の画素数と横の画素数との積を次元とするユークリッド空間内で、低解像度化によって前記第１ブロックになる前記第２ブロックサイズのブロックを示すベクトルの集合からなる線形多様体に、前記第２ブロックを示す第１ベクトルを射影した第２ベクトルが表す第３ブロックを、前記第１ブロックの高解像度化ブロックに設定し、
   前記第１位置と前記第２位置とを変更して設定した前記高解像度化ブロックを少なくとも１つ利用することにより前記第１画像を作成することを特徴とする画像高解像度化方法。
2. 縦および横の画素数を示すサイズが第１サイズである低解像度画像を入力し、サイズが所望の第２サイズである第１画像を作成する画像高解像度化方法であって、
   前記第１サイズと、前記第２サイズとに応じて、高解像度化のための処理単位であるブロックサイズとして、前記第１サイズに対応する第１ブロックサイズと前記第２サイズに対応する第２ブロックサイズとを算出し、
   前記第１ブロックサイズのブロックの前記低解像度画像での第１位置と、前記第２ブロックサイズのブロックの前記第１画像での該第１位置に対応する第２位置とを算出し、
   前記低解像度画像に含まれる前記第１位置に位置する第１ブロックを設定し、
   前記第１ブロックから、ある内挿法により前記第２ブロックサイズの第２ブロックを作成するための第１係数を、前記第１ブロックサイズと前記第２ブロックサイズとを使用して算出し、
   前記第２ブロックサイズの縦の画素数と横の画素数との積を次元とするユークリッド空間内で、低解像度化によって前記第１ブロックの一部になる前記第２ブロックサイズのブロックを示すベクトルの集合からなる線形多様体に、前記第２ブロックを示す第１ベクトルを射影した第２ベクトルを計算するための第２係数を、前記第１係数と前記第１ブロックサイズと前記第２ブロックサイズとを使用して算出し、
   前記第１ブロックと前記第２係数とから、前記第２位置が示す位置に対応する前記第２ベクトルを算出し、該第２ベクトルが示す第３ブロックを前記第１ブロックの一部の高解像度化ブロックに設定し、
   前記第１位置と前記第２位置とを変更して設定した前記高解像度化ブロックを少なくとも１つ利用することにより前記第１画像を作成することを特徴とする画像高解像度化方法。
3. 前記第１ブロックサイズと前記第２ブロックサイズとを、前記低解像度画像から前記第１画像への高解像度化率から算出することを特徴とする請求項１または請求項２に記載の画像高解像度化方法。
4. 前記低解像度画像を強調することをさらに具備することを特徴とする請求項１から請求項３のいずれか１項に記載の画像高解像度化方法。
5. 前記高解像度化ブロックを、前記第３ブロックにより設定する代わりに、前記第１ベクトルで示される点と前記第２ベクトルで示される点とを通る直線上の点に対応するベクトルが示す第４ブロックにより設定することを特徴とする請求項１から請求項４のいずれか１項に記載の画像高解像度化方法。
6. 前記第３ブロックによる複数の高解像度化ブロックまたは前記第４ブロックによる複数の高解像度化ブロックは、それぞれ、ブロック同士が重なり合った場合には、重なり部分の画素値は、重なったブロックの間での画素値の平均値とすることを特徴とする請求項５に記載の画像高解像度化方法。
7. 縦および横の画素数を示すサイズが第１サイズである低解像度画像を入力する第１入力手段を有し、サイズが所望の第２サイズである第１画像を作成する画像高解像度化装置であって、
   ある内挿法または超解像の方法により前記低解像度画像を、前記第２サイズに高解像度化した高解像度画像を入力する第２入力手段と、
   前記低解像度画像の第１サイズと、前記第２サイズとに応じて、高解像度化のための処理単位であるブロックサイズとして、前記第１サイズに対応する第１ブロックサイズと前記第２サイズに対応する第２ブロックサイズとを算出する第１算出手段と、
   前記第１ブロックサイズのブロックの前記低解像度画像での第１位置と、前記第２ブロックサイズのブロックの前記高解像度画像または前記第１画像での該第１位置に対応する第２位置とを算出する第２算出手段と、
   前記低解像度画像に含まれる前記第１位置に位置する第１ブロックと、前記高解像度画像に含まれる前記第２位置に位置する第２ブロックを設定する第１設定手段と、
   前記第２ブロックサイズの縦の画素数と横の画素数との積を次元とするユークリッド空間内で、低解像度化によって前記第１ブロックになる前記第２ブロックサイズのブロックを示すベクトルの集合からなる線形多様体に、前記第２ブロックを示す第１ベクトルを射影した第２ベクトルが表す第３ブロックを、前記第１ブロックの高解像度化ブロックに設定する第２設定手段と、
   前記第１位置と前記第２位置とを変更して設定した前記高解像度化ブロックを少なくとも１つ利用することにより前記第１画像を作成する第３算出手段と、を具備することを特徴とする画像高解像度化装置。
8. 縦および横の画素数を示すサイズが第１サイズである低解像度画像を入力する入力手段を有し、サイズが所望の第２サイズである第１画像を作成する画像高解像度化装置であって、
   前記第１サイズと、前記第２サイズとに応じて、高解像度化のための処理単位であるブロックサイズとして、前記第１サイズに対応する第１ブロックサイズと前記第２サイズに対応する第２ブロックサイズとを算出する第１算出手段と、
   前記第１ブロックサイズのブロックの前記低解像度画像での第１位置と、前記第２ブロックサイズのブロックの前記第１画像での該第１位置に対応する第２位置とを算出する第２算出手段と、
   前記低解像度画像に含まれる前記第１位置に位置する第１ブロックを設定する第１設定手段と、
   前記第１ブロックから、ある内挿法により前記第２ブロックサイズの第２ブロックを作成するための第１係数を、前記第１ブロックサイズと前記第２ブロックサイズとを使用して算出する第３算出手段と、
   前記第２ブロックサイズの縦の画素数と横の画素数との積を次元とするユークリッド空間内で、低解像度化によって前記第１ブロックの一部になる前記第２ブロックサイズのブロックを示すベクトルの集合からなる線形多様体に、前記第２ブロックを示す第１ベクトルを射影した第２ベクトルを計算するための第２係数を、前記第１係数と前記第１ブロックサイズと前記第２ブロックサイズとを使用して算出する第４算出手段と、
   前記第１ブロックと前記第２係数とから、前記第２位置が示す位置に対応する前記第２ベクトルを算出し、該第２ベクトルが示す第３ブロックを前記第１ブロックの一部の高解像度化ブロックに設定する第２設定手段と、
   前記第１位置と前記第２位置とを変更して設定した前記高解像度化ブロックを少なくとも１つ利用することにより前記第１画像を作成する第前記第１ブロックの高解像度化ブロックに設定５算出手段と、を具備することを特徴とする画像高解像度化装置。
9. 前記第１算出手段は、前記第１ブロックサイズと前記第２ブロックサイズとを、前記低解像度画像から前記第１画像への高解像度化率から算出することを特徴とする請求項７または請求項８に記載の画像高解像度化装置。
10. 前記低解像度画像を強調する強調手段をさらに具備することを特徴とする請求項７から請求項９のいずれか１項に記載の画像高解像度化装置。
11. 前記第１ベクトルで示される点と前記第２ベクトルで示される点とを通る直線上の点に対応するベクトルが示す第４ブロックを、前記第１ブロックまたはその一部の前記高解像度化ブロックに設定する第３設定手段を、前記第２設定手段の代わりに有することを特徴とする請求項７から請求項１０のいずれか１項に記載の画像高解像度化装置。
12. 前記第３ブロックによる複数の高解像度化ブロックまたは前記第４ブロックによる複数の高解像度化ブロックは、それぞれ、ブロック同士が重なり合った場合には、重なり部分の画素値は、重なったブロックの間での画素値の平均値とすることを特徴とする請求項１１に記載の画像高解像度化装置。

Images