JP2010170340A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】超解像処理により得られる画像の画質を向上させる。
【解決手段】画像処理装置６１は、入力された現フレームのＬＲ画像と、現フレームよりも前のフレームのＬＲ画像に対する超解像処理により得られた、ＬＲ画像よりも解像度の高いＳＲ画像とから、現フレームのＳＲ画像を生成する。ＳＲ画像の生成時には、ダウンサンプリング部７７およびダウンサンプリング部７９により、現フレームのＳＲ画像を予測して得られた混合画像の所定の位相の画素からなる縮小画像が生成され、加算部８２により、縮小画像とＬＲ画像との差分がアップサンプリングされたものが混合画像に加算されてＳＲ画像とされる。縮小画像の生成に用いる混合画像の画素の位相を、フレームごとに変化させることにより、ノイズの蓄積が抑制され、ＳＲ画像の画質を向上させることができる。本発明は、画像処理装置に適用することができる。
【選択図】図８

Description

本発明は画像処理装置および方法、並びにプログラムに関し、特に、入力された画像を、より解像度の高い画像に変換する場合に用いて好適な画像処理装置および方法、並びにプログラムに関する。

従来、入力された画像から、より解像度の高い画像を得る方法として、超解像と呼ばれる方法が知られている（例えば、特許文献１参照）。

例えば、超解像のバックプロジェクションと呼ばれる手法では、図１に示すように、画像処理装置１１に入力された、動画像等の連続したフレームの画像が、より解像度の高い画像に変換されて出力される。なお、以下、画像処理装置１１に入力される、解像度の低い画像をＬＲ（Low Resolution）画像と称し、画像処理装置１１から出力される、より解像度の高い画像をＳＲ（Super Resolution）画像と称する。

入力されたＬＲ画像は、アップサンプリング部２１により、ＳＲ画像と同じ解像度の画像にアップサンプリングされて、動きベクトル検出部２２、マスク生成部２３、および混合部２４に供給される。また、画像処理装置１１には、現時点において処理対象となっているフレームの時間的に直前のフレームのＬＲ画像から得られたＳＲ画像が保持されるバッファ２５が設けられている。バッファ２５に供給されたＳＲ画像は、１フレーム分の時間だけ保持されて、動きベクトル検出部２２および動き補償部２６に供給される。

動きベクトル検出部２２は、アップサンプリング部２１からのＬＲ画像と、バッファ２５からのＳＲ画像とから動きベクトルを検出し、動き補償部２６は、動きベクトル検出部２２からの動きベクトルと、バッファ２５からのＳＲ画像とを用いて動き補償を行う。すなわち、動き補償部２６は、処理対象の現フレームの直前のフレームのＳＲ画像を用いて、現フレームのＬＲ画像から得られるＳＲ画像を予測し、その結果得られた画像を予測画像として、マスク生成部２３および混合部２４に供給する。

マスク生成部２３は、アップサンプリング部２１からのＬＲ画像と、動き補償部２６からの予測画像とを用いて、モーションマスクを生成する。このモーションマスクは、ＬＲ画像上の動きのある被写体の表示される領域を特定するための情報であり、ＬＲ画像と予測画像との差分を求めることにより生成される。

混合部２４は、マスク生成部２３から供給されたモーションマスクを用いて、動き補償部２６からの予測画像と、アップサンプリング部２１からのＬＲ画像とを混合し、その結果得られた混合画像をダウンサンプリング部２７および加算部２８に供給する。すなわち、ＬＲ画像と予測画像とがモーションマスクにより定まる重みにより重み付き加算されて、混合画像とされる。混合画像の生成時において、動きのある領域では、ＬＲ画像の寄与率がより大きくなるように重みが定められ、動きのある領域で生じた予測の誤差によるＳＲ画像の画質の劣化が抑制される。

このようにして得られた混合画像は、ダウンサンプリング部２７によりダウンサンプリングされ、その結果得られた縮小画像が減算部２９に供給される。この縮小画像は、ＬＲ画像と同じ解像度の画像である。

減算部２９は、画像処理装置１１に供給されたＬＲ画像と、縮小画像との差分を求めることにより差分画像を生成し、アップサンプリング部３０は、その差分画像をＳＲ画像と同じ解像度にアップサンプリングして、その結果得られた画像を拡大画像とする。さらに、加算部２８は、拡大画像と混合画像とを加算して、これにより得られた画像を現フレームのＳＲ画像として出力するとともに、バッファ２５に供給して保持させる。

画像処理装置１１では、図２に示すように、現フレームのＳＲ画像を予測して得られた混合画像Ｐ１１が、ダウンサンプリングされて縮小画像Ｐ１２とされ、この縮小画像Ｐ１２と、ＬＲ画像Ｐ１３との差分が、差分画像Ｐ１４とされる。この差分画像Ｐ１４は、現フレームのＬＲ画像Ｐ１３に対する、予測により得られた現フレームのＬＲ画像である縮小画像Ｐ１２の誤差を示す画像である。換言すれば、差分画像Ｐ１４は、本来得られるべき現フレームのＳＲ画像に対する、予測されたＳＲ画像である混合画像Ｐ１１の誤差ということができる。

したがって、縮小画像Ｐ１４をアップサンプリングして混合画像Ｐ１１に加算することで、本来得られるべきＳＲ画像に、より近い画像が得られるはずである。つまり、得られたＳＲ画像は、画質を劣化させることなく、より忠実にＬＲ画像を拡大した画像となるはずである。

このように、バックプロジェクションでは、予測により得られた混合画像に対して、求められた誤差を示す拡大画像が加算されてＳＲ画像とされる。

特開２００８−１４００１２号公報

ところで、バックプロジェクションでは、混合画像から縮小画像を生成する場合、混合画像における予め定められた位相（位置）の画素がサンプリングされ、それらのサンプリングされた画素からなる画像が縮小画像とされる。

サンプリング定理によれば、ナイキスト周波数の信号は、その振幅、位相が正しく保存されないので、混合画像のサンプリングされる画素の位相によっては、縮小画像の生成時に混合画像の波形が正しく保存されなくなってしまうことがある。

例えば、混合画像の波形、つまり混合画像の所定方向における画素の画素値の変化が、図３に示すような形状であったとする。なお、図３において、縦方向は画像における画素の画素値を示しており、横方向は画像における所定の方向を示している。また、１つの円は画像の画素を表している。

図３では、矢印Ａ１１により示される波形が混合画像の波形を示している。つまり、混合画像の互いに隣接する画素（の画素値）を結ぶ曲線が、その混合画像の波形とされる。

図中、混合画像における画素値の最大値と最小値との間の値を中間値と呼ぶこととすると、混合画像では、中間値の画素、最大値の画素、中間値の画素、および最小値の画素の順番で、それらの画素値を有する画素が図中、横方向に繰り返し並んでいる。すなわち、図３の例では、混合画像の波形は正弦波形状となっている。

いま、混合画像の画素を図中、横方向に１画素おきにサンプリングして縮小画像を生成することとする。

例えば、混合画像の図中、左端から２番目の画素をサンプリングされる画素とし、その画素を含めて、横方向に１画素おきにサンプリングして縮小画像を生成すると、混合画像の矢印Ａ１２に示す画素がサンプリングされることになる。矢印Ａ１２に示される混合画像の画素は、最大値または最小値の何れかの値を画素値として有しており、縮小画像の波形は、混合画像の波形と同じ正弦波形状となる。

これに対して、例えば、矢印Ａ１１に示す混合画像の図中、左端の画素をサンプリングされる画素とし、その画素を含めて、横方向に１画素おきにサンプリングして縮小画像を生成すると、混合画像の矢印Ａ１３に示す画素がサンプリングされることになる。矢印Ａ１３に示される混合画像の画素は、中間値を画素値として有しており、縮小画像の波形は、混合画像の波形とは異なり、振幅のない平坦な形状となる。

このように、混合画像のナイキスト周波数、つまり混合画像の半分の周波数で混合画像の画素をサンプリングして縮小画像を生成すると、サンプリング位置によっては、得られた縮小画像において、もとの混合画像の波形が正しく保存されなくなってしまう。

縮小画像において、予測により得られた混合画像の波形が正しく保存されないと、縮小画像とＬＲ画像との差分を求めても、混合画像とＬＲ画像との誤差を正しく検出することができなくなり、検出されなかった誤差がＳＲ画像に蓄積してしまうことになる。

例えば、図４に示すように、縮小画像の生成時に混合画像の波形が正しく保存されると、混合画像における誤差が修正され、ＬＲ画像の波形が正しく保存されたＳＲ画像が得られる。なお、図４において、縦方向は画像における画素の画素値を示しており、横方向は画像における所定の方向を示している。また、矢印Ａ２１乃至矢印Ａ２７は、混合画像、混合画像上のサンプリングされる画素、縮小画像、ＬＲ画像、差分画像、拡大画像、およびＳＲ画像を示しており、図中、１つの円は画像上の１つの画素を表している。

矢印Ａ２１に示すように、図３に示した波形と同じ波形の混合画像が予測により得られ、矢印Ａ２２に示すように、混合画像上の画素のうち、画素値として最大値を有する画素、および最小値を有する画素がサンプリングされて、縮小画像が生成されたとする。

この場合、矢印Ａ２３に示すように、混合画像の正弦波形状の波形が保存された、もとの混合画像と同じ波形の縮小画像が得られる。また、矢印Ａ２４に示すように、ＬＲ画像の波形が図中、横方向に変化のない平坦な形状であり、ＬＲ画像の画素の画素値が、縮小画像の画素の画素値の最大値と最小値との間の中間値であったとする。

このような縮小画像とＬＲ画像との差分が減算部２９において求められると、矢印Ａ２５に示す波形の差分画像が得られる。この差分画像の波形は、中間値の位置を基準（中心）として、縮小画像の波形を図中、上下方向に反転させたような形状となっている。

このような差分画像をアップサンプリングすると、矢印Ａ２６に示すように、もとの差分画像の波形が保存された拡大画像が得られる。そして、この拡大画像が加算部２８において、矢印Ａ２１に示した混合画像に加算されると、混合画像生成時に生じた誤差が修正されて、矢印Ａ２７に示すように、ＬＲ画像と同じ波形のＳＲ画像が得られる。

このように、バックプロジェクションでは、縮小画像の生成時に、もとの混合画像の波形を正しく保存することができれば、画質を劣化させずにＬＲ画像の解像度をより高くすることができる。

これに対して、例えば、図５に示すように、縮小画像の生成時に混合画像の波形が正しく保存されないと、混合画像における誤差が修正されず、得られたＳＲ画像は、特定の位相に誤差が蓄積されたものとなる。なお、図５において、縦方向は画像における画素の画素値を示しており、横方向は画像における所定の方向を示している。また、矢印Ａ３１乃至矢印Ａ３７は、混合画像、混合画像上のサンプリングされる画素、縮小画像、ＬＲ画像、差分画像、拡大画像、およびＳＲ画像を示しており、図中、１つの円は画像上の１つの画素を表している。

矢印Ａ３１に示すように、図３に示した波形と同じ波形の混合画像が予測により得られ、矢印Ａ３２に示すように、混合画像上の画素のうち、画素値として中間値を有する画素がサンプリングされて、縮小画像が生成されたとする。

この場合、矢印Ａ３３に示すように、混合画像の正弦波形状の波形が保存されず、縮小画像の波形は、画素値の変化のない平坦な形状となる。また、矢印Ａ３４に示すように、ＬＲ画像の波形が図中、横方向に変化のない平坦な形状であり、ＬＲ画像の各画素の画素値が中間値であったとする。

このような縮小画像とＬＲ画像との差分が減算部２９において求められると、矢印Ａ３５に示す波形の差分画像が得られる。この差分画像の波形は図中、横方向に平坦な形状となり、各画素の画素値は同じ値となる。図５の例では、本来、混合画像の最大値および最小値の画素の位相において、最大値または最小値と中間値との差分値が誤差として検出されるべきであるが、縮小画像の生成時のサンプリング位置が適切でないために、この誤差が検出されない。

差分画像をアップサンプリングすると、矢印Ａ３６に示すように、もとの差分画像の波形が保存された拡大画像が得られる。そして、この拡大画像が加算部２８において、矢印Ａ３１に示した混合画像に加算されると、混合画像生成時に生じた誤差が修正されず、矢印Ａ３７に示すように、ＬＲ画像とは異なる波形のＳＲ画像が得られる。すなわち、ＳＲ画像では、混合画像の生成時において生じた特定の位相における誤差が除去されずに、そのまま残ることになる。

しかも、得られたＳＲ画像は、次のフレームのＳＲ画像の予測にそのまま用いられるため、誤差を除去することのできない特定の周波数の特定の位相では、各フレームで生じた誤差、つまり予測により生じたノイズが、ＳＲ画像に蓄積されていくことになる。バックプロジェクションでは、縮小画像の生成時に、各フレームの混合画像における、予め定められた位相の画素がサンプリングされるため、混合画像におけるサンプリングされない画素の位置（位相）に誤差が蓄積してしまう恐れがある。

このように、ＳＲ画像に各フレームで生じた誤差が蓄積されると、各フレームのＳＲ画像の画質が劣化してしまう。例えば、図５の例では、ＳＲ画像における図中、横方向と垂直な方向に長い直線状のノイズ、つまり櫛状のノイズが生じる。

また、超解像には、ＳＲ画像へのノイズの蓄積を抑制する手法として、マップ法と呼ばれる手法がある。マップ法では、画像が空間方向に強い相関を有するという特性を利用して、ＳＲ画像を予測して得られた画像に対し、ＬＲ画像との誤差に空間的な制約を持たせてフィードバックをかけるため、ノイズの蓄積が防止される。しかしながら、マップ法では、ノイズの蓄積は抑制できるがエッジ部分がなまってしまうため、ＳＲ画像がぼけて画質が劣化してしまう。

以上のように、超解像では、ＬＲ画像からＳＲ画像を得る場合に、ＳＲ画像の画質の劣化を抑制することは困難であった。

本発明は、このような状況に鑑みてなされたものであり、入力された画像を、より解像度の高い画像に変換しようとする場合に、より画像の画質を向上させることができるようにするものである。

本発明の一側面の画像処理装置は、第１の解像度の入力画像を、より解像度の高い第２の解像度の出力画像に変換する超解像処理を、時間的に連続する複数の前記入力画像に対して行う画像処理装置であって、処理対象の時刻の前記入力画像と、前記処理対象の時刻よりも時間的に前の時刻の入力画像に対する前記超解像処理により得られた前記出力画像とを用いて、前記処理対象の時刻の前記第２の解像度の前記出力画像を予測する予測手段と、前記予測手段による予測により得られた予測画像を用いて、処理対象の時刻によって前記予測画像の異なる位相の画素からなる前記第１の解像度の縮小画像を生成する生成手段と、前記処理対象の時刻の前記入力画像と、前記縮小画像との差分を求める差分算出手段と、前記第２の解像度にアップサンプリングされた前記差分を、前記予測画像に加算することで、前記処理対象の時刻の前記第２の解像度の前記出力画像を生成する加算手段とを備える。

前記生成手段には、予め定められた所定のパターンで、時刻ごとに前記縮小画像を生成するときの前記予測画像の画素の位相を変化させることができる。

前記生成手段には、前記予測画像の画素の位相を選択する選択手段と、前記予測画像から、前記選択手段により選択された位相の画素をサンプリングすることにより、前記縮小画像を生成するサンプリング手段とを設けることができる。

前記生成手段には、前記予測画像の画素の位相を選択する選択手段と、前記予測画像における、前記選択手段により選択された位相の画素近傍のいくつかの画素を用いたフィルタ処理により、前記選択された位相の画素を生成することで、前記縮小画像を生成するフィルタ処理手段とを設けることができる。

前記生成手段には、前記予測画像の予め定められた基準となる位相から、所定の方向に所定の距離だけ離れた位相の画素からなる前記縮小画像を生成させ、さらに、前記第２の解像度にアップサンプリングされた前記差分の位相を、前記所定の方向に前記所定の距離だけずらす位相制御手段を設けることができる。

前記入力画像をインターレース形式の画像とし、前記生成手段には、前記処理対象の時刻の前記入力画像がトップフィールドの画像であるか、ボトムフィールドの画像であるかに応じて、前記予測画像の出力先を切り替える切替手段と、前記切替手段から出力された、トップフィールドの前記入力画像から得られた前記予測画像の画素の位相を選択する第１の選択手段と、前記予測画像から、前記第１の選択手段により選択された位相の画素をサンプリングすることにより、前記縮小画像を生成する第１のサンプリング手段と、前記切替手段から出力された、ボトムフィールドの前記入力画像から得られた前記予測画像の画素の位相を選択する第２の選択手段と、前記予測画像から、前記第２の選択手段により選択された位相の画素をサンプリングすることにより、前記縮小画像を生成する第２のサンプリング手段とを設けることができる。

前記第１の選択手段および前記第２の選択手段には、それぞれ独立に、予め定められたパターンで、フィールドごとに前記縮小画像を生成するときの前記予測画像の画素の位相を変化させることができる。

前記生成手段には、前記予測画像の各画素を所定の方向に所定の距離だけ移動させて、前記予測画像の画素の位相をずらす位相制御手段と、前記位相制御手段により位相がずらされた前記予測画像における、予め定められた位相の画素からなる前記縮小画像を生成する縮小画像生成手段とを設け、前記位相制御手段には、予め定められた所定のパターンで、時刻ごとに前記予測画像の画素の位相をずらす方向を変化させることができる。

本発明の一側面の画像処理方法またはプログラムは、第１の解像度の入力画像を、より解像度の高い第２の解像度の出力画像に変換する超解像処理を、時間的に連続する複数の前記入力画像に対して行う画像処理方法またはプログラムであって、処理対象の時刻の前記入力画像と、前記処理対象の時刻よりも時間的に前の時刻の入力画像に対する前記超解像処理により得られた前記出力画像とを用いて、前記処理対象の時刻の前記第２の解像度の前記出力画像を予測し、前記予測により得られた予測画像を用いて、処理対象の時刻によって前記予測画像の異なる位相の画素からなる前記第１の解像度の縮小画像を生成し、前記処理対象の時刻の前記入力画像と、前記縮小画像との差分を求め、前記第２の解像度にアップサンプリングされた前記差分を、前記予測画像に加算することで、前記処理対象の時刻の前記第２の解像度の前記出力画像を生成するステップを含む。

本発明の一側面においては、第１の解像度の入力画像を、より解像度の高い第２の解像度の出力画像に変換する超解像処理を、時間的に連続する複数の前記入力画像に対して行う場合に、処理対象の時刻の前記入力画像と、前記処理対象の時刻よりも時間的に前の時刻の入力画像に対する前記超解像処理により得られた前記出力画像とが用いられて、前記処理対象の時刻の前記第２の解像度の前記出力画像が予測され、前記予測により得られた予測画像が用いられて、処理対象の時刻によって前記予測画像の異なる位相の画素からなる前記第１の解像度の縮小画像が生成され、前記処理対象の時刻の前記入力画像と、前記縮小画像との差分が求められ、前記第２の解像度にアップサンプリングされた前記差分が、前記予測画像に加算されて、前記処理対象の時刻の前記第２の解像度の前記出力画像が生成される。

本発明の一側面によれば、入力された画像を、より解像度の高い画像に変換しようとする場合に、より画像の画質を向上させることができる。

従来の画像処理装置の構成を示す図である。 従来の画像処理装置における差分画像の生成を説明する図である。 従来の縮小画像の生成を説明する図である。 従来の縮小画像の生成時に、画像の波形が保存される場合の例を説明する図である。 従来の縮小画像の生成時に、画像の波形が保存されない場合の例を説明する図である。 本願発明を適用した画像処理装置の処理の概要を説明する図である。 本願発明を適用した画像処理装置の処理の概要を説明する図である。 本願発明を適用した画像処理装置の一実施の形態の構成例を示す図である。 縮小画像の生成に用いる画素の位相について説明する図である。 縮小画像の生成に用いる画素の位相の変化について説明する図である。 画像変換処理について説明するフローチャートである。 本願発明を適用した画像処理装置の他の構成例を示す図である。 縮小画像生成時のフィルタ処理について説明する図である。 縮小画像生成時のフィルタ処理について説明する図である。 縮小画像生成時のフィルタ処理について説明する図である。 画像変換処理について説明するフローチャートである。 ＳＲ画像生成時に生じる新たな誤差について説明する図である。 ＳＲ画像生成時における新たな誤差の発生の抑制について説明する図である。 本願発明を適用した画像処理装置の他の構成例を示す図である。 画像変換処理について説明するフローチャートである。 本願発明を適用した画像処理装置の他の構成例を示す図である。 縮小画像の生成に用いる画素の位相について説明する図である。 縮小画像の生成に用いる画素の位相の変化について説明する図である。 画像変換処理について説明するフローチャートである。 本願発明を適用した画像処理装置の他の構成例を示す図である。 ２次元のフィルタ処理について説明する図である。 画像変換処理について説明するフローチャートである。 混合画像の各画素の位相のずらしについて説明する図である。 本願発明を適用した画像処理装置の他の構成例を示す図である。 画像変換処理について説明するフローチャートである。 コンピュータの構成例を示す図である。

以下、図面を参照して、本発明を適用した実施の形態について説明する。

〈画像処理装置の処理の概要〉
まず、本発明を適用した画像処理装置が行う処理の概要について説明する。

画像処理装置には、例えば、動画像等の時間的に連続する画像（以下、ＬＲ画像と称する）が入力される。そして画像処理装置では、ＬＲ画像が超解像処理により、ＬＲ画像よりも解像度の高い画像（以下、ＳＲ画像と称する）に変換されて出力される。このＳＲ画像は、ＬＲ画像を拡大した画像である。なお、ＬＲ画像は動画像でなくてもよく、時間的に連続する、互いに異なる時刻に撮像された同じ被写体を含む複数の画像などとされてもよい。

具体的には、画像処理装置は、処理対象の現フレーム（時刻）のＬＲ画像と、現フレームよりも時間的に前のフレーム（時刻）のＬＲ画像から得られたＳＲ画像とを用いて、現フレームのＳＲ画像を予測し、予測により得られた画像を混合画像とする。そして、画像処理装置は、混合画像をダウンサンプリングして縮小画像とし、縮小画像とＬＲ画像との差分を求めて得られた差分画像をアップサンプリングして混合画像に加算することで、現フレームのＳＲ画像を得る。

画像処理装置は、例えば図６に示すように、縮小画像の生成時において、縮小画像の生成に用いる混合画像の画素として、フレームごとに異なる位相の画素を選択することにより、ＳＲ画像へのノイズの蓄積を抑制している。なお、図６において、縦方向は画像における画素の画素値を示しており、横方向は画像における所定の方向を示している。また、図中、１つの円は画像上の１つの画素を表している。

図６では、矢印Ａ５１により示される波形が現フレームの混合画像の波形を示している。つまり、混合画像の互いに隣接する画素（の画素値）を結ぶ曲線が、その混合画像の波形とされる。

図中、混合画像における画素値の最大値と最小値との間の値を中間値と呼ぶこととすると、混合画像では、中間値の画素、最大値の画素、中間値の画素、および最小値の画素の順番で、それらの画素値を有する画素が図中、横方向に繰り返し並んでいる。すなわち、図６の例では、混合画像の波形は正弦波形状となっている。

いま、混合画像の画素を図中、横方向に１画素おきにサンプリングして縮小画像を生成することとする。

例えば現フレームにおいては、矢印Ａ５２に示されるように、矢印Ａ５１に示す混合画像の図中、左端から３番目の画素をサンプリングされる画素とし、その画素を含めて、右方向に１画素おきに混合画像の画素がサンプリングされて縮小画像が生成されるとする。この場合、得られた縮小画像の波形は、図中、横方向に変化のない平坦な形状となり、もとの混合画像の波形は正しく保存されない。

また、矢印Ａ５３に示すように、現フレームのＬＲ画像の波形が図中、横方向に変化のない平坦な形状であったとすると、縮小画像とＬＲ画像との差分を求めることにより、矢印Ａ５４に示す波形の差分画像が得られる。この差分画像の波形は、図中、横方向に平坦な形状であり、差分画像では、混合画像において生じた誤差は検出されていない。

そのため、この差分画像は、ＬＲ画像に対する混合画像の誤差の補正値として、アップサンプリングされて混合画像に加算されるが、加算により得られるＳＲ画像からは、その誤差、つまりノイズは除去されていない。なお、以下、各画像において図中、右方向に対応する方向をｘ方向とも称することとする。

このようにして得られたＳＲ画像は、次のフレームの混合画像の生成に用いられる。例えば、矢印Ａ５４に示した差分画像を用いて得られたＳＲ画像を用いて、次のフレームの混合画像を生成した結果、矢印Ａ５５に示す波形の混合画像が得られたとする。矢印Ａ５５に示す混合画像は、矢印Ａ５１に示す混合画像と同じ波形の画像となっている。

画像処理装置は、矢印Ａ５５に示す混合画像を用いて、矢印Ａ５６に示すように、その混合画像における所定の位相の画素からなる縮小画像を生成する。なお、矢印Ａ５６に示す混合画像における点線で表された円は、直前のフレームにおいて縮小画像を生成するときにサンプリングされた画素の位置を表している。つまり矢印Ａ５１に示した混合画像において、縮小画像を生成するのに用いられた画素と同じ位相の画素を表している。

矢印Ａ５６により示される例では、混合画像における、前のフレームで縮小画像の生成時に用いられた画素の図中、左側に隣接する画素が、今回処理対象となるフレームでの縮小画像の生成に用いられている。画像処理装置では、これらの画素からなる縮小画像が生成され、その縮小画像の波形は、矢印Ａ５５に示す混合画像の波形と同じ形状、つまり正弦波形状となる。換言すれば、この縮小画像では、もとの混合画像の波形が正しく保存されている。

また、矢印Ａ５７に示すように、新たに処理対象となったフレームのＬＲ画像の波形がｘ方向に変化のない平坦な形状であったとすると、縮小画像とＬＲ画像との差分を求めることにより、矢印Ａ５８に示す波形の差分画像が得られる。この差分画像の波形は、矢印Ａ５５に示した混合画像の波形を、その波形の画素値方向（縦方向）の中央の位置を基準（中心）として、図中、上下方向に反転させたような形状となっている。

このフレームの縮小画像では、もとの混合画像の波形が正しく保存されているので、矢印Ａ５８に示す差分画像の波形は、混合画像とＬＲ画像との誤差を示す形状となる。したがって、この差分画像を矢印Ａ５５に示した混合画像に加算すると、誤差（ノイズ）の除去された、より画質の高いＳＲ画像が得られる。

さらに、このＳＲ画像は次のフレームの混合画像の生成に用いられる。このＳＲ画像は、ノイズが除去されたものであるため、ＳＲ画像から得られる混合画像は、例えば矢印Ａ５９に示すように、本来のＳＲ画像に近い波形の混合画像となる。

矢印Ａ５９に示す混合画像の波形は、ｘ方向に変化のない平坦な形状となっている。画像処理装置では、矢印Ａ６０に示すように、混合画像における矢印Ａ５２に示したフレームにおいて縮小画像を生成するのに用いられた画素と同じ位相の画素が用いられ、それらの画素からなる縮小画像が生成される。その結果、得られる縮小画像は、もとの混合画像の波形が正しく保存された波形の画像となる。

また、矢印Ａ６１に示すように、今回、新たに処理対象となったフレームのＬＲ画像の波形がｘ方向に変化のない平坦な形状であったとすると、縮小画像とＬＲ画像との差分を求めることにより、矢印Ａ６２に示す波形の差分画像が得られる。この差分画像の波形は、ｘ方向に変化のない平坦な形状となっている。

このフレームの縮小画像では、もとの混合画像の波形が正しく保存されているので、矢印Ａ６２に示す波形の差分画像と、矢印Ａ５９に示した混合画像とを加算すると、ノイズのない、より画質の高いＳＲ画像が得られる。

さらに、このようにして得られたＳＲ画像から、次のフレームにおいて矢印Ａ６３に示すように、波形がｘ方向に平坦な形状の混合画像が得られたとする。そして、矢印Ａ６４に示すように、矢印Ａ６３に示した混合画像における所定の位相の画素からなる縮小画像が生成される。なお、矢印Ａ６４に示す混合画像における点線で表された円は、矢印Ａ５２に示すフレームの混合画像において縮小画像を生成するときにサンプリングされた画素の位置を表している。

矢印Ａ６４に示されるフレームの混合画像では、矢印Ａ５２に示したフレームの混合画像から縮小画像を生成するときに用いられた画素の図中、右側に隣接する画素が、縮小画像の生成に用いられている。画像処理装置では、これらの画素からなる縮小画像が生成され、その縮小画像の波形は、矢印Ａ６３に示す混合画像の波形と同じ形状となる。

また、矢印Ａ６５に示すように、今回、新たに処理対象となったフレームのＬＲ画像の波形がｘ方向に変化のない平坦な形状であったとすると、縮小画像とＬＲ画像との差分を求めることにより、矢印Ａ６６に示す波形の差分画像が得られる。この差分画像の波形は、ｘ方向に変化のない平坦な形状となっている。

このフレームの縮小画像では、もとの混合画像の波形が正しく保存されているので、矢印Ａ６６に示す波形の差分画像と、矢印Ａ６３に示した混合画像とを加算すると、ノイズのない、より画質の高いＳＲ画像が得られる。

このように、フレームによって、縮小画像の生成に用いる混合画像の画素の位相を変化させることで、特定の位相で生じた誤差（ノイズ）が蓄積されることを防止することができ、最終的に得られるＳＲ画像の画質が向上する。

なお、フレーム（時刻）ごとに縮小画像の生成に用いる画素の位相を変化させると、例えば図７に示すように、一時的に混合画像のノイズが増幅されることがある。ここで、図７において、縦方向は画像における画素の画素値を示しており、右方向は画像におけるｘ方向を示している。また、図中、１つの円は画像上の１つの画素を表している。

図７では、矢印Ａ８１により示される波形が現フレームの混合画像の波形を示している。矢印Ａ８１に示される混合画像の波形は、図６の矢印Ａ５１に示した混合画像の波形と同じ形状である。

いま、矢印Ａ８２に示すように、矢印Ａ８１に示した混合画像における図中、左端から３番目の画素をサンプリングされる画素とし、その画素を含めて、ｘ方向に１画素おきにサンプリングして縮小画像を生成することとする。そのような場合、得られた縮小画像の波形は、ｘ方向に変化のない平坦な形状となり、もとの混合画像の波形は正しく保存されていない。

また、矢印Ａ８３に示すように、現フレームのＬＲ画像の波形がｘ方向に変化のない平坦な形状であったとすると、縮小画像とＬＲ画像との差分を求めることにより、矢印Ａ８４に示す波形の差分画像が得られる。この差分画像の波形はｘ方向に平坦な形状であり、差分画像では、混合画像において生じた誤差は検出されていない。そのため、差分画像が混合画像に加算されて得られるＳＲ画像からは、その誤差、つまりノイズは除去されない。

このようにして得られたＳＲ画像は、次のフレームの混合画像の生成に用いられる。例えば、矢印Ａ８４に示した差分画像を用いて得られたＳＲ画像を用いて、次のフレームの混合画像を生成した結果、矢印Ａ８５に示す波形の混合画像が得られたとする。矢印Ａ８５に示す混合画像は、矢印Ａ８１に示す混合画像と同じ波形の画像となっている。

画像処理装置は、矢印Ａ８５に示す混合画像を用いて、矢印Ａ８６に示すように、その混合画像における所定の位相の画素からなる縮小画像を生成する。なお、矢印Ａ８６に示す混合画像における点線で表された円は、直前のフレームにおいて縮小画像を生成するときにサンプリングされた画素の位置を表している。つまり矢印Ａ８１に示した混合画像において、縮小画像を生成するのに用いられた画素と同じ位相の画素を表している。

矢印Ａ８６により示される例では、混合画像における、前のフレームで縮小画像の生成時に用いられた画素の図中、右側に隣接する画素が、今回処理対象となるフレームでの縮小画像の生成に用いられている。画像処理装置では、これらの画素からなる縮小画像が生成され、その縮小画像の波形は、矢印Ａ８５に示す混合画像の波形とほぼ同じ形状、つまり正弦波形状となる。但し、この縮小画像では、混合画像上の被写体が縮小画像上において、中心から１画素分だけ、図中、左側にずれたものとなる。

このようにして得られた縮小画像と、矢印Ａ８７に示すように、ｘ方向に平坦な形状の波形のＬＲ画像との差分が求められると、矢印Ａ８８に示す波形の差分画像が得られる。この差分画像の波形は、矢印Ａ８５に示した混合画像の波形と同じ形状となっている。

そのため、この差分画像を矢印Ａ８５に示した混合画像に加算すると、誤差（ノイズ）が増幅されたＳＲ画像が得られることになる。このようなＳＲ画像が用いられて、次のフレームの混合画像が生成されると、例えば矢印Ａ８９に示すように、矢印Ａ８５の混合画像におけるノイズが増幅された波形の混合画像が得られる。

さらに画像処理装置では、矢印Ａ９０に示すように、混合画像における矢印Ａ８２に示したフレームにおいて縮小画像を生成するのに用いられた画素と同じ位相の画素からなる縮小画像が生成される。その結果得られる縮小画像は、もとの混合画像の波形が正しく保存されていない波形の画像となる。

また、得られた縮小画像と、矢印Ａ９１に示すように、ｘ方向に平坦な形状の波形のＬＲ画像との差分が求められると、矢印Ａ９２に示す波形の差分画像が得られる。この差分画像の波形は、ｘ方向に平坦な形状となっている。この差分画像が矢印Ａ８９に示した混合画像に加算されてＳＲ画像とされるが、得られるＳＲ画像は、増幅されたノイズがそのまま蓄積された画像となる。

さらに、このＳＲ画像が用いられて、次のフレームにおいて矢印Ａ９３に示すように、正弦波形状の混合画像が得られたとする。そして、矢印Ａ９４に示すように、矢印Ａ９３に示した混合画像における所定の位相の画素からなる縮小画像が生成される。なお、矢印Ａ９４に示す混合画像における点線で表された円は、矢印Ａ８２に示すフレームの混合画像において縮小画像を生成するときにサンプリングされた画素の位置を表している。

矢印Ａ９４に示される例では、混合画像における、矢印Ａ８２に示したフレームの混合画像から縮小画像を生成するときに用いられた画素の図中、左側に隣接する画素が、今回処理対象となるフレームでの縮小画像の生成に用いられている。画像処理装置では、これらの画素からなる縮小画像が生成され、その縮小画像の波形は、矢印Ａ９３に示す混合画像の波形と同じ形状となる。

また、矢印Ａ９５に示すように、今回、新たに処理対象となったフレームのＬＲ画像の波形がｘ方向に変化のない平坦な形状であったとすると、縮小画像とＬＲ画像との差分を求めることにより、矢印Ａ９６に示す波形の差分画像が得られる。この差分画像の波形は、矢印Ａ９３に示す混合画像の波形を、その波形の画素値方向の中央の位置を基準として、図中、上下方向に反転させたような形状となっている。

このフレームの縮小画像では、もとの混合画像の波形が正しく保存されているので、矢印Ａ９６に示す差分画像の波形は、混合画像とＬＲ画像との誤差を表す形状となる。したがって、この差分画像を矢印Ａ９３に示した混合画像に加算すると、矢印Ａ９７に示すように、誤差（ノイズ）の除去された、より画質の高いＳＲ画像が得られる。矢印Ａ９７に示すＳＲ画像の波形は、矢印Ａ９５に示すＬＲ画像の波形と同じ形状となっており、検出されずに蓄積されていたノイズが除去されたことが分かる。

このように、フレームによって、縮小画像の生成に用いる混合画像の画素の位相を変化させることで、一時的に誤差が増幅されて蓄積されたとしても、繰り返し超解像処理を行うことでノイズが除去され、最終的に高画質なＳＲ画像を得ることができる。

〈第１の実施の形態〉
［画像処理装置の構成］
次に、以上において説明した超解像処理を行う画像処理装置の実施の形態について説明する。図８は、本発明を適用した画像処理装置の一実施の形態の構成例を示す図である。

画像処理装置６１は、アップサンプリング部７１、動きベクトル検出部７２、動き補償部７３、マスク生成部７４、混合部７５、位相制御部７６、ダウンサンプリング部７７−１乃至ダウンサンプリング部７７−３、位相制御部７８、ダウンサンプリング部７９−１乃至ダウンサンプリング部７９−３、減算部８０、アップサンプリング部８１、加算部８２、およびバッファ８３から構成される。

画像処理装置６１には、処理対象となるＬＲ画像が１フレーム分ずつ入力され、入力されたＬＲ画像は、アップサンプリング部７１および減算部８０に供給される。

アップサンプリング部７１は、供給されたＬＲ画像を、これから生成しようとするＳＲ画像と同じ解像度にアップサンプリングして、動きベクトル検出部７２、マスク生成部７４、および混合部７５に供給する。

動きベクトル検出部７２は、アップサンプリング部７１からのＬＲ画像と、バッファ８３から供給された、処理対象の現フレームの時間的に前のフレームのＳＲ画像とから、ＳＲ画像の全体の動きベクトルを求め、動き補償部７３に供給する。

動き補償部７３は、動きベクトル検出部７２からの動きベクトルと、バッファ８３からのＳＲ画像とを用いて動き補償を行い、予測画像を生成する。すなわち、動き補償部７３は、動きベクトルに示される方向に、動きベクトルの大きさと同じ距離だけＳＲ画像全体を移動させ、その結果得られた画像を予測画像とする。この予測画像は、１フレーム前のＳＲ画像を用いて、動き補償により現フレームのＳＲ画像を予測して得られた画像であり、予測画像は、動き補償部７３からマスク生成部７４および混合部７５に供給される。

マスク生成部７４は、アップサンプリング部７１からのＬＲ画像と、動き補償部７３からの予測画像とを用いてモーションマスクを生成し、混合部７５に供給する。このモーションマスクは、ＬＲ画像上の動きのある被写体の表示される領域を特定するための情報であり、ＬＲ画像と予測画像との差分を求めることにより生成される。

混合部７５は、マスク生成部７４からのモーションマスクを用いて、動き補償部７３からの予測画像と、アップサンプリング部７１からのＬＲ画像とを重み付き加算し、その結果得られた混合画像を位相制御部７６および加算部８２に供給する。

位相制御部７６は、縮小画像を生成するときの混合画像の位相を選択し、選択した位相に応じて混合部７５からの混合画像の出力先を切り替える。すなわち、位相制御部７６は、供給された混合画像を、ダウンサンプリング部７７−１乃至ダウンサンプリング部７７−３の何れかに供給する。

ダウンサンプリング部７７−１乃至ダウンサンプリング部７７−３は、位相制御部７６から供給された混合画像の予め定められた位相の画素をサンプリングし、それらの画素からなる画像を生成することで、混合画像をｘ方向にダウンサンプリングする。ダウンサンプリング部７７−１乃至ダウンサンプリング部７７−３は、生成した画像を位相制御部７８に供給する。なお、以下、ダウンサンプリング部７７−１乃至ダウンサンプリング部７７−３を特に区別する必要のない場合、単にダウンサンプリング部７７とも称する。

位相制御部７８は、縮小画像を生成するときの混合画像の位相を選択し、選択した位相に応じてダウンサンプリング部７７からの画像の出力先を切り替える。すなわち、位相制御部７８は、供給された画像を、ダウンサンプリング部７９−１乃至ダウンサンプリング部７９−３の何れかに供給する。

ダウンサンプリング部７９−１乃至ダウンサンプリング部７９−３は、位相制御部７８から供給された画像の予め定められた位相の画素をサンプリングし、それらの画素からなる縮小画像を生成する。これにより、混合画像がｘ方向と垂直な方向（以下、ｙ方向と称する）にダウンサンプリングされて、最終的にＬＲ画像と同じ解像度の縮小画像が得られる。

ダウンサンプリング部７９−１乃至ダウンサンプリング部７９−３は、生成した縮小画像を減算部８０に供給する。なお、以下、ダウンサンプリング部７９−１乃至ダウンサンプリング部７９−３を特に区別する必要のない場合、単にダウンサンプリング部７９とも称する。

減算部８０は、供給されたＬＲ画像からダウンサンプリング部７９からの縮小画像を減算することで、ＬＲ画像と縮小画像との差分を求め、その結果得られた差分画像をアップサンプリング部８１に供給する。アップサンプリング部８１は、減算部８０からの差分画像を、ＳＲ画像と同じ解像度にアップサンプリングし、これにより得られた拡大画像を加算部８２に供給する。

加算部８２は、混合部７５からの混合画像と、アップサンプリング部８１からの拡大画像とを加算してＳＲ画像を生成し、そのＳＲ画像を後段に出力するとともに、バッファ８３に供給し、記憶させる。バッファ８３は、加算部８２からのＳＲ画像を１フレーム分の時間だけ保持し、次のフレームが処理対象となったとき、保持しているＳＲ画像を動きベクトル検出部７２および動き補償部７３に供給する。

ところで、ダウンサンプリング部７７およびダウンサンプリング部７９は、混合画像の予め定められた位相（位置）の画素からなる画像を生成することで、混合画像をダウンサンプリングする。

例えば、図９に示すように、ダウンサンプリング部７７およびダウンサンプリング部７９は、予め定められた基準となる位相に基づいて、それぞれ異なる位相の画素をサンプリングする。なお、図９において、右方向はｘ方向を示しており、下方向はｙ方向を示している。また、図中、１つの円は、混合画像上の１つの画素を表している。

ダウンサンプリング部７７−１は、図中、上段の左側に示すように、混合画像上の基準となる画素である基準画素Ｇ１１の図中、左側に隣接する画素Ｇ１２をサンプリングする。ここで、基準画素Ｇ１１は、混合画像上において、予め定められた間隔で並んでいる複数の画素とされる。例えば、混合画像がｘ方向に、半分の画素数にダウンサンプリングされる場合、混合画像上のｘ方向に１画素おきに並ぶ所定の画素が基準画素Ｇ１１とされる。

ダウンサンプリング部７７−２は、図中、上段中央に示すように、混合画像上の基準画素Ｇ１１をサンプリングする。また、ダウンサンプリング部７７−３は、図中、上段の右側に示すように、混合画像上の基準画素Ｇ１１の図中、右側に隣接する画素Ｇ１３をサンプリングする。

また、ダウンサンプリング部７９−１は、図中、下段の左側に示すように、ｘ方向にダウンサンプリングされた混合画像上の基準となる画素である基準画素Ｇ２１の図中、上側に隣接する画素Ｇ２２をサンプリングする。ここで、基準画素Ｇ２１は、ｘ方向にダウンサンプリングされた混合画像上において、予め定められた間隔で並んでいる複数の画素とされる。例えば、混合画像がｙ方向に、半分の画素数にダウンサンプリングされる場合、混合画像上のｙ方向に１画素おきに並ぶ所定の画素が基準画素Ｇ２１とされる。

ダウンサンプリング部７９−２は、図中、下段中央に示すように、混合画像上の基準画素Ｇ２１をサンプリングする。また、ダウンサンプリング部７９−３は、図中、下段の右側に示すように、混合画像上の基準画素Ｇ２１の図中、下側に隣接する画素Ｇ２３をサンプリングする。

位相制御部７６および位相制御部７８は、これらのダウンサンプリング部７７およびダウンサンプリング部７９の何れにおいて混合画像をダウンサンプリングするかを、フレームごとに選択する。

例えば、図１０に示すように、位相制御部７６および位相制御部７８は、予め定められた所定のパターンでサンプリングされる画素の位相が変化するように、混合画像の出力先を選択する。

なお、図１０において、右方向は時間を示しており、各位相制御部７６の図中、上側の数字は、処理対象の混合画像のフレームを区別する番号を示している。すなわち、「０」により示される０番目のフレームから、「７」により示される７番目のフレームまで順番に処理対象のフレームとされる。また、位相制御部７６乃至ダウンサンプリング部７９を結ぶ太線は、混合画像が供給される経路を表している。

最初に処理対象となる０番目のフレームでは、混合画像は位相制御部７６からダウンサンプリング部７７−２に供給され、さらにダウンサンプリング部７７−２から位相制御部７８に供給された混合画像は、ダウンサンプリング部７９−２に供給される。

また、０番目のフレームに続く１番目のフレームでは、混合画像は位相制御部７６からダウンサンプリング部７７−１に供給され、さらにダウンサンプリング部７７−１から位相制御部７８に供給された混合画像は、ダウンサンプリング部７９−２に供給される。

このように、時間的に連続する０番目のフレームと、１番目のフレームとでは、混合画像の異なる位相（位置）の画素からなる縮小画像が生成されて、ノイズ（誤差）の蓄積が防止される。

同様に、１番目のフレームに続く２番目のフレームでは、混合画像は、ダウンサンプリング部７７−２およびダウンサンプリング部７９−２に供給される。つまり、ダウンサンプリング部７７−２により混合画像の基準画素Ｇ１１がサンプリングされ、ダウンサンプリング部７９−２により混合画像の基準画素Ｇ２１がサンプリングされて縮小画像が生成される。

また、３番目のフレームでは、混合画像は、ダウンサンプリング部７７−２およびダウンサンプリング部７９−１に供給され、４番目のフレームでは、混合画像は、ダウンサンプリング部７７−２およびダウンサンプリング部７９−２に供給される。

５番目のフレームでは、混合画像は、ダウンサンプリング部７７−３およびダウンサンプリング部７９−２に供給され、６番目のフレームでは、混合画像は、ダウンサンプリング部７７−２およびダウンサンプリング部７９−２に供給される。さらに、７番目のフレームでは、混合画像は、ダウンサンプリング部７７−２およびダウンサンプリング部７９−３に供給される。

そして、８番目以降のフレームでは、０番目乃至７番目のフレームの場合と同じパターンで繰り返し、各ダウンサンプリング部７７およびダウンサンプリング部７９に混合画像が供給される。したがって、例えば（１＋８ｉ）番目（但し、ｉは自然数）のフレームでは、混合画像がダウンサンプリング部７７−１およびダウンサンプリング部７９−２に供給されることになる。

なお、縮小画像の生成に用いる混合画像の画素の位相をずらす量を大きくすると、縮小画像における被写体の位置と、混合画像における被写体の位置とのずれ量が大きくなり、ＳＲ画像に、混合画像生成時の誤差とは異なる新たな誤差（ノイズ）が発生してしまう。そのため、混合画像の画素の位相をずらす量は、できるだけ少ない方が望ましい。

また、縮小画像の生成に用いられる混合画像の画素の位相は、予め定められたパターンで変化するようにしてもよいし、フレームごとにランダムに選択されるようにしてもよい。

［画像処理装置の動作］
次に、以上において説明した画像処理装置６１の動作について説明する。画像処理装置６１にＬＲ画像が供給されると、画像処理装置６１は、各フレームのＬＲ画像を超解像処理によりＳＲ画像に変換する処理である画像変換処理を開始する。以下、図１１のフローチャートを参照して、画像処理装置６１による画像変換処理について説明する。

ステップＳ１１において、アップサンプリング部７１は、供給されたＬＲ画像を、これから生成しようとするＳＲ画像と同じ解像度にアップサンプリングして、動きベクトル検出部７２、マスク生成部７４、および混合部７５に供給する。

ステップＳ１２において、動き補償部７３は動き補償を行い、予測画像を生成する。

すなわち、動きベクトル検出部７２は、アップサンプリング部７１からのＬＲ画像と、バッファ８３からのＳＲ画像とから、ＳＲ画像の全体の１つの動きベクトルを求め、動き補償部７３に供給する。また、動き補償部７３は、動きベクトル検出部７２からの動きベクトルに示される方向に、動きベクトルの大きさと同じ距離だけＳＲ画像全体を移動させて予測画像を生成し、生成した予測画像をマスク生成部７４および混合部７５に供給する。

ステップＳ１３において、マスク生成部７４は、アップサンプリング部７１からのＬＲ画像と、動き補償部７３からの予測画像とを用いてモーションマスクを生成し、混合部７５に供給する。

例えば、マスク生成部７４は、これから求めようとするモーションマスクの画素を順次、注目画素として、注目画素と同じ位置にある、ＬＲ画像の画素の画素値と、予測画像の画素の画素値との差分を求める。そして、マスク生成部７４は、求めた差分の絶対値に対して予め定められた値を注目画素の画素値とする。例えば、注目画素の画素値は、差分の絶対値が小さいほど、大きくなるようにされる。

したがって、モーションマスクでは、画素の画素値が小さい領域ほど、ＬＲ画像と予測画像との差分が大きく、動き補償による予測の誤差が大きいことになる。換言すれば、モーションマスク上の画素値の大きい画素からなる領域は、ＬＲ画像において、ＬＲ画像全体の動きとは異なる動きをする被写体の領域、つまりＬＲ画像全体に対して相対的に動いている被写体の領域であるということができる。

ステップＳ１４において、混合部７５は、マスク生成部７４からのモーションマスクを用いて、動き補償部７３からの予測画像と、アップサンプリング部７１からのＬＲ画像とを重み付き加算して混合画像を生成し、位相制御部７６および加算部８２に供給する。

例えば、混合部７５は、これから求めようとする混合画像の画素を順次、注目画素とする。そして、混合部７５は、注目画素と同じ位置にある、モーションマスクの画素の画素値に基づいて、注目画素と同じ位置にあるＬＲ画像の画素の重みＷｉ（但し、０≦Ｗｉ≦１）と、注目画素と同じ位置にある予測画像の画素の重みＷｊ（＝１−Ｗｉ）とを求める。

混合部７５は、重みＷｉが乗算された、注目画素と同じ位置にあるＬＲ画像の画素の画素値と、重みＷｊが乗算された、注目画素と同じ位置にある予測画像の画素の画素値とを加算して得られる値を、注目画素の画素値とする。このようにして、混合部７５は、混合画像の各画素を注目画素として、それらの画素の画素値を求めることで、混合画像を生成する。

なお、ＬＲ画像と予測画像の重み付き加算時において、例えば、モーションマスクの画素の画素値が小さいほど、重みＷｉが大きくなるようにされる。これは、モーションマスクの画素の画素値が小さい領域、つまり動き補償による予測精度の低い領域については、混合画像の生成に対するＬＲ画像の寄与率を大きくすることで、混合画像の画質の劣化を防止するためである。

ステップＳ１５において、位相制御部７６は、縮小画像を生成するときの混合画像のｘ方向の位相を選択する。例えば、位相制御部７６は、図１０を参照して説明したパターンでｘ方向の位相を変化させる場合、処理対象の現フレームが図１０における何番目のフレームに相当するかに応じて位相を選択する。

位相制御部７６は、選択した位相に対応するダウンサンプリング部７７に、混合部７５からの混合画像を供給し、ｘ方向のダウンサンプリングを指示する。例えば、現フレームが図１０の５番目のフレームに相当する場合、混合画像はダウンサンプリング部７７−３に供給される。

ステップＳ１６において、ダウンサンプリング部７７は、位相制御部７６から供給された混合画像をｘ方向にダウンサンプリングして位相制御部７８に供給する。すなわち、ダウンサンプリング部７７は、供給された混合画像の予め定められた位相の画素をサンプリングし、それらのサンプリングされた画素からなる画像を生成する。

ステップＳ１７において、位相制御部７８は、縮小画像を生成するときの混合画像のｙ方向の位相を選択する。例えば、位相制御部７８は、図１０を参照して説明したパターンでｙ方向の位相を変化させる場合、処理対象の現フレームが図１０における何番目のフレームに相当するかに応じて位相を選択する。

位相制御部７８は、選択した位相に対応するダウンサンプリング部７９に、ダウンサンプリング部７７からの混合画像を供給し、ｙ方向のダウンサンプリングを指示する。

ステップＳ１８において、ダウンサンプリング部７９は、位相制御部７８から供給された混合画像をｙ方向にダウンサンプリングして減算部８０に供給する。すなわち、ダウンサンプリング部７９は、供給された混合画像の予め定められた位相の画素をサンプリングし、それらのサンプリングされた画素からなる縮小画像を生成する。

このように、混合画像をｘ方向およびｙ方向にダウンサンプリングすることで、ＬＲ画像と同じ解像度の縮小画像が生成され、生成された縮小画像が減算部８０に供給される。

ステップＳ１９において、減算部８０は、供給されたＬＲ画像と、ダウンサンプリング部７９からの縮小画像との差分を求め、差分画像を生成する。すなわち、差分画像の画素の画素値は、その画素と同じ位置にある、ＬＲ画像の画素の画素値と、縮小画像の画素の画素値との差分の値とされる。

このようにして生成された差分画像の各画素の画素値は、ＬＲ画像（ＳＲ画像）を予測して得られた縮小画像と、実際のＬＲ画像との差分を示している。したがって、この差分の分だけ混合画像を補正すれば、ＬＲ画像をより忠実に拡大したＳＲ画像、すなわち、ＬＲ画像の波形がそのまま保存されたＳＲ画像が得られるはずである。減算部８０は、生成された差分画像をアップサンプリング部８１に供給する。

ステップＳ２０において、アップサンプリング部８１は、減算部８０からの差分画像を、ＳＲ画像と同じ解像度にアップサンプリングし、これにより得られた拡大画像を加算部８２に供給する。

ステップＳ２１において、加算部８２は、混合部７５からの混合画像と、アップサンプリング部８１からの拡大画像とを加算して現フレームのＳＲ画像を生成し、そのＳＲ画像を後段に出力するとともに、バッファ８３に供給し、記憶させる。

ステップＳ２２において、画像処理装置６１は、処理を終了するか否かを判定する。例えば、画像処理装置６１へのＬＲ画像の供給が停止され、処理の終了が指示された場合、処理を終了すると判定される。

ステップＳ２２において、処理を終了すると判定されなかった場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。すなわち、次のフレームのＬＲ画像が処理対象の現フレームのＬＲ画像とされて、超解像処理によりＳＲ画像に変換される。

これに対して、ステップＳ２２において、処理を終了すると判定された場合、画像処理装置６１の各部は行っている処理を終了させ、画像変換処理は終了する。

このようにして、画像処理装置６１は、入力されたＬＲ画像に対して超解像処理を施し、ＬＲ画像をＳＲ画像に変換する。特に、画像処理装置６１は、予測により得られた混合画像をダウンサンプリングして縮小画像を生成するときに、フレームによって縮小画像の生成に用いる画素の位相を変化させる。

このように、フレームによって、縮小画像の生成に用いる画素の位相を僅かに変化させることで、特定の位相で生じた誤差（ノイズ）がＳＲ画像に蓄積されることを防止することができ、ＳＲ画像の画質を向上させることができる。

また、縮小画像の生成に用いる画素の位相を、予め定められた所定のパターンに従って、フレームごとに僅かにずらすようにしたので、混合画像のどの位相の画素を用いれば、縮小画像において、もとの混合画像の波形が保存されるかを特定する処理が不要となる。したがって、より迅速にＳＲ画像を得ることができる。

〈第２の実施の形態〉
［画像処理装置の構成］
なお、以上においては、混合画像の画素をサンプリングすることにより縮小画像を生成すると説明したが、混合画像にフィルタ処理を施すことにより、縮小画像を生成するようにしてもよい。

そのような場合、画像処理装置は、例えば、図１２に示すように構成される。なお、図１２において、図８における場合と対応する部分には、同一の符号を付してあり、その説明は適宜、省略する。

図１２の画像処理装置１２１には、画像処理装置６１の位相制御部７６乃至ダウンサンプリング部７９−３に代えて、位相制御部１３１、フィルタ処理部１３２−１乃至フィルタ処理部１３２−３、位相制御部１３３、およびフィルタ処理部１３４−１乃至フィルタ処理部１３４−３が設けられている。

位相制御部１３１は、縮小画像を生成するときの混合画像の位相を選択し、選択した位相に応じて混合部７５からの混合画像の出力先を切り替える。すなわち、位相制御部１３１は、供給された混合画像を、フィルタ処理部１３２−１乃至フィルタ処理部１３２−３の何れかに供給する。

フィルタ処理部１３２−１乃至フィルタ処理部１３２−３は、位相制御部１３１からの混合画像の予め定められた位相の画素をフィルタ処理により求め、求めたそれらの画素からなる画像を生成することで、混合画像をｘ方向にダウンサンプリングする。フィルタ処理部１３２−１乃至フィルタ処理部１３２−３は、生成した画像を位相制御部１３３に供給する。なお、以下、フィルタ処理部１３２−１乃至フィルタ処理部１３２−３を特に区別する必要のない場合、単にフィルタ処理部１３２とも称する。

位相制御部１３３は、縮小画像を生成するときの混合画像の位相を選択し、選択した位相に応じてフィルタ処理部１３２からの混合画像の出力先を切り替える。すなわち、位相制御部１３３は、供給された混合画像を、フィルタ処理部１３４−１乃至フィルタ処理部１３４−３の何れかに供給する。

フィルタ処理部１３４−１乃至フィルタ処理部１３４−３は、位相制御部１３３からの混合画像の予め定められた位相の画素をフィルタ処理により求め、求めたそれらの画素からなる縮小画像を生成することで、混合画像をｙ方向にダウンサンプリングする。フィルタ処理部１３４−１乃至フィルタ処理部１３４−３は、生成した縮小画像を減算部８０に供給する。なお、以下、フィルタ処理部１３４−１乃至フィルタ処理部１３４−３を特に区別する必要のない場合、単にフィルタ処理部１３４とも称する。

このように、フィルタ処理部１３２またはフィルタ処理部１３４においては、フィルタ処理により画素の画素値が求められる。そのため、位相制御部１３１または位相制御部１３３により選択される混合画像の位相は、混合画像上の画素の位置である必要はなく、画素以下の精度で位相をずらすことが可能である。

例えば、フィルタ処理部１３２−２が、混合画像の基準画素の位相の画素を求め、フィルタ処理部１３２−１およびフィルタ処理部１３２−３が、混合画像の基準画素から１／２画素だけずれた位相の画素を求めるものとする。なお、より詳細には、混合画像において、基準画素から画素以下の距離だけ離れた位置には画素が存在しないため、その位置に仮想的に画素が存在するとして、画素の画素値が求められる。

そのような場合、フィルタ処理部１３２−２は、図１３に示すように、３タップのフィルタ処理により基準画素の位相の画素を求める。なお、図１３において右方向はｘ方向を示している。

フィルタ処理部１３２−２は、矢印Ｑ１１に示すように、３つの係数Ｗ１乃至係数Ｗ３のそれぞれを、混合画像上において、基準画素を中心としてｘ方向に並ぶ３つの画素の画素値のそれぞれに乗算して、それらの画素値の和を求める。矢印Ｑ１１により示される係数のうち、係数Ｗ２は基準画素に乗算される係数を示しており、係数Ｗ１および係数Ｗ３は、基準画素に隣接する画素のそれぞれに乗算される係数を示している。

図１３では、図中、縦方向は係数の大きさを示しており、上側に位置する係数ほど、その値が大きいことを示している。つまり、係数Ｗ１および係数Ｗ３は同じ値とされており、かつ、それらの係数Ｗ１および係数Ｗ３は、係数Ｗ２よりも値が小さい係数とされる。

フィルタ処理部１３２−２は、矢印Ｑ１２に示されるように、ｘ方向に並ぶ３つの画素の画素値に係数Ｗ１乃至係数Ｗ３を乗算して画素値を求める。なお、矢印Ｑ１２に示される例では、１つの円は、１つの画素を表している。また、図中、上側にある、横方向（ｘ方向）に並ぶ円の列は混合画像を表しており、図中、下側にある、横方向に並ぶ円の列はｘ方向のダウンサンプリングにより得られる画像を表している。

例えば、混合画像上のｘ方向に隣接して並ぶ画素Ｇ４１乃至画素Ｇ４３のうち、中央に位置する画素Ｇ４２が基準画素であるとすると、これらの画素Ｇ４１乃至画素Ｇ４３が用いられて、画素Ｐ１１の画素値が求められる。この画素Ｐ１１は、これから求めようとする、ｘ方向にダウンサンプリングされた混合画像の画素であって、基準画素である画素Ｇ４２と同じ位相の画素である。

フィルタ処理部１３２−２は、画素Ｇ４１乃至画素Ｇ４３の画素値のそれぞれに、係数Ｗ１乃至係数Ｗ３のそれぞれを乗算し、係数Ｗ１乃至係数Ｗ３が乗算された画素値の和を求め、これにより得られた値を画素Ｐ１１の画素値とする。

また、フィルタ処理部１３２−１およびフィルタ処理部１３２−３は、図１４に示すように、４タップのフィルタ処理により、基準画素から１／２画素だけずれた位相の画素を求める。なお、図１４において右方向はｘ方向を示している。

フィルタ処理部１３２−１およびフィルタ処理部１３２−３は、矢印Ｑ２１に示すように、４つの係数Ｗ１１乃至係数Ｗ１４のそれぞれを、混合画像上において、基準画素を含みｘ方向に並ぶ４つの画素の画素値のそれぞれに乗算し、それらの画素値の和を求める。

図１４では、図中、縦方向は係数の大きさを示しており、上側に位置する係数ほど、その値が大きいことを示している。

互いに隣接する画素に乗算される係数Ｗ１２および係数Ｗ１３は同じ値とされている。また、係数Ｗ１２および係数Ｗ１３が乗算される画素を挟む位置にある画素に乗算される係数Ｗ１１および係数Ｗ１４は同じ値であり、かつそれらの係数Ｗ１１および係数Ｗ１４は、係数Ｗ１２および係数Ｗ１３よりも値が小さい。

フィルタ処理部１３２−１は、矢印Ｑ２２に示されるように、ｘ方向に並ぶ４つの画素の画素値に係数Ｗ１１乃至係数Ｗ１４を乗算して画素値を求める。なお、矢印Ｑ２２、および後述する矢印Ｑ２３に示される例では、１つの円は、１つの画素を表している。また、図中、上側にある、横方向（ｘ方向）に並ぶ円の列は、混合画像を表しており、図中、下側にある、横方向に並ぶ円の列は、ｘ方向のダウンサンプリングにより得られる画像を表している。

例えば、矢印Ｑ２２に示される例で、混合画像上のｘ方向に隣接して並ぶ画素Ｇ５１乃至画素Ｇ５４のうち、ほぼ中央に位置する画素Ｇ５３が基準画素であるとすると、これらの画素Ｇ５１乃至画素Ｇ５４が用いられて、画素Ｐ２１の画素値が求められる。この画素Ｐ２１は、これから求めようとする、ｘ方向にダウンサンプリングされた混合画像の画素であって、基準画素である画素Ｇ５３よりも図中、左側（ｘ方向と反対方向）に１／２画素分の距離だけ離れた位置（位相）の画素である。

フィルタ処理部１３２−１は、画素Ｇ５１乃至画素Ｇ５４の画素値のそれぞれに、係数Ｗ１１乃至係数Ｗ１４のそれぞれを乗算し、係数Ｗ１１乃至係数Ｗ１４が乗算された画素値の和を求め、これにより得られた値を画素Ｐ２１の画素値とする。

また、フィルタ処理部１３２−３は、矢印Ｑ２３に示されるように、ｘ方向に並ぶ４つの画素の画素値に係数Ｗ１１乃至係数Ｗ１４を乗算して画素値を求める。

例えば、混合画像上のｘ方向に隣接して並ぶ画素Ｇ５２乃至画素Ｇ５５のうち、ほぼ中央に位置する画素Ｇ５３が基準画素であるとすると、これらの画素Ｇ５２乃至画素Ｇ５５が用いられて、画素Ｐ２２の画素値が求められる。この画素Ｐ２２は、これから求めようとする、ｘ方向にダウンサンプリングされた混合画像の画素であって、基準画素である画素Ｇ５３よりも図中、右側（ｘ方向）に１／２画素分の距離だけ離れた位置（位相）の画素である。

フィルタ処理部１３２−３は、画素Ｇ５２乃至画素Ｇ５５の画素値のそれぞれに、係数Ｗ１１乃至係数Ｗ１４のそれぞれを乗算し、係数Ｗ１１乃至係数Ｗ１４が乗算された画素値の和を求め、これにより得られた値を画素Ｐ２２の画素値とする。

このように、フィルタ処理部１３２では、基準画素に対して、図中、左側または右側の何れの方向にずれた位相の画素を求めるかによって、異なる画素が用いられてフィルタ処理が行われる。

つまり、基準画素の図中、左側にずれた位相の画素を求める場合、基準画素、基準画素の左側に隣接する２つの画素、および基準画素の右側に隣接する１つの画素が用いられて、目的とする位相の画素が求められる。また、基準画素の図中、右側にずれた位相の画素を求める場合、基準画素、基準画素の左側に隣接する１つの画素、および基準画素の右側に隣接する２つの画素が用いられて、目的とする位相の画素が求められる。

さらに、フィルタ処理部１３４においても、図１３および図１４を参照して説明したフィルタ処理部１３２の場合と同様に、ｙ方向に連続して並ぶ画素が用いられて、目的とする位相の画素が求められる。

例えば、フィルタ処理部１３４−２により、混合画像の基準画素と同じ位相の画素の画素値がフィルタ処理により求められる。また、フィルタ処理部１３４−１により、混合画像の基準画素から、ｙ方向とは反対方向に所定の距離だけ離れた位相（位置）の画素の画素値がフィルタ処理により求められる。さらに、フィルタ処理部１３４−３により、混合画像の基準画素から、ｙ方向に所定の距離だけ離れた位相（位置）の画素の画素値がフィルタ処理により求められる。

なお、フィルタ処理部１３２−１またはフィルタ処理部１３２−３により求められる画素の位相は、基準画素から１／２画素だけずれた位置に限らず、どのような位置であってもよい。例えば、図１５に示すように、基準画素から１／４画素だけずれた位置の画素が生成されるようにしてもよい。なお、図１５において、右方向はｘ方向を示している。

通常、基準画素から１／４画素だけ図中、右側にずれた位相の画素を求めようとする場合、矢印Ｑ３１に示すように、混合画像の各画素を図中、右方向に１／４画素だけずらされてからフィルタ処理が行われる。なお、矢印Ｑ３１に示される例では、図中の円は、１つの画素を表している。また、図中、上側の円の列は混合画像を表しており、下側の円の列は混合画像の各画素の位相を図中、右側に１／４画素だけずらして得られる画像を表している。

このように混合画像の画素の位相がずらされると、位相がずらされた混合画像において、ｘ方向に並ぶ３つの画素の画素値のそれぞれに、矢印Ｑ３２に示される係数Ｗ２１乃至係数Ｗ２３が乗算され、これらの係数が乗算された画素値の和が求められる。そして、この求められた和の値が、基準画素に対して図中、右側に１／４画素だけずれた位置の画素の画素値とされる。

なお、矢印Ｑ３２、および後述する矢印Ｑ３３により示される例では、図中、縦方向は係数の大きさを示しており、上側に位置する係数ほど、その値が大きいことを示している。

矢印Ｑ３２に示される例では、係数Ｗ２２は位相のずらされた基準画素に乗算される係数を示しており、係数Ｗ２１および係数Ｗ２３は、位相のずらされた基準画素に、図中、横方向に隣接する画素のそれぞれに乗算される係数を示している。

このように、通常では混合画像の位相をずらしてからフィルタ処理を行う必要があるが、フィルタ処理のタップ数を増やし、例えば矢印Ｑ３３に示すように４タップのフィルタ処理とすれば、より簡単な処理で目的とする位相の画素を求めることができる。すなわち、各タップの係数を適宜、調整するだけで、フィルタ処理前に混合画像の位相をずらした画像を生成する必要がなくなる。

矢印Ｑ３３に示される例では、混合画像の基準画素を含み、ｘ方向に並ぶ４つの画素の画素値のそれぞれに、係数Ｗ３１乃至係数Ｗ３４のそれぞれが乗算され、係数が乗算された画素値の和が、求めようとする画素の画素値とされる。つまり、基準画素からｘ方向に１／４画素だけずれた位置の画素の画素値とされる。

また、各係数の値は、係数Ｗ３２、係数Ｗ３３、係数Ｗ３１、および係数Ｗ３４の順に大きく、各係数は異なる値となっている。なお、求めようとする画素の基準画素からの距離や方向を変更する場合には、係数Ｗ３１乃至係数Ｗ３４の値を変更すればよい。

以上のように、フィルタ処理部１３２およびフィルタ処理部１３４では、混合画像の各画素の位相をずらすことなく、フィルタ処理によって、混合画像の基準画素から任意の方向に任意の距離だけ離れた位相の画素の画素値を求めることが可能とされている。

［画像処理装置の動作］
次に、図１６のフローチャートを参照して、画像処理装置１２１による画像変換処理について説明する。なお、図１６において、ステップＳ５１乃至ステップＳ５４の処理は、図１１のステップＳ１１乃至ステップＳ１４の処理と同様であるので、その説明は省略する。

ステップＳ５５において、位相制御部１３１は、縮小画像を生成するときの混合画像のｘ方向の位相を選択する。例えば、位相制御部１３１は、予め定められた所定のパターンで、フレームごとにｘ方向の位相を変化させる場合、そのパターンと、処理対象の現フレームとから特定される位相を選択する。

位相制御部１３１は、選択した位相に対応するフィルタ処理部１３２に、混合部７５からの混合画像を供給し、ｘ方向のダウンサンプリングを指示する。

ステップＳ５６において、フィルタ処理部１３２は、位相制御部１３１から供給された混合画像を、フィルタ処理によりｘ方向にダウンサンプリングして位相制御部１３３に供給する。

例えば、フィルタ処理部１３２は、混合画像上の基準画素を含み、ｘ方向に連続して並ぶ３または４つの画素の画素値に予め定められた係数を乗算し、係数の乗算された画素値の和を求める。そして、フィルタ処理部１３２は、その求めた和の値を、混合画像における選択した位相の画素の画素値の値とし、混合画像の選択した位相の画素からなる画像を生成することで、混合画像をダウンサンプリングする。

ステップＳ５７において、位相制御部１３３は、縮小画像を生成するときの混合画像のｙ方向の位相を選択する。例えば、位相制御部１３３は、予め定められた所定のパターンで、フレームごとにｙ方向の位相を変化させる場合、そのパターンと、処理対象の現フレームとから特定される位相を選択する。

位相制御部１３３は、選択した位相に対応するフィルタ処理部１３４に、フィルタ処理部１３２からの混合画像を供給し、ｙ方向のダウンサンプリングを指示する。

ステップＳ５８において、フィルタ処理部１３４は、位相制御部１３３から供給された混合画像を、フィルタ処理によりｙ方向にダウンサンプリングして減算部８０に供給する。

例えば、フィルタ処理部１３４は、混合画像上の基準画素を含み、ｙ方向に連続して並ぶ３または４つの画素の画素値に予め定められた係数を乗算し、係数の乗算された画素値の和を求める。そして、フィルタ処理部１３４は、その求めた和の値を、混合画像における選択した位相の画素の画素値の値とし、混合画像の選択した位相の画素からなる縮小画像を生成することで、混合画像をダウンサンプリングする。

このように、混合画像をフィルタ処理によりｘ方向およびｙ方向にダウンサンプリングすることで、ＬＲ画像と同じ解像度の縮小画像が生成され、生成された縮小画像が減算部８０に供給される。そして、その後、ステップＳ５９乃至ステップＳ６２の処理が行われて画像変換処理は終了するが、これらの処理は図１１のステップＳ１９乃至ステップＳ２２の処理と同様であるので、その説明は省略する。

このようにして、画像処理装置１２１は、入力されたＬＲ画像に対して超解像処理を施し、ＬＲ画像をＳＲ画像に変換する。特に、画像処理装置１２１は、予測により得られた混合画像からフィルタ処理により縮小画像を生成するときに、フレームによって、混合画像の異なる位相の画素からなる縮小画像を生成する。

このように、フィルタ処理により縮小画像を生成することにより、縮小画像の生成に用いる混合画像の画素の位相を画素以下の精度でずらすことができ、縮小画像と混合画像との被写体の位相のずれ量をより少なくすることができる。これにより、ＳＲ画像の生成時に生じる、被写体の位相のずれによる誤差をより少なくすることができる。つまり、混合画像とＬＲ画像との誤差をより正確に検出することができ、ＳＲ画像の画質を向上させることができる。また、フィルタ処理によって、より簡単かつ迅速に縮小画像を得ることができる。

さらに、フレームによって、縮小画像の生成に用いる画素の位相を変化させることで、混合画像の生成時に生じた誤差（ノイズ）の蓄積を防止することができ、ＳＲ画像の画質を向上させることができる。

〈第３の実施の形態〉
［画像処理装置の構成］
また、縮小画像の生成に用いられる混合画像の画素の位相をずらす量を大きくすると、縮小画像における被写体の位置と、混合画像における被写体の位置とのずれ量が大きくなり、例えば図１７に示すように、差分画像に新たな誤差（ノイズ）が発生してしまう。なお、図１７において、縦方向は画像における画素の画素値を示しており、右方向は画像におけるｘ方向を示している。また、図中、１つの円は画像上の１つの画素を表している。

図１７では、矢印Ａ１２１により示される波形が現フレームの混合画像の波形を示している。つまり、矢印Ａ１２１により示される混合画像の互いに隣接する画素を結ぶ曲線が、その混合画像の波形とされる。この混合画像では、混合画像の中央からやや右側の位置の画素の画素値が、他の画素の画素値よりも大きく、図中、上側に突出している。

いま、混合画像の画素を図中、ｘ方向に１画素おきにサンプリングして縮小画像を生成することとする。ここで、例えば、縮小画像の生成に用いる画素のサンプリング位置を、基準画素から図中、右方向に２画素だけずらすと、矢印Ａ１２２に示すように、縮小画像における被写体の位置は、混合画像上の被写体の位置と較べて、画像の中央から図中、左方向に２画素分だけずれることになる。

また、矢印Ａ１２３に示すように、現フレームのＬＲ画像の波形がｘ方向に変化のない平坦な形状であったとすると、縮小画像とＬＲ画像との差分が求められて、矢印Ａ１２４に示す波形の差分画像が得られる。さらに、この差分画像をＳＲ画像と同じ解像度にアップサンプリングすると、矢印Ａ１２５に示す波形の拡大画像が得られる。この拡大画像の波形は、拡大画像の中央からやや左側の位置の画素の画素値が、他の画素の画素値よりも小さく、図中、下側に突出している。

そして、この拡大画像が矢印Ａ１２１に示した混合画像に加算されると、矢印Ａ１２６に示す波形のＳＲ画像が得られる。このＳＲ画像には、混合画像から除去されずに残った一部の誤差と、拡大画像の加算により新たに生じた別の誤差が含まれている。

すなわち、ＳＲ画像の図中、中央では誤差が修正されているが、ＳＲ画像の中央からやや右側の部分には、混合画像に含まれていた誤差（ノイズ）が除去されずに、そのまま残っている。つまり、ＳＲ画像の波形は、本来、矢印Ａ１２３に示したＬＲ画像と同じように、ｘ方向に平坦な波形となるべきであるが、ＳＲ画像の図中、中央からやや右側の部分は、矢印Ａ１２１に示した混合画像と同様に図中、上側に突出している。

また、ＳＲ画像の図中、中央からやや左側の部分には、混合画像に拡大画像を加算することにより生じた新たな誤差（ノイズ）が生じている。つまり、ＳＲ画像の図中、中央からやや左側の部分は、図中、下側に突出している。

このように、縮小画像の生成に用いる混合画像の画素の位相をずらし過ぎると、ＳＲ画像に新たなノイズが生じてしまうことになる。

そこで、図１８に示すように、拡大画像の各画素を、縮小画像において被写体がずれた方向とは逆の方向に、ずれた分だけずらすことで、混合画像に含まれる誤差をより確実に除去するとともに、新たな誤差の発生を抑制することができる。

なお、図１８において、縦方向は画像における画素の画素値を示しており、右方向は画像におけるｘ方向を示している。また図中、１つの円は画像上の１つの画素を表している。さらに、矢印Ａ１３１乃至矢印Ａ１３５のそれぞれは、混合画像、縮小画像、ＬＲ画像、差分画像、および拡大画像の波形のそれぞれを示しており、これらの波形は、図１７の矢印Ａ１２１乃至矢印Ａ１２５により示される場合と同様であるので、その説明は省略する。

図１８の例では、矢印Ａ１３１に示す波形の混合画像から、矢印Ａ１３２に示す波形の縮小画像が得られ、この縮小画像と、矢印Ａ１３３に示す波形のＬＲ画像との差分が求められて、矢印Ａ１３４に示す波形の差分画像が得られる。そして、この差分画像をアップサンプリングすると、矢印Ａ１３５に示す波形の拡大画像が得られる。

さらに、矢印Ａ１３６に示すように、図中、右方向に拡大画像の各画素がずらされて、最終的な拡大画像とされる。

すなわち、図１８の例では、図１７を参照して説明したように、縮小画像の生成時において、混合画像からサンプリングする画素の位置が、基準画素から２画素分だけ図中、右方向にずらされるため、拡大画像では、左方向に２画素分の位相のずれが生じる。したがって、拡大画像の各画素の位相を図中、右方向に２画素分だけずらせば、各画素の位相のずれを補正し、生じた位相のずれを打ち消すことができる。

このように、縮小画像の生成に用いる混合画像の画素の位相をずらした方向に、位相をずらした距離だけ拡大画像の画素の位相をずらし、位相の調整された拡大画像を混合画像に加算すれば、矢印Ａ１３７に示すように、より誤差の少ないＳＲ画像が得られる。

すなわち、矢印Ａ１３１に示した混合画像に、矢印Ａ１３６に示した拡大画像を加算することで、矢印Ａ１３７に示すように、混合画像に含まれていたノイズが除去され、かつ新たなノイズも含まれていないＳＲ画像を得ることができる。矢印Ａ１３７に示すＳＲ画像の波形は、矢印Ａ１３３に示すＬＲ画像の波形と同じ波形であり、ｘ方向に平坦な形状となっている。

以上のように、拡大画像の画素の位相を調整する画像処理装置は、例えば、図１９に示すように構成される。なお、図１９において、図８における場合と対応する部分には、同一の符号を付してあり、その説明は適宜、省略する。

図１９の画像処理装置１６１には、図８の画像処理装置６１に、さらに位相制御部１７１が設けられている。位相制御部１７１は、アップサンプリング部８１から供給された拡大画像の各画素の位相を、ダウンサンプリング部７７またはダウンサンプリング部７９により位相がずらされた方向に、位相がずらされた距離だけずらして加算部８２に供給する。

［画像処理装置の動作］
次に、図２０のフローチャートを参照して、画像処理装置１６１による画像変換処理について説明する。なお、ステップＳ９１乃至ステップＳ１００の処理は、図１１のステップＳ１１乃至ステップＳ２０の処理と同様であるので、その説明は省略する。

ステップＳ１０１において、位相制御部１７１は、アップサンプリング部８１から供給された拡大画像の各画素の位相をずらして加算部８２に供給する。

例えば、縮小画像の生成時において、ダウンサンプリング部７７−３が、混合画像上における、基準画素からｘ方向に２画素だけ離れた位置の画素からなる画像を生成したとする。また、ダウンサンプリング部７９−３が、ダウンサンプリング部７７−３により生成された画像上における、基準画素からｙ方向に２画素だけ離れた位置の画素からなる縮小画像を生成したとする。

そのような場合、位相制御部１７１は、拡大画像の各画素を、ｘ方向およびｙ方向に、それぞれ２画素分の距離だけ移動させて、その結果得られた画像を最終的な拡大画像とする。つまり、位相調整後の最終的な拡大画像の画素の画素値は、その画素と同じ位置にある位相調整前の拡大画像の画素から、ｘ方向と反対方向に２画素、およびｙ方向と反対方向に２画素だけ離れた位置にある画素の画素値とされる。

ステップＳ１０２において、加算部８２は、混合部７５からの混合画像に位相制御部１７１からの拡大画像を加算してＳＲ画像を生成する。そして、その後、ステップＳ１０３の処理が行われて画像変換処理は終了するが、ステップＳ１０３の処理は、図１１のステップＳ２２の処理と同様であるため、その説明は省略する。

このようにして画像処理装置１６１は、差分画像をアップサンプリングして得られた拡大画像の位相をずらしてから、混合画像に加算してＳＲ画像を生成する。このように、縮小画像の生成時に生じた位相のずれを打ち消すように、拡大画像の位相をずらしてから混合画像に加算することで、混合画像に含まれる誤差をより確実に除去するとともに、新たな誤差の発生を抑制し、ＳＲ画像の画質を向上させることができる。

〈第４の実施の形態〉
［画像処理装置の構成］
ところで、ＬＲ画像がインターレース形式である場合、画像処理装置には、トップフィールドのＬＲ画像と、ボトムフィールドのＬＲ画像とが交互に入力される。そして、時間的に連続する２つのＬＲ画像、つまり連続するトップフィールドのＬＲ画像と、ボトムフィールドのＬＲ画像とから、１つのフレームのＬＲ画像が得られる。

したがって、縮小画像の生成時にサンプリングされる混合画像上の画素の位相の変化のパターンによっては、トップフィールドまたはボトムフィールドにおいて、サンプリングされる画素の位相に偏りが生じてしまうことがある。

例えば、１フィールド間隔でサンプリングする混合画像の画素の位相を基準画素の位置からずらすとすると、１フィールド間隔で並ぶトップフィールドまたはボトムフィールドの何れかのフィールドにおいては、常に基準画素がサンプリングされることになる。そのような場合、混合画像の特定の位相で誤差（ノイズ）が検出されずに蓄積してしまう恐れがある。

そこで、トップフィールドに対する位相の変化のパターンと、ボトムフィールドに対する位相の変化のパターンとを、それぞれ独立に用意するようにしてもよい。これにより、特定の種別のフィールド、つまりトップフィールドまたはボトムフィールドのＳＲ画像に誤差が蓄積することを抑制することができる。

例えば、フィールドの種別ごとに、縮小画像生成時の混合画像の位相を独立に変化させる場合、画像処理装置は、図２１に示すように構成される。なお、図２１において、図８における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。

図２１の画像処理装置２０１には、画像処理装置６１の位相制御部７６乃至ダウンサンプリング部７９−３に代えて、切替部２１１、位相制御部２１２、ダウンサンプリング部２１３−１乃至ダウンサンプリング部２１３−３、位相制御部２１４、ダウンサンプリング部２１５−１乃至ダウンサンプリング部２１５−３、位相制御部２１６、ダウンサンプリング部２１７−１乃至ダウンサンプリング部２１７−３、位相制御部２１８、およびダウンサンプリング部２１９−１乃至ダウンサンプリング部２１９−３が設けられている。

切替部２１１は、混合部７５から供給された混合画像の出力先を、処理対象となるＬＲ画像のフィールド（フレーム）の種別に応じて切り替える。すなわち、切替部２１１は、処理対象の現フィールドがトップフィールドである場合、供給された混合画像を位相制御部２１２に供給し、現フィールドがボトムフィールドである場合、供給された混合画像を位相制御部２１６に供給する。

位相制御部２１２は、縮小画像を生成するときの混合画像の位相を選択し、選択した位相に応じて切替部２１１からの混合画像の出力先を切り替える。すなわち、位相制御部２１２は、供給された混合画像を、ダウンサンプリング部２１３−１乃至ダウンサンプリング部２１３−３の何れかに供給する。

ダウンサンプリング部２１３−１乃至ダウンサンプリング部２１３−３は、位相制御部２１２から供給された混合画像の予め定められた位相の画素をサンプリングし、それらの画素からなる画像を生成することで、混合画像をｘ方向にダウンサンプリングする。ダウンサンプリング部２１３−１乃至ダウンサンプリング部２１３−３は、生成した画像を位相制御部２１４に供給する。なお、以下、ダウンサンプリング部２１３−１乃至ダウンサンプリング部２１３−３を特に区別する必要のない場合、単にダウンサンプリング部２１３とも称する。

位相制御部２１４は、縮小画像を生成するときの混合画像の位相を選択し、選択した位相に応じてダウンサンプリング部２１３からの画像の出力先を切り替える。すなわち、位相制御部２１４は、供給された画像を、ダウンサンプリング部２１５−１乃至ダウンサンプリング部２１５−３の何れかに供給する。

ダウンサンプリング部２１５−１乃至ダウンサンプリング部２１５−３は、位相制御部２１４から供給された画像の予め定められた位相の画素をサンプリングし、それらの画素からなる縮小画像を生成する。これにより、混合画像がｙ方向にダウンサンプリングされる。

ダウンサンプリング部２１５−１乃至ダウンサンプリング部２１５−３は、生成した縮小画像を減算部８０に供給する。なお、以下、ダウンサンプリング部２１５−１乃至ダウンサンプリング部２１５−３を特に区別する必要のない場合、単にダウンサンプリング部２１５とも称する。

位相制御部２１６は、縮小画像を生成するときの混合画像の位相を選択し、選択した位相に応じて切替部２１１からの混合画像の出力先を切り替える。すなわち、位相制御部２１６は、供給された混合画像を、ダウンサンプリング部２１７−１乃至ダウンサンプリング部２１７−３の何れかに供給する。

ダウンサンプリング部２１７−１乃至ダウンサンプリング部２１７−３は、位相制御部２１６から供給された混合画像の予め定められた位相の画素をサンプリングし、それらの画素からなる画像を生成することで、混合画像をｘ方向にダウンサンプリングする。ダウンサンプリング部２１７−１乃至ダウンサンプリング部２１７−３は、生成した画像を位相制御部２１８に供給する。なお、以下、ダウンサンプリング部２１７−１乃至ダウンサンプリング部２１７−３を特に区別する必要のない場合、単にダウンサンプリング部２１７とも称する。

位相制御部２１８は、縮小画像を生成するときの混合画像の位相を選択し、選択した位相に応じてダウンサンプリング部２１７からの画像の出力先を切り替える。すなわち、位相制御部２１８は、供給された画像を、ダウンサンプリング部２１９−１乃至ダウンサンプリング部２１９−３の何れかに供給する。

ダウンサンプリング部２１９−１乃至ダウンサンプリング部２１９−３は、位相制御部２１８から供給された画像の予め定められた位相の画素をサンプリングし、それらの画素からなる縮小画像を生成する。これにより、混合画像がｙ方向にダウンサンプリングされる。

ダウンサンプリング部２１９−１乃至ダウンサンプリング部２１９−３は、生成した縮小画像を減算部８０に供給する。なお、以下、ダウンサンプリング部２１９−１乃至ダウンサンプリング部２１９−３を特に区別する必要のない場合、単にダウンサンプリング部２１９とも称する。

なお、バッファ８３に過去２フィールド分のＳＲ画像が保持されるようにし、バッファ８３が、処理対象の現フィールドの時間的に２フィールド前のＳＲ画像を、動きベクトル検出部７２および動き補償部７３に供給するようにしてもよい。そのような場合、トップフィールドのＬＲ画像およびＳＲ画像、またはボトムフィールドのＬＲ画像およびＳＲ画像から予測画像が生成されることになる。

ところで、ダウンサンプリング部２１３、ダウンサンプリング部２１５、ダウンサンプリング部２１７、およびダウンサンプリング部２１９は、混合画像の予め定められた位相（位置）の画素からなる画像を生成することで、混合画像をダウンサンプリングする。

例えば、図２２に示すように、ダウンサンプリング部２１３およびダウンサンプリング部２１５は、予め定められた基準画素に基づいて、それぞれ異なる位相の画素をサンプリングする。なお、図２２において、右方向はｘ方向を示しており、下方向はｙ方向を示している。また、図中、１つの円は、混合画像上の１つの画素を表している。

ダウンサンプリング部２１３−１は、図中、上段の左側に示すように、混合画像上の基準となる画素である基準画素Ｇ８１の図中、左側に隣接する画素Ｇ８２をサンプリングする。また、ダウンサンプリング部２１３−２は、図中、上段中央に示すように、混合画像上の基準画素Ｇ８１をサンプリングする。ダウンサンプリング部２１３−３は、図中、上段の右側に示すように、混合画像上の基準画素Ｇ８１の図中、右側に隣接する画素Ｇ８３をサンプリングする。

また、ダウンサンプリング部２１５−１は、図中、下段の左側に示すように、ｘ方向にダウンサンプリングされた混合画像上の基準となる画素である基準画素Ｇ９１の図中、上側に隣接する画素Ｇ９２をサンプリングする。

ダウンサンプリング部２１５−２は、図中、下段中央に示すように、混合画像上の基準画素Ｇ９１をサンプリングする。また、ダウンサンプリング部２１５−３は、図中、下段の右側に示すように、混合画像上の基準画素Ｇ９１の図中、下側に隣接する画素Ｇ９３をサンプリングする。

また、ダウンサンプリング部２１７−１乃至ダウンサンプリング部２１７−３は、ダウンサンプリング部２１３−１乃至ダウンサンプリング部２１３−３が混合画像からサンプリングする画素と同じ画素をサンプリングして、混合画像をダウンサンプリングする。

同様に、ダウンサンプリング部２１９−１乃至ダウンサンプリング部２１９−３は、ダウンサンプリング部２１５−１乃至ダウンサンプリング部２１５−３が混合画像からサンプリングする画素と同じ画素をサンプリングして、混合画像をダウンサンプリングする。

さらに、位相制御部２１２、位相制御部２１４、位相制御部２１６、および位相制御部２１８は、例えば図２３に示すように、予め定められた所定のパターンでサンプリングされる画素の位相が変化するように、混合画像の出力先を選択する。

なお、図２３において、右方向は時間を示しており、位相制御部２１２または位相制御部２１６の図中、上側の数字は、処理対象の混合画像のフィールド（フレーム）を区別する番号を示している。すなわち、「０」により示される０番目のフィールドから、「７」により示される７番目のフィールドまで順番に処理対象のフィールドとされる。また、フィールドの番号の図中、右側の文字「Ｔ」または「Ｂ」は、そのフィールドがトップフィールドまたはボトムフィールドであることを示している。

さらに、位相制御部２１２乃至ダウンサンプリング部２１５を結ぶ太線、および位相制御部２１６乃至ダウンサンプリング部２１９を結ぶ太線は、混合画像が供給される経路を表している。

図２３の例では、最初に処理対象となる０番目のフィールドはトップフィールドであるので、０番目のフィールドの混合画像は位相制御部２１２に供給される。その後、混合画像は位相制御部２１２からダウンサンプリング部２１３−２に供給され、さらにダウンサンプリング部２１３−２から位相制御部２１４に供給された混合画像は、ダウンサンプリング部２１５−２に供給される。

また、０番目のフィールドに続く１番目のフィールドは、ボトムフィールドであるため、１番目のフィールドの混合画像は、切替部２１１から位相制御部２１６に供給される。そして、１番目のフィールドの混合画像は、位相制御部２１６からダウンサンプリング部２１７−２に供給され、さらにダウンサンプリング部２１７−２から位相制御部２１８に供給された混合画像は、ダウンサンプリング部２１９−２に供給される。

同様に、２番目のフィールドはトップフィールドであり、２番目のフィールドでは、混合画像は、ダウンサンプリング部２１３−１およびダウンサンプリング部２１５−２に供給される。また、３番目のフィールドはボトムフィールドであり、３番目のフィールドでは、混合画像は、ダウンサンプリング部２１７−２およびダウンサンプリング部２１９−１に供給される。

４番目のフィールドはトップフィールドであり、４番目のフィールドでは、混合画像は、ダウンサンプリング部２１３−２およびダウンサンプリング部２１５−２に供給される。５番目のフィールドはボトムフィールドであり、５番目のフィールドでは、混合画像は、ダウンサンプリング部２１７−２およびダウンサンプリング部２１９−２に供給される。

６番目のフィールドはトップフィールドであり、６番目のフィールドでは、混合画像は、ダウンサンプリング部２１３−２およびダウンサンプリング部２１５−３に供給される。さらに、７番目のフィールドはボトムフィールドであり、７番目のフィールドでは、混合画像は、ダウンサンプリング部２１７−３およびダウンサンプリング部２１９−２に供給される。

そして、８番目以降のフィールドでは、処理対象のフィールドがトップフィールドであるか、またはボトムフィールドであるかによって、フィールドの種別ごとに予め定められたパターンに従って、混合画像の供給先が切り替えられる。

このように、トップフィールドでは、１フィールド（フレーム）おきに混合画像の基準画素からなる縮小画像が生成される。つまり、１フィールドおきに混合画像からサンプリングされる画素の位相が基準画素からずらされる。また、ボトムフィールドでも、１フィールド（フレーム）おきに混合画像の基準画素からなる縮小画像が生成される。

［画像処理装置の動作］
次に、図２４のフローチャートを参照して、画像処理装置２０１による画像変換処理について説明する。なお、ステップＳ１３１乃至ステップＳ１３４の処理は、図１１のステップＳ１１乃至ステップＳ１４の処理と同様であるので、その説明は省略する。

ステップＳ１３５において、切替部２１１は、処理対象のフィールドがトップフィールドであるか、ボトムフィールドであるかに応じて、混合部７５から供給された混合画像の出力先を切り替える。すなわち、切替部２１１は、処理対象のフィールドがトップフィールドであれば、混合画像を位相制御部２１２に供給し、処理対象のフィールドがボトムフィールドであれば、混合画像を位相制御部２１６に供給する。

ステップＳ１３６において、位相制御部２１２または位相制御部２１６は、予め定められたパターン、例えば図２３を参照して説明したパターンに従って、縮小画像を生成するときの混合画像のｘ方向の位相を選択する。位相制御部２１２または位相制御部２１６は、選択した位相に対応するダウンサンプリング部２１３またはダウンサンプリング部２１７に、切替部２１１からの混合画像を供給し、ｘ方向のダウンサンプリングを指示する。

ステップＳ１３７において、ダウンサンプリング部２１３またはダウンサンプリング部２１７は、位相制御部２１２または位相制御部２１６から供給された混合画像をｘ方向にダウンサンプリングして位相制御部２１４または位相制御部２１８に供給する。

ステップＳ１３８において、位相制御部２１４または位相制御部２１８は、予め定められたパターン、例えば図２３を参照して説明したパターンに従って、縮小画像を生成するときの混合画像のｙ方向の位相を選択する。位相制御部２１４または位相制御部２１８は、選択した位相に対応するダウンサンプリング部２１５またはダウンサンプリング部２１９に、ダウンサンプリング部２１３またはダウンサンプリング部２１７からの混合画像を供給し、ｙ方向のダウンサンプリングを指示する。

ステップＳ１３９において、ダウンサンプリング部２１５またはダウンサンプリング部２１９は、位相制御部２１４または位相制御部２１８から供給された混合画像をｙ方向にダウンサンプリングして減算部８０に供給する。このように、混合画像をｘ方向およびｙ方向にダウンサンプリングすることで、ＬＲ画像と同じ解像度の縮小画像が生成され、生成された縮小画像が減算部８０に供給される。

そして、その後、ステップＳ１４０乃至ステップＳ１４３の処理が行われて画像変換処理は終了するが、ステップＳ１４０乃至ステップＳ１４３の処理は、図１１のステップＳ１９乃至ステップＳ２２の処理と同様であるため、その説明は省略する。

このようにして画像処理装置２０１は、処理対象のフィールドの種別に応じて、混合画像の出力先を切り替え、さらにフィールドの種別ごとに予め用意されたパターンに従って縮小画像の生成に用いる画素の位相を変化させる。

このように、フィールドの種別に応じて混合画像の出力先を切り替え、フィールドの種別ごとのパターンに従って、縮小画像の生成に用いる画素の位相を変化させることで、特定の種別のフィールドにおいて、縮小画像の生成に用いる画素の位相が特定の位相に偏ってしまうことを防止することができる。これにより、特定の種別のフィールドのＳＲ画像に誤差が蓄積することを抑制することができ、ＳＲ画像の画質を向上させることができる。

なお、ダウンサンプリング部２１３、ダウンサンプリング部２１５、ダウンサンプリング部２１７、およびダウンサンプリング部２１９において、特定の画素がサンプリングされて混合画像がダウンサンプリングされると説明したが、フィルタ処理により混合画像がダウンサンプリングされるようにしてもよい。

〈第５の実施の形態〉
［画像処理装置の構成］
また、以上においては、縮小画像を生成する場合に、混合画像をｘ方向にダウンサンプリングしてから、さらにｙ方向にダウンサンプリングすると説明したが、ｘ方向およびｙ方向のダウンサンプリングが同時に行われるようにしてもよい。

そのような場合、画像処理装置は、例えば図２５に示すように構成される。なお、図２５において、図８における場合と対応する部分には、同一の符号を付してあり、その説明は適宜、省略する。

図２５の画像処理装置２５１には、画像処理装置６１の位相制御部７６乃至ダウンサンプリング部７９−３に代えて、位相制御部２６１およびフィルタ処理部２６２−１乃至フィルタ処理部２６２−５が設けられている。

位相制御部２６１は、縮小画像を生成するときの混合画像の位相を選択し、選択した位相に応じて混合部７５からの混合画像の出力先を切り替える。すなわち、位相制御部２６１は、供給された混合画像を、フィルタ処理部２６２−１乃至フィルタ処理部２６２−５の何れかに供給する。

フィルタ処理部２６２−１乃至フィルタ処理部２６２−５は、位相制御部２６１から供給された混合画像を用いて、混合画像の予め定められた位相の画素を、２次元のフィルタ処理により求め、求めたそれらの画素からなる縮小画像を生成する。このフィルタ処理により、混合画像がｘ方向およびｙ方向にダウンサンプリングされる。

フィルタ処理部２６２−１乃至フィルタ処理部２６２−５は、生成した縮小画像を減算部８０に供給する。なお、以下、フィルタ処理部２６２−１乃至フィルタ処理部２６２−５を特に区別する必要のない場合、単にフィルタ処理部２６２とも称する。

フィルタ処理部２６２におけるフィルタ処理では、例えば図２６に示すように、混合画像上のｘ方向およびｙ方向に並ぶ複数の画素が用いられる。なお、図２６において右方向はｘ方向を示している。

図１３を参照して説明した画像処理装置１２１の例では、基準画素の位相の画素をフィルタ処理により求める場合、図２６中、矢印Ｑ６１に示すように、ｘ方向（またはｙ方向）に並ぶ画素のそれぞれに、基準画素からの距離に応じた係数が乗算されると説明した。

また、画像処理装置１２１の例では、基準画素から画素以下の距離だけ離れた位相の画素をフィルタ処理により求める場合、矢印Ｑ６２に示すように、ｘ方向（またはｙ方向）に並ぶ画素のそれぞれに、画素ごとに異なる値の係数が乗算されると説明した。

なお、矢印Ｑ６１および矢印Ｑ６２により示される例では、１つの円は１つの画素に乗算される係数を示しており、縦方向はそれらの係数の大きさを示している。すなわち、矢印Ｑ６１および矢印Ｑ６２により示される係数は、図１３の矢印Ｑ１１および図１５の矢印Ｑ３３により示される係数と同じである。

矢印Ｑ６１および矢印Ｑ６２に示した係数を用いた１次元のフィルタ処理を、２次元のフィルタ処理に適用すると、矢印Ｑ６３および矢印Ｑ６４に示すように、ｘ方向およびｙ方向に並ぶ画素に係数が乗算されて、縮小画像の画素の画素値が求められることになる。

なお、矢印Ｑ６３および矢印Ｑ６４に示す例において、斜線の施された１つの円は、混合画像上の画素に乗算される１つの係数を示しており、それらの係数を示す円は、混合画像上の画素と同じ位置関係で配列されている。

また、矢印Ｑ６３および矢印Ｑ６４に示す例において、図中、左側の図では右方向および下方向は、ｘ方向およびｙ方向を示している。さらに、矢印Ｑ６３および矢印Ｑ６４に示す例において、図中、右側の図では右方向および手前方向は、ｘ方向およびｙ方向を示しており、縦方向は係数の大きさを示している。

矢印Ｑ６３に示す例は、混合画像の基準画素の位相の画素を求めるときの係数を示しており、ｘ方向に３つ、ｙ方向に３つ並ぶ画素のそれぞれに係数が乗算されて、画素値が求められる。この例では、合計９個の係数のうち、図中、中央に位置する係数が混合画像の基準画素に乗算される係数を示しており、９個の係数のうち最も大きい値とされている。また、各係数は、その係数が乗算される画素の基準画素からの距離に応じた値とされ、基準画素に近い画素に乗算される係数ほど、その値が大きくなる。

また、矢印Ｑ６４に示す例は、混合画像の基準画素から画素以下の距離だけ離れた位相の画素を求めるときの係数を示しており、ｘ方向に４つ、ｙ方向に４つ並ぶ画素のそれぞれに係数が乗算されて、画素値が求められる。

この例では、並べられた合計１６個の係数の中央の位置が、求められる縮小画像の画素の位相とされ、その縮小画像の画素の位相から最も近い係数が乗算される画素が、混合画像の基準画素となっている。また、求めようとする縮小画像の画素の位相に近い混合画像の画素に乗算される係数の値が、大きくなるようにされている。

このように、フィルタ処理部２６２では、ｘ方向およびｙ方向に並ぶ、基準画素近傍の複数の画素に係数が乗算されて、２次元のフィルタ処理により縮小画像の各画素の画素値が求められる。これにより、基準画素からｘ方向およびｙ方向に画素以下の距離だけ離れた位相の画素からなる縮小画像を、１度のフィルタ処理で、より簡単かつ迅速に得ることができる。

例えば、フィルタ処理部２６２−１は、混合画像の基準画素からｘ方向と反対方向に１／２画素だけずれた位相の画素からなる縮小画像を生成し、フィルタ処理部２６２−２は、基準画素からｘ方向に１／２画素だけずれた位相の画素からなる縮小画像を生成する。

また、フィルタ処理部２６２−３は、混合画像の基準画素の位相の画素からなる縮小画像を生成する。さらに、フィルタ処理部２６２−４は、混合画像の基準画素からｙ方向に１／２画素だけずれた位相の画素からなる縮小画像を生成し、フィルタ処理部２６２−５は、基準画素からｙ方向と反対方向に１／２画素だけずれた位相の画素からなる縮小画像を生成する。

［画像処理装置の動作］
次に、図２７のフローチャートを参照して、画像処理装置２５１による画像変換処理について説明する。なお、ステップＳ１７１乃至ステップＳ１７４の処理は、図１１のステップＳ１１乃至ステップＳ１４の処理と同様であるので、その説明は省略する。

ステップＳ１７５において、位相制御部２６１は、縮小画像を生成するときの混合画像の位相を選択する。例えば、位相制御部２６１は、予め定められた所定のパターンでｘ方向またはｙ方向の少なくとも何れか一方の方向に位相を変化させる場合、そのパターンに従って、処理対象の現フレームに対して定められた位相を選択する。

位相制御部２６１は、選択した位相に対応するフィルタ処理部２６２に、混合部７５からの混合画像を供給し、縮小画像の生成を指示する。

ステップＳ１７６において、フィルタ処理部２６２は、位相制御部２６１から供給された混合画像に２次元のフィルタ処理を施して、縮小画像を生成する。すなわち、フィルタ処理部２６２は、位相制御部２６１から供給された混合画像の基準画素近傍のいくつかの画素の画素値のそれぞれに、予め保持している係数のそれぞれを乗算し、係数の乗算された画素値の和を求めることで、縮小画像の各画素の画素値を求める。

フィルタ処理部２６２は縮小画像を生成すると、生成した縮小画像を減算部８０に供給する。そして、その後、ステップＳ１７７乃至ステップＳ１８０の処理が行われて画像変換処理は終了するが、これらの処理は図１１のステップＳ１９乃至ステップＳ２２の処理と同様であるため、その説明は省略する。

このようにして、画像処理装置２５１は、入力されたＬＲ画像に対して超解像処理を施し、ＬＲ画像をＳＲ画像に変換する。ＳＲ画像の生成時において、画像処理装置２５１は、フレームによって縮小画像の生成に用いる混合画像の画素の位相を変化させながら、混合画像に２次元のフィルタ処理を施して縮小画像を生成する。

このように、２次元のフィルタ処理により混合画像を生成することにより、画素以下の精度で位相をずらすことができ、縮小画像と混合画像との被写体の位相のずれ量をより少なくすることができる。これにより、ＳＲ画像の生成時に生じる誤差をより少なくすることができ、ＳＲ画像の画質を向上させることができる。また、２次元のフィルタ処理によって、より簡単かつ迅速に縮小画像を得ることができる。

さらに、フレームによって、縮小画像の生成に用いる混合画像の画素の位相を変化させることで、混合画像の生成時に生じた誤差（ノイズ）の蓄積を防止することができ、ＳＲ画像の画質を向上させることができる。

〈第６の実施の形態〉
［画像処理装置の構成］
ところで、混合画像から、混合画像の半分の画素数の縮小画像を生成する場合、フレームによって縮小画像の生成に用いる混合画像の画素の位相をずらすときには、例えば１画素、１／２画素、１／４画素など、２画素未満の距離だけ位相をずらすことになる。

一方、混合画像の半分より少ない任意の画素数の縮小画像を生成する場合には、より多くの画素が間引かれるため、フレームによって縮小画像の生成に用いる混合画像の画素の位相をずらすときに、画素単位の距離で位相をずらすようにすることができる。例えば、混合画像の１／８の画素数の縮小画像を生成しようとする場合、８画素未満の距離だけ位相をずらすことになるため、４画素、２画素、１画素など、画素単位の距離で位相をずらせば、より簡単な処理で縮小画像を生成することができる。

具体的には、図２８に示すように、縮小画像の生成に用いる画素の位相を、基準画素から所定方向に所定画素数分だけずらす場合、混合画像の各画素の位相（位置）を所定方向と反対方向に、所定画素数分だけずらすと、より簡単に縮小画像を得ることができる。なお、図２８において１つの円は、混合画像上の１つの円を表している。

例えば、縮小画像の生成に用いる混合画像の画素の位相を、ｘ方向と反対方向に２画素だけずらす場合、矢印Ｃ１１に示すように、混合画像の各画素がｘ方向に２画素だけ移動されることで、各画素の位相がずらされる。なお、矢印Ｃ１１に示す例では、図中、上側に並ぶ複数の円は、位相をずらす前の混合画像を表しており、図中、下側に並ぶ複数の円は、位相をずらした後の混合画像を表している。また、図中、右方向はｘ方向を示している。

矢印Ｃ１１に示す例では、混合画像の各画素はｘ方向に２画素分の距離だけ位相がずらされている。位相がずらされる前の混合画像における基準画素と同じ位置にある、位相をずらした後の混合画像の画素からなる画像を生成すれば、混合画像の基準画素からｘ方向と反対方向に２画素だけ離れた位置の画素からなる画像が得られることになる。

同様に、縮小画像の生成に用いる混合画像の画素の位相を、ｙ方向に２画素だけずらす場合、矢印Ｃ１２に示すように、混合画像の各画素がｙ方向と反対方向に２画素だけ移動されることで、各画素の位相がずらされる。なお、矢印Ｃ１２に示す例では、図中、左側に並ぶ複数の円は、位相をずらす前の混合画像を表しており、図中、右側に並ぶ複数の円は、位相をずらした後の混合画像を表している。また、図中、下方向はｙ方向を示している。

矢印Ｃ１２に示す例では、混合画像の各画素はｙ方向と反対方向に２画素分の距離だけ位相がずらされている。位相がずらされる前の混合画像における基準画素と同じ位置にある、位相をずらした後の混合画像の画素からなる画像を生成すれば、混合画像の基準画素からｙ方向に２画素だけ離れた位置の画素からなる画像が得られることになる。

このように、混合画像の基準画素から、所定の画素数分の距離だけ位相のずれた画素からなる縮小画像を生成する場合、その位相に応じて混合画像の各画素の位相をずらしてから、もとの基準画素と同じ位置の画素をサンプリングすることで、より簡単に縮小画像を得ることができる。

そのような場合、画像処理装置は、図２９に示すように構成される。なお、図２９において、図８における場合と対応する部分には、同一の符号を付してあり、その説明は適宜、省略する。

図２９の画像処理装置２９１には、画像処理装置６１の位相制御部７６乃至ダウンサンプリング部７９−３に代えて、位相制御部３０１、ダウンサンプリング部３０２、位相制御部３０３、およびダウンサンプリング部３０４が設けられている。

位相制御部３０１は、縮小画像を生成するときの混合画像の位相を選択し、選択した位相に応じて混合部７５からの混合画像の各画素の位相を、適宜、ｘ方向（より詳細にはｘ方向と平行な方向）にずらす。位相制御部３０１は必要に応じて位相のずらされた混合画像をダウンサンプリング部３０２に供給する。

ダウンサンプリング部３０２は、位相制御部３０１から供給された混合画像の予め定められた位相の画素、つまり、もとの混合画像の基準画素と同じ位置にある画素をサンプリングし、それらの画素からなる画像を生成する。これにより、混合画像がｘ方向にダウンサンプリングされる。ダウンサンプリング部３０２は、ダウンサンプリングにより生成した画像（混合画像）を位相制御部３０３に供給する。

位相制御部３０３は、縮小画像を生成するときの画像の位相を選択し、選択した位相に応じてダウンサンプリング部３０２からの画像の各画素の位相を、適宜、ｙ方向（より詳細にはｙ方向と平行な方向）にずらす。位相制御部３０３は必要に応じて位相のずらされた画像をダウンサンプリング部３０４に供給する。

ダウンサンプリング部３０４は、位相制御部３０３から供給された画像の予め定められた位相の画素、つまり、位相をずらす前のもとの画像の基準画素と同じ位置にある画素をサンプリングし、それらの画素からなる縮小画像を生成する。これにより、混合画像がｙ方向にダウンサンプリングされる。ダウンサンプリング部３０４は、ダウンサンプリングにより生成した縮小画像を減算部８０に供給する。

［画像処理装置の動作］
次に、図３０のフローチャートを参照して、画像処理装置２９１による画像変換処理について説明する。なお、ステップＳ２１１乃至ステップＳ２１４の処理は、図１１のステップＳ１１乃至ステップＳ１４の処理と同様であるので、その説明は省略する。

ステップＳ２１５において、位相制御部３０１は、予め定められた所定のパターンに従って、縮小画像を生成するときの混合画像の位相を選択し、選択した位相に応じて混合部７５からの混合画像の各画素の位相を、適宜、ｘ方向にずらす。

例えば、選択された位相が基準画素と同じ位相であれば、位相制御部３０１は混合画像の各画素の位相をずらさずに、そのまま混合画像をダウンサンプリング部３０２に供給する。また、例えば、選択された位相が基準画素とは異なる位相であれば、位相制御部３０１は、選択した位相に応じて混合画像の各画素を移動させることにより、各画素の位相をずらし、位相をずらして得られた混合画像をダウンサンプリング部３０２に供給する。

ステップＳ２１６において、ダウンサンプリング部３０２は、位相制御部３０１からの混合画像における、位相をずらす前の基準画素と同じ位置の画素をサンプリングし、それらの画素からなる画像を生成することで、混合画像をｘ方向にダウンサンプリングする。ダウンサンプリング部３０２は、ダウンサンプリングにより得られた画像を位相制御部３０３に供給する。

ステップＳ２１７において、位相制御部３０３は、予め定められた所定のパターンに従って、縮小画像を生成するときの混合画像の位相を選択し、選択した位相に応じてダウンサンプリング部３０２からの混合画像の各画素の位相を、適宜、ｙ方向にずらす。

例えば、選択された位相が基準画素と同じ位相であれば、位相制御部３０３は混合画像の各画素の位相をずらさずに、そのまま混合画像をダウンサンプリング部３０４に供給する。また、例えば、選択された位相が基準画素とは異なる位相であれば、位相制御部３０３は、選択した位相に応じて混合画像の各画素を移動させることで、各画素の位相をずらし、位相をずらして得られた混合画像をダウンサンプリング部３０４に供給する。

ステップＳ２１８において、ダウンサンプリング部３０４は、位相制御部３０３からの画像における、位相をずらす前の基準画素と同じ位置の画素をサンプリングし、それらの画素からなる画像を生成することで、混合画像をｙ方向にダウンサンプリングする。ダウンサンプリング部３０４は、ダウンサンプリングにより得られた縮小画像を減算部８０に供給する。

そして、その後、ステップＳ２１９乃至ステップＳ２２２の処理が行われて画像変換処理は終了するが、これらの処理は図１１のステップＳ１９乃至ステップＳ２２の処理と同様であるため、その説明は省略する。

このようにして画像処理装置２９１は、入力されたＬＲ画像に対して超解像処理を施し、ＬＲ画像をＳＲ画像に変換する。ＳＲ画像の生成時において、画像処理装置２９１は、フレームによって縮小画像の生成に用いる画素の位相を変化させながら、その位相に応じて混合画像の各画素の位相をずらすとともに、位相のずらされた混合画像をダウンサンプリングして、縮小画像を生成する。

このように、混合画像の各画素の位相をずらしてからダウンサンプリングを行って、縮小画像を生成することにより、より簡単かつ迅速に縮小画像を得ることができる。しかも、この場合、ダウンサンプリングを行うブロックは、ダウンサンプリングする各方向ごとに１つのブロックがあればよいので、画像処理装置２９１の小型化を図ることができる。

さらに、フレームによって、縮小画像の生成に用いる混合画像の画素の位相を変化させることで、混合画像の生成時に生じた誤差（ノイズ）の蓄積を防止することができ、ＳＲ画像の画質を向上させることができる。

なお、ダウンサンプリング部３０２およびダウンサンプリング部３０４において、画像の予め定められた位置の画素をサンプリングすることで、縮小画像を生成すると説明したが、予め定められた位置の画素を用いたフィルタ処理により縮小画像を生成してもよい。

そのような場合、例えば、位相制御部３０１により位相がずらされた混合画像における、予め定められた位置の画素の画素値に、予め定められた係数が乗算され、係数が乗算された画素値の和の値が求められる。そして、その求められた和の値が、選択した位相の画素の画素値とされ、混合画像の選択した位相の画素からなる画像が生成される。このようにして生成された画像が、ｘ方向にダウンサンプリングされた混合画像とされる。

また、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図３１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクや不揮発性のメモリなどよりなる記録部５０８、ネットワークインターフェースなどよりなる通信部５０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１を駆動するドライブ５１０が接続されている。

以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU５０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

６１ 画像処理装置， ７１ アップサンプリング部， ７２ 動きベクトル検出部， ７３ 動き補償部， ７５ 混合部， ７６ 位相制御部， ７７−１乃至７７−３，７７ ダウンサンプリング部， ７８ 位相制御部， ７９−１乃至７９−３，７９ ダウンサンプリング部， ８０ 減算部， ８１ アップサンプリング部， ８２ 加算部， １３１ 位相制御部， １３２−１乃至１３２−３，１３２ フィルタ処理部， １３３ 位相制御部， １３４−１乃至１３４−３，１３４ フィルタ処理部， １７１ 位相制御部， ２１１ 切替部， ２６１ 位相制御部， ２６２−１乃至２６２−５，２６２ フィルタ処理部， ３０１ 位相制御部， ３０２ ダウンサンプリング部， ３０３ 位相制御部， ３０４ ダウンサンプリング部

Claims (10)

1. 第１の解像度の入力画像を、より解像度の高い第２の解像度の出力画像に変換する超解像処理を、時間的に連続する複数の前記入力画像に対して行う画像処理装置であって、
   処理対象の時刻の前記入力画像と、前記処理対象の時刻よりも時間的に前の時刻の入力画像に対する前記超解像処理により得られた前記出力画像とを用いて、前記処理対象の時刻の前記第２の解像度の前記出力画像を予測する予測手段と、
   前記予測手段による予測により得られた予測画像を用いて、処理対象の時刻によって前記予測画像の異なる位相の画素からなる前記第１の解像度の縮小画像を生成する生成手段と、
   前記処理対象の時刻の前記入力画像と、前記縮小画像との差分を求める差分算出手段と、
   前記第２の解像度にアップサンプリングされた前記差分を、前記予測画像に加算することで、前記処理対象の時刻の前記第２の解像度の前記出力画像を生成する加算手段と
   を備える画像処理装置。
2. 前記生成手段は、予め定められた所定のパターンで、時刻ごとに前記縮小画像を生成するときの前記予測画像の画素の位相を変化させる
   請求項１に記載の画像処理装置。
3. 前記生成手段は、
   前記予測画像の画素の位相を選択する選択手段と、
   前記予測画像から、前記選択手段により選択された位相の画素をサンプリングすることにより、前記縮小画像を生成するサンプリング手段と
   を備える請求項１に記載の画像処理装置。
4. 前記生成手段は、
   前記予測画像の画素の位相を選択する選択手段と、
   前記予測画像における、前記選択手段により選択された位相の画素近傍のいくつかの画素を用いたフィルタ処理により、前記選択された位相の画素を生成することで、前記縮小画像を生成するフィルタ処理手段と
   を備える請求項１に記載の画像処理装置。
5. 前記生成手段は、前記予測画像の予め定められた基準となる位相から、所定の方向に所定の距離だけ離れた位相の画素からなる前記縮小画像を生成し、
   前記第２の解像度にアップサンプリングされた前記差分の位相を、前記所定の方向に前記所定の距離だけずらす位相制御手段をさらに備える
   請求項１に記載の画像処理装置。
6. 前記入力画像はインターレース形式の画像とされ、
   前記生成手段は、
   前記処理対象の時刻の前記入力画像がトップフィールドの画像であるか、ボトムフィールドの画像であるかに応じて、前記予測画像の出力先を切り替える切替手段と、
   前記切替手段から出力された、トップフィールドの前記入力画像から得られた前記予測画像の画素の位相を選択する第１の選択手段と、
   前記予測画像から、前記第１の選択手段により選択された位相の画素をサンプリングすることにより、前記縮小画像を生成する第１のサンプリング手段と、
   前記切替手段から出力された、ボトムフィールドの前記入力画像から得られた前記予測画像の画素の位相を選択する第２の選択手段と、
   前記予測画像から、前記第２の選択手段により選択された位相の画素をサンプリングすることにより、前記縮小画像を生成する第２のサンプリング手段と
   を備える
   請求項１に記載の画像処理装置。
7. 前記第１の選択手段および前記第２の選択手段は、それぞれ独立に、予め定められたパターンで、フィールドごとに前記縮小画像を生成するときの前記予測画像の画素の位相を変化させる
   請求項６に記載の画像処理装置。
8. 前記生成手段は、
   前記予測画像の各画素を所定の方向に所定の距離だけ移動させて、前記予測画像の画素の位相をずらす位相制御手段と、
   前記位相制御手段により位相がずらされた前記予測画像における、予め定められた位相の画素からなる前記縮小画像を生成する縮小画像生成手段と
   を備え、
   前記位相制御手段は、予め定められた所定のパターンで、時刻ごとに前記予測画像の画素の位相をずらす方向を変化させる
   請求項１に記載の画像処理装置。
9. 第１の解像度の入力画像を、より解像度の高い第２の解像度の出力画像に変換する超解像処理を、時間的に連続する複数の前記入力画像に対して行う画像処理装置であり、
   処理対象の時刻の前記入力画像と、前記処理対象の時刻よりも時間的に前の時刻の入力画像に対する前記超解像処理により得られた前記出力画像とを用いて、前記処理対象の時刻の前記第２の解像度の前記出力画像を予測する予測手段と、
   前記予測手段による予測により得られた予測画像を用いて、処理対象の時刻によって前記予測画像の異なる位相の画素からなる前記第１の解像度の縮小画像を生成する生成手段と、
   前記処理対象の時刻の前記入力画像と、前記縮小画像との差分を求める差分算出手段と、
   前記第２の解像度にアップサンプリングされた前記差分を、前記予測画像に加算することで、前記処理対象の時刻の前記第２の解像度の前記出力画像を生成する加算手段と
   を備える画像処理装置の画像処理方法であって、
   前記予測手段が前記予測画像を生成し、
   前記生成手段が、前記予測画像の所定の位相の画素からなる前記縮小画像を生成し、
   前記差分算出手段が前記入力画像と前記縮小画像との前記差分を求め、
   前記加算手段が前記差分を、前記予測画像に加算して前記処理対象の時刻の前記出力画像を生成する
   ステップを含む画像処理方法。
10. 第１の解像度の入力画像を、より解像度の高い第２の解像度の出力画像に変換する超解像処理を、時間的に連続する複数の前記入力画像に対して行う画像処理用のプログラムであって、
    処理対象の時刻の前記入力画像と、前記処理対象の時刻よりも時間的に前の時刻の入力画像に対する前記超解像処理により得られた前記出力画像とを用いて、前記処理対象の時刻の前記第２の解像度の前記出力画像を予測し、
    前記予測により得られた予測画像を用いて、処理対象の時刻によって前記予測画像の異なる位相の画素からなる前記第１の解像度の縮小画像を生成し、
    前記処理対象の時刻の前記入力画像と、前記縮小画像との差分を求め、
    前記第２の解像度にアップサンプリングされた前記差分を、前記予測画像に加算することで、前記処理対象の時刻の前記第２の解像度の前記出力画像を生成する
    ステップを含む処理をコンピュータに実行させるプログラム。

Images