JP2010045751A - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

Abstract

【課題】入力画像の枚数によらず、画像の、柔軟な高解像度化を図る。
【解決手段】拡大部１２は、入力画像を、周辺の画素値を用いた補間によって拡大し、位置合わせ部１３は、入力画像を拡大した拡大画像と、直前に得られた出力画像との位置合わせを行う。一方、分離部１４は、直前に得られた出力画像を、低周波数成分と高周波数成分とに分離する。混合加算部１５は、拡大画像に対して、分離部１４で得られた低周波数成分を混合し、さらに、分離部１４で得られた高周波数成分を加算する混合加算を行うことで、新たな出力画像を生成する。本発明は、折り返し成分を含む入力画像から、折り返し成分が低減され、かつ、高周波数成分を復元した高解像度の出力画像を生成する、例えば、TV等に適用できる。
【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、及び、プログラムに関し、特に、画像の、柔軟な高解像度化を図ることができるようにする画像処理装置、画像処理方法、及び、プログラムに関する。

例えば、近年のディジタルカメラでは、撮像素子（例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージャ等）の性能や、画像処理の能力の向上が進んでいる。例えば、連続で高速撮影された複数の画像（入力画像）を合成することで、高画質の画像を生成するディジタルカメラがある。高画質の画像としては、例えば、手ぶれ補正を行った画像や、ノイズを除去した画像（S/N(Signal to Noise ratio)を向上させた画像）、画素数を増加させた高解像度の画像等が生成される。

例えば、１枚の画像（以下、１フレームの画像ともいう）からの、その画素数を増加させた画像の生成は、例えば、ナイキスト周波数以下を通過領域とする、sinc関数(sin(x)/x)を用いた補間ローパスフィルタや、スプライン関数等による補間によって行うことができる。

但し、上述の補間では、画素数を増加させることはできるが、解像度を向上させることはできない。

また、ディジタルカメラの撮像素子は、ベイヤ(Bayer)配列になっている場合がある。この場合、R(Red),G(Green),B(Blue)成分のうちの、例えば、R成分については、撮像素子において、R成分以外の画素を間引いた状態で、R成分のサンプリングが行われる。他のG成分、及びB成分についても、同様である。したがって、ベイヤ配列の撮像素子で撮影される画像は、色成分ごとには、一部の画素が間引かれた画像になっている。

さらに、例えば、TV（テレビジョン受像機）では、インタレース方式の画像が扱われることがある。インタレース方式の画像（以下、インタレース画像ともいう）は、画素が１ラインおきに間引かれた画像ということができる。

上述のような、画素が間引かれた画像の画素値には、いわゆる信号成分の他に、いわゆる折り返し成分が含まれている。折り返し成分を含む画像を対象として、上述の補間を行うと、その補間の結果得られる画像は、折り返し成分が目立つ画像となる。

そこで、複数のフレームを合成して、画素数を増加させ、かつ、高解像度化した１フレームの画像を生成する高解像度化技術がある（例えば、特許文献１，２，３，４を参照）。

従来の高解像度化技術では、動き検出処理、広帯域補間処理、及び、加重和処理の３つの処理により、画像の高解像度化が行われる。

動き検出処理では、入力された複数フレームの画像（入力画像）を用いて、各画像のサンプリングの位置（位相）（標本化位置）（撮像素子の画素が受光する光の空間的な位置）の差が、画像の動きを検出することにより推定される。

ここで、動き検出処理は、例えば、勾配法や、ブロックマッチング法、その他の各種の方法によって行うことができる。

広帯域補間処理では、折り返し成分を含む、画像の高周波数成分をすべて透過させる通過帯域の広いローパスフィルタを用いて、画素(サンプリング点)を補間することで増加させ、いわば高密度化された画像が生成される。

ここで、広帯域補間処理は、ナイキスト周波数の２倍の通過帯域を有する一般的な広帯域LPF(Low Pass Filter)を用いて行うことができる（例えば、特許文献１及び２を参照）。

加重和処理では、高密度化された複数フレームの画像のサンプリングの位相に応じた重みに従って、複数フレームの画像の混合（重み付け加算）を行うことで、画像のサンプリングの際に生じた折り返し成分が打ち消されて除去されるとともに、画像の高周波数成分が復元される。

なお、特許文献１には、２次元に折返しがある画像の９フレームを合成して、高解像画像を生成する技術等が記載されており、特許文献２には、１次元に折返しがある画像の３フレームを合成して、高解像画像を生成する技術等が記載されており、特許文献３及び４には、ヒルベルト変換を行った２フレームの画像を合成して、高解像度の画像を生成する、インタレース画像からプログレッシブの画像への変換を行うIP(Interlace Progressive)変換の技術等が記載されている。

図１を参照して、従来の高解像度化技術について、さらに説明する。

図１Ａは、１次元（ある１方向の空間方向）の周波数領域で、サンプリングの位相が異なる、高速撮像された連続する３フレームの画像（以下、フレーム#1,#2,#3ともいう）の周波数スペクトルを示している。

図１Ａでは、周波数の軸からの距離が信号強度を表し、周波数の軸を中心とした回転角が位相を表す。

フレーム#1ないし#3が、信号成分の他、折り返し成分を含む場合、フレーム#i（ここでは、i=1,2,3）を対象とした広帯域補間処理を行うと、すなわち、ナイキスト周波数f_s/2の２倍の帯域-f_sないしf_s（図１Ａでは、0ないしf_sの帯域のみを図示してある）を透過する広帯域LPFによって画素の補間をすると、図１Ａに示すように、ナイキスト周波数f_s/2の２倍の帯域-f_sないしf_sに亘って、信号成分と、サンプリングの位相に応じた折り返し成分とを含む画像が得られる。

広帯域補間処理によって得られる画像は、元の画像よりも画素数が増加した画像となる。

図１Ｂは、広帯域補間処理によって得られる３フレーム#1ないし#3の信号成分の位相を示しており、図１Ｃは、広帯域補間処理によって得られる３フレーム#1ないし#3の折り返し成分の位相を示している。

なお、図１Ｂ及び図１Ｃにおいて、横軸は虚軸を表し、縦軸は実軸を表す。

広帯域補間処理によって得られる３フレーム#1ないし#3の信号成分の位相は一致し、折り返し成分の位相は、例えば、フレーム#1の折り返し成分の位相を基準とすれば、フレーム#1とのサンプリングの位相の差に応じて回転する。

上述したように、広帯域補間処理によって得られる３フレーム#1ないし#3の折り返し成分の位相は、フレーム#1とのサンプリングの位相の差に応じて回転している。したがって、広帯域補間処理によって得られる３フレーム#1ないし#3の折り返し成分は、その３フレーム#1ないし#3の重み付け加算を、フレーム#1とのサンプリングの位相の差に応じた重みに従って行うことで除去することができる。

そこで、従来の高解像度化技術では、広帯域補間処理によって得られる３フレーム#1ないし#3のサンプリングの位相（の差）に応じた重み（重み付け加算によって、折り返し成分が０となる重み）に従って、その３フレーム#1ないし#3の画像を重み付け加算する加重和処理が行われ、折り返し成分が除去される。これにより、帯域-f_sないしf_sに亘って信号成分を含む、折り返し成分が除去された画像、すなわち、高解像度の画像が得られる。

以上のように、従来の高解像度化技術では、元の画像（入力画像）を、ナイキスト周波数f_s/2の帯域-f_s/2ないしf_s/2の帯域を通過するLPFではなく、ナイキスト周波数の2倍の帯域を透過する広帯域LPFで処理することで得られる画像を用いて、ナイキスト周波数f_s/2を超える信号成分を復元することができる。

なお、従来の高解像度化技術では、折り返し成分が０となる重み付け加算の重みを求めるために、重み付け加算に用いるフレーム数が、あらかじめ決まっている必要がある。

ここで、高解像度化技術の対象とする画像を、以下、適宜、入力画像ともいう。

特開平09- 69755号公報 特開平08-336046号広報 特開2007-324789号公報 特開2000-216682号公報

例えば、ディジタルテレビジョン放送の画像や、光ディスクに記録された画像に、高解像度化技術を適用する場合には、そのような画像は、S/Nが良いので、２フレームや３フレーム等の少ないフレームを入力画像としても、高画質の画像を得ることができる。

しかしながら、家庭向けのディジタルスチルカメラや、ディジタルビデオカメラで撮影された画像に、高解像度化技術を適用する場合には、ノイズが目立つ画像が得られることがある。

すなわち、家庭向けのディジタルスチルカメラ等で得られる画像は、照度不足等で、S/Nが悪いことがある。そのようなS/Nの悪い画像を、少ないフレーム数だけ入力画像とすると、却って、ノイズが目立つ画像が得られる。

したがって、家庭向けのディジタルスチルカメラ等で得られる画像に、高解像度化技術を適用する場合には、多くのフレームを入力画像とすることが望ましい。

しかしながら、入力画像とすることができるフレーム数（枚数）は、例えば、ディジタルスチルカメラの性能や、被写体の明るさ等により決められる露出時間その他の撮影の条件等によって増減することがある。

本発明は、このような状況に鑑みてなされたものであり、入力画像の枚数によらず、画像の、柔軟な高解像度化を図ることができるようにするものである。

本発明の一側面の画像処理装置、又は、プログラムは、入力画像を、周辺の画素値を用いた補間によって拡大する拡大手段と、前記入力画像を拡大した拡大画像と、直前に得られた出力画像との位置合わせを行う位置合わせ手段と、前記出力画像を、低周波数成分と高周波数成分とに分離する分離手段と、前記拡大画像に対して、前記低周波数成分を混合し、前記高周波数成分を加算することで、新たな出力画像を生成する混合加算手段とを備える画像処理装置、又は、画像処理装置として、コンピュータを機能させるためのプログラムである。

本発明の一側面の画像処理方法は、画像処理装置が、入力画像を、周辺の画素値を用いた補間によって拡大する拡大ステップと、前記入力画像を拡大した拡大画像と、直前に得られた出力画像との位置合わせを行う位置合わせステップと、前記出力画像を、低周波数成分と高周波数成分とに分離する分離ステップと、前記拡大画像に対して、前記低周波数成分を混合し、前記高周波数成分を加算することで、新たな出力画像を生成する混合加算ステップとを含む画像処理方法である。

以上のような一側面においては、入力画像が、周辺の画素値を用いた補間によって拡大され、前記入力画像を拡大した拡大画像と、直前に得られた出力画像との位置合わせが行われる。また、前記出力画像が、低周波数成分と高周波数成分とに分離され、前記拡大画像に対して、前記低周波数成分を混合し、前記高周波数成分を加算することで、新たな出力画像が生成される。

なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

本発明の一側面によれば、画像を高画質化することができ、特に、画像の、柔軟な高解像度化を図ることができる。

図２は、本発明を適用した画像処理装置の概要を説明するブロック図である。

図２において、画像処理装置には、連続して撮影（例えば、高速撮影）された１フレーム（枚）以上の画像（入力画像）が、外部から供給される。そして、画像処理装置は、そこに供給される１フレーム以上の入力画像を用いて、高解像度の画像としての出力画像を生成して出力する高解像度化処理としての画像処理を行う。

すなわち、図２の画像処理装置は、記憶部１１、拡大部１２、位置合わせ部１３、分離部１４、混合加算部１５、及び、記憶部１６から構成される。

記憶部１１には、１フレーム以上の入力画像が供給される。記憶部１１は、そこに供給される１フレーム以上の入力画像を一時記憶する。

拡大部１２は、記憶部１１に記憶された入力画像を、周辺の画素値を用いた補間（０値を挿入する０値補間以外の補間）によって拡大して、すなわち、画素数を入力画像よりも増加させた拡大画像を生成して、出力する。

位置合わせ部１３は、拡大画像と、後述する混合加算部１５で直前に得られた出力画像との位置合わせを行う。

分離部１４は、出力画像を、低周波数成分と高周波数成分とに分離し、混合加算部１５に供給する。

混合加算部１５は、拡大画像に対して、分離部１４からの低周波数成分を混合し、さらに、分離部１４からの高周波数成分を加算することで、新たな出力画像を生成し、記憶部１６に供給する。

記憶部１６は、混合加算部１５からの出力画像を記憶し、必要に応じて、外部に出力する。

図３は、図２の画像処理装置で行われる画像処理（高解像度化処理）を説明するフローチャートである。

記憶部１１は、連続して撮影される１フレーム以上の入力画像のうちの、１フレームの入力画像が供給されるのを待って、ステップＳ１１において、そこに供給される入力画像を記憶して、処理は、ステップＳ１２に進む。

ステップＳ１２では、拡大部１２は、記憶部１１に記憶された入力画像を、周辺の画素値を用いた補間によって拡大することにより、拡大画像を生成して出力し、処理は、ステップＳ１３に進む。

ステップＳ１３では、位置合わせ部１３が、拡大部１２で生成された拡大画像と、混合加算部１５で直前に得られた出力画像との位置合わせを行い、処理は、ステップＳ１４に進む。

ステップＳ１４では、分離部１４は、混合加算部１５で直前に得られた出力画像を、低周波数成分と高周波数成分とに分離し、混合加算部１５に供給して、処理は、ステップＳ１５に進む。

ステップＳ１５では、混合加算部１５が、拡大画像に対して、分離部１４からの低周波数成分を混合し、さらに、分離部１４からの高周波数成分を加算することで、新たな出力画像を生成し、記憶部１６に供給して、処理は、ステップＳ１６に進む。

ステップＳ１６では、記憶部１６が、混合加算部１５からの（新たな）出力画像を記憶して、処理は、ステップＳ１７に進む。

ここで、混合加算部１５において、まだ、出力画像が得られていない場合（例えば、拡大画像が、１フレーム目の入力画像の拡大画像である場合等）には、ステップＳ１３ないしＳ１５の処理は、スキップされる。そして、ステップＳ１６では、拡大部１２で得られた拡大画像が、そのまま、新たな出力画像として、記憶部１６に記憶される。

ステップＳ１７では、記憶部１１が、連続して撮影された入力画像が、まだあるかどうかが判定される。

ステップＳ１７において、連続して撮影された入力画像が、まだあると判定された場合、すなわち、連続して撮影された１フレーム以上の入力画像のうちの、１フレームの入力画像が、記憶部１１に、新たに供給された場合、処理は、ステップＳ１１に戻り、以下、同様の処理が繰り返される。

したがって、画像処理装置に対して、連続して撮影された複数フレームの入力画像が供給される場合には、画像処理装置では、その複数フレームの入力画像について、拡大部１２が、入力画像を拡大し、位置合わせ部１３が、拡大画像と出力画像との位置合わせを行い、分離部１４が、出力画像を、低周波数成分と高周波数成分とに分離し、混合加算部１５が、拡大画像に対して、低周波数成分を混合し、高周波数成分を加算することで、新たな出力画像を生成する、ことが繰り返される

一方、ステップＳ１７において、入力画像がないと判定された場合、すなわち、連続して撮影された１フレーム以上の入力画像を用いて、ステップＳ１１ないしＳ１６の処理が行われた場合、記憶部１６は、そこに記憶している最新の出力画像を、連続して撮影された１フレーム以上の入力画像を高解像度化した画像として、外部に出力して、画像処理は終了する。

なお、記憶部１６に記憶された出力画像の出力は、ステップＳ１７において、入力画像がないと判定された場合に行う他、ステップＳ１６において、新たな出力画像が記憶されるたびに行うことが可能である。

次に、図２の画像処理装置のより具体的な実施の形態を説明するが、その前に、入力画像を拡大して、拡大画像を生成する拡大処理と、拡大画像の高解像度化とについて説明する。

図４は、折り返し成分（エイリアス）を含まない入力画像の垂直方向等のある１方向の画素数を、元の２倍の数にする拡大処理を説明する図である。

サンプリング定理（標本化定理）によれば、信号が、周波数帯域-fないしfの範囲内のみの周波数成分を有する信号である場合には、その信号を、2f以上のサンプリング周波数f_sでサンプリングすれば、LPFで高周波数成分を除去することによって、元の信号を、完全に復元することができる。

いま、入力画像の、例えば、垂直方向等のある１方向のサンプリング周波数が、周波数f_sであるとすると、折り返し成分を含まない入力画像では、その１方向については、周波数帯域-f_s/2ないしf_s/2（以下、周波数f_s/2以下ともいう）の範囲内にのみ、信号成分が存在する。

図４Ａは、折り返し成分を含まない入力画像の周波数特性（周波数成分）を示している。

なお、図４Ａにおいて、横軸は、周波数を表し、縦軸は、各周波数成分の振幅を表している。以降の周波数特性の図でも、同様である。

いま、折り返し成分を含まない入力画像の、１方向（例えば、垂直方向）に連続に並んだ４画素のうちの、i番目の画素の画素値をy(i)として、その４画素の画素値を、(y(0),y(1),y(2),y(3))と表すこととする。

入力画像の垂直方向の画素数を２倍にする場合には、まず、垂直方向に隣接する画素どうしの中間の位置に、画素値を０とする新たな画素（サンプリング点）を挿入する０値補間が行われる。

ここで、０値補間では、その０値補間後に、画素値の平均値が変化しないように、元の画素値が調整される。いまの場合、画素数が２倍にされるので、０値補間では、元の画素値が２倍され、その結果、４画素の画素値の並び(y(0),y(1),y(2),y(3))は、７画素の画素値の並び(2y(0),0,2y(1),0,2y(2),0,2y(3))となる。

上述の０値補間は、入力画像のサンプリング周波数を、元のサンプリング周波数f_sの２倍の周波数2f_sにすることに相当する。０値補間の前後で、入力画像の信号成分は変化しないが、０値補間後、すなわち、元のサンプリング周波数f_sの２倍の周波数2f_sを、新たなサンプリング周波数とすると、その新たなサンプリング周波数2f_sに対応する周波数帯域（サンプリング周波数2f_sのサンプリングで再現可能な周波数帯域）-f_sないしf_sでは、折り返し成分が発生しているように見える。

図４Ｂは、０値補間後の入力画像の周波数特性を示している。

図４Ｂにおいて、実線部分が信号成分を表し、点線部分が折り返し成分を表す。

折り返し成分を含まない入力画像を０値補間した画像（以下、０値補間画像ともいう）では、図４Ｂに示すように、（絶対値が）ナイキスト周波数f_s/2以下の周波数帯域-f_s/2ないしf_s/2に、信号成分が存在する。さらに、ナイキスト周波数f_s/2を超える周波数帯域-f_s/2ないし-f_s、及びf_s/2ないしf_sに、折り返し成分が存在する。

折り返し成分を含まない拡大画像を得るには、信号成分を取り出すこと（折り返し成分を除去すること）が必要である。したがって、０値補間画像に対して、入力画像のナイキスト周波数f_s/2以下の周波数帯域-f_s/2ないしf_s/2を通過帯域とするLPFをかけることで、折り返し成分を含まない拡大画像を得ることができる。

図４Ｃは、０値補間画像に対して、ナイキスト周波数f_s/2以下の周波数帯域-f_s/2ないしf_s/2を通過帯域とするLPFをかけることで得られる拡大画像の周波数特性を示している。

なお、ナイキスト周波数f_s/2の周波数帯域-f_s/2ないしf_s/2を通過帯域とするLPFは、理想的には、sinc関数を用いたフィルタ（sinc関数の関数値をフィルタ係数とするフィルタ）であるが、その理想的なフィルタでは、タップ長（タップ数）が無限長となる。そこで、実際には、sinc関数に窓関数をかけてタップ数を制限したLPFが用いられる。

いま、説明を簡単にするため、LPFとして、フィルタ係数が｛1/4,1/2,1/4｝のLPFを採用することとする。

ここで、フィルタ係数が{a,b,c}のフィルタとは、例えば、３画素の画素値の並び(y(t-1),y(t),y(t+1))の、位置tの画素のフィルタリング結果が、式a×y(t-1) + b×y(t)+ c×y(t+1)で表されるフィルタ（FIR(Finite Impulse Response)フィルタ）を意味する。

０値補間画像としての７画素の画素値の並び(2y(0),0,2y(1),0,2y(2),0,2y(3))については、画素値2y(1)の位置の、フィルタ係数が｛1/4,1/2,1/4｝のフィルタによるフィルタリング後の画素値は、1/4×0+1/2×2y(1)+1/4×0=y(1)となる。

また、画素値2y(1)と2y(2)との間のゼロ点（画素値が０の画素）のフィルタリング後の画素値は、1/4×2y(1)+1/2×0+1/4×2y(2)=(y(1)+y(2))/2 となる。

以下、同様にして、７画素の画素値の並び(2y(0),0,2y(1),0,2y(2),0,2y(3))のフィルタリング後の画素値の並びは、(y(0),(y(0)+y(1))/2,y(1),(y(1)+y(2))/2,y(2),(y(2)+y(3))/2,y(3))となる。

フィルタリング後の画素値の並び(y(0),(y(0)+y(1))/2,y(1),(y(1)+y(2))/2,y(2),(y(2)+y(3))/2,y(3))は、入力画像の画素値の並び(y(0),y(1),y(2),y(3))に対して、線形補間と呼ばれる補間がされたものに等しい。したがって、フィルタリング後の画素値、すなわち、拡大画像では、入力画像の信号成分が再現されていることが分かる。

以上のように、折り返し成分を含まない入力画像については、隣接する画素どうしの中間の位置に、画素値を０とする新たな画素を１個挿入する０値補間を行い、その結果得られる０値補間画像に、ナイキスト周波数f_s/2以下の周波数帯域-f_s/2ないしf_s/2を通過帯域とするLPFをかける拡大処理を行うことで、入力画像を２倍に拡大した（画素数を、入力画像の２倍にした）、折り返し成分を含まず、かつ、入力画像の信号成分を再現した拡大画像を得ることができる。

但し、折り返し成分を含まない入力画像に拡大処理を施しても、解像度を向上させること（ナイキスト周波数f_s/2を超える信号成分を含む拡大画像を得ること）はできない。

ここで、図４Ｄは、０値補間画像に対して、ナイキスト周波数f_s/2を超える広帯域の周波数帯域-f_sないしf_sを通過帯域とするLPF（広帯域LPF(WLPF)）をかけることで得られる拡大画像の周波数特性を示している。

折り返し成分を含まない入力画像の０値補間画像に対して、広帯域LPFをかけた場合、折り返し成分が除去されず、拡大画像（図４Ｄ）は、０値補間画像（図４Ｂ）、すなわち、隣接する画素どうしの間に挿入された１個のゼロ点の影響によって、黒の縞模様が存在する、（見た目の）画質の劣化した画像となる。

次に、折り返し成分を含まない入力画像の垂直方向等のある１方向の画素数を、元の、例えば、４倍の数にする拡大処理について説明する。

折り返し成分を含まない入力画像の垂直方向等のある１方向の画素数を、元の４倍の数にする拡大処理も、図４で説明した２倍の拡大処理と同様に行うことができる。

すなわち、図５は、折り返し成分を含まない入力画像の垂直方向等のある１方向の画素数を、元の４倍の数にする拡大処理を説明する図である。

いま、入力画像の、例えば、垂直方向等のある１方向のサンプリング周波数が、周波数f_sであるとすると、折り返し成分を含まない入力画像では、その１方向については、周波数帯域-f_s/2ないしf_s/2の範囲内にのみ、信号成分が存在する。

図５Ａは、折り返し成分を含まない入力画像の周波数特性を示しており、図４Ａの場合と同様に、周波数帯域-f_s/2ないしf_s/2の範囲内にのみ、信号成分が存在する。

いま、図４の場合と同様に、連続に並んだ４画素の画素値を、(y(0),y(1),y(2),y(3))と表すと、入力画像の画素数を４倍にする場合には、隣接する画素どうしの間に、画素値を０とする新たな画素（ゼロ点）を、３個挿入する０値補間が行われる。

なお、上述したように、０値補間では、その０値補間後に、画素値の平均値が変化しないように、元の画素値が調整される。いまの場合、画素数が４倍にされるので、０値補間では、元の画素値が４倍され、その結果、４画素の画素値の並び(y(0),y(1),y(2),y(3))は、１３画素の画素値の並び(4y(0),0,0,0,4y(1),0,0,0,4y(2),0,0,0,4y(3))となる。

隣接する画素どうしの間に、３個のゼロ点を挿入する０値補間は、入力画像のサンプリング周波数を、元のサンプリング周波数f_sの４倍の周波数4f_sにすることに相当する。０値補間の前後で、入力画像の信号成分は変化しないが、０値補間後、すなわち、元のサンプリング周波数f_sの４倍の周波数4f_sを、新たなサンプリング周波数とすると、その新たなサンプリング周波数4f_sに対応する周波数帯域-2f_sないし2f_sでは、折り返し成分が発生しているように見える。

図５Ｂは、０値補間後の入力画像の周波数特性を示している。

図５Ｂにおいて、実線部分が信号成分を表し、点線部分が折り返し成分を表す。

折り返し成分を含まない入力画像を０値補間した０値補間画像では、図５Ｂに示すように、ナイキスト周波数f_s/2以下の周波数帯域-f_s/2ないしf_s/2に、信号成分が存在する。さらに、ナイキスト周波数f_s/2を超える周波数帯域-f_s/2ないし-2f_s、及びf_s/2ないし2f_sに、折り返し成分が存在する。

図５Ｂの０値補間画像については、図４の場合と同様に、０値補間画像に対して、ナイキスト周波数f_s/2以下の周波数帯域-f_s/2ないしf_s/2を通過帯域とするLPFをかけることで、折り返し成分を含まない拡大画像を得ることができる。

図５Ｃは、０値補間画像に対して、ナイキスト周波数f_s/2以下の周波数帯域-f_s/2ないしf_s/2を通過帯域とするLPFをかけることで得られる拡大画像の周波数特性を示している。

以上のように、折り返し成分を含まない入力画像について、隣接する画素どうしの間に、３個のゼロ点を挿入する０値補間を行い、その結果得られる０値補間画像に、ナイキスト周波数f_s/2以下の周波数帯域-f_s/2ないしf_s/2を通過帯域とするLPFをかける拡大処理を行うことで、入力画像を４倍に拡大した、折り返し成分を含まず、かつ、入力画像の信号成分を再現した拡大画像を得ることができる。

但し、折り返し成分を含まない入力画像に拡大処理を施しても、図４の場合と同様に、解像度を向上させることはできない。

ここで、図５Ｄは、０値補間画像に対して、ナイキスト周波数f_s/2を超える広帯域の周波数帯域-f_sないしf_sを通過帯域とする広帯域LPFをかけることで得られる拡大画像の周波数特性を示している。

折り返し成分を含まない入力画像の０値補間画像に対して、広帯域LPFをかけた場合、折り返し成分が除去されず、拡大画像（図５Ｄ）は、やはり、図４の場合と同様に、画質の劣化した画像となる。

次に、折り返し成分を含む入力画像の垂直方向等のある１方向の画素数を、元の２倍の数にする拡大処理について説明する。

折り返し成分を含む入力画像としては、例えば、テレビジョン放送のインタレース画像等があり、例えば、折り返し成分を含まない画像のライン（水平ライン）を１ラインおきに間引くことで生成することができる。

図６は、折り返し成分を含む入力画像の垂直方向等のある１方向の画素数を、元の２倍の数にする拡大処理を説明する図である。

いま、入力画像の、例えば、垂直方向等のある１方向のサンプリング周波数が、周波数f_sであるとすると、折り返し成分を含む入力画像では、その１方向については、周波数帯域-f_s/2ないしf_s/2の信号成分は、そのまま存在し、（絶対値が）その周波数帯域-f_s/2ないしf_s/2を超える信号成分は、周波数帯域-f_s/2ないしf_s/2に、折り返し成分として存在する。

図６Ａは、折り返し成分を含む入力画像の周波数特性を示している。

例えば、周波数帯域-f_sないしf_sの範囲にのみ信号成分を有する画像を、サンプリング周波数f_sでサンプリングすることにより、図６Ａの周波数特性を有する入力画像を得ることができる。

図６Ａの入力画像では、周波数帯域-f_s/2ないしf_s/2の信号成分（実線部分）は、そのまま存在し、周波数帯域-f_s/2ないしf_s、及びf_s/2ないしf_sの信号成分は、周波数帯域-f_s/2ないしf_s/2に、折り返し成分（点線部分）として存在する。

したがって、折り返し成分を含む入力画像では、周波数帯域-f_s/2ないしf_s/2に、信号成分と折り返し成分とが混在する。

折り返し成分を含む入力画像の、１方向（例えば、垂直方向）に連続に並んだの画素値を、図４の場合と同様に、(y(0),y(1),y(2),y(3))と表すと、入力画像の垂直方向の画素数を２倍にする場合には、やはり、図４の場合と同様に、隣接する画素どうしの間に、１個のゼロ点を挿入する０値補間が行われる。

なお、上述したように、０値補間では、その０値補間後に、画素値の平均値が変化しないように、元の画素値が調整される。いまの場合、画素数が２倍にされるので、０値補間では、元の画素値が２倍され、その結果、４画素の画素値の並び(y(0),y(1),y(2),y(3))は、７画素の画素値の並び(2y(0),0,2y(1),0,2y(2),0,2y(3))となる。

隣接する画素どうしの間に１個のゼロ点を挿入する０値補間は、入力画像のサンプリング周波数を、元のサンプリング周波数f_sの２倍の周波数2f_sにすることに相当する。０値補間後の画像（０値補間画像）では、周波数帯域-f_sないしf_sの全体に亘る信号成分が再現されるが、折り返し成分も再現される。すなわち、周波数帯域-f_sないしf_sに、信号成分と折り返し成分とが混在する。

図６Ｂは、０値補間後の入力画像（０値補間画像）の周波数特性を示している。

図６Ｂにおいて、実線部分が信号成分を表し、点線部分が折り返し成分を表す。

図４の場合と同様に、０値補間画像に対して、ナイキスト周波数f_s/2以下の周波数帯域-f_s/2ないしf_s/2を通過帯域とするLPFをかけることで、折り返し成分を低減した（減衰させた）拡大画像を得ることができる。

図６Ｃは、０値補間画像に対して、ナイキスト周波数f_s/2以下の周波数帯域-f_s/2ないしf_s/2を通過帯域とするLPFをかけることで得られる拡大画像の周波数特性を示している。

０値補間画像に対して、ナイキスト周波数f_s/2以下の周波数帯域-f_s/2ないしf_s/2を通過帯域とするLPFをかけることで、高域-f_s/2ないし-f_s、及び、f_s/2ないしf_sの折り返し成分を減衰させることができる。しかしながら、この場合、高域-f_s/2ないし-f_s、及び、f_s/2ないしf_sの信号成分も減衰する。

以上のように、折り返し成分を含む入力画像の０値補間画像に対して、ナイキスト周波数f_s/2以下の周波数帯域-f_s/2ないしf_s/2を通過帯域とするLPFをかける拡大処理を行っても、信号成分のうちの高周波数成分（高域-f_s/2ないし-f_s、及び、f_s/2ないしf_sの信号成分）を再現することはできない。また、（低域-f_s/2ないしf_s/2の）折り返し成分を除去する（減衰させる）こともできない。

ここで、ナイキスト周波数f_s/2以下の周波数帯域-f_s/2ないしf_s/2を通過帯域とするLPFとして、例えば、フィルタ係数が｛1/4,1/2,1/4｝のLPFを採用することとすると、そのLPFによる０値補間画像のフィルタリングの結果得られる拡大画像は、図４で説明したように、入力画像を線形補間して得られる画像に等しい。

折り返し成分があるインタレース画像を線形補間すると、斜め線にジャギーが発生するが、これは、折り返し成分に起因する。折り返し成分があるインタレース画像を線形補間することで得られる線形補間画像については、複数の線形補間画像を、重みを調整して重み付け加算することで、折り返し成分を除去することができる。

したがって、LPFによる０値補間画像のフィルタリングの結果得られる拡大画像についても、複数の拡大画像（複数の入力画像から得られた複数の拡大画像）を重み付け加算することで、拡大画像に含まれる折り返し成分を除去することができる。

しかしながら、高域の信号成分は、LPFによる０値補間画像のフィルタリングによって除去されているため、再現することはできない。

そこで、折り返し成分を含む入力画像の拡大処理では、０値補間画像のフィルタリングに、ナイキスト周波数f_s/2以下の周波数帯域-f_s/2ないしf_s/2を通過帯域とするLPFではなく、より広帯域を通過帯域とする広帯域LPFが用いられる。

図６Ｄは、０値補間画像に対して、広帯域LPFをかけることで得られる拡大画像の周波数特性を示している。

広帯域LPFは、ナイキスト周波数f_s/2の２倍の周波数帯域-f_sないしf_sを通過させるLPFであり、理想的には、sinc関数を用いたフィルタである。

サンプリング周波数が2f_sの０値補間画像に対して、周波数帯域-f_sないしf_sを通過させるフィルタは、その０値補間画像の全周波数成分を通過させる全域通過フィルタとなる。

したがって、０値補間画像に対して、広帯域LPFをかけることで得られる拡大画像は、０値補間画像であり、０値補間画像を、そのまま採用することができる。なお、この場合、０値補間画像である拡大画像は、隣接する画素どうしの間に挿入された１個のゼロ点の影響によって、黒の縞模様が存在する、画質の劣化した画像となる。

広帯域LPFをかけることで得られる拡大画像は、図６Ｄに示したように、折り返し成分を含むが、高域の信号成分も含む。

したがって、複数の拡大画像を重み付け加算することで、拡大画像に含まれる折り返し成分を除去することにより、低域の信号成分の他、高域の信号成分も再現された高解像度の画像を得ること、すなわち、入力画像の高解像度化を行うことができる。

折り返し成分を含む入力画像の垂直方向等のある１方向の画素数を、元の、例えば、４倍の数にする拡大処理も、図６で説明した場合と同様に行うことができる。

すなわち、図７は、折り返し成分を含む入力画像の垂直方向等のある１方向の画素数を、元の４倍の数にする拡大処理を説明する図である。

入力画像の、例えば、垂直方向等のある１方向のサンプリング周波数が、周波数f_sであるとすると、折り返し成分を含む入力画像では、その１方向については、周波数帯域-f_s/2ないしf_s/2の信号成分は、そのまま存在し、その周波数帯域-f_s/2ないしf_s/2を超える信号成分は、周波数帯域-f_s/2ないしf_s/2に、折り返し成分として存在する。

図７Ａは、折り返し成分を含む入力画像の周波数特性を示しており、図６Ａの場合と同様に、周波数帯域-f_s/2ないしf_s/2に、信号成分（実線部分）と折り返し成分（点線部分）とが混在する。

折り返し成分を含む入力画像の、１方向（例えば、垂直方向）に連続に並んだの画素値を、図４の場合と同様に、(y(0),y(1),y(2),y(3))と表すと、入力画像の垂直方向の画素数を４倍にする場合には、やはり、図５の場合と同様に、隣接する画素どうしの間に、３個のゼロ点を挿入する０値補間が行われる。

なお、上述したように、０値補間では、その０値補間後に、画素値の平均値が変化しないように、元の画素値が４倍され、その結果、４画素の画素値の並び(y(0),y(1),y(2),y(3))は、１３画素の画素値の並び(4y(0),0,0,0,4y(1),0,0,0,4y(2),0,0,0,4y(3))となる。

隣接する画素どうしの間に３個のゼロ点を挿入する０値補間は、入力画像のサンプリング周波数を、元のサンプリング周波数f_sの４倍の周波数4f_sにすることに相当する。そして、０値補間後の画像（０値補間画像）では、周波数帯域-2f_sないし2f_sの全体に亘って、信号成分が再現されるが、折り返し成分も再現される。すなわち、周波数帯域-2f_sないし2f_sに、信号成分と折り返し成分とが混在する。

図７Ｂは、０値補間後の入力画像（０値補間画像）の周波数特性を示している。

図７Ｂにおいて、実線部分が信号成分を表し、点線部分が折り返し成分を表す。

０値補間画像に対しては、ナイキスト周波数f_s/2以下の周波数帯域-f_s/2ないしf_s/2を通過帯域とするLPFをかけることで、折り返し成分を減衰させた拡大画像を得ることができる。

図７Ｃは、０値補間画像に対して、ナイキスト周波数f_s/2以下の周波数帯域-f_s/2ないしf_s/2を通過帯域とするLPFをかけることで得られる拡大画像の周波数特性を示している。

０値補間画像に対して、ナイキスト周波数f_s/2以下の周波数帯域-f_s/2ないしf_s/2を通過帯域とするLPFをかけることで、高域-f_s/2ないし-2f_s、及び、f_s/2ないし2f_sの折り返し成分を減衰させることができる。しかしながら、この場合、高域-f_s/2ないし-f_s、及び、f_s/2ないしf_sの信号成分も減衰する。

そこで、折り返し成分を含む入力画像の拡大処理では、図６で説明したように、０値補間画像のフィルタリングに、ナイキスト周波数f_s/2以下の周波数帯域-f_s/2ないしf_s/2を通過帯域とするLPFではなく、広帯域LPFが用いられる。

図７Ｄは、０値補間画像に対して、広帯域LPFをかけることで得られる拡大画像の周波数特性を示している。

広帯域LPFは、図６で説明したように、理想的には、sinc関数を用いたフィルタであるが、説明を簡単にするために、フィルタ係数が{1/4,1/2,1/4}のLPFを採用することとすると、１３画素の画素値の並び(4y(0),0,0,0,4y(1),0,0,0,4y(2),0,0,0,4y(3))のフィルタリング後の画素値の並びは、(2y(0),y(0),0,y(1),2y(1),y(1),0,y(2),2y(2),y(2),0,y(3),2y(3))となる。

したがって、０値補間画像に対して、広帯域LPFをかけることで得られる拡大画像は、０値補間によって挿入されたゼロ点の影響によって、黒の縞模様が存在する、画質の劣化した画像となる。

広帯域LPFをかけることで得られる拡大画像は、図７Ｄに示したように、折り返し成分を含むが、高域の信号成分も含む。

したがって、複数の拡大画像を重み付け加算することで、拡大画像に含まれる折り返し成分を除去することにより、低域の信号成分の他、高域の信号成分も再現された高解像度の画像を得ること、すなわち、入力画像の高解像度化を行うことができる。

以上のように、折り返し成分を含む入力画像の高解像度化は、入力画像に対して、ゼロ点を挿入する０値補間を行い、その結果得られる０値補間画像に広帯域LPFを適用する（０値補間画像を広帯域LPFでフィルタリングする）拡大処理を利用して行うことができる。前述の特許文献１等に記載の従来の高解像度化技術は、この拡大処理を利用している。

しかしながら、０値補間画像に広帯域LPFを適用して得られる拡大画像は、上述したように、黒の縞模様が存在する、画質の劣化した画像となっている。

すなわち、折り返し成分を含む入力画像が、例えば、垂直方向の１方向に折り返し成分がある画像である場合には、垂直方向に隣接する画素どうしの間に、ゼロ点を挿入する０値補間が行われることによって、０値補間画像に広帯域LPFを適用することで得られる拡大画像は、黒の横縞（水平方向の縞模様）がある画像となる。

また、折り返し成分を含む入力画像が、例えば、ベイヤ配列の赤色の画素だけでなる画像のように、垂直方向と水平方向の２方向に折り返し成分がある画像である場合には、垂直方向に隣接する画素どうしの間と、水平方向に隣接する画素どうしの間に、ゼロ点を挿入する０値補間が行われることによって、０値補間画像に広帯域LPFを適用することで得られる拡大画像は、水平方向と垂直方向の両方に、黒い縞模様がある画像となる。

高速撮影された連続する入力画像として、ある程度多くの枚数（フレーム数）の画像がある場合には、従来の高解像度化技術によって、折り返し成分を減衰させた高解像度の画像を得ることができる。

しかしながら、入力画像として、少ない枚数の画像しかない場合、すなわち、極端には、１枚の画像しかない場合、従来の高解像度化技術によって得られる画像は、０値補間画像に広帯域LPFを適用して得られる拡大画像そのもの、つまり、黒の縞模様が存在する、画質の劣化した画像となり、そのような、黒の縞模様が存在する画像を、ユーザに提供することは望ましくない。

そこで、拡大処理として、線形補間や、最近傍補間（さらには、入力画像の周辺の画素を用いたその他の補間）を行い、拡大画像として、黒の縞模様がない画像を生成する方法がある。

しかしながら、拡大処理として、線形補間を行うことは、図４で説明したように、０値補間画像に対して、ナイキスト周波数f_s/2以下の周波数帯域-f_s/2ないしf_s/2を通過帯域とするLPFを適用することに等しい。そして、この場合、図６Ｃで説明したように、０値補間画像に対してLPFを適用することにより、高域の信号成分が減衰するため、そのような高域の信号成分が減衰した拡大画像を、何枚用いて重み付け加算を行っても、高域の信号成分を復元することはできない。

これは、拡大処理として、最近傍補間、その他の、入力画像の周辺の画素を用いた補間を行う場合でも同様である。

すなわち、例えば、最近傍補間では、画素値を補間しようとする位置の画素の画素値として、その位置から最も近い位置にある画素の画素値が補間される。

具体的には、例えば、いま、折り返し成分を含む入力画像の、１方向（例えば、垂直方向）に連続に並んだ４画素の画素値の並びが、(y(0),y(1),y(2),y(3))であるとすると、画素数を２倍にする最近傍補間では、この４画素の画素値の並び(y(0),y(1),y(2),y(3))が、８個の画素値の並び(y(0),y(0),y(1),y(1),y(2),y(2),y(3),y(3))とされる。

この最近傍補間は、図４及び図５で説明したのと同様の拡大処理、すなわち、０値補間とLPFによるフィルタリングとによって行うことができる。

すなわち、入力画像の垂直方向の画素数を２倍にする場合には、まず、垂直方向に隣接する画素どうしの間に、１個のゼロ点を挿入する０値補間が行われる。

０値補間では、その０値補間後に、画素値の平均値が変化しないように、元の画素値が２倍される。したがって、０値補間によって、４画素の画素値の並び(y(0),y(1),y(2),y(3))は、７画素の画素値の並び(2y(0),0,2y(1),0,2y(2),0,2y(3))となる。

拡大処理として、最近傍補間を行う場合には、０値補間によって得られる０値補間画像、すなわち、７画素の画素値の並び(2y(0),0,2y(1),0,2y(2),0,2y(3))に対して、フィルタ係数が{1/2,1/2,0}のLPFが適用される。７画素の画素値の並び(2y(0),0,2y(1),0,2y(2),0,2y(3))に、フィルタ係数が{1/2,1/2,0}のLPFをかけると、７画素の画素値の並び(y(0),y(0),y(1),y(1),y(2),y(2),y(3),y(3))が得られる。

フィルタ係数が{1/2,1/2,0}のLPFは、元の画像の画素の位置を、半画素分（隣接する画素どうしの距離の1/2）だけずらずフィルタである。このフィルタは、2f_sのサンプリング周波数に対応する周波数帯域-f_sないしf_sに対し、周波数が０のときのゲインが１で、最大周波数f_s及び-f_sのときのゲインが０になる特性を有する。

このため、０値補間画像に対して、フィルタ係数が{1/2,1/2,0}のLPFを適用することにより得られる拡大画像においては、高域の信号成分、特に、周波数がf_s及び-f_s付近の高周波数成分が減衰する。

したがって、拡大処理として、最近傍補間を行う場合、従来の高解像度化技術では、高域の信号成分が減衰した拡大画像の重み付け加算が行われる。

拡大処理として、２倍を超える倍率の最近傍補間を行う場合も、２倍の最近傍補間を行う場合と同様である。

例えば、拡大処理として、４倍の最近傍補間を行うことは、隣接する画素どうしの間に３個のゼロ点を挿入する０値補間を行い、その結果得られる０値補間画像に、フィルタ係数が{1/4,1/4,1/4,1/4,0}のLPFを適用することに等しい。

フィルタ係数が{1/4,1/4,1/4,1/4,0}のLPFは、4f_sのサンプリング周波数に対応する周波数帯域-2f_sないし2f_sに対し、周波数が０のときのゲインが１で、最大周波数2f_s及び-2f_s、並びに中間周波数f_s及び-f_sのときのゲインが０になる特性を有する。

このため、０値補間画像に対して、フィルタ係数が{1/4,1/4,1/4,1/4,0}のLPFを適用することにより得られる拡大画像においては、高域の信号成分、特に、周波数がf_s及び-f_s付近の高周波数成分が減衰する。

したがって、０値補間画像に対して、フィルタ係数が{1/4,1/4,1/4,1/4,0}のLPFを適用することにより得られる拡大画像から、ナイキスト周波数f_s/2の2倍の周波数f_sに対応する周波数帯域-f_sないしf_sを取り出すために、その周波数帯域-f_sないしf_sを通過帯域とする広帯域LPFによって、拡大画像をフィルタリングしても、そのフィルタリングの結果得られる拡大画像では、高域の信号成分（周波数がf_s及び-f_s付近の高周波数成分）は減衰したままである。

したがって、拡大処理として、４倍の最近傍補間を行う場合も、従来の高解像度化技術では、高域の信号成分が減衰した拡大画像の重み付け加算が行われることになる。

ここで、図８に、拡大処理として、最近傍補間を行う場合のフィルタの特性（周波数特性）を示す。

すなわち、図８Ａは、２倍の最近傍補間を行うための、フィルタ係数が{1/2,1/2,0}のLPF（最近傍補間フィルタ）の特性を示しており、図８Ｂは、４倍の最近傍補間を行うための、フィルタ係数が{1/4,1/4,1/4,1/4,0}のLPFの特性を示している。

なお、図８Ａには、２倍の線形補間を行うための、フィルタ係数が{1/4,1/2,1/4}のLPF（線形補間フィルタ）の特性も示してある。また、図８Ｂには、４倍の線形補間を行うための、フィルタ係数が{1/16,2/16,3/16,4/16,3/16,2/16,1/16}のLPFの特性も示してある。

以上のように、従来の高解像度化技術では、０値補間画像に広帯域LPFを適用する拡大処理を行うので、入力画像の枚数が少ない（例えば、１枚である）と、黒の縞模様が存在する、画質の劣化した画像が得られる。

また、拡大処理として、線形補間や最近傍補間を採用する場合には、入力画像が何枚あっても、重み付け加算では、信号成分の高域が（十分に）復元されず、（十分な）高解像度化を図ることができない。

そこで、図２の画像処理装置では、入力画像の枚数によらず、画像の、柔軟な高解像度化を図ることができる高解像度化処理が行われる。

すなわち、図２の画像処理装置の高解像度化処理によれば、入力画像の枚数が少ない（例えば、１枚である）場合には、高解像度ではないが、黒の縞模様が存在しない、ある程度画質を維持した画像が生成され、入力画像の枚数が多くなるほど、高解像度で画質が良い画像が生成される。

以下、図２の画像処理装置の具体的な実施の形態について説明する。

［第１実施の形態］

図９は、本発明を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。

図９の画像処理装置は、例えば、１方向に折り返し成分（１次元の折り返し成分）を含む画像を入力画像として、１フレーム以上の入力画像を２倍に拡大した拡大画像を用いる高解像度化処理を行う。

なお、１方向に折り返し成分を含む入力画像としては、例えば、折り返し成分を含まない画像のラインを１ラインおきに間引いて得られるインタレース画像がある。

また、第１実施の形態では、入力画像が静止画で、そこには、動きが（ほとんど）ない被写体のみが映っていることとし、さらに、画像処理装置には、そのような入力画像の１枚（フレーム）以上が高速撮影されて供給されることとする。

図９において、画像処理装置は、記憶部２１、動き検出部２２、拡大部２３、位置合わせ部２４、混合部２５、加算部２６、分離部２７、及び、記憶部２８から構成される。

記憶部２１は、図２の記憶部１１に対応する。記憶部１１には、高速撮影された１フレーム以上の入力画像が供給される。記憶部１１は、そこに供給される１フレーム以上の入力画像を一時記憶する。

動き検出部２２は、記憶部２１に記憶される１フレーム以上の入力画像の、ある１フレームの入力画像を（位置合わせの）基準として、その基準に対する入力画像の動きベクトルを検出し、位置合わせ部２４に供給する。

ここで、基準の入力画像としては、記憶部２１に記憶される１フレーム以上の入力画像のうちの、例えば、最初のフレームの入力画像を採用することもできるし、時間的に中央付近のフレームの入力画像を採用することもできる。

図９の画像処理装置（以下説明する画像処理装置も同様）では、高速撮影された複数フレームの入力画像を混合加算する（後述する混合と加算）ことによって、画像が高解像度にされる。従来の高解像度技術もそうであるが、図９の画像処理装置による画像の高解像度化は、入力画像の画素でサンプリングされている位置（被写体の位置）が、手ぶれ等によって、フレームごとに、微少にずれていることを前提とする。

例えば、ディジタルスチルカメラにおいて、高速撮影された複数フレームの入力画像を合成して、１枚の写真としての、高解像度の画像を生成する場合、その１枚の写真の生成のために高速撮影することができる入力画像は、例えば、８フレーム程度である。

そして、８フレームの入力画像を高速撮影する間の手ぶれは、等速直線運動とみなすことができる。この場合、８フレームの入力画像のうちの、時間的に中央付近の４フレーム目や５フレーム目の入力画像を基準とし、その基準の入力画像に対して、他の入力画像の位置合わせを行って、８フレームの入力画像の合成を行うことにより、１フレーム目の入力画像を基準とするときに比較して、合成に用いることができる画素の数が、基準の入力画像の中心部分で多くなる。その結果、中心部分が、周辺部分に比較してより高解像度になった画像を得ることができる。

なお、以下では、記憶部２１に記憶される１フレーム以上の入力画像のうちの、例えば、最初のフレームの入力画像を、基準の入力画像とすることとする。

拡大部２３は、図２の拡大部１２に対応する。拡大部２３は、記憶部１１に記憶された１フレーム以上の入力画像を、順次、注目画像とし、その注目画像となった入力画像を、周辺の画素値を用いた補間（０値補間以外の補間）によって拡大する拡大処理を行う。そして、拡大部２３は、拡大処理の結果得られる拡大画像を、位置合わせ部２４に供給する。

ここで、図９では、拡大部２３は、入力画像を、折り返し成分がある垂直方向に、２倍に拡大する拡大処理を行う。拡大処理としては、例えば、図４で説明したような、線形補間、すなわち、０値補間を行い、その結果得られる０値補間画像に、LPFを適用する処理が行われる。但し、LPFとしては、ナイキスト周波数f_s/2を超える高周波数成分を、多少通過させるLPFが用いられる。

なお、以下では、記憶部２１に記憶された１フレーム以上の入力画像のうちの、nフレーム目の入力画像を、入力画像A_nともいい、その入力画像A_nの拡大画像を、拡大画像B_nともいう。

位置合わせ部２４は、図２の位置合わせ部１３に対応する。位置合わせ部２４は、拡大部２３から供給される拡大画像B_nの位置を、後述する記憶部２８に記憶された、直前に得られた出力画像S_n-1の位置に合わせる位置合わせを、動き検出部２２から供給される動きベクトルに従って行う。そして、位置合わせ部２４は、位置合わせ後の拡大画像B_nである位置合わせ画像C_nを、混合部２５に供給する。

混合部２５には、位置合わせ部２４から、位置合わせ画像C_nが供給される他、分離部２７から、記憶部２８に記憶された、直前に得られた出力画像S_n-1の低周波数成分L_nが供給される。

混合部２５は、位置合わせ部２４からの位置合わせ画像C_n（位置合わせ後の拡大画像B_n）に対して、分離部２７からの低周波数成分L_nを混合し、その混合によって得られる混合画像D_nを、加算部２６に供給する。

ここで、位置合わせ画像C_nに対する、低周波数成分L_nの混合とは、位置合わせ画像C_nと低周波数成分L_nとの重み付け加算を意味する。

加算部２６には、混合部２５から、混合画像D_nが供給される他、分離部２７から、記憶部２８に記憶された、直前に得られた出力画像S_n-1の高周波数成分H_nが供給される。

加算部２６は、混合部２５からの混合画像D_nに対して、分離部２７からの高周波数成分H_nを加算し、その加算の結果得られる画像を、新たな出力画像S_n（入力画像A_nを用いて生成された画像）として出力する。

ここで、混合画像D_nに対する、高周波数成分H_nの加算とは、混合画像D_nと高周波数成分H_nとの単純加算を意味する。

また、図９において、混合部２５と加算部２６が、図２の混合加算部１５に対応する。

以下、上述の混合と加算とを、まとめて、混合加算ともいう。

分離部２７は、図２の分離部１４に対応する。分離部２７は、記憶部２８に記憶された、直前に得られた出力画像S_n-1を、次の出力画像S_nを生成するために、低周波数成分L_nと高周波数成分H_nとに分離し、混合部２５と加算部２６に供給する。すなわち、低周波数成分L_nは、混合部２５に供給され、高周波数成分H_nは、加算部２６に供給される。

記憶部２８は、図２の記憶部１６に対応する。記憶部２８は、加算部２６が出力する出力画像S_nを記憶し、必要に応じて、外部に出力する。また、記憶部２８は、前回記憶した出力画像S_n-1、すなわち、直前に得られた出力画像S_n-1を、分離部２７に供給する。

以上のように構成される図９の画像処理装置では、例えば、記憶部２１に、高速撮影された、垂直方向の折り返し成分を含む１フレーム以上のNフレームの入力画像が供給されて記憶される。

拡大部２３は、記憶部１１に記憶されたNフレームの入力画像を、１フレーム目の入力画像から、順次、注目画像とし、その注目画像となった入力画像A_nを、周辺の画素値を用いた補間によって拡大する拡大処理を行う。そして、拡大部２３は、拡大処理の結果得られる拡大画像B_nを、位置合わせ部２４に供給する。

一方、動き検出部２２は、記憶部２１に記憶されたNフレームの入力画像のうちの１フレーム目の入力画像A₁を基準として、その基準に対する入力画像A_nの動きベクトルを検出し、位置合わせ部２４に供給する。

位置合わせ部２４は、拡大部２３からの拡大画像B_nの位置を、記憶部２８に記憶された、直前に得られた出力画像S_n-1の位置に合わせる位置合わせを、動き検出部２２から供給される動きベクトルに従って行う。そして、位置合わせ部２４は、位置合わせ後の拡大画像B_nである位置合わせ画像C_nを、混合部２５に供給する。

ここで、拡大部２３から位置合わせ部２４に供給される拡大画像B_nが、（位置合わせの）基準となる１フレーム目の入力画像A₁の拡大画像B₁である場合（注目画像が１フレーム目の入力画像A₁である場合）には、位置合わせ部２４は、拡大部２３からの拡大画像B₁を、そのまま、位置合わせ画像C₁として、混合部２５に供給する。

一方、分離部２７では、記憶部２８に記憶された、直前に得られた出力画像S_n-1が、低周波数成分L_nと高周波数成分H_nとに分離され、低周波数成分L_nは、混合部２５に供給され、高周波数成分H_nは、加算部２６に供給される。

混合部２５は、位置合わせ部２４からの位置合わせ画像C_n（位置合わせ後の拡大画像B_n）に対して、分離部２７からの低周波数成分L_nを混合（重み付け加算）し、その混合によって得られる混合画像D_nを、加算部２６に供給する。

加算部２６は、混合部２５からの混合画像D_nに対して、分離部２７からの高周波数成分H_nを加算し、その加算の結果得られる画像を、新たな出力画像S_nとして出力する。

加算部２６が出力した出力画像S_nは、記憶部２８に供給されて記憶される。

以下、記憶部２１に記憶されたNフレームの入力画像のうちの、Nフレーム目が注目画像とされ、その注目画像としてのNフレーム目の入力画像に対する出力画像S_Nが記憶部２８に記憶されるまで、同様の処理が繰り返される。

なお、注目画像が１フレーム目の入力画像である場合には、記憶部２８には、直前に得られた出力画像が記憶されていないので、分離部２７では、処理は（実質的に）行われない。さらに、混合部２５及び加算部２６でも、処理は行われない。

この場合、位置合わせ部２４で得られた位置合わせ画像C₁（上述したように、拡大画像B₁に等しい）は、そのまま、出力画像S₁として、記憶部２８に記憶される。

次に、図１０を参照して、図９の動き検出部２２について説明する。

動き検出部２２で検出された動きベクトルは、図９で説明したように、位置合わせ部２４において、拡大画像B_nと、出力画像S_n-1との位置合わせに用いられる。

ここで、拡大画像B_nと、出力画像S_n-1との位置合わせを行うには、拡大画像B_nと、出力画像S_n-1との位置ずれを表す位置ずれ情報が必要である。

位置ずれ情報としては、例えば、出力画像S_n-1に対する、拡大画像B_nの動きベクトルを採用することができる。

但し、拡大画像は（出力画像も同様）、入力画像の画素数を増加させた画像であるため、画素数が多く、そのような、画素数が多い画像を対象として、動きベクトルの検出を行うのでは、演算量が大になる。

そこで、図９の動き検出部２２では、拡大部２３で拡大する前の入力画像A_n、すなわち、画素数が少ない画像を対象として、動きベクトルの検出を行い、これにより、拡大画像B_nを対象とする場合に比較して、演算量を削減するようになっている。

図１０は、図９の動き検出部２２の構成例を示している。

ここで、動きベクトルの検出の方法としては、ブロックマッチング法や、勾配法、その他の任意の方法を採用することができる。

図１０の動き検出部２２では、動きベクトルの検出の方法として、例えば、ブロックマッチング法が採用されている。

図１０において、動き検出部２２は、水平LPF４１及び４２、垂直LPF４３及び４４、ブロックマッチング部４５、並びに、統計処理部４６から構成される。

水平LPF４１には、基準となる入力画像A₁が、記憶部２１（図９）から供給される。また、水平LPF４２には、注目画像、すなわち、基準となる入力画像A₁に対する動きベクトルを検出する対象の入力画像A_nが、記憶部２１から供給される。

水平LPF４１は、入力画像A₁を、水平方向にフィルタリングし、そのフィルタリング後の入力画像A₁を、垂直LPF４３に供給する。

垂直LPF４３は、水平LPF４１からの入力画像A₁を、垂直方向にフィルタリングし、そのフィルタリング後の入力画像A₁を、動きベクトルを検出する基準となる基準画像M₁として、ブロックマッチング部４５に供給する。

ここで、水平LPF４１及び垂直LPF４３は、入力画像A₁に含まれる折り返し成分やノイズ等の信号成分以外を除去（低減）するためにかけるLPFであり、例えば、フィルタ係数が{68/1024, 89/1024, 107/1024, 120/1024, 128/1024, 128/1024, 120/1024, 107/1024, 89/1024, 68/1024}のフィルタである。

水平LPF４２及び垂直LPF４４も同様である。

すなわち、水平LPF４２は、注目画像としての入力画像A_nを、水平方向にフィルタリングし、垂直LPF４４に供給する。垂直LPF４４は、水平LPF４１からの入力画像A_nを、垂直方向にフィルタリングし、動きベクトルを検出する対象となる比較画像M_nとして、ブロックマッチング部４５に供給する。

ブロックマッチング部４５は、垂直LPF４３からの基準画像M₁を、複数の小ブロックに分割する。いま、この、基準画像M₁の小ブロックを、基準ブロックということとすると、ブロックマッチング部４５は、垂直LPF４４からの比較画像M_nから、基準ブロックに最も類似するブロックを検索するブロックマッチングを行うことで、各基準ブロックについて、動きベクトルを検出する。

そして、ブロックマッチング部４５は、基準画像M₁のすべての基準ブロックについて、動きベクトルを検出すると、その動きベクトルを、統計処理部４６に供給する。

統計処理部４６は、ブロックマッチング部４５は、基準画像M₁のすべての基準ブロックの動きベクトルから、基準画像M₁に対する比較画像M_nの全体の動きを表すグローバル動きベクトルを、例えば、統計的な処理によって求める。

すなわち、統計処理部４６は、例えば、基準画像M₁のすべての基準ブロックの動きベクトルの長さ（ベクトル長）を求め、そのベクトル長の平均値μと標準偏差σを求める。さらに、統計処理部４６は、基準画像M₁のすべての基準ブロックの動きベクトルの中で、ベクトル長が、μ±σの範囲にない動きベクトルを除外し、その除外によって残った動きベクトルの平均値を、グローバル動きベクトルとして求める。

このように、ベクトル長が、μ±σの範囲にない動きベクトルを除外することで、誤っている可能性が高い動きベクトルを用いずに、基準画像M₁に対する比較画像M_nの全体の動きを、精度良く表すグローバル動きベクトルを求めることができる。

図９の位置合わせ部２４では、以上のようなグローバル動きベクトルを用いて、拡大画像B_nの位置合わせが行われる。

ここで、図９では、拡大部２３において、入力画像の垂直方向のみの画素数を２倍にした拡大画像が求められる。この場合、拡大画像のスケールは、垂直方向については、入力画像を用いて求められる動きベクトル（グローバル動きベクトル）のスケールの２倍になっている。

このため、動き検出部２２は、統計処理部４６で得られたグローバル動きベクトルを、拡大画像のスケールに調整して、すなわち、いまの場合、統計処理部４６で得られたグローバル動きベクトルの垂直方向の成分（y成分）を２倍にして、位置合わせ部２４に供給する。

そして、位置合わせ部２４では、動き検出部２２からのグローバル動きベクトルに基づき、拡大画像の位置を移動する位置合わせが行われ、これにより、出力画像に対して拡大画像の位置合わせを行った位置合わせ画像が生成される。

次に、図１１を参照して、図１０のブロックマッチング部４５での動きベクトルの検出について、さらに説明する。

図１１Ａは、基準画像M₁を示しており、図１１Ｂは、比較画像M_nを示している。

ブロックマッチング部４５は、基準画像M₁を、例えば、横×縦が32画素×32画素の複数の基準ブロックに分割し、この基準ブロックについて、ブロックマッチングを行う。すなわち、ブロックマッチング部４５は、基準ブロックが、比較画像M_nの、どの位置にずれているかをサーチ（探索）し、その位置ずれ量を、基準ブロックについての動きベクトルとして検出する。

比較画像M_nにおいて、基準ブロックをサーチするサーチ範囲には、その基準ブロックの位置を基準とする、例えば、横×縦が96画素×96画素の範囲が設定される。

ブロックマッチング部４５は、比較画像M_nのサーチ範囲内において、基準ブロックと同一サイズの32画素×32画素の参照ブロックを、画素単位でずらしながら、基準ブロックに最も類似する参照ブロックの位置の探索を行う。

すなわち、ブロックマッチング部４５は、基準ブロックと参照ブロックとの相関値を、基準ブロックと参照ブロックとの類似の度合いを評価する評価値として用い、サーチ範囲内の各位置の参照ブロックについて、相関値を求める。

ここで、サーチ範囲が、96画素×96画素の範囲であり、参照ブロックが、32画素×32画素のブロックである場合、基準ブロックに対する参照ブロックの相対的な座標 (vx,vy)は、式-32≦vx≦+32、及び、式-32 ≦ vy≦+32の範囲内の整数値vx及びvyで表される。したがって、この場合、65×65の位置の参照ブロックについて、相関値が求められる。

相関値としては、例えば、基準ブロックの画素の輝度値と、参照ブロックの同一の位置の画素の輝度値との差分の絶対値の、基準ブロック及び参照ブロック内の全画素についての総和（差分絶対値総和）SAD(Sum of Absolute Difference)を用いることができる。

いま、基準ブロックの左上の画素の座標を、(x₀, y₀)と表すとともに、基準ブロックからの相対的な座標が (vx,vy)の参照ブロックについての相関値を、SAD(vx, vy)と表すこととすると、相関値SAD(vx, vy)は、次式で求めることができる。

SAD(vx, vy) = Σ_xΣ_y|M₁(x₀+x,y₀+y)-M_n(x₀+vx+x,y₀+vy+y)|
・・・（１）

なお、式（１）において、M₁(x₀+x,y₀+y)は、基準画像M₁の、位置（座標）(x₀+x,y₀+y)の画素の画素値（例えば、輝度値）を表し、M_n(x₀+vx+x,y₀+vy+y)は、基準画像M_nの、位置(x₀+vx+x,y₀+vy+y)の画素の画素値を表す。

また、式（１）において、Σ_xは、xを、０ないし３１の範囲の整数値に変えての総和を表し、Σ_yは、yを、０から３１までの整数値に変えての総和を表す。

ブロックマッチング部４５では、式（１）の相関値SAD(vx, vy)を最小にする座標（相対座標）(vx, vy)が、基準ブロックの動きベクトルとして検出される。

次に、図１２を参照して、図９の拡大部２３について説明する。

拡大部２３は、記憶部２１（図９）に記憶された入力画像A_nの垂直方向の画素数を２倍にした拡大画像B_nを生成する拡大処理を行う。

従来の高解像度化技術では、折り返し成分を含む入力画像の拡大処理として、図６や図７で説明したように、０値補間と、その０値補間によって得られる０値補間画像の、広帯域LPFでのフィルタリングとが採用される。この場合、拡大画像は、０値補間画像等に等しく、黒の縞模様がある画像となる。

一方、拡大部２３では、折り返し成分を含む入力画像の拡大処理として、従来、折り返し成分を含まない入力画像の拡大に用いられる、０値補間と、その０値補間によって得られる０値補間画像の、ナイキスト周波数f_s/2を超える周波数成分を減衰させるが、多少は残すLPFによるフィルタリングとが採用される。

このような拡大部２３の拡大処理としては、入力画像の周辺の画素値を用いる各種の補間、すなわち、例えば、線形補間（linear interpolation）や、最近傍補間（ニアレストネイバー法、nearest neighbor）、キュービック補間（cubic convolution）等がある。

拡大部２３の拡大処理として採用する補間は、入力画像の周辺の画素値を用いる補間であれば、どのような補間であっても良いが、入力画像の高域の周波数成分（周波数f_s付近の周波数成分）が、ある程度残る補間であることが望ましい。

図１２Ａは、図９の拡大部２３の構成例を示している。

図１２Ａの拡大部２３では、入力画像が、例えば、線形補間によって、垂直方向の画素数が２倍になった拡大画像に拡大される。

すなわち、図１２Ａにおいて、拡大部２３は、補間部６１と垂直LPF６２から構成される。

補間部６１には、記憶部２１（図９）から、入力画像が供給される。補間部６１は、記憶部２１からの入力画像の垂直方向に隣接する画素どうしの間に、１個のゼロ点を挿入する０値補間を行い、その結果得られる０値補間画像を、垂直LPF６２に供給する。

なお、０値補間では、図４ないし図７で説明したように、０値補間後に、画素値の平均値が変化しないように、元の画素値が調整されるが、以下では、この画素値の調整の説明は、適宜省略する。

垂直LPF６２は、例えば、フィルタ係数が{1/4,1/2,1/4}のLPFであり、補間部６１からの０値補間画像を垂直方向にフィルタリングし、これにより、入力画像の垂直方向の画素数を、線形補間によって２倍にした拡大画像を生成して、位置合わせ部２４（図９）に供給する。

図１２Ｂは、拡大部２３での拡大処理の対象とされる入力画像の垂直方向の周波数特性を示している。

第１実施の形態においては、入力画像は、上述したように、垂直方向に折り返し成分を含む。図１２Ｂでは、実線部分が信号成分を表し、点線部分が折り返し成分を表している。

図１２Ｃは、補間部６１で得られる、入力画像の０値補間後の０値補間画像の垂直方向の周波数特性を示している。

図６で説明したように、折り返し成分を含む入力画像（例えば、周波数成分の最大の周波数が周波数f_sの、折り返し成分のない画像のラインを１ラインおきに間引くことで生成される入力画像）について、０値補間を行って得られる０値補間画像では、周波数帯域-f_sないしf_sの全体に亘る信号成分（図１２Ｃの実線部分）が再現されるが、折り返し成分（図１２Ｃの点線部分）も再現される。

図１２Ｄは、図１２Ｃの０値補間画像を、垂直LPF６２でフィルタリングして得られる画像、すなわち、入力画像の線形補間を行うことで得られる拡大画像の周波数特性を示している。

０値補間画像（図１２Ｃ）を、垂直LPF６２でフィルタリングすることにより得られる拡大画像では、高域f_s/2ないしf_sの折り返し成分を減衰させることができるが、高域f_s/2ないしf_sの信号成分も減衰する。逆に言えば、拡大画像では、高域f_s/2ないしf_sの折り返し成分が多少残るが、高域f_s/2ないしf_sの信号成分も多少残る。

図１２Ｅは、垂直LPF６２のフィルタ特性（フィルタの周波数特性）を示している。

０値補間画像（図１２Ｃ）は、図１２Ｅのフィルタ特性の垂直LPF６２でフィルタリングされることにより、高域f_s/2ないしf_sの周波数成分が減衰した拡大画像（図１２Ｄ）となる。

なお、図１２では、補間部６１で０値補間を行い、その結果得られる０値補間画像を、垂直LPF６２でフィルタリングすることにより、入力画像を線形補間によって拡大した拡大画像を生成するようにしたが、実際の実装では、拡大画像は、入力画像に対して、単に、線形補間の補間値を挿入することで生成することができる。この場合、０値補間、及びフィルタリングを行う場合に比較して、拡大画像の生成に要する演算量を低減することができる。

次に、図１３を参照して、図９の位置合わせ部２４について説明する。

図１３Ａは、図９の位置合わせ部２４の構成例を示している。

図１３Ａにおいて、位置合わせ部２４は、水平多タップAPF(All Pass Filter)７１、及び、垂直多タップAPF７２から構成される。

水平多タップAPF７１には、位置合わせ部２４（図９）から、拡大画像B_nが供給されるとともに、動き検出部２２（図９）から、拡大画像B_nに対応する入力画像A_nを用いて求められたグローバル動きベクトルが、拡大画像B_nについての動きベクトルとして供給される。

水平多タップAPF７１は、動き検出部２２からの、拡大画像B_nについての動きベクトルの水平方向の成分（x成分）に基づいて、位置合わせ部２４からの拡大画像B_nをフィルタリングすることにより、拡大画像B_n（の画素の位置）を、その拡大画像B_nについての動きベクトルのx成分に対応する分だけ移動し、垂直多タップAPF７２に供給する。

垂直多タップAPF７２は、動き検出部２２からの、拡大画像B_nについての動きベクトルの垂直方向の成分（y成分）に基づいて、水平多タップAPF７１からの拡大画像B_nをフィルタリングすることにより、拡大画像B_n（の画素の位置）を、その拡大画像B_nについての動きベクトルのy成分に対応する分だけ移動し、その結果得られる拡大画像B_nを、記憶部２８に記憶された出力画像（１フレーム前の出力画像）S_n-1に位置合わせを行った位置合わせ画像C_n（位置合わせ後の拡大画像B_n）として、混合部２５（図９）に供給する。

以上のように構成される位置合わせ部２４では、水平多タップAPF７１、及び、垂直多タップAPF７２において、動き検出部２２からの、拡大画像B_nについての動きベクトルに基づいて、拡大画像B_nがフィルタリングされることにより、拡大画像B_nの各画素を、記憶部２８に記憶された出力画像S_n-1の対応する画素（同一の被写体が映った画素）の位置に一致させた位置合わせ画像C_nが生成される。

すなわち、いま、動き検出部２２からの、拡大画像B_nについての動きベクトルVが、V=(-Vx,-Vy)であるとすると、位置合わせ部２４は、拡大画像B_n（の画素）を、動きベクトルVに基づいて、その動きベクトルVに対応するベクトル(Vx,Vy)だけずらして、出力画像S_n-1の位置とを合わせる。

具体的には、いま、水平方向及び垂直方向のうちの、水平方向に注目すると、動きベクトルVのx成分-Vxが整数である場合には、水平多タップAPF７１は、拡大画像B_nを、水平方向に、Vxだけ移動し、拡大画像B_nとの比較で、画質の劣化がない位置合わせ画像C_nを生成する。

動きベクトルVのx成分-Vxが整数でない場合には、水平多タップAPF７１は、拡大画像B_nを、水平方向に、整数int(Vx)（int(x)は、x以下の最大の整数を表す）だけ移動する。さらに、水平多タップAPF７２は、その移動後の拡大画像B_nの各画素の、小数Vx-int(Vx)だけ、水平方向にずれた位置に、画素を補間するフィルタリングを行うことで、その補間により得られた画素からなる画像を、位置合わせ画像C_nとして生成する。

なお、高解像度の出力画像、すなわち、ナイキスト周波数以上の信号成分を含む出力画像を生成するには、水平多タップAPF７１での補間によって、拡大画像B_nの高周波数成分を劣化させないことが望ましい。

したがって、水平多タップAPF７１での補間のためのフィルタリングのフィルタ係数としては、sinc関数をそのまま用いることが望ましいが、それでは、タップ長が無限長となる。このため、水平多タップAPF７１としては、実際には、sinc関数に窓関数をかけてタップ数を制限したLPFが用いられる。なお、水平多タップAPF７１は、拡大画像B_nに含まれる周波数成分すべてをなるべく通過させるために、拡大画像B_nに含まれる周波数成分の最大の周波数以下の周波数で、周波数特性がなるべくフラットになり、かつ、ロールオフがなるべく急峻になるように、可能な範囲で、多くのタップ（多タップ）で構成される。

ここで、水平多タップAPF７１において、例えば、小数点以下が８ビットの精度（拡大画像B_nの水平方向に隣接する画素どうしの間を、２⁸個に等分する位置の精度）で、画素の補間を行うこととすると、水平多タップAPF７１の１個のタップのフィルタ係数は、２５６（＝２⁸）通りの値をとり得る。

さらに、水平多タップAPF７１のタップ数が、例えば、８タップであるとすると、フィルタの対称性から、８タップのフィルタ係数が取り得る値のパターンは、２５６×８／２通りとなる。

したがって、２５６×８／２パターンのフィルタ係数を、sinc関数から求め、水平多タップAPF７１に、小数Vx-int(Vx)を表す８ビットを引数とする配列として記憶させておけば、水平多タップAPF７１では、補間を行うフィルタリングのたびに、フィルタ係数を演算する必要がなくなって、演算量を低減することができる。

この場合、水平多タップAPF７１では、動き検出部２２（図９）からの動きベクトルから、小数Vx-int(Vx)が求められる。さらに、水平多タップAPF７１では、その小数Vx-int(Vx)を表す８ビットを引数として、フィルタ係数が決定され、フィルタリングが行われる。

垂直多タップAPF７２でも、水平多タップAPF７１と同様にして、拡大画像B_nの垂直方向の位置合わせを行うフィルタリングが行われる。

なお、図９で説明したように、１フレーム目の入力画像A₁の拡大画像B₁は、そのまま、記憶２８に記憶されて、出力画像S₁となる。したがって、図９の位置合わせ部２４での、拡大画像B_nの、出力画像S_n-1に対する位置合わせは、拡大画像B_nを、拡大画像B₁の位置に合わせることに等しい。

図１３Ｂは、位置合わせ部２４での位置合わせの対象とされる拡大画像B_nの水平方向の周波数特性を示している。

拡大画像B_nは、水平方向の折り返し成分を含んでおらず、したがって、信号成分のみが、ナイキスト周波数f_s/2以下に存在する。

図１３Ｃは、位置合わせ部２４において、拡大画像B_nの位置合わせを行うことで得られる位置合わせ画像C_nの水平方向の周波数特性を示している。

水平多タップAPF７１は、拡大画像B_nに含まれる水平方向の周波数成分すべてをなるべく通過させるために、拡大画像B_nに含まれる水平方向の周波数成分の最大の周波数f_s/2以下の周波数で、周波数特性がなるべくフラットになるように、可能な範囲で、多タップで構成される。したがって、位置合わせ画像C_nの水平方向の周波数特性は、（理想的には、）拡大画像B_nの水平方向の周波数特性と同様となる。

図１３Ｄは、水平多タップAPF７１のフィルタ特性を示している。

水平多タップAPF７１は、（理想的には、）拡大画像B_nに含まれる水平方向の周波数成分すべて、すなわち、水平方向の折り返し成分がない拡大画像B_nについては、周波数f_s/2以下の周波数成分を通過させるAPFになっている。

なお、水平多タップAPF７１のフィルタ特性は、フィルタリングにより補間を行う画素の水平方向の位置（小数Vx-int(Vx)）により多少異なる。すなわち、有限のタップ数の水平多タップAPF７１のフィルタ特性は、小数Vx-int(Vx)が大であるほど、周波数f_s/2付近のゲインが小となる。

図１３Ｅは、位置合わせ部２４での位置合わせの対象とされる拡大画像B_nの垂直方向の周波数特性を示している。

図１３Ｅは、図１２Ｄと同一の図であり、拡大画像B_nは、高域f_s/2ないしf_sの周波数成分（信号成分及び折り返し成分）が減衰した画像になっている。なお、実線部分が信号成分を表し、点線部分が折り返し成分を表している。

図１３Ｆは、位置合わせ部２４において、拡大画像B_nの位置合わせを行うことで得られる位置合わせ画像C_nの垂直方向の周波数特性を示している。

垂直多タップAPF７２は、拡大画像B_nに含まれる垂直方向の周波数成分すべてをなるべく通過させるために、拡大画像B_nに含まれる垂直方向の周波数成分の最大の周波数f_s以下の周波数で、周波数特性がなるべくフラットになるように、可能な範囲で、多タップで構成される。したがって、位置合わせ画像C_nの垂直方向の周波数特性は、（理想的には、）拡大画像B_nの垂直方向の周波数特性（図１３Ｅ）と同様となる。

図１３Ｇは、垂直多タップAPF７２のフィルタ特性を示している。

垂直多タップAPF７２は、（理想的には、）拡大画像B_nに含まれる垂直方向の周波数成分すべて、すなわち、垂直方向の折り返し成分を含む拡大画像B_nについては、周波数f_s以下の周波数成分を通過させるAPFになっている。

なお、垂直多タップAPF７２のフィルタ特性は、水平多タップAPF７１と同様に、フィルタリングにより補間を行う画素の垂直方向の位置（小数Vy-int(Vy)）により多少異なる。すなわち、有限のタップ数の垂直多タップAPF７２のフィルタ特性は、小数Vy-int(Vy)が大であるほど、周波数f_s付近のゲインが小となる。

次に、図１４を参照して、図９の分離部２７について説明する。

図１４Ａは、図９の分離部２７の構成例を示している。

図１４Ａにおいて、分離部２７は、垂直LPF８１と演算部８２とから構成され、上述したように、記憶部２８に記憶された出力画像S_n-1を、低周波数成分L_nと高周波数成分H_nとに分離する。

すなわち、垂直LPF８１には、記憶部２８に記憶された出力画像S_n-1が供給される。

垂直LPF８１は、記憶部２８からの出力画像S_n-1を垂直方向にフィルタリングすることにより、出力画像S_n-1の低周波数成分L_nを抽出し、演算部８２と、混合部２５に供給する。

演算部８２には、垂直LPF８１から、低周波数成分L_nが供給される他、記憶部２８に記憶された出力画像S_n-1が供給される。

演算部８２は、記憶部２８からの出力画像S_n-1から、垂直LPF８１からの低周波数成分L_nを減算することにより、出力画像S_n-1から、その高周波数成分H_nを抽出し、加算部２６に供給する。

図１４Ｂは、垂直LPF８１のフィルタ特性を示している。

分離部２７のフィルタである垂直LPF８１は、入力画像に含まれる折り返し成分の方向である垂直方向のフィルタ特性として、拡大部２３のフィルタである垂直LPF６２（図１２）と、位置合わせ部２４のフィルタである垂直多タップAPF７２（図１３）とを縦続接続したフィルタと同一の特性を有する。

なお、図９の画像処理装置では、位置合わせ部２４の垂直多タップAPF７２（図１３）は、拡大画像B_nに含まれる垂直方向の周波数成分すべてを通過させる、多タップのAPFであるため、垂直LPF８１のフィルタ特性は、結局、拡大部２３の垂直LPF６２のフィルタ特性（図１２Ｅ）と同一となる。

図９の画像処理装置では、拡大部２３の垂直LPF６２は、図１２で説明したように、フィルタ係数が{1/4,1/2,1/4}のLPFであり、したがって、垂直LPF８１としては、フィルタ係数が{1/4,1/2,1/4}のLPFが採用される。

図１４Ｃは、加算部２６で得られる出力画像S_nの垂直方向の周波数特性の変化を示している。

なお、図１４Ｃにおいて、実線部分が信号成分を表し、点線部分が折り返し成分を表す。

上述したように、記憶部２１（図９）に記憶されたNフレームの入力画像のうちの、１フレーム目が注目画像とされた場合には、その１フレーム目の入力画像A₁の拡大画像B₁が、そのまま、出力画像S₁として、記憶部２８に記憶される。

そして、以降は、混合部２５において、位置合わせ部２４からの位置合わせ画像C_nと、出力画像S_n-1の低周波数成分L_nとが混合されることにより、混合画像D_nが生成され、加算部２６において、混合画像D_nと、出力画像S_n-1の高周波数成分H_nとが加算されることにより、新たな出力画像S_nが生成される混合加算が、記憶部２１（図９）に記憶されたNフレームの入力画像を、順次、注目画像として、繰り返される。

その結果、図１４Ｃに示すように、1フレーム目の入力画像A₁を注目画像として行われた混合加算によって得られる出力画像S₁は、入力画像A₁の解像度で、折り返し成分を含む画像であるが、混合加算が進行するにつれ、すなわち、注目画像とされる入力画像A_nが多くなっていくにつれ、混合加算によって得られる出力画像S_nは、高解像度で（高域f_s/2ないしf_sの信号成分が復元され）、かつ、折り返し成分が減衰した高画質の画像になっていく。

以上のように、分離部２７のフィルタである垂直LPF８１として、拡大部２３のフィルタである垂直LPF６２（図１２）と、位置合わせ部２４のフィルタである垂直多タップAPF７２（図１３）とを縦続接続したフィルタと同一の特性を有するフィルタを採用し、かつ、低周波成分L_nを混合（重み付け加算）し、高周波数成分H_nを加算する混合加算を行うことにより、混合加算が進行していくにつれて、出力画像S_nの高域f_s/2ないしf_sの信号成分が復元され、かつ、折り返し成分が減衰するのは、以下の原理（以下、高解像度化原理ともいう）による。

すなわち、分離部２７では、垂直LPF８１が、記憶部２８からの出力画像S_n-1を垂直方向にフィルタリングすることにより、出力画像S_n-1の低周波数成分L_nを抽出し、演算部８２と、混合部２５に供給する。

いま、出力画像S_n-1の位置tの画素の画素値を、s'(t)と、出力画像S_n-1の低周波数成分L_nのうちの、位置tの画素の画素値の低周波数成分を、l(t)と、出力画像S_n-1の高周波数成分H_nのうちの、位置tの画素の画素値の高周波数成分を、h(t)と、それぞれ表すこととすると、演算部８２は、次式の演算を、出力画像S_n-1のすべての画素について行うことで、出力画像S_n-1の高周波数成分H_nを求め、加算部２６に供給する。

h(t) = s'(t)-l(t)
・・・（２）

一方、混合部２５では、位置合わせ部２４（図９）からの位置合わせ画像C_nと、分離部２７からの低周波数成分L_nを混合し、その結果得られる混合画像D_nを、加算部２６に供給する。

すなわち、混合画像D_nの位置tの画素の画素値を、d(t)と、位置合わせ画像C_nの位置tの画素の画素値を、c(t)と、それぞれ表すこととすると、混合部２５は、次式の演算(重み付け加算）を、混合画像D_nのすべての画素について行うことで、混合画像D_nを求め、加算部２６に供給する。

d(t) = α×c(t)+(1-α)×l(t)
・・・（３）

ここで、混合比αは、混合である重み付け加算に用いる重みであり、０<α<1の範囲の実数値である。

混合比αとしては、例えば、0.3等の固定値を採用することができる。

また、後述するように、式（３）の混合比αは、位置tの画素の動きの程度に応じて、混合比α'（０<α<1）に調整し、その調整後の混合比α'を、混合比αに代えて用いることができる。

さらに、混合比αは、例えば、後述するような、混合加算に用いられる位置合わせ画像C_nが何フレーム目の入力画像A_nに対応する画像であるかに応じた可変の値とすることができる。

加算部２６では、混合部２５からの位置合わせ画像D_nと、分離部２７からの出力画像S_n-1の高周波数成分H_nとを加算することで、新たな出力画像S_nを生成する。

すなわち、出力画像S_nの位置tの画素の画素値を、s(t)と表すこととすると、加算部２６は、次式の演算（加算）を、出力画像S_nのすべての画素について行うことで、出力画像S_nを求める。

s(t)= d(t) + h(t)
・・・（４）

ここで、拡大部２３（図９）では、図１２で説明したように、高域f_s/2ないしf_sの周波数成分（垂直方向の周波数成分）が減衰した拡大画像B_nが生成される。したがって、そのような拡大画像B_nから生成される位置合わせ画像C_nと、出力画像S_n-1とを単に加算していくだけでは、その加算によって得られる出力画像S_nは、やはり、高域f_s/2ないしf_sの周波数成分が減衰した画像となる。

これに対して、混合加算では、出力画像S_n-1の低周波数成分L_nは、位置合わせ画像C_nと混合され、高周波数成分H_nは、位置合わせ画像C_nと加算される。かかる混合加算が、十分なフレーム数の位置合わせ画像C_n（ひいては、入力画像A_n）を用いて行われることで、高域f_s/2ないしf_sの周波数成分も再現された出力画像S_nが生成される。

すなわち、拡大部２３の補間部６１において、垂直方向の折り返し成分を含む入力画像A_nの０値補間を行って得られる０値補間画像は、高速撮像された連続する入力画像A₁ないしA_Nのすべてに共通の信号成分Aと、nフレーム目の入力画像A_nに固有の折り返し成分Z_nを含んでいる。したがって、入力画像A_nの０値補間画像は、式A+Z_nで表すことができる。

いま、拡大部２３の、折り返し成分の方向である垂直方向にフィルタリングを行うフィルタである垂直LPF６２（図１２）と、位置合わせ部２４の、折り返し成分の方向である垂直方向にフィルタリングを行うフィルタである垂直多タップAPF７２とを縦続接続したフィルタの特性を、Fと表すと、混合加算に用いられる位置あわせ画像C_nは、式（５）で表される。

C_n = F×(A+Z_n) = F×A + F×Z_n
・・・（５）

高速撮像された連続する入力画像A₁ないしA_Nが、例えば、手ぶれ等によって、サンプリングの位置（被写体の位置）が異なった画像になっている場合には、図１に示したように、信号成分Aは一致する（共通する）が、折り返し成分Z_nについては、位相が異なる。

ここで、位置合わせ画像C_nと、出力画像S_n-1とを重み付け加算する場合、すなわち、例えば、n枚の位置合わせ画像C₁ないしC_nの平均値を、出力画像S_nとする場合には、式（６）で表される出力画像S_nが得られる。

S_n = Σ_k（C_k／n） = F×A + F×(Σ_k(Z_k))／n
・・・（６）

なお、式（６）において、Σ_kは、kを１からｎまでの整数値に変えての総和を表す。

式（６）において、折り返し成分Z_kの総和Σ_k(Z_k)は、折り返し成分Z_kどうしが、ある程度打ち消し合って、それほど大きな値にならない。そして、重み付け加算を行う位置合わせ画像C_nのフレーム数nが大になるほど、式（６）の右辺の第２項F×(Σ_k(Z_k))／nは、小さくなる。

重み付け加算を行う位置合わせ画像C_nのフレーム数nが十分に大である場合、式（６）の右辺の第２項F×(Σ_k(Z_k))／nは、０とみなすことができ、この場合、式（６）の出力画像S_nは、式（７）で表すことができる。

S_n = F×A
・・・（７）

以上のように、位置合わせ画像C_nと、出力画像S_n-1とを重み付け加算する場合には、十分なフレーム数nの位置合わせ画像C_nを用いることで、折り返し成分Z_nを除去することができる。

しかしながら、重み付け加算のみによって得られる式（７）の出力画像S_nは、信号成分Aを、フィルタ特性FのLPFでフィルタリングした画像であり、高域の信号成分は復元されない。

一方、混合加算では、混合（重み付け加算）の他に、加算が行われることで、折り返し成分の除去に加えて、高域の信号成分の復元も行われる。

すなわち、分離部２７の、折り返し成分の方向である垂直方向にフィルタリングを行うフィルタである垂直LPF８１（図１４）は、拡大部２３の垂直LPF６２（図１２）と、位置合わせ部２４の垂直多タップAPF７２とを縦続接続したフィルタの特性Fと同一の特性を有するから、そのような垂直LPF８１で得られる、出力画像S_n-1の低周波数成分L_nは、次式で表すことができる。

L_n=F×S_n-1
・・・（８）

また、分離部２７の演算部８２で得られる、出力画像S_n-1の高周波数成分H_nは、次式で表すことができる。

H_n=(1-F)×S_n-1
・・・（９）

さらに、混合部２５（図９）での混合（重み付け加算）の結果得られる混合画像D_nは、次式で表すことができる。

D_n = α×C_n + (1-α)×L_n
・・・（１０）

また、加算部２６(図９）での加算の結果得られる新たな出力画像S_nは、次式で表すことができる。

S_n = D_n + H_n
・・・（１１）

式（１１）は、式（８）ないし式（１０）から、式（１２）に変形することができる。

S_n = α×C_n + (1-α)×F×S_n-1 + (1-F)×S_n-1
・・・（１２）

さらに、式（１２）は、式（５）を代入して、C_nを消去すると、式（１３）になる。

S_n = (1-αF)×S_n-1 + α×F×A + α×F×Z_n
・・・（１３）

式（１３）によれば、混合加算で得られる新たな出力画像S_nは、１フレーム前の出力画像（直前に得られた出力画像）S_n-1を用いて表すことができる。

ここで、混合加算では、高域の周波数成分が加算されるので、式（６）及び式（７）で説明した場合と同様に、混合加算を行う位置合わせ画像C_nのフレーム数nが十分に大である場合には、折り返し成分Z_nのうちの高域の成分は０になる(除去される）。

また、混合加算では、低域の周波数成分が、混合比αを重みとする重み付け加算によって、やはり加算されるので（各フレームの位置合わせ画像C_nの低周波数成分が均等ではない割合で加算されるので）、混合加算を行う位置合わせ画像C_nのフレーム数nが十分に大である場合には、折り返し成分Z_nのうちの低域の成分は０になる。

さらに、混合加算では、低域と高域との間の中域の周波数成分が、上述の低域や高域の周波数成分と同様に加算されるので、やはり、混合加算を行う位置合わせ画像C_nのフレーム数nが十分に大である場合には、折り返し成分Z_nのうちの中域の成分は０になる。

したがって、混合加算を行う位置合わせ画像C_nのフレーム数nが十分に大である場合には、式（１３）の折り返し成分Z_nは０となり、出力画像S_nは、次式で表すことができる。

S_n = (1-αF)×S_n-1 + α×F×A
・・・（１３）

式（１３）を漸化式として解くと、式（１４）が得られる。

S_n = A + (1-αF)^n-1 ×(S₁-A)
・・・（１４）

フィルタ特性FのLPFが、例えば、上述した、フィルタ係数が{1/4,1/2,1/4}のフィルタである場合、このフィルタは、直流成分（周波数が０）のゲインが最大値１となり、高域の周波数成分のゲインが最小値０となる、ゲインが、全帯域（ここでは、f_s以下の周波数帯域）で０ないし１の範囲のLPFである。

したがって、式（１４）の1-αFは、最小値（最小ゲイン）が、1-αとなり、最大値（最大ゲイン）が１となる、全帯域で１以下の値となる。

よって、(1-αF)^n-1は、混合加算を行う位置合わせ画像C_nのフレーム数nが大であるほど、０に近づき、フレーム数nが十分大となると、０になる。

したがって、出力画像S_nは、最初（位置合わせ画像C₁の混合加算が行われたとき）は、初期値S₁、すなわち、位置合わせ画像C₁になるが、混合加算が繰り返されると、徐々に、信号成分Aに近づく。つまり、折り返し成分が除去され、かつ、高域の信号成分が復元された出力画像S_n=Aを得ることができる。

なお、混合加算では、以上のように、折り返し成分が除去され、かつ、高域の信号成分
が復元されるが、一般的な強調処理（エンハンス、enhance）のように、特定の周波数成分を強調することはしない。

すなわち、一般的な強調処理を繰り返すと、特定の周波数成分が強調されすぎることがあるが、混合加算が繰り返されることにより、出力画像S_nは、入力画像A₁ないしA_nに含まれる信号成分Aに近づく。

以上のように、混合加算を行う図９の画像処理装置によれば、画像の、柔軟な高解像度化を図ることができる。

すなわち、入力画像の枚数（フレーム数）が多いほど（混合加算を行う画像の数が多いほど）、折り返し成分が低減された、高解像度の出力画像（高域の周波数成分が復元された出力画像）を得ることができる。

さらに、混合加算は、拡大部２３において、線形補間等の、入力画像の周辺の画素を用いた補間によって生成された拡大画像を用いて行われるので、何らかの理由で、入力画像として、少ない枚数の画像しかない場合であっても、すなわち、極端には、１枚の画像しかない場合であっても、従来の高解像度化技術のように、黒の縞模様が存在する画像が、ユーザに提供されることを防止することができる。すなわち、例えば、入力画像が、１枚の画像しかない最悪の場合であっても、ユーザに提供される出力画像の画質としては、実用的に耐え得る画質、すなわち、線形補間等によって得られる画像の画質が保証される。

なお、図１２では、拡大部２３のフィルタとして、フィルタ係数が{1/4,1/2,1/4}の、線形補間を行う垂直LPF６２を採用したが、拡大部２３のフィルタとしては、その他、例えば、フィルタ係数が{1/2,1/2,0}等の、最近傍補間を行うフィルタや、フィルタ係数が｛-1/16,0,9/16,1,9/16,0,-1/16｝等の、キュービック補間を行うフィルタ等を、垂直LPF６２に代えて採用することができる。

拡大部２３のフィルタとして、上述のような最近傍補間を行うフィルタや、キュービック補間を行うフィルタを採用する場合、分離部２７（図１４）でも、垂直LPF８１に代えて、拡大部２３のフィルタと同一のフィルタ特性のフィルタが採用される。

また、上述の場合には、分離部２７のフィルタ（垂直LPF８１（図１４））として、拡大部２３のフィルタ（垂直LPF６２（図１２））と、位置合わせ部２４のフィルタ（垂直多タップAPF７２（図１３））とを縦続接続したフィルタ（以下、縦続接続フィルタともいう）と同一のフィルタ特性を有するフィルタを採用したが、分離部２７のフィルタは、縦続接続フィルタのフィルタ特性と類似する特性のフィルタであっても良い。

さらに、上述の場合には、Z_nが、入力画像A_nに含まれる折り返し成分を表すこととしたが、Z_nは、入力画像A_nに含まれる、ノイズ成分（折り返し成分を含んでいてもよい）を表すこととすることができる。ノイズ成分がガウス分布に従うとすれば、ノイズ成分は、加算（重み付け加算）により打ち消し合うので、混合加算によれば、ノイズ成分を除去した出力画像を得ることができる。

また、図１０では、動き検出部２２において、動きベクトルを検出し、位置合わせ部２４では、その動きベクトルに基づいて、拡大画像と出力画像との位置合わせを行うようにしたが、その他、動き検出部２２では、例えば、拡大画像と出力画像との位置を一致させるアフィン(Affine)変換の係数を、例えば、最小自乗法等によって求め、位置合わせ部２４では、そのアフィン変換の係数に基づくフィルタリングを行って、拡大画像と出力画像との位置合わせを行うことができる。

すなわち、この場合、位置合わせ部２４は、拡大画像を、出力画像の位置に位置合わせしたときの、拡大画像の各画素の座標（以下、位置合わせ座標という）を、動き検出部２２で求められた係数によるアフィン変換によって算出する。そして、位置合わせ部２４は、拡大画像の位置合わせ座標が表す位置の画素の画素値を用いた補間を行うフィルタによって、出力画像の画素の位置の、位置合わせ画像の画素の画素値を求める。

動きベクトルに基づく、拡大画像と出力画像との位置合わせでは、平行移動のみによって、位置合わせが行われるが、アフィン変換の係数に基づくフィルタリングによる、拡大画像と出力画像との位置合わせでは、平行移動の他、拡大縮小や、回転をも行って、位置合わせが行われる。したがって、位置合わせの精度を向上させることができる。

［第２実施の形態］

図１５は、本発明を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。

なお、図中、図９の画像処理装置の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

すなわち、図１５において、画像処理装置は、図９の場合と同様に、記憶部２１、動き検出部２２、拡大部２３、位置合わせ部２４、混合部２５、加算部２６、分離部２７、及び、記憶部２８から構成される。

但し、図９の画像処理装置では、記憶部２８からの出力画像の外部への出力が、記憶部２１に記憶された入力画像A₁ないしA_N（から生成される拡大画像B₁ないしB_Nの位置合わせによって得られる位置合わせ画像C₁ないしC_N（位置合わせ後の拡大画像B₁ないしB））すべての混合加算が行われた後に行われるが、図１５の画像処理装置では、記憶部２８からの出力画像の外部への出力が、１フレームの入力画像A_nの混合加算のたびに行われるようになっている。

そのため、図９の画像処理装置では、位置合わせ部２４での拡大画像と出力画像との位置合わせが、拡大画像を、出力画像の位置（図９では、基準となる入力画像A₁の拡大画像B₁の位置）に合わせることで行われるようになっているが、図１５の画像処理装置では、位置合わせ部２４での拡大画像と出力画像との位置合わせが、出力画像を、混合加算の対象となっている拡大画像の位置に合わせることで行われるようになっている。

すなわち、図１５では、拡大部２３で生成された拡大画像が、位置合わせ部２４をバイパスして、混合部２５に供給される。さらに、混合部２５及び加算部２６において、拡大部２３からの拡大画像を用いて、混合加算が行われ、その混合加算により得られる新たな出力画像が、記憶部２８に供給されて記憶される。そして、その新たな出力画像は、記憶部２８から、外部に出力される。

また、記憶部２８に記憶された新たな出力画像は、拡大部２３において、次のフレームの拡大画像が生成されるときに、直前に得られた出力画像（１フレーム前の出力画像）として、位置合わせ部２４に供給される。位置合わせ部２４では、記憶部２８からの出力画像を、拡大部２３で生成される拡大画像の位置に合わせる位置合わせが行われ、その位置合わせ後の出力画像が、分離部２７に供給される。

分離部２７は、位置合わせ部２４からの、位置合わせ後の出力画像を、低周波数成分と高周波数成分とに分離し、低周波数成分を、混合部２５に供給し、高周波数成分を、加算部２６に供給する。

混合部２５では、分離部２７からの、位置合わせ後の出力画像の低周波数成分と、拡大部２３からの拡大画像との混合が行われ、その混合によって得られる混合画像が、加算部２６に供給される。

加算部２６では、分離部２７からの、位置合わせ後の出力画像の低周波数成分と、混合部２５からの混合画像との加算が行われ、その結果得られる出力画像を、記憶部２８に供給する。

上述の図９の画像処理装置では、Nフレームの入力画像A₁ないしA_Nのうちのいずれの入力画像A_nが混合加算されるときも、1フレーム目の入力画像A₁に被写体が映っている位置に、その被写体が映った出力画像が生成される。

これに対して、図１５の画像処理装置では、入力画像A_nが混合加算されるときは、その入力画像A_nに被写体が映っている位置に、その被写体が映った出力画像が生成される。

ここで、Nフレームの入力画像A₁ないしA_Nのうちのいずれの入力画像A_nが混合加算されるときも、1フレーム目の入力画像A₁に被写体が映っている位置に、その被写体が映った出力画像を生成する混合加算は、例えば、入力画像A_nが静止画である場合（この場合、出力画像も静止画である）に便利であり、以下、適宜、静止画用混合加算という。

また、入力画像A_nが混合加算されるときに、その入力画像A_nに被写体が映っている位置に、その被写体が映った出力画像を生成する混合加算は、例えば、入力画像A_nが動画である場合（この場合、出力画像も動画である）に便利であり、以下、適宜、動画用混合加算という。

上述したように、動画用混合加算が行われる図１５の画像処理装置では、記憶部２８からの出力画像の外部への出力が、１フレームの入力画像A_nの混合加算のたびに行われるので、記憶部２８からの出力画像の外部への出力が、記憶部２１に記憶された入力画像A₁ないしA_Nすべての混合加算が行われた後に行われる、静止画用混合加算が行われる図９の画像処理装置に比較して、１フレームの出力画像を得るための演算量が低減する。

なお、静止画用混合加算では、第１実施の形態で説明したように、動き検出部２２（図１０）において、１フレーム目の入力画像A₁を基準画像とするとともに、混合加算の対象の入力画像A_nを比較画像として、動きベクトル（グローバル動きベクトル）が求められる。

そして、位置合わせ部２４において、動きベクトル検出部２２で求められた動きベクトルに基づき、混合加算の対象の拡大画像B_nを、直前に求められた出力画像S_n-1の位置（これは、１フレーム目の入力画像A₁の拡大画像B₁の位置に等しい）に合わせる位置合わせが行われる。

一方、動画用混合加算では、動き検出部２２（図１０）において、混合加算の対象の入力画像A_nを、基準画像とするとともに、その直前（１フレーム前）の入力画像A_n-1を比較画像として、動きベクトル（グローバル動きベクトル）が求められる。

すなわち、動き検出部２２では、混合加算の対象の入力画像A_nの拡大画像B_nに対する、直前の入力画像A_n-1の拡大画像B_n-1の位置ずれ量（これは、直前に得られた出力画像S_n-1の位置ずれ量に等しい）が求められる。

そして、位置合わせ部２４では、動き検出部２２で求められた位置ずれ量に基づき、直前に得られた出力画像S_n-1を、混合加算の対象の拡大画像B_nの位置に合わせる位置合わせが行われる。

［第３実施の形態］

図１６は、本発明を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。

なお、図中、図９の画像処理装置の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

すなわち、図１６の画像処理装置は、記憶部２１、動き検出部２２、拡大部２３、位置合わせ部２４、混合部２５、加算部２６、分離部２７、及び、記憶部２８を有する点で、図９の画像処理装置と一致する。

但し、図１６の画像処理装置は、選択部１０１，１０２、及び、１０３をさらに有する点で、図９の画像処理装置と相違する。

そして、図１６の画像処理装置では、静止画用混合加算と、動画用混合加算とを、選択的に行うことができるようになっている。図１６の画像処理装置において、静止画用混合加算、及び動画用混合加算のうちのいずれを行うかは、例えば、ユーザの操作に応じて選択される。

図１６において、選択部１０１の端子ａには、拡大部２３から、拡大画像が供給され、端子ｂには、記憶部２８から、１フレーム前の出力画像（直前に得られた出力画像）が供給される。

選択部１０１は、端子ａに供給される拡大画像、又は、端子ｂに供給される直前に得られた出力画像を選択し、位置合わせの対象として、位置合わせ部２４に供給する。

選択部１０２の端子ａには、位置合わせ部２４から、位置合わせ後の画像（拡大画像、又は、出力画像）が供給され、端子ｂには、拡大部２３から、拡大画像が供給される。

選択部１０２は、端子ａに供給される位置合わせ後の画像、又は、端子ｂに供給される拡大画像を選択し、混合部２５に供給する。

選択部１０３の端子ａには、記憶部２８から、１フレーム前の出力画像（直前に得られた出力画像）が供給され、端子ｂには、位置合わせ部２４から、位置合わせ後の画像（拡大画像、又は、出力画像）が供給される。

選択部１０３は、端子ａに供給される直前に得られた出力画像、又は、端子ｂに供給される位置合わせ後の画像を選択し、分離部２７に供給する。

以上のように構成される画像処理装置では、静止画用混合加算を行う場合には、後述する第１の処理が行われ、動画用混合加算を行う場合には、後述する第２の処理が行われる。

すなわち、第１の処理では、選択部１０１ないし１０３のすべてが、端子ａ及びｂのうちの、端子ａを選択する。

その結果、選択部１０１は、拡大部２３から端子ａに供給される拡大画像を選択し、位置合わせ部２４に供給する。

位置合わせ部２４では、選択部１０１からの拡大画像を、記憶部２８に記憶されている直前に得られた出力画像の位置に合わせる位置合わせを行い、位置合わせ後の拡大画像を、選択部１０２の端子ａに供給する。

選択部１０２は、位置合わせ部２４から端子ａに供給される位置合わせ後の拡大画像を選択し、混合部２５に供給する。

一方、選択部１０３は、記憶部２８から端子ａに供給される直前に得られた出力画像を選択し、分離部２７に供給する。

これにより、図１６の画像処理装置を構成する記憶部２１ないし記憶部２８は、図９の画像処理装置の記憶部２１ないし２８と同一の接続状態となって、混合部２５、加算部２６、及び、分離部２７において、静止画用混合加算が行われる。

すなわち、分離部２７は、選択部１０３から供給される、直前に得られた出力画像を、低周波数成分と高周波数成分とに分離し、低周波数成分を、混合部２５に供給するとともに、高周波数成分を、加算部２６に供給する。

混合部２５は、選択部１０２から供給される、位置合わせ後の拡大画像（位置合わせ画像）に対して、分離部２７からの低周波数成分を混合し、その結果得られる混合画像を、加算部２６に供給する。

加算部２６は、混合部２５からの混合画像に対して、分離部２７からの高周波数成分を加算することにより、新たな出力画像を生成し、記憶部２８に供給して記憶させる。

一方、第２の処理では、選択部１０１ないし１０３のすべてが、端子ａ及びｂのうちの、端子ｂを選択する。

その結果、選択部１０１は、記憶部２８から端子ｂに供給される、直前に得られた出力画像を選択し、位置合わせ部２４に供給する。

位置合わせ部２４では、選択部１０１からの出力画像を、拡大部２３で生成された拡大画像の位置に合わせる位置合わせを行い、位置合わせ後の出力画像を、選択部１０３の端子ｂに供給する。

また、選択部１０２は、拡大部２３から端子ｂに供給される拡大画像を選択し、混合部２５に供給する。

選択部１０３は、位置合わせ部２４から端子ｂに供給される、位置合わせ後の出力画像を選択し、分離部２７に供給する。

これにより、図１６の画像処理装置を構成する記憶部２１ないし記憶部２８は、図１５の画像処理装置の記憶部２１ないし２８と同一の接続状態となって、混合部２５、加算部２６、及び、分離部２７において、動画用混合加算が行われる。

すなわち、分離部２７は、選択部１０３から供給される、位置合わせ後の出力画像を、低周波数成分と高周波数成分とに分離し、低周波数成分を、混合部２５に供給するとともに、高周波数成分を、加算部２６に供給する。

混合部２５は、選択部１０２から供給される拡大画像に対して、分離部２７からの低周波数成分を混合し、その結果得られる混合画像を、加算部２６に供給する。

加算部２６は、混合部２５からの混合画像に対して、分離部２７からの高周波数成分を加算することにより、新たな出力画像を生成し、記憶部２８に供給して記憶させる。

［第４実施の形態］

図１７は、本発明を適用した画像処理装置の第４実施の形態の構成例を示すブロック図である。

なお、図中、図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図１７の画像処理装置は、記憶部２１、動き検出部２２、混合部２５、加算部２６、及び、記憶部２８を有する点で、図９の画像処理装置と一致する。

但し、図１７の画像処理装置は、拡大部２３に代えて拡大部１１１が、位置合わせ部２４に代えて位置合わせ部１１２が、分離部２７に代えて分離部１１３が、それぞれ設けられている点で、図９の画像処理装置と相違する。

ここで、図９の画像処理装置では、拡大部２３において、入力画像を、折り返し成分を含む垂直方向に、２倍に拡大した拡大画像を生成し、その拡大画像の高周波数成分を劣化させないために、位置合わせ部２４のフィルタ（水平多タップAPF７１及び垂直多タップAPF７２（図１３））を、多タップのAPFで構成するようにしたが、多タップのAPFでは、装置の規模、及び、演算量が大となる。

一方、位置合わせ部２４のフィルタを、例えば、線形補間やキュービック補間を行う少ないタップ数のフィルタとすることにより、装置の規模、及び、演算量を低減することができる。

しかしながら、位置合わせ部２４のフィルタを、少ないタップ数のフィルタとすると、拡大画像を、出力画像の位置に合わせるときの移動量（動き検出部２２で得られるグローバル動きベクトル）によって、位置合わせ部２４のフィルタの、特に、高域のフィルタ特性が変化する。その結果、位置合わせによって、拡大画像の高周波数成分を劣化させることとなり、ひいては、出力画像の画質を劣化させることになる。

そこで、図１７の画像処理装置では、位置合わせのフィルタとして、少ないタップ数のフィルタを採用しても、拡大画像の高周波数成分（信号成分及び折り返し成分）を劣化させないように、拡大部１１１において、入力画像を拡大する拡大処理が行われるようになっている。

図１８及び図１９を参照して、図１７の拡大部１１１が行う拡大処理について説明する。

なお、ここでは、拡大部１１１が、入力画像（の画素数）を、水平方向に２倍に拡大し、かつ、垂直方向に４倍に拡大する場合について説明するが、拡大部１１１では、より倍率の大きい拡大を行ってもよい。

また、第４実施の形態でも、第１実施の形態と同様に、高速撮影された連続する入力画像A₁ないしA_Nは、垂直方向に折り返し成分を含むが、水平方向には、折り返し成分を（ほとんど）含まないこととする。

図１８Ａは、入力画像A_nを示している。

図中、丸印で示す部分が、入力画像A_nの画素を表す。

入力画像A_nは、水平方向の周波数成分が、周波数帯域-f_h/2ないしf_h/2に存在し、かつ、垂直方向の周波数成分が、周波数帯域-f_sないしf_sに存在する信号を、水平方向にサンプリング周波数f_hでサンプリングし、かつ、垂直方向にサンプリング周波数f_sでサンプリングした画像であるとする。

図１８Ｂは、入力画像A_nの周波数特性を示している。

なお、図１８Ｂにおいて、横軸は、水平方向の周波数（水平周波数）を表し、縦軸は、垂直方向の周波数（垂直周波数）を表す。

入力画像A_nでは、水平方向については、周波数帯域-f_h/2ないしf_h/2に、信号成分だけが存在し、垂直方向については、周波数帯域-f_s/2ないしf_s/2に、元の信号の周波数f_s/2以下の信号成分と、元の信号の周波数f_s/2を超える信号成分が折り返した折り返し成分とが存在する。

ここで、図１８Ｂにおいて、実線部分が信号成分を表し、点線部分が折り返し成分を表す。

上述したように、拡大部１１１（図１７）は、入力画像A_nを、水平方向に２倍に拡大し、かつ、垂直方向に４倍に拡大して、全体の画素数が入力画像A_nの８倍の拡大画像B_nを生成する。

すなわち、拡大部１１１は、まず、入力画像A_nを、水平方向に２倍に拡大する。

入力画像A_nの水平方向には、折り返し成分がないので、入力画像A_nを水平方向に２倍に拡大した画像（以下、水平拡大画像ともいう）の生成は、図４や図５で説明した拡大処理（以下、通常の拡大処理ともいう）によって行われる。

すなわち、入力画像A_nの水平拡大画像の生成は、入力画像A_nの水平方向に隣接する画素どうしの間に、１個のゼロ点を挿入する０値補間と、その０値補間によって得られる０値補間画像のLPFによるフィルタリングとによって行われる。

図１８Ｃは、図１８Ａの入力画像A_nの水平方向に隣接する画素どうしの間に、１個のゼロ点を挿入する０値補間によって得られる０値補間画像を示している。

図１８Ｃにおいて、白丸印は、入力画像A_nの画素（元の画素）を表し、黒丸印は、ゼロ点としての画素（画素値が０の画素）を表す。

図１８Ｄは、図１８Ｃの０値補間画像の周波数特性を示している。

０値補間画像では、水平方向にゼロ点を挿入する０値補間によって、水平方向に、折り返し成分が生じる。

拡大部１１１（図１７）では、この折り返し成分を除去するために、周波数帯域-f_h/2ないしf_h/2を通過帯域とするLPFによる水平方向のフィルタリングが行われる。このLPFとしては、理想的には、sinc関数をフィルタ係数とするLPFを用いるのが望ましいが、タップ長が無限長になる。したがって、LPFのフィルタ係数は、sinc関数に窓関数をかけて決定される。

図１８Ｅは、０値補間画像をLPFでフィルタリングして得られる水平拡大画像を示しており、図１８Ｆは、その水平拡大画像の周波数特性を示している。

なお、図１８Ｆにおいて、実線部分が信号成分を表し、点線部分が折り返し成分を表す。

LPFによるフィルタリングによって得られる水平拡大画像は、水平方向について、サンプリング周波数2f_hに対し、低周波数の帯域-f_h/2ないしf_h/2にのみ、信号成分が存在し、高周波数の帯域f_h/2ないしfh、及び、-f_hないし-f_h/2には、周波数成分が存在しない画像となる。

次に、拡大部１１１（図１７）は、水平拡大画像を、垂直方向を４倍に拡大した拡大画像（入力画像A_nを、水平方向に２倍に拡大し、かつ、垂直方向に４倍に拡大した拡大画像）B_nを生成する。

入力画像A_n、さらには、その入力画像の水平拡大画像には、垂直方向に、折り返し成分があるので、水平拡大画像を垂直方向に４倍に拡大した拡大画像の生成は、図９の拡大部２３と同様に、例えば、線形補間等の、多少の高周波数成分を残す拡大処理によって行われる。

すなわち、拡大画像の生成は、水平拡大画像の垂直方向に隣接する画素どうしの間に、３個のゼロ点を挿入する０値補間と、その０値補間によって得られる０値補間画像の、多少の高周波数成分を残すフィルタ特性のLPFによるフィルタリングとによって行われる。

図１８Ｇは、図１８Ｅの水平拡大画像の垂直方向に隣接する画素どうしの間に、３個のゼロ点を挿入する０値補間によって得られる０値補間画像を示している。

図１８Ｇにおいて、白丸印は、０値補間画像の画素を表し、黒丸印は、ゼロ点としての画素を表す。

図１８Ｈは、図１８Ｇの０値補間画像の周波数特性を示している。

０値補間画像では、垂直方向にゼロ点を挿入する０値補間によって、垂直方向の信号成分が復元され、さらに、高次の折り返し成分が生じる。

拡大部１１１（図１７）は、図１８Ｈの０値補間画像を、垂直方向の多少の高周波数成分を残すLPFによってフィルタリングすることで、拡大画像を生成する。

このLPFとしては、例えば、フィルタ係数が{1/16,2/16,3/16,4/16,3/16,2/16,1/16}の垂直LPFを採用することができる。

図１９は、フィルタ係数が{1/16,2/16,3/16,4/16,3/16,2/16,1/16}の垂直LPFのフィルタ特性を示している。

なお、図１９においては、フィルタ係数が{1/16,2/16,3/16,4/16,3/16,2/16,1/16}のフィルタのフィルタ特性の他、フィルタ係数が{1/4,1/4,1/4,1/4,0}のフィルタのフィルタ特性も示してある。

フィルタ係数が{1/16,2/16,3/16,4/16,3/16,2/16,1/16}の垂直LPFのフィルタ特性は、サンプリング周波数4f_sに対し、周波数０はゲイン１で、周波数f_sでゲインが０となる緩やかな特性になっている。さらに、フィルタ係数が{1/16,2/16,3/16,4/16,3/16,2/16,1/16}の垂直LPFのフィルタ特性は、周波数f_sから1.5f_sにかけてゲインが増加し、周波数2f_sで再びゲインが０となる、周波数1.5f_s付近の周波数成分を幾らか通す特性になっている。

図１８Ｈの０値補間画像を、図１９の垂直LPFでフィルタリングして得られる拡大画像においては、周波数1.5f_s付近（周波数f_sないし2f_s）の折り返し成分が幾らか残る。

この、周波数1.5f_s付近の折り返し成分を完全に除去するには、拡大画像を、さらに、周波数帯域-f_sないしf_sを通過領域とする広帯域LPFでフィルタリングする必要がある。

以上のようにして得られる拡大画像は、垂直方向について、サンプリング周波数4f_sに対して、低周波数の帯域-f_sないしf_sに、信号成分と折り返し成分とが混在し、高周波数の帯域f_sないし2f_s、及び、-2f_sないし-f_sに、周波数成分が存在しない画像となる。

以上のように、拡大部１１１で得られる拡大画像は、水平方向の低周波数側の半分の帯域-f_h/2ないしf_h/2と、垂直方向の低周波数側の半分の帯域-f_sないしf_sにのみ、周波数成分が存在し、他の帯域（高周波数側の帯域）には、周波数成分が存在しない。

したがって、図１７の画像処理装置では、位置合わせ部１１２のフィルタのフィルタ特性は、上述の低周波数側の半分の帯域を通過することができるフィルタ特性であれば、残りの高域の帯域のフィルタ特性はどのようなフィルタ特性でも良い。

すなわち、例えば、第１実施の形態の図９の画像処理装置では、位置合わせ部２４のフィルタとしては、動き検出部２２で得られるグローバル動きベクトルによって変化する、位置合わせ部２４のフィルタの高域のフィルタ特性の変化を抑制するために、多タップのAPFを必要である。

これに対して、図１７の位置合わせ部１１２のフィルタは、垂直方向、及び、水平方向のいずれも、（０値補間画像のナイキスト周波数以下の帯域のうちの）低周波数側の半分の帯域のゲインが１であればよく、例えば、キュービック補間を行う４タップのフィルタ（キュービック補間フィルタ）等の、いわば高域側の特性が悪い、少ないタップ数のフィルタで構成することができる。

また、位置合わせ部１１２の位置合わせによって得られる位置合わせ画像も、拡大部１１１で生成される拡大画像と同様に、水平方向の低周波数側の半分の帯域-f_h/2ないしf_h/2と、垂直方向の低周波数側の半分の帯域-f_sないしf_sにのみ、周波数成分が存在し、残りの高周波数側の帯域には、周波数成分が存在しない画像となる。

さらに、位置合わせ画像は、第１実施の形態と同様に、水平方向には折り返し成分がなく、垂直方向にのみ、折り返し成分がある画像である。したがって、高域の信号成分の復元は、垂直方向のみを考えればよい。

また、図１７の画像処理装置において、位置合わせ画像を用いた混合加算によって得られる出力画像は、やはり、水平方向の低周波数側の半分の帯域-f_h/2ないしf_h/2と、垂直方向の低周波数側の半分の帯域-f_sないしf_sにのみ、周波数成分が存在し、残りの高周波数側の帯域には、周波数成分が存在しない画像となる。

したがって、図１７の分離部１１３は、そのような周波数成分が存在する周波数帯域だけを考慮して構成すればよい。

すなわち、上述の高解像度化原理に基づいて、高解像度の出力画像を生成する図１７の画像処理装置では、分離部１１３は、高域の信号成分を復元する垂直方向に、出力画像の低周波数成分を抽出する垂直LPFで構成され、その垂直LPFとしては、拡大部１１１のフィルタと、位置合わせ部１１２のフィルタとを縦続接続した縦続接続フィルタと同一のフィルタ特性のフィルタが採用される。

但し、分離部１１３の垂直LPFには、出力画像の、上述した周波数成分が存在する周波数帯域だけを考慮すればよく、その周波数帯域において、縦続接続フィルタと同一のフィルタ特性のフィルタを採用することができる。したがって、分離部１１３の垂直LPFとしては、例えば、拡大部１１１において垂直方向のフィルタリングを行うフィルタ、すなわち、フィルタ係数が{1/16,2/16,3/16,4/16,3/16,2/16,1/16}のフィルタを採用することができる。

図１７の画像処理装置によれば、図９の画像処理装置と同様に、画像の、柔軟な高解像度化を図ることができる。さらに、図１７の画像処理装置では、位置合わせ部１１２のフィルタを、少ないタップ数のフィルタで構成することができ、装置の規模、及び、演算量を低減することができる。

なお、図１７の画像処理装置で得られる出力画像は、上述したように、水平方向の低周波数側の半分の帯域-f_h/2ないしf_h/2と、垂直方向の低周波数側の半分の帯域-f_sないしf_sにのみ、周波数成分が存在し、残りの高周波数側の帯域には、周波数成分が存在しない画像となる。したがって、出力画像は、その水平方向や垂直方向の画素数を、1/2に縮小することができる。

図２０は、図１７の拡大部１１１と位置合わせ部１１２の構成例を示している。

拡大部１１１は、補間部１３１、水平多タップLPF１３２、補間部１３３、垂直LPF１３４、及び、広帯域LPF１３５から構成される。

補間部１３１には、記憶部２１（図１７）から入力画像が供給される。補間部１３１は、記憶部２１からの入力画像の水平方向に隣接する画素どうしの間に、１個のゼロ点を挿入する０値補間を行うことで、水平方向の画素数が入力画像の２倍になった０値補間画像を生成して、水平多タップLPF１３２に供給する。

水平多タップLPF１３２は、例えば、フィルタ係数が、sinc関数に窓関数をかけて決定された、周波数f_s/2以下を通過帯域とする多タップのLPFである。水平多タップLPF１３２は、補間部１３１からの０値補間画像を、水平方向にフィルタリングすることにより、水平拡大画像を生成し、補間部１３３に供給する。

補間部１３３は、水平多タップLPF１３２からの水平拡大画像の垂直方向に隣接する画素どうしの間に、３個のゼロ点を挿入する０値補間を行うことで、水平方向の画素数が入力画像の２倍で、垂直方向の画素数が入力画像の４倍になった０値補間画像を生成し、垂直LPF１３４に供給する。

垂直LPF１３４は、例えば、フィルタ係数が{1/16,2/16,3/16,4/16,3/16,2/16,1/16}の垂直LPFであり、補間部１３３からの０値補間画像をフィルタリングすることにより、水平方向の画素数が入力画像の２倍で、垂直方向の画素数が入力画像の４倍になった拡大画像を生成し、広帯域LPF１３５に供給する。

なお、補間部１３３による０値補間、及び、垂直LPF１３４での、フィルタ係数が{1/16,2/16,3/16,4/16,3/16,2/16,1/16}の垂直LPFによるフィルタリングは、線形補間により、垂直方向の画素数を４倍にする拡大に相当する。

広帯域LPF１３５は、周波数帯域-f_sないしf_sを通過領域とする広帯域LPFであり、垂直LPF１３４からの拡大画像を垂直方向にフィルタリングして、位置合わせ部１１２に供給する。

位置合わせ部１１２は、水平キュービック補間フィルタ１４１、及び、垂直キュービック補間フィルタ１４２から構成される。

水平キュービック補間フィルタ１４１には、拡大部１１１から、拡大画像が供給されるとともに、動き検出部２２（図１７）から動きベクトル（グローバル動きベクトル）が供給される。

水平キュービック補間フィルタ１４１は、図１３の水平多タップAPF７１と同様に、動き検出部２２からの動きベクトルに基づいて、拡大画像を水平方向にフィルタリングすることにより、出力画像の画素の位置に、画素を補間することで、拡大画像を、出力画像の水平方向の位置に合わせ、垂直キュービック補間フィルタ１４２に供給する。

垂直キュービック補間フィルタ１４２は、図１３の垂直多タップAPF７２と同様に、動き検出部２２からの動きベクトルに基づいて、拡大画像を垂直方向にフィルタリングすることにより、出力画像の画素の位置に、画素を補間することで、拡大画像を、出力画像の垂直方向の位置に合わせ、これにより、水平方向及び垂直方向のいずれも、出力画像の位置に合った位置合わせ画像を生成し、混合部２５（図１７）に供給する。

なお、水平キュービック補間フィルタ１４１、及び、垂直キュービック補間フィルタ１４２では、フィルタリングによって、キュービック補間が行われる。また、水平キュービック補間フィルタ１４１、及び、垂直キュービック補間フィルタ１４２は、例えば、４タップ等の少ないタップ数で構成することができる。

次に、図２１を参照して、図２０の拡大部１１１において、水平方向に関して行われる処理について説明する。

図２１Ａは、拡大部１１１を構成する補間部１３１ないし広帯域LPF１３５のうちの、水平方向に関する処理を行うブロックを示している。

拡大部１１１では、図２１Ａに示すように、補間部１３１及び水平多タップLPF１３２が、水平方向に関する処理を行う。

図２１Ｂは、補間部１３１に供給される入力画像の水平方向の周波数特性を示している。

上述したように、入力画像は、水平方向については、周波数f_h/2以下に、信号成分のみを含む画像になっている。

図２１Ｃは、補間部１３１で得られる、入力画像の水平方向に隣接する画素どうしの間に、1個のゼロ点を挿入する０値補間により得られる０値補間画像の水平方向の周波数特性を示している。

０値補間画像では、水平方向にゼロ点を挿入する０値補間によって、水平方向の周波数f_h/2を超える周波数帯域に、折り返し成分が生じる。

図２１Ｄは、図２１Ｃの０値補間画像を、水平多タップLPF１３２でフィルタリングして得られる水平拡大画像の周波数特性を示している。

水平多タップLPF１３２によるフィルタリングによって得られる水平拡大画像は、水平方向について、周波数f_h/2以下にのみ、信号成分が存在し、周波数f_h/2を超える周波数には、周波数成分が存在しない画像となる。

図２１Ｄは、水平多タップLPF１３２のフィルタ特性を示している。

水平多タップLPF１３２は、周波数f_h/2以下を通過帯域とするLPFであり、周波数f_h/2で急峻にゲインが落ちるように（急峻なロールオフとなるように）、多タップで構成される。

次に、図２２を参照して、図２０の位置合わせ部１１２において、水平方向に関して行われる処理について説明する。

図２２Ａは、位置合わせ部１１２を構成する水平キュービック補間フィルタ１４１、及び、垂直キュービック補間フィルタ１４２のうちの、水平方向に関する処理を行うブロックを示している。

位置合わせ部１１２では、図２２Ａに示すように、水平キュービック補間フィルタ１４１が、水平方向に関する処理を行う。

図２２Ｂは、拡大部１１１（図２０）から水平キュービック補間フィルタ１４１に供給される水平拡大画像の周波数特性を示しており、図２１Ｄと同一の図である。

図２２Ｃは、水平キュービック補間フィルタ１４１で、図２２Ｂの水平拡大画像をフィルタリングして得られる、その水平拡大画像の、水平方向の位置を、出力画像の位置に合わせた位置合わせ画像の周波数特性を示している。

また、図２２Ｄは、水平キュービック補間フィルタ１４１のフィルタ特性を示している。

水平キュービック補間フィルタ１４１は、動き検出部２２から供給される動きベクトルに基づいて、水平方向にキュービック補間を行うフィルタリングを行う、例えば、４タップのフィルタである。水平キュービック補間フィルタ１４１のフィルタ特性は、図２２Ｄに示すように、高域（周波数f_h/2を超える周波数）側が、動き検出部２２から供給される動きベクトルによって変化するが、低域（周波数f_h/2以下の周波数）側では、ゲインが（ほぼ）１になっている。

このため、図２２Ｄのフィルタ特性の水平キュービック補間フィルタ１４１において、図２２Ｂの、周波数fh/2以下の周波数成分のみを有する拡大画像をフィルタリングすることにより得られる位置合わせ画像では、図２２Ｃに示すように、図２２Ｂの拡大画像と周波数特性が、そのまま維持される。

次に、図２３を参照して、図２０の拡大部１１１において、垂直方向に関して行われる処理について説明する。

図２３Ａは、拡大部１１１を構成する補間部１３１ないし広帯域LPF１３５のうちの、垂直方向に関する処理を行うブロックを示している。

拡大部１１１では、図２３Ａに示すように、補間部１３３、垂直LPF１３４、及び、広帯域LPF１３５が、垂直方向に関する処理を行う。

図２３Ｂは、補間部１３３に供給される入力画像（水平拡大画像）の垂直方向の周波数特性を示している。

上述したように、入力画像は、垂直方向については、周波数f_s/2以下に、信号成分と折り返し成分を含む画像になっている。

図２３Ｃは、補間部１３３で得られる、図２３Ｂの入力画像の垂直方向に隣接する画素どうしの間に、３個のゼロ点を挿入する０値補間により得られる０値補間画像の垂直方向の周波数特性を示している。

０値補間画像では、垂直方向にゼロ点を挿入する０値補間によって、垂直方向の周波数f_s/2を超える周波数帯域の信号成分が復元されるが、折り返し成分も復元される。

図２３Ｄは、図２３Ｃの０値補間画像を、垂直LPF１３４でフィルタリングして得られる拡大画像の垂直方向の周波数特性を示している。

図２３Ｅは、図２３Ｄの拡大画像を、広帯域LPF１３５でフィルタリングして得られる拡大画像の垂直方向の周波数特性を示している。

図２３Ｆは、垂直LPF１３４のフィルタ特性を示している。また、図２３Ｇは、広帯域LPF１３５の周波数特性を示している。

垂直LPF１３４は、図２０で説明したように、フィルタ係数が{1/16,2/16,3/16,4/16,3/16,2/16,1/16}の垂直LPFであり、図２３Ｆに示すように、周波数０はゲイン１で、周波数f_sでゲインが０となる緩やかなフィルタ特性を有する。さらに、垂直LPF１３４は、周波数f_sから1.5f_sにかけてゲインが増加し、周波数2f_sで再びゲインが０となる、周波数1.5f_s付近の周波数成分を幾らか通すフィルタ特性を有する。

このため、図２３Ｃの０値補間画像を、垂直LPF１３４でフィルタリングして得られる拡大画像は、図２３Ｄに示すように、図２３Ｃの周波数f_s/2以下の周波数成分（信号成分及び折り返し成分）がほぼ残り、さらに、図２３Ｃの周波数f_s/2ないしf_sの周波数成分（信号成分及び折り返し成分）が多少残り、かつ、図２３Ｃの周波数f_s以上の周波数成分が幾らか残った画像となる。

広帯域LPF１３５は、図２３Ｇに示すように、周波数f_s以下を通過帯域とするLPFであり、周波数f_sで急峻にゲインが落ちるフィルタ特性を有する。

図２３Ｄの拡大画像が、図２３Ｇに示すフィルタ特性の広帯域LPF１３５でフィルタリングされることにより、周波数f_s以上に幾らか残っていた周波数成分が除去され、これにより、拡大画像は、図２３Ｅに示すように、周波数f_s以上の周波数成分がない画像となる。

次に、図２４を参照して、図２０の位置合わせ部１１２において、垂直方向に関して行われる処理について説明する。

図２４Ａは、位置合わせ部１１２を構成する垂直キュービック補間フィルタ１４１、及び、垂直キュービック補間フィルタ１４２のうちの、垂直方向に関する処理を行うブロックを示している。

位置合わせ部１１２では、図２４Ａに示すように、垂直キュービック補間フィルタ１４２が、垂直方向に関する処理を行う。

図２４Ｂは、水平キュービック補間フィルタ１４１（図２０）から垂直キュービック補間フィルタ１４２に供給される拡大画像の垂直方向の周波数特性を示しており、図２３Ｅと同一の図である。

図２４Ｃは、垂直キュービック補間フィルタ１４２で、図２４Ｂの拡大画像をフィルタリングして得られる、その拡大画像の、垂直方向の位置を、出力画像の位置に合わせた位置合わせ画像の垂直方向の周波数特性を示している。

また、図２４Ｄは、垂直キュービック補間フィルタ１４２のフィルタ特性を示している。

垂直キュービック補間フィルタ１４２は、動き検出部２２から供給される動きベクトルに基づいて、垂直方向にキュービック補間を行うフィルタリングを行う、例えば、４タップのフィルタである。垂直キュービック補間フィルタ１４２のフィルタ特性は、図２４Ｄに示すように、高域（周波数f_sを超える周波数）側が、動き検出部２２から供給される動きベクトルによって変化するが、低域（周波数f_s以下の周波数）側では、ゲインが１になっている。

このため、図２４Ｄのフィルタ特性の垂直キュービック補間フィルタ１４２において、図２４Ｂの、周波数f_s/2以下の周波数成分のみを有する拡大画像をフィルタリングすることにより得られる位置合わせ画像では、図２４Ｃに示すように、図２４Ｂの拡大画像と周波数特性が、そのまま維持される。

すなわち、垂直キュービック補間フィルタ１４２のフィルタリングの結果得られる位置合わせ画像は、周波数f_s以下において、垂直方向の信号成分と折り返し成分を含む画像となる。

図２５は、垂直キュービック補間フィルタ１４２の、より詳細な周波数特性を示している。

垂直キュービック補間フィルタ１４２のフィルタ特性は、周波数f_sを超える周波数側が、動き検出部２２から供給される動きベクトルによって変化するが、周波数f_s以下の周波数側では、ゲインが（ほぼ）１になっている。

次に、図２６を参照して、図１７の分離部１１３について説明する。

図２６Ａは、図１７の分離部１１３の構成例を示している。

なお、図中、図１４Ａの分離部２７と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図２６Ａの分離部１１３は、演算部８２を有する点で、図１４Ａの分離部２７と一致し、垂直LPF８１に代えて、垂直LPF１５１を有する点で、図１４Ａの分離部２７と相違する。

垂直LPF１５１は、記憶部２８に記憶された出力画像S_n-1を垂直方向にフィルタリングすることにより、出力画像S_n-1の低周波数成分L_nを抽出し、演算部８２と、混合部２５に供給する。

図２６Ｂは、垂直LPF１５１のフィルタ特性を示している。

分離部１１３のフィルタである垂直LPF１５１は、入力画像に含まれる折り返し成分の方向である垂直方向のフィルタ特性として、拡大部１１１のフィルタである垂直LPF１３３及び広帯域LPF１３５（図２０）と、位置合わせ部１１２のフィルタである垂直キュービック補間フィルタ１４２（図２０）とを縦続接続した縦続接続フィルタと同一の特性を有する。

図２６Ｃは、図１７の画像処理装置で得られる出力画像S_nの垂直方向の周波数特性の変化を示している。

なお、図２６Ｃにおいて、実線部分が信号成分を表し、点線部分が折り返し成分を表す。

記憶部２１（図１７）に記憶されたNフレームの入力画像のうちの、１フレーム目が注目画像とされた場合には、その１フレーム目の入力画像A₁の拡大画像B₁が、そのまま、出力画像S₁として、記憶部２８に記憶される。

そして、以降は、混合部２５において、位置合わせ部１１２からの位置合わせ画像C_nと、出力画像S_n-1の低周波数成分L_nとが混合されることにより、混合画像D_nが生成され、加算部２６において、混合画像D_nと、出力画像S_n-1の高周波数成分H_nとが加算されることにより、新たな出力画像S_nが生成される混合加算が、記憶部２１（図１７）に記憶されたNフレームの入力画像を、順次、注目画像として、繰り返される。

以上の混合加算が繰り返されると、上述した高解像度化原理により、1フレーム目の入力画像A₁を注目画像として行われた混合加算によって得られる出力画像S₁は、入力画像A₁の解像度で、折り返し成分を含む画像であるが、混合加算が進行するにつれ、すなわち、注目画像とされる入力画像A_nが多くなっていくにつれ、混合加算によって得られる出力画像S_nは、図２６Ｃに示すように、高解像度で（高域f_s/2ないしf_sの信号成分が復元され）、かつ、折り返し成分が減衰した高画質の画像になっていく。

次に、図２７を参照して、図２６の分離部１１３のフィルタである垂直LPF１５１のフィルタ特性について、さらに説明する。

図２７Ａは、図２０の拡大部１１１の垂直LPF１３４、及び、広帯域LPF１３５、並びに、位置合わせ部１１２の垂直キュービック補間フィルタ１４２のフィルタ特性を示している。

図２７Ｂは、図２０の拡大部１１１の垂直LPF１３４、及び、広帯域LPF１３５、並びに、位置合わせ部１１２の垂直キュービック補間フィルタ１４２を縦続接続した縦続接続フィルタのフィルタ特性を示している。

縦続接続フィルタは、図２７Ｂに示すように、周波数f_s以下のゲインが、図２７Ａの垂直LPF１３４と同様で、かつ、周波数f_s以上のゲインが０のフィルタとなる。

ここで、縦続接続フィルタの周波数f_s以上のゲインが０になるのは、図２７Ａの広帯域LPF１３５の影響による。

分離部１１３の垂直LPF１５１（図２６）としては、理想的には、図２７Ｂに示した、周波数f_s以上のゲインが０となるフィルタ特性のLPFを採用すべきである。

但し、拡大部１１１の垂直LPF１３４（図２０）は、図２３Ｆで説明したように、周波数f_s以上については、周波数1.5f_s付近の周波数成分を幾らか通すだけのフィルタであり、したがって、周波数f_s以上のゲインは、ほぼ０に近い。

したがって、拡大部１１１の垂直LPF１３４は、図２７Ｂの縦続接続フィルタのフィルタ特性と類似している。分離部１１３の垂直LPF１５１（図２６）としては、縦続接続フィルタと同一のフィルタ特性のフィルタの他、そのフィルタ特性と類似するフィルタ特性を有する垂直LPF１３４と同一のフィルタを採用することができる。

すなわち、図２０において、垂直LPF１３４は、フィルタ係数が{1/16,2/16,3/16,4/16,3/16,2/16,1/16}の垂直LPFであるから、図２６の分離部１１３の垂直LPF１５１としても、フィルタ係数が{1/16,2/16,3/16,4/16,3/16,2/16,1/16}の垂直LPFを採用することができる。

図２８は、図１７の画像処理装置で得られる出力画像の垂直方向の周波数特性を示している。

上述したように、図１７の画像処理装置で得られる出力画像は、垂直方向については、周波数f_s以下の帯域にのみ、周波数成分が存在し、それ以上の、周波数帯域f_sないし2f_sを含む高周波数側の帯域には、周波数成分が存在しない。したがって、０値補間によって垂直方向のサンプリング周波数が周波数4f_sになっている出力画像は、その垂直方向の画素数を、1/2に縮小することができる。

なお、図２０では、補間部１３３において０値補間を行い、さらに、垂直LPF１３４においてフィルタリングを行うことで、垂直方向の画素数を４倍にしたが、実際の実装では、単に、線形補間を行うことで、垂直方向の画素数を４倍にすることができる。

また、図２０では、垂直LPF１３４と広帯域LPF１３５とを、別々に設けるようにしたが、垂直LPF１３４と広帯域LPF１３５とは、１個のフィルタで構成することが可能である。

さらに、上述したように、拡大部１１１の垂直LPF１３４（図２０）は、周波数f_s以上のゲインが、０に近いので（図２３Ｆ）、拡大部１１１は、周波数f_s以上の周波数成分を除去するための広帯域LPF１３５を設けずに構成することができる。

また、図２０では、拡大部１１１のフィルタとして、線形補間を行う垂直LPF１３４を採用したが、拡大部１１１のフィルタとしては、その他、例えば、最近傍補間を行うフィルタや、キュービック補間を行うフィルタ等を、垂直LPF１３４に代えて採用することができる。

さらに、図１７の画像処理装置では、図９等の画像処理装置と同様に、折り返し成分を除去した出力画像の他、ノイズ成分を除去した出力画像を得ることも可能である。

［第５実施の形態］

図２９は、本発明を適用した画像処理装置の第５実施の形態の構成例を示すブロック図である。

なお、図中、図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図２９の画像処理装置は、記憶部２１、拡大部２３、位置合わせ部２４、混合部２５、加算部２６、分離部２７、及び、記憶部２８を有する点で、図９の画像処理装置と一致する。

但し、図２９の画像処理装置は、動き検出部２２に代えて動き検出部１７１が設けられ、かつ、動体混合部１７２が新たに設けられている点で、図９の画像処理装置と相違する。

なお、図９の画像処理装置ではなく、例えば、上述した図１７の画像処理装置等の静止画用混合加算を行う画像処理装置を、図２９に示すように構成することも可能である。

図９の画像処理装置では、入力画像A_nに、動きが（ほとんど）ない被写体のみが映っていることを前提としたが、入力画像A_nには、動いている被写体（以下、動体ともいう）が映っていることがある。

入力画像A_nに、動体が映っている場合、図９の画像処理装置では、Nフレームの入力画像A₁ないしA_Nに映っている、異なる位置にある動体が、混合加算によって、出力画像に現れ、これにより、出力画像は、長い露出時間で撮影した写真のような、いわゆる動きぼけがある画像となる。

図２９の画像処理装置では、入力画像A_nに動体が映っていても、動きぼけがない出力画像を生成することができるようになっている。

すなわち、図２９において、動き検出部１７１は、図９の動き検出部２２（図１０）と同様に、動きベクトルを検出し、位置合わせ部２４に供給する。さらに、動き検出部１７１は、記憶部２１に記憶された、基準となる入力画像A₁と、混合加算の対象となる入力画像A_nとを用い、位置合わせ後の拡大画像B_n（位置合わせ画像C_n）について、各画素の、拡大画像B₁（ひいては、直前に得られた出力画像S_n-1）に対する動きの程度を判定し、その動きの程度を表す動き情報を、動体混合部１７２に供給する。

なお、動き検出部１７１において、拡大画像B_nの各画素の動きの程度は、入力画像A₁及びA_nではなく、拡大画像B₁及びB_nを用いて判定することも可能である。但し、入力画像A₁及びA_nは、拡大画像B₁及びB_nに比較して、画素数が少ないので、拡大画像B₁及びB_nを用いるよりも、入力画像A₁及びA_nを用いた方が、演算量を低減することができる。

動体混合部１７２は、混合部２５及び加算部２６とともに、図２の混合加算部１５に対応する。

動体混合部１７２には、動き検出部１７１から動き情報が供給される他、加算部２６から、新たな出力画像S_nが供給されるとともに、記憶部２８から、直前に得られた出力画像S_n-1が供給される。

動体混合部１７２は、動き検出部１７１から供給される動き情報に基づき、動きがある画素については、直前に得られた出力画像S_n-1の重みが大となり、動きがない画素については、新たな出力画像S_nの重みが大となる重みに従って、直前に得られた出力画像S_n-1と、新たな出力画像S_nとを混合する動体混合を行うことで、新たな出力画像S_nを修正し、記憶部２８に供給する。

ここで、動き検出部１７１から動体混合部１７２に供給される動き情報を、βと表し、動き情報は、０ないし１の範囲の実数値をとることとする。なお、動き情報βは、値が０である場合に、静止（動きがないこと）を表し、値が大きいほど、動きが大であることを表すこととする。

また、動き情報βのうちの、位置合わせ後の拡大画像B_nの位置tの画素の動きの程度を表す動き情報を、β(t)と、新たな出力画像S_nの位置tの画素の画素値を、s(t)と、直前に得られた出力画像S_n-1の位置tの画素の画素値を、s'(t)と、それぞれ表すこととする。

動体混合部１７２は、直前に得られた出力画像S_n-1の各画素（新たな出力画像S_nの各画素でもある）について、式（１５）に従って動体混合を行うことで、新たな出力画像S_nを修正する。

s(t) = β(t)×s'(t) + (1-β(t))×s(t)
・・・（１５）

いま、説明を簡単にするために、動き情報βが、０又は１であるとすると、式（１５）によれば、動き情報βが０である画素、すなわち、動きがない画素については、新たな出力画像S_nの画素値が、そのまま、修正後の新たな出力画像S_nの画素値として採用され、動き情報βが１である画素、すなわち、動きがある画素については、直前に得られた出力画像S_nの画素値が、修正後の新たな出力画像S_nの画素値として採用される。

この場合、入力画像A₁ないしA_Nにおいて動体が映っている部分に対応する出力画像の部分には、入力画像A₁が現れ、出力画像の他の部分には、混合加算によって、画質が向上した画像が現れる。

図２９の画像処理装置によれば、図９の画像処理装置と同様に、画像の、柔軟な高解像度化を図ることができる。

また、図２９の画像処理装置では、動体混合が行われることで、動体の部分の混合加算の結果が、出力画像に現れないので、入力画像A_nに、動体が映っている場合に、出力画像に、動体に起因する動きぼけが生じることを防止することができる。なお、動体の部分以外の部分（静止している被写体の部分）については、混合加算によって、折り返し成分が除去され、かつ、高解像度化される（ナイキスト周波数以上の信号成分が復元される）。

図２９の画像処理装置は、例えば、動画の連続する複数フレームから高画質の静止画を生成して、外部のメモリその他の記憶（記録）媒体に保存する機能等を備えた、インタレース方式の画像を扱う家庭用ビデオカメラ等に適用することができる。

なお、前述した動き検出処理、広帯域補間処理、及び、加重和処理を行う従来の高解像度化技術では、動体が映っている部分かどうかによって、加重和処理で混合（重み付け加算）を行うフレーム数(画像の枚数）を変えることは、困難である。

図３０は、図２９の動き検出部１７１の構成例を示している。

なお、図中、図１０の動き検出部２２と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図３０の動き検出部１７１は、水平LPF４１ないし統計処理部４６が設けられている点で、図１０の動き検出部２２と一致し、動き判定部１８１が新たに設けられている点で、図１０の動き検出部２２と相違する。

動き判定部１８１には、垂直LPF４３から基準画像M₁が供給されるとともに、比較画像M_nが供給される。さらに、動き判定部１８１には、統計処理部４６から動きベクトル（グローバル動きベクトル）が供給される。

動き判定部１８１は、統計処理部４６からの動きベクトルに基づき、垂直LPF４４からの比較画像M_nを、垂直LPF４３からの基準画像M₁の位置に合わせる位置合わせをし、位置合わせ後の比較画像M_nの画素を、順次、注目画素とする。

さらに、動き判定部１８１は、位置合わせ後の比較画像M_nの注目画素と、基準画像M₁の対応する画素(注目画素と同一位置の画素）との画素値の差分絶対値sを求める。

そして、動き判定部１８１は、差分絶対値sと所定の閾値との大小関係を判定し、その大小関係に基づき、注目画素の動きの程度を判定することで、注目画素の動きの程度を表す動き情報βを求める。

すなわち、動き判定部１８１は、式Th₁＜Th₂を満たす２つの閾値Th₁及びTh₂を用い、例えば、差分絶対値sが、式s<Th₁を満たす場合には、動き情報βをβ=0.0とし、差分絶対値sが、式Th₁≦s≦Th₂を満たす場合には、動き情報βを、β=(s-Th₁)/(Th₂-Th₁)とする。

また、動き判定部１８１は、差分絶対値sが、式s>Th₂を満たす場合には、動き情報βを1.0とする。

ここで、基準画像M₁及び比較画像M_nの画素値が、例えば、１０ビットで表現される場合には、閾値Th₁及びTh₂としては、例えば、Th₁=8.0，Th₂=16.0を採用することができる。

なお、上述の場合には、画素単位で求められた差分絶対値sに基づいて、動き情報βを求めたが、その他、例えば、複数の画素からなるブロック単位で、ブロックを構成する画素の画素値の差分絶対値の総和s'を求め、その総和s'を、差分絶対値sと同様に用いて、動き情報βを求めることが可能である。この場合、ブロックを構成する画素の動き情報βは、すべて同一となる。

また、比較画像M_nの各画素について得られた動き情報βには、動き部分の取りこぼしを防止するため、さらに、ダイレーション(dilation)処理を施すことができる。

ここで、図２９では、拡大部２３において、入力画像の垂直方向のみの画素数を２倍にした拡大画像が求められるため、位置合わせ後の拡大画像B_nの垂直方向の画素数は、位置合わせ後の比較画像M_nの垂直方向の画素数の２倍になっている。

このため、動き検出部１７１は、位置合わせ後の比較画像M_nの各画素の動き情報βを用いた線形補間等によって、位置合わせ後の拡大画像B_nの各画素の動き情報βを求め、動体混合部１７２に供給する。

さらに、上述の場合には、動き検出部１７１は、位置合わせ後の拡大画像B_n、すなわち、位置合わせ画像C_nの各画素の動き情報βを求めたが、動き検出部１７１では、必要に応じて、位置合わせ後の拡大画像B_n（位置合わせ画像C_n）に代えて、位置合わせ前の拡大画像B_nの各画素の動き情報βを求めることができる。

すなわち、図２９の画像処理装置では、静止画用混合加算が行われるが、静止画用混合加算が行われる場合には、動き検出部１７１では、位置合わせ後の拡大画像B_nの各画素の動き情報βが求められる。

また、動画用混合加算が行われる、後述する画像処理装置においては、動き検出部１７１では、混合加算の対象の入力画像A_nを、基準画像とするとともに、その１フレーム前の入力画像A_n-1を比較画像として、動きベクトル（グローバル動きベクトル）が求められる。さらに、動き検出部１７１では、その動きベクトルに基づいて、1フレーム前の入力画像A_n-1を、入力画像A_nの位置に合わせる位置合わせが行われる。そして、動き検出部１７１では、入力画像A_nの各画素について、位置合わせ後の入力画像A_n-1との差分絶対値sが求められ、この差分絶対値sに基づき、位置合わせ前の拡大画像B_nの各画素の動き情報βが、上述したように求められる。

［第６実施の形態］

図３１は、本発明を適用した画像処理装置の第６実施の形態の構成例を示すブロック図である。

なお、図中、図２９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図３１の画像処理装置は、記憶部２１、拡大部２３、位置合わせ部２４、加算部２６、分離部２７、記憶部２８、及び、動き検出部１７１を有する点で、図２９の画像処理装置と一致する。

但し、図３１の画像処理装置は、混合部２５に代えて混合部１９１が設けられており、動体混合を行う動体混合部１７２が設けられていない点で、図２９の画像処理装置と相違する。

混合部１９１では、混合部２５で行われる混合と、動体混合部１７２で行われる動体混合とが、同時に行われるようになっている。

すなわち、上述の式（３）で説明したように、混合部２５で得られる混合画像D_nの位置tの画素の画素値を、d(t)と、位置合わせ部２４で得られる位置合わせ画像C_nの位置tの画素の画素値を、c(t)と、分離部２７で得られる出力画像S_n-1の低周波数成分L_nのうちの、位置tの画素の画素値の低周波数成分を、l(t)と、それぞれ表すこととすると、混合部２５は、混合比αを用いた式（３）の演算、すなわち、式d(t) = α×c(t)+(1-α)×l(t)の演算を行うことで、混合画像D_nを求め、加算部２６に供給する。

一方、混合部１９１には、位置合わせ部２４から位置合わせ画像C_nが供給されるとともに、分離部２７から出力画像S_n-1の低周波数成分L_nが供給される他、動き検出部１７１から、動き情報βが供給されるようになっている。

混合部１９１は、式（３）の混合比αを、動き検出部１７１からの動き情報βに応じて、混合比α'（０<α<1）に調整し、その調整後の混合比α'を、混合比αに代えて用いることで、混合部２５で行われる混合と、動体混合部１７２で行われる動体混合とを同時に行う。

具体的には、混合部１９１は、式（１６）に従って、混合比αを、混合比α'に調整し、その調整後の混合比α'を用いた式（１７）を演算することにより、混合画像D_nを求め、加算部２６に供給する。

α’= α×(1-β(t))
・・・（１６）
d(t) = α'×c(t)+(1-α')×l(t)
・・・（１７）

ここで、β(t)は、位置tの画素の動き情報βを表す。

動きがある画素、すなわち、例えば、動き情報βが１の画素については、修正後の混合比α'は０となり、直前に得られた出力画像S_n-1（ひいては、入力画像A₁の拡大画像B₁）（の低周波成分l(t)）が現れる。一方、動きがない画素（静止している画素）、すなわち、例えば、動き情報βが０の画素については、修正後の混合比α'は、元の混合比αとなり、位置合わせ画像C_n(c(t))と、出力画像S_n-1の低周波数成分L_n(l(t))との、混合比αを重みとする混合（重み付け加算）が行われる。

以上のように、図３１の画像処理装置では、混合部１９１において、図２９の画像処理装置における混合部２５で行われる混合と、動体混合部１７２で行われる動体混合とが、同時に行われるので、演算量を削減することができる。

なお、混合比αは、混合加算に用いられる位置合わせ画像C_nが、何フレーム目の入力画像A_nに対応する画像であるかに応じた可変の値とすることができる。

すなわち、位置合わせ画像C_nの混合加算がされるときには、混合比αは、例えば、1/nとすることができる。この場合、混合加算において、位置合わせ画像C₁ないしC_Nの低周波数成分それぞれは、均一の割合で混合される。

［第７実施の形態］

図３２は、本発明を適用した画像処理装置の第７実施の形態の構成例を示すブロック図である。

なお、図中、図１５、又は、図２９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図３２の画像処理装置は、記憶部２１、拡大部２３、位置合わせ部２４、混合部２５、加算部２６、分離部２７、及び、記憶部２８を有する点で、図１５の画像処理装置と一致する。

但し、図３２の画像処理装置は、動き検出部２２に代えて図２９の動き検出部１７１が設けられており、図２９の動体混合部１７２が新たに設けられている点で、図１５の画像処理装置と相違する。

図３２の画像処理装置では、入力画像A_nが動画であり、動画用混合加算が行われる。

したがって、動き検出部１７１では、図１５で説明したように、混合加算の対象の入力画像A_nを、基準画像とするとともに、その直前（１フレーム前）の入力画像A_n-1を比較画像として、動きベクトル（グローバル動きベクトル）が求められる。

さらに、動き検出部１７１では、図３０で説明したように、位置合わせ前の拡大画像B_nの各画素の、１フレーム前の拡大画像B_n-1に対する動きの程度を表す動き情報βが求められ、動体混合部１７２に供給される。

また、動画用混合加算が行われる図３２の画像処理装置では、動体混合部１７２には、図２９の場合と異なり、記憶部２８からの出力画像S_n-1に代えて、拡大部２３からの拡大画像B_nが供給されるようになっている。

そして、動き検出部１７１から動体混合部１７２に供給される動き情報βのうちの、位置合わせ前の拡大画像B_nの位置tの画素の動きの程度を表す動き情報βを、β(t)と、加算部２６から動体混合部１７２に供給される新たな出力画像S_nの位置tの画素の画素値を、s(t)と、拡大部２３から動体混合部１７２に供給される拡大画像（位置合わせ前の拡大画像）B_nの位置tの画素の画素値を、b(t)と、それぞれ表すこととすると、動体混合部１７２は、拡大画像B_nの各画素（新たな出力画像S_nの各画素でもある）について、式（１８）に従って動体混合を行うことで、新たな出力画像S_nを修正する。

s(t) = β(t)×b(t) + (1-β(t))×s(t)
・・・（１８）

式（１８）によれば、動体混合部１７２では、動きがある画素については、拡大画像B_nの重みが大となり、動きがない画素については、新たな出力画像S_nの重みが大となる重みに従って、拡大画像B_nと、新たな出力画像S_nとを混合する動体混合が行われる。

すなわち、いま、説明を簡単にするために、動き情報βが、０又は１であるとすると、式（１８）によれば、動き情報βが０である画素、すなわち、動きがない画素については、新たな出力画像S_nの画素値が、そのまま、修正後の新たな出力画像S_nの画素値として採用され、動き情報βが１である画素、すなわち、動きがある画素については、拡大画像B_nの画素値が、修正後の新たな出力画像S_nの画素値として採用される。

この場合、拡大画像B_nにおいて動体が映っている部分に対応する出力画像の部分には、拡大画像B_nが現れ、出力画像の他の部分には、混合加算によって、画質が向上した画像が現れる。

図３２の画像処理装置によれば、図９の画像処理装置と同様に、画像の、柔軟な高解像度化を図ることができる。

また、図３２の画像処理装置では、動画用混合加算、及び、動体混合が行われることで、１フレームの入力画像A_nに対して、１フレームの出力画像S_nを出力することができ、動画の入力画像A_nについて、静止している被写体の部分の高画質化を図ることができる。

なお、図３２の画像処理装置によれば、例えば、動画のIP変換を行うことができ、IP変換を行うTV等に適用することができる。

［第８実施の形態］

図３３は、本発明を適用した画像処理装置の第８実施の形態の構成例を示すブロック図である。

なお、図中、図１６、又は、図３２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図３３の画像処理装置は、記憶部２１、拡大部２３、位置合わせ部２４、混合部２５、加算部２６、分離部２７、記憶部２８、及び、選択部１０１ないし１０３を有する点で、図１６の画像処理装置と一致する。

但し、図３３の画像処理装置は、動き検出部２２に代えて図３２の動き検出部１７１が設けられており、さらに、図３２の動体混合部１７２が新たに設けられているとともに、選択部１０４が新たに設けられている点で、図１６の画像処理装置と相違する。

図３３の画像処理装置では、静止画用混合加算と、動画用混合加算とを、選択的に行うことができるようになっている。図３３の画像処理装置において、静止画用混合加算、及び動画用混合加算のうちのいずれを行うかは、例えば、記憶部２１に供給される入力画像に応じて選択される。

すなわち、図３３の画像処理装置では、例えば、記憶部２１に供給される入力画像が、静止画及び動画のうちのいずれであるかが判定され、入力画像が静止画である場合には、静止画用混合加算が行われ、入力画像が動画である場合には、動画用混合加算が行われる。

その他、図３３の画像処理装置では、例えば、静止画の撮影を行うか、又は、動画の撮影を行うか等のユーザの操作に応じて、静止画用混合加算、又は動画用混合加算を行うことを選択することができる。

図３３において、選択部１０４の端子ａには、拡大部２３から、拡大画像が供給され、端子ｂには、記憶部２８から、１フレーム前の出力画像（直前に得られた出力画像）が供給される。

選択部１０４は、端子ａに供給される拡大画像、又は、端子ｂに供給される直前に得られた出力画像を選択し、動体混合の対象として、動体混合部１７２に供給する。

図３３の画像処理装置において、静止画用混合加算が行われる場合には、図１６で説明したように、第１の処理として、選択部１０１ないし１０３のすべてが、端子ａ及びｂのうちの、端子ａを選択するが、さらに、選択部１０４も、端子ａ及びｂのうちの、端子ａを選択する。

その結果、選択部１０４は、記憶部２８から端子ａに供給される、直前に得られた出力画像を選択し、動体混合部１７２に供給する。

これにより、図３３の画像処理装置では、記憶部２１、拡大部２３ないし記憶部２８、動き検出部１７１、及び、動体混合部１７２が、図２９の画像処理装置の記憶部２１、拡大部２３ないし記憶部２８、動き検出部１７１、及び、動体混合部１７２と同一の接続状態となって、図２９の場合と同様の処理が行われる。

したがって、図３３において、動体混合部１７２では、上述の式（１５）の演算が行われることで、動き検出部１７１から供給される動き情報に基づき、動きがある画素については、記憶部２８からの直前に得られた出力画像S_n-1の重みが大となり、動きがない画素については、加算部２６からの新たな出力画像S_nの重みが大となる重みに従って、直前に得られた出力画像S_n-1と、新たな出力画像S_nとを混合する動体混合が行われる。

その結果、例えば、静止画である入力画像に、動体が映っている場合に、出力画像に、動体に起因する動きぼけが生じることを防止することができる。

一方、図３３の画像処理装置において、動画用混合加算が行われる場合には、図１６で説明したように、第２の処理として、選択部１０１ないし１０３のすべてが、端子ａ及びｂのうちの、端子ｂを選択するが、さらに、選択部１０４も、端子ａ及びｂのうちの、端子ｂを選択する。

その結果、選択部１０４は、拡大部２３から端子ｂに供給される拡大画像（位置合わせ前の拡大画像）を選択し、動体混合部１７２に供給する。

これにより、図３３の画像処理装置では、記憶部２１、拡大部２３ないし記憶部２８、動き検出部１７１、及び、動体混合部１７２が、図３２の画像処理装置の記憶部２１、拡大部２３ないし記憶部２８、動き検出部１７１、及び、動体混合部１７２と同一の接続状態となって、図３２の場合と同様の処理が行われる。

したがって、図３３において、動体混合部１７２では、上述の式（１８）の演算が行われることで、動き検出部１７１から供給される動き情報に基づき、動きがある画素については、拡大部２３からの拡大画像B_nの重みが大となり、動きがない画素については、加算部２６からの新たな出力画像S_nの重みが大となる重みに従って、拡大画像B_nと、新たな出力画像S_nとを混合する動体混合が行われる。

その結果、動画の入力画像に対して、（静止している被写体の部分の）画質が向上した動画としての出力画像を出力することができる。

以上のように、図３３の画像処理装置では、図２９又は図３２の画像処理装置に、スイッチ１０１ないし１０４を追加するという、装置の規模（画像処理装置を、コンピュータにプログラムを実行させることで実現する場合の、そのプログラムのコードの量を含む）の僅かな増加だけで、図２９の画像処理装置が行う処理（静止画用混合加算）、及び、図３２の画像処理装置が行う処理（動画用混合加算）の両方を行うことができる。

［第９実施の形態］

図３４は、本発明を適用した画像処理装置の第９実施の形態の構成例を示すブロック図である。

なお、図中、図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図３４の画像処理装置は、記憶部２１、動き検出部２２、位置合わせ部２４、混合部２５、加算部２６、及び、記憶部２８を有する点で、図９の画像処理装置と一致する。

但し、図３４の画像処理装置は、拡大部２３に代えて拡大部２０１が設けられ、分離部２７に代えて、分離部２０２が設けられている点で、図９の画像処理装置と相違する。

図９の画像処理装置では、１方向である垂直方向の折り返し成分が含まれる入力画像を対象としたが、図３４の画像処理装置では、２方向である水平方向及び垂直方向の折り返し成分が含まれる入力画像を対象として、折り返し成分が除去され、かつ、高解像度化された出力画像が生成される。

ここで、水平方向及び垂直方向の折り返し成分が含まれる入力画像としては、例えば、いわゆるモノクロの撮像素子や、単板式のディジタルカメラの撮像素子で撮影されて出力される画像がある。

撮像素子が出力する画像は、各種の特性のレンズや、センサとしての撮像素子での積分（電荷の積分）等に相当する光学フィルタで、折り返し成分がない画像をフィルタリングし、そのフィルタリング結果を、撮像素子の画素でサンプリングしたものと考えることができる。光学フィルタを、理想的なフィルタ（撮像素子の画素でのサンプリングのサンプリング周波数の1/2以下を通過帯域とするフィルタ）とすることは困難であるため、撮像素子が出力する画像には、光学フィルタによるフィルタリング後の信号の高周波数成分が、折り返し成分として含まれる。

なお、以下、２次元の画素の集合、及び、２次元フィルタを、以下のように表す。

すなわち、例えば、横×縦が、３×３画素の集合を、((A,B,C),(D,E,F),(G,H,I))と表す。ここで、３×３画素の集合((A,B,C),(D,E,F),(G,H,I))においては、１行目に、左から、画素（画素値）A,B,Cが、その順で並び、２行目に、左から、画素D,E,Fが、その順で並び、さらに、３行目に、左から、画素G,H,Iが、その順で並んでいる。

また、例えば、横×縦が３×３タップの２次元フィルタ（FIRフィルタ）のフィルタ係数を、{{a,b,c},{d,e,f},{g,h,i}}と表す。

上述した３×３画素の集合((A,B,C),(D,E,F),(G,H,I))のうちの、中心の画素Eに対する、フィルタ係数が{{a,b,c},{d,e,f},{g,h,i}}の２次元フィルタのフィルタリング結果は、例えば、式aA+bB+cC+dD+eE+fF+gG+hH+iIで表される。

図３５を参照して、図３４の拡大部２０１の処理について説明する。

図３５Ａは、図３４の画像処理装置で処理の対象となる入力画像を示している。

図３４の画像処理装置で処理の対象となる入力画像は、例えば、水平方向と垂直方向の折り返し成分を含むモノクロ（白黒）の静止画の画像である。

拡大部２０１（図３４）は、入力画像の水平方向と垂直方向のそれぞれの画素数を２倍にした拡大画像を生成する。

すなわち、拡大部２０１は、入力画像の水平方向と垂直方向のうちの、例えば、水平方向に隣接する画素どうしの間に、１個のゼロ点を挿入し、さらに、その結果得られる画像の垂直方向に隣接する画素どうしの間に、１個のゼロ点を挿入することで、入力画像の水平方向と垂直方向のそれぞれの画素数を２倍にした０値補間画像を生成する。

図３５Ｂは、図３５Ａの入力画像から生成された０値補間画像を示している。

図中、白丸印が、入力画像の画素（元の画素）を表し、黒丸印が、ゼロ点を表す。

いま、入力画像の水平方向及び垂直方向のサンプリング周波数を、周波数f_sとすると、上述のように、水平方向と垂直方向のそれぞれにゼロ点を挿入して得られる０値補間画像のサンプリング周波数は、入力画像のサンプリング周波数f_sの２倍の周波数2f_sとなる。

図３５Ｃは、図３５Ｂの０値補間画像の周波数特性を示している。

図３５Ｃにおいて、横軸は、水平方向の周波数（水平周波数）を表し、縦軸は、垂直方向の周波数（垂直周波数）を表す。

また、図３５Ｃにおいて、実線部分は、信号成分を表し、点線部分は、折り返し成分を表す。

０値補間画像では、入力画像の信号成分の高周波数成分が復元されているが、折り返し成分も発生しており、信号成分と折り返し成分とが混在している。

拡大部２０１では、０値補間後に、画素値の平均値が変化しないように、元の画素値が調整される。すなわち、拡大部２０１は、０値補間画像の画素のうちの、入力画像の画素の画素値を、４倍にする。

その後、拡大部２０１は、０値補間画像を、例えば、フィルタ係数が{{1/16,1/8,1/16},{1/8,1/4,1/8},{1/16,1/8,1/16}}の２次元フィルタでフィルタリングすることで、拡大画像を生成する。

図３５Ｄは、図３５Ｂの０値補間画像から生成された拡大画像を示している。

図３５Ｄにおいて、画素A,B,C,D,E,Fは、入力画像の画素であり、他の画素が、ゼロ点が挿入された位置の画素である。

図３５Ｄにおいて、画素AとDとの間の画素A₁の画素値は、画素AとDの画素値の平均値((A+D)/2)となる。また、画素AとBとの間の画素A₂の画素値は、画素AとBの画素値の平均値((A+B)/2)となる。さらに、画素A,B,D、及びEの中心の位置の画素A₃の画素値は、画素AないしDの画素値の平均値((A+B+D+E)/4)となる。

したがって、拡大部２０１では、実質的に、入力画像の２次元の線形補間が行われることによって、入力画像の水平方向と垂直方向のそれぞれの画素数を２倍にした拡大画像が生成される。

ここで、図３４の画像処理装置において、分離部２０２のフィルタは、図９の画像処理装置の場合と同様に、拡大部２０１のフィルタである、上述したフィルタ係数が{{1/16,1/8,1/16},{1/8,1/4,1/8},{1/16,1/8,1/16}}の２次元フィルタと、位置合わせ部２４のフィルタである水平多タップAPF７１及び垂直多タップAPF７２（図１３）とを縦続接続した縦続接続フィルタと同一の特性を有する。

したがって、図３４の画像処理装置によれば、上述した高解像度化原理に基づき、画像の、柔軟な高解像度化を図ることができ、入力画像の水平方向及び垂直方向の折り返し成分が除去され、かつ、高解像度化された出力画像が生成される。

なお、位置合わせ部２４の水平多タップAPF７１及び垂直多タップAPF７２（図１３）は、上述したように、拡大画像に含まれる周波数成分すべてを通過させる、多タップのAPFであるため、分離部２０２のフィルタのフィルタ特性は、結局、拡大部２０１のフィルタ、すなわち、フィルタ係数が{{1/16,1/8,1/16},{1/8,1/4,1/8},{1/16,1/8,1/16}}の２次元フィルタと同一となる。

図３６は、図３４の拡大部２０１の構成例を示している。

図３６において、拡大部２０１は、補間部２１１及び２１２、並びに、２次元LPF２１３から構成される。

補間部２１１には、記憶部２１に記憶された入力画像が供給される。補間部２１１は、記憶部２１からの入力画像の水平方向に隣接する画素どうしの間に、１個のゼロ点を挿入する０値補間を行い、その結果得られる画像を、補間部２１２に供給する。

補間部２１２は、補間部２１１からの画像の垂直方向に隣接する画素どうしの間に、１個のゼロ点を挿入する０値補間を行い、その結果得られる、入力画像の水平方向と垂直方向のそれぞれの画素数を２倍にした０値補間画像を、２次元LPF２１３に供給する。

２次元LPF２１３は、例えば、上述したフィルタ係数が{{1/16,1/8,1/16},{1/8,1/4,1/8},{1/16,1/8,1/16}}の２次元フィルタであり、補間部２１２からの０値補間画像を、水平方向及び垂直方向にフィルタリングし、その結果得られる拡大画像を、位置合わせ部２４（図３４）に供給する。

次に、図３７を参照して、図３４の拡大部２０１の他の構成例について説明する。

図３７Ａは、図３４の拡大部２０１の他の構成例を示すブロック図である。

なお、図中、図３６の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

すなわち、図３７Ａの拡大部２０１は、補間部２１１及び２１２が設けられている点で、図３６の場合と一致する。

但し、図３７Ａの拡大部２０１は、２次元LPF２１３が設けられておらず、水平LPF２２１及び垂直LPF２２２が新たに設けられている点で、図３６の場合と相違する。

図３７Ａでは、補間部２１１において生成された、入力画像の水平方向に隣接する画素どうしの間に、１個のゼロ点を挿入する０値補間を行って得られる０値補間画像が、水平LPF２２１に供給される。

水平LPF２２１は、例えば、フィルタ係数が{1/4,1/2,1/4}のLPFであり、補間部２１１からの０値補間画像を、水平方向にフィルタリングし、その結果得られる画像を、補間部２１２に供給する。

補間部２１２では、水平LPF２２１からの画像の垂直方向に隣接する画素どうしの間に、１個のゼロ点を挿入する０値補間が行われ、その結果得られる０値補間画像が、垂直LPF２２２に供給される。

垂直LPF２２２は、例えば、フィルタ係数が{1/4,1/2,1/4}のLPFであり、補間部２１２からの０値補間画像を、垂直方向にフィルタリングし、その結果得られる拡大画像を、位置合わせ部２４（図３４）に供給する。

図３７Ｂは、水平LPF２２１及び垂直LPF２２２である、フィルタ係数が{1/4,1/2,1/4}のLPFのフィルタ特性を示している。

図３７Ｃは、フィルタ係数が{1/4,1/2,1/4}のLPFでの水平方向のフィルタリングと、垂直方向のフィルタリングとを同時に行う２次元フィルタのフィルタ係数を示している。

フィルタ係数が{1/4,1/2,1/4}のLPFでの水平方向のフィルタリングと、垂直方向のフィルタリングとを同時に行う２次元フィルタのフィルタ係数は、{{1/16,1/8,1/16},{1/8,1/4,1/8},{1/16,1/8,1/16}}であり、したがって、水平LPF２２１による水平方向のフィルタリングと、垂直LPF２２２による垂直方向のフィルタリングとによって、図３６の２次元LPF２１３と同様のフィルタリングが行われる。

すなわち、図３６の拡大部２０１のフィルタである２次元LPF２１３と、図３７Ａの拡大部２０１のフィルタである水平LPF２２１及び垂直LPF２２２の組み合わせとは、同一のフィルタである。

図３８は、図３４の分離部２０２の構成例を示している。

なお、図中、図１４の分離部２７と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

すなわち、図３４の分離部２０２は、演算部８２が設けられている点で、図１４の分離部２７と一致し、垂直LPF８１に代えて２次元LPF２４１が設けられている点で、図１４の分離部２７と相違する。

上述した高解像度化原理に基づき、入力画像の折り返し成分が除去され、かつ、高解像度化された出力画像を生成するには、分離部２０２のフィルタは、拡大部２０１のフィルタである２次元LPF２１３（図３６）と、位置合わせ部２４のフィルタである水平多タップAPF７１及び垂直多タップAPF７２（図１３）とを縦続接続した縦続接続フィルタと同一（又は類似）の特性を有するフィルタである必要がある。

そこで、分離部２０２の２次元LPF２４１は、そのような縦続接続フィルタと同一の特性を有するフィルタとなっている。

なお、位置合わせ部２４の水平多タップAPF７１及び垂直多タップAPF７２（図１３）は、上述したように、拡大画像に含まれる周波数成分すべてを通過させる、多タップのAPFであるため、分離部２０２の２次元LPF２４１は、結局、拡大部２０１の２次元フィルタ２１３と同一の、フィルタ係数が{{1/16,1/8,1/16},{1/8,1/4,1/8},{1/16,1/8,1/16}}の２次元フィルタとなっている。

ここで、図３４の画像処理装置における入力画像、０値補間画像、拡大画像、位置合わせ画像、及び、出力画像の水平方向と垂直方向それぞれの周波数特性は、第１実施の形態（図９ないし図１４）における入力画像、０値補間画像、拡大画像、位置合わせ画像、及び、出力画像の垂直方向の周波数特性と同一であるため、その説明は、省略する。

図３４の画像処理装置によれば、水平方向と垂直方向の折り返し成分を含む入力画像について、図９の画像処理装置の場合と同様に、柔軟な高解像度化を図ることができる。

なお、図３４の画像処理装置でも、第４実施の形態（図１７ないし図２８）と同様に、拡大部２０１での入力画像の水平方向及び垂直方向の拡大率を、２倍ではなく、４倍以上とし、拡大画像と出力画像の位置合わせを行うためのフィルタ（位置合わせ部２４のフィルタ）を、少ないタップ数のフィルタで構成することが可能である。

この場合、図３４の画像処理装置では、図１７の画像処理装置で垂直方向に行われる処理が、水平方向と垂直方向のそれぞれに対して行われる。

また、図３４の画像処理装置のように、水平方向と垂直方向の折り返し成分を含む入力画像を対象とした処理は、例えば、図２９や、図３２、図３３等の画像処理装置でも、２次元フィルタを採用することで行うことが可能である。

図３４の画像処理装置は、例えば、高画質の静止画と動画が撮影可能な３板式のディジタルスチルカメラ等に適用することができる。

［第１０実施の形態］

図３９は、本発明を適用した画像処理装置の第１０実施の形態の構成例を示すブロック図である。

なお、図中、図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

図９の画像処理装置は、記憶部２１、動き検出部２２、位置合わせ部２４、混合部２５、加算部２６、及び、記憶部２８を有する点で、図９の画像処理装置と一致する。

但し、図３４の画像処理装置は、拡大部２３に代えて拡大部２６１が設けられ、分離部２７に代えて、分離部２６２が設けられている点で、図９の画像処理装置と相違する。

例えば、カラーの画像を出力する単板式のディジタルカメラでは、撮像素子で得られる画像は、１画素が、１つの色成分を画素値として有する、例えば、ベイヤ配列の画像になっている。

ベイヤ配列の画像では、１ライン目に、G成分の画素とB成分の画素とが交互に配置され、２ライン目に、R成分の画素とG成分の画素とが交互に配置され、以下、１ライン目と２ライン目の画素の配置が繰り返される。なお、ベイヤ配列の画像では、人の視覚の特性に基づき、G成分の画素が、R成分の画素やB成分の画素の２倍の数だけある。

折り返し成分のないベイヤ配列の画像の、ある１つの色成分に注目すると、その注目色成分の画素は、飛び飛びに配置されており、注目色成分の画素から構成される画像は、多くの折り返し成分を含む。

図３９の画像処理装置では、ベイヤ配列の画像から得られる、G成分の画素だけからなる画像（以下、G画像ともいう）、B成分の画素だけからなる画像（以下、B画像ともいう）、及び、R成分の画素だけからなる画像（以下、R画像ともいう）のそれぞれが、別個に処理され、これにより、折り返し成分が除去され、かつ、高解像度化されたG画像、B画像、及び、R画像が生成される。

すなわち、図３９の画像処理装置では、記憶部２１に対して、ベイヤ配列の画像が、入力画像として供給されて記憶される。

そして、動き検出部２２では、記憶部２１に記憶された入力画像の画素のうちの、例えば、最も画素数が多いG成分の画素を用いて、位置合わせのための動きベクトル（グローバル動きベクトル）が求められる。

すなわち、動き検出部２２は、入力画像の画素のうちの、G成分の画素以外の画素（B成分の画素、及び、R成分の画素）をゼロ点に置換する。この置換後の入力画像は、多くの折り返し成分を含むため、動き検出部２２は、置換後の入力画像をフィルタリングすることで、折り返し成分を含まない、直流に近い周波数成分だけからなる画像を生成し、その画像を、図１０で説明した基準画像及び比較画像として用いて、動きベクトルを求める。

この動きベクトルは、G画像、B画像、及び、R画像の位置合わせに共通して用いられる。

図３９の画像処理装置では、以下、拡大部２６１、位置合わせ部２４ないし加算部２６、分離部２６２、及び、記憶部２８において、図９の拡大部２３ないし記憶部２８と同様の処理が、G画像、B画像、及び、R画像のそれぞれについて行われる。

まず、B画像の処理について説明する。

なお、B画像とR画像とは、画素の位置が平行移動により一致する画像、すなわち、画素の配置のパターンが同一の画像である。したがって、R画像の処理は、以下説明するB画像の処理と同様であるので、R画像の処理については、説明を省略する。

図４０は、図３９の拡大部２６１がB画像について行う処理を説明する図である。

図４０Ａは、ベイヤ配列の画像を示している。

ベイヤ配列の画像では、１ライン目に、G成分の画素とB成分の画素とが交互に配置され、２ライン目に、R成分の画素とG成分の画素とが交互に配置され、以下、１ライン目と２ライン目の画素の配置が繰り返される。

図４０Ｂは、図４０Ａのベイヤ配列の画像のうちの、B成分の画素の配置を示している。

B成分の画素は、ベイヤ配列の画像において、水平方向と垂直方向のいずれの方向にも１画素おきに配置されており、このようなB成分の画素からなるB画像には、水平方向と垂直方向の多くの（強い）折り返し成分が含まれる。

なお、図４０Ｂにおいて、白丸印が、B成分の画素を表し、黒丸印が、他の色成分の画素を表す。

拡大部２６１（図３９）は、B画像の水平方向に隣接する画素どうしの間に１個のゼロ点を挿入する０値補間を行い、さらに、その０値補間後のB画像の垂直方向に隣接する画素どうしの間に１個のゼロ点を挿入する０値補間を行う。

すなわち、拡大部２６１は、図４０Ｂにおいて黒丸印で示す、B成分以外の色成分の画素の位置にゼロ点を挿入する０値補間によって、水平方向と垂直方向の画素数が、それぞれ元のB画像の２倍になった０値補間画像を生成する。

なお、拡大部２６１では、０値補間後に、画素値の平均値が変化しないように、元の画素値が調整される。すなわち、拡大部２６１は、０値補間画像の画素のうちの、B画像の元の画素の画素値を、４倍にする。

拡大部２６１で得られるB画像の０値補間画像は、B画像の水平方向と垂直方向の画素数が、それぞれ２倍になるから、元のベイヤ配列の画像と同一のサイズ（画素数）となる。いま、B画像の水平方向及び垂直方向のサンプリング周波数（B成分の画素のサンプリング周波数）を、周波数f_sとすると、そのB画像の０値補間画像のサンプリング周波数は、水平方向及び垂直方向のいずれも、元のB画像のサンプリング周波数f_sの２倍の周波数2f_sとなる。

図４０Ｃは、B画像の０値補間画像の周波数特性を示している。

図４０Ｃにおいて、横軸は、水平方向の周波数（水平周波数）を表し、縦軸は、垂直方向の周波数（垂直周波数）を表す。

また、図４０Ｃにおいて、実線部分は、信号成分を表し、点線部分は、折り返し成分を表す。

０値補間画像では、B画像の信号成分の高周波数成分が復元されているが、折り返し成分も発生しており、信号成分と折り返し成分とが混在している。

その後、拡大部２６１は、０値補間画像を、例えば、フィルタ係数が{{1/4,1/4,0},{1/4,1/4,0},{0,0,0}}の２次元フィルタでフィルタリングすることで、B画像の拡大画像を生成する。

図４０Ｄは、B画像の０値補間画像から生成された拡大画像を示している。

図４０Ｄにおいて、画素A,B,C,D,E,Fは、元のB画像の画素であり、他の画素が、ゼロ点が挿入された位置の画素である。

図４０Ｄにおいて、画素Aの下に隣接する画素a₁、右に隣接する画素a₂、及び、右斜め下に隣接する画素a₃の画素値は、すべて、画素Aの画素値と同一になる。同様に、アルファベットの小文字で表す画素の画素値は、同一のアルファベットの大文字で表す画素の画素値と同一になる。

したがって、拡大部２６１では、実質的に、B画像の２次元の最近傍補間が行われることによって、B画像の水平方向と垂直方向のそれぞれの画素数を２倍にした拡大画像が生成される。

以上のような、水平方向と垂直方向のそれぞれの画素数を２倍にする最近傍補間では、その最近傍補間によって生成される画素（図４０Ｄの画素a_i等の、アルファベットの小文字で表される画素）は、元のB画像の水平方向、垂直方向、又は、水平方向と垂直方向の両方に、半画素分（水平（垂直）方向に隣接する画素どうしの距離の1/2）だけずれた位置に生成される。

したがって、拡大画像の画素は、図４０Ｅに小さい白丸印で示すように、元のB画像の画素を中心として、その画素から、水平方向と垂直方向の両方に、半画素分だけずれた４カ所の位置にあると考えることができる。

なお、図４０Ｅにおいて、画素A,B,C,D,E,Fは、元のB画像の画素である。また、図４０Ｅにおいて、画素Aから左上方向に半画素分だけずれた位置の画素a₁、右上方向に半画素分だけずれた位置の画素a₂、左下方向に半画素分だけずれた位置の画素a₃、及び、右下方向に半画素分だけずれた位置の画素a₄の、４個の画素の画素値は、すべて、画素Aの画素値と同一である。同様に、図４０Ｅにおいて、アルファベットの小文字で表す画素の画素値は、同一のアルファベットの大文字で表す画素の画素値と同一である。

ここで、図３９の画像処理装置において、上述した高解像度化原理に基づき、入力画像（B画像）の水平方向及び垂直方向の折り返し成分が除去され、かつ、高解像度化された出力画像を生成するには、分離部２６２のフィルタは、拡大部２６１のフィルタと、位置合わせ部２４のフィルタである水平多タップAPF７１及び垂直多タップAPF７２（図１３）とを縦続接続した縦続接続フィルタと同一又は類似の特性を有する必要がある。

そして、位置合わせ部２４の水平多タップAPF７１及び垂直多タップAPF７２（図１３）は、上述したように、拡大画像に含まれる周波数成分すべてを通過させる、多タップのAPFであるため、分離部２６２のフィルタは、結局、拡大部２６１のフィルタと同一又は類似の特性を有する必要がある。

一方、拡大部２６１において、最近傍補間を行う、フィルタ係数が{{1/4,1/4,0},{1/4,1/4,0},{0,0,0}}の２次元フィルタによるフィルタリングによって生成される、B画像の拡大画像の画素は、図４０Ｅで説明したように、元のB画像の画素を中心として、その画素から、水平方向と垂直方向の両方に、半画素分だけずれた位置にある（と考えることができる）。

図４０Ｅの拡大画像を生成するための最近傍補間は、例えば、フィルタ係数が{1/2,1/2}のフィルタによる、水平方向のフィルタリングと、垂直方向のフィルタリングによって行うことができる。

すなわち、拡大部２６１において、図４０Ｅに示した、元のB画像の画素を中心として、その画素から、水平方向と垂直方向の両方に、半画素分だけずれた位置に画素がある拡大画像が生成されることとすると、拡大部２６１のフィルタは、フィルタ係数が{1/2,1/2}の水平LPF、及び、フィルタ係数が{1/2,1/2}の垂直LPFのセットになる。

フィルタ係数が{1/2,1/2}の、２タップのフィルタで画像をフィルタリングした場合、そのフィルタリングの結果得られる画像の画素は、元の画像（フィルタリング前の画像）の画素の位置から、半画素分だけずれる。

したがって、分離部２６２のフィルタとして、拡大部２６１のフィルタと同一の、フィルタ係数が{1/2,1/2}の水平LPF、及び、フィルタ係数が{1/2,1/2}の垂直LPFのセットを採用すると、分離部２６２のフィルタが出力画像をフィルタリングすることにより得られる画像（出力画像の低周波数成分）の画素の位置が、水平方向と垂直方向の両方に、半画素分だけずれるので、混合加算にあたって、再度、位置合わせをする必要が生じる。

そこで、図３９の画像処理装置では、分離部２６２のフィルタとして、フィルタ係数が{1/2,1/2}のフィルタではなく、そのフィルタと類似するフィルタ特性のフィルタであり、かつ、フィルタリングの結果得られる画像の画素の位置を、フィルタリング前の画像のままずらさないフィルタが用いられる。

ここで、フィルタ係数が{1/2,1/2}のフィルタと類似するフィルタ特性のフィルタで、画素の位置をずらさないフィルタとしては、例えば、フィルタ係数が{-2/128,23/128,86/128,23/128,-2/128}の５タップのフィルタがある。

図３９の画像処理装置では、分離部２６２のフィルタとして、フィルタ係数が{-2/128,23/128,86/128,23/128,-2/128}の水平LPF及び垂直LPFのセットが採用されており、これにより、上述の高解像度化原理に基づき、B画像の水平方向及び垂直方向の折り返し成分が除去され、かつ、高解像度化された出力画像が生成される。

すなわち、図３９の画像処理装置でも、図９の画像処理装置と同様に、B画像の、柔軟な高解像度化を図ることができる。

なお、図３９の画像処理装置では、拡大部２６１において最近傍補間によって拡大画像を生成することとしたが、拡大画像の生成は、図９の場合と同様に、最近傍補間以外の、例えば、線形補間等によって行うことが可能である。

図４１は、図３９の拡大部２６１の構成例を示している。

図４１において、拡大部２６１は、補間部２７１及び２７２、並びに、２次元LPF２７３から構成される。

補間部２７１には、記憶部２１に記憶された入力画像のうちの、B成分の画素だけで構成されるB画像が供給される。補間部２７１は、記憶部２１からのB画像の水平方向に隣接する画素どうしの間に、１個のゼロ点を挿入する０値補間を行い、その結果得られる画像を、補間部２７２に供給する。

補間部２７２は、補間部２７１からの画像の垂直方向に隣接する画素どうしの間に、１個のゼロ点を挿入する０値補間を行い、その結果得られる、B画像の水平方向と垂直方向のそれぞれの画素数を２倍にした０値補間画像を、２次元LPF２７３に供給する。

２次元LPF２７３は、例えば、上述したフィルタ係数が{{1/4,1/4,0},{1/4,1/4,0},{0,0,0}}の２次元フィルタであり、補間部２７２からの０値補間画像を、水平方向及び垂直方向にフィルタリングし、その結果得られる拡大画像を、位置合わせ部２４（図３９）に供給する。

次に、図４２を参照して、図３９の拡大部２６１の他の構成例について説明する。

図４２Ａは、図３９の拡大部２６１の他の構成例を示すブロック図である。

なお、図中、図４１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

すなわち、図４２Ａの拡大部２６１は、補間部２７１及び２７２が設けられている点で、図４１の場合と一致する。

但し、図４２Ａの拡大部２６１は、２次元LPF２７３が設けられておらず、水平LPF２８１及び垂直LPF２８２が新たに設けられている点で、図４１の場合と相違する。

図４２Ａでは、補間部２７１において生成された、B画像の水平方向に隣接する画素どうしの間に、１個のゼロ点を挿入する０値補間を行って得られる０値補間画像が、水平LPF２８１に供給される。

水平LPF２８１は、例えば、フィルタ係数が{1/2,1/2,0}のLPFであり、補間部２７１からの０値補間画像を、水平方向にフィルタリングし、その結果得られる画像を、補間部２７２に供給する。

補間部２７２では、水平LPF２８１からの画像の垂直方向に隣接する画素どうしの間に、１個のゼロ点を挿入する０値補間が行われ、その結果得られる０値補間画像が、垂直LPF２８２に供給される。

垂直LPF２８２は、例えば、フィルタ係数が{1/2,1/2,0}のLPFであり、補間部２７２からの０値補間画像を、垂直方向にフィルタリングし、その結果得られる拡大画像を、位置合わせ部２４（図３９）に供給する。

図４２Ｂは、フィルタ係数が{1/2,1/2,0}のLPFでの水平方向のフィルタリングと、垂直方向のフィルタリングとを同時に行う２次元フィルタのフィルタ係数を示している。

フィルタ係数が{1/2,1/2,0}のLPFでの水平方向のフィルタリングと、垂直方向のフィルタリングとを同時に行う２次元フィルタのフィルタ係数は、{{1/4,1/4,0},{1/4,1/4,0},{0,0,0}}であり、したがって、水平LPF２８１による水平方向のフィルタリングと、垂直LPF２８２による垂直方向のフィルタリングとによって、図４１の２次元LPF２７３と同様のフィルタリングが行われる。

すなわち、図４１の拡大部２６１のフィルタである２次元LPF２７３と、図４２Ａの拡大部２６１のフィルタである水平LPF２８１及び垂直LPF２８２の組み合わせとは、同一のフィルタである。

次に、図４３を参照して、図３９の分離部２６２の処理について説明する。

図４３Ａは、図３９の分離部２６２の構成例を示している。

なお、図中、図１４の分離部２７と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。

すなわち、図３９の分離部２６２は、演算部８２が設けられている点で、図１４の分離部２７と一致し、垂直LPF８１に代えてLPF部３０１が設けられている点で、図１４の分離部２７と相違する。

上述した高解像度化原理に基づき、入力画像の折り返し成分が除去され、かつ、高解像度化された出力画像を生成するには、分離部２６２のフィルタであるLPF部３０１は、拡大部２６１のフィルタである２次元LPF２１３（図４１）と、位置合わせ部２４のフィルタである水平多タップAPF７１及び垂直多タップAPF７２（図１３）とを縦続接続した縦続接続フィルタと同一又は類似の特性を有するフィルタである必要がある。

ここで、位置合わせ部２４の水平多タップAPF７１及び垂直多タップAPF７２（図１３）は、上述したように、拡大画像に含まれる周波数成分すべてを通過させる、多タップのAPFであるため、分離部２６２のLPF部３０１は、結局、拡大部２６１のフィルタと同一又は類似のフィルタ特性のフィルタであればよい。

但し、拡大部２６１において、図４０Ｅに示した、元のB画像の画素を中心として、その画素から、水平方向と垂直方向の両方に、半画素分だけずれた位置に画素がある拡大画像が生成されると考えると、拡大部２６１のフィルタは、図４０で説明したように、フィルタ係数が{1/2,1/2}の水平LPF、及び、フィルタ係数が{1/2,1/2}の垂直LPFのセットになる。

分離部２６２のフィルタであるLPF部３０１として、拡大部２６１のフィルタである、フィルタ係数が{1/2,1/2}の水平LPF、及び、フィルタ係数が{1/2,1/2}の垂直LPFのセットと同一のフィルタ特性のフィルタを採用する場合、図４０で説明したように、LPF部３０１でのフィルタリングの結果得られる画像の画素は、元の画像（フィルタリング前の画像）の画素の位置から、半画素分だけずれる。

この場合、LPF部３０１でのフィルタリングの結果得られる画像の画素の位置ずれを直す位置合わせが必要となる。

そこで、図４３Ａでは、分離部２６２のフィルタであるLPF部３０１として、拡大部２６１のフィルタである、フィルタ係数が{1/2,1/2}の水平LPF、及び、フィルタ係数が{1/2,1/2}の垂直LPFのセットと同一のフィルタ特性のフィルタであり、かつ、フィルタリングの結果得られる画像の画素の位置を、フィルタリング前の画像のままずらさないフィルタが採用されている。

すなわち、LPF部３０１は、水平LPF３１１及び垂直LPF３１２から構成される。

水平LPF３１１は、フィルタ係数が{1/2,1/2}のフィルタと類似するフィルタ特性のフィルタで、画素の位置をずらさない、例えば、フィルタ係数が{-2/128,23/128,86/128,23/128,-2/128}の５タップのフィルタである。水平LPF３１１は、記憶部２８から供給される出力画像S_n-1を水平方向にフィルタリングし、そのフィルタリングの結果られる画像を、垂直LPF３１２に供給する。

垂直LPF３１２は、水平LPF３１１と同様に、フィルタ係数が{-2/128,23/128,86/128,23/128,-2/128}の５タップのフィルタであり、水平LPF３１１からの画像を、垂直方向にフィルタリングし、その結果得られる出力画像S_n-1の低周波数成分L_nを、演算部８２と、混合部２５に供給する。

図４３Ｂは、水平LPF３１１及び垂直LPF３１２である、フィルタ係数が{-2/128,23/128,86/128,23/128,-2/128}のフィルタのフィルタ特性を示している。

ここで、図４３Ｂには、フィルタ係数が{1/2,1/2}のフィルタのフィルタ特性も併せて示してある。

フィルタ係数が{-2/128,23/128,86/128,23/128,-2/128}のフィルタと、フィルタ係数が{1/2,1/2}のフィルタとは、高域の特性が多少異なるものの、低域及び中域の特性がほぼ一致しており、したがって、全体として、類似する。

なお、図４３Ａでは、LPF部３０１を、いずれも、フィルタ係数が{-2/128,23/128,86/128,23/128,-2/128}の５タップのフィルタである水平LPF３１１及び垂直LPF３１２で構成することとしたが、LPF部３０１は、水平LPF３１１による水平方向のフィルタリングと、垂直LPF３１２による垂直方向のフィルタリングとを同時に行う２次元LPFで構成することが可能である。

但し、LPF部３０１を、水平LPF３１１及び垂直LPF３１２のセットと同一のフィルタリングを行う２次元LPFで構成する場合には、その２次元LPFは、２５タップのフィルタとなる。したがって、LPF部３０１を、２次元LPFで構成する場合、LPF部３０１を、水平LPF３１１及び垂直LPF３１２で構成する場合に比較して、フィルタリングによる演算量が増加する。

次に、図４４を参照して、図３９の画像処理装置が行う、B画像に対する処理について、さらに説明する。

なお、図４４は、画像及びフィルタの水平方向の周波数特性を示すが、垂直方向の周波数特性も、水平方向の周波数特性と同様である。

図４４Ａは、入力画像のうちの、B成分の画素だけから構成されるB画像の周波数特性を示している。

B画像では、ナイキスト周波数f_s/2以下に、信号成分と折り返し成分とが混在する。

図４４Ｂは、図４４ＡのB画像に対し、拡大部２６１（図３９）で０値補間を行うことにより得られる０値補間画像の周波数特性を示している。

０値補間によって、高域f_s/2ないしf_sの信号成分が復元されるが、高域f_s/2ないしf_sの折り返し成分も発生する。

図４４Ｃは、拡大部２６１のフィルタである２次元LPF２７３（図４１）のフィルタ特性を示しており、図４４Ｄは、拡大部２６１で得られる拡大画像の周波数特性を示している。

図４４Ｂの０値補間画像は、拡大部２６１において、図４４Ｃのフィルタ特性の２次元LPF２７３でフィルタリングされることにより、高域f_s/2ないしf_sの周波数成分（信号成分、及び、折り返し成分）が減衰した、図４４Ｄに示す周波数特性の拡大画像となる。

図４４Ｅは、位置合わせ部２４（図３９）のフィルタである水平多タップAPF７１（図１３）のフィルタ特性を示しており、図４４Ｆは、位置合わせ部２４で得られる位置合わせ画像の周波数特性を示している。

図１３で説明したように、位置合わせ部２４の水平多タップAPF７１は、拡大画像に含まれる水平方向の周波数成分すべてをなるべく通過させる、周波数特性がなるべくフラットなフィルタになっている。

したがって、位置合わせ部２４において、図４４Ｄの拡大画像の位置合わせとしての、水平多タップAPF７１でのフィルタリングによって得られる位置合わせ画像は、（理想的には、）図４４Ｄの拡大画像と同一の周波数特性の画像となる。

図４４Ｇは、分離部２６２（図３９）のフィルタである水平LPF３１１（図４３）のフィルタ特性を示している。

水平LPF３１１のフィルタ特性は、図４４Ｃの拡大部２６１のフィルタ特性（図４４Ｇにおいて点線で示す）に類似する特性になっている。

図４４Ｈは、加算部２６（図３９）で得られる出力画像の周波数特性を示している。

混合部２５及び加算部２６（図３９）において、B画像を対象とした混合加算が繰り返し行われることにより、上述の高解像度化原理に基づき、B画像の高域f_s/2ないしf_sの信号成分が復元され、かつ、折り返し成分が除去された出力画像が生成される。

次に、図３９の画像処理装置が、ベイヤ配列の画像から得られるG画像に対して行う処理について説明する。

図４５Ａは、ベイヤ配列の画像（図４０Ａ）のうちの、G成分の画素の配置を示している。

G成分の画素は、ベイヤ配列の画像において、斜め方向に、１ラインおきに配置されており、このようなG成分の画素からなるG画像には、水平方向と垂直方向の多くの（強い）折り返し成分が含まれる。

なお、図４５Ａにおいて、白丸印が、G成分の画素を表し、黒丸印が、他の色成分の画素を表す。

G画像を、左（又は右）に45度だけ回転させると、G成分の画素は、格子状に並んでいるとみなすことができる。

45度だけ回転した状態のG画像の水平方向に隣接する画素どうしの間隔（及び垂直方向に隣接する画素どうしの間隔）は、G画像の水平方向及び垂直方向のサンプリング周波数f_sに対応する。

拡大部２６１（図３９）は、図４５Ａに示した、G成分の画素以外の画素（B成分の画素と、R成分の画素）の位置に、ゼロ点を挿入する０値補間を行い、G画像の２倍の画素数の０値補間画像を生成する。

なお、拡大部２６１では、０値補間後に、画素値の平均値が変化しないように、元の画素値が調整される。すなわち、拡大部２６１は、０値補間画像の画素のうちの、G画像の元の画素の画素値を、２倍にする。

拡大部２６１で得られるG画像の０値補間画像は、上述のように、G画像の２倍の画素数を有し、元のベイヤ配列の画像と同一のサイズ（画素数）となる。そして、G画像の０値補間画像のサンプリング周波数は、水平方向及び垂直方向のいずれも、元のG画像のサンプリング周波数f_sの√２倍の周波数(√2)f_sとなる。

図４５Ｂは、G画像の０値補間画像の周波数特性を示している。

図４５Ｂにおいて、横軸は、水平方向の周波数（水平周波数）を表し、縦軸は、垂直方向の周波数（垂直周波数）を表す。

また、図４５Ｂにおいて、実線部分は、信号成分を表し、点線部分は、折り返し成分を表す。

０値補間画像では、G画像の信号成分の高周波数成分が復元されているが、折り返し成分も発生しており、信号成分と折り返し成分とが混在している。

その後、拡大部２６１は、０値補間画像を、例えば、B画像を処理する場合と同一の、フィルタ係数が{{1/4,1/4,0},{1/4,1/4,0},{0,0,0}}の２次元フィルタでフィルタリングすることで、G画像の拡大画像を生成する。

フィルタ係数が{{1/4,1/4,0},{1/4,1/4,0},{0,0,0}}の２次元フィルタによる、G画像の０値補間画像のフィルタリングによれば、図４５Ａに黒丸印で示した、ゼロ点が挿入された位置、つまり、B成分の画素と、R成分の画素の位置に、画素値が線形補間される。すなわち、元のG画像の水平方向、又は、垂直方向に、半画素分（水平（垂直）方向に隣接する画素どうしの距離の1/2）だけずれた位置に、画素値が線形補間される。

したがって、G画像の拡大画像の画素は、図４５Ｃに小さい白丸印で示すように、元のG画像の斜め方向に隣接する画素どうしの間の位置（G画像の画素の水平方向と垂直方向の両方に、半画素分だけずれた位置）にあると考えることができ、この場合、図４０Ｅに示した、B画像（及びR画像）の拡大画像の画素の位置と一致する。

ここで、図４５Ｃにおいて、画素A,B,C,D,E,F,G,H,I,J,K,Lは、元のG画像の画素である。また、図４５Ｃにおいて、例えば、画素Aと、斜め右下方向に隣接する画素Dとの間の拡大画像の画素#1の画素値は、画素AとDの画素値の平均値((A+D)/2)である。さらに、例えば、画素Bと、斜め左下方向に隣接する画素Dとの間の拡大画像の画素#2の画素値は、画素BとDの画素値の平均値((B+D)/2)である。拡大画像の他の画素の画素値も同様である。

図３９の画像処理装置では、G画像を処理する場合に、拡大部２６１のフィルタ（２次元LPF２７３（図４１））として、B画像（及びR画像）を処理する場合と同一の、フィルタ係数が{{1/4,1/4,0},{1/4,1/4,0},{0,0,0}}の２次元フィルタを用いることができるので、分離部２６２のフィルタ（水平LPF３１１及び垂直LPF３１２（図４３））としても、B画像を処理する場合と同一の、フィルタ係数が{-2/128,23/128,86/128,23/128,-2/128}のフィルタを用いることができる。

そして、図３９の画像処理装置では、上述の高解像度化原理に基づき、G画像の水平方向及び垂直方向の折り返し成分が除去され、かつ、高解像度化された出力画像が生成される。

すなわち、図３９の画像処理装置でも、図９の画像処理装置と同様に、G画像の、柔軟な高解像度化を図ることができる。

なお、図３９の画像処理装置では、ベイヤ配列の画像のR画像、G画像、及びB画像を処理して得られる、R成分の出力画像、G成分の出力画像、及び、B成分の出力画像のそれぞれの、同一の位置の画素の画素値としてのR成分、G成分、及び、B成分を集めることで、RGBの３つの色成分を画素値として有するカラー画像を生成して出力することができる。

すなわち、図３９の画像処理装置では、デモザイク処理を行うことができる。

以上のように、図３９の画像処理装置によれば、ベイヤ配列の画像である入力画像について、図９の画像処理装置の場合と同様に、柔軟な高解像度化を図ることができる。

なお、図３９の画像処理装置のように、ベイヤ配列の画像を対象とした処理は、例えば、図２９や、図３２、図３３等の画像処理装置でも、２次元フィルタ等を採用することで行うことが可能である。

図３９のの画像処理装置は、例えば、高画質の静止画と動画が撮影可能な単板式のディジタルカメラ等に適用することができる。

以上のように、画像処理装置では、上述の高解像度化原理に基づく処理が行われるので、すなわち、入力画像を、周辺の画素値を用いた補間によって拡大し、入力画像を拡大した拡大画像と、直前に得られた出力画像との位置合わせを行う一方、直前に得られた出力画像を、低周波数成分と高周波数成分とに分離し、拡大画像に対して、低周波数成分を混合し、高周波数成分を加算する混合加算を行うことで、新たな出力画像を生成するので、画像の、柔軟な高解像度化を図ることができる。

すなわち、最近傍補間や線形補間で生成した拡大画像を、重み付け加算するだけでは、高域の信号成分を復元することはできない。

これに対して、高解像度化原理に基づく処理を行う画像処理装置では、低周波数成分を混合（重み付け加算）し、高周波数成分を加算するので、高解像度化原理に基づき、高解像度の出力画像を生成することができる。

例えば、入力画像が複数枚ある場合には、入力画像の枚数が多いほど、折り返し成分が低減され、かつ、ナイキスト周波数以上の高周波数成分が復元された高解像度の出力画像を得ることができる。すなわち、入力画像が少ない枚数しかない場合には、ある程度の画質の出力画像を生成することができ、入力画像が十分な枚数だけある場合には、折り返し成分が十分に低減され、かつ、ナイキスト周波数以上の高周波数成分が十分に復元された高解像度の出力画像を生成することができる。

また、１枚の入力画像しかない場合であっても、拡大画像が、線形補間等の、入力画像の周辺の画素を用いた補間によって生成されるので、ユーザに提供される出力画像の画質としては、実用的に耐え得る画質、すなわち、線形補間等によって得られる画像の画質が保証される。

なお、従来の高解像度技術では、入力画像として、１枚の画像しかない場合には、図６及び図７で説明したように、黒の縞模様が存在する画像が、ユーザに提供されることになる。

また、入力画像として、複数枚の画像がある場合でも、その複数枚の入力画像が、例えば、インタレース画像の連続する複数フィールドの画像であり、各フィールドの画像が、直前のフィールドの画像に対して、奇数のライン数だけ、垂直方向にずれた、いわば特殊な画像であるときには、画像を構成する画素でサンプリングされている被写体上の点は、各フィールドで同一となる。この場合、複数枚の入力画像があっても、その情報量は、１枚の入力画像と変わらないので、従来の高解像度化技術では、入力画像が１枚の画像しかない場合と同様に、黒の縞模様が存在する画像が、ユーザに提供される。

これに対して、高解像度化原理に基づく処理を行う画像処理装置では、複数枚の入力画像が、上述のような特殊な画像であっても、ユーザに提供される出力画像の画質としては、線形補間等によって得られる画像の画質が保証される。

ここで、複数枚の入力画像が、上述のような特殊な画像となるケースは、極めて稀なケースであるが、それでも、入力画像が、２枚や３枚等の少ない枚数である場合には、複数枚の入力画像が特殊な画像となる可能性が高くなる。

また、高解像度化原理に基づく画像処理装置では、１方向の折り返し成分を含む入力画像はもちろん、２方向の折り返し成分を含む入力画像についても、画像の高解像度化を図ることができる。

さらに、高解像度化原理に基づく画像処理装置では、例えば、ベイヤ配列の画像の高解像度化を行うことができ、入力画像が、静止画及び動画のうちのいずれであっても、入力画像の高解像度化を行うことができる。

すなわち、例えば、ディジタルカメラには、３原色(RGB)であるR,G,Bのそれぞれ用の撮像素子を有する３板式のディジタルカメラと、１つの撮像素子において、R,G,Bそれぞれの光を受光する画素を分ける単板式のディジタルカメラとがある。単板式のディジタルカメラでは、撮像素子の画素の配列として、ベイヤ配列が広く用いられている。ベイヤ配列の画像は、１画素がRGBの３つの色成分のうちのいずれか１つの色成分だけを画素値として有する画像であり、そのような画像については、RGBの３つの色成分を各画素の画素値として有する画像に変換するデモザイク処理を行う必要がある。高解像度化原理に基づく画像処理装置では、そのような、ベイヤ配列の画像のデモザイク処理を行うことができる。

また、近年のディジタルカメラの中には、静止画と動画の両方を撮影することができる製品がある。高解像度化原理に基づく画像処理装置では、入力画像が静止画である場合には、入力画像（拡大画像）を移動する位置合わせを行うことで、静止画の高解像度化を行うことができる。さらに、高解像度化原理に基づく画像処理装置では、入力画像が動画である場合には、出力画像を移動する位置合わせを行うことで、動画の高解像度化を行うこともできる。その他、高解像度化原理に基づく画像処理装置では、例えば、図３３に示したように、いわば、拡大部２３等のブロックを共有して、静止画と動画の高解像度化を、切り換えて（選択して）行うことができる。

ここで、入力画像が動画である場合には、高解像度化原理に基づく画像処理装置は、上述したように、出力画像を移動する位置合わせを行う。さらに、高解像度化原理に基づく画像処理装置は、その位置合わせ後の出力画像と、入力画像を拡大した拡大画像との混合加算（動画用混合加算）を行い、その混合加算の結果得られる新たな出力画像を、入力画像に対応する出力画像として出力する。したがって、入力画像に対応する出力画像の出力が、１回の混合加算ごとに行われる。

一方、入力画像が静止画である場合には、高解像度化原理に基づく画像処理装置は、上述したように、入力画像（拡大画像）を移動する位置合わせを行う。さらに、高解像度化原理に基づく画像処理装置は、その位置合わせ後の拡大画像と、出力画像との混合加算（静止画用混合加算）を行い、その混合加算の結果得られる新たな出力画像を得る。そして、高解像度化原理に基づく画像処理装置は、静止画用混合加算を、記憶部２１に記憶された複数の入力画像すべてを対象として繰り返し行い、最終的に得られた新たな出力画像を、記憶部２１に記憶された複数の入力画像に対応する出力画像として出力する。したがって、入力画像に対応する出力画像の出力が、記憶部２１に記憶された複数の入力画像を対象とした複数回の混合加算後に行われる。

以上から、入力画像が動画である場合には、入力画像が静止画である場合に比較して、高解像度化原理に基づく画像処理装置が１枚の出力画像を出力するのに行われる演算の演算量が少ない。

なお、入力画像が、動画である場合（動体が映っている静止画である場合も同様）、高解像度化原理に基づく画像処理装置では、動きがある部分については、少ない枚数の入力画像（拡大画像）が混合加算され、動きがない部分については、多くの枚数の入力画像が混合加算される。したがって、動きがある部分については、線形補間等によって得られる画像の画質以上の画質の画像が得られ、動きがない部分については、折り返し成分が低減され、かつ、高周波数成分が復元された高解像度の画像が得られる。

一方、動き検出処理、広帯域補間処理、及び、加重和処理を行う従来の高解像度化技術では、加重和処理で混合（重み付け加算）を行うフレーム数があらかじめ決まっているので（決めておく必要があるので）、加重和処理で混合を行うフレーム数を、動きがある部分と動きがない部分とで変えることはできない。

以上のような、高解像度化原理に基づく画像処理装置は、例えば、TVや、ディジタルビデオカメラ、ディジタルスチルカメラ等に適用することができる。

次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

そこで、図４６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク４０５やROM４０３に予め記録しておくことができる。

あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体４１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体４１１は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体４１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部４０８で受信し、内蔵するハードディスク４０５にインストールすることができる。

コンピュータは、CPU(Central Processing Unit)４０２を内蔵している。CPU４０２には、バス４０１を介して、入出力インタフェース４１０が接続されており、CPU４０２は、入出力インタフェース４１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部４０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)４０３に格納されているプログラムを実行する。あるいは、また、CPU４０２は、ハードディスク４０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部４０８で受信されてハードディスク４０５にインストールされたプログラム、またはドライブ４０９に装着されたリムーバブル記録媒体４１１から読み出されてハードディスク４０５にインストールされたプログラムを、RAM(Random Access Memory)４０４にロードして実行する。これにより、CPU４０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU４０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース４１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部４０６から出力、あるいは、通信部４０８から送信、さらには、ハードディスク４０５に記録等させる。

ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。

また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

従来の高解像度化技術を説明する図である。 本発明を適用した画像処理装置の概要を示すブロック図である。 画像処理装置で行われる画像処理（高解像度化処理）を説明するフローチャートである。 折り返し成分を含まない入力画像の垂直方向の画素数を、元の２倍の数にする拡大処理を説明する図である。 折り返し成分を含まない入力画像の垂直方向の画素数を、元の４倍の数にする拡大処理を説明する図である。 折り返し成分を含む入力画像の垂直方向の画素数を、元の２倍の数にする拡大処理を説明する図である。 折り返し成分を含む入力画像の垂直方向の画素数を、元の４倍の数にする拡大処理を説明する図である。 最近傍補間を行うためのフィルタのフィルタ特性を示す図である。 本発明を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。 動き検出部２２の構成例を示すブロック図である。 ブロックマッチング部４５の処理を説明する図である。 拡大部２３の処理を説明する図である。 位置合わせ部２３の処理を説明する図である。 分離部２７の処理を説明する図である。 本発明を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。 本発明を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。 本発明を適用した画像処理装置の第４実施の形態の構成例を示すブロック図である。 拡大部１１１が行う処理を説明する図である。 フィルタ係数が{1/16,2/16,3/16,4/16,3/16,2/16,1/16}の垂直LPFのフィルタ特性を示す図である。 拡大部１１１、及び、位置合わせ部１１２の構成例を示すブロック図である。 拡大部１１１の、画像の水平方向に関して行われる処理を説明する図である。 位置合わせ部１１２の、画像の水平方向に関して行われる処理を説明する図である。 拡大部１１１の、画像の垂直方向に関して行われる処理を説明する図である。 位置合わせ部１１２の、画像の垂直方向に関して行われる処理を説明する図である。 垂直キュービック補間フィルタ１４２の、より詳細な周波数特性を示す図である。 分離部１１３の処理を説明する図である。 垂直LPF１５１のフィルタ特性を説明する図である。 出力画像の周波数特性を示す図である。 本発明を適用した画像処理装置の第５実施の形態の構成例を示すブロック図である。 動き検出部１７１の構成例を示すブロック図である。 本発明を適用した画像処理装置の第６実施の形態の構成例を示すブロック図である。 本発明を適用した画像処理装置の第７実施の形態の構成例を示すブロック図である。 本発明を適用した画像処理装置の第８実施の形態の構成例を示すブロック図である。 本発明を適用した画像処理装置の第９実施の形態の構成例を示すブロック図である。 拡大部２０１の処理を説明する図である。 拡大部２０１の構成例を示すブロック図である。 拡大部２０１の他の構成例を説明する図である。 分離部２０２の構成例を示すブロック図である。 本発明を適用した画像処理装置の第１０実施の形態の構成例を示すブロック図である。 拡大部２６１がB画像について行う処理を説明する図である。 拡大部２６１の構成例を示すブロック図である。 拡大部２６１の他の構成例を説明する図である。 分離部２６２の処理を説明する図である。 画像処理装置が行う、B画像（及びR画像）に対する処理を説明する図である。 画像処理装置が行う、G画像に対する処理を説明する図である。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

符号の説明

１１ 記憶部， １２ 拡大部， １３ 位置合わせ部， １４ 分離部， １５ 混合加算部， １６ 記憶部， ２１ 記憶部， ２２ 動き検出部， ２３ 拡大部， ２４ 位置合わせ部， ２５ 混合部， ２６ 加算部， ２７ 分離部， ２８ 記憶部， ４１，４２ 水平LPF， ４３，４４ 垂直LPF， ４５ ブロックマッチング部， ４６ 統計処理部， ６１ 補間部， ６２ 垂直LPF， ７１ 水平多タップAPF， ７２ 垂直多タップAPF， ８１ 垂直LPF， ８２ 演算部， １０１ないし１０４ 選択部， １１１ 拡大部， １１２ 位置合わせ部， １１３ 分離部， １３１ 補間部， １３２ 水平多タップLPF， １３３ 補間部， １３４ 垂直LPF， １３５ 広帯域LPF， １４１ 水平キュービック補間フィルタ， １４２ 垂直キュービック補間フィルタ， １５１ 垂直LPF， １７１ 動き検出部， １７２ 動体混合部， １８１ 動き判定部， １９１ 混合部， ２０１ 拡大部， ２０２ 分離部， ２１１，２１２ 補間部， ２１３ ２次元LPF， ２２１ 水平LPF， ２２２ 垂直LPF， ２４１ ２次元LPF， ２６１ 拡大部， ２６２ 分離部， ２７１，２７２ 補間部， ２７３ ２次元LPF， ２８１ 水平LPF， ２８２ 垂直LPF， ３０１ LPF部， ３１１ 水平LPF， ３１２ 垂直LPF， ４０１ バス， ４０２ CPU， ４０３ ROM， ４０４ RAM， ４０５ ハードディスク， ４０６ 出力部， ４０７ 入力部， ４０８ 通信部， ４０９ ドライブ， ４１０ 入出力インタフェース， ４１１ リムーバブル記録媒体

Claims (13)

1. 入力画像を、周辺の画素値を用いた補間によって拡大する拡大手段と、
   前記入力画像を拡大した拡大画像と、直前に得られた出力画像との位置合わせを行う位置合わせ手段と、
   前記出力画像を、低周波数成分と高周波数成分とに分離する分離手段と、
   前記拡大画像に対して、前記低周波数成分を混合し、前記高周波数成分を加算することで、新たな出力画像を生成する混合加算手段と
   を備える画像処理装置。
2. 前記拡大手段、前記位置合わせ手段、及び、前記分離手段は、フィルタで構成され、
   前記分離手段のフィルタは、前記拡大手段のフィルタと、前記位置合わせ手段のフィルタとを縦続接続したフィルタと同一又は類似の特性を有する
   請求項１に記載の画像処理装置。
3. 前記位置合わせ手段は、前記拡大画像の位置を、前記出力画像の位置に合わせる位置合わせを行い、
   前記混合加算手段は、位置合わせ後の前記拡大画像に対して、前記低周波数成分を混合し、前記高周波数成分を加算することで、前記新たな出力画像を生成する
   請求項２に記載の画像処理装置。
4. 位置合わせ後の前記拡大画像について、各画素の動きの程度を判定する動き判定手段をさらに備え、
   前記混合加算手段は、動きがある画素については、直前に得られた前記出力画像の重みが大となり、動きがない画素については、前記新たな出力画像の重みが大となる重みに従って、直前に得られた前記出力画像と、前記新たな出力画像とを混合する動体混合を、さらに行う
   請求項３に記載の画像処理装置。
5. 前記位置合わせ手段は、前記出力画像の位置を、前記拡大画像の位置に合わせる位置合わせを行い、
   前記分離手段は、位置合わせ後の前記出力画像を、前記低周波数成分と前記高周波数成分とに分離する
   請求項２に記載の画像処理装置。
6. 前記拡大画像について、各画素の動きの程度を判定する動き判定手段をさらに備え、
   前記混合加算手段は、動きがある画素については、前記拡大画像の重みが大となり、動きがない画素については、前記新たな出力画像の重みが大となる重みに従って、前記拡大画像と、前記新たな出力画像とを混合する動体混合を、さらに行う
   請求項５に記載の画像処理装置。
7. 前記拡大画像、又は、直前に得られた前記出力画像を選択し、位置合わせの対象として、前記位置合わせ手段に供給する第１の選択手段と
   前記位置合わせ手段による位置合わせ後の画像、又は、前記拡大画像を選択し、前記混合加算手段に供給する第２の選択手段と、
   前記位置合わせ手段による位置合わせ後の画像、又は、直前に得られた前記出力画像を選択し、前記分離手段に供給する第３の選択手段と
   をさらに備え、
   前記第１の選択手段が、前記拡大画像を選択して、前記位置合わせ手段に供給し、
   前記位置合わせ手段が、前記第１の選択手段から供給される前記拡大画像の位置を、前記出力画像の位置に合わせる位置合わせを行い、位置合わせ後の前記拡大画像を、前記第２の選択手段に供給し、
   前記第２の選択手段が、前記位置合わせ手段から供給される、位置合わせ後の前記拡大画像を選択して、前記混合加算手段に供給し、
   前記第３の選択手段が、直前に得られた前記出力画像を選択して、前記分離手段に供給し、
   前記分離手段が、前記第３の選択手段から供給される、直前に得られた前記出力画像を、前記低周波数成分と前記高周波数成分とに分離し、
   前記混合加算手段が、前記第２の選択手段から供給される、位置合わせ後の前記拡大画像に対して、前記低周波数成分を混合し、前記高周波数成分を加算することで、前記新たな出力画像を生成する
   第１の処理を行うか、又は、
   前記第１の選択手段が、直前に得られた前記出力画像を選択して、前記位置合わせ手段に供給し、
   前記位置合わせ手段が、前記第１の選択手段から供給される、直前に得られた前記出力画像の位置を、前記拡大画像の位置に合わせる位置合わせを行い、位置合わせ後の前記出力画像を、前記第３の選択手段に供給し、
   前記第２の選択手段が、前記拡大画像を選択して、前記混合加算手段に供給し、
   前記第３の選択手段が、前記位置合わせ手段による位置合わせ後の前記出力画像を選択して、前記分離手段に供給し、
   前記分離手段が、前記第３の選択手段から供給される、位置合わせ後の前記出力画像を、前記低周波数成分と前記高周波数成分とに分離し、
   前記混合加算手段が、前記第２の選択手段から供給される前記拡大画像に対して、前記低周波数成分を混合し、前記高周波数成分を加算することで、前記新たな出力画像を生成する
   第２の処理を行う
   請求項２に記載の画像処理装置。
8. 前記拡大画像について、各画素の動きの程度を判定する動き判定手段と、
   前記拡大画像、又は、直前に得られた前記出力画像を選択する第４の選択手段と
   をさらに備え、
   前記第１の処理では、さらに、
   前記第４の選択手段が、直前に得られた前記出力画像を選択し、
   前記混合加算手段が、動きがある画素については、直前に得られた前記出力画像の重みが大となり、動きがない画素については、前記新たな出力画像の重みが大となる重みに従って、前記第４の選択手段が選択した、直前に得られた前記出力画像と、前記新たな出力画像とを混合する動体混合を、さらに行い、
   前記第２の処理では、さらに、
   前記第４の選択手段が、前記拡大画像を選択し、
   前記混合加算手段が、動きがある画素については、前記拡大画像の重みが大となり、動きがない画素については、前記新たな出力画像の重みが大となる重みに従って、前記第４の選択手段が選択した前記拡大画像と、前記新たな出力画像とを混合する動体混合を、さらに行う
   請求項７に記載の画像処理装置。
9. 複数の前記入力画像について、
   前記拡大手段が、前記入力画像を拡大し、
   前記位置合わせ手段が、前記拡大画像と、前記出力画像との位置合わせを行い、
   前記分離手段が、前記出力画像を、前記低周波数成分と前記高周波数成分とに分離し、
   前記混合加算手段が、前記拡大画像に対して、前記低周波数成分を混合し、前記高周波数成分を加算することで、前記新たな出力画像を生成する
   ことを繰り返す
   請求項２に記載の画像処理装置。
10. 前記入力画像は、インタレース方式の画像である
    請求項２に記載の画像処理装置。
11. 前記入力画像は、ベイヤ配列の画像である
    請求項２に記載の画像処理装置。
12. 画像処理装置が、
    入力画像を、周辺の画素値を用いた補間によって拡大する拡大ステップと、
    前記入力画像を拡大した拡大画像と、直前に得られた出力画像との位置合わせを行う位置合わせステップと、
    前記出力画像を、低周波数成分と高周波数成分とに分離する分離ステップと、
    前記拡大画像に対して、前記低周波数成分を混合し、前記高周波数成分を加算することで、新たな出力画像を生成する混合加算ステップと
    を含む画像処理方法。
13. 入力画像を、周辺の画素値を用いた補間によって拡大する拡大手段と、
    前記入力画像を拡大した拡大画像と、直前に得られた出力画像との位置合わせを行う位置合わせ手段と、
    前記出力画像を、低周波数成分と高周波数成分とに分離する分離手段と、
    前記拡大画像に対して、前記低周波数成分を混合し、前記高周波数成分を加算することで、新たな出力画像を生成する混合加算手段と
    して、コンピュータを機能させるためのプログラム。

Images