JP2017021542A - 画像処理装置及び画像処理装置の制御方法 - Google Patents

Abstract

【課題】 多重解像度解析処理及びノイズ低減処理を行うのに必要なメモリ容量及びメモリアクセス量の増大を抑制する。
【解決手段】 入力画像を周波数帯域及び画像サイズの異なる複数の画像に分解する分解手段と、画像を記憶する記憶手段と、前記入力画像及び前記複数の画像を前記記憶手段に記憶するかを選択する選択手段と、前記選択手段によって前記記憶手段に記憶された複数の画像を用いてノイズ低減を行うノイズ低減手段と、前記ノイズ低減手段は、前記選択手段によって前記記憶手段に記憶されなかった周波数帯域の画像を補間により生成する補間手段と、を備えることを特徴とすることで必要なメモリ容量及びメモリアクセス量の増大を抑制できるようにする。
【選択図】 図４

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に多重解像度解析処理およびノイズ低減処理を行う画像処理装置に用いて好適なものである。

従来、入力画像をラプラシアン・ピラミッド分解（周波数分解）及び周波数分解によって複数の階層に分解された階層画像を用いてノイズ低減処理を行うという技術がある。

特許文献１においては、周波数分解で分解される各階層画像を記憶メモリまたは、遅延メモリに置くことで、ノイズ低減処理において各階層画像を記憶メモリまたは、遅延メモリから読み出すタイミングを調整できるようにしている。

特開２００８−３０６２９８号公報

ところで、入力画像がベイヤー配列と呼ばれる画素の配置からなる画像データであって、ベイヤー配列のデータを周波数分解するためには、色補間（以降、同時化と呼ぶ）を行う必要があった。

ベイヤー配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインとを有し、さらにその２つのラインを垂直方向にも交互に配置することで構成されている。

ベイヤー配列は１画素あたり１色（ＲまたはＧｒまたはＧｂまたはＢ）のため、周波数分解を行うためには同時化する必要があり、１画素あたり４色（ＲとＧｒとＧｂとＢ）とデータ量が大きくなる。

そのため周波数分解によって分解される各階層画像の合成するタイミングを調整できるようにするために、同時化データを蓄える記憶メモリまたは、遅延メモリが増大するという課題があった。

また、周波数分解によって分解される同時化された画像のデータ量を削減するために、同時化された画像を再びベイヤー配列のような１画素あたり１色に変換すると、各色の画素を間引くことにより各画素の色の情報が少なくなり、偽色やモアレが発生し画質が劣化してしまうという課題があった。

上記課題に鑑み、本発明は、入力画像及び入力画像を周波数分解した画像の一部を記録することで記録する画像データ量を削減しつつ、画質の劣化を低減した画像処理が可能な画像処理装置及び画像処理装置の制御方法を提供することを目的とする。

上記課題を解決するために、本発明の画像処理装置は、入力画像を周波数帯域及び画像サイズの異なる複数の画像に分解する分解手段と、画像を記憶する記憶手段と、前記入力画像及び前記複数の画像を前記記憶手段に記憶するかを選択する選択手段と、前記選択手段によって前記記憶手段に記憶された複数の画像を用いてノイズ低減を行うノイズ低減手段と、前記ノイズ低減手段は、前記選択手段によって前記記憶手段に記憶されなかった周波数帯域の画像を補間により生成する補間手段と、を備えることを特徴とする。

また、上記課題を解決するために、本発明の画像処理装置の制御方法は、入力画像を周波数帯域及び画像サイズの異なる複数の画像に分解する分解ステップと、前記入力画像及び前記複数の画像の中から、記憶手段に記憶する画像を選択する選択ステップと、前記選択ステップにて前記記憶手段に記憶された複数の画像を用いてノイズ低減を行うノイズ低減ステップと、を備え、前記ノイズ低減ステップでは、前記記憶手段に記憶されなかった周波数帯域の画像を補間により生成することを特徴とする。

本発明によれば、周波数分解によって分解される各階層の階層画像を選別し、複数の階層画像を用いたノイズ低減処理で、階層画像のデータ量を小さくし、また、記憶メモリの使用容量を減らすことができ、さらには記憶メモリの使用帯域を減らすことが可能となる。

第１の実施形態の全体構成を概略的に示す図である。 第１の実施形態の第２階層画像のデータ構成を説明する図である。 第１の実施形態の各色の第２階層画像のフィルタ係数を説明する図である。 第１の実施形態の各階層画像の生成手順を説明する図である。 第１の実施形態のノイズ低減処理を説明する図である。 第１の実施形態のノイズ低減処理で第２階層画像の帯域補間を説明する図である。 第１の実施形態の各階層画像のデータ量を説明する図である。 第２の実施形態のノイズ低減処理を説明する図である。 第２の実施形態の各階層画像のデータ量を説明する図である。

〔第１の実施形態〕
以下、本発明の実施形態について図面を用いて説明する。

なお、以下に説明する本発明の実施形態に係る画像処理装置は、多重解像度解析機能及びノイズ低減機能を有する画像処理装置である。

図１は、画像入力から画像表示までの構成例を示す図である。

図１で示すように、本発明の実施形態に係る画像処理装置は画像入力部１０１、周波数分解部１０２、階層画像選択部１０３、階層画像記憶部１０４、階層画像ノイズ低減処理部１０５、および画像表示部１０６を有する。各部は不図示のＣＰＵ等で構成される制御部によって制御される。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

画像入力部１０１は、ベイヤー配列などの画素配列で構成される１画素あたり１色の画像を入力とするＣＭＯＳセンサ等の撮像素子である。撮影レンズを含む撮像光学系から入射される被写体からの光束を受光し、光電変換して電気信号として出力する。

この入力画像を第１階層画像とする。

図２を参照して、周波数分解部１０２で行われる画像の周波数分解処理（以降、階層画像生成処理と呼ぶ）について説明する。

図２で示すように、周波数分解部１０２による階層画像生成処理においての入力画像として第１階層画像２０１の水平画素数を１Ｈ画素、垂直画素数を１Ｖ画素のサイズの画像とする。

第１階層画像２０１から階層画像生成処理によって、水平垂直が各々半分のサイズ（水平画素がＨ／２画素、垂直画素数がＶ／２画素）の低周波画像２０２（第２階層画像と呼ぶ）が生成される。

図３において第２階層画像の生成方法を説明する。

図３では、入力画像である第１階層画像２０１（１画素あたり１色の画像３０１）に対して水平垂直を各々半分のサイズにするために、画素補間（同時化）処理と低域フィルタを通してから水平１／２、垂直１／２のサイズにダウンサンプリングしている。

Ｒ画素を注目画素として、同時化処理と低域フィルタ（帯域制限フィルタ）をかける係数について説明する。

Ｒ画素については、３０１の注目画素Ｒの近隣８画素の画素補間のための同時化フィルタと水平低域フィルタと垂直低域フィルタをかけあわせることによって、３０２のようなフィルタ係数となる（式１）。

Ｇｒ画素については、３０１の注目画素Ｒの近隣８画素の画素補間のための同時化フィルタと水平低域フィルタと垂直低域フィルタをかけあわせることによって、３０３のようなフィルタ係数となる（式２）。

Ｇｂ画素については、３０１の注目画素Ｒの近隣８画素の画素補間のための同時化フィルタと水平低域フィルタと垂直低域フィルタをかけあわせることによって、３０４のようなフィルタ係数となる（式３）。

Ｂ画素については、３０１の注目画素Ｒの近隣８画素の画素補間のための同時化フィルタと水平低域フィルタと垂直低域フィルタをかけあわせることによって、３０５のようなフィルタ係数となる（式４）。

同時化フィルタのフィルタ係数は［１ ０ １］／２、水平低域フィルタのフィルタ係数は［１ ２ １］／４、垂直低域フィルタのフィルタ係数は［１ ２ １］／４とする。

ダウンサンプリングする方法については、３０６から３０９に示したように注目画素（白塗りの画素）から水平１画素おきに画素を抽出し、垂直も同様に注目画素から垂直１画素おきに画素を抽出する。これにより、第一階層画像から水平１／２、垂直１／２のサイズにリサイズする。

３０６から３０９の斜線部の画素はそれぞれ間引く（出力画素としない）画素である。

これにより第２階層画像は１画素あたりＲ、Ｇｒ、Ｇｂ、Ｂといった４色の同時化されたデータが生成されるようになる。

図４では第２階層以降の画像データを生成するための説明を行う。

第２階層画像の同時化されたデータは第３階層画像を生成するために必要な画像データである。

第２階層画像データを生成するためには、入力画像４００を水平低域フィルタ同時化処理４０１に通し、同時化及び水平の低域フィルタをかけ、水平ダウンサンプリング４０２にて水平画素数を１／２のサイズにダウンサンプリングする。

次に垂直低域フィルタ同時化処理４０３を通し、同時化及び垂直の低域フィルタをかけ、垂直ダウンサンプリング４０４にて垂直画素数を１／２のサイズにダウンサンプリングする。

これにより、水平垂直が半分のサイズになった同時化された第２階層画像データが生成される。

第３階層画像データを生成するためには、垂直ダウンサンプリング４０４で出力された第２階層画像データを入力として水平低域フィルタ４１１に通し、水平ダウンサンプリング４１２で水平画素を１／２のサイズにダウンサンプリングする。

次に垂直低域フィルタ４１３を通し、垂直ダウンサンプリング４１４で垂直画素を１／２のサイズにダウンサンプリングする。

第４階層画像データを生成するためには、垂直ダウンサンプリング４１４で出力された第３階層画像データを入力として水平低域フィルタ４２１に通し、水平ダウンサンプリング４２２で水平画素のサイズを１／２にダウンサンプリングする。

次に垂直低域フィルタ４２３を通し、垂直ダウンサンプリング４２４で垂直画素の１／２のサイズにダウンサンプリングする。

水平低域フィルタ４１１、４２１、垂直低域フィルタ４１３、４２３は同時化されたデータ（Ｒ、Ｇｒ、Ｇｂ、Ｂの各色が揃ったデータ）を入力とするため水平および垂直に低域フィルタ［１ ２ １］／４を用いる（式５）。

ｎ＝２は第２階層画像、ｎ＝３は第３階層画像、ｎ＝４は第４階層画像とすると、Ｒ（２）ｋは第２階層画像を生成するためのＲ画素の係数であり、Ｒ（３）ｋは第３階層画像を生成するためのＲ画素の係数である。

階層画像選択部４３０では、第２階層画像を間引き、第１階層画像、第３階層画、第４階層画像を選択して、階層画像記憶部４３１にて各階層画像を記憶する。

図１の階層画像ノイズ低減処理部１０５について図５を使って説明する。

階層画像記憶部４３１で記憶された第４階層画像５０１を遅延ラインメモリ５０２に入力して、垂直タップ数を５タップとしてＮＲ（ノイズ低減）処理部５０３でノイズ低減処理を行う。また、アップサンプリング部５０４で第３階層画像のデータと同等のサイズにアップサンプリングを行う。

ノイズ低減処理は、水平垂直５タップの境界（エッジ）判定型平滑化フィルタなどのフィルタを適応してもよい。

本実施形態のＮＲ処理における垂直タップ数を５タップとしたが、この限りではない。

階層画像記憶部４３１で記憶された第３階層画像データ５１１を遅延ラインメモリ５１２に入力して、垂直タップ数を５タップとしてＮＲ処理部５１３でノイズ低減処理を行う。また、ＮＲ処理部５１３から出力されたデータとアップサンプリング部５０４で出力されたデータを合成部５１４で合成し、アップサンプリング部５１５で第１階層画像のデータと同等のサイズにアップサンプリングを行う。

階層画像記憶部４３１で記憶された第１階層画像データ５２１を遅延ラインメモリ５２２に入力して、垂直タップ数を１３タップとしてＮＲ処理部５２３でノイズ低減処理を行う。また、ＮＲ処理部５２３から出力されたデータとアップサンプリング部５１５で出力されたデータを合成部５２４で合成する。すなわち、分解された各画像の相関を利用したノイズ除去であって、ノイズ除去された各画像のアップサンプリングを行い、アップサンプリングされた各画像を合成する。

図６にて第１階層画像データ５２１のＮＲ処理で１３タップとした理由について示す。

６０１から６０４についてはＲ、Ｇｒラインの第２階層画像の５タップＮＲ処理を補間するための説明を行う。

６０１は１３タップの遅延ラインに蓄えられたデータである。

６０２は６０１からＲ、Ｇｒラインを用いてＧｂ、Ｂラインの補間（同時化）するときのフィルタ係数を示している。

同時化するＧｂ、Ｂラインを６０５とすると、上下のＲ、Ｇｒライン６０６と６０７から補間する（式６）。

同時化される値をＲ（２）ｈ、Ｇｒ（２）ｈとすると、

となる。

次に、６０３にて６０２で同時化されたＲ、Ｇｒラインから第２階層画像を生成するための低域フィルタをかけたものは（式７）で表される。

垂直に低域フィルタをかけた値をＲ（２）ｋ、Ｇｒ（２）ｋとすると、

となる。

６０４では同時化及び低域フィルタをかけた後で、垂直の画素サイズを１／２にダウンサンプリングしている。

また、６０５から６０８についてはＧｂ、Ｂラインの第２階層画像の５タップＮＲ処理の遅延ラインを補間するための説明を行う。

６１１は６０１と同じである。

６１２は６１１からＧｂ、Ｂラインを用いてＲ、Ｒｂラインの補間（同時化）するときのフィルタ係数を示している。

同時化するＲ、Ｇｒラインを６１５とすると、上下のＧｂ、Ｂライン６１６と６１７から補間する（式８）。

同時化される値をＧｂ（２）ｈ、Ｂ（２）ｈとすると、

となる。

次に、６１３にて６１２で同時化されたＧｂ、Ｂラインから第２階層画像を生成するための低域フィルタをかけたものは（式９）で表される。

垂直に低域フィルタをかけた値をＧｂ（２）ｋ、Ｂ（２）ｋとすると、

６１４では同時化及び低域フィルタをかけた後で、垂直の画素サイズを１／２にダウンサンプリングしている。

この結果、第１階層画像のデータが１３タップあれば、第２階層画像のデータが５タップ生成できるため、第１階層画像のデータ１３タップで第２階層画像の５タップのＮＲ処理の遅延ラインを補うことができる。

図７では第１階層画像から第４階層画像までのデータ量について具体的に説明する。

第１階層画像データ７０１はベイヤー配列のデータであり、１画素あたり１色で１６ビット／色とすると、水平画素数４０９６画素、垂直画素数２０４８画素とすると、第１階層のデータ量は、
第１階層画像のデータ量＝４０９６画素×２０４８画素×１色×１６ビット＝１６ＭＢ
となる（１ＭＢ＝１０２４×１０２４Ｂｙｔｅ）。

第２階層画像データ７０２は同時化されたデータであり、１画素あたり４色で１６ビット／色とすると、水平画素数２０４８画素、垂直画素数１０２４画素とすると、
第２階層画像のデータ量＝２０４８画素×１０２４画素×４色×１６ビット＝１６ＭＢ
となる。

第３階層画像データ７０３は同時化されたデータであり、１画素あたり４色で１６ビット／色とすると、水平画素数１０２４画素、垂直画素数５１２画素とすると、
第３階層のデータ量＝１０２４画素×５１２画素×４色×１６ビット＝４ＭＢ
となる。

第４階層画像データ７０４は同時化されたデータであり、１画素あたり４色で１６ビット／色とすると、水平画素数５１２画素、垂直画素数２５６画素とすると、
第４階層のデータ量＝５１２画素×２５６画素×４色×１６ビット＝１ＭＢ
となる。

第１階層画像から第４階層画像までの各階層画像を階層画像記憶部１０４に出力した場合のデータ量の合計は、
１６ＭＢ＋１６ＭＢ＋４ＭＢ＋１ＭＢ＝３７ＭＢとなるが、本実施形態１では、第２階層画像を階層画像記憶部１０４へ出力しないため、１６ＭＢ＋４ＭＢ＋１ＭＢ＝２１ＭＢのデータ量を階層画像記憶部１０４へ出力することになる。

また、ノイズ低減処理の遅延ラインメモリについて説明する。

各階層のＮＲ処理のために５タップのフィルタをかける構成とする場合を説明する。

第２階層画像データを用いてノイズ低減処理を行う場合の各階層それぞれの遅延ラインメモリは、
第１階層画像は４０９６画素×１色×１６ビット×５タップ＝３２０ｋビット
第２階層画像は２０４８画素×４色×１６ビット×５タップ＝６４０ｋビット
第３階層画像は１０２４画素×４色×１６ビット×５タップ＝３２０ｋビット
第４階層画像は５１２画素×４色×１６ビット×５タップ＝１６０ｋビット
（１ｋビット＝１０２４ビット）
となり、合計３２０ｋ＋６４０ｋ＋３２０ｋ＋１６０ｋ＝１４４０ｋビット必要となるが、
第２階層画像を間引いて、第１階層画像で第２階層画像の周波数帯域を含んだノイズ低減処理を行う場合の各階層それぞれの遅延ラインメモリは、
第１階層画像は４０９６画素×１色×１６ビット×１３タップ＝８３２ｋビット
第３階層画像は１０２４画素×４色×１６ビット×５タップ＝３２０ｋビット
第４階層画像は５１２画素×４色×１６ビット×５タップ＝１６０ｋビット
（１ｋビット＝１０２４ビット）。
となるため、合計８３２ｋ＋３２０ｋ＋１６０ｋ＝１３１２ｋビット必要となる。

以上のように、本実施形態では、階層画像記憶部１０４で必要なメモリ容量及びメモリアクセス量の増大を抑制することができ、また、ノイズ低減処理に必要な遅延ラインメモリを削減できる。

また、本実施形態では同時化データを１画素あたり４色としたが、３色（Ｒ、Ｇ、Ｂ）としてもよく、その場合でもメモリ階層画像記憶部１０４で必要なメモリ容量及びメモリアクセス量の増大を抑制することが可能となる。

〔第２の実施形態〕
第２の実施形態では、第２階層画像の画像を画像表示部１０６で表示したい場合など、第１階層画像より小さな画像サイズの生成方法を説明する。

図１から図３の説明は第１の実施形態と同じであるので省略する。

第１階層画像より小さな画像を生成するためには、図４の階層画像選択部４３０において、第２階層画像、第３階層画像、第４階層画像が選択され、階層画像記憶部４３１に記憶する。

図１の階層画像ノイズ低減処理部１０５について図８を使って説明する。

階層画像記憶部４３１で記憶された第４階層画像８０１を遅延ラインメモリ８０２に入力して、垂直タップ数を５タップとしてＮＲ（ノイズ低減）処理部８０３でノイズ低減処理を行う。また、アップサンプリング部８０４で第３階層画像のデータと同等のサイズにアップサンプリングを行う。

本実施形態のＮＲ処理における垂直タップ数を５タップとしたが、この限りではない。

階層画像記憶部４３１で記憶された第３階層画像データ８１１を遅延ラインメモリ８１２に入力して、垂直タップ数を５タップとしてＮＲ処理部８１３でノイズ低減処理を行う。また、ＮＲ処理部８１３から出力されたデータとアップサンプリング部８０４で出力されたデータを合成部８１４で合成し、アップサンプリング部８１５で第２階層画像のデータと同等のサイズにアップサンプリングを行う。

階層画像記憶部８３１で記憶された第２階層画像データ８２１を遅延ラインメモリ８２２に入力して、垂直タップ数を５タップとしてＮＲ処理部８２３でノイズ低減処理を行う。また、ＮＲ処理部８２３から出力されたデータとアップサンプリング部８１５で出力されたデータを合成部８２４で合成する。

図９では第２階層画像から第４階層画像までのデータ量について具体的に説明する。

第２階層画像データ９０１は同時化されたデータであり、１画素あたり４色で１６ビット／色とすると、水平画素数２０４８画素、垂直画素数１０２４画素とすると、
第２階層画像のデータ量＝２０４８画素×１０２４画素×４色×１６ビット＝１６ＭＢ
となる。

第３階層画像データ９０２は同時化されたデータであり、１画素あたり４色で１６ビット／色とすると、水平画素数１０２４画素、垂直画素数５１２画素とすると、
第３階層のデータ量＝１０２４画素×５１２画素×４色×１６ビット＝４ＭＢ
となる。

第４階層画像データ９０３は同時化されたデータであり、１画素あたり４色で１６ビット／色とすると、水平画素数５１２画素、垂直画素数２５６画素とすると、
第４階層のデータ量＝５１２画素×２５６画素×４色×１６ビット＝１ＭＢ
となる。

第２階層画像から第４階層画像までの各階層画像を階層画像記憶部１０４に出力した場合のデータ量の合計は、
１６ＭＢ＋４ＭＢ＋１ＭＢ＝２１ＭＢのデータ量を階層画像記憶部１０４へ出力することになる。

また、ノイズ低減処理の遅延ラインメモリについて説明する。

各階層のＮＲ処理のために５タップのフィルタをかける構成とする場合を説明する。
第２階層画像は２０４８画素×４色×１６ビット×５タップ＝６４０ｋビット
第３階層画像は１０２４画素×４色×１６ビット×５タップ＝３２０ｋビット
第４階層画像は５１２画素×４色×１６ビット×５タップ＝１６０ｋビット
（１ｋビット＝１０２４ビット）
となるため、合計６４０ｋ＋３２０ｋ＋１６０ｋ＝１１２０ｋビット必要となる。

以上のことから、第１の実施形態と同様に、本実施形態でも階層画像記憶部１０４で必要なメモリ容量及びメモリアクセス量の増大を抑制することができ、また、ノイズ低減処理に必要な遅延ラインメモリを削減できる。

〔他の実施形態〕
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。

Claims (10)

1. 入力画像を周波数帯域及び画像サイズの異なる複数の画像に分解する分解手段と、
   画像を記憶する記憶手段と、
   前記入力画像及び前記複数の画像を前記記憶手段に記憶するかを選択する選択手段と、
   前記選択手段によって前記記憶手段に記憶された複数の画像を用いてノイズ低減を行うノイズ低減手段と、
   前記ノイズ低減手段は、前記選択手段によって前記記憶手段に記憶されなかった周波数帯域の画像を補間により生成する補間手段と、を備えることを特徴とする画像処理装置。
2. 前記入力画像はベイヤー配列の１画素あたり１色の第１の画像とすることを特徴とする請求項１に記載の画像処理装置。
3. 前記分解手段は、
   画像から各色の画素を補間するための同時化を行うための同時化手段と、
   前記同時化手段によって同時化された画像の帯域制限を行う帯域制限フィルタ手段と、
   前記帯域制限フィルタによって帯域制限された画像のダウンサンプリングを行うダウンサンプリング手段とを備えることを特徴とする請求項１に記載の画像処理装置。
4. 前記分解手段は、前記帯域制限フィルタ手段と前記ダウンサンプリング手段を繰り返し行うことを特徴とする請求項１に記載の画像処理装置。
5. 前記ノイズ低減手段は、
   前記分解手段によって分解された各画像の相関を利用したノイズ除去であって、ノイズ除去された各画像のアップサンプリングを行うアップサンプリング手段と、
   前記アップサンプリング手段によってアップサンプリングされた各画像を合成する合成手段と、
   を備えることを特徴とする請求項１に記載の画像処理装置。
6. 前記同時化された画像は１画素あたり４色のデータを含むことを特徴とする請求項１に記載の画像処理装置。
7. 請求項１乃至６のいずれか１項に記載の画像処理装置と、
   被写体を撮像し、前記画像入力手段に撮像された前記入力画像を出力する撮像手段と、
   を備えることを特徴とする撮像装置。
8. 入力画像を周波数帯域及び画像サイズの異なる複数の画像に分解する分解ステップと、
   前記入力画像及び前記複数の画像の中から、記憶手段に記憶する画像を選択する選択ステップと、
   前記選択ステップにて前記記憶手段に記憶された複数の画像を用いてノイズ低減を行うノイズ低減ステップと、を備え、
   前記ノイズ低減ステップでは、前記記憶手段に記憶されなかった周波数帯域の画像を補間により生成することを特徴とする画像処理装置の制御方法。
9. 請求項８に記載の画像処理装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
10. コンピュータに、請求項８に記載の画像処理装置の制御方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。