JP2012128529A - 画像処理装置及びその制御方法、プログラム - Google Patents

Abstract

【課題】 畳み込み演算にかかる演算量を低減しつつ、画像の高域成分に対してもぼけ補正が行う。
【解決手段】 入力画像を複数の帯域に分割して帯域分割画像を生成する。生成した複数の帯域の各帯域についての帯域分割画像に対して、ぼけ補正を行うための複数のフィルタを用いて畳み込み演算を実行する。生成した複数の各帯域についての画像を帯域合成する。
【選択図】 図３

Description

本発明は、画像のぼけ補正を行う補正処理を実行する画像処理装置に関するものである。

デジタルカメラ、デジタルビデオカメラ等の撮像装置では、被写体からの光をレンズ等で構成される撮像光学系によってＣＣＤやＣＭＯＳ等の撮像素子に導く。撮像素子は撮像光学系を通った光を電気信号に変換する。この電気信号に対し、ＡＤ変換やデモザイキング等の、電気信号を画像化するために必要な処理を施すことで、撮影画像を得ることができる。撮影画像の画質は、撮像光学系の影響を受ける。

例えば、高性能なレンズを使用した場合は、ぼけの小さい、くっきりとした画像を得ることができる。逆に、安価な性能の低いレンズを使用した場合に得られる画像はぼけている。星空を撮影した場合、ぼけが小さいレンズを用いて撮影した画像は、星の一つ一つがくっきりとした点のようになる。逆に、ぼけが大きいレンズを用いて撮影した画像は、星が一点ではなくある程度の広がりをもってぼけている。また、人物を撮影した場合には、ぼけの小さいレンズを用いると、髪の毛の一本一本まで細やかに記録された画像を得ることができる。逆に、ぼけの大きいレンズでは髪の毛の一本一本がぼやけて撮影されるため、精細感に欠けた画像が得られてしまう。

撮像光学系に起因する画像のぼけを補正する方法としては、撮影画像に画像処理を施すことで、撮像光学系に起因する画像のぼけを補正する方法が知られている。この方法では、予め撮像光学系のぼけの特性をぼけ特性データとしてデータ化しておき、このぼけ特性データに基づいて画像のぼけを補正する。

撮像光学系のぼけ特性をデータ化する方法として、例えば、点像分布関数（ＰＳＦ）によって、ぼけ特性を表す方法がある。ＰＳＦは被写体の一点がどの様にぼけるかを表すものである。例えば、暗黒下で体積が非常に小さい発光体を撮影した場合のセンサ面上での光の２次元的分布が、かかる撮像光学系のＰＳＦにあたる。ぼけの小さい理想的な撮像光学系ではＰＳＦはほぼ一点であり、ぼけの大きい撮像光学系ではＰＳＦは一点ではなく、ある程度の広がりを持っている。実際に撮像光学系のＰＳＦを特性データとして取得する際には、必ずしも点光源のような被写体を撮影する必要はない。例えば、白黒のエッジを有するチャートを撮影し、撮影画像からチャートに対応した計算方法によってＰＳＦを計算する方法等が知られている。また、撮像光学系の設計データから計算によってＰＳＦを得ることも可能である。

ＰＳＦで表される特性データ（ＰＳＦデータ）を用いてぼけを補正する方法では、逆フィルタによる方法が良く知られている。具体的な逆フィルタの構成方法を数式を用いて説明する。ぼけのない理想的な撮像光学系を用いて撮影した撮影画像をｆ（ｘ，ｙ）とする。ｘ，ｙは画像の二次元上の位置を示す符号であり、ｆ（ｘ，ｙ）は位置ｘ，ｙでの画素値を表している。一方で、ぼけのある撮像光学系で撮影した撮影画像をｇ（ｘ，ｙ）とする。また、ぼけのある撮像光学系のＰＳＦをｈ（ｘ、ｙ）で表す。するとｆ，ｇ，ｈには次の関係が成り立つ。

ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
尚、＊は畳み込み演算を意味している。ぼけを補正することは、ぼけのある撮像光学系で撮影した画像ｇ（ｘ，ｙ）とかかる撮像光学系のＰＳＦであるｈ（ｘ，ｙ）から、ぼけのない撮像光学系で取得したｆ（ｘ，ｙ）を推定することと言い換えることもできる。また、これをフーリエ変換して空間周波数面での表示形式に変換すると、以下の式のように周波数毎の積の形式になる。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
Ｈ（ｕ，ｖ）はＰＳＦをフーリエ変換したものであり、光学伝達関数（ＯＴＦ）と呼ばれている。ｕ（ｕ，ｖ），ｖ（ｕ，ｖ）は２次元周波数面での座標、即ち、周波数を示す。Ｇ（ｕ，ｖ）はｇ（ｘ，ｙ）のフーリエ変換であり、Ｆ（ｕ，ｖ）はｆ（ｘ，ｙ）のフーリエ変換である。

撮影されたぼけのある画像から、ぼけのない画像を得るためには、以下のように両辺をＨで除算すればよい。

Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、ぼけのない画像ｆ（ｘ，ｙ）が回復像として得られる。

ここで、Ｈ^-1を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対する畳み込み演算を行うことで同様にぼけのない画像が得られる。

ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
このＲ（ｘ，ｙ）を逆フィルタと呼ぶ。実際にはＨ（ｕ，ｖ）が０になる周波数（ｕ，ｖ）では０での除算が発生するため、逆フィルタＲ（ｘ，ｙ）は多少の変形がなされる。また、通常、ＯＴＦは高周波ほど値が小さくなるため、その逆数である逆フィルタは高周波ほど値が大きくなる。従って、逆フィルタを用いて、ぼけのある撮影画像に畳み込み演算処理を行うと、撮影画像の高周波成分が強調される。しかし、実際の画像ではノイズも含まれており、ノイズは一般的に高周波であるため、逆フィルタではノイズを強調してしまう。このため、Ｒ（ｘ，ｙ）を式変形し、逆フィルタほど高周波を強調しない特性を持たせる方法が知られている。ノイズを考慮して高周波をあまり強調しないフィルタとしてウィナーフィルタが有名である。

以上のように現実的には、撮影画像にノイズが混入したり、ＯＴＦが０になる周波数がある場合等の理想条件との乖離により、ぼけを充分に取り除くことはできないが、上記処理により画像のぼけを低減することができる。以降では、逆フィルタやウィナーフィルタ等のぼけ補正で用いるフィルタをまとめて回復フィルタと呼ぶ。前述したように、回復フィルタは撮像光学系のＰＳＦを用いて計算することに特徴がある。

回復フィルタは、ぼけが大きいほどタップ数（フィルタサイズ）が大きくなる傾向がある。そのため、大きなぼけを補正する場合、回復フィルタのタップ数が大きくなり、フィルタリングに要する回路規模が増大してコストが増えるという問題がある。

特許文献１によれば、画像を低域成分と高域成分に帯域分割し、低域成分にのみ回復フィルタを畳み込み演算して高域成分と帯域合成する。高域成分には畳み込み演算を行わないため演算量を削減することができる。

特開２００７−７２５５８号公報

しかしながら、特許文献１の方法では画像の高域成分に対してぼけ補正がなされないため、細かなテクスチャなど画像の高域成分はぼけたままである。

本発明は上記の課題を解決するためになされたものであり、撮像光学系に起因する画像のぼけを低減することを目的とする。

上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
画像のぼけ補正を行う補正処理を実行する画像処理装置であって、
入力画像を複数の帯域に分割して帯域分割画像を生成する画像帯域分割手段と、
前記画像帯域分割手段が生成した前記複数の帯域の各帯域についての帯域分割画像に対して、前記ぼけ補正を行うための複数のフィルタを用いて畳み込み演算を実行する畳み込み演算手段と、
前記畳み込み演算手段によって生成した前記複数の各帯域についての画像を帯域合成する帯域合成手段と
を備える。

本発明によれば、畳み込み演算にかかる演算量を低減しつつ、画像の高域成分に対してもぼけ補正が行うことができる。

実施形態１の画像処理装置の構成を示す図である。 実施形態１の信号処理部の詳細構成を示す図である。 実施形態１の信号処理部の部分詳細構成を示す図である。 実施形態１の畳み込み演算部の詳細構成を示す図である。 実施形態２の信号処理部の部分詳細構成を示す図である。 実施形態１及び２の処理手順を示すフローチャートである。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

＜実施形態１＞
＜画像処理装置の全体構成＞
図１は実施形態１の画像処理装置の構成を示す図である。

撮像部１０１は、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、ｉＲカットフィルタ、カラーフィルタ、及びセンサ（ＣＭＯＳやＣＣＤ等）等の撮像光学系から構成され、被写体の光量を検知する。

Ａ／Ｄ変換部１０２は、被写体の光量をデジタル値に変換する。信号処理部１０３は、デジタル値にホワイトバランス処理、ガンマ処理、ノイズ低減処理等の画像処理を行い、デジタル画像を生成する。Ｄ／Ａ変換部１０４は、デジタル画像に対しアナログ変換を行う。エンコーダ部１０５は、デジタル画像をＪＰＥＧやＭＰＥＧ等のファイルフォーマットに変換する処理を行う。

メディアインターフェース１０６は、ＰＣ（パーソナルコンピュータ）、その他メディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に接続するためのインターフェースである。

ＣＰＵ１０７は、画像処理装置の各構成要素の処理全てに関わり、ＲＯＭ１０８やＲＡＭ１０９に記憶された命令を順に読み込み、解釈し、その結果に従って処理を実行する。また、ＲＯＭ１０８とＲＡＭ１０９は、その処理に必要なプログラム、データ、作業領域等をＣＰＵ１０７に提供する。

撮像系制御部１１０は、フォーカスを合わせる、シャッターを開く、絞りを調節する等の、ＣＰＵ１０７から指示された撮像系の制御を行う。操作部１１１は、ボタンやモードダイヤル等が該当し、これらを介して入力されたユーザ指示を受信する。キャラクタージェネレーション部１１２は、文字やグラフィック等の画像を生成する。

表示部１１３は、一般的には液晶ディスプレイが広く用いられており、キャラクタージェネレーション部１１２やＤ／Ａ変換部１０４から受信した撮影画像や文字の表示を行う。また、タッチスクリーン機能を有していても良く、その場合は、ユーザ指示を操作部１１１の入力として扱うことも可能である。

尚、画像処理装置の構成要素は上記以外にも存在するが、本件発明の主眼ではないので、説明を省略する。

また、本発明の構成要素は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用しても良い。本件発明の目的は、前述の実施形態の機能を実現するプログラムをシステムのコンピュータ（またはＣＰＵまたはＭＰＵ）が実行しても達成される。この場合、プログラム自体が前述した実施形態の機能を実現することになり、そのプログラムを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のデータ保存部、ＲＯＭなどを用いることができる。また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけではない。そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。さらに、プログラムの指示内容をシステムの機能拡張ボードに備わるＣＰＵなどが実行し、その処理で前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明のぼけ補正処理は、信号処理部１０３において実行されることが好適である。信号処理部１０３の詳細図を図２に示す。図２の信号処理部１０３では、入力のデジタル画像に対して、画質向上のための一連の処理が行われる。例えば、ノイズ低減、ホワイトバランス制御（ホワイトバランス制御部２０２）、ぼけ補正、色再現性を向上させるための色変換（色変換部２０３）、ガンマ補正等である。特に、ぼけ補正は、信号処理部１０３のぼけ補正部２０１によって実行され、画質向上を目的として行われる各種の処理の中の一つとして実施されることが好適である。

＜演算量削減の原理＞
画像回復は画像に対して回復フィルタを畳み込む演算でなされる。画像をＩ（ｉ，ｊ）、回復フィルタをｆ（ｉ，ｊ）、回復後の画像をｒ（ｉ，ｊ）とすると、

と表すことができる。

ここで、（１）式を式変形して、（２ａ）〜（２ｄ）式の４つの式を得る。

ここで、

である。説明の簡単のためＮを偶数として以降の議論を進める。ここで、（２ａ）〜（２ｂ）式は複雑であるため、次式で定義される省略記号を用いる。

すると、（２）式は、

と行列を用いて表すことができる。

さて、ウェーブレット変換を次式のように定義する。

ここで（６）式の左辺は帯域分割された帯域分割画像である。（６）式の変換によりＬＬは画像Ｉ（ｉ，ｊ）の縦の低周波成分と横の低周波成分に応じた画像となる。同様に、ＬＨ，ＨＬ，ＨＨはそれぞれ画像Ｉ（ｉ，ｊ）の縦の低周波成分と横の高周波成分、縦の高周波成分と横の低周波成分、縦の高周波成分と横の高周波成分、に応じた画像である。

ＬＬ〜ＨＨの各成分の画像は帯域分割によりサイズが縦横半分になる。（６）式中の４ｘ４の行列をＴとおく。すなわち、

である。行列Ｔがウェーブレット変換を行う役割を持つ。（５）式の両辺にＴをかけ、単位行列であるＴ^-1Ｔを挿入すると、

を得る。ここで、（８）式の左辺は、ぼけ補正がなされた画像（以降、回復画像）をウェーブレット変換したものであるから、

と表すことができる。ここで、ｒ_LL、ｒ_LH、ｒ_HL、ｒ_HHは回復後の画像のウェーブレット変換である。

（８）式の右辺も同様に、

と表すことができる。ここで、Ｉ_LL、Ｉ_LH、Ｉ_HL、Ｉ_HHは入力画像のウェーブレット変換である。
さらに、

と定義すると、（１）式の畳み込み演算は、（８）,（９）,（１０）,（１１）式を用いて、

と表すことができる。

さて、（１）式を変形して（１２）式にした。（１）式では一回の畳み込み演算となり、（１２）式では１６回の畳み込み演算になっている。さらに、入力画像サイズは帯域分割により縦横約半分になっている。また、後述するように（４）,（１１）式で定義されるフィルタのサイズも縦横約半分となる。畳み込み演算の乗算回数は、画像サイズ（面積）、フィルタサイズ（面積）、畳み込み演算の回数におおよそ比例する。そのため、（１）式を（１２）式のように変形することで乗算回数はおおよそ（１/４）×（１/４）×１６＝１で変わらない。このままでは、式が複雑になっただけでメリットが少ない。以下に明らかになるが、（１２）式を詳細に計算すると演算量自体が削減できることが示される。

本発明では、（１１）式で定義される左辺の１６個のフィルタを子フィルタと呼ぶ。これは、（１１）式の左辺が、複数の帯域の分割前の入力画像についての回復フィルタｆ（ｉ，ｊ）から生成されていることからである。

子フィルタは（４）、（７）、（１１）式によって計算することができる。具体的な計算例は後述するが、すべての子フィルタは以下の形式により表すことができる。

（１３）式において、ＩＤ１，ＩＤ２は、ＬＬ，ＬＨ，ＨＬ，ＨＨのいずれかを表す。ｗ_ID1-ID2は、３×３の２次元帯域分割フィルタであり、子フィルタ１６個のそれぞれに対応して１６個存在する。また、↓は２次元の間引き処理を表す。例えば、

のように、縦横一つおきに間引く処理である。この間引き処理によってサイズが縦横約半分になる。すると、（１３）式から、子フィルタは回復フィルタに帯域分割フィルタをかけた後、縦横約半分に間引くことにより得られる。すると、子フィルタの大きさは回復フィルタのおおよそ縦横半分になる。帯域分割フィルタｗ_ID1-ID2は、（４）,（７）,（１１）式によって計算することができる。計算の過程から帯域分割フィルタは、画像を帯域分割する変換行列に応じて計算されるという特徴をもち、回復フィルタには依存しないという特徴をもつ。（７）式の変換行列に対応する帯域分割フィルタを下記に表す。

式（１５ａ）から、ｗ_LL-LLは縦横方向ともにローパスフィルタになっている。式（１５ｂ）から、ｗ_LL-LHは縦方向にはローパス、横方向にはバンドパスフィルタとなっている。式（１５ｃ）から、ｗ_LL-HLは縦方向にはバンドパスフィルタ、横方向にはローパスフィルタである。式（１５ｄ）から、ｗ_LL-HHは縦横方向ともにバンドパスフィルタである。ＩＤ１＝ＬＬの場合以外の帯域分割フィルタｗ_ID1-ID2も同様に、縦か横方向にローパス・バンドパス・ハイパスのいずれかの特性を有するという特徴がある。そのため、（１３）式から、子フィルタは回復フィルタの特定の帯域の特性から作られていることが分かる。本発明では、（１３）式により回復フィルタを帯域分割していると言える。

以上の方法で得られた帯域分割フィルタｗ_ID1-ID2には、次の特徴がある。すなわち、

帯域分割フィルタｗ_ID1-ID2が（１６）式の対称性を持つことから、（１３）式を用いて子フィルタの対称性が次式のように決まる。

（１７）式はどのような回復フィルタであっても成立する恒等式である。さらには、回復フィルタに限らずとも、２次元のフィルタであれば（１２）式の形式で畳み込みを表現したときに、常に成り立つ関係式である。次に、（１７）式で表される子フィルタの対称性を利用して、畳み込みにかかる演算量を削減する。まず、（１２）式を畳み込み演算の記号＊を用いて表して次式を得る。

次に、子フィルタの直交成分を次のように置き換える。

（１８）式を（１９）式を用いて式変形すると、

（２０）式を得る。（２０）式をみると、同じ畳み込み演算を行っている箇所が複数見られる。例えば、回復画像のＬＬ成分ｒ_LLを計算する（２０ａ）式の第２項と、r_LHを計算する（２０ｂ）式の第一項は同じ畳み込み演算を行っている。（２０）式では、独立した畳み込み演算は１０項であり、残り６項の畳み込み演算は重複している。同じ畳み込み演算の項は１回だけ計算すれば良いので、畳み込み演算の回数は１０回となる。先に述べたように、畳み込み演算にかかる乗算の回数はおよそ、フィルタのサイズ（面積）、画像のサイズ（面積）、畳み込み回数に比例する。

然るに、（２０）式では、フィルタサイズは縦横約半分、画像サイズも縦横約半分、畳み込み回数は１０回であるから、乗算回数は（１/４）×（１/４）×１０で０.６２５となる。つまり、（１）式の畳み込み演算を変形して（２０）式を得たわけであるが、（２０）式のようにすることで乗算回数が４割近く削減できることを本願発明者は発見した。これは何らかの近似を行ってかかる結果を得たわけでなく、あくまで式変形であるから（２０）式の計算結果は（１）式の計算結果に一致する。つまり、畳み込みの結果は同じで演算量だけ削減することができるのである。この計算結果は、畳み込み演算の対象として画像、回復フィルタに限らず２次元の配列二つについて成立する。このことは、画像、回復フィルタ特有の前提を用いずに、（１）式から（２０）式を導いたことから言うまでもないことである。また、子フィルタの生成方法は（１１）式で表されるが、帯域分割の方法として（７）式で定義されるウェーブレット変換以外を用いても、それに応じて（１１）式を計算すれば良い。そのため、本発明では帯域分割の方法を（７）式に限るものではない。

＜画像処理装置の各部の構成＞
図３の信号処理部１０３の部分詳細構成を示すブロック図、及び図６のフローチャートを用いて、ぼけ補正部２０１の構成と動作を説明する。

ステップＳ６０１において、画像帯域分割部３０１が、ホワイトバランス制御部２０２から入力画像を帯域分割して帯域分割画像を生成し、畳み込み演算部３０２に出力する。ステップＳ６０２において、フィルタ帯域分割部３０３が、ＲＯＭ１０８から回復フィルタを読み出し、フィルタ帯域分割により子フィルタデータを生成して畳み込み演算部３０２に出力する。ステップＳ６０３において、畳み込み演算部３０２が、帯域分割画像と子フィルタデータの畳み込み演算を行い、帯域分割された回復画像を生成して帯域合成部３０４へ出力する。ステップＳ６０４において、帯域合成部３０４が、帯域分割された回復画像を帯域合成して色変換部２０３に出力する。

画像帯域分割部３０１では、入力画像に対して（６）式の演算により、帯域分割した画像Ｉ_LL，Ｉ_LH，Ｉ_HL，Ｉ_HHを畳み込み演算部３０２に出力する。また、フィルタ帯域分割部３０３では、（１３）,（１９）式の演算を行う。これにより、
ｆ_LL-LL’、ｆ_LL-LH’、ｆ_HL-HL’、ｆ_HH-HH’、ｆ_LL-LH、ｆ_LL-HL、ｆ_LL-HH’、ｆ_LH-HL、ｆ_LH-HH、ｆ_HL-HH、からなる１０個の子フィルタデータを生成する。そして、フィルタ帯域分割部３０３は、これらの子フィルタデータを、畳み込み演算部３０２に出力する。

畳み込み演算部３０２では、（２０）式の演算を行う。図４に畳み込み演算部３０２の構成を示す。＊で示されたブロックは畳み込み演算を表す。ブロック図中の下段６つの畳み込み演算の結果は、補正後の帯域分割画像を計算するために２回ずつ使われていることが分かる。このことにより、本来１６回の畳み込み演算が必要なところを、１６回中６回の演算を共通化させることで、合計１０回の畳み込み演算で代用できる。つまり、複数のフィルタデータの一部は、複数の帯域の帯域分割画像のうち、２つ以上の帯域分割画像に対する畳み込み演算に使用される。

以上の動作により、ぼけ補正に必要な畳み込み演算の計算量を減らすことができ、しかも単純に畳み込み演算を行った結果と同様の演算結果を得ることができる。

また、ぼけ補正では、画像の位置に応じて、ぼけの度合いが異なるため、画像の位置に応じて本手法を適用する必要があることは言うまでもない。また、画像の端等では畳み込み演算に必要な画素が存在しない場合が考えられるが、その際はダミーの画素値を用いる等の工夫がある。

また、図６に示すフローチャートをプログラムとしてＰＣで実行しても、畳み込み演算にかかる計算量を減らすことができることは言うまでもない。

＜回復フィルタ、変換行列からの子フィルタを計算する手順＞
子フィルタは、（４），（７），（１１）式によって計算することができる。その計算過程は複雑であるため、ここではｆ_LL-LLを例にとり計算過程を示す。他の子フィルタについても同様にして決定される。

（１１）式を計算すると

が得られる。ここで省略されているインデックスを書き出して次式を得る。

ここでｉ，ｊ，α，βは、（１２）式中の畳み込み演算に関わる指標である。今、知りたいのは、ｆ_LL-LLの中身なので、ｉ−α＝ｉ’、ｊ−β＝ｊ’と定義する。すると、

を得る。上式から子フィルタｆ_LL-LLは、回復フィルタｆの各要素の加重平均であることが分かる。また、上式右辺のインデックスｉ’，ｊ’には常に２倍されている。そこで、前述した間引き演算↓を用いて上式を変形すると

を得る。上式は、回復フィルタｆ（ｉ，ｊ）に（１５ａ）式のローパスフィルタをかけた後に間引き処理を行ったものがｆ_LL-LLに等しいことを示す。同様にして、他の子フィルタも計算によって求めることができる。また、同様の計算過程により（７）式で定義されるウェーブレット変換行列Ｔ以外でも子フィルタを計算によって求めることができる。

以上説明したように、実施形態１によれば、画像を低帯域と高帯域に帯域分割し、各帯域画像についてのフィルタの畳み込み演算の一部の演算を帯域間で共通化する。これにより、低帯域及び高帯域について画像回復を実現するとともに、その演算量を低減することができる。

＜実施形態２＞
実施形態１では、子フィルタデータを生成する構成としているが、これに限定されない。実施形態２として、例えば、子フィルタデータを予め計算しておいて、ＲＯＭ１０８に記憶しておき、これを利用して畳み込み演算を実行するようにしても良い。

実施形態２のぼけ補正部を図５に示す。予め計算された子フィルタデータはＲＯＭ１０８に記憶し、畳み込み演算部５０２はＲＯＭ１０８から子フィルタデータを読み出し、この子フィルタデータを用いて画像帯域分割部５０１からの帯域分割画像に対して（２０）式で表される畳み込み演算を行う。

図６の処理においては、特に、ステップＳ６０２において、畳み込み演算部３０２が、ＲＯＭ１０８から子フィルタデータを読み出す。そして、ステップＳ６０３において、畳み込み演算部３０２が、帯域分割画像と子フィルタデータの畳み込み演算を行い、帯域分割された画像を計算して帯域合成部３０４へ出力することになる。

以上説明したように、実施形態２によれば、実施形態１で説明する効果に加えて、ＲＯＭ１０８に予め子フィルタデータを記憶しておくことで、子フィルタデータ生成に必要な計算時間を短縮することができる。

＜実施形態３＞
すでに述べている通り、本発明は、（７）式以外の変換行列に対しても成立する。その例として実施形態３では次式の変換行列を用いた実施形態を示す。

計算の手順は実施形態１と同様なのでｆ_LL-LLだけ計算例とその結果を示す。

（２４）式に対応して次式が導かれる。

上式での実施形態１との違いは、回復フィルタｆの各係数に付与する重みである。上式では回復フィルタに

で示されるローパスフィルタをかけた後に間引き演算を行ったものが（２５）式の変換行列に対応する子フィルタｆ_LL-LLであることを示している。

以上説明したように、様々な変換行列についても、実施形態１と同様の効果を得ることができる。

尚、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (9)

1. 画像のぼけ補正を行う補正処理を実行する画像処理装置であって、
   入力画像を複数の帯域に分割して帯域分割画像を生成する画像帯域分割手段と、
   前記画像帯域分割手段が生成した前記複数の帯域の各帯域についての帯域分割画像に対して、前記ぼけ補正を行うための複数のフィルタを用いて畳み込み演算を実行する畳み込み演算手段と、
   前記畳み込み演算手段によって生成した前記複数の各帯域についての画像を帯域合成する帯域合成手段と
   を備えることを特徴とする画像処理装置。
2. 前記複数の帯域の分割前の入力画像についてのぼけ補正を行うためのフィルタから、前記複数の帯域の各帯域に対するフィルタに分割することで、前記複数のフィルタを生成するフィルタ帯域分割手段を更に備える
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の帯域の分割前の入力画像についてのぼけ補正を行うためのフィルタから、前記複数の帯域の各帯域に対するフィルタに分割することで生成した前記複数のフィルタを記憶する記憶手段を更に備える
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記複数のフィルタは、撮像光学系によるぼけ補正を行うためのフィルタである
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記画像帯域分割手段は、ウェーブレット変換によって、前記入力画像を前記複数の帯域に分割する
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記フィルタ帯域分割手段が生成する前記複数のフィルタのそれぞれは、前記複数の帯域の分割前の入力画像についてのぼけ補正を行うためのフィルタのサイズよりも小さい
   ことを特徴とする請求項２に記載の画像処理装置。
7. 前記畳み込み演算手段において、前記フィルタ帯域分割手段が生成する前記複数のフィルタの一部は、前記画像帯域分割手段が生成する複数の帯域の帯域分割画像のうち、２つ以上の帯域分割画像に対する畳み込み演算に使用される
   ことを特徴とする請求項２に記載の画像処理装置。
8. 画像のぼけ補正を行う補正処理を実行する画像処理装置の制御方法であって、
   入力画像を複数の帯域に分割して帯域分割画像を生成する画像帯域分割工程と、
   前記画像帯域分割工程が生成した前記複数の帯域の各帯域についての帯域分割画像に対して、前記ぼけ補正を行うための複数のフィルタを用いて畳み込み演算を実行する畳み込み演算工程と、
   前記畳み込み演算工程によって生成した前記複数の各帯域についての画像を帯域合成する帯域合成工程と
   を備えることを特徴とする画像処理装置の制御方法。
9. 画像のぼけ補正を行う補正処理をコンピュータに実行させるためのプログラムであって、
   前記コンピュータを、
   入力画像を複数の帯域に分割して帯域分割画像を生成する画像帯域分割手段と、
   前記画像帯域分割手段が生成した前記複数の帯域の各帯域についての帯域分割画像に対して、前記ぼけ補正を行うための複数のフィルタを用いて畳み込み演算を実行する畳み込み演算手段と、
   前記畳み込み演算手段によって生成した前記複数の各帯域についての画像を帯域合成する帯域合成手段と
   して機能させることを特徴とするプログラム。

Images