JP2013153341A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】画像回復処理を行う構成及びレンズデータを有していない画像処理装置において、ＲＡＷ現像により適切な画像ファイルを得ることができるようにする。
【解決手段】画像回復処理を撮影画像に適応し、画像回復処理を適応したＲＡＷ画像データを保存する設定となっている場合に、領域ごとの回復フィルタを生成し、前記ＲＡＷ画像データにホワイトバランスを適応する。そして、前記ホワイトバランスが適応された画像データに、前記回復フィルタを適応し、前記回復フィルタが適応された後の画像データにホワイトバランスの逆特性をかけたＲＡＷ画像データを生成して出力する。
【選択図】図２

Description

本発明は、特に、画像回復処理に用いて好適な画像処理装置、画像処理方法及びプログラムに関する。

レンズ等の光学系によって撮像素子上に結像された被写体像は、元の被写体に比べて劣化する（ぼやける）ことが知られている。これは、光学系の収差が原因である。理想的な像を得るために、このような光学系に起因する劣化を取り除く技術は、「画像回復処理」あるいは「復元処理」などと呼ばれている。

特許文献１には、撮像装置により得られるぼやけた画像に対して画像処理を行い、劣化の少ない画像を生成する方法が開示されている。特許文献１に記載の方法では、撮影条件（絞り、焦点距離、被写体までの距離）及び撮像装置の特性情報（レンズの光学特性、撮像装置の識別情報など）を考慮して画像処理を行う。

一方、特許文献２に記載の技術では、画像回復処理を行った画像と元の画像との差分を記録しておくことにより、一度回復処理が行われた画像に対して、後に回復処理の強さを変更することを可能としている。また、回復処理は、撮像装置のセンサーから取り込まれたままのデータに対して処理するとより回復効果が期待できるものである。なお、センサーから取り込まれたままのデータはＲＡＷ画像データと呼ばれ、回復処理を行った後に色処理や明るさ補正などの画像処理が行われて出力される。

特開２０００−２０６９１号公報 特開２０１１−１５１６２７号公報

しかしながら、ＲＡＷ画像データが生成された撮像装置とは別の画像処理装置でＲＡＷ画像データに対するＲＡＷ現像が行われ、ホワイトバランスや色補正、ガンマ補正を行いＪＰＥＧファイル等の画像データを生成することがある。画像回復を行う場合には、その画像処理装置に、撮像装置の画像処理方法や撮影時のレンズ特性に合った画像回復処理を実行可能な画像回復部及びレンズデータが必要になる。

画像回復に用いるレンズデータは、光学伝達関数（Optical Transfer Function）に基づく２次元の周波数データであり、その値は複素数で表される。
そして、入射波長毎にＯＴＦデータが必要になるので、例えば、４００ｎｍ〜７００ｎｍを１０ｎｍ刻みでOTFデータを作成すると、３１種類のデータが必要になる。仮に一つの波長におけるＯＴＦデータのサイズが１５ＫＢだとすると、全ての入射波長についてのＯＴＦデータの合計サイズは、１５ＫＢ×３１＝４６５ＫＢとなる。

さらに、ＯＴＦ関数で得られるデータは、絞り、ズーム、撮影距離、像高等のパラメータによって異なるため、各撮影条件のパラメータを少しずつ変更した全ての撮影条件でのＯＴＦデータのサイズは、数ＭＢ〜数ＧＢになる。ただし各パラメータの刻み幅によって異なる。

このように大容量のレンズデータは、ＷＥＢダウンロード等で配布される場合があり、画像処理装置内にレンズデータがない場合が多く存在する。上述の特許文献１及び２に開示された従来技術では、画像回復処理部及びレンズデータがない他の画像処理装置でＲＡＷ現像を行う場合に、画像回復がＲＡＷ現像に適応できないという問題が発生する。

本発明は前述の問題点に鑑み、画像回復処理を行う構成及びレンズデータを有していない画像処理装置において、ＲＡＷ現像により適切な画像ファイルを得ることができるようにすることを目的としている。

本発明の画像処理装置は、撮像手段により生成された第１のＲＡＷ画像データを入力する入力手段と、前記第１のＲＡＷ画像データを生成したことによる光学的または物理的な劣化を復元するための回復フィルタを生成するフィルタ生成手段と、前記第１のＲＡＷ画像データにホワイトバランスを適応するホワイトバランス処理手段と、前記ホワイトバランス処理手段によりホワイトバランスが適応された画像データに、前記フィルタ生成手段によって生成された回復フィルタを適応する画像回復手段と、前記画像回復手段によって前記回復フィルタが適応された後の画像データに前記ホワイトバランス処理手段によるホワイトバランスの逆特性をかけて第２のＲＡＷ画像データを生成する画像生成手段と、前記画像生成手段により生成された第２のＲＡＷ画像データを出力する出力手段とを備えることを特徴とする。

本発明によれば、画像回復処理を行う構成及びレンズデータを有していない他の画像処理装置においても、ＲＡＷ現像により適切な画像ファイルを得ることができる。

本発明の実施形態に係るデジタルカメラの構成例を示すブロック図である。 実施形態における画像処理部の詳細な内部構成例を示すブロック図である。 第１の実施形態において、画像回復処理を行った画像データを出力する処理手順の一例を示すフローチャートである。 図３にステップＳ３０８における、画像回復処理を適応したＲＡＷ画像データを生成する処理手順の一例を示すフローチャートである。 回復画像処理の適応の有無を選択するＧＵＩの例を示す図である。 出力する画像ファイルのファイル構造の一例を示す図である。 第２の実施形態において、画像回復処理を行った画像データを出力する処理手順の一例を示すフローチャートである。

（第１の実施形態）
以下、図１〜図６を参照しながら、本発明の第１の実施形態について説明する。
図１は、本実施形態に係るデジタルカメラ１００の構成例を示すブロック図である。
図１において、撮像素子１２は、撮影レンズ１０を介して得られた光学像を電気信号（アナログ信号）に変換する。Ａ／Ｄ変換器１４は、撮像素子１２から出力されるアナログ信号をディジタル信号に変換する。

画像処理部１６は、Ａ／Ｄ変換器１４から出力されるディジタル信号、或いはメモリ制御回路２０から出力されるデータに対して所定のデモザイク処理や色変換処理を行う。メモリ制御回路２０は、Ａ／Ｄ変換器１４、及び画像処理部１６を制御するためのものである。Ａ／Ｄ変換器１４から出力されるディジタル信号は、画像処理部１６、及びメモリ制御回路２０を介して、或いはメモリ制御回路２０を直接介して、画像表示メモリ２６或いはメモリ２８に書き込まれる。

画像表示メモリ２６に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２２を介してＴＦＴやＬＣＤ等からなる画像表示部２４により画像として表示される。画像表示部２４を用いて画像データに係る画像を逐次表示すれば、ライブビュー機能を実現することが可能である。

メモリ２８は、撮影した静止画像や動画像に係るデータを格納するためのメモリであり、所定枚数の静止画像データや所定時間の動画像データを格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影の場合にも、高速かつ大量のデータをメモリ２８に対して書き込むことが可能となる。また、メモリ２８は、システム制御回路３２の作業領域としても使用される。

システム制御回路３２は、デジタルカメラ１００全体を制御するための回路である。シャッタースイッチ（ＳＷ１）３４は、不図示のシャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。シャッタースイッチ（ＳＷ２）３６は、不図示のシャッターボタンの完全な押下によりＯＮとなり、記録部３０に画像データを書き込む記録処理までの一連の処理の動作開始を指示する。すなわち、撮像素子１２から読み出された電気信号に対し、Ａ／Ｄ変換器１４、メモリ制御回路２０を介して、画像処理部１６やメモリ制御回路２０で演算を用いた現像処理を行い、メモリ２８に書き込む。そして、メモリ２８から画像データを読み出して圧縮処理を行い、記録部３０に画像データを書き込む。

図２は、本実施形態における画像処理部１６の詳細な内部構成例を示すブロック図である。
図２において、ホワイトバランス算出部２０２は、Ａ／Ｄ変換器１４から出力された撮影画像データ（ディジタル信号）に対して、ホワイトバランス係数を算出する。ホワイトバランス処理部２０４は、ホワイトバランス算出部２０２で算出されたホワイトバランス係数に応じてホワイトバランス処理を行う。デモザイク処理部２０６は、ベイヤ配列になっているＲＧＢデータを補間することによって、撮像画像データからＲＧＢ画像データを作成する。

回復フィルタ生成部２１０は、回復フィルタを生成する。以下、回復フィルタの生成の概要について説明する。まず、劣化した画像をｇ（ｘ，ｙ）とし、元の画像をｆ（ｘ，ｙ）とする。また、元の画像ｇ（ｘ、ｙ）を取得するために用いた撮像系の点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）としたとき、以下の式（１）が成り立つ。ただし、＊はコンボリューション（畳み込み積分、積和）を示し、（ｘ，ｙ）は実空間における画像の座標を示す。また、ｈ（ｘ，ｙ）は、光学的または物理的な劣化に関する復元係数を示している。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） ・・・（１）

そして、式（１）をフーリエ変換して周波数空間での表示形式に変換すると、以下の式（２）のように表すことができる。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） ・・・（２）

ここでＨ（ｕ，ｖ）は、点像分布関数（ＰＳＦ）ｈ（ｘ，ｙ）をフーリエ変換した光学伝達関数（ＯＴＦ）である。Ｇ（ｕ，ｖ）、Ｆ（ｕ，ｖ）はそれぞれｇ（ｘ，ｙ）、ｆ（ｘ，ｙ）をフーリエ変換したものである。また、（ｕ，ｖ）は２次元周波数空間での周波数（座標）を示す。

劣化画像から元の画像（元画像）を得るためには、式（２）の両辺を以下の式（３）に示すようにＨ（ｕ，ｖ）で除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） ・・・（３）

このＦ（ｕ，ｖ）、即ちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実空間に戻すことにより、元の画像ｆ（ｘ，ｙ）を回復画像として得ることができる。したがって、式（３）の両辺を逆フーリエ変換すると、以下の式（４）で表される。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） ・・・（４）

ここで、１／Ｈ（ｕ，ｖ）を逆フーリエ変換したものをＲ（ｘ，ｙ）と表しており、このＲ（ｘ，ｙ）が回復フィルタである。この回復フィルタは光学伝達関数（ＯＴＦ）に基づいているため、振幅成分及び位相成分の劣化を補正することができる。

また、メモリ２８には、上記回復フィルタを生成するための１つ以上のレンズデータ２１８が保存されている。回復フィルタ生成部２１０は、撮影時のレンズの種類、ズーム位置、絞り、被写体距離、及び撮影モードのような撮像条件に応じて、レンズデータ２１８をメモリ２８から選択する。

回復処理部２１２は、デモザイク処理部２０６が生成したＲＧＢ画像データに対して、回復フィルタ生成部２１０で生成した回復フィルタを用いて画像回復処理を行う。補正処理部２１４は、回復処理部２１２により回復処理された画像データに対して、色づき、リンギング、黒沈みなどを検出し、補正処理を行う。モザイク処理部２０８はＲＧＢ３面の画像データからベイヤ配列の画像データを作成する。

図３は、本実施形態において、画像回復処理を行った画像データを出力する処理手順の一例を示すフローチャートである。本実施形態に係る画像処理部１６は、図３のフローチャートに従って、デジタルカメラ１００で生成されたデータを受信して、画像ファイルとして出力する。
まず、ステップＳ３０１において、システム制御回路３２は、画像回復処理を撮影画像に適応するかしないかを判定する。適応するかしないかの設定は、あらかじめユーザがデジタルカメラ１００のユーザーインターフェース（ＧＵＩ）上で選択することができる。

図５は、回復画像処理の適応の有無を選択するデジタルカメラ１００のＧＵＩの例を示す図である。図５に示す例では、現在のデジタルカメラ１００に装填されているレンズ名称とそのレンズデータ２１８がメモリ２８内に存在しているかの有無を表示している。本実施形態ではレンズデータ２１８は予めメモリ２８に登録されているものとするが、所望のタイミングで外部装置からレンズの種類毎のデータを取得し、メモリ２８に記録してもよい。また、レンズ装填時にレンズと通信を行ってレンズ内のメモリからレンズデータ２１８を取得し、メモリ２８に記録してもよい。デジタルカメラ１００に装填されているレンズのレンズデータ２１８がメモリ２８にある場合に、画像回復処理を適応することが可能となる。

ステップＳ３０１の判定の結果、レンズデータ２１８がない場合、もしくは画像回復処理の適応がＯＦＦになっている場合には、ステップＳ３０２に進む。そして、ステップＳ３０２において、エンコード部２１６は、Ａ／Ｄ変換器１４からディジタル信号であるＲＡＷ画像データ（第１のＲＡＷ画像データ）を取得する。そして、ＲＡＷ画像データの圧縮を行って所定のフォーマット構造の画像ファイルを生成し、記録部３０に出力して記録する。

一方、ステップＳ３０１の判定の結果、レンズデータ２１８が存在し、かつ画像回復処理の適応がＯＮになっている場合は、ステップＳ３０３に進む。そして、ステップＳ３０３において、画像処理部１６は、Ａ／Ｄ変換器１４からディジタル信号であるＲＡＷ画像データを取得する。なお、ＲＡＷ画像データはベイヤ配列になったＲＧＢデータである。そして、ステップＳ３０４において、回復フィルタ生成部２１０は、ＲＡＷ画像データの撮影条件（ズーム位置、絞り値、撮影距離）の情報を取得する。

次に、ステップＳ３０５において、回復フィルタ生成部２１０は、ステップＳ３０２で取得した撮影条件に合致するレンズデータ２１８をメモリ２８から読み出す。ここで、レンズデータ２１８は、撮影条件に対応する波長別ＯＴＦデータである。

次に、ステップＳ３０６において、回復フィルタ生成部２１０は、回復フィルタの生成を行う。回復フィルタの生成では、ステップＳ３０５で取得した撮影条件に対応するレンズデータ（波長別ＯＴＦデータ）と予めメモリ２８内に記録されているデジタルカメラ１００の特性値（センサーの画素ピッチ、センサーのＲＧＢフィルタ分光透過率）とを用いる。そして、これらの情報から周波数空間における回復フィルタを生成し、これにフーリエ変換を適用して実空間の回復フィルタを生成する。

次に、ステップＳ３０７において、システム制御回路３２は、画像回復処理を適応したＲＡＷ画像データを保存するかしないかを判定する。保存するか否かの設定は、ステップＳ３０１と同様に、図５に示すデジタルカメラ１００のＧＵＩ上でユーザが予め選択することができる。

ステップＳ３０７の判定の結果、画像回復処理を適応したＲＡＷ画像データを生成しない場合は、ステップＳ３１０に進む。そして、ステップＳ３１０において、エンコード部２１６は、生成されたＲＡＷ画像データの圧縮を行い、ステップＳ３０６で生成した回復フィルタを付加した、所定のフォーマット構造の画像ファイルを生成して記録部３０に出力して記録する。

図６（Ａ）は、ステップＳ３１０で記録する画像ファイルのファイル構造の一例を示す図である。図６（Ａ）に示すように、ステップＳ３１０では、画像回復処理の補正量の強さなどを示す回復フィルタ調整量の情報とステップＳ３０６で生成した回復フィルタとを画像ファイルのヘッダーに記録する。

一方、ステップＳ３０７の判定の結果、画像回復処理を適応したＲＡＷ画像データを生成する場合は、ステップＳ３０８に進む。そして、ステップＳ３０８において、画像回復処理を適応したＲＡＷ画像データ（第２のＲＡＷ画像データ）を生成する。画像回復処理を適応したＲＡＷ画像データの生成処理の詳細については図４の説明において後述する。

次に、ステップＳ３０９において、エンコード部２１６は、ステップＳ３０８で生成した画像回復処理を適応したＲＡＷ画像データ、及び画像回復処理が非適応のＲＡＷ画像データの圧縮を行う。そして、ステップＳ３０６で生成した回復フィルタを付加した、所定のフォーマット構造の画像ファイルを生成し、記録部３０に出力して記録する。

図６（Ｂ）は、ステップＳ３０９で記録する画像ファイルのファイル構造の一例を示す図である。図６（Ｂ）に示すように、ステップＳ３０９では、画像回復処理の補正量の強さなどを示す回復フィルタ調整量の情報とステップＳ３０６で生成した回復フィルタとを画像ファイルのヘッダーに記録する。さらに、画像ファイルには、画像回復処理が非適応のＲＡＷ画像データと画像回復処理が適応されたＲＡＷ画像データとが含まれる。なお、画像回復処理が適応されたＲＡＷ画像データをそのまま記録せず、画像回復処理が非適応のＲＡＷ画像データとの差分をエンコードしてもよい。また、画像回復処理が非適応のＲＡＷ画像データと画像回復処理が適応されたＲＡＷ画像データとを別々のファイルとして出力するようにしても良い。

このように、画像回復処理が非適応のＲＡＷ画像データと画像回復処理が適応されたＲＡＷ画像データとを画像ファイルに含めている。これにより、他の画像処理装置に画像回復部及びレンズデータがない場合に、画像回復処理が適応されたＲＡＷ画像データに色補正処理やガンマ処理を行うことによって、画像回復処理が適応された画像ファイルを得ることが可能になる。また、画像回復処理が非適応のＲＡＷ画像データと画像回復処理が適応されたＲＡＷ画像データとを現像して比較することにより、画像回復処理の効果を確認することができる。

図４は、図３にステップＳ３０８における、画像回復処理を適応したＲＡＷ画像データを生成する処理手順の一例を示すフローチャートである。
まず、ステップＳ４０１において、ホワイトバランス算出部２０２は、撮影により得られたＲＡＷ画像データからホワイトバランス係数（ＷＢ＿Ｒ，ＷＢ＿Ｇ，ＷＢ＿Ｂ）を算出する。ホワイトバランス係数の算出は、既存のアルゴリズムにより行うことができる。

次に、ステップＳ４０２において、ホワイトバランス処理部２０４は、ステップＳ４０１で算出したホワイトバランス係数を用いて、撮影により得られたＲＡＷ画像データにホワイトバランス処理を行う。ホワイトバランスが適応された後の画像データは、撮影によって得られたＲＡＷ画像データのピクセル位置に対応する画素値にホワイトバランス係数を乗算することによって得られる。

次に、ステップＳ４０３において、デモザイク処理部２０６は、ホワイトバランス処理が施された画像データ、つまりベイヤ配列の画像データを補間することにより、ＲＧＢ画像の補間画像データを生成する。そして、ステップＳ４０４において、回復処理部２１２は、ステップＳ３０６で取得した回復フィルタを、ステップＳ４０３で生成された補間画像データに適用することにより、回復後の画像データを生成する。具体的な例としては、回復処理部２１２は、コンボリューション処理を行う。

次に、ステップＳ４０５において、補正処理部２１４は、ステップＳ４０４で生成した回復後の画像データに、画像回復処理によって色づきやリンギング、黒しずみなどが発生しているか否かを検出し、補正処理を行う。色づきの補正処理を行う場合には、グレーが合っていることが必要となる。ステップＳ４０２でホワイトバランス処理を行っていないと、グレーが合わないため、色づきの補正処理を行うことができない。そのため、ステップＳ４０２のホワイトバランス処理が必要となる。

色づきの補正処理では、画像回復処理を適応する前の画像データと画像回復処理を適応した後の画像データとで画素毎に色差を比較する。ピクセル位置（ｘ、ｙ）に対応する画像回復処理の適応前の画素値を（Ｒａ，Ｇａ，Ｂａ）、色差を（Ｒａ−Ｇａ、Ｂａ−Ｇａ）、画像回復処理の適応後の画素値を（Ｒｂ，Ｇｂ，Ｂｂ）、色差を（Ｒｂ−Ｇｂ、Ｂｂ−Ｇｂ）とする。（Ｒｂ−Ｇｂ）が（Ｒａ−Ｇａ）より大きい場合、つまり回復前の画素の色差より回復後の色差が大きくなっている場合には、Ｒｂ−Ｇｂ＝Ｒａ−Ｇａとなるように回復後の色差を回復前の色差に制限する。Ｂｂ−Ｇｂについても同様に行う。

次に、ステップＳ４０６において、ホワイトバランス処理部２０４は、ステップＳ４０５で補正処理が行われた画像データに、ステップＳ４０２で適応したホワイトバランス係数の逆数（１／ＷＢ＿Ｒ，１／ＷＢ＿Ｇ，１／ＷＢ＿Ｂ）を乗算する。これにより、画像生成手段として逆特性のホワイトバランス非適応のＲＡＷ画像データを生成する。そして、ステップＳ４０７において、モザイク処理部２０８は、ＲＧＢデータからベイヤ配列のＲＡＷ画像データを生成する。この処理により、ホワイトバランス処理をかけていない元のＲＡＷ画像データとの間で、ホワイトバランス処理の効果を除いて、レンズデータを用いた画像回復処理の効果を比較できる。

以上のように本実施形態によれば、画像回復処理がなされたＲＡＷ画像データを生成するようにしたので、画像回復処理が適応されたＲＡＷ画像データに色補正処理やガンマ処理を行って、画像回復処理が適応された画像ファイルを得ることが可能になる。また、画像回復処理を行っていないＲＡＷ画像データも出力するため、画像回復処理の効果を確認することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態では、さらに画像回復処理の強さを変更可能とした例について説明する。なお、本実施形態に係るデジタルカメラの構成及び基本的な処理は、第１の実施形態と同様である。以下の説明では、第１の実施形態と異なる点について説明する。

本実施形態では、画像回復処理を撮影画像に適応し、画像回復処理を適応したＲＡＷ画像データを保存する設定となっている場合に、さらに画像回復処理の強さを調整するか否かを設定することができる。以下、このような設定となっている場合に、画像回復処理の強さ（適用量）を調整する手順について図７を参照しながら説明する。

図７は、本実施形態において、画像回復処理を行った画像データを出力する処理手順の一例を示すフローチャートである。なお、ステップＳ７０１〜Ｓ７０３については、それぞれ図３のステップＳ３０３〜Ｓ３０５と同様である。

次に、ステップＳ７０４において、回復処理部２１２は、画像回復処理の強さの情報を取得する。画像回復処理の強さは、例えば係数として表すことができる。係数が０より大きい１未満の値である場合には画像回復処理は弱められ、１より大きい値である場合には画像回復処理は強められる。画像回復処理の強さは、ユーザからの入力によって設定できるようにしてもよいし、画像解析によって決定されてもよい。そして、ステップＳ７０５において、回復フィルタ生成部２１０は、図３のステップＳ３０６と同様に、回復フィルタを生成する。

次に、ステップＳ７０６において、ステップＳ７０４で取得した画像回復処理の強さを反映した画像データを生成する。基本的な手順は、図４に示した手順と同様であるが、画像回復処理を適応する前と画像回復を適応した後との差分画像の各画素値に対して、ステップＳ７０４で取得された係数をかけた値を、新たに画像回復処理を適応した後の画素値とする。例えば、係数が０．５である場合は、差分画像の各画素値を半分にすればよい。また、係数が２である場合は、差分画像の各画素値を２倍にすればよい。

次に、ステップＳ７０７において、画像処理部１６は、画像回復処理を適応した画像データに色補正やガンマ補正を行い、メモリ制御回路２０により補正後の画像を画像表示部２４に表示する。このとき、画像回復処理の強さを承認するか否かを選択する画面も同時に表示する。そして、ステップＳ７０８において、ユーザによって操作部４０から入力され、システム制御回路３２は、画像回復処理の強さを変更する指示があったか否かを判定する。

ステップＳ７０８の判定の結果、画像回復処理の強さの変更指示があった場合は、ステップＳ７０９に進む。そして、ステップＳ７０９において、ステップＳ７０６で得られた画像データを破棄してステップＳ７０４に戻り、画像回復処理の強さを再調整する。このとき、ユーザにより画像回復処理の強さを調整することができるものとする。一方、ステップＳ７０８の判定の結果、画像回復処理の強さを変更しない指示があった場合は、ステップＳ７１０において、画像回復処理が適応された画像データの保存処理を行う。この処理は、図３のステップＳ３０９と同様である。

以上のように本実施形態によれば、ユーザは、画像回復処理の度合いを知ることができ、画像回復処理の強さを調整することができる。

（その他の実施形態）
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

２０４ ホワイトバランス処理部
２１０ 回復フィルタ生成部
２１２ 回復処理部

Claims (8)

1. 撮像手段により生成された第１のＲＡＷ画像データを入力する入力手段と、
   前記第１のＲＡＷ画像データを生成したことによる光学的または物理的な劣化を復元するための回復フィルタを生成するフィルタ生成手段と、
   前記第１のＲＡＷ画像データにホワイトバランスを適応するホワイトバランス処理手段と、
   前記ホワイトバランス処理手段によりホワイトバランスが適応された画像データに、前記フィルタ生成手段によって生成された回復フィルタを適応する画像回復手段と、
   前記画像回復手段によって前記回復フィルタが適応された後の画像データに前記ホワイトバランス処理手段によるホワイトバランスの逆特性をかけて第２のＲＡＷ画像データを生成する画像生成手段と、
   前記画像生成手段により生成された第２のＲＡＷ画像データを出力する出力手段とを備えることを特徴とする画像処理装置。
2. 前記フィルタ生成手段は、レンズの種類と撮像条件とに応じて前記回復フィルタを生成することを特徴とする請求項１に記載の画像処理装置。
3. 更に、レンズの種類毎に、複数の撮像条件に対応した光学伝達関数に基づくレンズデータを記憶する記憶手段を有し、
   前記フィルタ生成手段は、前記第１のＲＡＷ画像データを撮影したときに使用したレンズの種類と、撮影時の撮影条件とに基づき前記回復フィルタを生成することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記出力手段は、さらに前記第１のＲＡＷ画像データを出力することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
5. 前記出力手段は、さらに前記回復フィルタを出力することを特徴とする請求項４に記載の画像処理装置。
6. さらに前記回復フィルタの適用量を指示する指示手段を備え、
   前記画像回復手段は、前記指示手段により指示された適用量により、前記ホワイトバランスが適応された画像データに、前記回復フィルタを適応することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
7. 撮像手段により生成された第１のＲＡＷ画像データを入力する入力工程と、
   前記第１のＲＡＷ画像データを生成したことによる光学的または物理的な劣化を復元するための回復フィルタを生成するフィルタ生成工程と、
   前記第１のＲＡＷ画像データにホワイトバランスを適応するホワイトバランス処理工程と、
   前記ホワイトバランス処理工程においてホワイトバランスが適応された画像データに、前記フィルタ生成工程において生成された回復フィルタを適応する画像回復工程と、
   前記画像回復工程において前記回復フィルタが適応された後の画像データに前記ホワイトバランス処理工程におけるホワイトバランスの逆特性をかけて第２のＲＡＷ画像データを生成する画像生成工程と、
   前記画像生成工程において生成された第２のＲＡＷ画像データを出力する出力工程とを備えることを特徴とする画像処理方法。
8. 撮像手段により生成された第１のＲＡＷ画像データを入力する入力工程と、
   前記第１のＲＡＷ画像データを生成したことによる光学的または物理的な劣化を復元するための回復フィルタを生成するフィルタ生成工程と、
   前記第１のＲＡＷ画像データにホワイトバランスを適応するホワイトバランス処理工程と、
   前記ホワイトバランス処理工程においてホワイトバランスが適応された画像データに、前記フィルタ生成工程において生成された回復フィルタを適応する画像回復工程と、
   前記画像回復工程において前記回復フィルタが適応された後の画像データに前記ホワイトバランス処理工程におけるホワイトバランスの逆特性をかけて第２のＲＡＷ画像データを生成する画像生成工程と、
   前記画像生成工程において生成された第２のＲＡＷ画像データを出力する出力工程とをコンピュータに実行させることを特徴とするプログラム。

Images