JP2008021271A - 画像処理装置、画像復元方法、およびプログラム - Google Patents

Abstract

【課題】劣化画像に対して反復計算により画像復元処理を行う画像処置装置において、復元画像の画質を維持しつつ、十分な速さで反復計算を終了させることができる画像処理装置を提供する。
【解決手段】第１画像復元処理部３５が、劣化関数ｈのフーリエ変換Ｈに基づいて逆フィルタＨ^−１を求め、逆フィルタＨ^−１と劣化画像ｇのフーリエ変換Ｇとを乗じて、その結果を逆フーリエ変換することにより劣化画像ｇに対する第１復元画像ｆ１を生成し、第２画像復元処理部３６は、第１復元画像ｆ１と、劣化関数ｈとから反復計算を用いて第２復元画像ｆ２を生成する。
【選択図】図３

Description

本発明は、劣化関数を用いた画像復元アルゴリズムに基づいて劣化画像から復元画像を生成する技術に関する。

デジタルカメラ等の撮像装置で撮像された画像がピンボケ、手ぶれ、収差等により劣化が生じている場合に劣化画像を復元するための画像復元アルゴリズムが従来より知られている。

画像復元アルゴリズムとしては、例えば、撮影時のぶれによる画像劣化を劣化関数（点像分布関数（ＰＳＦ））で表し、劣化関数に基づいてぶれのない画像に回復する手法が知られている。

劣化関数を用いた画像復元アルゴリズムとしては、例えば、ウィナーフィルタ、一般逆フィルタ、射影フィルタ等が知られている。特許文献１には、ウィナーフィルタを用いた画像復元の手法が開示されおり、特許文献２には、一般逆フィルタを用いた画像復元の手法が開示されている。

画像復元アルゴリズムを用いて画像復元する場合、画像劣化は、原画像ｆ（ｘ、ｙ）、劣化関数ｈ（ｘ、ｙ）、加法ノイズｎ（ｘ、ｙ）、劣化画像ｇ（ｘ、ｙ）とした場合に、
ｇ（ｘ、ｙ）＝ｈ（ｘ、ｙ）*ｆ（ｘ、ｙ）＋ｎ（ｘ、ｙ） ・・・（１）
と表現することができる。しかし、式（１）から直接ｆ（ｘ、ｙ）を求めることは困難である。

このため、画像をフーリエ変換して周波数空間での演算を行う、あるいは実空間の画像に対して最急降下法の反復計算を行う、等の方法が提案されている。なお、反復法には、上記の最急降下法の他、モーメント法、修正モーメント法、共役勾配法等がある。

特開２００４−２０５８０２号公報 特開２００２−２８８６５３号公報

しかしながら、フーリエ変換により対角化して演算を行う場合、例えば、画像の局所情報を用いて非線形処理を行う画素補間処理やエッジ処理などを行うことができない。

また、反復法による画像復元方法では、十分な画質を得るためには反復計算を多く行う必要がある。

本発明は、劣化画像に対して反復計算により画像復元処理を行う画像処置装置において、復元画像の画質を維持しつつ、十分な速さで反復計算を終了させることができる画像処理装置を提供することを目的とする。

本発明に係る画像処理装置は、撮影された劣化画像ｇと撮影条件に基づいて定められる劣化関数ｈとから前記劣化画像ｇに対する復元画像ｆを生成する画像処理装置において、前記劣化画像ｇをフーリエ変換して周波数空間での演算を行うことで画像復元処理を行い第１復元画像ｆ１を生成する第１画像復元処理部と、前記第１復元画像ｆ１に対してさらに実空間での反復計算を行うことで画像復元処理を行い第２復元画像ｆ２を前記復元画像ｆとして生成する第２画像復元処理部と、を備えることを特徴とする。

本発明に係る画像処理装置の１つの態様によれば、前記第１画像復元処理部は、劣化関数ｈのフーリエ変換Ｈに基づいて逆フィルタＨ^−１を求め、逆フィルタＨ^−１と劣化画像ｇのフーリエ変換Ｇとを乗じて、その結果を逆フーリエ変換することにより前記第１復元画像ｆ１を生成し、前記第２画像復元処理部は、前記第１復元画像ｆ１と、前記劣化関数ｈとから反復計算を用いて前記第２復元画像ｆ２を生成することを特徴とする。

本発明に係る画像処理装置の１つの態様によれば、前記第２画像復元処理部は、反復計算の初期画像として前記第１復元画像ｆ１を用いることを特徴とする。

本発明によれば、劣化画像に対して反復計算により画像復元処理を行う画像処置装置において、復元画像の画質を維持しつつ、十分な速さで反復計算を終了させることができる。

本発明を実施するための最良の形態について（以下、実施形態とする）について、以下図面を用いて説明する。

図１は、本実施形態に係るデジタルカメラの機能ブロックを示す図である。なお、本実施形態では、画像処理装置の一例として民生用のデジタルカメラを例に説明するが、監視用カメラ、テレビ用カメラ、内視鏡カメラ、等他の用途のカメラとしたり、顕微鏡、双眼鏡、さらにはＮＭＲ撮影等の画像診断装置等、カメラ以外の機器にも適用することができる。

図１において、撮像部１０は、ＣＰＵ２０の制御の下、被写体からの光を受光して、受光した光に応じたＲＡＷデータを出力する。撮像部１０は、図２に示すように、光学系１２、イメージセンサ１４、及びＣＤＳ（Correlated Double Sampling）−Ａ／Ｄ（Analog/Digital）回路１６を含む。

イメージセンサ１４はカラーフィルタを備え、カラーフィルタは、赤色フィルタ（Ｒ）と、Ｒ列の緑色フィルタ（Ｇｒ）と、青色フィルタ（Ｂ）と、Ｂ列の緑色フィルタ（Ｇｂ）がベイヤ配列で配置される。イメージセンサ１４からは、赤色フィルタ（Ｒ）の画素の信号であるＲ信号と、Ｒ列の緑色フィルタ（Ｇｒ）の画素の信号であるＧｒ信号と、青色フィルタ（Ｂ）の画素の信号であるＢ信号と、Ｂ列の緑色フィルタ（Ｇｂ）の画素の信号であるＧｂ信号とが出力される。ＣＤＳ（Correlated Double Sampling）−ＡＤ（Analog/Digital）回路１６は、相関二重サンプリングによりイメージセンサ１４から出力されたＲＡＷデータのノイズを低減し、ＲＡＷデータをアナログ信号からデジタル信号へ変換する。

ＣＰＵ２０は、デジタルカメラ全体を制御する中央処理装置である。ＣＰＵ２０は、ＲＯＭ２２に格納された各種プログラムやパラメータをＲＡＭ２４に展開して各種演算を行う。画像処理部３０は、ＲＡＷデータに対してＲＧＢ補間、ホワイトバランスなどの各種画像処理を行い、その結果として得られる画像データを出力する。表示装置４０は、画像データに基づく映像を表示することで、撮影用のビューファインダーとして機能する。また、記録媒体５０は、画像データを記録する。手ぶれ検出部６０は、デジタルカメラの光軸であるＺ軸に対して垂直方向となるＸ軸およびＹ軸回りの角速度を検出する２つの角速度センサを備え、撮影時におけるユーザの手ぶれにより生じるＸ軸周り及びＹ軸周りにおける時系列の変位角θｘ、θｙを出力する。

なお、本実施形態では、下記に示す通り画像復元処理に用いるために劣化関数ｈを予め求めておく必要がある。そこで、例えばＣＰＵ２０が、現時点でのズーム位置に基づいて求められたレンズの焦点距離と、手ぶれ検出部６０から出力される変位角θｘ、θｙとに基づいてイメージセンサ１４上のぶれの変位軌跡を算出し、算出されたイメージセンサ１４上のぶれの変位軌跡から劣化関数ｈを求めてＲＡＭ２４に保持しておく。なお、劣化関数ｈは、手ぶれ以外にも、ピンボケ、収差、光学ローパスフィルタなど撮影時または撮影以前に得られる情報に基づいて周知の方法により求めておけばよい。

図３は、画像処理部３０のさらに詳細の機能ブロックを示す図である。ここで、画像処理部３０は、手ぶれにより劣化が生じている劣化画像をフーリエ変換して周波数空間での演算を行うことで画像復元処理を行う第１画像復元処理部３５と、劣化画像に対して実空間での反復計算を行うことで画像復元処理を行う第２画像復元処理部３６とを含む。本実施形態では、第１画像復元処理部３５における画像復元処理により得られた復元画像に対して、第２画像復元処理部３６が画像復元処理を行う。

図３において、ＲＧＢ補間部３２は、ＲＡＷデータに対して周知の画素補間処理により画素補間を行い、ＲＡＷデータを構成する各画素に欠けている色成分を、周辺画素の色成分を参照して補間し、画像を一旦第１画像メモリ３４ａに記憶する。また、補正部３８は、第１画像復元処理部３５及び第２画像復元処理部３６で復元処理が行われた画像に対して、ホワイトバランス調整、色調整、γ補正等の各種補正を行う。補正部３８から出力された画像は、復元画像として表示装置４０に出力され画面表示される。あるいは、一旦第２画像メモリ３４ｂに記録された後、ＪＰＥＧ等に圧縮され、記録媒体５０に復元画像の画像データとして記録される。

図４は、第１画像復元処理部３５が劣化画像に対して行う画像復元の処理手順を示すフローチャートである。

図４において、第１画像復元処理部３５は、まず、第１画像メモリ３４ａから劣化画像ｇを読み出し、劣化画像ｇのフーリエ変換Ｇを求める（Ｓ１００）。第１画像復元処理部３５は、さらに、ＲＡＭ２４から劣化関数ｈを読み出し、劣化関数ｈのフーリエ変換Ｈを求める（Ｓ１０２）。続いて、第１画像復元処理部３５は、劣化関数ｈのフーリエ変換Ｈと、ＲＯＭ２２に予め登録されているノイズ情報とを用いて、周知の手法により、逆フィルタＨ^−１を求める（Ｓ１０４）。なお、ノイズ情報を無視した場合、逆フィルタＨ^−１は、Ｈの逆行列で表される。なお、Ｈが正則でない場合は逆行列を求められないため、逆フィルタＨ^−１はムーア・ペンローズの一般逆行列で表される。その後、第１画像復元処理部３５は、劣化画像ｇのフーリエ変換Ｇと逆フィルタＨ^−１とを掛けて、Ｇ／Ｈを求めて、Ｇ／Ｈを逆フーリエ変換することで、復元画像ｆ１を得る（Ｓ１０６）。第１画像復元処理部３５は、得た復元画像ｆ１を第２画像メモリ３４ｂに格納する（Ｓ１０８）。

続いて、図５に示すフローチャートを参照して、第２画像復元処理部３６の画像復元の処理手順について説明する。第２画像復元処理部３６は、反復法の１つである、最急降下法に基づく画像復元アルゴリズムにより画像復元処理を行う。ここで、第２画像復元処理部３６が行う画像復元アルゴリズムは、最急降下法に限らず、モーメント法、修正モーメント法、共役勾配法など他の反復法を用いてもよい。

本実施形態では、第２画像復元処理部３６が、画像復元処理を開始する際の初期画像として、第１画像復元処理部３５が、劣化画像に対して画像復元処理を行うことで得られた復元画像ｆ１を利用することを特徴としている。

図５において、第２画像復元処理部３６は、第１画像復元処理部３５が劣化画像に対して画像復元処理を行うことで得られた復元画像ｆ１を０回目の復元画像（つまり、初期画像）として第２画像メモリ３４ｂにセットする（Ｓ２００）。次に、反復回数を示すパラメータｎを０に初期化し（Ｓ２０２）、所定の収束パラメータεをＲＯＭ２２から読み込む（Ｓ２０４）。また、終了判定パラメータとしてしきい値ＴｈｒをＲＯＭ２２から読み込む（Ｓ２０６）。次に、反復回数ｎが所定の最大反復回数より小さい場合（ステップＳ２０８の判定結果が、肯定「Ｙ」）、反復回数ｎをインクリメントした後（Ｓ２１０）、∇Ｊ（ナブラ）を算出し（Ｓ２１２）、∇Ｊのノルムの２乗を算出してこれをパラメータｔとする（Ｓ２１４）。

ここで、Ｊは一般逆フィルタの評価量であり、劣化画像ｇ（ｘ、ｙ）、復元画像ｆ（ｘ、ｙ）、劣化関数ｈ（ｘ、ｙ）とした場合に、
Ｊ＝‖ｇ（ｘ、ｙ）−ｈ（ｘ、ｙ）*ｆ（ｘ、ｙ）‖^２
で与えられる。上式は、評価量Ｊは、復元画像ｆ（ｘ、ｙ）に劣化関数ｈ（ｘ、ｙ）を作用させて得られる画像ｈ（ｘ、ｙ）*ｆ（ｘ、ｙ）と実際の劣化画像ｇ（ｘ、ｙ）との差分の大きさで与えられることを意味する。復元画像が正しく復元されていれば、理論的にはｈ（ｘ、ｙ）*ｆ（ｘ、ｙ）＝ｇ（ｘ、ｙ）であって評価量は０である。評価量Ｊが小さいほど、復元画像ｆ（ｘ、ｙ）はより良く復元されたことになる。最急降下法では、この評価量Ｊの勾配である∇Ｊの大きさ、すなわち∇Ｊのノルムの２乗がしきい値以下となるまで反復計算を繰り返し、しきい値以下となった時点で反復計算を終了して復元画像ｆ（ｘ、ｙ）を得るものである。

さて、図５に戻り、第２画像復元処理部３６は、ｔがしきい値Ｔｈｒを超えているか否かを判定し（Ｓ２１６）、しきい値Ｔｈｒを超えている場合には復元が未だ十分ではないとして∇Ｊに収束パラメータεを乗じて（Ｓ２１８）、復元画像からε∇Ｊを差し引くことで新たな復元画像を生成し（Ｓ２２０）、ｔがしきい値Ｔｈｒ以下となるまでＳ２０８〜Ｓ２２０の処理を反復する。ｔがしきい値Ｔｈｒ以下となった場合（ステップＳ２１６の判定結果が、肯定「Ｙ」）、あるいはｔはしきい値Ｔｈｒ以下とならない場合でも最大反復回数に達してしまった場合（ステップＳ２０８の判定結果が、否定「Ｎ」）に処理を終了する。

これにより、第２画像復元処理部３６は、最終的に復元画像ｆ２を得る。本実施形態では、反復法により画像復元処理を行う第２画像復元処理部３６が、初期画像として、第１画像復元処理部３５が劣化画像に対して画像復元処理を行うことで得られた復元画像ｆ１を利用している。よって、第２画像復元処理部３６は、ある程度劣化が改善した画像に対して画像復元処理を行っているため、一度も復元されていない画像として撮影で得られた劣化画像に対して画像復元処理を行う場合に比べて、反復計算を早く収束させることができる。

なお、上記の画像処理部３０は、マイクロコンピュータに画像復元処理等の各種処理を具現化させるプログラムをインストールし、このプログラムを実行することによって実現することができる。

すなわち、マイクロコンピュータはＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ等の各種メモリ、通信バス及びインタフェースを有し、予めファームウェアとしてＲＯＭに格納された画像復元アルゴリズム等の画像処理プログラムを読み出してＣＰＵが順次実行する。ＣＰＵはインタフェースを介してＣＣＤ（Charge Coupled Devices）やＣＯＭＳ等のイメージセンサから劣化画像の入力を受けて、その劣化画像をフーリエ変換して周波数空間での演算を行うことで画像復元処理を行い、その結果得られる復元画像に対してさらに実空間での反復計算を行うことで画像復元処理を行う。

本実施形態におけるデジタルカメラについて説明するための機能ブロックを示す図である。 本実施形態における撮像部について説明するための機能ブロックを示す図である。 本実施形態における画像処理部について説明するための機能ブロックを示す図である。 本実施形態における第１画像復元処理部が行う画像復元の処理手順を示すフローチャートである。 本実施形態における第２画像復元処理部が行う画像復元の処理手順を示すフローチャートである。

符号の説明

１０ 撮像部、１２ 光学系、１４ イメージセンサ、１６ ＣＤＳ−Ａ／Ｄ回路、３０ 画像処理部、３２ ＲＧＢ補間部、３４ａ 第１画像メモリ、３４ｂ 第２画像メモリ、３５ 第１画像復元処理部、３６ 第２画像復元処理部、３８ 補正部、４０ 表示装置、５０ 記録媒体、６０ 手ぶれ検出部。

Claims (5)

1. 撮影された劣化画像ｇと撮影条件に基づいて定められる劣化関数ｈとから前記劣化画像ｇに対する復元画像ｆを生成する画像処理装置において、
   前記劣化画像ｇに対してフーリエ変換して周波数空間での演算を行うことで画像復元処理を行い第１復元画像ｆ１を生成する第１画像復元処理部と、
   前記第１復元画像ｆ１に対してさらに実空間での反復計算を行うことで画像復元処理を行い第２復元画像ｆ２を前記復元画像ｆとして生成する第２画像復元処理部と、
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記第１画像復元処理部は、
   劣化関数ｈのフーリエ変換Ｈに基づいて逆フィルタＨ^−１を求め、逆フィルタＨ^−１と劣化画像ｇのフーリエ変換Ｇとを乗じて、その結果を逆フーリエ変換することにより前記第１復元画像ｆ１を生成し、
   前記第２画像復元処理部は、
   前記第１復元画像ｆ１と、前記劣化関数ｈとから反復計算を用いて前記第２復元画像ｆ２を生成する、
   ことを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記第２画像復元処理部は、反復計算の初期画像として前記第１復元画像ｆ１を用いることを特徴とする画像処理装置。
4. 撮影された劣化画像ｇと撮影条件に基づいて定められる劣化関数ｈとから前記劣化画像ｇに対する復元画像ｆを生成する画像復元方法において、
   前記劣化画像ｇに対してフーリエ変換して周波数空間での演算を行うことで画像復元処理を行い第１復元画像ｆ１を生成し、
   前記第１復元画像ｆ１に対してさらに実空間での反復計算を行うことで画像復元処理を行い第２復元画像ｆ２を前記復元画像ｆとして生成する
   ことを特徴とする画像復元方法。
5. 撮影された劣化画像ｇと撮影条件に基づいて定められる劣化関数ｈとから前記劣化画像ｇに対する復元画像ｆを生成する画像処理装置としてコンピュータを機能させるためのプログラムであって、
   前記劣化画像ｇに対してフーリエ変換して周波数空間での演算を行うことで画像復元処理を行い第１復元画像ｆ１を生成する第１画像復元処理部と、
   前記第１復元画像ｆ１に対してさらに実空間での反復計算を行うことで画像復元処理を行い第２復元画像ｆ２を前記復元画像ｆとして生成する第２画像復元処理部と、
   として前記コンピュータを機能させるためのプログラム。

Images