JP2016010080A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】回復フィルタに含まれる複数の劣化要因うち、不適合が生じることなく復元可能な劣化要因については回復を行うことを目的とした画像処理装置および方法、並びにプログラムを提供すること。【解決手段】互いに光学特性が異なる複数の光学機器に対応するＯＴＦデータを保持するＯＴＦデータ記憶手段と、前記ＯＴＦデータに基づく回復フィルタを生成する回復フィルタ生成手段と、前記光学機器毎に個別の回復フィルタを生成する個別回復フィルタ生成ステップと、前記個別の回復フィルタを適用した結果に生じた不適合の分布情報を作成する分布生成手段と、前記分布情報に基づいて共通の回復フィルタを生成る共通回復フィルタ生成ステップと、前記共通回復フィルタを用いて画像回復処理を行う画像回復処理手段と、を有することを特徴とする構成とした。【選択図】 図２

Description

本発明は、撮像光学系に起因する画質劣化を低減する画像処理装置および方法、並びにプログラムに関する。

デジタルカメラ、デジタルビデオカメラなどの撮像装置は、被写体からの光を撮影レンズなどで構成される撮像光学系によって電荷結合素子(ＣＣＤ)やＣＭＯＳセンサなどの撮像デバイスに導いて、被写体画像に対応する電気信号を取得する。そして、この電気信号をアナログ-ディジタル(ＡＤ)変換し、デモザイキング処理することで被写体の画像データが得られる。

撮像光学系は、光の波長によって屈折率が異なり、光の波長によって結像にずれが生じる。この画像劣化は収差と呼ばれる。結像のずれ方により、色のずれ、像の流れ、解像感の低下など様々な画像劣化が生じる。このような画像劣化を補正するために、撮像光学系の特性を予めデータ化して、この特性データに基づき、劣化した画像を補正する方法が知られている（例えば特許文献1）。

劣化した画像の補正処理は、像高ごと、または、画像の部分ごとに撮像光学系の特性値を得て、この特性値に基づく空間フィルタを適用して劣化前の信号値を復元する。この特性値は、例えば点像分布関数（ＰＳＦ、Point Spread Function）と呼ばれる関数で表現することができる。ＰＳＦは、被写体の一点が、どのような広がりをもつ像として写像されるかを示す。例えば、暗黒化で体積が非常に小さい発光体を撮影した場合の撮像センサ面における光の二次元分布が、撮像に使用した撮像光学系のＰＳＦに相当する。ＰＳＦを得るには、必ずしも、点光源のような被写体を撮影する必要はなく、例えば白黒のエッジを有するチャートを撮影し、撮影画像からチャートに対応した計算方法によってＰＳＦを求める方法が知られている。また、撮像光学系の設計データからＰＳＦを算出することも可能である。

点像分布関数（以下、ＰＳＦ）をフーリエ変換することにより得ることができる光学伝達関数（ＯＴＦ、Optical Transfer Function）は、収差の周波数空間における情報である。この光学伝達関数（以下、ＯＴＦ）は複素数で表すことができ、ＯＴＦの絶対値、即ち、振幅成分はＭＴＦ（Modulation Transfer Function）、位相成分はＰＴＦ（Phase Transfer Function）と呼ばれる。

撮像光学系のＯＴＦは画像の振幅成分（以下、ＭＴＦ）と位相成分（以下、ＰＴＦ）に影響（劣化）を与えるため、撮像光学系を介して取得された被写体の画像は、各点がコマ収差のように非対称にボケた画像（劣化画像）になる。さらに、画像が有する色成分（例えば、赤、青、緑など）ごとにＰＳＦが異なるため、色成分ごとに異なるボケが発生し、色がにじんだような画像（劣化画像）になる。

これら画像のボケを補正する方法として、撮像光学系の光学伝達関数（ＯＴＦ）の情報を用いて補正するものが知られている。この方法は画像回復や画像復元という言葉で呼ばれており、以降、この撮像光学系（撮像系）の光学伝達関数の情報を用いて画像の劣化を補正する処理を回復処理と記す。

以下に回復処理の概要を示す。劣化した画像をｇ（ｘ，ｙ）、もとの画像をｆ（ｘ，ｙ）、ｇ（ｘ、ｙ）を取得するために用いた撮像系の点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）としたとき、以下の式が成り立つ。ただし、＊はコンボリューション（畳み込み積分、積和）を示し、（ｘ，ｙ）は実空間における画像の座標を示す。

（式１）
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
式１をフーリエ変換して周波数空間での表示形式に変換すると、式２のように表すことができる。

（式２）
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
ここで、Ｈ（ｕ，ｖ）は点像分布関数（ＰＳＦ）ｈ（ｘ，ｙ）をフーリエ変換した光学伝達関数（ＯＴＦ）である。Ｇ（ｕ，ｖ）、Ｆ（ｕ，ｖ）はそれぞれｇ（ｘ，ｙ）、ｆ（ｘ，ｙ）をフーリエ変換したものである。（ｕ，ｖ）は２次元周波数空間での周波数（座標）を示す。

劣化画像から元の画像（元画像）を得るためには、式２の両辺をＨ（ｕ，ｖ）で除算すればよい。

（式３）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
このＦ（ｕ，ｖ）、即ちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実空間に戻すことで元画像ｆ（ｘ，ｙ）を回復画像として得ることができる。

式３の両辺を逆フーリエ変換すると式３は式４で表される。

（式４）
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
ここで、１／Ｈ（ｕ，ｖ）を逆フーリエ変換したものをＲ（ｘ，ｙ）と表す。このＲ（ｘ，ｙ）が画像回復フィルタである。

この画像回復フィルタは光学伝達関数（ＯＴＦ）に基づいているため、振幅成分および位相成分の劣化を補正することができる。

撮像レンズのＯＴＦは合焦距離によって変化するため、該ＯＴＦに基づいて作成される、画像回復処理に適用される回復フィルタも、やはり撮影レンズの合焦距離によって異なる。したがって、回復フィルタに対しては最適な被写体距離が存在し、被写体距離が回復フィルタにマッチしていない非合焦被写体であるにも関わらず回復処理を行うと、偽色が発生する等の画質劣化が生じる。

この問題に対して、画像データを非合焦部分と合焦とに分け、回復対象として適切な領域のみに回復処理を行うことで、他の領域における画質劣化の発生を抑制する方法が提案されている（特許文献２）。

特開平４−０８８７６５号公報 特開２０１１−１３５５６３号公報

上述した技術においては、被写体距離が合致しない不適切な回復フィルタを使用しないように制御することによって、偽色の発生という画質劣化を防止していた。しかしながら上述した技術には以下のような問題があった。

まず、被写体光が撮像装置の撮像デバイスに結像するまでの劣化を復元する回復フィルタは、撮影レンズの他に、光学ローパスフィルタ、赤外線吸収フィルタ、カラーフィルタなどの光学系だけでなく、撮影レンズの絞り込みによる回折など複数の劣化要因を復元する単一の回復フィルタが用いられる。

そのため、撮影レンズなど個別の光学系に起因する劣化を回復するための回復処理において偽色などの発生が生じる領域に対して回復処理を行わないと、他の光学系に起因する劣化が復元できる場合でも、その領域は劣化したままとなってしまう。

本発明は、上述した問題を解決するためになされたものであり、回復フィルタに含まれる複数の劣化要因うち、不適合が生じることなく復元可能な劣化要因については回復を行うことを目的とした画像処理装置および方法、並びにプログラムを提供することである。

上記目的を達成するために、本発明は、互いに光学特性が異なる複数の光学機器に対応するＯＴＦデータを保持するＯＴＦデータ記憶手段と、前記ＯＴＦデータに基づく回復フィルタを生成する回復フィルタ生成手段と、前記光学機器毎に個別の回復フィルタを生成する個別回復フィルタ生成ステップと、前記個別の回復フィルタを適用した結果に生じた不適合の分布情報を作成する分布生成手段と、前記分布情報に基づいて共通の回復フィルタを生成る共通回復フィルタ生成ステップと、前記共通回復フィルタを用いて画像回復処理を行う画像回復処理手段と、を有することを特徴とする。

本発明によれば回復フィルタに含まれる複数の劣化要因うち、不適合が生じることなく復元可能な劣化要因については回復を行うことを目的とした画像処理装置および方法、並びにプログラムを提供することができる。

撮像装置の構成例を示すブロック図 画像処理に関わる構成例を示すブロック図 本発明の第一の実施形態に係る画像処理方法の流れを示すフロー図 本発明の第二の実施形態に係る画像処理方法の流れを示すフロー図 回復処理前後で偽色が生じた場合の色成分の変化を示す図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の実施例の構成を示す図である。

図１において、１００はデジタルカメラである。４００は撮影レンズ、４１０は撮影レンズの絞り、１１０は光学像を電気信号に変換する撮像デバイス、１２０は撮像デバイス１１０のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。

１３０は画像処理回路であり、Ａ／Ｄ変換器１２０からのデータ或いはＲＡＭ１９０に記録されているデータに対して所定のデモザイク処理や色変換処理を行う。１４０はシステム全体を制御するカメラ信号処理部である。Ａ／Ｄ変換器１２０のデータが画像処理回路１３０、カメラ信号処理部１４０を介して、或いはＡ／Ｄ変換器１２０のデータが直接カメラ信号処理部１４０を介して、ＲＡＭ１９０に書き込まれる。２２０はTFT LCD等から成る画像表示部であり、ＲＡＭ１９０に書き込まれた表示用の画像データを表示する。

画像表示部２２０を用いて撮像した画像データを逐次表示すれば、ライブビュー機能を実現することが可能である。ＲＡＭ１９０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影の場合にも、高速かつ大量の画像書き込みをＲＡＭ１９０に対して行うことが可能となる。
また、ＲＡＭ１９０はカメラ信号処理部１４０の作業領域としても使用することが可能である。

２１０はシャッタースイッチなどの操作部材で、不図示のシャッターボタンの操作途中でONとなり、撮像系制御部２００を介して、AF（オートフォーカス）処理、AE（自動露出）処理、AWB（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。２１０で不図示のシャッターボタンの押下でONとなり、撮像デバイス１１０から読み出した信号をＡ／Ｄ変換器１２０、画像処理回路１３０やカメラ信号処理部１４０での演算を用いた現像処理、ＲＡＭ１９０から画像データを読み出し、圧縮処理を行い、メディアインタフェース１５０によって記録媒体であるコンパクトフラッシュ（登録商標）カードやその他メディア１６０に画像データを書き込む記録処理という一連の処理の動作開始を指示する。

［実施例１］
以下、図２を参照して、本発明の第1の実施例による、画像処理部１３０の内部を概略的に示す。

図２は、画像処理部１３０内で処理される本発明第１の実装形態に係る画像処理方法の構成例を示す構成図である。本実施形態における画像処理方法は、入力部１３１、ＯＴＦデータ記憶部１３２、回復フィルタ生成処理部１３３、分布生成処理部１３４、画像回復処理部１３５、出力部１３６を有する。

図３は、本発明第１の実施形態に係る画像処理方法を示すフローチャートである。図３においてまず、Ｓ３０１で入力部１３３は、撮像デバイス１１０が捉えて被写体像の信号をアナログ‐ディジタル変換機を介してディジタル信号となった撮像データと撮影時情報を入力する。なお、撮影時情報は、画像が撮影された際に撮像装置に装着されていたレンズを識別するレンズ識別情報、ズーム位置を特定するための撮影時焦点距離情報、絞り値などの情報のことである。

Ｓ３０３では、Ｓ３０１で読み込んだ撮影時情報に基づいてＯＴＦデータ記憶部１３２から光学系毎の個別ＯＴＦデータを読み込む。ＯＴＦデータは点像分布関数（ＰＳＦ）をフーリエ変換して得られる光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）に基づいて光学系に起因する画像劣化成分を復元するための回復フィルタを生成するためのデータである。

本実施例では、撮影レンズに起因する劣化特性に基づくＯＴＦデータと、撮影レンズに起因しない撮像デバイス前面に配置された光学ローパスフィルタ、赤外線カットフィルタ、カラーフィルタや撮影レンズの絞り込みによる回折による劣化特性に基づくＯＴＦデータの２種類の個別ＯＴＦデータを読み込むものとする。なお、これは一例であり、被写体像が撮像デバイスに結像される間に影響する複数の光学系をどのように分割してＯＴＦデータとして保持していてもいい。

Ｓ３０５で、回復フィルタ生成処理部１３３はＳ３０３で読み込んだ個別ＯＴＦデータに対応する回復フィルタを生成する。

Ｓ３０７で、分布生成処理部１３４は、Ｓ３０５で光学系毎に個別に生成した各回復フィルタについて撮像データの全画素について適用し、適用時に生じた不適合を分布情報として記録する。この分布情報は回復フィルタ毎に作成し、回復フィルタ後の出力と元の入力値を比較して不適合と判定された場合には１をそれ以外では０を記録される。不適合の判定は検出したい不適合に応じて用意するものとするが、ここではその一例として偽色の判定について図５を用いて説明する。

図５は、回復処理後に偽色が生じた例を示す図である。グラフの系列は画像の赤、緑、青の色成分を表し、縦軸に画素値（０〜２５５）、横軸に画素の並びを示している。図５(a)は、回復処理前の画像データについて特定領域の色成分の状態を表している。図５（ｂ）は、回復処理後の画像データについて特定領域の色成分の状態を表している。回復処理を適用することによって偽色が生じた場合、回復結果出力と元の入力値の色成分の配分が大きく変わってしまうことがわかる。この色成分の配分の変化を色差として検出して不適合を判定することができる。

Ｓ３０９で、分布生成処理部１３４で作成した回復フィルタ毎の分布情報に基づき画像データの領域毎に不適合が生じないＯＴＦデータの組み合わせから単一の共通回復フィルタを生成する。

画像回復処理部１３５では、Ｓ３０９で領域毎に作成した共通回復フィルタを用いて回復処理を行い、光学系に起因する劣化を復元する。

以上、説明したように本実施形態によれば、共通回復フィルタに含まれる複数の劣化要因毎の個別回復フィルタを適用した場合に生じる不適合を考慮したうえで領域毎に適切な組み合わせで共通の回復フィルタを作成したことにより、ある個別の劣化要因を回復すると不適合が生じてしまうが、その他の劣化要因について回復可能な場合、回復可能な範囲までは復元することができる。

［実施例２］
以下、図４を参照して、本発明の第２の実施例による、画像処理部１３０の内部を概略的に示す。

図４は、本発明第２の実施形態に係る画像処理方法を示すフローチャートである。図４においてまず、Ｓ４０１で入力部１３３は、撮像デバイス１１０が捉えて被写体像の信号をアナログ‐ディジタル変換機を介してディジタル信号となった撮像データと撮影時情報を入力する。なお、撮影時情報は、画像が撮影された際に撮像装置に装着されていたレンズを識別するレンズ識別情報、ズーム位置を特定するための撮影時焦点距離情報、絞り値などの情報のことである。

Ｓ４０３では、Ｓ４０１で読み込んだ撮影時情報に基づいてＯＴＦデータ記憶部１３２から光学系毎の個別ＯＴＦデータを読み込む。ＯＴＦデータは点像分布関数（ＰＳＦ）をフーリエ変換して得られる光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）に基づいて光学系に起因する画像劣化成分を復元するための回復フィルタを生成するためのデータである。

本実施例では、撮影レンズに起因する劣化特性に基づくＯＴＦデータと、撮影レンズに起因しない撮像デバイス前面に配置された光学ローパスフィルタ、赤外線カットフィルタ、カラーフィルタや撮影レンズの絞り込みによる回折による劣化特性に基づくＯＴＦデータの２種類の個別ＯＴＦデータを読み込むものとする。なお、これは一例であり、被写体像が撮像デバイスに結像される間に影響する複数の光学系をどのように分割してＯＴＦデータとして保持していてもいい。

Ｓ４０５で、回復フィルタ生成処理部１３３はＳ３０３で読み込んだ個別ＯＴＦデータに対応する回復フィルタを生成する。

Ｓ４０７で、Ｓ４０５で光学系毎に個別に生成した各回復フィルタについて撮像データの全画素について適用していくが、画像データの各領域について回復フィルタの適用前後で不適合が生じているかの判定を行い、不適合が認められた場合には、その箇所について現在適用している回復フィルタの適用を行わない。これをＳ４０５で生成した回復フィルタ分繰り返し処理することで、回復処理を行う。

以上、説明したように本実施形態によれば、共通回復フィルタに含まれる複数の劣化要因毎の個別回復フィルタを個別に画像データに適用することで、個別の回復フィルタを適用する際に不適合の判定を行い不適合が生じた場合には該当箇所について該当回復フィルタの適用を行わないとすることで、ある個別の劣化要因を回復すると不適合が生じてしまうが、その他の劣化要因について回復可能な場合、回復可能な範囲までは復元することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 撮像装置、１１０ 撮像デバイス、１２０ Ａ／Ｄ変換機、
１３０ 画像処理部、１４０ カメラ信号処理部、１５０ メディアＩ／Ｆ、
１６０ ＰＣ・その他メディア、１７０ ＣＰＵ、１８０ ＲＯＭ、１９０ ＲＡＭ、
２００ 撮像系制御部、２１０ 操作部材、２２０ 外部表示制御部、
４００ 光学系、４１０ 絞り、１３１ 画像処理部の入力部、
１３２ ＯＴＦデータ記憶部、１３３ 回復フィルタ生成処理部、
１３４ 分布生成処理部、１３５ 画像回復処理部、１３６ 画像処理部の出力部

Claims (3)

1. 互いに光学特性が異なる複数の光学機器に対応するＯＴＦデータを保持するＯＴＦデータ記憶手段と、
   前記ＯＴＦデータに基づく回復フィルタを生成する回復フィルタ生成手段と、
   前記光学機器毎に個別の回復フィルタを生成する個別回復フィルタ生成ステップと、
   前記個別の回復フィルタを適用した結果に生じた不適合の分布情報を作成する分布生成手段と、
   前記分布情報に基づいて共通の回復フィルタを生成る共通回復フィルタ生成ステップと、
   前記共通回復フィルタを用いて画像回復処理を行う画像回復処理手段と、
   を有することを特徴とする画像処理方法。
2. 互いに光学特性が異なる複数の光学機器に対応するＯＴＦデータを保持するＯＴＦデータ記憶手段と、
   前記ＯＴＦデータに基づく回復フィルタを生成する回復フィルタ生成手段と、
   前記光学機器毎に個別の回復フィルタを生成する個別回復フィルタ生成ステップと、
   前記個別の回復フィルタを適用した結果に不適合が生じた部分については変更を加えない画像回復処理手段と、
   前記光学機器の数だけ、前記画像回復処理を繰り返すステップと、
   を有することを特徴とする画像処理方法。
3. 撮像を行って画像を生成する撮像系と、
   請求項１又は請求項２に記載の画像処理方法とを有することを特徴とする撮像装置。