JP2013038562A - 画像処理装置、画像処理方法、撮像装置、および、画像処理プログラム - Google Patents

Abstract

【課題】良好な画像回復処理が可能な画像処理方法を提供する。
【解決手段】画像処理方法は、撮影画像の画像回復処理を行う画像処理方法であって、撮影画像の撮影条件に応じた光学伝達関数を取得する工程と、光学伝達関数の絶対値が所定の閾値以下になる閾値周波数を取得する工程と、光学伝達関数を用いて、閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する工程と、画像回復フィルタを用いて撮影画像の画像回復処理を行う工程とを有する。
【選択図】図１

Description

本発明は、撮影画像の画像回復処理を行う画像処理方法に関する。

撮像装置により得られた撮影画像は、撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等の各収差の影響によりぼけ成分を含み、劣化している。このような収差による画像のぼけ成分は、無収差で回折の影響もない場合に、被写体の一点から発した光束が撮像面上で再度一点に集まるべきものが広がっていることを意味しており、点像分布関数ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）で表される。

点像分布関数ＰＳＦをフーリエ変換して得られる光学伝達関数ＯＴＦ（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数ＯＴＦの絶対値、すなわち振幅成分をＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼び、位相成分をＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ぶ。振幅成分ＭＴＦおよび位相成分ＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性であり、位相成分を位相角として以下の式で表される。

ＰＴＦ＝ｔａｎ^−１（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
ここで、Ｒｅ（ＯＴＦ）およびＩｍ（ＯＴＦ）はそれぞれ、光学伝達関数ＯＴＦの実部および虚部を表す。このように、撮像光学系の光学伝達関数ＯＴＦは、画像の振幅成分ＭＴＦと位相成分ＰＴＦに劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。また倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて例えばＲＧＢの色成分として取得することで発生する。

振幅成分ＭＴＦおよび位相成分ＰＴＦの劣化を補正する方法として、撮像光学系の光学伝達関数ＯＴＦの情報を用いて補正するものが知られている。この方法は、画像回復や画像復元という言葉で呼ばれており、以下、撮像光学系の光学伝達関数（ＯＴＦ）の情報を用いて撮影画像の劣化を補正する処理を画像回復処理という。詳細は後述するが、画像回復の方法のひとつとして、光学伝達関数（ＯＴＦ）の逆特性を有する画像回復フィルタを入力画像に対して畳み込む（コンボリューション）方法が知られている。

画像回復処理を効果的に行うには、撮像光学系の光学伝達関数ＯＴＦをより正確に取得する必要がある。光学伝達関数ＯＴＦを取得する方法としては、例えば撮像光学系の設計値情報があればその情報から計算によって求めることが可能である。また、点光源を撮影し、その強度分布にフーリエ変換を施すことで求めることもできる。

撮像光学系の光学伝達関数ＯＴＦは、一般的に、像高（撮影画像の位置）に応じて変動する。このため、撮影画像の画像回復処理を高精度に行うには、像高ごとの光学伝達関数ＯＴＦの変動に基づいて生成した適切な画像回復フィルタを用いる必要がある。撮影画像の位置に応じて画像回復の特性を変更する場合、画像回復処理は周波数空間にて一括で行うのではなく、実空間で画像回復フィルタを切り換えながら行うことが望ましい。特許文献１には、画像回復の回復度合を調節するための調節パラメータを有し、画像回復の回復度合を連続的に変化させる構成が開示されている。

特開２００７−１８３８４２号公報

しかしながら、撮影条件によっては、撮影画像の少なくとも一部で、撮像素子のナイキスト周波数の帯域内で光学伝達関数の振幅成分ＭＴＦが零になる場合がある。以下、これを「零落ち」と呼び、零落ちする周波数を「零落ち周波数」という。零落ちの原因としては、収差や回折、手ぶれなどが挙げられる。零落ち周波数の情報は伝達（撮像）されないため、零落ち周波数での画像回復処理を行うことができない。また、零落ち周波数以外の周波数のみで画像回復処理を行うと、画像のエッジ部にリンギングが発生してしまう。この結果、高品質な回復画像を得ることができない。

特許文献１の構成において、回復度合を調節することは可能である。しかし特許文献１の構成は、ユーザによる回復度合の変更が可能であるに過ぎず、光学系（光学伝達関数）の周波数特性に応じた適切なパラメータを自動的に決定するものではない。また、零落ち周波数に応じて回復度合を調節するものではないため、零落ちが存在する光学系による差撮影画像を良好に回復することはできない。

そこで本発明は、良好な画像回復処理が可能な画像処理方法、画像処理装置、撮像装置、および、画像処理プログラムを提供する。

本発明の一側面としての画像処理方法は、撮影画像の画像回復処理を行う画像処理方法であって、前記撮影画像の撮影条件に応じた光学伝達関数を取得する工程と、前記光学伝達関数の絶対値が所定の閾値以下になる閾値周波数を取得する工程と、前記光学伝達関数を用いて、前記閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する工程と、前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う工程とを有する。

本発明の他の側面としての画像処理装置は、撮影画像の画像回復処理を行う画像処理装置であって、前記撮影画像の撮影条件に応じた光学伝達関数を取得する光学伝達関数取得手段と、前記光学伝達関数の絶対値が所定の閾値以下になる閾値周波数を取得する閾値周波数取得手段と、前記光学伝達関数を用いて、前記閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する生成手段と、前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う処理手段とを有する。

本発明の他の側面としての撮像装置は、撮影画像の画像回復処理を行う撮像装置であって、撮像光学系と、前記撮像光学系を介して得られた被写体像を光電変換して撮影画像を生成する撮像素子と、前記撮影画像の撮影条件に応じた光学伝達関数を取得する光学伝達関数取得手段と、前記光学伝達関数の絶対値が所定の閾値以下になる閾値周波数を取得する閾値周波数取得手段と、前記光学伝達関数を用いて、前記閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する生成手段と、前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う処理手段とを有する。

本発明の他の側面としての画像処理プログラムは、コンピュータに撮影画像の画像回復処理を実行させる画像処理プログラムであって、前記撮影画像の撮影条件に応じた光学伝達関数を取得する工程と、前記光学伝達関数の絶対値が所定の閾値以下になる閾値周波数を取得する工程と、前記光学伝達関数を用いて、前記閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する工程と、前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う工程とを有する。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、良好な画像回復処理が可能な画像処理方法、画像処理装置、撮像装置、および、画像処理プログラムを提供することができる。

実施例１における画像処理方法のフローチャートである。 本実施例における画像処理方法で用いられる画像回復フィルタの説明図である。 本実施例における画像処理方法で用いられる画像回復フィルタの説明図である。 本実施例における画像処理方法の点像の補正状態の説明図である。 本実施例における光学伝達関数の振幅成分と位相成分の説明図である。 実施例１における閾値周波数の説明図である。 実施例１における画像回復フィルタの回復度合を設定する際の説明図である。 実施例１における回復ゲインの説明図である。 実施例１における画像回復前後の光学伝達関数の振幅成分ＭＴＦの説明図である。 実施例１における撮像装置の構成図である。 実施例２における画像処理システムの構成図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

まず、本実施例で説明される用語の定義および画像回復処理（画像処理方法）について説明する。ここで説明される画像処理方法は、後述の各実施例において適宜用いられる。
［入力画像］
入力画像は、撮像光学系を介して撮像素子で受光することで得られたデジタル画像（撮影画像）であり、レンズと各種の光学フィルタ類を含む撮像光学系の収差による光学伝達関数ＯＴＦにより劣化している。撮像光学系は、レンズだけでなく曲率を有するミラー（反射面）を用いて構成することもできる。

入力画像の色成分は、例えばＲＧＢ色成分の情報を有する。色成分としては、これ以外にもＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号など一般に用いられている色空間を選択して用いることができる。その他の色空間として、ＸＹＺ、Ｌａｂ、Ｙｕｖ、ＪＣｈを用いることが可能である。更に、色温度を用いてもよい。

入力画像や出力画像には、レンズの焦点距離、絞り値、撮影距離などの撮影条件や、この画像を補正するための各種の補正情報を付帯することができる。撮像装置から別の画像処理装置に画像を受け渡して補正処理を行う場合、上述のように撮影画像に撮影条件や補正に関する情報を付帯することが好ましい。撮影条件や補正に関する情報の他の受け渡し方法として、撮像装置と画像処理装置を直接または間接的に接続して受け渡すようにしてもよい。
［画像回復処理］
続いて、画像回復処理の概要について説明する。撮影画像（劣化画像）をｇ（ｘ，ｙ）、もとの画像をｆ（ｘ，ｙ）、光学伝達関数ＯＴＦのフーリエペアである点像分布関数ＰＳＦをｈ（ｘ，ｙ）としたとき、以下の式（１）が成立する。

ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） … （１）
ここで、＊はコンボリューション（畳み込み積分、積和）、（ｘ，ｙ）は撮影画像上の座標である。

また、式（１）をフーリエ変換して周波数面での表示形式に変換すると、周波数ごとの積で表される式（２）が得られる。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） … （２）
ここで、Ｈは点像分布関数ＰＳＦ（ｈ）をフーリエ変換することにより得られた光学伝達関数ＯＴＦであり、Ｇ，Ｆはそれぞれ劣化した画像ｇ、もとの画像ｆをフーリエ変換して得られた関数である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数である。

撮影された劣化画像ｇからもとの画像ｆを得るには、以下の式（３）のように両辺を光学伝達関数Ｈで除算すればよい。

Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） … （３）
そして、Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことにより、もとの画像ｆ（ｘ，ｙ）が回復画像として得られる。

Ｈ^−１を逆フーリエ変換したものをＲとすると、以下の式（４）のように実面での画像に対するコンボリューション処理を行うことで、同様にもとの画像ｆ（ｘ，ｙ）を得ることができる。

ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） … （４）
ここで、Ｒ（ｘ，ｙ）は画像回復フィルタと呼ばれる。画像が２次元画像である場合、一般的に、画像回復フィルタＲも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、画像回復フィルタＲのタップ数（セルの数）は、一般的に多いほど回復精度が向上する。このため、要求画質、画像処理能力、収差の特性等に応じて実現可能なタップ数が設定される。画像回復フィルタＲは、少なくとも収差の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）などとは異なる。画像回復フィルタＲは光学伝達関数ＯＴＦに基づいて設定されるため、振幅成分および位相成分の劣化の両方を高精度に補正することができる。

また、実際の画像にはノイズ成分が含まれるため、上記のように光学伝達関数ＯＴＦの逆数をとって作成した画像回復フィルタＲを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して、光学系のＭＴＦ（振幅成分）を全周波数に渡って１に戻すようにＭＴＦを持ち上げるためである。光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合（回復ゲイン）に応じてノイズが増幅されてしまう。

したがって、ノイズが含まれる場合には、鑑賞用画像としては良好な画像は得られない。このことは、以下の式（５−１）、（５−２）で表される。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ） … （５−１）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ） … （５−２）
ここで、Ｎはノイズ成分である。

ノイズ成分が含まれる画像に関しては、例えば以下の式（６）で表されるウィナーフィルタのように、画像信号とノイズ信号の強度比ＳＮＲに応じて回復度合を制御する方法がある。

ここで、Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性、｜Ｈ（ｕ，ｖ）｜は光学伝達関数ＯＴＦの絶対値（振幅成分ＭＴＦ）である。この方法では、周波数ごとに、振幅成分ＭＴＦが小さいほど回復ゲイン（回復度合）を小さくし、振幅成分ＭＴＦが大きいほど回復ゲインを大きくする。一般的に、撮像光学系の振幅成分ＭＴＦは低周波側が高く高周波側が低くなるため、この方法では、実質的に画像の高周波側の回復ゲインを低減することになる。

続いて、図２および図３を参照して、画像回復フィルタについて説明する。画像回復フィルタは、撮像光学系の収差特性や要求される回復精度に応じてそのタップ数が決定される。図２の画像回復フィルタは、一例として、１１×１１タップの２次元フィルタである。また図２では、各タップ内の値（係数）を省略しているが、この画像回復フィルタの一断面を図３に示す。画像回復フィルタの各タップの値（係数値）の分布は、収差により空間的に広がった信号値（ＰＳＦ）を、理想的には元の１点に戻す機能を有する。

画像回復フィルタの各タップは、画像の各画素に対応して画像回復処理の工程でコンボリューション処理（畳み込み積分、積和）される。コンボリューション処理では、所定の画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、画像と画像回復フィルタの対応画素ごとに画像の信号値とフィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える。

続いて、図４および図５を参照して、画像回復の実空間と周波数空間での特性について説明する。図４は、点像分布関数ＰＳＦの説明図であり、図４（ａ）は画像回復前の点像分布関数ＰＳＦ、図４（ｂ）は画像回復後の点像分布関数ＰＳＦを示している。図５は、光学伝達関数ＯＴＦの振幅成分ＭＴＦ（図５（ａ））と位相成分ＰＴＦ（図５（ｂ））の説明図である。図５（ａ）中の破線（Ａ）は画像回復前のＭＴＦ、一点鎖線（Ｂ）は画像回復後のＭＴＦを示す。また図５（ｂ）中の破線（Ａ）は画像回復前のＰＴＦ、一点鎖線（Ｂ）は画像回復後のＰＴＦを示す。図４（ａ）に示されるように、画像回復前の点像分布関数ＰＳＦは、非対称な広がりを有し、この非対称性により位相成分ＰＴＦは周波数に対して非直線的な値を有する。画像回復処理は、振幅成分ＭＴＦを増幅し、位相成分ＰＴＦがゼロになるように補正するため、画像回復後の点像分布関数ＰＳＦは対称で先鋭な形状になる。

このように画像回復フィルタは、撮像光学系の光学伝達関数ＯＴＦの逆関数に基づいて設計された関数を逆フーリエ変換して得ることができる。本実施例で用いられる画像回復フィルタは適宜変更可能であり、例えば上述のようなウィナーフィルタを用いることができる。ウィナーフィルタを用いる場合、式（６）を逆フーリエ変換することで、実際に画像に畳み込む実空間の画像回復フィルタを作成することが可能である。また、光学伝達関数ＯＴＦは１つの撮影状態においても撮像光学系の像高（画像の位置）に応じて変化する。このため、画像回復フィルタは像高に応じて変更して用いられる。

次に、図１を参照して、本発明の実施例１における画像処理方法について説明する。図１は、本実施例における画像処理方法（画像処理プログラム）のフローチャートである。図１のフローチャートは、後述の画像処理装置の指令に基づいて実行される。

まずステップＳ１１において、撮影画像を入力画像として取得する。撮影画像は、撮像装置と画像処理装置を有線または無線で接続して取得することができる。また撮影画像は、記憶媒体を介して取得することもできる。続いてステップＳ１２において、撮影画像の撮影条件を取得する。ステップＳ１２は、画像処理装置の撮影条件取得手段により実行される。撮影条件は、焦点距離、絞り値、および、撮影距離等である。また、レンズがカメラ本体に交換可能に装着される撮像装置の場合、撮像条件は更にレンズＩＤやカメラＩＤを含む。撮影条件に関する情報は、撮像装置から直接取得することができる。またこの情報は、画像に付帯された情報から取得することもできる。

次にステップＳ１３において、撮影条件に応じた光学伝達関数ＯＴＦを取得する。ステップＳ１３は、画像処理装置の光学伝達関数取得手段により実行される。この光学伝達関数ＯＴＦは、撮影条件に適した光学伝達関数ＯＴＦであり、予め保持された複数の光学伝達関数ＯＴＦの中から選択することができる。また、光学伝達関数ＯＴＦを生成するための関数とその生成に用いられる係数群を予め保持しておき、撮影条件に適した光学伝達関数ＯＴＦを本ステップにて新たに生成することもできる。更に、絞り、撮影距離、および、ズームレンズの焦点距離などの撮影条件が特定の撮影条件の場合、予め保持されている撮影条件に対応する光学伝達関数ＯＴＦから補間処理により生成することもできる。この場合、保持する画像回復フィルタのデータ量を低減することが可能である。補間処理としては、例えばバイリニア補間（線形補間）やバイキュービック補間等が用いられるが、これに限定されるものではない。

続いてステップＳ１４において、撮像光学系の光学伝達関数ＯＴＦの絶対値（振幅成分ＭＴＦ）が所定の閾値以下となる閾値周波数を取得する。ステップＳ１４は、画像処理装置の閾値周波数取得手段により実行される。閾値周波数は、撮影時に検出することができるが、これに限定されるものではなく、例えば撮影時のＦナンバーに基づいて取得することもできる。閾値周波数の詳細は後述する。

続いてステップＳ１５において、撮像光学系の光学伝達関数ＯＴＦを用いて、閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する。ステップＳ１５は、画像処理装置の生成手段により実行される。ステップＳ１５にて生成された画像回復フィルタは、閾値周波数という観点から光学伝達関数ＯＴＦの特性を考慮して得られた画像回復フィルタである。画像回復フィルタの生成の詳細については後述する。なお、撮像光学系の光学伝達関数ＯＴＦを元に、閾値周波数に応じたゲイン特性を有する第２の光学伝達関数ＯＴＦを生成し、第２の光学伝達関数ＯＴＦに基づいて画像回復フィルタを生成してもよい。このようにして生成された画像回復フィルタも、閾値周波数に応じたゲイン特性を有する画像回復フィルタとなる。

続いてステップＳ１６において、ステップＳ１５で生成された画像回復フィルタを用いて撮影画像の画像回復処理を行う。すなわち、撮影画像に画像回復フィルタをコンボリューション（畳み込み）することで、撮影画像の画像回復処理を行う。ステップＳ１６は、画像処理装置の処理手段により実行される。そしてステップＳ１７において、ステップＳ１６での画像回復処理の結果に基づいて回復画像（出力画像）を出力し、図１のフローは終了する。

次に、図６を参照して、図１中のステップＳ１４における閾値周波数を取得する方法について詳述する。図６は、本実施例における閾値周波数の説明図であり、光学伝達関数の振幅成分ＭＴＦ（絶対値）と空間周波数との関係（周波数特性）を示している。ここでは、横軸（空間周波数）の１を撮像素子の画素ピッチで決定されるナイキスト周波数として正規化している。

図６（ａ）は、互いに異なる３つの周波数特性（Ａ）、（Ｂ）、（Ｃ）を有する光学伝達関数の振幅成分ＭＴＦを示している。図６（ａ）では、周波数特性（Ａ）、（Ｂ）のそれぞれの場合の振幅成分ＭＴＦが閾値ｔ１となるときの周波数ｆａ、ｆｂを閾値周波数として設定する。周波数特性（Ｃ）については、閾値ｔ１以下となる周波数（閾値周波数）は存在しない。一方、図６（ｂ）は、互いに異なる２つの周波数特性（Ｄ）、（Ｅ）を有する光学伝達関数の振幅成分ＭＴＦを示している。図６（ｂ）では、周波数特性（Ｄ）、（Ｅ）のそれぞれの場合の振幅成分ＭＴＦが閾値ｔ２となるときの周波数ｆｄ、ｆｅを閾値周波数として設定する。

このように、光学伝達関数の振幅成分ＭＴＦの所定の閾値ｔ（ｔ１、ｔ２）は目的に応じて適切な値に設定することが可能である。例えば、閾値周波数を零落ち周波数として取得する場合、振幅成分ＭＴＦが０になるとき（ｔ＝０）の空間周波数を閾値周波数に設定すればよい。ただし、実用的には振幅成分ＭＴＦが０でない場合でも十分小さな値として扱うことが可能である。このとき、例えばｔ＝０．０３（ＭＴＦが３％）の場合の空間周波数を閾値周波数として設定することができる。また図６（ｂ）では、ｔ＝０．５０（ＭＴＦが５０％）の場合の空間周波数を閾値周波数として設定している。この場合、零落ち周波数の取得ではなく、基本性能を評価している意味合いが強い。また、偽解像がある場合など振幅成分ＭＴＦが０近傍で波打つような場合、ｔ＝０になる周波数が複数存在することになる。本実施例では、このような複数の周波数（振幅成分ＭＴＦが所定の閾値以下となる複数の周波数）のうち最も低い周波数を閾値周波数として設定することが好ましい。

閾値周波数の具体的な取得方法としては、２次元のＭＴＦデータを１つずつ所定の閾値と比較し、所定の閾値以下で且つ暫定の閾値周波数以下の場合にはその周波数を新たに暫定の閾値周波数として記憶する。これを繰り返すことで、所定の閾値以下となる最も低い周波数を閾値周波数として取得することができる。２次元のＭＴＦデータは、保持している２次元のＯＴＦデータの絶対値をとることで生成することができる。また変形例として、アジムス方向も記憶情報に加えることで、アジムス方向ごとに閾値周波数を取得することもできる。さらに、ＭＴＦデータのうち、特定のアジムス方向について１次元データとして閾値周波数を取得することもできる。閾値周波数は、全アジムス方向を対象に、所定の閾値以下となる最も低い周波数としてもよく、また、詳細にアジムス方向ごとに取得してもよい。なお、閾値周波数（零落ち周波数）は、図１中のステップＳ１２にて取得した撮影時のＦナンバーを用いて、回折限界の理論式に基づいて算出することもできる。また、光学伝達関数ＯＴＦがアジムス方向によって異なる場合、閾値周波数をアジムス方向に依存した特性を有する関数やルックアップテーブルのデータとすることもできる。または、全アジムス方向のうち、最も低い周波数を代表値として閾値周波数に設定することもできる。

次に図７を参照して、図１中のステップＳ１５で生成される画像回復フィルタの回復度合について説明する。画像回復フィルタを設計するための関数として、例えば上述の式（６）が用いられる。図７は、本実施例における画像回復フィルタの回復度合（ＧＡＩＮ）を設定する際の説明図であり、図１中のステップＳ１４で得られた閾値周波数から回復度合を決定するための関数を示している。図７中の２つの曲線（２）、（３）は、基本の回復度合の強弱を示す例である。このような回復度合の強弱は、プリセット値として記憶部に複数保持しておく。即ち、記憶部には、図７に示すような、閾値周波数と回復度合の対応を示す情報が格納されている。なお、プリセット値を所定の範囲においてユーザが任意に設定できるよう構成してもよい。

図７中の曲線（２）が適用される場合、図６（ａ）の周波数特性（Ａ）、（Ｂ）、（Ｃ）を例とすると、周波数特性（Ａ）、（Ｂ）における回復度合は、それぞれの閾値周波数ｆａ、ｆｂに応じた回復度合Ｇａ、Ｇｂに設定される。周波数特性（Ｃ）は零落ちが無い（閾値周波数が存在しない）ため、その回復度合は曲線（２）の最大値である２に設定される。曲線（３）が適用される場合も同様に、それぞれの閾値周波数に応じた回復度合いに設定される。このような関数は、ルックアップテーブルで保持することもできる。そして、式（６）のＳＮＲの項をパラメータとして用いて、画像回復フィルタの周波数特性が所望の回復度合となるように設計する。本実施例において、画像回復フィルタの回復度合（ＧＡＩＮ）を表す値として、周波数特性の絶対値（回復ゲイン）の最大値（最大ゲイン）を用いる。

図８は、本実施例における回復ゲインの説明図であり、最大ゲインがＧａ、Ｇｂ、２となるように設計された画像回復フィルタのそれぞれのゲイン特性ｆ１、ｆ２、ｆ３を示している。ゲイン特性とは、空間周波数に対する回復度合を示す特性である。図８は、一例として、図７の曲線（２）を適用した場合のゲイン特性を示しており、ゲイン特性ｆ１、ｆ２、ｆ３は、閾値周波数がｆａ、ｆｂの場合、および、閾値周波数が存在しない場合にそれぞれ対応している。

図７および図８に示されるように、閾値周波数ｆａ、ｆｂのそれぞれの場合のゲイン特性ｆ１、ｆ２で比較すると、閾値周波数ｆｂのときの最大ゲインＧｂよりも閾値周波数ｆａのときの最大ゲインＧａのほうが小さい。すなわち、画像回復フィルタのゲイン特性は、閾値周波数が低くなるにつれて最大ゲインが低下するように変化する。

また図８に示されるように、閾値周波数ｆａ、ｆｂのそれぞれの場合のゲイン特性ｆ１、ｆ２で比較すると、ゲイン特性ｆ１のゲイン（回復度合）のほうがゲイン特性ｆ２のゲインよりも低周波側に重み付けが行われている。すなわち、画像回復フィルタのゲイン特性は、閾値周波数が低くなるにつれて画像回復フィルタのゲインを低周波側に高い重みを付けるように変化する。

また閾値周波数は、撮影画像の位置に応じて異なる。このため、画像回復フィルタのゲイン特性は、撮影画像の位置に応じて異なっている。

図９は、画像回復前後の光学伝達関数の振幅成分ＭＴＦの説明図である。図９（ａ）は、図６（ａ）中の周波数特性（Ａ）、（Ｂ）、（Ｃ）に対する本実施例の画像回復処理を行った結果である。画像回復前の周波数特性（Ａ）、（Ｂ）、（Ｃ）に対して、図８に示されるようなゲイン特性ｆ１、ｆ２、ｆ３を有する画像回復フィルタを適用することにより、画像回復後の周波数特性（Ａ１）、（Ｂ１）、（Ｃ１）にそれぞれ変化する。一方、図９（ｂ）は、光学伝達関数の振幅成分ＭＴＦの周波数特性（閾値周波数）を考慮せずに画像回復処理を行った結果を示している。画像回復前の周波数特性（Ａ）、（Ｂ）、（Ｃ）に対して、画像回復後の周波数特性（Ａ２）、（Ｂ２）、（Ｃ２）にそれぞれ変化する。図９（ａ）では、閾値周波数に応じた適切なゲイン特性を有する画像回復フィルタを用いて画像回復処理を行っているためリンギングの発生は低減する。一方、図９（ｂ）ではリンギングが発生し、高品質な回復画像を得ることができない。

さらに、複数の閾値周波数を同時に用いて第一の閾値周波数および第二の閾値周波数により複合的に光学伝達関数の周波数特性（ゲイン特性）を分析することも可能である。複数の閾値周波数を用いる例として、式（７）を示す。

式（７）は、式（６）に対してＣ（ｕ，ｖ）という周波数の重み付けを行って得られた式である。例えば、第一の閾値をｔ＝０．０３として第一の閾値周波数を取得し、第二の閾値をｔ＝０．５０として第二の閾値周波数を取得する。そして、第一の閾値周波数よりも低周波側のみを増幅するようにＣ（ｕ，ｖ）を設定することで、零落ち周波数に増幅ゲインが適用されないようにし、第二の閾値周波数で最大ゲインを設定して回復度合を決定することができる。すなわち、回復ゲインの周波数帯域の重み付けおよび回復度合の両方を、取得した２つの閾値周波数から自動的に決定することが可能になる。

次に、図１０を参照して、本実施例における撮像装置について説明する。図１０は、本実施例における撮像装置２００の構成図である。撮像装置２００には、撮影画像の画像回復処理（上述の画像処理方法）を行う画像処理プログラムがインストールされており、この画像回復処理は撮像装置２００の内部の画像処理部２０４（画像処理装置）により実行される。

撮像装置２００は、撮像光学系２０１（レンズ）および撮像装置本体（カメラ本体）を備えて構成されている。撮像光学系２０１は、絞り２０１ａおよびフォーカスレンズ２０１ｂを備え、撮像装置本体（カメラ本体）と一体的に構成されている。ただし本実施例はこれに限定されるものではなく、撮像光学系２０１が撮像装置本体に対して交換可能に装着される撮像装置にも適用可能である。

撮像素子２０２は、撮像光学系２０１を介して得られた被写体像（結像光）を光電変換して撮影画像を生成する。すなわち被写体像は、撮像素子２０２により光電変換が行われてアナログ信号（電気信号）に変換される。そして、このアナログ信号はＡ／Ｄコンバータ２０３によりデジタル信号に変換され、このデジタル信号は画像処理部２０４に入力される。

画像処理部２０４（画像処理装置）は、このデジタル信号に対して所定の処理を行うとともに、上述の画像回復処理を行う。まず画像処理部２０４（撮影条件取得手段）は、状態検知部２０７から撮像装置の撮像条件情報を取得する。撮像条件情報とは、絞り、撮影距離、または、ズームレンズの焦点距離等に関する情報である。状態検知部２０７は、システムコントローラ２１０から直接に撮像条件情報を取得することができるが、これに限定されるものではない。例えば撮像光学系２０１に関する撮像条件情報は、撮像光学系制御部２０６から取得することもできる。本実施例の画像回復処理の処理フロー（画像処理方法）は、図１を参照して説明したとおりである。

光学伝達関数ＯＴＦまたは光学伝達関数ＯＴＦの生成に必要な係数データは、記憶部２０８に保持されている。画像処理部２０４で処理した出力画像は、画像記録媒体２０９に所定のフォーマットで保存される。表示部２０５には、本実施例の画像回復処理を行った画像に表示用の所定の処理を行った画像が表示される。ただしこれに限定されるものではなく、高速表示のために簡易処理を行った画像を表示部２０５に表示するように構成してもよい。

本実施例における一連の制御はシステムコントローラ２１０により行われ、撮像光学系２０１の機械的な駆動はシステムコントローラ２１０の指示に基づいて撮像光学系制御部２０６により行われる。撮像光学系制御部２０６は、Ｆナンバーの撮影状態設定として、絞り２０１ａの開口径を制御する。また撮像光学系制御部２０６は、被写体距離に応じてピント調整を行うため、不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構により、フォーカスレンズ２０１ｂの位置を制御する。なお、絞り２０１ａの開口径制御やマニュアルフォーカスなどの機能は、撮像装置２００の仕様に応じて実行しなくてもよい。

撮像光学系２０１には、ローパスフィルタや赤外線カットフィルタ等の光学素子を入れても構わないが、ローパスフィルタ等の光学伝達関数（ＯＴＦ）の特性に影響を与える素子を用いる場合、画像回復フィルタを作成する時点での考慮が必要になる場合がある。赤外カットフィルタに関しても、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、画像回復フィルタを作成する時点での考慮が必要になる場合がある。

次に、図１１を参照して、本発明の実施例２における画像処理装置および画像処理システムについて説明する。図１１は、本実施例における画像処理システム３００の構成図である。なお、本実施例の画像回復処理の処理フロー（画像処理方法）は、図１を参照して説明した実施例１と同様であるため、その説明は省略する。

図１１において、画像処理装置３０１は、本実施例の画像処理方法をコンピュータに実行させるための画像処理ソフトウェア３０６を搭載したコンピュータ機器である。撮像機器３０２は、カメラ、顕微鏡、内視鏡、または、スキャナなどの撮像装置である。記憶媒体３０３は、半導体メモリ、ハードディスク、または、ネットワーク上のサーバなど、撮影画像を記憶した記憶手段である。

画像処理装置３０１は、撮像機器３０２または記憶媒体３０３から撮影画像データを取得し、所定の画像処理を行った画像データを出力機器３０５、撮像機器３０２、記憶媒体３０３のいずれか一つまたは複数に出力する。また、その出力先を画像処理装置３０１に内蔵された記憶部に保存することもできる。出力機器３０５は、例えばプリンタである。

画像処理装置３０１にはモニタである表示機器３０４が接続されている。このため、ユーザは表示機器３０４を通して画像処理作業を行うとともに、補正された画像を評価することができる。画像処理ソフトウェア３０６は、本実施例の画像回復処理（画像処理方法）を行うほか、必要に応じて現像やその他の画像処理を行う。

なお、本実施例における画像処理を行うためのデータの内容や機器間での受け渡しなどに関する情報（補正情報）については、個々の画像データに付帯させることが好ましい。必要な補正情報を画像データに付帯させることで、本実施例の画像処理装置を搭載した機器であれば、適切に本実施例の補正処理を行うことが可能である。

上記各実施例によれば、撮影条件での光学伝達関数の特性を考慮して適切な回復度合（ゲイン特性）の回復フィルタを生成して用いることができるため、リンギング等の影響を低減して高品質な画像を得ることが可能である。従って、各実施例によれば、良好な画像回復処理が可能な画像処理方法、画像処理装置、撮像装置、および、画像処理プログラムを提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

２００：撮像装置
２０４：画像処理部
２０８：記憶部

本発明の一側面としての画像処理装置は、撮影画像の画像回復処理を行う画像処理装置であって、前記撮影画像の撮影条件に応じた光学伝達関数を取得する光学伝達関数取得手段と、前記光学伝達関数の絶対値が所定の閾値以下になる閾値周波数を取得する閾値周波数取得手段と、前記光学伝達関数を用いて、前記閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する生成手段と、前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う処理手段とを有する。

本発明の他の側面としての画像処理方法は、撮影画像の画像回復処理を行う画像処理方法であって、前記撮影画像の撮影条件に応じた光学伝達関数を取得する工程と、前記光学伝達関数を用いて生成され、前記光学伝達関数の絶対値が所定の閾値以下になる閾値周波数に応じたゲイン特性を有する画像回復フィルタを用いて前記撮影画像の画像回復処理を行う工程とを有する。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、閾値周波数は周波数の値そのものではなく、周波数に対応付けたパラメータであってもよい。

Claims (10)

1. 撮影画像の画像回復処理を行う画像処理方法であって、
   前記撮影画像の撮影条件に応じた光学伝達関数を取得する工程と、
   前記光学伝達関数の絶対値が所定の閾値以下になる閾値周波数を取得する工程と、
   前記光学伝達関数を用いて、前記閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する工程と、
   前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う工程と、を有することを特徴とする画像処理方法。
2. 前記閾値周波数は、前記光学伝達関数において前記絶対値が前記所定の閾値以下となる周波数のうち最も低い周波数であることを特徴とする請求項１に記載の画像処理方法。
3. 前記閾値周波数は、撮影時に検出されることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記閾値周波数は、撮影時のＦナンバーに基づく周波数であることを特徴とする請求項１または２に記載の画像処理方法。
5. 前記画像回復フィルタの前記ゲイン特性は、前記閾値周波数が低くなるにつれて最大ゲインが低下するように変化することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理方法。
6. 前記画像回復フィルタの前記ゲイン特性は、前記閾値周波数が低くなるにつれて前記画像回復フィルタのゲインを低周波側に高い重みを付けるように変化することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理方法。
7. 前記閾値周波数は、前記撮影画像の位置に応じて異なり、
   前記画像回復フィルタの前記ゲイン特性は、前記撮影画像の位置に応じて異なることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理方法。
8. 撮影画像の画像回復処理を行う画像処理装置であって、
   前記撮影画像の撮影条件に応じた光学伝達関数を取得する光学伝達関数取得手段と、
   前記光学伝達関数の絶対値が所定の閾値以下になる閾値周波数を取得する閾値周波数取得手段と、
   前記光学伝達関数を用いて、前記閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する生成手段と、
   前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う処理手段と、を有することを特徴とする画像処理装置。
9. 撮影画像の画像回復処理を行う撮像装置であって、
   撮像光学系と、
   前記撮像光学系を介して得られた被写体像を光電変換して撮影画像を生成する撮像素子と、
   前記撮影画像の撮影条件に応じた光学伝達関数を取得する光学伝達関数取得手段と、
   前記光学伝達関数の絶対値が所定の閾値以下になる閾値周波数を取得する閾値周波数取得手段と、
   前記光学伝達関数を用いて、前記閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する生成手段と、
   前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う処理手段と、を有することを特徴とする撮像装置。
10. コンピュータに撮影画像の画像回復処理を実行させる画像処理プログラムであって、
    前記撮影画像の撮影条件に応じた光学伝達関数を取得する工程と、
    前記光学伝達関数の絶対値が所定の閾値以下になる閾値周波数を取得する工程と、
    前記光学伝達関数を用いて、前記閾値周波数に応じたゲイン特性を有する画像回復フィルタを生成する工程と、
    前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う工程と、を有することを特徴とする画像処理プログラム。