JP2014150421A - 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】データ量および演算量を削減しつつ高精度な画像回復処理が可能な撮像装置を提供する。
【解決手段】撮像装置は、撮影画像を取得する撮像素子と、撮影条件および撮影画像内の位置に応じて異なる第１の光学伝達関数と、２次元のフィルタ値の分布が撮影画像内の位置に関して一定かつ絞り値に応じて異なる画像回復フィルタまたは第２の光学伝達関数を生成するための関数を記憶する記憶手段と、絞り値が所定値未満の場合に第１の光学伝達関数を取得し、絞り値が所定値以上の場合に画像回復フィルタまたは第２の光学伝達関数を生成するための関数に基づいて生成された第２の光学伝達関数を取得するデータ取得手段と、第１または第２の光学伝達関数が取得された場合、取得された第１または第２の光学伝達関数に基づいて画像回復フィルタを生成するフィルタ生成手段と、画像回復フィルタを用いて撮影画像から回復画像を生成する画像処理手段とを有する。
【選択図】図１

Description

本発明は、撮影画像から回復画像を生成可能な撮像装置および画像処理装置に関する。

撮像装置により得られた撮影画像は、撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等の各収差の影響および光の回折の影響により画像のぼけ成分を含み、劣化している。このような収差による画像のぼけ成分は、無収差で回折の影響もない場合に、被写体の一点から発した光束が撮像面上で再度一点に集まるべきものが広がっていることを意味しており、点像分布関数ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）で表される。

点像分布関数ＰＳＦをフーリエ変換して得られる光学伝達関数ＯＴＦ（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数ＯＴＦの絶対値、すなわち振幅成分をＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼び、位相成分をＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ぶ。振幅成分ＭＴＦおよび位相成分ＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性であり、位相成分を位相角として以下の式で表される。

ＰＴＦ＝ｔａｎ^−１（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
ここで、Ｒｅ（ＯＴＦ）およびＩｍ（ＯＴＦ）はそれぞれ、光学伝達関数ＯＴＦの実部および虚部を表す。このように、撮像光学系の光学伝達関数ＯＴＦは、画像の振幅成分ＭＴＦと位相成分ＰＴＦに劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。また倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて例えばＲＧＢの色成分として取得することで発生する。従って、ＲＧＢ間で結像位置がずれ、各色成分内にも波長ごとの結像位置のずれ、すなわち位相ずれによる像の広がりが発生する。

振幅成分ＭＴＦおよび位相成分ＰＴＦの劣化を補正する方法として、撮像光学系の光学伝達関数ＯＴＦの情報を用いて補正するものが知られている。この方法は、画像回復や画像復元という言葉で呼ばれており、以下、撮像光学系の光学伝達関数（ＯＴＦ）の情報を用いて撮影画像の劣化を補正する処理を画像回復処理という。詳細は後述するが、画像回復の方法のひとつとして、光学伝達関数（ＯＴＦ）の逆特性を有する画像回復フィルタを入力画像に対して畳み込む（コンボリューション）方法が知られている。

画像回復を効果的に用いるためには、撮像光学系のより正確なＯＴＦ情報を得る必要がある。一般的な撮像光学系のＯＴＦは、像高（画像の位置）によって大きく変動する。また光学伝達関数ＯＴＦは２次元データであり、複素数であるため実部と虚部を有する。また、ＲＧＢの３つの色成分を有するカラー画像を対象とした画像回復処理を行う場合、一つの像高のＯＴＦデータは、縦方向のタップ数×横方向のタップ数×２（実部、虚部）×３（ＲＧＢ）となる。ここで、タップ数とはＯＴＦデータの縦横のサイズである。これらを、像高、Ｆナンバー（絞り値）、ズーム（焦点距離）、撮影距離など全ての撮影条件について保持すると、膨大なデータ量となる。画像の位置に応じて回復の特性を変更するためには、画像回復処理は周波数空間にて一括で処理するのではなく、実空間で回復フィルタを切り換えながら処理することが望ましい。

また、画像がぼける原因として、撮像光学系のＦナンバーに依存した光の回折現象がある。図９は、回折限界曲線であり、横軸は空間周波数、縦軸はＭＴＦをそれぞれ示している。図９に示されるように、Ｆナンバーが暗くなるほど遮断周波数が低周波側にシフトする。例えば、画素サイズが４μｍの撮像素子のナイキスト周波数は１２５本／ｍｍである。このため、Ｆ２．８など明るい場合、その影響は小さい。しかし、Ｆ１６やＦ３２など暗い場合、その影響は大きくなる。回折現象も収差と同様にＯＴＦやＰＳＦで記述できるため、上記の画像回復処理により回折によるぼけを補正することができる。

特許文献１には、画像回復に用いるＯＴＦを係数化して保持し、撮像装置の種々の撮影条件に対応して画像回復処理を行う方法が開示されている。

特開２０１２−７３６９１号公報

しかしながら、ＯＴＦは、絞りや撮影距離やズームレンズにおける焦点距離により変化する。またＯＴＦは、画面内の像高によっても変化する。このため、高精度なＯＴＦデータの全体は非常に大きなデータ量となる。また、１つの画像について画像回復処理を行う場合にも、像高に応じてＯＴＦを変更して用いるため、演算量は大きくなる。特許文献１の方法では、画像回復に用いるＯＴＦを係数化して保持することでデータ量を削減している。しかしながら、データ量や演算量は撮像装置の画像処理回路の演算速度やメモリのコストに影響するため、データ量および演算量の更なる削減が求められる。

そこで本発明は、データ量および演算量を削減しつつ高精度な画像回復処理が可能な撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供する。

本発明の一側面としての撮像装置は、撮影画像から回復画像を生成可能な撮像装置であって、撮像光学系を介して形成された被写体像を光電変換して前記撮影画像を取得する撮像素子と、撮影条件および撮影画像内の位置に応じて異なる第１の光学伝達関数と、２次元のフィルタ値の分布が該撮影画像内の位置に関して一定かつ絞り値に応じて異なる画像回復フィルタまたは第２の光学伝達関数を生成するための関数を記憶する記憶手段と、前記絞り値が所定値未満の場合に前記第１の光学伝達関数を取得し、該絞り値が所定値以上の場合に前記画像回復フィルタまたは前記第２の光学伝達関数を生成するための前記関数に基づいて生成された該第２の光学伝達関数を取得するデータ取得手段と、前記データ取得手段により前記第１の光学伝達関数または前記第２の光学伝達関数が取得された場合、取得された該第１の光学伝達関数または該第２の光学伝達関数に基づいて画像回復フィルタを生成するフィルタ生成手段と、前記記憶手段に記憶された前記画像回復フィルタまたは前記フィルタ生成手段で生成された前記画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成する画像処理手段とを有する。

本発明の他の側面としての画像処理装置は、撮影画像から回復画像を生成可能な画像処理装置であって、前記撮影画像および該撮影画像の撮影条件を取得する取得手段と、前記撮影条件および撮影画像内の位置に応じて異なる第１の光学伝達関数と、２次元のフィルタ値の分布が該撮影画像内の位置に関して一定かつ絞り値に応じて異なる画像回復フィルタまたは第２の光学伝達関数を生成するための関数を記憶する記憶手段と、前記絞り値が所定値未満の場合に前記第１の光学伝達関数を取得し、絞り値が所定値以上の場合に前記画像回復フィルタまたは前記第２の光学伝達関数を生成するための前記関数に基づいて生成された該第２の光学伝達関数を取得するデータ取得手段と、前記データ取得手段により前記第１の光学伝達関数または前記第２の光学伝達関数が取得された場合、取得された該第１の光学伝達関数または該第２の光学伝達関数に基づいて画像回復フィルタを生成するフィルタ生成手段と、前記記憶手段に記憶された前記画像回復フィルタまたは前記フィルタ生成手段で生成された前記画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成する画像処理手段とを有する。

本発明の他の側面としての画像処理方法は、撮影画像から回復画像を生成する画像処理方法であって、前記撮影画像および該撮影画像の撮影条件を取得するステップと、前記撮影条件のうち絞り値が所定値未満の場合に用いられる、前記撮影条件および撮影画像内の位置に応じて異なる第１の光学伝達関数と、該絞り値が所定値以上の場合に用いられる、２次元のフィルタ値の分布が該撮影画像内の位置に関して一定かつ該絞り値に応じて異なる画像回復フィルタまたは第２の光学伝達関数を生成するための関数を記憶する記憶手段から、前記第１の光学伝達関数を取得するステップと、前記絞り値が所定値以上の場合、前記記憶手段から、前記画像回復フィルタまたは前記第２の光学伝達関数を生成するための前記関数に基づいて生成された該第２の光学伝達関数を取得するステップと、データ取得手段により前記第１の光学伝達関数または前記第２の光学伝達関数が取得された場合、取得された該第１の光学伝達関数または該第２の光学伝達関数に基づいて画像回復フィルタを生成するステップと、前記記憶手段に記憶された前記画像回復フィルタまたはフィルタ生成手段で生成された前記画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成するステップとを有する。

本発明の他の側面としての画像処理プログラムは、撮影画像から回復画像を生成する画像処理プログラムであって、前記撮影画像および該撮影画像の撮影条件を取得するステップと、前記撮影条件のうち絞り値が所定値未満の場合に用いられる、前記撮影条件および撮影画像内の位置に応じて異なる第１の光学伝達関数と、該絞り値が所定値以上の場合に用いられる、２次元のフィルタ値の分布が該撮影画像内の位置に関して一定かつ該絞り値に応じて異なる画像回復フィルタまたは第２の光学伝達関数を生成するための関数を記憶する記憶手段から、前記第１の光学伝達関数を取得するステップと、前記絞り値が前記所定値以上の場合、前記記憶手段から、前記画像回復フィルタまたは前記第２の光学伝達関数を生成するための前記関数に基づいて生成された該第２の光学伝達関数を取得するステップと、データ取得手段により前記第１の光学伝達関数または前記第２の光学伝達関数が取得された場合、取得された該第１の光学伝達関数または該第２の光学伝達関数に基づいて画像回復フィルタを生成するステップと、前記記憶手段に記憶された前記画像回復フィルタまたはフィルタ生成手段で生成された前記画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成するステップと、を情報処理装置に実行させるように構成されている。

本発明の他の側面としての記憶媒体は、前記画像処理プログラムを格納している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、データ量および演算量を削減しつつ高精度な画像回復処理が可能な撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

実施例１における画像処理方法のフローチャートである。 本実施例における画像回復フィルタの説明図である。 本実施例における画像回復フィルタの説明図である。 本実施例における点像分布関数ＰＳＦの説明図である。 本実施例における光学伝達関数の振幅成分ＭＴＦと位相成分ＰＴＦの説明図である。 実施例１における撮像装置の構成図である。 実施例２における画像処理方法のフローチャートである。 実施例３における画像処理システムの構成図である。 回折限界曲線の説明図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

まず、本実施例で説明される用語の定義および画像回復処理（画像処理方法）について説明する。ここで説明される画像処理方法は、後述の各実施例において適宜用いられる。

［入力画像］
入力画像は、撮像光学系を介して撮像素子で受光することで得られたデジタル画像（撮影画像）であり、レンズと各種の光学フィルタ類を含む撮像光学系の収差による光学伝達関数ＯＴＦにより劣化している。撮像光学系は、レンズだけでなく曲率を有するミラー（反射面）を用いて構成することもできる。

入力画像の色成分は、例えばＲＧＢ色成分の情報を有する。色成分としては、これ以外にもＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号など一般に用いられている色空間を選択して用いることができる。その他の色空間として、ＸＹＺ、Ｌａｂ、Ｙｕｖ、ＪＣｈを用いることが可能である。更に、色温度を用いてもよい。

入力画像や出力画像には、レンズの焦点距離、絞り値、撮影距離などの撮影条件や、この画像を補正するための各種の補正情報を付帯することができる。撮像装置から別の画像処理装置に画像を受け渡して補正処理を行う場合、上述のように撮影画像に撮影条件や補正に関する情報を付帯することが好ましい。撮影条件や補正に関する情報の他の受け渡し方法として、撮像装置と画像処理装置を直接または間接的に接続して受け渡すようにしてもよい。

［画像回復処理］
続いて、画像回復処理の概要について説明する。撮影画像（劣化画像）をｇ（ｘ，ｙ）、もとの画像をｆ（ｘ，ｙ）、光学伝達関数ＯＴＦのフーリエペアである点像分布関数ＰＳＦをｈ（ｘ，ｙ）としたとき、以下の式（１）が成立する。

ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） … （１）
ここで、＊はコンボリューション（畳み込み積分、積和）、（ｘ，ｙ）は撮影画像上の座標である。

また、式（１）をフーリエ変換して周波数面での表示形式に変換すると、周波数ごとの積で表される式（２）が得られる。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） … （２）
ここで、Ｈは点像分布関数ＰＳＦ（ｈ）をフーリエ変換することにより得られた光学伝達関数ＯＴＦであり、Ｇ，Ｆはそれぞれ劣化した画像ｇ、もとの画像ｆをフーリエ変換して得られた関数である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数である。

撮影された劣化画像ｇからもとの画像ｆを得るには、以下の式（３）のように両辺を光学伝達関数Ｈで除算すればよい。

Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） … （３）
そして、Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことにより、もとの画像ｆ（ｘ，ｙ）が回復画像として得られる。

Ｈ^−１を逆フーリエ変換したものをＲとすると、以下の式（４）のように実面での画像に対するコンボリューション処理を行うことで、同様にもとの画像ｆ（ｘ，ｙ）を得ることができる。

ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） … （４）
ここで、Ｒ（ｘ，ｙ）は画像回復フィルタと呼ばれる。画像が２次元画像である場合、一般的に、画像回復フィルタＲも画像の各画素に対応したタップ（セル）を有し、２次元のフィルタ値の分布を有する。また、画像回復フィルタＲのタップ数（セルの数）は、一般的に多いほど回復精度が向上する。このため、要求画質、画像処理能力、収差の特性などに応じて実現可能なタップ数が設定される。画像回復フィルタＲは、少なくとも収差や回折の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）などとは異なる。画像回復フィルタＲは光学伝達関数ＯＴＦに基づいて設定されるため、振幅成分および位相成分の劣化の両方を高精度に補正することができる。

また、実際の画像にはノイズ成分が含まれるため、上記のように光学伝達関数ＯＴＦの完全な逆数をとって作成した画像回復フィルタＲを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して、光学系のＭＴＦ（振幅成分）を全周波数に渡って１に戻すようにＭＴＦを持ち上げるためである。光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合（回復ゲイン）に応じてノイズが増幅されてしまう。

したがって、ノイズが含まれる場合には、鑑賞用画像としては良好な画像は得られない。このことは、以下の式（５−１）、（５−２）で表される。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ） … （５−１）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ） … （５−２）
ここで、Ｎはノイズ成分である。

ノイズ成分が含まれる画像に関しては、例えば以下の式（６）で表されるウィナーフィルタのように、画像信号とノイズ信号の強度比ＳＮＲに応じて回復度合を制御する方法がある。

ここで、Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性、｜Ｈ（ｕ，ｖ）｜は光学伝達関数ＯＴＦの絶対値（ＭＴＦ）である。この方法では、周波数ごとに、ＭＴＦが小さいほど回復ゲイン（回復度合）を小さくし、ＭＴＦが大きいほど回復ゲインを大きくする。一般的に、撮像光学系のＭＴＦは低周波側が高く高周波側が低くなるため、この方法では、実質的に画像の高周波側の回復ゲインを低減することになる。

続いて、図２および図３を参照して、画像回復フィルタについて説明する。画像回復フィルタは、撮像光学系の収差特性や要求される回復精度に応じてそのタップ数が決定される。図２の画像回復フィルタは、一例として、１１×１１タップの２次元フィルタである。また図２では、各タップ内の値を省略しているが、この画像回復フィルタの一断面を図３に示す。画像回復フィルタの各タップの値の分布は、収差により空間的に広がった信号値又は画素値を、理想的には元の１点に戻す機能を有する。

画像回復フィルタの各タップは、画像の各画素に対応して画像回復処理の工程でコンボリューション処理（畳み込み積分、積和）される。コンボリューション処理では、所定の画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、画像と画像回復フィルタの対応画素ごとに画像の信号値とフィルタの各タップの値の積をとり、その総和を中心画素の信号値として置き換える。

続いて、図４および図５を参照して、画像回復の実空間と周波数空間での特性について説明する。図４は、点像分布関数ＰＳＦの説明図であり、図４（ａ）は画像回復前の点像分布関数ＰＳＦ、図４（ｂ）は画像回復後の点像分布関数ＰＳＦを示している。図５は、光学伝達関数ＯＴＦの振幅成分ＭＴＦ（図５（ａ））と位相成分ＰＴＦ（図５（ｂ））の説明図である。図５（ａ）中の破線（Ａ）は画像回復前のＭＴＦ、一点鎖線（Ｂ）は画像回復後のＭＴＦを示す。また図５（ｂ）中の破線（Ａ）は画像回復前のＰＴＦ、一点鎖線（Ｂ）は画像回復後のＰＴＦを示す。図４（ａ）に示されるように、画像回復前の点像分布関数ＰＳＦは、非対称な広がりを有し、この非対称性により位相成分ＰＴＦは周波数に対して非直線的な値を有する。画像回復処理は、振幅成分ＭＴＦを増幅し、位相成分ＰＴＦがゼロになるように補正するため、画像回復後の点像分布関数ＰＳＦは対称で先鋭な形状になる。

このように画像回復フィルタは、撮像光学系の光学伝達関数ＯＴＦの逆関数に基づいて設計された関数を逆フーリエ変換して得ることができる。本実施例で用いられる画像回復フィルタは適宜変更可能であり、例えば上述のようなウィナーフィルタを用いることができる。ウィナーフィルタを用いる場合、式（６）を逆フーリエ変換することで、実際に画像に畳み込む実空間の画像回復フィルタを作成することが可能である。

また、光学伝達関数ＯＴＦは、１つの撮影状態においても撮像光学系の像高（画像の位置）に応じて変化する。このため、画像回復フィルタは像高に応じて変更して用いられる。一方、絞り値（Ｆナンバー）が大きくなるに従って回折の影響が支配的になる光学伝達関数（ＯＴＦ）に対しては、光学系のビネッティング（けられ）の影響が小さい場合、像高に対して一律な（一定の）光学伝達関数ＯＴＦとして扱うことができる。

《実施例１》
次に、図１を参照して、本発明の実施例１における画像処理方法について説明する。図１は、本実施例における画像処理方法（画像回復処理）を示すフローチャートである。本実施例の画像処理方法は、画像処理装置または撮像装置の画像処理部により実行される。以下、各ステップを実行するステップの主体の代表として画像処理部を主体として記載するが、画像処理装置と置き換えることができる。

まず、ステップＳ１１において、画像処理部は、撮影画像を入力画像として取得する。画像処理装置を用いて画像処理方法を実行する場合、画像処理装置と撮像装置とを有線または無線で接続して撮影画像を取得することができる。また画像処理装置は、記憶媒体を介して撮影画像を取得することも可能である。一方、撮像装置を用いて画像処理方法を実行する場合、撮像装置は現像処理の入力データ（入力画像）としてＲＡＷ画像（撮影画像）を取得する。このように、画像処理装置または撮像装置の取得手段は、撮影画像を取得する。

続いてステップＳ１２において、画像処理部は、撮影条件を取得する。撮影条件は、絞り値（Ｆナンバー）、焦点距離、および、撮影距離などを含む。また、撮像装置本体（カメラ本体）に対して着脱可能なレンズ装置（交換レンズ）を用いる場合、撮影条件はレンズＩＤやカメラＩＤを含む。撮影条件に関する情報は、撮像装置から直接取得可能であり、または、画像に付帯された情報から取得することもできる。

次に、ステップＳ１３において、画像処理部は、入力画像（撮影画像）に関して、絞り値が所定値以上であるか否かを判定する。絞り値が所定値未満の場合、収差の影響が支配的であると判定し、ステップＳ１４に進む。一方、絞り値が所定値以上の場合、回折の影響が支配的であると判定し、ステップＳ１８に進む。このように、本実施例の画像処理方法では、絞り値に応じて、以降の処理が切り替えられる。

本実施例において、所定値（処理を切り替えるための閾値）は、例えば絞り値がＦ１６に設定される。ただし本実施例はこれに限定されるものではなく、所定値は撮像光学系の収差量や撮像素子の画素ピッチに応じて適宜変更可能である。例えば、以下の条件式（７）で表されるように、絞り値に応じて決定される回折による遮断周波数が撮像素子の画素ピッチで決定されるサンプリング周波数より小さくなる絞り値を所定値として設定することが好ましい。

Ｆ≧ｐ／λ … （７）
ここで、ＦはＦナンバー（絞り値）、ｐは画素ピッチ、λは可視光の波長帯域のうち所定の波長である。或いは、λを撮像素子が受光可能な波長帯域の中心波長としてもよい。すなわち絞り値の所定値は、Ｆ＝ｐ／λを満たすか近い値に設定すればよい。例えば、画素ピッチをｐ＝０．００６ｍｍとすると、サンプリング周波数は１６７本／ｍｍとなる。このため、波長をλ＝５５０ｎｍとすると、絞り値の所定値はＦ１１である。

ステップＳ１３にて絞り値が所定値未満であると判定された場合、ステップＳ１４において、画像処理部は、撮影条件に適した光学伝達関数（第１の光学伝達関数）を取得する。光学伝達関数は、予め記憶手段に記憶されたデータから選択することができる。また、光学伝達関数を生成するための関数とその係数群とを予めデータとして記憶しておき、光学伝達関数を本ステップで新たに生成することもできる。また、絞り値、撮影距離、ズームレンズの焦点距離について、予め係数データが記憶された撮影条件の間を補間処理で生成することにより、予め記憶する光学伝達関数のデータ量を削減することができる。補間処理の方法としては、例えばバイリニア補間（線形補間）やバイキュービック補間などが知られているが、これらに限定されるものではない。

次に、ステップＳ１５において、画像処理部は、光学伝達関数（第１の光学伝達関数）を用いて画像回復フィルタを生成する。本実施例において、画像回復フィルタは、撮影画像内の位置に応じて、すなわち像高ごとに生成される。続いてステップＳ１６において、画像処理部は、撮影画像に画像回復フィルタをコンボリューション（畳み込み）することで画像回復処理を行い、回復画像を生成する。そしてステップＳ１７において、画像処理部は回復画像を出力画像として出力する。

一方、ステップＳ１３にて絞り値が所定値以上である判定された場合、ステップＳ１８において、画像処理部は、撮影条件に適した画像回復フィルタを取得する。絞り値が所定値以上である場合、画像の劣化の要因は回折が支配的である。このため、画像回復フィルタは、撮影距離や焦点距離などの撮影条件には依存せず、絞り値のみに応じて選択すればよい。すなわち画像処理部は、絞り値に応じた画像回復フィルタを取得する。

ステップＳ１８にて取得される画像回復フィルタのタップ数は、以下の条件式（８）を満足することが好ましい。

１＜Ｔ・ｐ／（０．００１６・Ｆ）＜６ … （８）
ここで、Ｔは水平方向および垂直方向のタップ数、ｐは撮像素子の画素ピッチ（画素サイズ）、ＦはＦナンバー（絞り値）である。上記条件式の下限を超えると、収差や回折によるＰＳＦの広がりに対してタップ数が不足するため、十分な補正効果を得ることができない。一方、上記条件式の上限を超えると、畳み込み処理の演算量が肥大化し、処理速度が低下する。例えば、ｐ＝０．００６ｍｍ、Ｆ＝２２とし、タップ数を奇数とすると、７＜Ｔ＜３５となる。

また、ステップＳ１６において、ステップＳ１５にて生成された画像回復フィルタとステップＳ１８にて選択した画像回復フィルタとを同じタップ数に設定し、ステップＳ１６での畳み込み処理を共通化してもよい。この場合、以下の条件式（９）を満足することが好ましい。

１＜Ｔ・ｐ／（０．００１６・Ｆ）＜１２ … （９）
条件式（９）のように、条件式（８）の上限を上げることにより、収差が支配的な撮影条件においてもＰＳＦの広がりに対するタップ数の不足を回避することができる。

続いてステップＳ１６において、上述と同様に、画像処理部は、撮影画像に画像回復フィルタをコンボリューション（畳み込み）することで画像回復処理を行い、回復画像を生成する。そしてステップＳ１７において、画像処理部は回復画像を出力画像として出力する。

このように本実施例では、画像処理装置または撮像装置（画像処理部）に予め記憶されるデータとしては、絞り値が所定値未満の場合の光学伝達関数または光学伝達関数を生成するための係数データ、および、絞り値が所定値以上の場合の画像回復フィルタとなる。これにより、絞り値が所定値以上の光学伝達関数に関するデータが削減される。また、絞り値が所定値以上の場合には、ステップＳ１５での像高ごとの画像回復フィルタの生成が不要であり、またステップＳ１６では像高に応じて画像回復フィルタを切り替えることなく、画像全域を同一の画像回復フィルタを用いることができる。

次に、図６を参照して、本実施例における撮像装置について説明する。図６は、本実施例における撮像装置１００の構成図である。撮像装置１００は、図１を参照して説明した本実施例の画像処理方法（画像回復処理）を実行することにより、撮影画像から回復画像を生成可能である。

撮像装置１００において、被写体（不図示）は、絞り１０１ａおよびフォーカスレンズ１０１ｂを含む撮像光学系１０１を介して撮像素子１０２に結像する。撮像素子１０２は、撮像光学系１０１を介して形成された被写体像を光電変換して撮影画像を取得する。撮像素子１０２上に結像した被写体像は、電気信号に変換され、Ａ／Ｄコンバータ１０３に出力される。Ａ／Ｄコンバータ１０３は、入力された電気信号（アナログ信号）をデジタル信号に変換し、デジタル信号を画像処理部１０４に出力する。以上の処理により、撮影画像が取得される。

画像処理部１０４（画像処理手段）は、所定の処理と併せて画像回復処理を行う。まず、状態検知部１０７から撮像装置１００の撮影条件（撮影条件情報）を取得する。撮像条件情報は、絞り値、撮影距離、ズームレンズにおける焦点距離などを含む。状態検知部１０７は、システムコントローラ１１０から直接に撮像条件情報を取得可能であり、また、例えば撮像光学系１０１に関する撮像条件情報を撮像光学系制御部１０６から取得することもできる。記憶部１０８（記憶手段）は、撮影条件および撮影画像内の位置に応じて異なる第１の光学伝達関数を記憶している。また記憶部１０８は、２次元のフィルタ値の分布が撮影画像内の位置に関して一定かつ絞り値に応じて異なる画像回復フィルタまたは第２の光学伝達関数を生成するための関数（係数データ）を記憶している。ここで、「撮影画像内の位置に関して一定」の「画像回復フィルタ」を記憶するとは、次のように言い換えられる。記憶部１０８は、第１画素値に対して演算される画像回復フィルタと第２画素値に対して演算される画像回復フィルタとして共通の第３の画像回復フィルタを記憶する。ここで、第１画素値とは被写体像の第１像高に対応する画素値であり、第２画素値とは被写体像の第２像高に対応する画素値であり、第１像高と第２像高は互いに異なる像高である。

画像処理部１０４は、画像取得手段１０４ａ、データ取得手段１０４ｂ、フィルタ生成手段１０４ｃ、および、画像処理手段１０４ｄを備えて構成される。画像取得手段１０４ａ（取得手段）は、撮影画像および撮影画像の撮影条件を取得する。データ取得手段１０４ｂは、絞り値が所定値未満の場合、第１の光学伝達関数を取得する。一方、データ取得手段１０４ｂは、絞り値が所定値以上の場合、画像回復フィルタ、または、第２の光学伝達関数を生成するための関数に基づいて生成された第２の光学伝達関数を取得する。フィルタ生成手段１０４ｃは、データ取得手段１０４ｂで第１の光学伝達関数または第２の光学伝達関数が取得された場合、取得された第１の光学伝達関数または第２の光学伝達関数に基づいて画像回復フィルタを生成する。画像処理手段１０４ｄは、記憶部１０８に記憶された画像回復フィルタ、または、フィルタ生成手段１０４ｃで生成された画像回復フィルタを用いて、撮影画像から回復画像を生成する。なお本実施例において、絞り値が所定値以上の場合には絞り値に応じた画像回復フィルタが選択される。この場合、第２の光学伝達関数を生成する必要はない。

画像処理部１０４で処理された出力画像（回復画像）は、画像記録媒体１０９に所定のフォーマットで記録される。表示部１０５には、本実施例における画像処理後の画像に表示用の所定の処理を行った画像が表示される。または、高速表示のために簡易的な処理を行った画像を表示してもよい。

撮像装置１００における一連の制御はシステムコントローラ１１０により行われる。また、撮像光学系１０１の機械的な駆動は、システムコントローラ１１０の指示に基づいて撮像光学系制御部１０６により行われる。絞り１０１ａは、絞り値（Ｆナンバー）の撮影状態設定として、その開口径が制御される。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うためにオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構（いずれも不図示）により、その位置が制御される。

撮像光学系１０１は、光学ローパスフィルタや赤外線カットフィルタなどの光学素子を含んでもよい。光学ローパスフィルタなどの光学伝達関数（ＯＴＦ）の特性に影響を与える素子を用いる場合、画像回復フィルタを生成する際にその影響を考慮することが好ましい。赤外カットフィルタにおいても、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため画像回復フィルタを生成する際にその影響を考慮することが好ましい。この場合、画像回復フィルタは、更に、光学ローパスフィルタによる第３の光学伝達関数に基づいて生成される。

また、画素開口の形状も光学伝達関数に影響を与えるため、その影響を考慮することがより好ましい。この場合、画像回復フィルタは、更に、画素開口による第４の光学伝達関数に基づいて生成される。絞り値が所定値以上の場合に用いられる画像回復フィルタに関しても、光学ローパスフィルタ、赤外カットフィルタ、画素開口などの要因を考慮して用意することが好ましい。

本実施例において、撮像光学系１０１（レンズ装置）は、撮像装置（撮像装置本体）と一体的に構成されているが、これに限定されるものではない。撮像光学系１０１は、一眼レフカメラなどの撮像装置本体に対して着脱可能に構成された交換レンズであってもよい。

《実施例２》
次に、図７を参照して、本発明の実施例２における画像処理方法について説明する。図７は、本実施例における画像処理方法（画像回復処理）を示すフローチャートである。本実施例の画像処理方法は、画像処理装置または撮像装置の画像処理部により実行される。以下、各ステップを実行するステップの主体の代表として画像処理部を主体として記載するが、画像処理装置と置き換えることができる。なお本実施例において、図７のステップＳ１１〜Ｓ１７は図１を参照して説明した実施例１と同様であるため、それらの説明は省略する。

ステップＳ１３で絞り値が所定値以上と判定された場合、ステップＳ２８において、画像処理部は、撮影条件に適した光学伝達関数（第２の光学伝達関数）を計算して生成する。本実施例において、記憶部１０８に記憶された第２の光学伝達関数を生成するための関数は、絞り値に依存する光学伝達関数の計算式である。

絞り値が所定値以上である場合、画像劣化の要因は回折の影響によるものが支配的である。このため、撮影距離や焦点距離の撮影条件には依存せず、絞り値のみに応じて光学伝達関数（第２の光学伝達関数）を計算すればよい。ここで、回折による光学伝達関数は、絞り値以外に光の波長に依存する。複数の波長での光学伝達関数を計算し、想定する光源の分光や撮像素子の受光感度情報に基づいて、波長ごとの重み付けにより色成分ごとの光学伝達関数を生成することができる。または、所定の色成分ごとの代表波長で計算を行ってもよい。

次に、ステップＳ１５において、画像処理部は、光学伝達関数（第２の光学伝達関数）を用いて画像回復フィルタを生成する。本実施例において、画像回復フィルタは、２次元のフィルタ値の分布が撮影画像内の位置に関して一定であり、かつ、絞り値に応じて異なる。続いてステップＳ１６において、画像処理部は、撮影画像に画像回復フィルタをコンボリューション（畳み込み）することで画像回復処理を行い、回復画像を生成する。そしてステップＳ１７において、画像処理手段は回復画像を出力画像として出力する。

したがって、画像処理装置または撮像装置に予め保持するデータとしては、絞り値が所定値未満の場合の光学伝達関数または光学伝達関数を生成するための係数データとなり、絞り値が所定値以上の光学伝達関数に関するデータが削減される。またステップＳ１６において、絞り値が所定値以上の場合には像高に応じて画像回復フィルタを切り替えることなく、画像全域を同一の画像回復フィルタを用いることができる。

本実施例の撮像装置の構成は、図６を参照して説明した実施例１の撮像装置１００と同様であるため、その説明は省略する。本実施例によれば、撮像装置の記憶部に保持するデータ量が削減されるとともに、絞り値が所定値以上の場合の演算量が削減される。

《実施例３》
次に、図８を参照して、本発明の実施例３における画像処理システムについて説明する。図８は、本実施例における画像処理システム３００の構成図である。なお、本実施例の画像回復処理の処理フロー（画像処理方法）は、図１を参照して説明した実施例１、または、図７を参照して説明した実施例２と同様であるため、その説明は省略する。

図８において、画像処理装置３０１は、本実施例の画像処理方法をコンピュータ（情報処理装置）に実行させるための画像処理ソフトウェア３０６を搭載したコンピュータ機器である。画像処理装置３０１は、図６を参照して説明した画像処理部１０４と同様に、画像取得手段（取得手段）、データ取得手段、フィルタ生成手段、および、画像処理手段を備えている。撮像機器３０２は、カメラ、顕微鏡、内視鏡、または、スキャナなどの撮像装置である。記憶媒体３０３は、半導体メモリ、ハードディスク、または、ネットワーク上のサーバなど、撮影画像を記憶した記憶手段である。

また、本実施例は、以下の処理を実行することによっても実現される。すなわち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワークまたはＣＤ−ＲＯＭなどの各種記憶媒体３０７を介してシステム或いは装置に供給して格納する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵ、ＭＰＵなど）がプログラムを読み出して実行する。

画像処理装置３０１は、撮像機器３０２または記憶媒体３０３から撮影画像データを取得し、所定の画像処理を行った画像データを出力機器３０５、撮像機器３０２、記憶媒体３０３のいずれか一つまたは複数に出力する。また、その出力先を画像処理装置３０１に内蔵された記憶部に保存することもできる。出力機器３０５は、例えばプリンタである。

画像処理装置３０１には、モニタである表示機器３０４が接続されている。このため、ユーザは表示機器３０４を通して画像処理作業を行うとともに、補正された画像を評価することができる。画像処理ソフトウェア３０６は、実施例１または実施例２の画像回復処理（画像処理方法）を行うほか、必要に応じて現像やその他の画像処理を行う。

本実施例において、画像処理を行うためのデータの内容と機器間におけるデータの受け渡し（まとめて「補正情報」という。）については、個々の画像データに付帯させることが好ましい。必要な補正情報を画像データに付帯させることで、本実施例の画像処理装置を搭載した機器であれば、補正処理（画像回復処理）を適切に行うことができる。

上記各実施例によれば、収差が支配的な撮影条件と回折が支配的な撮影条件とを判定し、これに基づいて画像回復処理を変更して行うことができる。このため、各実施例によれば、データ量および演算量を削減しつつ高精度な画像回復処理が可能な撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０１：撮像光学系
１０２：撮像素子
１０４：画像処理部
１０７：状態検知部
１０８：記憶部

Claims (11)

1. 撮影画像から回復画像を生成可能な撮像装置であって、
   撮像光学系を介して形成された被写体像を光電変換して前記撮影画像を取得する撮像素子と、
   撮影条件および撮影画像内の位置に応じて異なる第１の光学伝達関数と、２次元のフィルタ値の分布が該撮影画像内の位置に関して一定かつ絞り値に応じて異なる画像回復フィルタまたは第２の光学伝達関数を生成するための関数を記憶する記憶手段と、
   前記絞り値が所定値未満の場合に前記第１の光学伝達関数を取得し、該絞り値が所定値以上の場合に前記画像回復フィルタまたは前記第２の光学伝達関数を生成するための前記関数に基づいて生成された該第２の光学伝達関数を取得するデータ取得手段と、
   前記データ取得手段により前記第１の光学伝達関数または前記第２の光学伝達関数が取得された場合、取得された該第１の光学伝達関数または該第２の光学伝達関数に基づいて画像回復フィルタを生成するフィルタ生成手段と、
   前記記憶手段に記憶された前記画像回復フィルタまたは前記フィルタ生成手段で生成された前記画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成する画像処理手段と、を有することを特徴とする撮像装置。
2. 前記記憶手段に記憶された前記第２の光学伝達関数を生成するための前記関数は、前記絞り値に依存する光学伝達関数の計算式であることを特徴とする請求項１に記載の撮像装置。
3. 前記画像回復フィルタは、更に、光学ローパスフィルタによる第３の光学伝達関数に基づいて生成されることを特徴とする請求項１または２に記載の撮像装置。
4. 前記画像回復フィルタは、更に、画素開口による第４の光学伝達関数に基づいて生成されることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記画像回復フィルタのタップ数をＴ、前記撮像素子の画素ピッチをｐ、前記絞り値をＦとするとき、
   前記画像回復フィルタは、
   １＜Ｔ・ｐ／（０．００１６・Ｆ）＜６
   を満足することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記絞り値をＦ、前記撮像素子の画素ピッチをｐ、可視光の波長帯域のうちの所定の波長をλとするとき、
   前記絞り値の前記所定値は、
   Ｆ＝ｐ／λ
   を満たすことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記撮影条件は、撮影距離および焦点距離を含むことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 撮影画像から回復画像を生成可能な画像処理装置であって、
   前記撮影画像および該撮影画像の撮影条件を取得する取得手段と、
   前記撮影条件および撮影画像内の位置に応じて異なる第１の光学伝達関数と、２次元のフィルタ値の分布が該撮影画像内の位置に関して一定かつ絞り値に応じて異なる画像回復フィルタまたは第２の光学伝達関数を生成するための関数を記憶する記憶手段と、
   前記絞り値が所定値未満の場合に前記第１の光学伝達関数を取得し、該絞り値が所定値以上の場合に前記画像回復フィルタまたは前記第２の光学伝達関数を生成するための前記関数に基づいて生成された該第２の光学伝達関数を取得するデータ取得手段と、
   前記データ取得手段により前記第１の光学伝達関数または前記第２の光学伝達関数が取得された場合、取得された該第１の光学伝達関数または該第２の光学伝達関数に基づいて画像回復フィルタを生成するフィルタ生成手段と、
   前記記憶手段に記憶された前記画像回復フィルタまたは前記フィルタ生成手段で生成された前記画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成する画像処理手段と、を有することを特徴とする画像処理装置。
9. 撮影画像から回復画像を生成する画像処理方法であって、
   前記撮影画像および該撮影画像の撮影条件を取得するステップと、
   前記撮影条件のうち絞り値が所定値未満の場合に用いられる、前記撮影条件および撮影画像内の位置に応じて異なる第１の光学伝達関数と、該絞り値が所定値以上の場合に用いられる、２次元のフィルタ値の分布が該撮影画像内の位置に関して一定かつ該絞り値に応じて異なる画像回復フィルタまたは第２の光学伝達関数を生成するための関数を記憶する記憶手段から、前記第１の光学伝達関数を取得するステップと、
   前記絞り値が所定値以上の場合、前記記憶手段から、前記画像回復フィルタまたは前記第２の光学伝達関数を生成するための前記関数に基づいて生成された該第２の光学伝達関数を取得するステップと、
   データ取得手段により前記第１の光学伝達関数または前記第２の光学伝達関数が取得された場合、取得された該第１の光学伝達関数または該第２の光学伝達関数に基づいて画像回復フィルタを生成するステップと、
   前記記憶手段に記憶された前記画像回復フィルタまたはフィルタ生成手段で生成された前記画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成するステップと、を有することを特徴とする画像処理方法。
10. 撮影画像から回復画像を生成する画像処理プログラムであって、
    前記撮影画像および該撮影画像の撮影条件を取得するステップと、
    前記撮影条件のうち絞り値が所定値未満の場合に用いられる、前記撮影条件および撮影画像内の位置に応じて異なる第１の光学伝達関数と、該絞り値が所定値以上の場合に用いられる、２次元のフィルタ値の分布が該撮影画像内の位置に関して一定かつ該絞り値に応じて異なる画像回復フィルタまたは第２の光学伝達関数を生成するための関数を記憶する記憶手段から、前記第１の光学伝達関数を取得するステップと、
    前記絞り値が前記所定値以上の場合、前記記憶手段から、前記画像回復フィルタまたは前記第２の光学伝達関数を生成するための前記関数に基づいて生成された該第２の光学伝達関数を取得するステップと、
    データ取得手段により前記第１の光学伝達関数または前記第２の光学伝達関数が取得された場合、取得された該第１の光学伝達関数または該第２の光学伝達関数に基づいて画像回復フィルタを生成するステップと、
    前記記憶手段に記憶された前記画像回復フィルタまたはフィルタ生成手段で生成された前記画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成するステップと、を情報処理装置に実行させるように構成されていることを特徴とする画像処理プログラム。
11. 請求項１０に記載の画像処理プログラムを格納していることを特徴とする記憶媒体。

Images