JP2012128301A - 焦点調節方法、焦点調節プログラムおよび撮像装置 - Google Patents

Abstract

【課題】半透過反射素子により発生する非点収差を画像処理によって補正することで、コントラストＡＦによる高精度なピント合わせを可能とする。
【解決手段】撮像装置は、撮影光学系１０１の光軸に対して傾いて配置された半透過反射素子１１１と、半透過反射素子の透過光により形成された光学像を光電変換する光電変換素子１０２とを有する。撮像装置は、光電変換素子の出力を用いて評価画像を生成する画像生成部１０４と、評価画像からコントラスト評価信号を生成する評価信号生成部１０４と、フォーカス素子１０１ｂを移動させてコントラスト評価信号値が合焦状態に対応する値となる位置にフォーカス素子を移動させる焦点調節部１１０とを有する。画像生成部は、光電変換素子の出力から生成された画像に対して、半透過反射素子の光学伝達関数に基づいて画像回復処理を行うことにより評価画像を生成する。
【選択図】図１

Description

本発明は、ペリクルミラー等の半透過反射素子と、該半透過反射素子を透過した光により形成された光学像を光電変換する光電変換素子とを用いて、撮影光学系の焦点調節を行う方法、コンピュータプログラムおよび撮像装置に関する。

一眼レフカメラには、撮影光学系の光軸に対して斜めに配置した半透過反射素子により撮影光学系からの光の一部を光学ファインダに向けて反射する一方、他の一部をＣＣＤセンサ等の撮像素子（光電変換素子）に向けて透過させるものがある。特許文献１には、半透過反射素子としてのペリクルミラーを用いたカメラが開示されている。

このようなカメラでは、半透過反射素子を透過した光により形成される被写体像を光電変換する撮像素子の出力から生成された画像のコントラスト状態を示すコントラスト評価信号を用いた、いわゆるコントラスト検出方式のオートフォーカスを行うことができる。コントラスト検出方式のオートフォーカス（以下、コントラストＡＦという）では、撮影光学系に含まれるフォーカス素子（フォーカスレンズ）の移動に伴って変化するコントラスト評価信号の値が最大となる位置を合焦状態と判定する。

ただし、撮影光学系の光軸に対して斜めに配置された半透過反射素子を透過する光は、その透過面（入射面と射出面）において屈折作用を受けるため、アジムス方向によって光路長が変化し、光軸上でも非点収差が発生する。このため、アジムス方向（垂直方向と水平方向）によってコントラスト評価信号の値が最も高くなる結像位置が異なり、この影響によってコントラストＡＦの性能が低下する。

特許文献２には、ペリクルミラーの撮像素子側の透過面を、垂直面方向と水平面方向とで異なる曲率を有するトロイダル面によって形成することで、非点収差を補正して、結像位置を補正するカメラ（カメラ付き望遠鏡）が開示されている。

特開平８−２５４７５１号公報 特開２００４−３３３７１２号公報

しかしながら、特許文献２にて開示されたカメラでは、ペリクルミラー上に回転非対称面であるトロイダル面を形成するために、ペリクルミラーの製造が困難であり、コストアップの要因となる。また、特許文献２では、望遠レンズを有する望遠鏡を前提としている。このため、像高によるペリクルミラーへの光の入射角度の変化は小さく、トロイダル面によって非点収差を良好に補正することは可能であるが、この技術を、像高によって光の入射角度が大きく変化する広角レンズに適用しても、十分な補正を行うことができない。

本発明は、ペリクルミラー等の半透過反射素子により発生する非点収差を画像処理によって補正することで、コントラストＡＦによる高精度なピント合わせを行うことができるようにした焦点調節方法、焦点調節プログラムおよび撮像装置を提供する。

本発明の一側面としての焦点調節方法は、入射面および射出面のうち少なくとも一方が撮影光学系の光軸に対して傾いて配置され、該撮影光学系に入射した光の一部を透過して他の一部を反射する半透過反射素子と、該半透過反射素子を透過した光によって形成された光学像を光電変換する光電変換素子とを有する撮像装置に適用される。該焦点調節方法は、光電変換素子の出力を用いて評価画像を生成する画像生成ステップと、該評価画像のコントラスト状態を示すコントラスト評価信号を生成するステップと、撮影光学系に含まれるフォーカス素子を移動させてコントラスト評価信号の値が撮影光学系の合焦状態に対応する値となる位置にフォーカス素子を移動させるステップとを有する。そして、画像生成ステップにおいて、光電変換素子の出力から生成された画像に対して、半透過反射素子の光学伝達関数に基づいて作成された画像回復フィルタを用いた画像回復処理を行うことにより評価画像を生成することを特徴とする。

また、本発明の他の一側面としての焦点調節プログラムは、入射面および射出面のうち少なくとも一方が撮影光学系の光軸に対して傾いて配置され、該撮影光学系に入射した光の一部を透過して他の一部を反射する半透過反射素子と、該半透過反射素子を透過した光によって形成された光学像を光電変換する光電変換素子とを有する撮像装置に設けられたコンピュータに、光電変換素子の出力を用いて評価画像を生成する画像生成ステップと、該評価画像のコントラスト状態を示すコントラスト評価信号を生成するステップと、撮影光学系に含まれるフォーカス素子を移動させてコントラスト評価信号の値が撮影光学系の合焦状態に対応する値となる位置にフォーカス素子を移動させるステップとを含む動作を実行させる。そして、画像生成ステップにおいて、光電変換素子の出力から生成された画像に対して、半透過反射素子の光学伝達関数に基づいて作成された画像回復フィルタを用いた画像回復処理を行うことにより評価画像を生成することを特徴とする。

さらに、本発明の他の一側面としての撮像装置は、入射面および射出面のうち少なくとも一方が撮影光学系の光軸に対して傾いて配置され、該撮影光学系に入射した光の一部を透過して他の一部を反射する半透過反射素子と、該半透過反射素子を透過した光によって形成された光学像を光電変換する光電変換素子とを有する。該撮像装置は、光電変換素子の出力を用いて評価画像を生成する画像生成部と、該評価画像のコントラスト状態を示すコントラスト評価信号を生成する評価信号生成部と、撮影光学系に含まれるフォーカス素子を移動させてコントラスト評価信号の値が撮影光学系の合焦状態に対応する値となる位置にフォーカス素子を移動させる焦点調節部とを有する。そして、画像生成部は、光電変換素子の出力から生成された画像に対して、半透過反射素子の光学伝達関数に基づいて作成された画像回復フィルタを用いた画像回復処理を行うことにより評価画像を生成することを特徴とする。

本発明では、半透過反射素子にて発生した非点収差による結像位置のずれを含む画像に対して、該半透過反射素子の光学伝達関数に基づいて作成された画像回復フィルタを用いた画像回復処理を行うことにより、該ずれが良好に補正された評価画像を生成する。そして、この評価画像を用いてコントラストＡＦを行う。これにより、半透過反射素子に複雑な形状の面を形成する等、半透過反射素子の製造を困難にすることなく、コントラストＡＦによる高精度なピント合わせを可能とする。

本発明の実施例１である撮像装置の構成を示すブロック図。 半透過反射素子により発生する非点収差を説明する図。 実施例１の撮像装置において行われる画像処理を説明するフローチャート。 上記画像処理にて用いられる画像回復フィルタを説明する図。 上記画像回復フィルタのセル値を示す図。 実施例１の撮像装置において半透過反射素子が撮影光路に対して出入りする方式を示す図。 実施例１の撮像装置において半透過反射素子が撮影光路に対して出入りする他の方式を示す図。 本発明の実施例３である撮像装置の構成を示すブロック図。 アジムス方向とＰＳＦの対称性を説明する図。 ウィナーフィルタと実施例で用いられる画像回復フィルタを説明する図。

以下、本発明の実施例について図面を参照しながら説明する。

はじめに、具体的な実施例の説明に先立って、本発明の実施例において行われる画像回復処理について説明する。ここでは、光学系を通した撮像により劣化した（ぼけた）画像を、該光学系の光学伝達関数に基づいて作成された画像回復フィルタを用いて電子的に補正する画像処理を画像回復処理と呼ぶ。

画像の劣化（ぼけ）の要因として、光学系の球面収差、コマ収差、像面湾曲、非点収差、色収差等が挙げられる。この光学系に、該光学系の光軸に対して斜めに配置されたペリクルミラー等の半透過反射素子が含まれている場合、該半透過反射素子で発生する非点収差もこの１つである。このような画像の劣化は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。ここにいう画像のぼけは、光学的には点像分布関数（ＰＳＦ：Point Spread Function）により表され、ピントのずれによるぼけとは異なる。

また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。また、横方向の色ずれも、撮像光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれ又は位相ずれと言うことができる。

点像分布関数（ＰＳＦ）をフーリエ変換して得られる光学伝達関数（ＯＴＦ：Optical Transfer Function）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数（ＯＴＦ）の絶対値、すなわち振幅成分をＭＴＦ（Modulation Transfer Function）といい、位相成分をＰＴＦ（Phase Transfer Function）という。実施例では、特に断りがない限り、振幅成分と位相成分は、これらのＭＴＦとＰＴＦを指す。

位相成分としてのＰＴＦを、位相角として以下の式で表す。Ｒｅ（ＯＴＦ）とＩｍ（ＯＴＦ）はそれぞれ、ＯＴＦの実部と虚部を表す。

ＰＴＦ＝ｔａｎ^-1（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
このように、光学系の光学伝達関数は画像の振幅成分と位相成分を劣化させるため、劣化画像は特にその周辺部ほど被写体の各点がコマ収差のように非対称にぼけた状態になる。

そして、画像回復処理は概略的には以下のような画像処理である。劣化画像（入力画像）をｇ（ｘ，ｙ）とし、劣化していない元の画像（理想画像）をｆ（ｘ，ｙ）とする。また、光学伝達関数のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とする。このとき、以下の式が成り立つ。＊はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示す。

ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
上記式をフーリエ変換により２次元周波数面での表示形式に変換すると、以下の式のように、周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）をフーリエ変換したものであり、光学伝達関数（ＯＴＦ）である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
劣化画像から理想画像を得るためには、以下のように、両辺をＨで除算すればよい。

Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、理想画像ｆ（ｘ，ｙ）に相当する回復画像が得られる。

ここで、Ｈ^−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に理想画像を得ることができる。

ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
Ｒ（ｘ，ｙ）を、画像回復フィルタという。画像が２次元画像であるとき、通常は画像回復フィルタも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、一般に、画像回復フィルタのタップ数が多いほど回復精度が向上する。画像回復フィルタは、少なくとも収差の特性を反映している必要があるため、従来の水平／垂直方向においてそれぞれ３タップや５タップ程度のエッジ強調フィルタ（ハイパスフィルタ）とは一線を隔する。画像回復フィルタは光学伝達関数に基づいて作成されるため、収差の振幅成分および位相成分の劣化をともに高精度に補正することができる。

ただし、実際の画像にはノイズ成分があるため、光学伝達関数の完全な逆数をとって作成された画像回復フィルタを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して撮影光学系のＭＴＦ（振幅成分）を全周波数にわたって１に戻すようにＭＴＦを持ち上げるためである。

撮影光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合（回復ゲイン）に応じてノイズが増幅されてしまう。したがって、ノイズがある場合には、鑑賞用画像として良好な画像は得られない。

このことは以下の式で表すことができる。Ｎはノイズ成分である。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ）
この点については、例えば、以下の式（１）に示すウィナーフィルタ（Wiener filter）のように画像信号とノイズ信号の強度比（ＳＮＲ）に応じて回復度合を制御する方法が知られている。

Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性であり、｜Ｈ（ｕ，ｖ）｜は光学伝達関数（ＯＴＦ）の絶対値（ＭＴＦ）である。

この方法は、周波数ごとに、ＭＴＦが低いほどＳＮＲの項の影響が大きくなって回復ゲインが抑制され、ＭＴＦが高いほど回復ゲインを強くするものである。一般に、撮影光学系のＭＴＦは低周波側が高く、高周波側が低くなるため、実質的に画像の高周波側の回復ゲインを抑制する方法となっている。

さらに、より好ましくは、実施例で用いられる画像回復フィルタは、以下に説明するように、上述した従来のウィナーフィルタよりも高精度に非点収差を補正可能なものであるとよい。

すなわち、実施例で用いられる画像回復フィルタは、従来のウィナーフィルタに代表される画像回復フィルタとは異なり、収差の非対称性を補正する機能を有する。ここでは、実施例で用いられる画像回復フィルタの作成方法を説明する前に、従来の画像回復フィルタであるウィナーフィルタの作成方法について説明する。

画像回復フィルタである式（１）に光学伝達関数Ｈ（ｕ，ｖ）を乗じて回復後の周波数特性を考えると、右辺にはＯＴＦに関して、ＭＴＦである｜Ｈ（ｕ，ｖ）｜しか残らないため、位相は補正された状態になっている。これは、例えば図９（ａ）に示すＰＳＦようなコマ収差の場合に、アジムス方向ごとに対称となり、図９（ｂ）に示す状態になることを意味している。図９（ｂ）に示す状態では、位相が補正されてもアジムス方向ごとのＭＴＦが異なるために、回転非対称なＰＳＦとなっている。ここで、図９中のｘ１，ｘ２は、像面上のＰＳＦの位置での座標軸を示しており、θはアジムス方向を示している。
これをＭＴＦの周波数特性で表したものが図１０（Ａ）であり、この図中の（ａ），（ｂ）は回復前のメリジオナル方向とサジタル方向のＭＴＦである。ウィナーフィルタを用いて画像回復処理を行った場合、各アジムス方向のＭＴＦは向上するものの、（ｃ），（ｄ）に示すようにアジムス方向間の差異は補正されない。

次に、非対称収差を補正する機能を有する実施例で用いられる画像回復フィルタについて説明する。上記のように回復後のＯＴＦのアジムス特性は、｜Ｈ（ｕ，ｖ）｜のアジムス特性に依存している。このため、アジムス方向間で共通なＯＴＦ（ｒＨ（ｕ，ｖ））を用いた式（２）のようにすることで、あたかもアジムス方向間にてＭＴＦの差がない撮影光学系を通した撮像により得られたような画像を得ることができる。

これを図１０（Ｂ）を用いて説明する。回復前のＭＴＦは、図１０（Ｂ）中の（ａ），（ｂ）に示すように、アジムス方向ごとに異なっている。しかし、回復後は（ｃ），（ｄ）に示すように、アジムス方向間でＭＴＦが揃っている。このように、実施例で用いる画像回復フィルタによって非対称収差の原因であるアジムス依存性を補正することが可能である。この状態のＰＳＦは、図９（ｃ）に示すように、回転対称になる。

また、式（２）では、アジムス方向間で共通なＯＴＦ（ｒＨ（ｕ，ｖ））を用いた。しかし、アジムス方向ごとのＭＴＦ（ＯＴＦの絶対値成分）の差が、画像回復処理前のＭＴＦの差よりも減少するように補正されたＯＴＦ（補正光学伝達関数）を用いることで非対称収差の補正量を制御することができる。この場合の画像回復処理後のＭＴＦを図１０（Ｃ）に示す。図１０（Ｃ）中の（ｃ），（ｄ）に示すようにＭＴＦが完全に一致しなくとも、図１０（Ａ）中の（ｃ），（ｄ）に対してアジムス方向間でのＭＴＦの差が減少し、非対称収差が低減されることになる。

以下に示す各実施例では、上記ウィナーフィルタやアジムス方向間でのＭＴＦの差を画像回復処理前よりも減少させるように補正されたＯＴＦに基づいて作成された画像回復フィルタを適宜用いることができる。ただし、後者の画像回復フィルタを用いることで、半透過反射素子で発生する非点収差をより高精度に補正することができる。

図１には、本発明の実施例である焦点調節方法を用いる撮像装置の構成例を示している。不図示の被写体から撮影光学系１０１に入射した光の一部は、半透過反射素子であるペリクルミラー１１１で反射して、光学ファインダの一部を構成する焦点板１１２に向かい、焦点板１１２上に被写体像（光学像）を形成する。この被写体像は、焦点板１１２とともに光学ファインダを構成するファインダ光学系１１３を通して撮影者により観察される。

また、撮影光学系１０１に入射した光の他の一部は、ペリクルミラー１１１を透過して撮像素子（光電変換素子）１０２に向かい、撮像素子１０２上に被写体像を形成する。撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサ等により構成され、被写体像を光電変換する。

ペリクルミラー１１１は、撮影光学系１０１の光軸に対して斜め４５度に傾いた入射面および射出面を有する。光軸に対するペリクルミラー１１１の傾き角度をより大きく（光軸に対して垂直に近づける）ことで、撮影光学系１０１から撮像素子１０２までの距離（バックフォーカス）を短くしてもよい。また、本実施例では、半透過反射素子としてペリクルミラーを用いるが、ペリクルミラー以外の素子、例えば硝子基板上に半透過薄膜を形成した素子を用いてもよい。半透過反射素子の基板を厚くすることで、該半透過反射素子の面精度を向上させることはできる一方、透過光の非点収差が増大するため、本実施例の後述する画像回復処理を用いたコントラストＡＦによって、より顕著な効果が得られる。

さらに、本実施例では、入射面および射出面の双方が撮影光学系の光軸に対して傾いた半透過反射素子を用いているが、入射面および射出面のうち少なくとも一方が撮影光学系の光軸に対して傾いた半透過反射素子を用いてもよい。

撮像光学系１０１は、絞り１０１ａとフォーカスレンズ（フォーカス素子）１０１ｂを含む。絞り１０１ａは、その開口径が変更されることで撮像光学系１０１のＦナンバーを可変設定する。フォーカスレンズ１０１ｂは、光軸方向に移動することで、撮像光学系１０１の被写体に対するピント合わせを行う。絞り１０１ａとフォーカスレンズ１０１ｂの動作は、システムコントローラ１１０からの指示を受けた撮像光学系制御部１０６により制御される。

被写体像を光電変換した撮像素子１０２から出力されたアナログ撮像信号は、Ａ／Ｄ変換器１０３でデジタル撮像信号に変換され、該デジタル撮像信号は画像処理部１０４に入力される。画像処理部１０４は、デジタル撮像信号に対して各種画像処理を行うことで、画像を生成する。生成された画像は、出力画像として表示部１０５に表示されたり、半導体メモリ等の画像記録媒体１０９に記録されたりする。

また、画像処理部１０４は、デジタル撮像信号から生成した画像に対して画像回復処理を行うことで、フォーカス評価のための評価画像を生成する。そして、画像処理部１０４は、評価画像のコントラスト状態を示すコントラスト評価信号を生成する。システムコントローラ１１０は、コントラスト評価信号の値が最大値（合焦状態に対応する値）となる位置（フォーカス位置）を合焦フォーカス位置として決定し、該合焦フォーカス位置にフォーカスレンズ１０１ｂを移動させる。このようにコントラスト評価信号を用いたオートフォーカス（ＡＦ）を、コントラストＡＦという。以下の説明において、コントラスト評価信号の値を、コントラスト評価値という。

ペリクルミラー１１１を透過することで屈折作用を受けて非点収差を持った光により形成された被写体像が光電変換された画像（劣化画像）をコントラストＡＦに用いると、アジムス方向によってコントラスト評価値が最大となるフォーカス位置が異なる。この結果、合焦精度が低下する。このため、本実施例では、劣化画像に対して画像回復処理を行って評価画像を生成し、該評価画像を用いてコントラストＡＦを行う。なお、劣化画像をそのまま撮影画像として出力すると、各点が非対称にぼけた撮影画像が得られてしまうので、このような非対称のぼけが補正された評価画像を撮影画像として出力してもよい。画像処理部１０４での具体的な処理の内容については後述する。

なお、撮像光学系１０１は、撮像装置と一体に設けられていてもよいし、撮像装置に対して交換可能に設けられていてもよい。また、撮像光学系として、レンズ以外の光学素子、例えば、曲率を有するミラー（反射面）を用いることもできる。

図２には、被写体の一点から発せられた光束が撮像光学系１０１を通過して撮像素子１０２上にスポットを形成する際のスポットの形状と、該スポットの形状により得られるコントラスト評価値とを示している。ここでは、撮像光学系１０１に入射する光束の断面が円形である場合を示している。

図２（ａ），（ｂ）はそれぞれ、撮像光学系１０１からの光路内にペリクルミラー１１１が配置されていない場合における撮像素子１０２に到達する光束とスポットの形状とを示している。また、図２（ｃ）はこの場合におけるフォーカス位置Ｆに応じたコントラスト評価値Ｃを示している。図２（ｄ），（ｅ）はそれぞれ、撮像光学系１０１からの光路内にペリクルミラー１１１が配置されている場合における撮像素子１０２に到達する光束とスポットの形状とを示している。また、図２（ｆ）はこの場合におけるフォーカス位置Ｆに応じたコントラスト評価値Ｃを示している。

光路内にペリクルミラー１１１が配置されていない図２（ｂ）では、スポット形状は円形であり、図２（ｃ）に示すようにコントラスト評価値はアジムス方向間で差はない。

しかし、光路内にペリクルミラー１１１が配置された図２（ｅ）では、スポット形状は、ペリクルミラー１１１での屈折により発生した非点収差によって非対称な形状となっている。そして、この場合、図２（ｆ）に示すようにコントラスト評価値には、アジムス方向間で差が生じる。図２（ｆ）中の実線の山と破線の山は、互いに異なるアジムス方向でのコントラスト評価値を示している。そして、このようにアジムス方向によってコントラスト評価値が異なることにより、それぞれのコントラスト評価値により得られる合焦フォーカス位置がずれる。

図２（ｅ）に示すスポット形状は、点像分布関数（ＰＳＦ）と等価である。よって、図２（ｂ）のスポット形状が図２（ｅ）のスポット形状に劣化する原因は、ペリクルミラー１１１を光が透過するときの光学伝達関数として表すことができる。

以下、ペリクルミラー１１１を光が透過することにより発生した画像上の非点収差成分を補正するために、図１に示した画像処理部１０４が行う処理について、図３を用いて説明する。図３中の黒丸印はそれが画像（又は画像を構成する画素データ）であることを示す。画像処理部１０４は、画像生成部および評価信号生成部として機能する。また、画像処理部１０４の動作は、システムコントローラ１１０によって制御される。撮像装置に設けられたコンピュータとしてのシステムコントローラ１１０は、コンピュータプログラムである焦点調節プログラムに従って画像処理部１０４の動作を制御しながらコントラストＡＦを行う。

まず、画像処理部１０４は、図１に示す状態検知部１０７から、撮像状態を示す情報（撮像状態情報）を取得する。ここにいう撮像状態は、絞り１０１ａの開口径（Ｆナンバー）、撮影距離（被写体距離）、撮影光学系１０１の焦点距離（撮影光学系１０１がズームレンズである場合）等を含む。状態検知部１０７は、システムコントローラ１１０から撮像状態情報を得てもよいし、撮像光学系制御部１０６から得てもよい。

次に、画像処理部１０４は、画像回復フィルタ取得工程において、撮像状態に応じた画像回復フィルタを記憶部１０８から選択する。さらに、画像処理部１０４は、画像取得工程において、デジタル撮像信号から生成した画像（劣化画像）のうち、撮影画面内に設定された部分領域であるＡＦ領域（焦点検出領域）内の部分画像を入力画像として取得する。そして、画像処理部１０４は、画像回復工程（画像生成ステップ）において、該入力画像に対して画像回復処理を実行する。

ここで、画像回復フィルタとしては、撮像状態に応じて記憶部１０８から選択したものをそのまま用いてもよいし、予め用意した画像回復フィルタをより撮像状態に適したフィルタに補正して用いてもよい。画像回復フィルタの補正処理は、２次元フィルタ同士の対応タップ（セル）の係数値を線形補間、多項式補間又はスプライン補間等を用いて補間するように行えばよい。

図４および図５にはそれぞれ、２次元フィルタとしての画像回復フィルタと、該画像回復フィルタの１つの断面での各タップ（セル）の係数値を示している。画像回復フィルタのタップ数は、ペリクルミラー１１１により発生した収差の広がりや要求される回復精度に応じて決められるが、図４では、例としての１１×１１タップを有する画像回復フィルタを示している。それぞれのタップには係数値が設定されており、画像回復フィルタは、それらの係数値が分布したマトリックスデータとして構成されている。

そして、画像回復工程では、このような係数値分布を有する画像回復フィルタを用いて、劣化画像に対するコンボリューション（畳み込み積分または積和）処理を行う。これにより、ペリクルミラー１１１にて発生した非点収差により空間的に広がった劣化画像の画素値（画素の信号値）を、ペリクルミラー１１１がないとした場合の理想状態に戻すことができる。

コンボリューション処理では、劣化画像におけるある画素値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、劣化画像と画像回復フィルタの対応画素ごとに画素値と画像回復フィルタの係数値との積をとり、その総和を中心画素の画素値として置き換える。

なお、画像回復フィルタの縦横のタップ数は必ずしも同じである必要はなく、縦横のタップ数が異なる画像回復フィルタを用いてもよい。

画像回復フィルタは、ペリクルミラー１１１の光学伝達関数に基づいて作成されるが、ペリクルミラー１１１の光学伝達関数は、コンピュータを用いた光学設計ツールや光学解析ツールを用いて計算により求められる。また、実際に計測した光学伝達関数に基づいて画像回復フィルタを作成してもよい。

画像回復フィルタは、例えば、式（１）や式（２）に示すように、光学伝達関数の逆関数に基づいた関数を逆フーリエ変換して得ることができる。このような実空間での画像回復フィルタを用いて、画像に対してコンボリューション処理を行うことで、画像回復処理にて画像のフーリエ変換や逆フーリエ変換を行う必要をなくすることができる。ただし、画像に対して画像回復フィルタを用いたコンボリューション処理を行うことは、それぞれのフーリエ変換の積をとることと等価であるため、周波数空間で画像回復処理を行うことも可能である。

ペリクルミラー１１１を光が透過することにより発生する非点収差は、撮影光学系１０１の絞り１０１ａによって制御されるＦナンバーに応じて変化する。また、非点収差の状態は、像高に応じたケラレ（口径食）の程度やペリクルミラー１１１への光の入射角度によって変化し、さらには、撮影距離や撮影光学系１０１の焦点距離の変化によっても変化する。したがって、撮影状態に応じて最適な画像回復フィルタを用いることが好ましい。この点は、像高によらず画像全体に一定の鮮鋭化を行うエッジ強調フィルタ処理とは異なる。

また、画像処理部１０４は、演算部と一時的記憶部（バッファー）とを有し、上述した画像処理の工程ごとに必要に応じて一時的記憶部に対して画像の書き込み（記憶）および読み出しを行う。なお、一時的記憶部の機能を、画像処理部１０４の外に設けられた記憶部１０８に持たせてもよい。

そして、図３において、画像処理部１０４は、画像回復処理を行うことでペリクルミラー１１１により発生した非点収差成分を補正した補正画像（回復画像）を評価画像として用いて、コントラスト評価値を算出する。補正画像を評価画像として用いることにより、図２（ｃ）に示したようなアジムス方向間でずれのないコントラスト評価値が得られる。

画像処理部１０４は、上述した画像取得工程、画像回復工程およびコントラスト評価値の算出工程を、フォーカスレンズ１０１ｂを所定量ずつ移動させながら複数回繰り返す。

焦点調節部としてのシステムコントローラ１１０は、複数のフォーカス位置のそれぞれにおいて算出されたコントラスト評価値のうち最大値を有するコントラスト評価値が得られたフォーカス位置を合焦フォーカス位置として決定する。そして、システムコントローラ１１０は、決定した合焦フォーカス位置にフォーカスレンズ１０１ｂを移動させる。これにより、撮影光学系１０１の合焦状態が得られる。

上記の方法で撮影光学系１０１の合焦状態を得た後、システムコントローラ１１０は、被写体の撮影を行って、画像処理部１０４により生成された入力撮影画像を得る。この入力撮影画像もペリクルミラー１１１を介した撮像により生成されるため、非点収差によって劣化している。このため、本実施例では、上述した画像回復処理を入力撮影画像に対しても行う。

すなわち、まず画像処理部１０４は、画像取得工程において、撮影画面全体に相当する入力撮影画像を取得する。次に、画像回復フィルタ取得工程において、撮像状態に応じた画像回復フィルタを記憶部１０８から選択する（又はこれを補正する）。そして、画像処理部１０４は、画像回復工程において、画像回復フィルタを用いて入力撮影画像に対する画像回復処理を実行するとともに、その他必要な処理を実行して、非点収差によるぼけが低減された高画質の出力撮影画像を得る。

なお、図６に示すように、ペリクルミラー１１１を、撮影光学系１０１からの光路内に配置される光路内位置（第１の位置）と該光路から退避する退避位置（第２の位置）との間で軸部１１１ａ回りで回動可能（移動可能）としてもよい。そして、ペリクルミラー１１１を光路内位置に配置してコントラストＡＦを行った後、ペリクルミラー１１１を退避位置に回動させて撮影を行うようにしてもよい。

この場合、コントラストＡＦを行う際にはペリクルミラー１１１による非点収差成分を補正するための画像回復処理を行うが、撮影画像にはペリクルミラー１１１による非点収差成分は含まれないので、非点収差成分を補正するための画像回復処理は行わない。すなわち、ペリクルミラー１１１が光路内位置にあるときと退避位置にあるときとで、画像回復処理を行うか否かを切り替える。このことは、後述する実施例２でも同じである。

なお、ペリクルミラー１１１を光路内から退避させる方式は図６に示した回動方式に限られず、例えば図７（ａ），（ｂ）に示すように、ペリクルミラー１１１が撮像素子１０２の辺が延びる方向に平行移動するスライド方式を採用してもよい。このことも、後述する実施例２でも同じである。

本発明の実施例２について説明する。実施例１では、ペリクルミラー１１１のみの光学伝達関数に基づいて画像回復フィルタを作成する場合について説明しが、画像回復フィルタを、ペリクルミラー１１１だけでなく撮影光学系１０１の光学伝達関数も考慮して作成してもよい。本実施例の焦点調節方法を適用する撮像装置の構成は、実施例１にて図１を用いて説明したものと同じである。

本実施例では、画像処理部１０４は、状態検知部１０７から撮像状態情報を取得する。そして、画像処理部１０４は、画像回復フィルタ取得工程において、撮像状態に応じた画像回復フィルタを記憶部１０８から選択する。続いて、画像処理部１０４は、画像取得工程において、画像処理部１０４により生成されたＡＦ領域内の入力画像（劣化画像）を取得し、さらに画像回復工程において該入力画像に対して該画像回復フィルタを用いた画像回復処理を行う。

本実施例でも、画像回復フィルタは撮像状態に応じて記憶部１０８から選択したものをそのまま用いてもよいし、予め用意した画像回復フィルタをより撮像状態に適したフィルタに補正して用いてもよい。

本実施例では、画像回復フィルタを、撮像光学系１０１とペリクルミラー１１１を含めたトータルの光学系の光学伝達関数に基づいて作成する。これにより、該トータルの光学系によって発生する収差の広がりや要求される回復精度に応じたタップ数や係数値を有する画像回復フィルタが作成される。

先に説明したように、撮影光学系１０１によるぼけ（劣化）の発生要因として、球面収差、コマ収差、像面湾曲、非点収差、色収差等が挙げられる。これら撮影光学系１０１の収差も当然ながら光学伝達関数で表現でき、ペリクルミラー１１１の光学伝達関数と合成することが可能である。具体的には、撮影光学系１０１における最も物体側の入射面からペリクルミラー１１１の射出面までのトータルの光学系の光学伝達関数を計算や計測によって求めることが可能である。

また、撮影光学系１０１とペリクルミラー１１１のそれぞれの光学伝達関数を周波数空間で周波数ごとに乗算することで、トータルの光学系の光学伝達関数として求めることも可能である。

なお、撮影光学系１０１およびペリクルミラー１１１以外に、複屈折を有する光学ローパスフィルタ等、光学伝達関数に影響を与える光学素子が存在する場合には、これを含めた光学伝達関数に基づいて画像回復フィルタを作成してもよい。さらに、撮像素子１０２の画素開口の形状や開口率や画素ごとに設けられるカラーフィルタ等も考慮した光学伝達関数に基づいて画像回復フィルタを作成してもよい。

本実施例では、撮影光学系１０１とペリクルミラー１１１を含めたトータルの光学伝達関数を計算または計測し、その逆関数に基づいた関数を逆フーリエ変換することで画像回復フィルタを得ることができる。実施例１でも説明したが、このような実空間での画像回復フィルタを用いて、画像に対してコンボリューション処理を行うことで、画像回復処理にて画像のフーリエ変換や逆フーリエ変換を行う必要をなくすることができる。ただし、画像に対して画像回復フィルタを用いたコンボリューション処理を行うことは、それぞれのフーリエ変換の積をとることと等価であるため、周波数空間で画像回復処理を行うことも可能である。

また、本実施例でも、ペリクルミラー１１１を光が透過することにより発生する非点収差は、撮影光学系１０１の絞り１０１ａによって制御されるＦナンバーに応じて変化する。また、非点収差の状態は、像高に応じたケラレ（口径食）の程度やペリクルミラー１１１への光の入射角度によって変化し、さらには、撮影距離や撮影光学系１０１の焦点距離の変化によっても変化する。さらに、撮影光学系１０１を含めた光学伝達関数も、Ｆナンバー、撮影距離、像高、焦点距離等によって変化する。したがって、撮影状態に応じて最適な画像回復フィルタを用いることが好ましい。

そして、システムコントローラ１１０は、画像回復処理によって撮影光学系１０１とペリクルミラー１１１を含むトータルの光学系により発生した収差成分が補正された補正画像（回復画像）を評価画像として用いて、コントラスト評価値を算出する。画像回復フィルタ取得工程、画像取得工程および画像回復工程をフォーカスレンズ１０１ｂを所定量ずつ移動させながら複数回繰り返す点は、実施例１と同じである。本実施例によれば、トータルの光学系により発生した収差成分が補正された評価画像を用いてコントラスト評価値を算出するので、実施例１よりもさらに精度良く合焦フォーカス位置を求めることができる。

こうして撮影光学系１０１の合焦状態を得た後、システムコントローラ１１０は、被写体を撮影して入力撮影画像を得る。この入力撮影画像も撮影光学系１０１とペリクルミラー１１１を介した撮像により生成されるため、これらの収差によって劣化している。このため、上述した画像回復処理を入力撮影画像にも行うことで、トータルの光学系により発生した収差成分によるぼけが低減された高画質の出力撮影画像を得ることができる。

なお、本実施例でも、図６に示すように、ペリクルミラー１１１を、撮影光学系１０１からの光路内に配置される光路内位置（第１の位置）と該光路から退避する退避位置（第２の位置）との間で軸部１１１ａ回りで回動可能（移動可能）としてもよい。そして、ペリクルミラー１１１を光路内位置に配置してコントラストＡＦを行ってもよいし、ペリクルミラー１１１を退避位置に回動させてコントラストＡＦを行ってもよい。

この場合、ペリクルミラー１１１を光路内位置に配置した状態でコントラストＡＦを行う場合は、撮影光学系１０１とペリクルミラー１１１を含むトータルの光学系の光学伝達関数に基づいて生成された画像回復フィルタを用いて画像回復処理を行う。一方、ペリクルミラー１１１を退避位置に配置した状態でコントラストＡＦを行う場合は、撮影光学系１０１のみの光学系の光学伝達関数に基づいて生成された画像回復フィルタを用いて画像回復処理を行う。すなわち、ペリクルミラー１１１が光路内位置にあるときと退避位置にあるときとで、画像回復フィルタを変更する。

図８には、本発明の実施例３である焦点調節方法を用いる撮像装置の構成例を示している。図８において、図１に示した構成要素と共通する又は同様の機能を有する構成要素には、図１と同符号を付して説明に代える。

本実施例では、撮影光学系１０１からの光路内に光軸に対して傾いて配置されたペリクルミラー１１１で反射した光を、位相差ＡＦユニット１１５に導く。位相差ＡＦユニット１１５は、二次結像光学系１１５ａと受光素子１１５ｂとを有し、二次結像光学系１１５ａにより形成された対の被写体像を受光素子１１５ｂによって光電変換する。受光素子１１５ｂからのアナログ出力は、Ａ／Ｄ変換器１０３にてデジタル信号に変換され、該デジタル信号は画像処理部１０４に入力される。画像処理部１０４は、入力されたデジタル信号から、対の被写体像に対応する対の像信号を生成する。

システムコントローラ１１０は、対の像信号に対して相関演算を行うことでこれら像信号間の位相差を算出し、該位相差から撮影光学系１０１の焦点状態（デフォーカス量）を算出する。そして、システムコントローラ１１０は、該デフォーカス量に応じて、撮影光学系１０１の合焦状態を得るためのフォーカスレンズ１０１ｂの移動量を算出し、該移動量だけフォーカスレンズ１０１ｂを移動させる。これにより、位相差検出方式によるＡＦ（以下、位相差ＡＦという）が行われる。

また、ペリクルミラー１１１を透過した光により形成された被写体像は、実施例１，２と同様に撮像素子１０２により光電変換される。画像処理部１０４は、撮像素子１０２の出力（Ａ／Ｄ変換器１０３からのデジタル撮像信号）から生成した入力画像に対して、実施例１、２で説明した画像回復処理を行って評価画像を生成し、コントラストＡＦを行う。

本実施例では、ペリクルミラー１１１で反射した光を用いた位相差ＡＦと、ペリクルミラー１１１を透過した光を用いたコントラストＡＦとを組み合わせて行うことができる。例えば、位相差ＡＦによってフォーカスレンズ１０１ｂを合焦位置の近傍に高速で移動させた後、コントラストＡＦによってフォーカスレンズ１０１ｂを合焦位置に高精度に移動させることができる。また、位相差ＡＦとコントラストＡＦとを使い分けることも可能である。例えば、コントラストＡＦによって、位相差ＡＦ用のＡＦ領域以外のＡＦ領域においてピント合わせを行うことができる。

なお、本実施例では、ペリクルミラー１１１で反射した光を位相差ＡＦユニット１１５に導くため、光学ファインダに代えて電子ビューファインダ１１４を設け、電子ビューファインダ１１４内のＬＣＤ１１４ａに画像処理部１０４にて生成された画像を表示する。

本実施例においても、入力撮影画像に対しても画像回復処理を行うことで、ペリクルミラー１１１で発生した非点収差成分や撮影光学系１０１で発生した収差成分が良好に補正された出力撮影画像を得ることができる。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

半透過反射素子を有する場合でも、高精度な焦点調節が行える撮像装置を提供できる。

１０１ 撮影光学系
１０２ 撮像素子
１０４ 画像処理部
１１０ システムコントローラ
１１１ ペリクルミラー

Claims (7)

1. 入射面および射出面のうち少なくとも一方が撮影光学系の光軸に対して傾いて配置され、該撮影光学系に入射した光の一部を透過して他の一部を反射する半透過反射素子と、該半透過反射素子を透過した光によって形成された光学像を光電変換する光電変換素子とを有する撮像装置の焦点調節方法であって、
   前記光電変換素子の出力を用いて評価画像を生成する画像生成ステップと、
   該評価画像のコントラスト状態を示すコントラスト評価信号を生成するステップと、
   前記撮影光学系に含まれるフォーカス素子を移動させて前記コントラスト評価信号の値が前記撮影光学系の合焦状態に対応する値となる位置に前記フォーカス素子を移動させるステップとを有し、
   前記画像生成ステップにおいて、前記光電変換素子の出力から生成された画像に対して、前記半透過反射素子の光学伝達関数に基づいて作成された画像回復フィルタを用いた画像回復処理を行うことにより前記評価画像を生成することを特徴とする焦点調節方法。
2. 前記画像回復フィルタは、前記撮影光学系および前記半透過反射素子の光学伝達関数に基づいて作成されることを特徴とする請求項１に記載の焦点調節方法。
3. 前記半透過反射素子は、前記撮影光学系に入射した光が入射する第１の位置と該光が入射しない第２の位置とに移動可能であり、
   前記画像生成ステップにおいて、前記半透過反射素子が前記第１の位置にあるときと前記第２の位置にあるときとで、前記画像回復処理を行うか否かを切り替える又は前記画像回復フィルタを変更することを特徴とする請求項１又は２に記載の焦点調節方法。
4. 前記画像生成ステップにおいて、前記画像における像高および前記撮影光学系のＦナンバーに応じて前記画像回復フィルタを変更することを特徴とする請求項１から３のいずれか一項に記載の焦点調節方法。
5. 前記画像回復フィルタは、前記光学伝達関数の絶対値成分のアジムス方向間での差が前記画像回復処理前よりも減少するように該光学伝達関数を補正した補正光学伝達関数に基づいて作成されることを特徴とする請求項１から４のいずれか一項に記載の焦点調節方法。
6. 入射面および射出面のうち少なくとも一方が撮影光学系の光軸に対して傾いて配置され、該撮影光学系に入射した光の一部を透過して他の一部を反射する半透過反射素子と、該半透過反射素子を透過した光によって形成された光学像を光電変換する光電変換素子とを有する撮像装置に設けられたコンピュータに、
   前記光電変換素子の出力を用いて評価画像を生成する画像生成ステップと、
   該評価画像のコントラスト状態を示すコントラスト評価信号を生成するステップと、
   前記撮影光学系に含まれるフォーカス素子を移動させて前記コントラスト評価信号の値が前記撮影光学系の合焦状態に対応する値となる位置に前記フォーカス素子を移動させるステップとを含む動作を実行させる焦点調節プログラムであって、
   前記画像生成ステップにおいて、前記光電変換素子の出力から生成された画像に対して、前記半透過反射素子の光学伝達関数に基づいて作成された画像回復フィルタを用いた画像回復処理を行うことにより前記評価画像を生成することを特徴とする焦点調節プログラム。
7. 入射面および射出面のうち少なくとも一方が撮影光学系の光軸に対して傾いて配置され、該撮影光学系に入射した光の一部を透過して他の一部を反射する半透過反射素子と、該半透過反射素子を透過した光によって形成された光学像を光電変換する光電変換素子とを有する撮像装置であって、
   前記光電変換素子の出力を用いて評価画像を生成する画像生成部と、
   該評価画像のコントラスト状態を示すコントラスト評価信号を生成する評価信号生成部と、
   前記撮影光学系に含まれるフォーカス素子を移動させて前記コントラスト評価信号の値が前記撮影光学系の合焦状態に対応する値となる位置に前記フォーカス素子を移動させる焦点調節部とを有し、
   前記画像生成部は、前記光電変換素子の出力から生成された画像に対して、前記半透過反射素子の光学伝達関数に基づいて作成された画像回復フィルタを用いた画像回復処理を行うことにより前記評価画像を生成することを特徴とする撮像装置。