(第1実施形態)
図1は、撮像装置100の構成を示す図である。撮像装置100は、例えば、デジタル一眼レフカメラ、ビデオカメラ、コンパクトデジタルカメラ等、位相差検知方式の焦点検出用画素を有した撮像素子を備える撮像装置である。撮像装置100は、撮像光学系101および撮像素子103を備える。さらに、撮像装置100は、制御部104、信号取得部105、抽出部106、強度差取得部107、移動量決定部108、表示部109、判断部110、移動部111、位置取得部113、範囲決定部114、記憶部115を備える。また、撮像装置100は、不図示のシャッタなどの操作部や、画像を記録する記録部を備えていてもよい。
本実施形態では、撮像光学系101の光軸と撮像素子103の位置関係の誤差を抑制するために、撮像光学系101の光軸位置の調整を行う。さらに、撮像光学系101の光軸位置の調整を行った後に、中心像ズーム移動現象を抑制するために、画像のトリミングを行う範囲を設定する。撮像素子103の位置の調整やトリミングの範囲を決定する際には、撮像装置100に対して光源部102より光を照射して調整等を行う。そのため、撮像装置100の調整システムは、撮像装置100に加え、光源部102および光源切替部112を備える。
光源部102は、面形状の均一照度を発光する面光源102aおよび点光源102bを備える。光源部102は、撮像光学系101の光軸の延長線上の被写体側に配置される。また、光源部102は、点光源102bが撮像光学系101の光軸位置に配置されるよう、点光源102bの配置を撮像光学系101の鏡筒の基準位置に合わせられる機能を有している。したがって、点光源102bは撮像光学系101の移動に応じて移動する。光源切替部112は、面光源102aと点光源102bの光源の切り替えを行う。
撮像光学系101は、複数のレンズ群からなるレンズユニットである。撮像光学系101は、光軸方向に移動することで変倍作用を有する変倍レンズ群、光軸方向に移動することでフォーカス位置を調整するためのフォーカスレンズ群および絞りを含む。また、撮像光学系101は、撮像素子103の撮像面方向に対して相対的な位置移動を行うことが可能な調整機構を有する。
撮像素子103は、例えばCCD型やCMOS型のイメージセンサであり、撮像光学系101を通して結像される被写体からの光を受光し、光電変換により電気信号を出力する。撮像素子103には、横方向にM画素、縦方向にN画素の受光ピクセルが正方配置され、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成されている。また、撮像素子103には、位相差検知式の焦点検出を行うための瞳分離機能を有する焦点検出画素が複数配置されている。各焦点検出画素は、1つのマイクロレンズに対して複数の光電変換部を有している。撮像素子103の詳細な構成については、図3〜5を用いて後述する。
制御部104は、CPU(中央演算処理装置)を備え、撮像装置100全体を制御する。信号取得部105は、撮像素子103から出力された電気信号から画像信号を取得する。取得された画像信号は表示部109に表示され、撮影者は画像を確認することができる。表示部109は、例えばLCD(液晶表示装置)等の表示デバイスを有し、撮像した画像やカメラの撮影モードに関する情報等を表示する。
次に、撮像素子103の位置の調整を行う光軸調整部として機能する抽出部106〜移動部111について説明する。抽出部106は、焦点検出を行うための一対の相関信号を抽出する。一対の像信号(相関信号)は、合焦を行うためのフォーカスレンズの移動量を求めるためのものである。なお、本実施形態では、フォーカスレンズ制御に関する説明を省略する。強度差取得部107は、抽出部106により抽出された一対の相関信号の強度の比較を行って、その差分を取得する。
移動量決定部108は、強度差取得部107にて取得した一対の相関信号の強度関係に基づいて、撮像光学系101の移動方向および移動量を決定する。具体的には、移動量決定部108は、強度差取得部107にて取得した一対の相関信号の強度関係を比較し、撮像光学系101の光軸と撮像素子103の位置ズレを補正するための撮像光学系101の移動方向と移動量を決定する。
判断部110は、移動量決定部108が決定した撮像素子103の移動方向および移動量に基づいて、撮像光学系101を移動させる必要の有無の判断を行う。判断部110が撮像光学系101の移動が必要と判断した場合、移動部111に移動情報が伝達される。移動部111は、移動量決定部108が決定した撮像光学系101の移動方向および移動量に基づいて、撮像光学系101または撮像素子103を駆動する。一方、判断部110が撮像光学系101の移動が必要ないと判断した場合、光軸位置の調整を終了する。また、撮像光学系101の光軸の位置の調整が終了した際には、判断部110は次の調整工程に移行したことを判断して、光源切替部112に命令伝達を行う。抽出部106〜移動部111により実施される撮像光学系101の光軸位置の調整により、撮像光学系101の組付け誤差等による焦点検出精度の低下を抑制することができる。
次に、中心像ズーム移動現象を抑制するための画像トリミングを行うトリミング部として機能する位置取得部113〜記憶部115について説明する。中心像ズーム移動現象に関する調整を行う際には、光源部102では点光源102bを点灯する。位置取得部113は、信号取得部105が取得した画像信号に基づいて、撮像素子103の有効画素上において点像が結像される位置を取得する。範囲決定部114は、位置取得部113が取得した点像の位置に基づいて、電気トリミングを行う範囲を決定する。範囲決定部114が決定したトリミングの範囲は、トリミング範囲情報として記憶部115に記憶される。
本実施形態において、範囲決定部114が決定するトリミングの範囲は、電気的なトリミングを行うための画像信号を取得する画素範囲であり、画像品位と測距精度を向上させるための撮像装置100の製品状態で用いられる調整値となるものである。ただし、範囲決定部114が決定する範囲は電気的なトリミングの範囲に限られるものではなく、遮光板を用いて機械的なトリミングを行うための有効画素範囲を決定するようにしてもよい。機械的なトリミングでは、有効画素範囲以外を遮光するための遮光マスク部材を撮像素子103の面位置と相対的に移動させて調整箇所で固定し、有効画素範囲のみが受光するようにする。遮光マスク部材を用いる場合には、トリミング範囲情報を記憶する記憶部115は不要なものとなる。
撮像光学系101の光軸と撮像素子103の位置の調整について説明する。図2(A)および図2(B)は、調整時の撮像光学系101の光軸位置と撮像素子103の関係を示した図である。図2(A)は、撮像光学系101の光軸位置が撮像素子103の中心位置と一致していない状態を示している。図2(B)は、撮像光学系101の光軸位置が撮像素子103の中心位置と一致している状態を示している。本実施形態において、X軸方向は撮像素子103の長辺方向、Y軸方向は短辺方向である。
まず、撮像光学系101の光軸位置が撮像素子103の中心位置に対して乖離している方向および距離を検出するために、撮像光学系101の光軸上に配置した点光源102bの光を、撮像素子103上で点像STとして結像させる。そして、撮像素子103の中心位置に対する点像STの結像位置を電気的に検知することで、乖離している方向および距離を検出する。
移動部111は、検出した点像STの結像位置の撮像中心位置からの方向および距離に基づいて、撮像素子103の中心位置と点像STの結像位置が一致するよう、撮像光学系101を移動させる。撮像光学系101の移動前の状態が図2(A)で、撮像光学系101の移動後の状態が図2(B)である。以上の調整により、撮像光学系101の光軸位置と撮像素子103の中心位置を一致させることができ、製造誤差等による焦点検出精度の低下を抑制することができる。
次に、撮像素子103の構成例と受光特性を説明する。図3は、撮像素子103の画素配列構造の一例を示した図である。撮像素子103には、複数の画素が2次元的に配列されてなる。画素300に示される白色の画素は、撮像画像を取得するための画素であり、画素301〜304に示される斜線部を有する画素は、遮光構造が配された焦点検出用の画素である。遮光構造が配された焦点検出用の画素については、例えば特許文献3の技術を利用する。
Y方向に一列に配置された画素の右側が遮光された画素301と画素の左側が遮光された画素302の光電変換信号を位相差検知用の相関演算用信号として、すなわち一対の信号の位相差情報として用いる。そして、画素301と画素302から取得された一対の信号から算出された位相差情報に基づいて、X方向(水平方向)の位相差を検出し、被写体の焦点位検出を行う。同様に、X方向に一列に配置された画素の下側が遮光された画素303と画素の上側が遮光された画素304の一対の信号を用いて相関演算を行ってY方向(垂直方向)の位相差を検出し、被写体の焦点位検出を行う。
図4は、撮像素子103の画素配列構造の別の一例を示した図である。図4に示される撮像素子103においては、1つのマイクロレンズに対し2つの光電変換部が配置されている。画素400は、Y方向に分割された光電変換部404および光電変換部405を有する。X方向に並んだ画素400と同じ形状の画素群は、各光電変換信号を一対の画素信号の位相差情報として相関演算を行い、垂直方向の位相差を検出し、被写体の焦点検出を行う。
画素401は、X方向に分割された光電変換部402および光電変換部403を有する。Y方向に並んだ画素401と同じ形状の画素群は、各光電変換信号を一対の画素信号の位相差情報として相関演算を行い、水平方向の位相差を検出し、被写体の焦点検出を行う。そして、撮像画像信号として用いる際には、画素400においては光電変換部404および光電変換部405の電気信号を加算し、画素401においては光電変換部402および光電変換部403の電気信号を加算すればよい。
図5は、撮像素子103の画素配列構造の別の一例を示した図である。図4では、1つのマイクロレンズに対し2つの光電変換部が配置されている例を説明したが、図5では、1つのマイクロレンズに対し4つの光電変換部が配置されている。4つの光電変換部の電気信号加算方式を変えることにより、図3で説明した焦点検出のための画素特性および撮像画像信号を得ることができる。
画素500は、光電変換部501〜504の4つの光電変換部を有する。光電変換部501は左上、光電変換部502は右上、光電変換部503は左下、光電変換部504は右下に配置されている。垂直方向の位相差を検出して被写体の焦点検出をする際には、X方向に並んだ画素500の光電変換部501および光電変換部502、光電変換部503および光電変換部504の信号をそれぞれ加算する。また、垂直方向の位相差を検出して被写体の焦点検出をする際には、Y方向に並んだ画素500の光電変換部501および光電変換部503、光電変換部502および光電変換部504の信号をそれぞれ加算する。そして、加算して得られた2列の光電変換信号を一対の画素信号の位相差情報として相関演算に用いる。
図3〜図5で説明した撮像素子103を用いることで、撮像素子103を利用して位相差検知方式の焦点検出を行うことができる。撮像素子103を利用して位相差検知方式の焦点検出を行うことにより、例えば動画撮影時でもライブビュー画像を観察しながらの位相差検知方式の焦点検出を行うことが可能となる。位相差式の焦点検出方式では、一対の焦点検出画素群の受光信号(一対の相関信号)であるA像信号波形(A像)とB像信号波形(B像)の相対位置をずらして互いの波形を重ね合わせる。そして、例えば、波形の差異部分の面積量がもっとも小さくなる状態を相関が最もとれている状態とし、最も相関がとれた状態になるA像,B像の相対的なずらし量(像ズレ量)からデフォーカス量を検出する。
正確な像ズレ量を検知して精度の高い測距結果を得るためには、撮像素子103の製造誤差等に起因する撮像素子103と撮像光学系101の位置のズレを調整することが重要となる。下記では、図5の撮像素子103を用いて、X方向を相関方向の例として説明を行う。光電変換部501および光電変換部503を合わせて光電変換部B、光電変換部502および光電変換部504を合わせて光電変換部Aとする。
図6(A)、図6(B)および図7は、焦点検出画素を有した撮像素子103と撮像光学系101の光軸位置との関係および焦点検出画素の受光状態を示した図である。焦点検出画素LS、焦点検出画素CS、焦点検出画素RSは、それぞれ撮像素子103の左、中心、右に位置する焦点検出画素である。各焦点検出画素は、光電変換部Aおよび光電変換部Bを備えている。撮像素子103の中心位置の焦点検出画素である焦点検出画素CSの中心は、撮像光学系101の光軸AX上に位置する。マイクロレンズMLは、各焦点検出画素のマイクロレンズを示す。
光軸AXは、撮像光学系101の光軸を示す。射出瞳EPは射出瞳範囲を示し、瞳領域EPa、瞳領域EPbはそれぞれ焦点検出画素LS、焦点検出画素CS、焦点検出画素RSの光電変換部B、光電変換部Aに入射するように領域分割された入射瞳範囲を示す。つまり、撮像光学系101が形成する射出瞳EPのうち、光電変換部Aと光電変換部Bとで、異なる領域を通過した光の信号を取得することができる。主光線LAは、瞳領域EPaから焦点検出画素LSの光電変換部Aに入射する光線角度を代表する光線であり、主光線LBは、瞳領域EPbから焦点検出画素LSの光電変換部Bに入射する光線角度を代表する光線である。主光線CAは、瞳領域EPaから焦点検出画素CSの光電変換部Aに入射する光線角度を代表する光線であり、主光線CBは、瞳領域EPbから焦点検出画素CSの光電変換部Bに入射する光線角度を代表する光線である。主光線RAは、瞳領域EPaから焦点検出画素RSの光電変換部Aに入射する光線角度を代表する光線であり、主光線RBは、瞳領域EPbから焦点検出画素RSの光電変換部Bに入射する光線角度を代表する光線である。
各焦点検出画素からの入射瞳位置が十分に遠方に配置される場合は、撮像素子103上のいずれの焦点検出画素においても主光線LA、主光線CA、主光線RAと主光線LB、主光線CB、主光線RAの光線角度は略一致する。そのため、焦点検出画素CSで示されるような、マイクロレンズMLの中心が焦点検出画素CSの中心と一致するマイクロレンズMLと光電変換部の位置(偏心)関係(以後、ML位置と呼ぶ)を有する焦点検出画素を撮像素子103全体に配置すればよい。
入射瞳位置が撮像素子103に近い距離に存在する場合は、各焦点検出画素位置における主光線の光線角度が異なる。そのため、すべての焦点検出画素においてML位置を同じにすると、光電変換部Aおよび光電変換部Bに入射する光線は、焦点検出画素の位置によって異なる入射角度になる。そのため、入射瞳位置が撮像素子103に近い距離に存在する場合は、撮像素子103上の各焦点検出画素の配置位置により光電変換した信号の強度特性が互いに異なり、一対の相関信号強度が揃わなくなる。そこで、本実施形態では、焦点検出画素のML位置を撮像素子103の中心位置からの距離に応じて変化させ、一対の相関信号強度を揃える。
図6は、本実施形態における撮像素子103と撮像光学系101の光軸位置との関係および焦点検出画素の受光状態を示した図である。なお、図6は、撮像素子103の位置ずれや傾きがない、理想の設計状態にある例を示している。焦点検出画素のML位置を撮像素子103の中心位置からの距離に応じて変化させ偏心状態を適切に設定することにより、焦点検出画素LSおよび焦点検出画素RSで各光電変換部に入射される主光線は焦点検出画素CSと同等の入射角度となる。具体的には、焦点検出画素LSおよび焦点検出画素RSにおいて、撮像素子103の中心位置からの距離に応じて、マイクロレンズMLを撮像素子103の中心寄りに配置する。このような構成により、撮像素子103の各焦点検出画素の光電変換信号の強度特性を揃えることができる。
撮像装置100において、撮像素子103の製造誤差や撮像装置100への撮像素子103の組み付け誤差等により、撮像素子103上の焦点検出画素への光線入射角度範囲が設計状態とは異なってくる場合がある。図7(A)および図7(B)は、撮像素子103が設計状態に対して誤差を生じている例を示す図である。図7(A)は、撮像素子103全体が、撮像光学系101の光軸AXに対して角度ωの傾きを生じた状態で組み付けられた状態を示している。そのため、焦点検出画素LS、焦点検出画素CS、焦点検出画素RSが撮像光学系101の光軸AXに対して角度ωの傾きを生じている。
焦点検出画素が傾くことにより、焦点検出画素の基準となる光線軸AX0が、本来一致させるべき光軸AXと異なった角度となっている。さらに、光線軸AX0と撮像光学系101の射出瞳EPの交点は、光軸AXと射出瞳EPの交点とは異なる位置となっている。そのため、撮像光学系の分割された瞳領域EPaと瞳領域EPbからそれぞれ焦点検出画素LS、焦点検出画CS、焦点検出画RSの各光電変換部に入射する光線角度範囲が設定状態(図6)とは異なる。そのため、各焦点検出画素の光電変換部Aと光電変換部Bの信号強度が異なってしまう。
次に、撮像素子103上の焦点検出画素への光線入射角度範囲が設計状態とは異なっている場合の別の例として、焦点検出画素を含んだ撮像素子103が設計状態からオフセットした光軸ずれ状態の例を説明する。図7(B)は、撮像素子103が設計状態に対して光軸ずれを生じている状態を示している。設計状態においては、撮像素子103の中心の焦点検出画素CSの中心位置AX1と撮像光学系101の射出瞳EPの中心を通る光軸AXとが一致している状態であることが望ましい。しかし、図7(B)では、撮像素子103の中心位置AX1が光軸AXに対して−X方向にずれている。
撮像素子103の中心位置AX1が光軸AXに対して−X方向にずれていると、撮像光学系の瞳領域EPaと瞳領域EPbが設計状態と比較してX方向に移動された状態となる。そのため、焦点検出画素LS、焦点検出画素CS、焦点検出画素RSに入射する各主光線の入射角度が図6の場合と異なる。このように、撮像素子103の光軸ずれが生じると、設計状態に対して光電変換部Aおよび光電変換部Bへ入射する光線の入射角度と範囲が異なり、位相差検出のための一対の相関信号が非相似である信号形状となり、焦点検出精度が低下してしまう。
次に、焦点検出精度が低下する原因について図8(A)および図8(B)を用いて説明する。図8(A)および図8(B)は、光線の入射角度に対する、撮像素子103の焦点検出画素CSの光電変換部Aおよび光電変換部Bにおける信号強度(瞳強度分布)を示した図である。図8(A)は、撮像素子103が設計状態(図6)にある場合の信号強度を説明する図である。信号強度変化分布ASは、各焦点検出画素において光電変換部Aへ入射される光線角度変化に対しての光電変換される信号強度変化分布を示す。同様に、信号強度変化分布BSは、各焦点検出画素において光電変換部Bへ入射される光線角度変化に対しての光電変換される信号強度変化分布を示す。信号強度変化分布Sは、信号強度変化分布ASと信号強度変化分布BSを加算したものであり、記録画像の信号強度変化分布を示す。
撮像光学系101の光軸AXと一致する撮像素子103の中心での光線入射角度範囲は、F値により決定される。撮像素子103の法線である撮像光学系101の光軸角度からの画角φは、F値をfnoとしたとき、下記の式1で示される。
φ=SIN−1(1/(2×fno))・・・(式1)
例えばF値が1.4である撮像光学系101の射出瞳から光電変換部に入射する光線角度範囲は、φ=±21°となる。
図8(B)は、撮像素子103が設計状態に対して光軸ずれを生じている場合の信号強度を説明する図である。入射角度範囲A0は、設計状態(図6)における、焦点検出画素の光電変換部Aおよび光電変換部Bへの入射角度範囲の例である。一方、入射角度範囲A1は、撮像素子103が設計状態に対して光軸ずれを生じ、光電変換部に入射する主光線の角度変化がθ分変化した場合(図7(B))における、焦点検出画素の光電変換部Aおよび光電変換部Bへの入射角度範囲の例である。
信号強度差DUは、入射角度範囲A1のプラス方向端におけるA信号およびB信号の信号強度差を示す。信号強度差DLは、入射角度範囲A1のマイナス方向端におけるA信号およびB信号の信号強度差を示す。信号強度差DUおよび信号強度差DLに示されるように、撮像素子103が設計状態に対して光軸ずれを生じている場合には、光電変換部Aと光電変換部Bの信号強度に差異が生じてしまう。この信号強度の差異は、F値が大きいほど大きくなり、調整を行う必要性が高くなる。
図9(A)および図9(B)は、均一な照度を有した面光源102aから撮像光学系101を介して光線を受光した光電変換部Aおよび光電変換部Bの相関信号強度と、焦点検出画素位置の関係を示す図である。ここでは、相関方向をX方向とする。相関信号強度WAは光電変換部Aの相関信号強度を示し、相関信号強度WBは光電変換部Bの相関信号強度を示す。
図9(A)は、撮像素子103が設計状態(図6)にある場合の相関信号強度を説明する図である。撮像素子103が設計状態にある場合、焦点検出画素の位置変化が生じても、光電変換部Aおよび光電変換部Bに入射する主光線の角度に変化は発生しない。そして、撮像素子103が設計状態にある場合には、瞳領域EPaと瞳領域EPbが撮像光学系101の光軸AXに対して対称な位置関係になっている。そのため、光電変換部Aおよび光電変換部Bは同一な光強度を受光し、相関信号強度WAと相関信号強度WBが一致した状態となる。
図9(B)は、撮像素子103が設計状態とは異なる状態(例えば、図7(A)、図7(B))にある場合の相関信号強度を説明する図である。焦点検出画素への光線入射角度範囲が設計状態とは異なっており、瞳領域EPaと瞳領域EPbが撮像光学系101の光軸AXに対して非対称な関係になっている。そのため、均一な照度の光源を撮影した際の相関信号強度WAと相関信号強度WBに相関信号差分量ΔSの差異が生じている。相関信号差分量ΔSは撮像光学系101の光軸位置と撮像素子103との相対位置変化量Mに応じて変化する。このように、均一照度の光源を撮影して出力される相関信号強度WAと相関信号強度WBの信号強度差に基づいて、撮像素子103が設計状態にあるか否か判定することができる。撮像素子103が設計状態にないと判定された場合には、複数の瞳領域が撮像光学系101の光軸AXに対して対称となるよう光軸位置の調整を行う。
図10は、相対位置変化量Mと相関信号差分量ΔSの関係を示す図である。相対位置変化量Mと相関信号差分量ΔSの関係は、変化特性Dで示される。焦点検出画素で分割された瞳領域EPaと瞳領域EPbが撮像光学系101の光軸AXに対して最も対称関係となる場合には、均一輝度の面光源102aを撮影した際の相関信号強度WAとWBの信号強度は一致している。したがって、撮像光学系101と撮像素子103の位置関係を設計状態にするための調整では、相関信号差分量ΔSの絶対値が最小となるようにする。変化特性Dに基づいて、相関信号差分量ΔSの絶対値が最小となる相対位置変化量Mおよび移動方向を算出し、算出した相対位置変化量Mおよび移動方向に応じた撮像光学系101の光軸位置の調整を行う。
図9(A)〜図10を用いて説明したように、均一輝度の面光源102aを撮影した際の相関信号強度WAと相関信号強度WBの信号強度差で撮像素子103と撮像光学系101との位置関係を検出することが可能となる。そして、相関信号差分量ΔSの絶対値を最小とする相対位置変化量Mおよび移動方向を算出して撮像光学系101の光軸位置を移動させることにより、光軸AXとマイクロレンズMLの中心位置を一致させ、マイクロレンズMLを無偏心状態とすることができる。これにより、焦点検出精度の低下を抑制することができる。なお、撮像光学系101の光軸位置の移動は、撮像素子103の有効画素範囲に対応した調整可能範囲内で行う。また、本実施形態においてはX方向について説明したが、Y方向についても同様の方法で調整することができる。また、本実施形態においては、調整時に撮像光学系101を移動させる例を説明したが、撮像素子103の方を移動させるようにしてもよい。
また、近年においては像ブレの方向と大きさに合わせて撮像素子103を撮像光学系101の光軸AXに対し直交する方向に移動を行うことで、像ブレによる撮像素子103上の像移動を低減させる機構を備えた撮像装置がある。位相差検知式の焦点検出を行う撮像素子103が像ブレ補正機能も備えていた場合は、光軸位置の補正調整を行った撮像位置を撮像素子103の基準位置(像ブレが無い状態での撮像素子位置)とする。これにより、像ブレ補正時に撮像素子103が移動することで生じる相関信号強度WAと相関信号強度WBの信号強度差を、撮像素子103の移動方向に関わらずに均一なものとすることができ、像ブレ補正時の焦点検出精度の低下を抑制することができる。
次に、光軸位置調整(光軸位置補正)によって撮像光学系101の光軸位置が撮像素子103の中心位置から外れるために発生する中心像ズーム移動現象(を補正する方法)について説明する。中心像ズーム移動現象は、広角側から望遠側に焦点距離が変化する際に被写体の像倍率が変化する特性に起因するもので、撮像光学系101の光軸位置が有効画素(撮像に用いられる画素)の中心位置(以下、画面中心位置という)から外れているために発生する。光軸位置調整により撮像光学系101と撮像素子103の相対位置関係を調整すると、撮像光学系101の光軸位置は、撮像素子103の中心位置の焦点検出画素である焦点検出画素CSのマイクロレンズMLの中心位置(ML無偏心位置)になっている。焦点検出画素CSのマイクロレンズMLの中心位置が撮像素子103の画面中心位置から外れている場合、撮像光学系101の光軸位置も撮像素子103の画面中心位置から外れていることとなる。本実施形態では、光軸位置調整により撮像光学系101と撮像素子103の相対位置関係が調整され、撮像光学系101の光軸位置が撮像素子103の画面中心位置から外れていることによる中心像ズーム移動現象を、画像トリミングにより補正する。
図11(A)および図11(B)は、点光源102bを撮像して画像トリミング領域を決定する工程を説明する図である。図11(A)は、中心像ズーム移動現象を説明する図である。有効画素領域103aは撮像素子103の全有効画素領域であり、有効画素領域103aの中心が画面中心位置である。点像位置SWは、広角端で撮像した点光源102bの点像位置である。一方、点像位置STは、望遠端で撮像した点光源102bの点像位置である。
撮像光学系101の光軸位置と画面中心位置が一致している場合には、像倍率が変化しても画面中心位置に位置している被写体は像倍率が変化するだけで位置移動することはない。しかし、撮像光学系101の光軸位置と画面中心位置が一致していない場合には、広角端で点像位置SWが画面中心位置に配置されるよう位置合わせしてズーミングを行うと、点像位置が点像位置SWから点像位置STに移動する中心像ズーム移動現象が発生する。すなわち撮像光学系101の光軸位置が撮像素子103の有効画素の画面中心位置から外れている場合には、図11(A)に示されるように、像倍率が変化すると被写体の位置が移動してしまい、ズーム動作を伴う撮像において画像の品位を低下させる要因となる。
図11(B)は、画像トリミング領域を説明する図である。範囲IMG0は、設計状態において、有効画素領域103aからトリミングする一定の画像範囲(画像トリミング範囲)を示している。範囲IMG1は、光軸位置調整を行い撮像光学系101の光軸位置が画面中心位置から外れている場合の画像トリミング範囲を示している。中心位置C0は、広角端で結像される点像SWの撮像素子103上での中心位置を示しおり、画像中心位置と一致する。中心位置C1は、望遠端で結像される点像STの撮像素子103上での中心位置を示している。
面光源102aを使用する光軸位置調整が終了すると、光源切替部112は発光させる光源を点光源102bに切り替える。このとき、広角端においては点光源102bの点像SWは、画面中心位置に位置する。撮像光学系101のズーム位置を望遠端に移動させて、点光源102bの点像STが結像するようフォーカス動作を行う。そして、範囲IMG0の中心位置C0に対する点像STの中心位置C1の検出を行う。そして、検出した中心位置C1が画像の中心位置となるように画像トリミング範囲を設定する。
画面中心位置である中心位置C0に対して中心位置C1が大きく離れている場合には、中心位置C1を中心とする範囲IMG1の一部が有効画素領域103aを超えて、画像の端が切れてしまう場合がある。このように範囲IMG1の一部が有効画素領域103aの範囲外になる場合には、測距精度よりも所定のサイズの画像を得ることを優先し、有効画素領域103aの範囲内に範囲IMG1が収まるよう設定するのが望ましい。その際には、撮像光学系101の光軸位置が範囲IMG1の中心位置になるように撮像素子103を移動させて焦点検出の精度低下を抑制するようにしてもよい。
図12は、光軸位置調整を行い、トリミング範囲を設定する処理を示すフローチャートである。ステップS1201で、信号取得部105は均一な輝度を有する面光源102aを撮像した信号の取得を開始する。ステップS1202で、制御部104は撮像光学系101の絞り値を設定する。絞り値は、相関信号差を発生しやすくなるよう小絞り状態(F値が高い値)に設定する。例えば、F値を8〜16とする。
ステップS1203で、制御部104はズーム位置を相関信号の傾きがないズーム位置に設定する。図6を用いて説明したように、焦点検出画素は撮像光学系101の射出瞳位置に最適になるようにマイクロレンズの配置形状が最適化されているが、撮像光学系101のズーム作動により撮像光学系101の光軸方向への射出瞳位置変化を生じるものがある。射出瞳位置変化を生じると、光電変換部Aおよび光電変換部Bの相関信号が、撮影画像の中心位置付近を交点として対称的に傾きを生じてしまう。これは、撮像光学系101の射出瞳位置が変化したため撮像素子103の中心から外れるほど焦点検出画素の各光電変換部が受光する光線角度の変化が大きくなり、光線入射角度の影響を受ける相関信号強度に変化が生じるためである。そのため、撮像光学系101の光軸方向の射出瞳位置と予め設定しているセンサ瞳面位置を一致させるようにズーム位置を設定することで、相関信号強度の傾き成分を除外して光軸調整の精度を向上させることができる。
ステップS1203のあと処理は、ズーム位置情報の記憶を行うためのステップS1204と、光軸位置調整を行い、トリミング範囲を設定するためのステップS1212の2つのステップに進む。
ステップS1205で、移動部111は一対の相関波形信号差が最小となるように撮像光学系101を移動させる。具体的には、信号取得部105が取得した面光源102を撮像した画像信号から、抽出部106が一対の相関信号を抽出し、強度差取得部107が一対の相関信号の強度差を算出し、強度差に基づいて移動量決定部108が移動量を決定する。移動部111は移動量決定部108が決定した移動量に基づいて、撮像光学系101を移動させる。相関波形信号差を最小となるよう移動させることで、撮像光学系101の光軸位置と撮像素子103における焦点検出画素CSのマイクロレンズMLの中心が一致した状態となる。
ステップS1206で、制御部104はズーム位置が望遠端であるか否か判定する。ズーム位置が望遠端である場合は、ステップS1210に進む。一方、ズーム位置が望遠端でない場合は、ステップS1207に進む。ステップS1207で、移動部111は撮像光学系101内のズームレンズを移動させ、ズーム位置を望遠端に設定する。ステップS1208で、光源切替部112は光源を面光源102aから点光源102bに切り替え、信号取得部105は点光源102bを撮像した信号の取得を開始する。ステップS1209で、位置取得部113は点像の位置を取得し、範囲決定部114は取得した点像の位置がトリミング範囲の中心となるよう画像のトリミング範囲を決定する。
ステップS1210で範囲決定部114は現在の光軸位置が撮像素子103の画像トリミングが行える範囲を超えているか判定する。ここで、撮像素子103上の光軸位置を検出するためには、例えば、点像の画像を撮影しながらズーミングを行うことで像の移動方向と移動量から光軸位置を判断する方法がある。また、ズーム動作を行い、一対の相関信号の交点位の画素位置を光軸位置としてもよい。
また、ステップS1209で決定したトリミング範囲が有効画素領域103aを超えている場合は、現在の光軸位置が撮像素子103の画像トリミングが行える範囲を超えていると判定してもよい。さらに、光軸位置が予め定められた撮像素子103上の範囲を超えていた場合に、現在の光軸位置が撮像素子103の画像トリミングが行える範囲を超えていると判定するようにしてもよい。現在の光軸位置が撮像素子103の画像トリミングが行える範囲を超えていると判定した場合は、ステップS1211に進む。一方、現在の光軸位置が撮像素子103の画像トリミングが行える範囲を超えていないと判定した場合は、ステップS1212に進む。
ステップS1211で、移動部111は、画像トリミングが可能な位置まで、撮像光学系101を移動させる。画像トリミングが可能な位置とは、ステップS1209で設定するトリミング範囲が有効画素領域103aに収まる位置である。ステップS1212で、制御部104は、ステップS1211において撮像光学系101の移動を行ったか否か判定する。移動を行っていると判定した場合はステップS1213に進む。一方、移動を行っていないと判定した場合は、ステップS1217に進む。
ステップS1204で、記憶部115はステップS1203で記憶したズーム位置を記憶する。ステップS1213で、移動部111は、ズーム位置をステップS1204で記憶したズーム位置に設定する。ステップS1214で、信号取得部105は均一な輝度を有する面光源102aを撮像した信号の取得を開始する。ステップS1215で、強度差取得部107は、ステップS1214で取得した一対の相関信号の強度差を取得する。ステップS1216で、移動量決定部108は、予め情報が記憶されている信号強度補正値情報群から一対の相関信号の強度差を補正するための補正値情報を取得して記憶部115に記憶させる。ステップS1217で、撮像光学系101を撮像素子103に対して固定し、本処理を終了する。
以上説明したように、本実施形態によれば、撮像光学系の光軸位置を調整することで焦点検出の精度低下を抑制することができる。さらに、画像トリミングを行うことにより、光軸位置調整に起因する画像の品位低下をよくせいすることができる。このように、本実施形態によれば、焦点検出精度の低下と画像の品位の低下を共に抑制することが可能な撮像装置を提供することができる。
(第2実施形態)
撮像装置には、画像のトリミングによる電子的な像ブレ補正機能を有するものがある。本実施形態では、電子的な像ブレ補正を行う像ブレ補正部を有している撮像装置100におけるトリミング範囲の設定について説明する。画像トリミングにおいて、画面中心位置である中心位置C0に対して中心位置C1が大きく離れている場合には、範囲IMG1が有効画素領域103aの端部に近くなり、画像のトリミングによる電子的な像ブレ補正を行える範囲が狭くなってしまう恐れがある。そこで、中心像ズーム移動現象による画像の品位低下を抑制するためのトリミングと、像ブレ補正を行うためのトリミングを両立させる方法について説明する。
図13(A)および図13(B)を用いて、像ブレ補正のためのトリミング範囲を確保するための一例を説明する。図13(A)は、撮像光学系101の光軸位置の調整前と調整後における画面中心位置と像ブレ補正のためのトリミング範囲を示した図である。中心位置C0は有効画素領域103aの中心位置を示し、中心位置C0を中心とする範囲IMG0は光軸位置の調整前の像ブレ補正を行うことのできる画像トリミング範囲を示す。範囲IMG1は、光軸調整に起因する中心像ズーム移動現象を抑制するためのトリミングの範囲であり、範囲IMG1の中心が中心位置C1である。範囲IMG2は、光軸位置調整を行った後の像ブレ補正のためのトリミング範囲を示す。範囲IMG2は、範囲IMG1の範囲内に、撮像画像と同じ縦横比(アスペクト比)で設定される。中心位置C2は、範囲IMG2の中心位置である。
図13(B)は、ズーム画角変化を説明する図である。グラフの横軸は、撮像光学系のズーム比率を表し、左から右に行くに従って望遠側にズームされることを示している。グラフの縦軸は撮像素子の有効画像域での撮影画角を示したものであり、上から下に行くに従って画角は狭くなることを示している。ズーム比率が高くになるに従い、すなわち望遠側になるに従い、撮影画角は狭くなる。望遠側では、画角が狭くなっているためトリミングを行う範囲が不足してしまう恐れがある。そこで、光軸位置の調整を行い、トリミング範囲の中心が画面中心位置から外れている場合には、望遠側でのズーム使用域を制限するようにする。望遠側でのズーム使用域を制限することにより、望遠側であってもトリミングを行うのに必要な領域を確保することができる。
図14(A)、図14(B)および図15を用いて、像ブレ補正のためのトリミング範囲を確保するための別の例を説明する。なお、撮像装置100がズームレンズによる光学ズーム機能と画像切り出しによる電子ズーム機能とを有する倍率制御部を備えているものとする。撮像画像の像ブレは様々な要因に起因するが、撮像装置100の光軸角度変化(角度ブレ)によって生じることが多い。撮像光学系101が望遠側にズーミングされるに従って撮影画角が狭くなり、光軸角度変化に対して像の移動が大きくなる。そのため、望遠側になるに従って像ブレ補正のためのトリミング範囲を広げる必要がある。
図14(A)は、撮像光学系101のイメージサークルを示す図である。イメージサークルIMC0は、撮像光学系101の光軸位置が撮像素子103の中心位置C0と一致している場合の撮像光学系101のイメージサークルを示す。イメージサークルIMC1は、光軸位置調整により撮像光学系101の光軸位置が撮像素子103上の位置C3に移動した場合の撮像光学系101のイメージサークルを示す。位置C3は、イメージサークルに対してケラレを生じない撮像光学系101の光軸位置の最大調整可能位置である。
図14(B)は、トリミング範囲を説明する図である。範囲IMG3は、光軸位置調整後の位置C3を中心とする画像範囲を示している。しかし、範囲IMG3は有効画素領域103aを超えてしまっており、画角の一部が欠けた画像となってしまう。そこで、本実施形態では、望遠側でも像振れ補正のためのトリミングを行える領域を確保ししつつ、範囲IMG3に重なる範囲が最大となる範囲IMG4をトリミング範囲として設定する。なお、範囲IMG4の縦横比(アスペクト比)は、撮像画像と同等である。
図15は、ズーム画角変化を説明する図である。グラフの横軸は、撮像光学系のズーム比率を表し、左から右に行くに従って望遠側にズームされることを示している。グラフの縦軸は撮像素子の有効画像域での撮影画角を示したものであり、上から下に行くに従って画角は狭くなることを示している。ズーム比率が高くになるに従い、すなわち望遠側になるに従い、撮影画角は狭くなる。望遠側で光学ズームを行うと、画角が狭くなっているため像ブレ補正のためのトリミングを行う範囲が不足してしまう恐れがある。そこで、本実施形態では、像ブレ補正のためのトリミングを行う領域を確保するために、光学ズーム可能なズーム比率であっても望遠側では画像の切り出しによる電子ズームを行うようにする。光学ズームと使用する変倍使用域と電子ズームを使用する変倍使用域は、例えば、位置C3の中心位置C0からの距離に応じて設定する。
以上のように、本実施形態によれば、撮像光学系の光軸位置を調整することで焦点検出の精度低下を抑制することができる。さらに、画像トリミングを行うことにより、光軸位置調整に起因する画像の品位低下をよくせいすることができる。このように、本実施形態によれば、像ブレ補正機能やズーム機能を有する撮像装置においても、焦点検出精度の低下と画像の品位の低下を共に抑制することができる。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。