JP2017192028A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents
撮像装置及びその制御方法、プログラム、記憶媒体 Download PDFInfo
- Publication number
- JP2017192028A JP2017192028A JP2016080472A JP2016080472A JP2017192028A JP 2017192028 A JP2017192028 A JP 2017192028A JP 2016080472 A JP2016080472 A JP 2016080472A JP 2016080472 A JP2016080472 A JP 2016080472A JP 2017192028 A JP2017192028 A JP 2017192028A
- Authority
- JP
- Japan
- Prior art keywords
- focus
- imaging
- image
- optical system
- focus detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 119
- 238000000034 method Methods 0.000 title claims description 60
- 238000001514 detection method Methods 0.000 claims abstract description 212
- 230000003287 optical effect Effects 0.000 claims abstract description 65
- 238000006243 chemical reaction Methods 0.000 claims abstract description 51
- 210000001747 pupil Anatomy 0.000 claims abstract description 48
- 230000008569 process Effects 0.000 claims description 53
- 238000012937 correction Methods 0.000 claims description 38
- 238000009826 distribution Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 17
- 238000011156 evaluation Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 13
- 230000005484 gravity Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 230000004907 flux Effects 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】焦点検出のキャリブレーションを行う場合に、ピントの異なる複数枚の画像を容易に取得できるようにする。【解決手段】被写体像を光電変換する撮像部と、撮影光学系の異なる瞳領域を通過した光により形成される一対の像信号を用いて位相差検出方式により撮影光学系のピント位置を検出する焦点検出部と、撮影光学系のピント位置を所定量ずつずらしながら、撮影光学系の複数のピント位置のそれぞれについて、撮像部によりライトフィールドデータを取得するように撮像部を制御する撮像制御部と、焦点検出部による位相差の検出方向とライトフィールドデータにおける視差の方向とに応じて、撮像部により撮影光学系の複数のピント位置について取得されたライトフィールドデータを用いて、撮影光学系の複数のピント位置の間のピント位置に対応するリフォーカス画像を生成する生成部とを備える。【選択図】 図16
Description
本発明は、撮像装置における焦点検出の誤差を補正する技術に関するものである。
被写体に自動的に焦点を合わせる自動焦点調節装置を有する撮像装置においては、自動焦点調節装置が算出したデフォーカス量に誤差がある場合に、その誤差をキャリブレーション装置によって補正する機能が知られている。
特許文献1には、自動焦点調節装置の補正値を取得するモードとして、キャリブレーションモードを備える撮像装置が開示されている。複数の異なるフォーカスレンズ位置で画像とデフォーカス量を取得し、ユーザーが、取得された画像からジャストピントの画像を選択する。そして、選択された画像と同時に取得したデフォーカス量を補正値として記憶する。
一方、撮影レンズの射出瞳を複数の領域に瞳分割し、分割された瞳領域に応じた複数の視差画像を同時に撮影することができる撮像装置が提案されている。特許文献2には、1つのマイクロレンズに対して複数に分割された光電変換部が配置されている2次元撮像素子を備えた撮像装置が開示されている。分割された光電変換部は、1つのマイクロレンズを介して撮影レンズの射出瞳の異なる瞳部分領域からの光を受光するように構成され、瞳分割を行っている。これらの分割された光電変換部それぞれで受光した被写体光を光電変換して生成された画像信号から、分割された瞳部分領域に応じた複数の視差画像を生成することができる。
特許文献3には、フォーカスレンズを動かしながらブラケット撮影を行うことで、複数の視差画像を生成できる範囲を拡大する撮像装置が提案されている。撮影された複数の視差画像は、光強度の空間分布および角度分布情報であるLight Field(LF)データと等価である。非特許文献1には、取得されたLFデータを用いて撮像面とは異なる仮想結像面における画像を合成することで、撮影後に撮像画像の合焦位置を変更するリフォーカス技術が開示されている。
Stanford Tech Report CTSR 2005−02,1(2005)
しかしながら、上記の特許文献1に開示された従来技術では、ユーザーがピントの変化を確認できる複数枚の画像を撮影するために、レンズを動かしながら撮影する動作を繰り返し行う必要があり、撮影に時間がかかってしまう。
本発明は上述した課題に鑑みてなされたものであり、その目的は、焦点検出のキャリブレーションを行う場合に、ピントの異なる複数枚の画像を容易に取得できるようにすることである。
本発明に係わる撮像装置は、被写体像を光電変換する撮像手段と、撮影光学系の異なる瞳領域を通過した光により形成される一対の像信号を用いて位相差検出方式により前記撮影光学系のピント位置を検出する焦点検出手段と、前記撮影光学系のピント位置を所定量ずつずらしながら、前記撮影光学系の複数のピント位置のそれぞれについて、前記撮像手段によりライトフィールドデータを取得するように前記撮像手段を制御する撮像制御手段と、前記焦点検出手段による位相差の検出方向と前記ライトフィールドデータにおける視差の方向とに応じて、前記撮像手段により前記撮影光学系の複数のピント位置について取得されたライトフィールドデータを用いて、前記撮影光学系の複数のピント位置の間のピント位置に対応するリフォーカス画像を生成する生成手段と、を備えることを特徴とする。
本発明によれば、焦点検出のキャリブレーションを行う場合に、ピントの異なる複数枚の画像を容易に取得することが可能となる。
以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。
[全体構成]
図1は、本発明の撮像装置の一実施形態であるデジタル一眼レフカメラのシステム構成を示す図である。図1において、カメラシステム100は、カメラ2と、カメラ2に対して着脱可能な交換レンズ1とを備えて構成される。このカメラシステム100は、位相差検出方式によるAF(オートフォーカス)処理を行う機能と、撮影後に撮像画像の合焦位置を変更したリフォーカス画像を生成する機能と、位相差AFの補正を行うフォーカスキャリブレーション機能とを有する。
図1は、本発明の撮像装置の一実施形態であるデジタル一眼レフカメラのシステム構成を示す図である。図1において、カメラシステム100は、カメラ2と、カメラ2に対して着脱可能な交換レンズ1とを備えて構成される。このカメラシステム100は、位相差検出方式によるAF(オートフォーカス)処理を行う機能と、撮影後に撮像画像の合焦位置を変更したリフォーカス画像を生成する機能と、位相差AFの補正を行うフォーカスキャリブレーション機能とを有する。
交換レンズ1内には撮影光学系10が収容されている。撮影光学系10は、複数のレンズユニットや絞りにより構成される。また、複数のレンズユニットのうちフォーカスレンズユニット(以下、単にフォーカスレンズという)10aを光軸に沿う方向に移動させることで、ピント合わせを行うことができる。
レンズ駆動部11は、ズームレンズやフォーカスレンズ10aを移動させるアクチュエータ、及びそのアクチュエータの駆動回路、アクチュエータの駆動力を各レンズに伝達する伝達機構を含む。レンズ状態検出部12は、ズームレンズやフォーカスレンズ10aの位置、すなわちズーム位置およびフォーカス位置を検出する。
レンズ制御部13は、CPU等により構成され、後述するカメラ制御部40からの指令に応じて交換レンズ1の動作を制御する。レンズ制御部13は、電気接点15のうちの通信端子を介してカメラ制御部40と通信可能に接続される。また、交換レンズ1には、電気接点15のうちの電源端子を通じて、カメラ2から電力が供給される。レンズ記憶部14は、ROM等により構成され、レンズ制御部13での制御に用いられるデータ、交換レンズ1の識別情報、撮影光学系10の光学情報等の各種情報が記憶されている。
カメラ2において、ハーフミラーで構成された主ミラー20は、ユーザーが光学ファインダを通して被写体を観察する光学ファインダ観察時には、図示のように撮影光路内のダウン位置に配置されて撮影光学系10からの光をピント板30に向けて反射する。また、主ミラー20は、背面モニタ43にライブビュー画像を表示するライブビュー観察時や記録用画像(静止画および動画)を生成する撮影時には、撮影光路から退避するアップ位置に回動する。これにより、撮影光学系10からの光は、シャッタ23および撮像素子24に向かう。
サブミラー21は、主ミラー20とともに回動し、ダウン位置に配置された主ミラー20を透過した光をAF(オートフォーカス)センサユニット22に導く。また、主ミラー20がアップ位置に回動すると、サブミラー21も撮影光路から退避する。
AFセンサユニット22は、被写体から撮影光学系10を通り、さらにサブミラー21で反射して入射した光を用いて、カメラ2の撮影範囲内に設けられた複数の焦点検出領域において位相差検出方式による撮影光学系10の焦点状態の検出(焦点検出)を行う。AFセンサユニット22は、各焦点検出領域からの光から一対の像(被写体像)を形成する2次結像レンズと、その一対の被写体像を光電変換する一対の受光素子列が配置されたエリアセンサ(CCD又はCMOSセンサ)とを有する。エリアセンサの一対の受光素子列は、一対の被写体像の輝度分布に応じた光電変換信号である一対の像信号をカメラ制御部40に出力する。エリアセンサ上には、複数の焦点検出領域に対応した複数対の受光素子列が2次元配置されている。
カメラ制御部40は、一対の像信号の位相差を算出し、その位相差から撮影光学系10の焦点状態(デフォーカス量)を算出する。さらに、カメラ制御部40は、検出した撮影光学系10の焦点状態に基づいて、撮影光学系10を合焦させるためにフォーカスレンズ10aを移動させるべき位置である合焦位置を算出する。このような焦点検出方法を用いて自動で焦点調節することを位相差AF(オートフォーカス)と呼ぶ。
そして、カメラ制御部40は、位相差検出方式により算出した合焦位置にフォーカスレンズ10aを移動させるようレンズ制御部13にフォーカス指令を送信する。レンズ制御部13は、受信したフォーカス指令に応じて、レンズ駆動部11を介してフォーカスレンズ10aを合焦位置に移動させる。これにより、撮影光学系10の合焦状態が得られる。
このようにして、位相差検出方式による焦点状態の検出と、その焦点状態に基づく合焦位置の算出と、その合焦位置へのフォーカスレンズ10aの移動とを含む位相差AFが行われる。カメラ制御部40は、フォーカス制御装置として機能する。
さらに、カメラ制御部40は、信頼度判定手段として、AFセンサユニット22からの一対の像信号に関する情報を用いて、位相差AFの対象となっている被写体に対する位相差AFの信頼度(像信号の信頼度)を算出し、被写体に対する信頼性が高いか低いかを判定する。本実施形態における被写体に対する位相差AFの信頼度とは、基本的には、被写体からの光を受光するAFセンサユニット22において一対の像信号を用いて得られるデフォーカス量(焦点状態)の信頼度である。ただし、位相差合焦位置はデフォーカス量から算出されるので、結果的に、位相差合焦位置の信頼度ということもできる。以下の説明において、被写体に対する位相差AFの信頼度を、単に信頼度とも呼ぶ。
信頼度には、例えば特開2007−52072号公報において開示されているSレベル(SELECT LEVEL)値SLを用いる。Sレベル値SLは、一対の像信号に関する情報として、その一対の像信号の一致度U、エッジの数(相関変化量ΔV)、シャープネスSHおよび明暗比PBDとをパラメータとする値であり、以下の式のように表される。信頼性が高くなるほど、Sレベル値SLは値が小さくなる。
S_Level=U/(ΔV×SH×PBD)
なお、一対の像信号に関する情報とは、必ずしも一対の像信号の双方に関する情報でなくてもよく、いずれか一方の像信号に関する情報であってもよい。また、一致度U、相関変化量ΔV、シャープネスSHおよび明暗比PBDについては、一対の像信号から得られる情報と言い換えてもよい。また、一対の像信号から得られる情報はこれに限定されず、例として、電荷蓄積時間Tなども該当する。
なお、一対の像信号に関する情報とは、必ずしも一対の像信号の双方に関する情報でなくてもよく、いずれか一方の像信号に関する情報であってもよい。また、一致度U、相関変化量ΔV、シャープネスSHおよび明暗比PBDについては、一対の像信号から得られる情報と言い換えてもよい。また、一対の像信号から得られる情報はこれに限定されず、例として、電荷蓄積時間Tなども該当する。
なお、AFセンサユニット22のエリアセンサは、受光素子が2次元配置されているため、撮影範囲内のうち同じ視野領域(例えば、中央領域)について、被写体の水平方向と垂直方向の両方の輝度分布を検出して焦点検出を行うことが可能となる。これについては、後に詳しく説明する。
シャッタ23は、光学ファインダ観察時には閉じ、ライブビュー観察時および動画撮影時には開放されて撮影光学系10により形成された被写体像の撮像素子24による光電変換(ライブビュー画像および撮影動画の生成)を可能とする。さらに、静止画撮影時には、設定されたシャッタ秒時で開閉し、撮像素子24の露光を制御する。
撮像素子24は、CMOSイメージセンサ又はCCDイメージセンサとその周辺回路により構成され、撮影光学系10により形成された被写体像を光電変換してアナログ撮像信号を出力する。撮像素子24には、撮像用画素と焦点検出用画素を兼用した瞳分割機能を有する複数の画素が配置されている。これについては、後に詳しく説明する。
ピント板30は、撮像素子24と等価な位置である撮影光学系10の1次結像面に配置されている。光学ファインダ観察時には、ピント板30上に、被写体像(ファインダー像)が形成される。ペンタプリズム31は、ピント板30上に形成された被写体像を正立正像に変換する。接眼レンズ32は、正立正像をユーザーに観察させる。ピント板30、ペンタプリズム31および接眼レンズ32により光学ファインダが構成される。
AEセンサ33は、ピント板30からの光を、ペンタプリズム31を介して受光し、ピント板30上に形成された被写体像の輝度を測定する。AEセンサ33は、複数のフォトダイオードを有し、カメラ2による撮影範囲を分割するように設定された複数の測光領域のそれぞれで輝度を測定することができる。また、被写体像の輝度測定の他に、被写体像の形や色などを測定して被写体の状態を判定する被写体検知機能も備える。
カメラ制御部40は、MPU等を含むマイクロコンピュータにより構成され、カメラ2と交換レンズ1を有するカメラシステム100全体の動作を制御する。カメラ制御部40は、前述したようにフォーカス制御手段として機能するとともに、後述するAFキャリブレーション手段(本実施形態ではAFマイクロアジャストメント機能という)としても機能する。また、撮像動作を制御する撮像制御手段、信頼度判定手段、およびフォーカスブラケット撮影を行う際の撮影回数をカウントするためのカウンターとしても機能する。
デジタル信号処理部41は、撮像素子24からのアナログ撮像信号をデジタル撮像信号に変換し、さらにそのデジタル撮像信号に対して各種処理を行って画像信号(画像データ)を生成する。撮像素子24およびデジタル信号処理部41により撮像系が構成される。
デジタル信号処理部41は、撮像素子24に配置されている瞳分割用の複数の画素を用いて、位相差検出方式による焦点状態の検出を行う。さらに、デジタル信号処理部41が、検出した撮影光学系10の焦点状態に基づいて、撮影光学系10を合焦させるためにフォーカスレンズ10aを移動させるべき位置を算出することを、第2の焦点検出(以下、撮像面位相差AF(オートフォーカス))という。
デジタル信号処理部41は、撮影後に撮影画像の合焦位置を変更するリフォーカス画像生成部44を備える。リフォーカス画像生成の際に行われるリフォーカス処理については、後に詳しく説明する。カメラ記憶部42は、カメラ制御部40やデジタル信号処理部41の動作で用いられる各種データを記憶している。また、カメラ記憶部42は、生成された記録用画像を保存する。背面モニタ43は、液晶パネル等の表示素子により構成され、ライブビュー画像、記録用画像および各種情報を表示する。
[焦点検出領域のレイアウト]
図2は、本実施形態のAFセンサユニット22におけるエリアセンサの焦点検出領域のレイアウト概略図である。
図2は、本実施形態のAFセンサユニット22におけるエリアセンサの焦点検出領域のレイアウト概略図である。
図2(a)は、撮影範囲内での焦点検出領域のレイアウトを示している。50はカメラによる撮影範囲を示している。51は、撮影範囲50内における、後述の焦点検出領域が配置されている範囲(以下、焦点検出範囲)である。図2(b)は、焦点検出範囲51を拡大して示している。焦点検出範囲51内には、ライン状の焦点検出領域(以下、焦点検出ラインという)が21ライン存在する。焦点検出範囲51の中央領域には、縦方向(焦点検出方向)に長い焦点検出ライン(以下、縦目という)がL1,L2の2ライン配置され、横方向(焦点検出方向)に長い焦点検出ライン(以下、横目という)がL3,L4の2ライン配置されている。
縦目は、相関方向が縦方向(撮像素子24の短辺方向)であり、縦方向の輝度分布から撮影光学系10の焦点状態を検出する。一方、横目は、相関方向が横方向(撮像素子24の長辺方向)であり、横方向の輝度分布から撮影光学系10の焦点状態を検出する。
縦方向に2ライン並んだ焦点検出ラインL1,L2は、縦方向に微小量だけずれて配置されている。このずれ量は、相関方向に並ぶ画素のピッチの半分である。画素ピッチの半分量だけずれて配置された焦点検出ラインL1,L2から得られる2つの焦点検出結果の両方を加味して検出結果を算出することにより、焦点検出のばらつきを軽減する。横方向に2ライン並んだ焦点検出ラインL3,L4についても、焦点検出ラインL1,L2と同様に画素ピッチの半分量だけずれて配置することにより、焦点検出のばらつきを軽減する。
焦点検出範囲51の中央領域には、基線長が長い、F2.8の光束を用いて焦点検出を行う焦点検出ラインL19を横方向に1ライン備えている。焦点検出ラインL19は、焦点検出ラインL3やL4に比べて基線長が長いため、AFセンサユニット22に備えられるエリアセンサの受光面上での像の移動量が大きい。このため、焦点検出ラインL3,L4よりも高精度な焦点検出を実現することができる。
ただし、焦点検出ラインL19は、F2.8の光束を用いているため、開放F値がF2.8以下の明るい交換レンズが装着されたときのみ有効となる。また、像の移動量が大きいため、焦点検出ラインL3,L4に比べて、大きいデフォーカスを検出する能力は劣る。上述のようにF2.8用の焦点検出ライン(以下、F2.8目という)L19を備えることにより、高い検出精度が要求される開放F値がF2.8以下の明るい交換レンズが装着されたときに、それに応じた高精度の検出を実現することができる。
AFセンサユニット22では、焦点検出範囲51の中央領域においては、焦点検出ラインを縦横クロス状に配置することで、縦横両方向の輝度分布を検出することができる。縦横両方向の輝度分布を得ることで、縦方向及び横方向のうち輝度分布があまりない方向で無理に焦点検出を行う必要がなくなるため、検出ばらつきを軽減することができる。これにより、焦点検出可能な被写体の種類を広げると共に、検出精度の向上を実現することができる。このように、焦点検出範囲51の中央領域では、縦目(L1,L2)と、横目(L3,L4)と、F2.8目(L19)による3つの焦点検出結果を得ることができる。
次に、焦点検出範囲51の上下方向に配置された焦点検出ラインについて説明する。焦点検出範囲51の上部には、横目L5,L11が配置されており、焦点検出範囲51の上部に位置する被写体像の横方向の輝度分布から撮影光学系10の焦点状態を検出する。また、焦点検出範囲51の下部には、横目L6,L12が配置されており、焦点検出範囲51の下部に位置する被写体像の横方向の輝度分布から撮影光学系10の焦点状態を検出する。また、焦点検出ラインL5の同じ位置にF2.8用の横目L20が、横目L6と同じ位置にF2.8の横目L21がそれぞれ配置されている。これにより、高い検出精度が要求される開放F値がF2.8以下の明るい交換レンズが装着されたときに、高精度の焦点検出を実現することができる。
焦点検出ラインL3,L4,L5,L6,L11,L12の左端に接するように焦点検出ラインL7,L9が、焦点検出ラインL3,L4,L5,L6,L11,L12の右端に接するように焦点検出ラインL8,L10がそれぞれ縦方向に並んで配置されている。焦点検出ラインL7,L9,L8,L10は縦目であり、縦方向の輝度分布から撮影光学系10の焦点状態を検出する。
焦点検出ラインL7,L9の左側には焦点検出ラインL13,L15が、焦点検出ラインL8,10の外側には焦点検出ラインL14,16が縦方向に並んで配置されている。焦点検出ラインL13,L14,L15,L16も縦目であり、縦方向の輝度分布から撮影光学系10の焦点状態を検出する。
横方向の一番外側には焦点検出ラインL17,L18が配置されている。焦点検出ラインL17,L18は縦方向の中央が光軸上にあり、焦点検出範囲51の横方向の両端に位置する被写体像の縦方向の輝度分布から撮影光学系10の焦点状態を検出する。
[撮像素子]
図3は、撮像素子24の画素の2次元状の配列を示した概略図である。図3に示した2列×2行の画素群200は、R(赤)の分光感度を有する画素200Rが左上に、G(緑)の分光感度を有する画素200Gが右上と左下に、B(青)の分光感度を有する画素200Bが右下に配置されている。さらに、各画素は2列×1行に配列された第1光電変換部201と第2光電変換部202により構成されており、焦点検出用画素としても機能する。なお、焦点検出用画素として機能する場合、図3に示した各画素に2列×1行で光電変換部が配置された構成は、横方向の輝度分布(例えば縦線)から焦点状態を検出することができる横眼の配置となる。一方、各画素に1列×2行で光電変換部を配置すれば、縦方向の輝度分布(例えば横線)から焦点状態を検出することができる縦目の配置となる。さらに、各画素に2列×2行で4つの光電変換部を配置すると、横方向及び縦方向の両方の輝度分布から焦点状態を検出することも可能となる。
図3は、撮像素子24の画素の2次元状の配列を示した概略図である。図3に示した2列×2行の画素群200は、R(赤)の分光感度を有する画素200Rが左上に、G(緑)の分光感度を有する画素200Gが右上と左下に、B(青)の分光感度を有する画素200Bが右下に配置されている。さらに、各画素は2列×1行に配列された第1光電変換部201と第2光電変換部202により構成されており、焦点検出用画素としても機能する。なお、焦点検出用画素として機能する場合、図3に示した各画素に2列×1行で光電変換部が配置された構成は、横方向の輝度分布(例えば縦線)から焦点状態を検出することができる横眼の配置となる。一方、各画素に1列×2行で光電変換部を配置すれば、縦方向の輝度分布(例えば横線)から焦点状態を検出することができる縦目の配置となる。さらに、各画素に2列×2行で4つの光電変換部を配置すると、横方向及び縦方向の両方の輝度分布から焦点状態を検出することも可能となる。
図3に示した4列×4行の画素(8列×4行の光電変換部)を撮像面上に多数配置し、画像信号及び焦点検出信号の取得を可能としている。本実施形態では、画素の周期Pが4μm、画素数Nが横5575列×縦3725行=約2075万画素、光電変換部の列方向周期PAFが2μm、光電変換部の数NAFが横11150列×縦3725行=約4150万個である撮像素子を用いるものとして説明する。
図3に示した撮像素子の1つの画素200Gを、撮像素子の受光面側(+z側)から見た平面図を図4(a)に示し、図4(a)のa−a断面を−y側から見た断面図を図4(b)に示す。
図4に示すように、画素200Gでは、各画素の受光側に入射光を集光するためのマイクロレンズ305が形成され、x方向にNH分割(2分割)、y方向にNV分割(1分割)された光電変換部201,202が配置される。光電変換部201,202は、p型層とn型層の間にイントリンシック層を挟んだpin構造フォトダイオードとしても良いし、必要に応じて、イントリンシック層を省略し、pn接合フォトダイオードとしても良い。各画素には、マイクロレンズ305と、光電変換部201,202との間に、カラーフィルタ306が形成される。また、必要に応じて、各画素毎にカラーフィルタの分光透過率を変えても良いし、カラーフィルタを省略しても良い。
図4に示した画素200Gに入射した光は、マイクロレンズ305により集光され、カラーフィルタ306で分光された後、光電変換部201,202で受光される。光電変換部201,202では、受光量に応じて電子とホールが対生成し、空乏層で分離された後、負電荷の電子はn型層(不図示)に蓄積され、一方、ホールは定電圧源(不図示)に接続されたp型層を通じて撮像素子外部へ排出される。光電変換部201,202のn型層(不図示)に蓄積された電子は、転送ゲートを介して、フローティングディフュージョン部(FD)に転送され、電圧信号に変換される。
図5は、図4に示した画素構造と瞳分割との対応関係を示した概略説明図である。図4(a)に示した画素構造のa−a断面を+y側から見た断面図と撮影光学系10の射出瞳面を図5に示す。図5では、射出瞳面の座標軸と対応を取るために、断面図のx軸とy軸を図4に対して反転させている。
図5において、第1光電変換部201に対応する第1瞳部分領域501は、重心が−x方向に偏心している第1光電変換部201の受光面と、マイクロレンズによって、概ね共役関係になっており、第1光電変換部201で受光可能な瞳領域を表している。第1光電変換部201に対応する第1瞳部分領域501は、瞳面上で重心が+X方向に偏心している。本実施形態の撮像素子24は、この構成により、光の強度とともに光の入射方向の情報を取得可能であり、いわゆるライトフィールドデータを取得可能である。
図5において、第2光電変換部202に対応する第2瞳部分領域502は、重心が+x方向に偏心している第2光電変換部202の受光面と、マイクロレンズによって、概ね共役関係になっており、第2光電変換部202で受光可能な瞳領域を表している。第2光電変換部202に対応する第2瞳部分領域502は、瞳面上で重心が−X方向に偏心している。また、図5において、瞳領域500は、第1光電変換部201と第2光電変換部202を全て合わせた場合の画素200G全体で受光可能な瞳領域である。
図6は、撮像素子と瞳分割との対応関係を示した概略図である。第1瞳部分領域501と第2瞳部分領域502の異なる瞳部分領域を通過した光束は、撮像素子の各画素にそれぞれ異なる角度で入射し、2×1分割された第1光電変換部201と第2光電変換部202で受光される。本実施形態は、瞳領域が水平方向に2つに瞳分割されている例である。必要に応じて、垂直方向に瞳分割を行っても良い。
本実施形態の撮像素子は、撮影光学系10の第1瞳部分領域501を通過する光束を受光する第1光電変換部201と、第1瞳部分領域と異なる撮影光学系10の第2瞳部分領域502を通過する光束を受光する第2光電変換部202とを有する画素が複数配列されている。第1光電変換部201と第2光電変換部202を合わせた1つの画素は、撮影光学系10の第1瞳部分領域501と第2瞳部分領域502を合わせた瞳領域を通過する光束を受光する撮像用画素として機能する。必要に応じて、撮像用画素と、第1光電変換部および第2光電変換部とを別々の画素構成とし、撮像用画素配列の一部に、第1光電変換部に対応する第1焦点検出用画素と、第2光電変換部に対応する第2焦点検出用画素を部分的に配置する構成としても良い。
本実施形態では、撮像素子の各画素の第1光電変換部201の受光信号を集めて第1焦点検出信号を生成し、各画素の第2光電変換部202の受光信号を集めて第2焦点検出信号を生成して焦点検出を行う。また、撮像素子の画素毎に、第1光電変換部201の信号と第2光電変換部202の信号を加算することで、有効画素数Nの解像度の撮像信号(画像信号)を生成する。
[デフォーカス量と像ずれ量の関係]
以下、撮像素子24により取得される第1焦点検出信号及び第2焦点検出信号に基づく像ずれ量と、デフォーカス量の関係について説明する。図7は、第1及び第2焦点検出信号に基づく像ずれ量と、デフォーカス量の概略関係を示す図である。撮像面800に撮像素子24が配置され、図5、図6と同様に、撮影光学系10の射出瞳が、第1瞳部分領域501と第2瞳部分領域502に2分割される。
以下、撮像素子24により取得される第1焦点検出信号及び第2焦点検出信号に基づく像ずれ量と、デフォーカス量の関係について説明する。図7は、第1及び第2焦点検出信号に基づく像ずれ量と、デフォーカス量の概略関係を示す図である。撮像面800に撮像素子24が配置され、図5、図6と同様に、撮影光学系10の射出瞳が、第1瞳部分領域501と第2瞳部分領域502に2分割される。
デフォーカス量dは、被写体の結像位置から撮像面800までの距離を大きさ|d|とし、被写体の結像位置が撮像面800より被写体側にある前ピン状態を負符号(d<0)、被写体の結像位置が撮像面800より被写体の反対側にある後ピン状態を正符号(d>0)で表わす。被写体の結像位置が撮像面800(合焦位置)にある合焦状態はd=0である。図7では、被写体801が合焦状態(d=0)で、被写体802が前ピン状態(d<0)である例を示している。前ピン状態(d<0)と後ピン状態(d>0)を合わせて、デフォーカス状態(|d|>0)とする。
前ピン状態(d<0)では、被写体802からの光束のうち、第1瞳部分領域501(第2瞳部分領域502)を通過した光束は、一度、集光された後、光束の重心位置G1(G2)を中心として幅Γ1(Γ2)に広がり、撮像面800でボケた像となる。ボケた像は、撮像素子に配列された各画素を構成する第1光電変換部201(第2光電変換部202)により受光され、第1焦点検出信号(第2焦点検出信号)が生成される。よって、第1焦点検出信号(第2焦点検出信号)は、撮像面800上の重心位置G1(G2)に、被写体802が幅Γ1(Γ2)にボケた画像として記録される。被写体像のボケ幅Γ1(Γ2)は、デフォーカス量dの大きさ|d|が増加するのに伴い、概ね、比例して増加していく。同様に、第1焦点検出信号と第2焦点検出信号間の被写体像の像ずれ量p(=光束の重心位置の差G1−G2)の大きさ|p|も、デフォーカス量dの大きさ|d|が増加するのに伴い、概ね、比例して増加していく。後ピン状態(d>0)でも、第1焦点検出信号と第2焦点検出信号間の被写体像の像ずれ方向が前ピン状態と反対となるが、同様である。
したがって、本実施形態では、第1焦点検出信号と第2焦点検出信号、もしくは、第1焦点検出信号と第2焦点検出信号を加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第1焦点検出信号と第2焦点検出信号間の像ずれ量の大きさが増加する。なお、第2の焦点検出(撮像面位相差AF)においては、第1焦点検出信号と第2焦点検出信号を相対的にシフトさせて信号の一致度を表す相関量(第1評価値)を計算し、相関(信号の一致度)が良くなるシフト量から像ずれ量を検出する。撮像信号のデフォーカス量の大きさが増加するのに伴い、第1焦点検出信号と第2焦点検出信号間の像ずれ量の大きさが増加する関係性から、像ずれ量をデフォーカス量に変換して焦点検出を行う。
[リフォーカス処理]
次に、上述した撮像素子24から得られたライトフィールド(LF)データを用いたリフォーカス処理と、その場合のリフォーカス可能範囲について説明する。
次に、上述した撮像素子24から得られたライトフィールド(LF)データを用いたリフォーカス処理と、その場合のリフォーカス可能範囲について説明する。
図8は、本実施形態の撮像素子により取得された第1焦点検出信号と第2焦点検出信号による1次元方向(列方向、水平方向)のリフォーカス処理の概略説明図である。図8の撮像面800は、図6、図7に示した撮像面800に対応している。図8では、iを整数として、撮像面800に配置された撮像素子の列方向i番目の画素の第1焦点検出信号をAi、第2焦点検出信号をBiで模式的に表している。第1焦点検出信号Aiは、図6の瞳部分領域501に対応して、主光線角度θaでi番目の画素に入射した光束の受光信号である。第2焦点検出信号Biは、図6の瞳部分領域502に対応して、主光線角度θbでi番目の画素に入射した光束の受光信号である。
第1焦点検出信号Aiと第2焦点検出信号Biは、光強度分布情報だけでなく、入射角度情報も有している。よって、第1焦点検出信号Aiを角度θaに沿って仮想結像面810まで平行移動させ、第2焦点検出信号Biを角度θbに沿って仮想結像面810まで平行移動させ、加算することで、仮想結像面810でのリフォーカス信号を生成できる。第1焦点検出信号Aiを角度θaに沿って仮想結像面810まで平行移動させることは、列方向に+0.5画素シフトさせることに対応する。また、第2焦点検出信号Biを角度θbに沿って仮想結像面810まで平行移動させることは、列方向に−0.5画素シフトさせることに対応する。したがって、第1焦点検出信号Aiと第2焦点検出信号Biを相対的に+1画素シフトさせ、AiとBi+1を対応させて加算することで、仮想結像面810でのリフォーカス信号を生成できる。同様に、第1焦点検出信号Aiと第2焦点検出信号Biを整数シフトさせて加算することで、整数シフト量に応じた各仮想結像面でのシフト加算信号(リフォーカス信号)を生成できる。生成されたシフト加算信号(リフォーカス信号)を用いて画像を生成することにより、仮想結像面でのリフォーカス画像を生成することができる。
本実施形態では、リフォーカス画像生成部44により、第1焦点検出信号と第2焦点検出信号に、第2フィルター処理と第2シフト処理を行い、加算してシフト加算信号を生成する。そして、生成されたシフト加算信号(リフォーカス信号)を用いて画像を生成することにより、仮想結像面でのリフォーカス画像を生成する。なお、本実施形態の撮像素子24の撮像画素の配列の場合には、撮像画素がx方向に2分割、y方向に1分割されているため、シフト加算信号を生成する方向がx方向(水平方向、横方向)に限定される。
[リフォーカス可能範囲]
一方、リフォーカス可能範囲には限界があるため、リフォーカス画像生成部44によって仮想結像面でのリフォーカス画像を生成できる範囲は限定される。図9は、本実施形態におけるリフォーカス可能範囲の概略説明図である。
一方、リフォーカス可能範囲には限界があるため、リフォーカス画像生成部44によって仮想結像面でのリフォーカス画像を生成できる範囲は限定される。図9は、本実施形態におけるリフォーカス可能範囲の概略説明図である。
許容錯乱円をδとし、結像光学系の絞り値をFとすると、絞り値Fでの被写界深度は±Fδである。これに対して、NH×NV(2×1)分割されて狭くなった瞳部分領域501(502)の水平方向の実効絞り値F01(F02)は、F01=NH・Fと暗くなる。第1焦点検出信号(第2焦点検出信号)毎の実効的な被写界深度は±NH・FδとNH倍深くなり、合焦範囲がNH倍に広がる。実効的な被写界深度±NH・Fδの範囲内では、第1焦点検出信号(第2焦点検出信号)毎に合焦した被写体像が取得されている。よって、図8に示した主光線角度θa(θb)に沿って第1焦点検出信号(第2焦点検出信号)を平行移動するリフォーカス処理により、撮影後に、合焦位置を再調整(リフォーカス)することができる。撮影後に合焦位置を再調整(リフォーカス)できるデフォーカス量dは限定されており、リフォーカス可能なデフォーカス量dの範囲は、概ね、式(1)の範囲である。
|d|≦NH・Fδ …(1)
許容錯乱円δは、δ=2ΔX(画素周期ΔXのナイキスト周波数1/(2ΔX)の逆数)などで規定される。必要に応じて、画素加算処理後の第1焦点検出信号(第2焦点検出信号)の周期ΔXAF(=6ΔX:6画素加算の場合)のナイキスト周波数1/(2ΔXAF)の逆数を許容錯乱円δ=2ΔXAFとしても用いても良い。シフト加算信号(リフォーカス信号)を用いて仮想結像面でのリフォーカス画像を生成する際に、許容錯乱円δを満たすリフォーカス画像を生成できる範囲は、概ね、式(1)の範囲に限定される。
許容錯乱円δは、δ=2ΔX(画素周期ΔXのナイキスト周波数1/(2ΔX)の逆数)などで規定される。必要に応じて、画素加算処理後の第1焦点検出信号(第2焦点検出信号)の周期ΔXAF(=6ΔX:6画素加算の場合)のナイキスト周波数1/(2ΔXAF)の逆数を許容錯乱円δ=2ΔXAFとしても用いても良い。シフト加算信号(リフォーカス信号)を用いて仮想結像面でのリフォーカス画像を生成する際に、許容錯乱円δを満たすリフォーカス画像を生成できる範囲は、概ね、式(1)の範囲に限定される。
[AF(オートフォーカス)マイクロアジャストメント機能]
図10はAFマイクロアジャストメントの設定画面を示す図である。本実施形態における撮像装置はAFマイクロアジャストメント機能を有している。AFマイクロアジャストメント機能とは、ユーザーが撮影した画像に基づいて、AFセンサユニット22が検出する合焦位置と実際の合焦位置のずれ量とその方向を判断して、ユーザー自ら補正値を設定するシステムである。この補正値は、実際の撮影時(記録用画像の撮影時)に行われる位相差AFの補正に用いられる。図10に示すように、本実施形態における撮像装置のAFマイクロアジャストメントは、補正間隔をPとすると、±20Pの範囲内でAFセンサユニット22が検出する合焦位置と実際の合焦位置のずれを補正できる。図10中の0はカメラ2が工場出荷時に設定された基準位置である。
図10はAFマイクロアジャストメントの設定画面を示す図である。本実施形態における撮像装置はAFマイクロアジャストメント機能を有している。AFマイクロアジャストメント機能とは、ユーザーが撮影した画像に基づいて、AFセンサユニット22が検出する合焦位置と実際の合焦位置のずれ量とその方向を判断して、ユーザー自ら補正値を設定するシステムである。この補正値は、実際の撮影時(記録用画像の撮影時)に行われる位相差AFの補正に用いられる。図10に示すように、本実施形態における撮像装置のAFマイクロアジャストメントは、補正間隔をPとすると、±20Pの範囲内でAFセンサユニット22が検出する合焦位置と実際の合焦位置のずれを補正できる。図10中の0はカメラ2が工場出荷時に設定された基準位置である。
次に、本実施形態におけるカメラ2のAF(オートフォーカス)キャリブレーション(以下、CAL)モードについて説明する。図11は、本実施形態におけるCALモードの動作を示すフローチャートである。
ユーザーによってCALモードが選択されると、ステップS100へ進む。ステップS100では、カメラ制御部40は、不図示のレリーズスイッチの半押し操作により第1スイッチ(SW1)がONになったか否かを判定する。ONになっていない場合は待機状態になり、ONになった場合はステップS200へ進む。
ステップS200では、AFセンサユニット22による位相差AFが行われる。詳細は後述する。ステップS200の位相差AFが完了すると、ステップS300へ進む。ステップS300では、被写体情報評価値の算出を行う。被写体情報の中には、AF信頼性評価値などが含まれる。AF信頼性評価値は、AFセンサユニット22内に配置されたエリアセンサで受光した信号に基づいて算出される。たとえば、前述したSレベル値SLなどである。
AFセンサユニット22は被写体が暗いときや、コントラストが低い場合などに、焦点検出精度が低下することがある。焦点検出精度が低下するような被写体の場合には被写体情報評価値であるAF信頼性評価値は低い値となるように算出される。また、被写体情報評価値はAF信頼性評価値に限定されず、被写体の空間周波数情報や、被写体のエッジ情報(隣接画素値の差分の積分値など)の大小に応じて算出しても構わない。また、被写体情報評価値を算出するための被写体情報の検出は、AFセンサユニット22内に備えられたエリアセンサに限定されるものではなく、光学ファインダに配置されるAEセンサ33における被写体検知機能による検出でもよい。また、撮像素子24による検出であっても構わない。被写体情報評価値の算出が完了すると、ステップS400へ進む。
ステップS400では、ステップS300で算出された被写体情報評価値をもとにCALが可能かどうか判定される。例えば、被写体情報評価値であるAF信頼性評価値が高い場合、つまり、CALが可能と判定されれば、ステップS700へ進み、AF信頼性評価値が低い場合、つまり、CALが不可能と判定されれば、ステップS500へ進む。なお、AF信頼性評価値は複数の観点で算出され、複数の値が存在する。前述のように、被写体の輝度や、被写体のコントラストなど複数の観点がある。この場合には、すべてのAF信頼性評価値が所定の条件を満足するかどうかで判定してもよいし、定められたある観点での値に基づいて判定しても構わない。ステップS500では、背面モニタ43を用いて、焦点検出対象被写体はCALに不適切であることをユーザーに通知する。通知が完了すると、ステップS600へ進む。
ステップS600では、ユーザーがCALを終了するか否かを決定する。背面モニタ43上には再度CALを行うか否かの判断をユーザーに決定させるための表示を行い、ユーザーは不図示の操作ボタンを操作して再度CALを行うか否かを決定する。再度CALを行うと決定されれば、ステップS100へと戻り、CALを終了すると決定されれば、CALモードは終了する。
ステップS700では、フォーカスレンズ10aを所定量ずつ移動させてピントをずらしながら複数枚の画像を撮影するフォーカスブラケット撮影が行われる。詳細は後述する。フォーカスブラケット撮影が完了すると、ステップS800へ進む。ステップS800では、上記の複数枚の画像の中からユーザーによりピントが最も合っていると思われる画像の選択が行われる。詳細は後述する。
ステップS900では補正値の格納が行われる。ユーザーが選択した画像に関連付けられたデフォーカス量あるいはレンズ位置に対応した算出デフォーカス量に基づいて補正値が決定される。決定された補正値はカメラ記憶部42に記憶される。また、格納された補正値がユーザーに通知される。
図12は背面モニタ43が格納された補正値を表示する画面を示した図である。図12中、白抜きの三角表示はこれまでの補正値を示しており、黒塗りの三角表示は今回のキャリブレーション動作で格納される新補正値を示している。図12に示した表示を行うことにより、ユーザーはどのような補正値が格納されたかを確認することができる。補正値の格納が完了すると、CALモードを終了する。
図13は、本実施形態におけるCALモードのサブフローである位相差AFフローを示す図である。
ステップS201では、AFラインフラグのリセットが行われる。AFラインフラグは、AFセンサユニット22内に配置された焦点検出ライン(L1〜L21)の、縦目と横目についてのフラグである。縦目に対するフラグはAFVであり、横目に対するフラグはAFHである。
ステップS202では、カメラ制御部40は、撮影範囲内に設けられた21個の焦点検出ラインの中から、ユーザーの選択操作又は所定のアルゴリズムに従って1つの焦点検出ラインを指定する。
ステップS203では、カメラ制御部40は、ステップS202で指定された焦点検出ラインが焦点検出範囲の中央領域に含まれる焦点検出ラインL1〜L4およびL19であるか否かを判定する。指定された焦点検出ラインが中央領域の焦点検出ラインでなければステップS204に進み、中央領域の焦点検出ラインであればステップS206に進む。
ステップS204では、カメラ制御部40は、指定された焦点検出ラインに対応するAFセンサユニット22のエリアセンサ上の一対の受光素子列から一対の像信号を取り込む。そして、その一対の像信号の位相差を算出し、さらにその位相差からデフォーカス量を算出する。また、指定された焦点検出ラインを特定焦点検出ラインとして決定する。そして、ステップS205に進む。
ステップS205では、カメラ制御部40は、ステップS204で取り込んだ各焦点検出ラインに対応する一対の像信号から、それらの一致度U、相関変化量ΔV、シャープネスSHおよび明暗比PBDを算出する。さらにこれら4つのパラメータの値を用いて、前述したSレベル値SLを算出する。SレベルSLの算出が完了したら、ステップS209へ進む。
ステップS206では、カメラ制御部40は、焦点検出範囲の中央領域に含まれる各焦点検出ラインに対応するエリアセンサ上の一対の受光素子列から一対の像信号を取り込む。そして、その一対の像信号の位相差を算出し、さらにその位相差からデフォーカス量を算出する。そして、ステップS207に進む。
ステップS207では、カメラ制御部40は、ステップS205と同様に、ステップS206で取り込んだ各焦点検出ラインに対応する一対の像信号から、Sレベル値SLを算出する。SレベルSLの算出が完了したら、ステップS208へ進む。
ステップS208では、カメラ制御部40は、撮影範囲の中央領域に含まれる各焦点検出ラインのSレベル値SLのうち最も小さい値に対応する焦点検出ライン(つまり、信頼性の高い焦点検出ライン)を、特定焦点検出ラインとして決定する。そして、ステップS209に進む。
ステップS209では、S208、S204によって決定された特定焦点検出ラインが、横目であるか否かを判定する。横目である場合はステップS210へ進み、横目でない場合(縦目である場合)はステップS211へ進む。なお、本実施形態ではAFセンサユニット22の焦点検出ラインのレイアウトが縦目と横目のみの構成となっているため、ここではAFラインフラグは縦目と横目の2種類としている。焦点検出ラインのレイアウトはこれに限定されず、焦点検出ラインのレイアウトに合わせて、特定焦点検出ラインの選択条件、AFラインフラグの数や種類を変更することも考えられる。
ステップS210では、横目のAFラインフラグAFHを1に設定する。設定が完了したら、ステップS212へ進む。ステップS211では、縦目のAFラインフラグAFVを1に設定する。設定が完了したら、ステップS212へ進む。
ステップS212では、カメラ制御部40は、特定焦点検出ラインでのデフォーカス量から合焦状態を得るために必要なフォーカスレンズ10aの移動量(移動方向を含む)を算出する。具体的には、フォーカスレンズ10aを移動させるレンズ駆動部11のアクチュエータの駆動パルス数を算出する。フォーカスレンズ10aの移動量を算出することは、位相差検出方式による合焦位置を算出することに相当する。なお、現時点でAFマイクロアジャストメント機能によって補正量が指定されている場合は、ステップS212で算出したフォーカスレンズ10aの移動量にAFマイクロアジャストメント機能により指定された補正値を加算(又は減算)し、移動量を補正する。補正値が作成されていない場合は、補正値が0になるので、フォーカスレンズ10aの移動量(位相差合焦位置)の補正は行われない。
ステップS213では、カメラ制御部40は、補正された移動量だけフォーカスレンズ10aが移動されるようにレンズ制御部13にフォーカス指令を送信する。これにより、レンズ制御部13は、レンズ駆動部11を通じてフォーカスレンズ10aを補正された位相差合焦位置に移動させる。ステップS212において補正前の移動量だけ(つまりは補正前の位相差合焦位置に)フォーカスレンズ10aを移動させてもよい。そして、ステップS213において、AFマイクロアジャストメント機能で指定された補正量に相当する移動量だけフォーカスレンズ10aを再度移動させ、結果的にフォーカスレンズ10aを補正後の位相差合焦位置に移動させるようにしてもよい。以上、位相差AF動作が完了したら、図11のCALモードのメインフローのステップS300へ戻る。
図14は、本実施形態におけるCALモードのサブフローであるフォーカスブラケット撮影フローを示す図である。
ステップS701では、AFラインフラグAFHが1であるか否かを判定する。AFラインフラグAFHが1である場合(つまり、特定焦点検出ラインが横目である場合)は、ステップS704へ進む。AFラインフラグAFHが0である場合(つまり、特定焦点検出ラインが縦目である場合)は、ステップS702へ進む。
ステップS702およびステップS703では、AFHが0である場合(つまり、特定焦点検出ラインが縦目である場合)のレンズ駆動量wとフォーカスブラケット撮影の撮影枚数mを決定する。
図15はフォーカスブラケット撮影に関するレンズ駆動量wと、撮影枚数mの関係を示す図である。図15(a)は、AFHが0である場合の図である。図15(a)において、レンズ位置=0の位置は、図11のフローチャートにおけるステップS200の位相差AFによってフォーカスレンズ10aが駆動された後に停止した位置(ピント位置)であり、図14のサブフローのフォーカスレンズ10aの開始位置である。フォーカスレンズ10aはカメラ制御部40に備えられたカウンターのカウント値に応じた位置に駆動される。レンズ駆動量wは、前述したAFマイクロアジャストメントの補正間隔Pに係数k(係数kはk≧2の整数値)を掛けた量(k・P)である。この場合、レンズ駆動量wの計算には、縦目選択時の係数kの値であるVkが代入され、w=Vk・Pとなる。本実施形態では、係数Vk=2とするため、レンズ駆動量w=Vk・P=2Pとなる。レンズ駆動量wを決定したら、ステップS703へ進む。
ステップS703では、フォーカスブラケット撮影の撮影枚数mを決定する。撮影枚数mはAFラインフラグAFHが0の場合には、縦目選択時の撮影枚数Vmが代入される。本実施形態では、撮影枚数m=Vm=9とする。撮影枚数mを決定したら、ステップS706へ進む。
ステップS704およびステップS705では、AFHが1である場合(つまり、特定焦点検出ラインが横目である場合)のレンズ駆動量wとフォーカスブラケット撮影の撮影枚数mを決定する。
ステップS704では、レンズ駆動量wを決定する。図15(b)は、AFHが1である場合の、フォーカスブラケット撮影に関するレンズ駆動量wと、撮影枚数mの関係を示す図である。レンズ駆動量wは前述したステップS702と同様、補正間隔Pに係数kを掛けた量(k・P)である。この場合、レンズ駆動量wには、横目選択時の係数kの値である係数Hkが代入され、w=Hk・Pとなる。本実施形態では、横目選択時のレンズ駆動量w=6Pとする。
本実施形態では、リフォーカス画像生成時のシフト加算が水平方向であるため、AFHが1の場合、後述する図16の画像選択のフローチャートにおいて、リフォーカス画像が生成可能である。つまり、フォーカスブラケット撮影で得られた撮影画像(図15(b)のB0)から、前述したリフォーカス可能範囲でリフォーカス画像(図15(b)のB0a,B0b)を生成できる。言い換えれば、フォーカスブラケット撮影で実際に撮影された画像の前後の画像を、画像処理によって生成することができる。本実施形態では、±(m−1)/2wに相当するデフォーカス量でリフォーカス処理を施し、リフォーカス画像を生成する。そのため、図15(b)に示すように、撮影画像B0から、+(m−1)/2wに相当するデフォーカス量で無限遠側へリフォーカス処理を施したリフォーカス画像B0a(図15(a)の撮影画像A0に相当)を生成することができる。同様に、至近側へリフォーカス処理を施したリフォーカス画像B0b(図15(a)の撮影画像A2に相当)を生成することも可能である。すなわち、1枚の撮影画像(B0)から2枚の画像(B0a,B0b)を生成することができるため、横目選択時の係数Hk(=6)は、縦目選択時の係数Vk(=2)の3倍とすることが可能となる。よって、横目選択時の係数Hk=6とし、レンズ駆動量w=Hk・P=6Pとする。つまり、縦目選択時のレンズ駆動量w=Vk・P(=2P)と横目選択時のレンズ駆動量w=Hk・P(=6P)の関係は、Hk・P>Vk・Pであり、縦目選択時に比べてレンズ駆動量wを大きく設定することができる。レンズ駆動量wを決定したら、ステップS705へ進む。
ステップS705では、フォーカスブラケット撮影の撮影枚数mを決定する。撮影枚数mはAFラインフラグAFHが1の場合には、横目選択時の撮影枚数Hmが代入される。本実施形態では、撮影枚数m=Hm=3とする。ステップS704と同様、±(m−1)/2wに相当するデフォーカス量でリフォーカス処理を施し、リフォーカス画像を生成できる。すなわち、1枚の撮影画像(B0)から2枚の画像(B0a,B0b)を生成することができるため、横目選択時の撮影枚数Hmは、縦目選択時の撮影枚数Vm(=9)の3分の1の撮影枚数でよい。つまり、縦目選択時の撮影枚数Vm(=9)と横目選択時の撮影枚数Hm(=3)の関係は、Vm>Hmであり、縦目選択時に比べて撮影枚数mを少なく設定することができる。撮影枚数mを決定したら、ステップS706へ進む。
なお、本実施形態では撮影枚数mはカメラによって設定されているが、ユーザーが任意に設定するようにしても構わない。ユーザーのレベルに応じて変更可能にすることでユーザーに適したシステムとすることができる。また、本実施形態では撮影枚数mとレンズ駆動量wを変数としたが、いずれか及びその両方がカメラ2あるいは交換レンズ1の固有値であっても構わない。
ステップS706では、カメラ制御部40は、カウンターのリセット(カウント値n=0にする)を行う。カウンターリセットが完了すると、ステップS707へ進む。ステップS707では、AFセンサユニット22からAF情報を検出する。その際、図13の位相差AFのサブフローチャートにおけるステップS204およびステップS208によって決定された特定焦点検出ラインを使用する。AF情報は、焦点状態(デフォーカス量)や、その他一対の像信号に関する情報などである。AF情報の検出が完了すると、ステップS708へ進む。
ステップS708では、ミラーアップ動作が行われる。主ミラー20およびサブミラー21がアップ位置に退避すると、ステップS709へ進む。ステップS709では、フォーカスレンズ10aが駆動される。図15に示すようにカウント値n=0の時、フォーカスレンズ10aは−(m−1)/2wの位置に移動する。カウント値n≧1の時、フォーカスレンズ10aは停止している位置から+w分無限遠側に移動する。フォーカスレンズ10aの駆動が完了すると、ステップS710へ進む。
ステップS710では、静止画撮影が行われる。撮影された画像は、ステップS707で取得したAF情報やレンズ位置に関連付けられてカメラ記憶部42に記憶される。撮影画像の記録が完了すると、ステップS711へと進む。ステップS711では、ミラーダウン動作が行われる。主ミラー20およびサブミラー21がダウン位置に移動する。ミラーダウン動作が完了すると、ステップS712へ進む。
ステップS712では、カメラ制御部40に備えられたカウンターのカウント値を1つカウントアップ(n=n+1)する。カウントアップが完了すると、ステップS713へと進む。ステップS713では、カメラ制御部40に備えられたカウンターのカウント値が撮影枚数mに達したかどうか(n=m−1)が判定される。撮影枚数mに達していなければステップS703へと戻り、撮影枚数mに達していれば、フォーカスブラケット撮影の動作フローは完了する。以上、フォーカスブラケット撮影動作が完了したら、図11のCALモードのメインフローのステップS800へ戻る。
図16は、本実施形態におけるCALモードのサブフローである画像選択フローを示す図である。
ステップS801では、横目のAFラインフラグAFHが1であるか否かを判定する。横目のAFラインフラグAFHが1である場合(つまり、特定焦点検出ラインに横目を使用し、CALにおけるAF情報検出を行う焦点検出ラインが横目である場合)は、ステップS802へ進む。横目のAFラインフラグAFHが0である場合(つまり、特定焦点検出ラインに縦目を使用し、CALにおけるAF情報検出を行う焦点検出ラインが縦目である場合)は、ステップS803へ進む。
ステップS802では、リフォーカス画像生成部44によって、水平方向へシフト加算させたリフォーカス画像の生成を行う。本実施形態では、撮像素子24の光電変換部がx方向に2分割、y方向に1分割に形成されているため、リフォーカス画像生成時のシフト加算は、x方向(水平方向、横方向)に限定される。そのため、x方向(水平方向、横方向)の輝度分布から焦点状態を検出する横目を選択した場合(つまり、横目のAFラインフラグAFHが1である場合)にのみ、リフォーカス画像の生成を許可するようなフローとなっている。リフォーカス画像の生成が完了したら、ステップS803へ進む。
ステップS803では、背面モニタ43によってユーザーへ画像(表示画像)を提示する。このとき、ステップS802においてリフォーカス画像を生成した場合には、フォーカスブラケットにより実際に撮影された画像とあわせて、リフォーカス画像も提示する。表示される画像の枚数は1枚ずつでもよいし、複数枚並べて表示しても構わない。画像の提示が完了したら、ステップS804へ進む。
ステップS804では、ユーザーが画像を決定したか否かが判定される。ユーザーは、提示された画像の中から最も合焦状態にある画像を選択し、決定する。それまでは待機状態となる。ユーザーが画像を決定したら、ステップS805へ進む。
ステップS805では、ステップS804で選択された画像に基づいて、補正値の算出を行う。各画像には、図14のフォーカスブラケット撮影フローにおけるステップS707で取得したAF情報あるいはレンズ位置に対応したデフォーカス量が算出され、補正値用の情報として関連付けられている。ユーザーが選択した画像に関連付けられたAF補正値用の情報を用いて補正値を算出し、補正値が決定される。なお、ステップS804で選択された画像がリフォーカス画像である場合には、リフォーカス画像の元となる画像のデフォーカス量と選択されたリフォーカス画像のデフォーカス量の差分を算出し、リフォーカス画像の元となる画像に関連付けられたデフォーカス量に加算あるいは減算した値を補正値用の情報として関連付ける。その補正値用の情報を用いて補正値を算出することで補正値を決定する。また、選択されたリフォーカス画像の前後の撮影画像から、デフォーカス量を補間して算出した値を補正値用の情報として関連付け、そこから補正値を決定してもよい。以上、画像選択動作が完了したら、図11のCALモードのメインフローのステップS900へ戻る。
なお、ステップS802においては、本実施形態では、撮像素子24の光電変換部がx方向に2分割、y方向に1分割に形成されている例で説明したが、本発明はこれに限定されるものではない。たとえば、撮像素子の光電変換部がx方向に1分割、y方向に2分割に形成されている場合においては、リフォーカス画像生成時のシフト加算は、y方向(垂直方向、縦方向)に限定される。その場合、CALモードにおける画像選択時には、y方向(垂直方向、縦方向)の輝度分布から焦点状態を検出する縦目を選択した場合にのみ、リフォーカス画像の生成を許可することになる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されるものではなく、その要旨の範囲内で種々の変形及び変更が可能である。
例えば、上記の実施形態では、焦点検出専用に設けられたAFセンサユニット22を用いて焦点検出を行ったが、図3に示したように1つの単位画素に複数の光電変換素子を有する撮像素子を用いて焦点検出を行ってもよい。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
10:撮影光学系、10a:フォーカスレンズ、22:AFセンサユニット、24:撮像素子、41:デジタル信号処理部、44:リフォーカス画像生成部
Claims (13)
- 被写体像を光電変換する撮像手段と、
撮影光学系の異なる瞳領域を通過した光により形成される一対の像信号を用いて位相差検出方式により前記撮影光学系のピント位置を検出する焦点検出手段と、
前記撮影光学系のピント位置を所定量ずつずらしながら、前記撮影光学系の複数のピント位置のそれぞれについて、前記撮像手段によりライトフィールドデータを取得するように前記撮像手段を制御する撮像制御手段と、
前記焦点検出手段による位相差の検出方向と前記ライトフィールドデータにおける視差の方向とに応じて、前記撮像手段により前記撮影光学系の複数のピント位置について取得されたライトフィールドデータを用いて、前記撮影光学系の複数のピント位置の間のピント位置に対応するリフォーカス画像を生成する生成手段と、
を備えることを特徴とする撮像装置。 - 前記生成手段は、前記焦点検出手段による位相差の検出方向と前記ライトフィールドデータにおける視差の方向が対応する場合に、前記撮影光学系の複数のピント位置の間のピント位置に対応するリフォーカス画像を生成することを特徴とする請求項1に記載の撮像装置。
- 前記生成手段は、前記焦点検出手段による位相差の検出方向と前記ライトフィールドデータにおける視差の方向が対応する場合には、前記撮影光学系の複数のピント位置の間隔を、前記焦点検出手段による位相差の検出方向と前記ライトフィールドデータにおける視差の方向が対応しない場合よりも広くすることを特徴とする請求項1または2に記載の撮像装置。
- 前記撮像制御手段は、前記焦点検出手段による位相差の検出方向と前記ライトフィールドデータにおける視差の方向が対応する場合に、前記ライトフィールドデータを取得する回数を、前記焦点検出手段による位相差の検出方向と前記ライトフィールドデータにおける視差の方向が対応しない場合よりも少くすることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
- 前記撮像手段は、前記焦点検出手段を兼ねることを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
- 前記撮像手段によりライトフィールドデータとして取得された画像と、前記生成手段により生成されたリフォーカス画像とを表示する表示手段をさらに備えることを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
- 前記表示手段に表示された複数の表示画像から、ユーザがピントが合っていると判断した画像を選択するための選択手段をさらに備えることを特徴とする請求項6に記載の撮像装置。
- 前記選択手段により選択された画像のピント位置に基づいて、前記撮像装置のピント位置を補正する補正手段をさらに備えることを特徴とする請求項7に記載の撮像装置。
- 前記補正手段による補正値を記憶する記憶手段をさらに備えることを特徴とする請求項8に記載の撮像装置。
- 前記撮像手段は、1つのマイクロレンズに対して複数の光電変換部を有する画素が2次元状に配置された撮像素子を有することを特徴とする請求項1乃至9のいずれか1項に記載の撮像装置。
- 被写体像を光電変換する撮像手段を有する撮像装置を制御する方法であって、
撮影光学系の異なる瞳領域を通過した光により形成される一対の像信号を用いて位相差検出方式により前記撮影光学系のピント位置を検出する焦点検出工程と、
前記撮影光学系のピント位置を所定量ずつずらしながら、前記撮影光学系の複数のピント位置のそれぞれについて、前記撮像手段によりライトフィールドデータを取得するように前記撮像手段を制御する撮像制御工程と、
前記焦点検出工程における位相差の検出方向と前記ライトフィールドデータにおける視差の方向とに応じて、前記撮像手段により前記撮影光学系の複数のピント位置について取得されたライトフィールドデータを用いて、前記撮影光学系の複数のピント位置の間のピント位置に対応するリフォーカス画像を生成する生成工程と、
を有することを特徴とする撮像装置の制御方法。 - 請求項11に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
- 請求項11に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016080472A JP2017192028A (ja) | 2016-04-13 | 2016-04-13 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
US15/480,606 US20170302844A1 (en) | 2016-04-13 | 2017-04-06 | Image capturing apparatus, control method therefor, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016080472A JP2017192028A (ja) | 2016-04-13 | 2016-04-13 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017192028A true JP2017192028A (ja) | 2017-10-19 |
Family
ID=60086197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016080472A Pending JP2017192028A (ja) | 2016-04-13 | 2016-04-13 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017192028A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020013050A (ja) * | 2018-07-20 | 2020-01-23 | 株式会社タムロン | 撮影パラメータ調整装置、それを備えたレンズユニット、撮影パラメータ調整システム、及び撮影パラメータの調整方法 |
JP2021056532A (ja) * | 2017-11-06 | 2021-04-08 | キヤノン株式会社 | 撮像装置およびその制御方法 |
US11539874B2 (en) | 2017-11-06 | 2022-12-27 | Canon Kabushiki Kaisha | Image-capturing apparatus and control method thereof |
-
2016
- 2016-04-13 JP JP2016080472A patent/JP2017192028A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021056532A (ja) * | 2017-11-06 | 2021-04-08 | キヤノン株式会社 | 撮像装置およびその制御方法 |
US11539874B2 (en) | 2017-11-06 | 2022-12-27 | Canon Kabushiki Kaisha | Image-capturing apparatus and control method thereof |
JP7225192B2 (ja) | 2017-11-06 | 2023-02-20 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP2020013050A (ja) * | 2018-07-20 | 2020-01-23 | 株式会社タムロン | 撮影パラメータ調整装置、それを備えたレンズユニット、撮影パラメータ調整システム、及び撮影パラメータの調整方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8730374B2 (en) | Focus detection apparatus | |
JP5207797B2 (ja) | 撮像装置およびその制御方法 | |
US20170302844A1 (en) | Image capturing apparatus, control method therefor, and storage medium | |
JP2017192028A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2017032646A (ja) | 撮像装置及びその制御方法 | |
JP2010060771A (ja) | 撮像装置 | |
JP5240591B2 (ja) | 撮像装置、合焦装置、撮像方法および合焦方法 | |
JP2018151508A (ja) | 撮像装置 | |
JP6845912B2 (ja) | 撮像装置及びその制御方法 | |
JP7014248B2 (ja) | 撮像装置 | |
JP7387265B2 (ja) | 撮像素子、撮像装置、及び制御方法、並びにプログラム | |
JP2022103610A (ja) | レンズ装置、撮像装置、レンズ装置の制御方法、およびプログラム | |
US8553133B2 (en) | Focusing apparatus | |
JP5590850B2 (ja) | 撮像装置および撮像装置のフォーカス制御方法 | |
JP2010282107A (ja) | 撮像装置及びその制御方法 | |
JP5018932B2 (ja) | 撮像装置 | |
JP2015121778A (ja) | 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体 | |
JP2018026604A (ja) | 撮像装置および撮像装置システム | |
JP2018116267A (ja) | 焦点検出装置および方法、および撮像装置 | |
JP5295413B2 (ja) | 撮像装置 | |
JP2017223763A (ja) | 撮像装置 | |
US20240284043A1 (en) | Apparatus, control method for apparatus, and storage medium | |
JP6938719B2 (ja) | 撮像装置及び撮像システム | |
JP6526294B2 (ja) | 撮像装置及びレンズ装置 | |
JP2018005147A (ja) | 撮像装置 |