JP2020181186A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】広い距離範囲の測距を高い精度で高速に行うことが可能な撮像装置を提供する。【解決手段】撮像装置１００は、結像光学系１０３と、撮像素子１０１と、光源１０２と、結像光学系１０３に配置された部分反射鏡１０４と、光源１０２から出射された光に起因する撮像素子１０１からの出力を用いて被写体から撮像素子１０１までの距離を演算するＴＯＦ演算部１０７とを備える。部分反射鏡１０４の面の法線は、結像光学系１０３の中心光軸と０°より大きく９０°より小さい角度をなす。撮像素子１０１と光源１０２は、被写体からの光が部分反射鏡１０４により反射される側と透過される側に別々に、光源１０２のマイクロレンズアレイによる瞳距離と撮像素子１０１のマイクロレンズアレイによる瞳距離とが一致し、且つ、結像光学系１０３を介して被写体に対して共役となる位置に配置される。【選択図】図１

Description

本発明は、撮像装置及びその制御方法に関し、特に、撮像時の距離測定や焦点検出を行う技術に関する。

デジタルカメラでの焦点検出技術の１つである撮像面位相差方式では、焦点のずれを間接的に検出することにより、被写体の三次元データを取得することが可能となっている。また、昨今では、被写体からのライトフィールド情報を観測することにより、物体の３次元情報を取得する技術も提案されている。

地形観測や自動運転等の分野において、三次元物体認識を目的として用いられている技術の１つにＴＯＦ（Time of Flight）法がある（非特許文献１参照）。また、ＴＯＦ法を用いたＬＩＤＡＲ（Light Detection And Ranging）技術が知られている。これらの技術は、対象物までの直接的な距離を検出することが可能であるため、様々な分野において実用化が図られている。

通常のＴＯＦ法を用いたシステムは、対象物へ投光するための光源と受光部を有し、光源から対象物を経て受光部にて受光される光の伝搬時間を算出することにより、光の伝搬距離、つまり、対象物までの距離を推定する。このとき、受光部として光検出素子のアレイとしたイメージセンサ等を用いることにより、対象物上の各位置までの距離を推定することもできる。つまり、被写体の三次元構造情報や地形の凹凸情報等を取得することができる。

例えば、特許文献１には、対象物（被写体）へ光を照射するための光源とイメージセンサを備える三次元計測装置が記載されている。また、特許文献２には、結像光学系、光源及び焦点検出用画素を有するイメージセンサを備える撮像装置において、イメージセンサの焦点検出に用いられない画素をＴＯＦ法による測距に用いる技術が記載されている。この技術によれば、結像光学系とイメージセンサを備えていることにより、焦点検出精度と距離検出精度を向上させると共に、被写体の撮像と被写体の三次元情報を高解像に取得することが可能である。

特開２０１８−７７１４３号公報 特開２０１６−９０７８５号公報

Hansardら、‘Time-of-Flight Cameras Principles, Methods and Applications’, Springer出版（2013）

イメージセンサへの入射光は、結像光学系を通過する。これに対して、従来技術では、光源からは、結像光学系を通らずに、被写体への投光が行われる。この場合、光源からの被写体に対する投光領域がイメージセンサの撮像画角と異なることや投光方向と撮像方向との違いに起因してシェーディングが発生してしまうことで、撮影条件が複雑になるおそれがある。一方、光源から結像光学系を通って被写体へ投光されるようにした場合であっても、投光領域とイメージセンサの撮像画角とが異なる状況が生じ得る。特に、結像光学系の条件（Ｆ値（絞り値）、焦点距離、光学系そのもの等）が変化した場合、投光領域と撮像画角の一致度が変化し、光源からの光の投光効率が低下してしまうおそれがある。

また、従来技術は、拡散タイプの光源により広い投光領域に同時に投光することによって広範囲の測距を高速に行う場合と、指向性の高いレーザ光をスキャンすることで測距を行う方法に大別される。前者の場合、光源からの光が拡散することにより単位立体角当たりの光強度は、光源から対象物までの距離が長くなることに従って急速に減衰する。そのため、中距離から長距離の測距には適さない。これに対して後者の場合、単位立体角当たり光強度は基本的には減衰し難いため、中距離から長距離の測距が可能である。しかし、投光領域に対して二次元的なスキャン操作が必要となるため、測距の終了までに時間を要するという問題がある。

本発明は、広い距離範囲の測距を高い精度で高速に行うことが可能な撮像装置を提供することを目的とする。

本発明に係る撮像装置は、結像光学系と、撮像素子と、マイクロレンズアレイを通じて光を出射する光源と、前記結像光学系に配置され、前記光源から出射された光を被写体へ投光すると共に、前記被写体からの光を前記撮像素子へ導く部分反射鏡と、前記撮像素子が前記光源から出射されて前記被写体で反射した光を受光することにより出力する信号を用いて前記被写体から前記撮像素子の撮像面までの距離を演算する演算手段と、を備え、前記部分反射鏡は、前記結像光学系の中心光軸と前記部分反射鏡の面の法線とのなす角が０°より大きく９０°より小さくなるように配置され、前記撮像素子と前記光源は、前記被写体からの光が前記部分反射鏡により反射される側と透過される側に別々に、前記光源のマイクロレンズアレイによる瞳距離と前記撮像素子のマイクロレンズアレイによる瞳距離とが一致し、前記結像光学系を介して前記被写体に対して共役となる位置に配置されていることを特徴とする。

本発明によれば、広い距離範囲の測距を高い精度で高速に行うことが可能な撮像装置を提供することが可能となる。

第１実施形態に係る撮像装置の概略構成を示すブロック図である。 図１の撮像装置の光源の概略構成を説明する側面図である。 図２の光源からの出射光が被写体へ届く様子を説明する図である。 図１の撮像装置の撮像素子の概略構成を説明する平面図である。 図１の撮像装置の撮像素子の概略構成を説明する断面図である。 図１の撮像装置での撮像シーケンスのフローチャートである。 図２の光源から出射されたレーザ光の光路と撮像素子への入射光との関係を説明する図である。 第２実施形態に係る撮像装置の概略構成を示すブロック図である。 図８の撮像装置の撮像素子を構成する画素の構造を説明する図である。 図８の撮像装置での撮像シーケンスのフローチャートである。 第３実施形態に係る撮像装置の概略構成を示すブロック図である。 図１１の撮像装置でのミラー動作と光束との関係を説明する図である。 第４実施形態に係る撮像装置の概略構成を示すブロック図である。 図１３の撮像装置の撮像素子の構成を説明する図である。 図１４の撮像素子を構成する受光素子の配列を説明する図である。 図１４の撮像素子での撮像画角と発光素子からの投光範囲との関係を説明する図である。 図１４の撮像素子の受光素子（画素）の概略構成を示す断面図である。 図１７の画素構造と結像光学系の出射瞳面との関係を示す図である。 図１７の画素のサブ光電変換部が出力する信号強度を説明する図である。 図１３の撮像装置での撮像シーケンスを説明するフローチャートである。 第５実施形態に係る撮像装置の概略構成を示すブロック図である 図２１の撮像装置の光源の概略構成と出射光を説明する図である。 図２２の光源からの出射光と投光エリアの例を説明する図である。 図２１の撮像装置でのＴＯＦ法による測距方法を説明する図である。 第６実施形態に係る撮像装置の概略構成を示すブロック図である。 図２５の撮像装置での撮像シーケンスのフローチャートである。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る撮像装置１００の概略構成を示すブロック図である。撮像装置１００は、結像光学系１０３、撮像素子１０１、光源１０２及び部分反射鏡１０４を備えており、これらが撮像装置１００の主たる光学系を構成している。撮像装置１００はまた、光源駆動回路１０５、ＴＯＦ制御部１０６、ＴＯＦ演算部１０７、撮像素子駆動回路１０８、画像処理回路１０９、レンズ駆動回路１１０、カメラＭＰＵ１１１を備える。撮像装置１００は更に、焦点検出部１１２、表示部１１３、操作スイッチ群１１４及びメモリ１１５を備える。

カメラＭＰＵ１１１は、撮像装置１００の全体的な制御を行う。操作スイッチ群１１４は、ユーザからの各種の指示を受け付け、受け付けた指示をカメラＭＰＵ１１１へ伝達する。表示部１１３は、被写体像や撮像装置１００での各種の設定条件を表示する。なお、表示部１１３にはタッチパネルが設けられている。メモリ１１５は、撮像装置１００の制御に必要な各種情報を保存するＲＯＭと、画像データ等を保存するＳＤカード等の記憶媒体を含む。焦点検出部１１２は、撮像センサを備え、撮像信号に基づいてコントラストＡＦ方式により被写体に対する焦点検出を行う。

図１において、破線ＡＯＢは結像光学系１０３の中心光軸を表している。Ａ側には被写体（不図示）が位置しており、破線ＡＯＢは、被写体−部分反射鏡１０４−撮像素子１０１を結ぶ。一方、破線ＡＯＣは、被写体−部分反射鏡１０４−光源１０２を結ぶ光学系の中心光軸を表している。ここで、空間的に異なる位置に配置される撮像素子１０１と光源１０２は、被写体に対して結像光学系１０３を介して共役な関係となるように、被写体からの光が部分反射鏡１０４により反射される側と透過される側に別々に配置されている。よって、部分反射鏡１０４と撮像素子１０１の撮像面Ｍとの間の距離Ｌ１（ＯＢ間距離）と、部分反射鏡１０４と光源１０２との間の距離Ｌ２（ＯＣ間距離）とは、実質的に等距離（Ｌ１＝Ｌ２）に設計されている。なお、図１に示すように、互いに直交するｘ軸、ｙ軸及びｚ軸を規定する。ｚ軸は、光軸ＡＯと平行な軸であり、ｙ軸は光軸ＯＣと平行な軸である。撮像素子１０１の撮像面Ｍは、ｚ軸と直交する。

結像光学系１０３は、デジタルカメラに一般的に用いられている周知の構成のもので構わない。つまり、結像光学系１０３は、一眼レフカメラ等のレンズ交換式カメラに着脱可能なレンズ鏡筒（交換レンズ）であってもよいし、撮像素子１０１を実装する撮像装置本体に設けられた沈胴式或いは固定式のレンズ鏡筒であってもよい。また、結像光学系１０３は、絞り（不図示）によるＦ値の変更やズームレンズの駆動によって焦点距離の変更が可能なものであってもよい。また、結像光学系１０３は、不図示のＮＤフィルタによる透過強度や偏光フィルタによる偏光状態等を変更可能な構成であってもよい。結像光学系１０３のレンズや絞りの駆動は、カメラＭＰＵ１１１の制御下で、レンズ駆動回路１１０によって行われる。

部分反射鏡１０４は、被写体からの光を撮像素子１０１と光源１０２とに分配する位置に配置されており、部分反射鏡１０４の反射面の法線ベクトルと結像光学系の光軸ＡＯとのなす角は、０°より大きく、９０°より小さい値に設計されている。部分反射鏡１０４は、樹脂からなるペリクル膜の一方の面である点Ｏ側の面に酸化シリコン（ＳｉＯ_２）と酸化ニオブ（Ｎｂ_２Ｏ_５）の薄膜が積層された多層膜ミラーであり、他方の面には反射防止膜（ＡＲコート）が施されている。

部分反射鏡１０４の透過率と反射率の比は、大凡、‘透過率：反射率＝６：４’となっており、透過率を反射率よりも少し高めとすることで、被写体から結像光学系１０３を通して撮像素子１０１へ入射する光を効率よく撮像素子１０１で受光することができる。部分反射鏡１０４の機材は、樹脂に限らず、ガラス等の様々な透明材料を用いることができ、また、部分反射機能を有するコーティングの構成も前記の構成に限定されない。

図２は、光源１０２の概略構成を説明する側面図である。本実施形態では、光源１０２は、ガリウムヒ素（ＧａＡｓ）系半導体基板２０５に二次元アレイ状に形成された複数の発光部２０３を有する。それぞれの発光部２０３の上方にはマイクロレンズ２０４が二次元アレイ状に配置されており、これによりマイクロレンズアレイが形成されている。それぞれのマイクロレンズ２０４は、対応する発光部２０３からの光をコリメート（発散角が０°に近くなるように）し又は発散を抑制する。

光源１０２では、発光部２０３として、発振中心波長が約８００ｎｍの面発光レーザ（Vertical Cavity Surface Emitting Laser）を用いている。撮像に用いられる可視光波長帯域から外れた波長の光を用いることにより、ＴＯＦ法による測距信号と撮像信号とを区別することが容易となる。

発光部２０３は、上述の構成に限られるものではなく、例えば、ストライプ型レーザ、発光ダイオード（ＬＥＤ）、量子ドット素子、有機ＥＬ素子を用いることも可能である。面発光レーザを含めて多くの微小発光素子から出射される光は拡散光であるため、マイクロレンズ２０４により発光部２０３からの拡散光の拡散を抑制している。光源１０２の発光部は１つ（単光源）であってもよいが、マイクロレンズアレイは必要となる。

図３は、光源１０２からの出射光が被写体へ届く様子を説明する図である。光源１０２の発光面の中心付近にある発光部２０３ａとこれに隣接する発光部２０３ｂからの光は、これらに対応するマイクロレンズ２０４ａ，２０４ｂにより拡散状態が制御されて、被写体Ｈに到達する。このとき、発光部２０３ａからの光が到達する領域２１２と発光部２０３ｂからの光が到達する領域２１３とが、大きく重ならないように、且つ、離間しないように、発光部２０３ａ，２０３ｂとマイクロレンズ２０４ａ，２０４ｂの距離は設定されている。複数の発光部２０３のその他のものについても同様の設定がなされており、これにより、所定の被写体距離の必要な領域に均等に光源１０２からの光を供給すること可能となっている。

なお、光源１０２は、図２を参照して説明した構成に限られない。例えば、発光部からの光が更にコリメートされた構成とすることで、被写体距離が長くても十分な強度の光を投光することが可能となり、また、非合焦状態であっても光源からの光が撮像面Ｍ上でぼやけることがほぼないために高精度な測距が可能となる。光源１０２における製造上の発光部２０３等のばらつきを考慮した上で高い効率で投光を行うためには、撮像画角に対応する被写体領域よりも少し内側に投光領域が存在するように設定することも望ましい。つまり、光源１０２からの投光領域を撮像画角に対応する被写体領域よりも狭く設定することが望ましい。

本実施形態では、光源１０２は、個々の発光部２０３に対応する個々のマイクロレンズ２０４の位置が、光源１０２の全体的な発光領域の中心から遠ざかるに従って全体的な発光領域の中心に向かって大きく偏心するように構成されている。これにより、個々の発光部２０３からの光が伝搬する方向を結像光学系の光軸方向へ変化させ、全ての発光部２０３からの光が光軸上のほぼ一点で交わることになる。本実施形態では、この点を光源瞳２１４と称呼し、発光面から光源瞳までの距離を光源瞳距離２１５と称呼する。

光源１０２は、光源瞳２１４が撮像素子１０１の後述するセンサ瞳と一致するように設定されている。これにより、撮像素子１０１の撮像面Ｍに相当する被写体領域に対する投光領域を常に一定にすることができるため、高い投光効率で測距を行うことが可能となる。なお、光源１０２を単一の発光部で構成することも可能であり、この場合には前述した光源瞳は定義されず、光源瞳とセンサ瞳が一致するものとして取り扱うことができる。

ところで、撮像素子１０１の撮像面Ｍと光源１０２の全体的な発光領域の大きさが異なる場合には、撮像画角と投光領域が概ね一致するように光源瞳距離とセンサ瞳距離をずらした設定とすることができる。本実施形態では、撮像素子１０１の撮像面Ｍと光源１０２の全体的な発光領域の大きさを同じとしている。換言すれば、撮像素子１０１上の有効画素領域と光源１０２において発光部２０３が配置された領域とで、大きさと形状を一致させている。これにより、センサ瞳距離と光源瞳距離が一致する構成となっている。

なお、撮像装置１００の作製プロセスや組立誤差によるセンサ瞳距離と光源瞳距離の微小なずれは許容することができる。本実施形態についての説明において「同じ」や「一致」という表現は、厳密に解釈されるものではなく、所望の性能が得られる限りにおいて意図的なずらしや組立誤差等を有することを許容する、一定の範囲を含むものである。

結像光学系１０３の焦点距離が短くなる場合やＦ値が大きくなる場合には、一定距離にある面上での単位面積当たりの光源１０２からの光量は減少してしまう。そこで、焦点距離やＦ値の変化に応じて光源１０２から出射される光の強度を変化させる構成としてもよい。結像光学系１０３又はレンズ駆動回路１１０、カメラＭＰＵ１１１から、随時、結像光学系１０３の焦点距離やＦ値の情報を光源駆動回路１０５へ伝達することにより、適切な光量での測距が可能となる。

撮像素子１０１は、有効画素領域の水平方向サイズが２２．３２ｍｍ、垂直方向サイズが１４．８８ｍｍ、水平方向の有効画素数が６０００、垂直方向の有効画素数が４０００のものである。図４（ａ）は、撮像素子１０１の撮像面Ｍ上に配列された複数の撮像画素の一部である、２行２列の基本画素群３０５を表す平面図である。基本画素群３０５は、赤色相当の波長帯域に分光感度を有する画素３０１、青色相当の波長帯域に分光感度を有する画素３０４、緑色相当の波長帯域に分光感度を有する画素３０３、及び、近赤外光波長帯域に分光感度を有する画素３０２により構成されている。なお、基本画素群３０５をなす画素３０１〜３０４の基本的な構成は、カラーフィルタ以外は同一であるとする。

図４（ｂ）は、撮像素子１０１における基本画素群３０５の配置を表す平面図である。撮像素子１０１では、基本画素群３０５はｘ方向とｙ方向に二次元アレイ状に配列されている。

図５（ａ）は、図４（ｂ）中のＲＧの行での撮像素子１０１のＺＸ断面での概略構成を示す図である。図５（ｂ）は、画素３０１の概略構成を示す断面図である。画素３０１は、シリコン（Ｓｉ）基板表層に設けられた光電変換部４０２、配線部４０３、カラーフィルタ４０４及びマイクロレンズ４０５により構成されている。撮像素子１０１の各画素において、マイクロレンズ４０５は撮像面Ｍの中央へ偏心して配置され、且つ、撮像面Ｍの周辺部の画素ほどマイクロレンズ４０５は大きく偏心しており、これによりセンサ瞳とセンサ瞳距離が定まる。前述の通り、画素３０１と他の画素（画素３０２〜３０４）との違いは、光学的にはカラーフィルタ４０４の違いのみである。

ＴＯＦ制御部１０６は、ＴＯＦ法による測距を行う場合のカメラＭＰＵ１１１からの指令に基づいて、光源駆動回路１０５の駆動を制御する。ＴＯＦ演算部１０７は、撮像素子１０１の画素３０２から出力される信号を用いて、被写体の所定の点から撮像素子１１１の撮像面Ｍまでの距離を算出する。撮像素子駆動回路１０８は、撮像素子１１１の駆動を制御する。画像処理回路１０９は、撮像素子１１１の画素３０１，３０３，３０４から出力される信号から画像データを生成する。

次に、撮像装置１００での撮像シーケンスについて説明する。図６は、撮像装置１００での撮像シーケンスを示すフローチャートである。図６にＳ番号で示す各処理（ステップ）は、カメラＭＰＵ１１１が所定のプログラムを実行して撮像装置１００の各部の動作を統括的に制御することによって実現される。

Ｓ６０１にてカメラＭＰＵ１１１は、ＡＦボタンの押下を検知したものとする。なお、ＡＦボタンの押下とは、所謂、２段スイッチで構成されたレリーズボタンが半押しされた状態となることを指し、これにより、ＡＦ動作の開始がカメラＭＰＵ１１１に指示される。Ｓ６０２にてカメラＭＰＵ１１１は、焦点検出部１１２を制御して、コントラストＡＦ方式による焦点検出処理を行う。Ｓ６０３にてカメラＭＰＵ１１１は、焦点検出部１１２からの焦点検出信号に基づいてレンズ駆動回路１１０を駆動して、フォーカスレンズを光軸方向で移動させる。これにより、Ｓ６０４にてＭＰＵ１１１は、結像光学系１０３を被写体に対して合焦した（ピントの合った）状態とすることができる。

Ｓ６０５にてカメラＭＰＵ１１１は、ＴＯＦ制御部１０６を通じて光源駆動回路１０５を駆動することで光源１０２を駆動する。これにより、光源１０２から中心波長が８００ｎｍの周期矩形パルスレーザ光が出力される。

図７は、光源１０２から出射されたレーザ光の光路と撮像素子１０１への入射光との関係を説明する図である。光源１０２の発光面上のある点Ｒの発光部２０３からの出射光（出射光の光学的な重心を矢印５０１で示す）は部分反射鏡１０４で反射され、結像光学系１０３を通って被写体Ｈの所定の点Ｓに到達する。発光部２０３からの出射光は、前述の条件を満たす範囲で幅を有するため、被写体Ｈ上の点Ｓからは出射光の反射を含む散乱光５０２が生じる。散乱光５０２は、結像光学系１０３の開口を通り得る範囲（実線５０３を中心とする破線５０４，５０５で示される範囲）を通り、部分反射鏡１０４を透過して撮像素子１０１上の所定の点Ｔに結像する。

結像光学系１０３を通じて光源１０２と撮像素子１０１が共役関係となるように配置されているため、光源１０２の発光面上の点Ｒの位置と撮像素子１０１の撮像面Ｍ上の点Ｔは一致する。そして、前述の通り本実施形態では、撮像素子１０１の撮像面Ｍと光源１０２の全体的な発光領域とを同じ形状、且つ、同じ大きさとしてあるため、撮像画角より外側に投光されてしまう無駄な光が少なく、よって、投光効率を高めることができる。

撮像素子１０１のＩＲ画素（画素３０２）による受光タイミングを周期的な矩形パルスとすることにより、光源１０２からのパルスレーザ光とこれに対応して受光する反射光との時間的なずれを検出して、検出信号又はこれに関連する信号を生成する。そして、生成した信号から被写体Ｈ上の点Ｓと撮像面Ｍとの間の距離５０６をＴＯＦ演算部１０７により算出する。なお、光源１０２から出射されるパルス光とその反射光の検出手法、信号の演算については、周知のＴＯＦ法を用いることができ、例えば、先述した非特許文献１に記載されている位相検出方法を用いることができる。なお、ＴＯＦ法については様々な手法が研究、提案されており、本実施形態ではそれらの手法を用いることも可能であって、特定の手法を限定的に用いる必要はない。

Ｓ６０５でＴＯＦ法による測距が実行されると、Ｓ６０６にてカメラＭＰＵ１１１は、Ｓ６０５でのＴＯＦ法による測距結果に基づいて被写体の距離マップを生成し、生成した距離マップをカメラＭＰＵ１１１の内蔵メモリに保存する。その後、カメラＭＰＵ１１１は処理をＳ６０９へ進めるが、一方で、Ｓ６０５の実行中にユーザは、撮像装置１００の表示部１１３に設けられているタッチパネルを操作して、画像内の任意の領域を合焦領域（ＡＦ領域）として選択することができる。そこで、Ｓ６０７にてカメラＭＰＵ１１１は、画像内の特定の領域が選択されたか否かを判定する。カメラＭＰＵ１１１は、特定の領域が選択されていないと判定した場合（Ｓ６０７でＮＯ）、処理をＳ６０９へ進め、特定の領域が選択された判定した場合（Ｓ６０７でＹＥＳ）、処理をＳ６０８へ進める。Ｓ６０８にてカメラＭＰＵ１１１は、Ｓ６０７で選択された領域を合焦領域として決定する。

Ｓ６０９にてカメラＭＰＵ１１１は、Ｓ６０６で作成、保存されている距離マップとＳ６０７で決定された合焦領域とに基づいてフォーカスレンズを駆動し、合焦領域に対する焦点調節（ピント合わせ）を行う。このようにＴＯＦ法で得られた被写体までの絶対距離情報を用いてフォーカスレンズを駆動することで、高速に焦点調節を行うことが可能となる。

焦点調節後のＳ６１０にてカメラＭＰＵ１１１は、撮影ボタンが押下されたか否かを判定する。なお、撮影ボタンの押下とは、所謂、２段スイッチで構成されたレリーズボタンが全押しされた状態となることを指し、これにより、撮影開始がカメラＭＰＵ１１１に指示される。カメラＭＰＵ１１１は、撮影ボタンが押下されていないと判定した場合（Ｓ６１０でＮＯ）、本実施形態ではユーザは撮影を中止したものとして、本処理を終了させる。一方、カメラＭＰＵ１１１は、撮影ボタンが押下された判定した場合（Ｓ６１０でＹＥＳ）、処理をＳ６１１へ進める。

Ｓ６１１にてカメラＭＰＵ１１１は、撮影画像の画像データと、Ｓ６０６で作成した距離マップをメモリ１１５に含まれるＳＤカード等の記憶媒体に保存し、これにより本処理を終了させる。なお、画像データは、撮像素子１０１のＲ，Ｇ，Ｂの各画素（画素３０１，３０３，３０４）からの信号を用いて生成されており、距離マップはＩＲ画素（画素３０２）からの信号を用いて生成されている。

なお、図６のフローチャートにある各処理は、撮像に支障のない範囲で順番の入れ替えが可能である。例えば、コントラストＡＦ方式による焦点検出後にＴＯＦ法による測距を行うシーケンスとしたが、ＴＯＦ法による測距を行った後に焦点検出を行うようにしても構わない。

＜第２実施形態＞
図８は、第２実施形態に係る撮像装置１００Ａの概略構成を示すブロック図である。撮像装置１００Ａの構成要素のうち、第１実施形態に係る撮像装置１００の構成要素と同じものについては、同じ符号を付して説明を省略する。

第１実施形態に係る撮像装置１００は、コントラストＡＦ方式による焦点調節を行う撮像センサを有する焦点検出部１１２を備えている。これに対して第２実施形態に係る撮像装置は、撮像面位相差方式による焦点検出を可能とする撮像素子１０１Ａを備えており、これに付随して焦点検出部１１８を備えている点で、第１実施形態に係る撮像装置１００と異なる。

図９は、図５（ｂ）と同様のＺＸ断面にて、撮像素子１０１Ａを構成する画素９０１の構造を説明する図である。画素９０１の構成要素のうち、図５（ｂ）に示した画素３０１の構成要素と同じものについては、同じ符号を付して説明を省略する。なお、撮像素子１０１ＡでのＲ，Ｇ，Ｂ，ＩＲの各画素の配置は、撮像素子１０１と同等であるため、図示と説明を省略する。

画素９０１は、光電変換部９０２の構造が、図５（ｂ）の画素３０１の光電変換部４０２と異なるが、それ以外の構成は画素３０１と同じである。画素３０１と共通する構成についての説明は省略する。光電変換部９０２は、ｘ方向に略等分割された第１の光電変換部９０３と第２の光電変換部９０４を有する。焦点検出部１１８は、第１の光電変換部９０３により得られる像と第２の光電変換部９０４により得られる像とを用いて、撮像面位相差方式の焦点検出を行う。撮像面位相差方式については、周知であるため、ここでの詳細な説明を省略する。なお、撮像面位相差方式では、合焦状態からのずれ量（デフォーカス量）を算出するため、コントラストＡＦ方式の場合のようにフォーカスレンズを駆動しながらの焦点調節を行う必要なく、よって、高速に焦点調節を行うことができる。

図１０は、撮像装置１００Ａでの撮像シーケンスを示すフローチャートである。図１０にＳ番号で示す各処理（ステップ）は、カメラＭＰＵ１１１が所定のプログラムを実行して撮像装置１００Ａの各部の動作を統括的に制御することによって実現される。なお、図１０のフローチャートに示す処理のうち、図６のフローチャートにある処理と同等の処理については、同じＳ番号を付して、ここでの説明を省略する。

撮像装置１００Ａでの撮像シーケンスでは、カメラＭＰＵ１１１は、Ｓ６０２の焦点検出では、焦点検出部１１８を制御して撮像面位相差方式による焦点検出を行う。そして、焦点検出を開始した後に、Ｓ１００１にて焦点検出が可能か否かを判定する。カメラＭＰＵ１１１は、焦点検出が可能であると判定した場合（Ｓ１００１でＹＥＳ）、処理をＳ６０３へ進め、焦点を検出することができないと判定した場合（Ｓ１００１でＮＯ）、処理をＳ１００２へ進める。Ｓ１００１の判定が‘ＮＯ’となる場合とは、撮像面位相差方式でのデフォーカス量の検出が困難な場合である。そこで、Ｓ１００２にてカメラＭＰＵ１１１は、デフォーカス量を検出可能な状態となるまでフォーカスレンズを駆動するサーチ処理を実行し、デフォーカス量が検出可能になると、処理をＳ６０３へ進める。Ｓ６０３以降の処理は、図６に示した撮像シーケンスと同じである。なお、図１０のフローチャートのＳ６０３では、焦点検出部１１８による焦点検出結果に基づいてフォーカスレンズが駆動される。

なお、撮像装置１００Ａでの撮像シーケンスは、図１０のフローに限定されない。例えば、ＴＯＦ法による測距を行った後に、作成した距離マップに基づいて焦点状態からのずれ量を推定し、その後に撮像面位相差方式による高精度な焦点調節を行ってもよい。また、ＴＯＦ法によりＩＲ光を受光するＩＲ画素の信号に基づく被写体の距離マップの作成と、Ｒ，Ｇ，Ｂのそれぞれの画素９０１の光電変換部９０２からの信号に基づく焦点検出によるデフォーカス量の取得は同時に行うことができる。

＜第３実施形態＞
図１１は、第３実施形態に係る撮像装置１００Ｂの概略構成を示すブロック図である。撮像装置１００Ｂの構成要素のうち、第２実施形態に係る撮像装置１００Ｂの構成要素と同じものについては、同じ符号を付して説明を省略する。第２実施形態に係る撮像装置１００では部分反射鏡１０４は固定されているが、撮像装置１００Ｂは、部分反射鏡１０４を駆動するミラー駆動回路１１９を備えており、この点で撮像装置１００Ａと異なる。

図１２は、部分反射鏡１０４の駆動態様を簡略的に示す図である。図１２（ａ）は、部分反射鏡１０４が結像光学系１０３の光路内のダウン位置（第１の位置）にある状態を示している。図１２（ｂ）は、部分反射鏡１０４が結像光学系１０３の光路外のアップ位置（第２の位置）にある状態を示している。部分反射鏡１０４はダウン位置とアップ位置との間で遷移可能であり、ミラー駆動回路１１９はカメラＭＰＵ１１１からの指令に従って、部分反射鏡１０４を駆動する。

ＴＯＦ法による被写体の距離マップの作成と撮像面位相差方式による焦点調節の実行時には、カメラＭＰＵ１１１は、ミラー駆動回路１１９により、部分反射鏡１０４をダウン位置で保持する。換言すれば、第１及び第２実施形態で説明したように、部分反射鏡１０４は、ダウン位置では光源１０２からの出射光を部分反射鏡１０４で反射して被写体へ照射し、その反射光を撮像素子１０１Ａへ導く。これにより、ＴＯＦ方式による測距が可能となる。

一方、撮像素子１０１Ａによる本撮影（Ｓ６１１）の際に部分反射鏡１０４がダウン位置にあると、部分反射鏡１０４において光の一部が反射することで撮像素子１０１Ａへの入射光量が減少するため、撮像感度が低下してしまう。そこで、カメラＭＰＵ１１１は、ミラー駆動回路１１９により、本撮影時には部分反射鏡１０４をアップ位置へ移動させて、被写体からの入射光をダイレクトに撮像素子１０１Ａに入射させる。これにより、撮像感度を高めることができる。

＜第４実施形態＞
図１３は、第４実施形態に係る撮像装置１００Ｃの概略構成を示すブロック図である。

撮像装置１００Ｃが第１実施形態に係る撮像装置１００と大きく異なる点は、部分反射鏡１０４、光源１０２及び光源駆動回路１０５を備えず、撮像素子１０１Ｂが後述の発光素子を有し、発光素子を駆動する発光素子駆動回路１１０５を備える点である。なお、撮像装置１００Ｃの構成要素のうち、第１実施形態に係る撮像装置１００の構成要素と同じものについては、同じ符号を付して、共通する説明を省略する。

撮像装置１００Ｃの主たる光学系は、結像光学系１１０３と撮像素子１０１Ｂにより構成されている。図１３に示す破線ＡＢは結像光学系１１０３の中心光軸を示しており、Ａ側に位置する被写体からの入射光は撮像素子１０１Ｂに結像する。結像光学系１１０３は、部分反射鏡１０４を有しない点以外は、第１実施形態に係る撮像装置１００の結像光学系１０３と同等である。

図１４は、撮像素子１０１Ｂの概略構成を説明する図である。撮像素子１０１Ｂは、ｙ方向端（上下端）に配置された発光ユニットの間に受光ユニットが配置された構造を有する。発光ユニットは複数の発光素子１２０２を有し、受光ユニットは複数の受光素子１２０３を有する。なお、図１４に示す円は発光素子１２０２と受光素子１２０３それぞれの受光面側に設けられたマイクロレンズを表しており、１つの発光素子１２０２は１つのマイクロレンズを有し、１つの受光素子１２０３は１つのマイクロレンズを有する。

図１５は、撮像素子１０１Ｂにおける受光ユニットでの受光素子１２０３の配列（画素配列）を説明する図である。撮像素子１０１Ｂにおいて、二次元状に周期的に配置された受光素子１２０３が有効画素領域を形成している。撮像素子１０１Ｂは、例えば、有効画素領域の水平方向サイズが２２．３２ｍｍ、垂直方向サイズが１４．８８ｍｍ、水平方向の有効画素数が６０００、垂直方向の有効画素数が４０００のＣＭＯＳセンサである。受光素子１２０３は、赤色の光の波長に高い感度を有するＲ画素１３０１、緑色の光の波長に高い感度を有するＧ画素１３０２、青色の光の波長に高い感度を有するＢ画素１３０４、近赤外光の波長に高い感度を有するＩＲ画素１３０３により構成されている。つまり、Ｒ画素１３０１、Ｇ画素１３０２、Ｂ画素１３０４及びＩＲ画素１３０３がそれぞれ受光素子１２０３の具体例である。

発光素子１２０２は、例えば、発光波長の中心波長が８５０ｎｍの、ガリウムヒ素（ＧａＡｓ）系化合物半導体からなる発光部を有する。発光素子駆動回路１１０５は、カメラＭＰＵ１１１からの指令に従って、発光素子１２０２を発光させる。

発光ユニットにおいて、発光素子１２０２は受光ユニットの外周の対向する２辺の各辺に沿って一次元状に、且つ、同一面内に配列されている。発光部は、例えば、発光ダイオード（ＬＥＤ）であるが、これに限られず、面発光レーザ（ＶＣＳＥＬ）やストライプ型レーザ、量子ドット素子、有機ＥＬ素子等を用いることも可能である。面発光レーザやその他多くの微小発光素子からの光は拡散光であるが、発光素子１２０２では、マイクロレンズにより発光部から出射される光の拡散は抑制されている。

図１６は、受光素子１２０３の配列により得られる撮像画角と発光素子１２０２の投光範囲との関係を、ｙｚ面での結像光学系１１０３と撮像素子１０１Ｂの配置で説明する図である。受光素子１２０３の配列に対する撮像合焦面を破線１４０６で表すと、撮像素子１０１Ｂの受光素子１２０３のマイクロレンズと撮像合焦面は、結像光学系１１０３を介して、概ね、共役関係にある。撮像合焦面上のある点は、撮像素子１０１Ｂの受光素子１２０３のある点に結像し、その際の撮像画角は矢印１４０４の範囲で表される。

発光素子１２０２では、発光部とマイクロレンズとの距離が、発光素子１２０２からの投光エリアが撮像画角内をカバーし、発光素子１２０２と撮像合焦面が共役関係にならないように設定されている。換言すれば、撮像素子１０１Ｂは、微小な複数の発光素子１２０２からの出射光が被写体の広いエリアをカバーするように設計されている。具体的には、図１６に示すように、撮像素子１０１Ｂは、撮像素子１０１Ｂの＋ｙ側に配置された発光素子１２０２から出射光の投光エリアが、ｙ方向において画角のｙ方向下半分以上をカバーするように設計されている。なお、不図示であるが、撮像素子１０１Ｂの−ｙ側に配置された発光素子１２０２から出射光の投光エリアは、ｙ方向において画角のｙ方向上半分以上をカバーする。よって、撮像画角全体に発光素子１２０２から出射光が投光されることになり、被写体から反射される近赤外光をＩＲ画素１３０３で受光する。

なお、撮像素子１０１Ｂにおける発光素子１２０２と受光素子１２０３の配置や投光エリアは、上記構成に限定されるものではない。例えば、撮像画角内において測距を行いたいエリアに発光素子１２０２から投光が行われるように設計すればよく、特に、撮像画角と同等のエリア又はその内側のエリアを投光エリアに設定することで、発光素子１２０２からの投光効率を高めることが可能となる。

結像光学系１１０３の焦点距離が短くなる場合やＦ値が大きくなる場合、撮像素子１０１Ｂからある距離における面上での単位面積当たりの発光素子１２０２からの光量は減少してしまう。そのため、焦点距離やＦ値の変化に応じて、発光素子１２０２の発光強度を変化させることも、望ましい構成の１つである。結像光学系１１０３又はレンズ駆動回路（不図示）やカメラＭＰＵ１１１から、随時、結像光学系１１０３の焦点距離やＦ値の情報を発光素子駆動回路１１０５へ伝達することにより、最適な光量での測距が可能となる。なお、ここでは、複数の発光素子１２０２を１列に配置した構成を取り上げているが、これを単一の発光部に置き換えた構成とすることも可能である。

撮像素子１０１Ｂの受光素子１２０３は、瞳分割位相差方式の焦点検出と焦点調節が可能な構造となっている。図１７は、受光素子１２０３の１つであるＧ画素１３０２の概略構成をｙｚ断面で示す図である。Ｓｉ_５Ｏ_２よりなる光電変換部１５０２は、イオン注入プロセスにより不純物濃度を部分的に変化させたサブ光電変換部１５０３，１５０４を有し、結像光学系１１０３を通過して入射される光の瞳分割を行う。光電変換部１５０２上には金属配線層１５０５が埋め込まれた絶縁部が形成されており、絶縁部から＋ｚ方向に向かって順にカラーフィルタ１５０６とマイクロレンズ１５０７が配置されている。なお、Ｒ画素１３０１、Ｂ画素１３０４及びＩＲ画素１３０３は、Ｇ画素１３０２とは、カラーフィルタが異なるが、その他の構成は基本的に同等である。

図１８は、Ｇ画素１３０２を例にして、Ｇ画素１３０２の構造と結像光学系１１０３の出射瞳面１６０３との関係を示す図である。なお、出射瞳面１６０３は光軸（ｚ方向と平行）と直交する面となり、Ｇ画素１３０２の断面は光軸と平行な面となる。

サブ光電変換部１５０３と第１の瞳分領域１６０２とが対応し、サブ光電変換部１５０４と第２の瞳分領域１６０１とが対応し、分離部１６０４と第３の瞳分領域１６０５とが対応する。そのため、被写体から入射光のうち、第１の瞳分領域１６０２と第２の瞳分領域１６０１をそれぞれ通過した光は、マイクロレンズ１５０７を介して、サブ光電変換部１５０３とサブ光電変換部１５０４に入射する。また、第３の瞳分領域１６０５を通過した光は、マイクロレンズ１５０７を介して分離部１６０４に入射する。

図１９は、サブ光電変換部１５０３，１５０４から出力される信号強度とそれらを加算した信号強度の分布例を示す図である。図１９の横軸は図１８でのサブ光電変換部１５０３，１５０４のｘ座標値であり、縦軸は信号強度である。信号強度１７０１，１７０２はそれぞれ、サブ光電変換部１５０３，１５０４での信号強度を表しており、信号強度１７０３は信号強度１７０１，１７０２の和を表している。

以下、撮像素子１０１Ｂの各画素のサブ光電変換部１５０３から出力される信号による被写体像を“Ａ像”と称呼し、サブ光電変換部１５０４から出力される信号による被写体像を“Ｂ像”と称呼する。また、Ａ像の信号とＢ像の信号を画素ごとに足し合わせた信号による被写体像を“Ａ＋Ｂ像”と呼称する。Ａ像とＢ像との像ずれ量（相対位置）を検出することにより、ｘ方向に輝度分布を有する被写体像のデフォーカス量（合焦ずれ量）を検出することができる。

像ずれ量の計算では、例えば、Ａ像とＢ像の相対位置をずらして、画素ごとのＡ像信号とＢ像信号の差分の二乗の総和（信頼値）を求め、得られた信頼値が最も小さいずらし量を像ずれ位置としている。これは、この信頼値は、値が小さいほど像ずれ量計算の精度が高いことを表しているからである。このように撮像装置１１０Ｃでは、撮像素子１０１Ｂによる瞳分割位相差方式の焦点検出を行い、焦点検出情報に基づいてレンズ駆動を行うことで被写体位置と結像光学系１１０３の焦点位置を調節する位相差方式の焦点調節を行うことが可能となっている。

次に、撮像装置１００Ｃでの撮像シーケンスについて説明する。図２０は、撮像装置１００Ｃでの撮像シーケンスを示すフローチャートである。図２０にＳ番号で示す各処理（ステップ）は、カメラＭＰＵ１１１が所定のプログラムを実行して撮像装置１００の各部の動作を統括的に制御することによって実現される。

Ｓ１８０１にてカメラＭＰＵ１１１は、ＡＦボタンの押下を検知したものとする。なお、Ｓ１８０１の処理は、前述したＳ６０１と同じ処理である。Ｓ１８０２にてカメラＭＰＵ１１１は、焦点検出部１１８を制御して、撮像素子１０１Ｂから出力される信号を用いて瞳分割位相差方式の位相差焦点検出処理を行い、焦点検出が可能であったか否かを判定する。カメラＭＰＵ１１１は、焦点が検出されたと判定した場合（Ｓ１８０２でＹＥＳ）、処理をＳ１８０７へ進め、焦点が検出されないと判定した場合（Ｓ１８０２でＮＯ）、処理をＳ１８０３へ進める。

Ｓ１８０２で焦点が検出されない場合には被写体に対してデフォーカスが大き過ぎることになるため、Ｓ１８０３にてカメラＭＰＵ１１１は、ＴＯＦ法による測距を行う。具体的には、カメラＭＰＵ１１１を通じてＴＯＦ制御部１０６から発光素子駆動回路１１０５へ信号が伝達され、発光素子駆動回路１１０５により撮像素子１０１Ｂが有する発光素子１２０２が駆動される。発光素子１２０２からは、中心波長が８５０ｎｍの周期矩形パルス光が出力される。発光素子１２０２から被写体上に投光された光は、部分的に反射光や散乱光となり、結像光学系１１０３を透過して撮像素子１０１Ｂの撮像面Ｍに入射して、ＩＲ画素１３０３により受光される。

撮像装置１００Ｃでは、前述したように、一群の発光素子１２０２からの投光エリアが、一群の受光素子１２０３による撮像画角に相当する被写界領域と同等となっている。そのため、撮像画角より外側に投光されてしまう無駄な光を低減させて、投光効率を高めることが可能となっている。また、撮像素子１０１ＢのＩＲ画素１３０３による受光タイミングを周期的な矩形パルスとすることにより、発光素子１２０２から出射されるパルス光とＩＲ画素１３０３が受光する光との時間的なずれを検出することができる。こうして検出した出射光と受光光との時間的なずれの検出信号又はこれに関連する信号を生成し、生成した信号から被写体と撮像面との間の距離をＴＯＦ演算部１０７が算出する。

なお、発光素子１２０２から出射されるパルス光とその反射光の検出手法、信号の演算については、周知のＴＯＦ法を用いることができ、例えば、先述した非特許文献１に記載されている位相検出方法を用いることができる。なお、ＴＯＦ法については様々な手法が研究、提案されており、本実施形態ではそれらの手法を用いることも可能であって、特定の手法を限定的に用いる必要はない。

Ｓ１８０３でＴＯＦ法による測距が実行されると、Ｓ１８０４にてカメラＭＰＵ１１１は、Ｓ１８０３でのＴＯＦ法による測距結果に基づいて被写体の距離マップを生成し、生成した距離マップをカメラＭＰＵ１１１の内蔵メモリに保存する。その後、カメラＭＰＵ１１１は処理をＳ１８０７へ進めるが、一方で、Ｓ１８０３の実行中にユーザは、撮像装置１００Ｃの表示部１１３に設けられているタッチパネルを操作して、画像内の任意の領域を合焦領域として選択することができる。そこで、Ｓ１８０５にてカメラＭＰＵ１１１は、画像内の特定の領域が選択されたか否かを判定する。カメラＭＰＵ１１１は、特定の領域が選択されていないと判定した場合（Ｓ１８０５でＮＯ）、処理をＳ１８０７へ進め、特定の領域が選択された判定した場合（Ｓ１８０５でＹＥＳ）、処理をＳ１８０６へ進める。Ｓ１８０６にてカメラＭＰＵ１１１は、Ｓ１８０５で選択された領域を合焦領域に決定する。

Ｓ１８０７にてカメラＭＰＵ１１１は、Ｓ１８０２からダイレクトにＳ１８０７へ処理が進められた場合には、Ｓ１８０２で検出された焦点検出情報に基づいて結像光学系１１０３を構成するフォーカスレンズを駆動して焦点調節（ピント合わせ）を行う。また、Ｓ１８０７にてカメラＭＰＵ１１１は、Ｓ１８０４を経由し又はＳ１８０５の判定がＮＯであった場合を経由した場合には、Ｓ１８０４で保存された距離マップに基づいてフォーカスレンズを駆動して焦点調節（ピント合わせ）を行う。Ｓ１８０７にてカメラＭＰＵ１１１は、Ｓ１８０５の判定がＮＯであった場合を経由した場合には、Ｓ１８０４で保存された距離マップとＳ１８０６で決定された合焦領域とに基づいてフォーカスレンズを駆動し、合焦領域に対する焦点調節（ピント合わせ）を行う。ＴＯＦ法で得られた被写体までの絶対距離情報を用いてフォーカスレンズを駆動することで、高速に焦点調節を行うことが可能になる。

Ｓ１８０８，Ｓ１８０９の処理はそれぞれ、第１実施形態でのＳ６１０，Ｓ６１１の処理と同じである。すなわち、Ｓ１８０８にてカメラＭＰＵ１１１は、撮影ボタンが押下され、撮影開始がカメラＭＰＵ１１１に指示されたか否かを判定する。カメラＭＰＵ１１１は、撮影ボタンが押下されていないと判定した場合（Ｓ１８０８でＮＯ）、ユーザは撮影を中止したものとして、本処理を終了させる。一方、カメラＭＰＵ１１１は、撮影ボタンが押下された判定した場合（Ｓ１８０８でＹＥＳ）、処理をＳ１８０９へ進める。

Ｓ１８０９にてカメラＭＰＵ１１１は、撮影画像の画像データとＳ１８０４で作成した距離マップをメモリ１１５に含まれるＳＤカード等の記憶媒体に保存し、これにより本処理を終了させる。なお、画像データは、撮像素子１０１ＢのＲ画素１３０１、Ｇ画素１３０２及びＢ画素１３０４からの信号により生成されており、距離マップはＩＲ画素１３０３からの信号を用いて生成されている。

撮像装置１００Ｃでは、ＴＯＦ法による焦点検出での発光素子１２０２の発光強度を結像光学系１１０３のＦ値や焦点距離に応じて変更することが望ましい。例えば、同じ撮影状況においてＦ値が大きい場合には、結像レンズの有効径が小さくなるために撮像素子１０１Ｂに入射する光強度が小さくなり、逆にＦ値が小さい場合は、撮像素子１０１Ｂに入射する光強度は大きくなる。このように、被写体からの反射光と散乱光の強度は結像光学系１１０３のＦ値に応じて変化してしまうため、受光素子１２０３で取得するＴＯＦ信号が不安定になって検出精度が低下し、或いは、検出不可能となる事態が生じ得る。同様の問題は、結像光学系１１０３の焦点距離に応じて被写界の広さが変わり、撮像画角の単位立体角当たりの投光強度が変化することによって起こり得る。

そこで、Ｆ値に応じて発光素子１２０２の発光強度をＴＯＦ制御部１０６により制御可能とし、また、結像光学系１１０３の焦点距離に応じて発光素子１２０２の発光強度を制御することで、ＴＯＦ焦点検出を安定して行うことができる。なお、ＴＯＦ法による最初の測定で撮像素子１０１ＢによるＩＲ光の受光強度が小さ過ぎたり大き過ぎたりした場合には、次の測定では投光強度を修正して行うことで、より望ましい撮像シーケンスとすることができる。

ところで、図２０のフローチャートでの撮像シーケンスでは、瞳分割位相差方式での焦点検出後にＴＯＦ法による測距を行っているが、これに限らず、ＴＯＦ法による測距を先に行うようにしてもよい。瞳分割位相差方式の焦点検出では、デフォーカスが大きい場合や環境可視高強度が低い場合等に、焦点検出が困難になることがある。デフォーカス量の検出が困難な場合、デフォーカス量を検出することができる状態までフォーカスレンズを動かしながら合焦位置をサーチする必要があり、また、フォーカスレンズのサーチ駆動を行っても必ずしも焦点を検出することができる保証はない。更に、サーチ駆動自体に一定の時間を要する。

このような状況では、可視光を必要としないＩＲ光を用いたＴＯＦ法による焦点検出が有効であり、駆動シーケンスにおいて最初の焦点検出をＴＯＦ法を用いて行うことが好ましい。但し、ＴＯＦ法による焦点検出では、距離の分解能が不足する場合や測距精度が被写界深度に対して荒い場合がある。そのため、ＴＯＦ法による焦点検出結果を用いた焦点調節後に瞳分割位相差方式での焦点検出を行い、ＴＯＦ法による焦点調節後の状態が合焦範囲に入っているかの判定を行うことが望ましい。その結果、合焦状態であれば撮影動作へ移行し、非合焦状態であれば瞳分割位相差方式での焦点検出結果に基づいて、再度、フォーカスレンズを駆動して焦点調節を行うようにすればよい。

次に、撮像素子１０１Ｂの変形例について説明する。撮像装置１００Ｃにおいて、撮像素子１０１Ｂは発光素子１２０２と受光素子１２０３を別々に備えるが、これに代えて、受光と発光の両機能を有する受発光素子を備える撮像素子を用いてもよい。この場合、合焦状態において、撮像素子の１つの画素の発光部から出力される光は、被写体の概ね一点に到達し、反射又は散乱されて、再び、元の画素に結像して受光部に受光され、発光信号と受光信号とを用いてＴＯＦ法による測距を行うことができる。その結果、ＴＯＦ法による測距エリア分解能を高めることが可能となる。

受発光素子としては、例えば、ＬＥＤの受発光機能に着目した受発光素子（特開昭５８−１３４４８３号）や窒化ガリウム（ＧａＮ）系材料による多重量子井戸構造の受発光素子、ナノロッドを用いた受発光素子等が知られている。多重量子井戸構造の受発光素子は、Ｙ．Ｗａｎｇ ｅｔ ａｌ．，Ｐｒｏｃ．ＳＰＩＥ １０８２３，Ｎａｎｏｐｈｏｔｏｎｉｃｓ ａｎｄ Ｍｉｃｒｏ／Ｎａｎｏ Ｏｐｔｉｃｓ ＩＶ，１０８２３０Ｈ（２５ Ｏｃｔｏｂｅｒ ２０１８））等に開示がある。ナノロッドを用いた受発光素子については、Ｎ．Ｏｈ ｅｔ ａｌ．，Ｓｃｉｅｎｃｅ ３５５，６１６ （２０１７）等に開示があるが、これらに限るものではない。

＜第５実施形態＞
図２１は、第５実施形態に係る撮像装置１００Ｄの概略構成を示すブロック図である。

撮像装置１００Ｄが第１実施形態に係る撮像装置１００と大きく異なる点は、部分反射鏡１０４を備えず、光源１０２に代えて光源２１０２を有する点である。撮像装置１００Ｄの構成要素のうち、第１実施形態に係る撮像装置１００の構成要素と同じものについては、同じ符号を付して、共通する説明を省略する。また、撮像装置１００Ｄの結像光学系１１０３は、第４実施形態に係る撮像装置１００Ｃの結像光学系１１０３と実質的に同じであるため、同じ符号を付しており、また、ここでの説明を省略する。

図２２（ａ）は、光源２１０２の概略構成を説明する側面図である。光源２１０２は、ガリウムヒ素（ＧａＡｓ）系半導体基板２２０５に二次元アレイ状に形成された複数の発光部２２０３を有する。それぞれの発光部２２０３の上方にはマイクロレンズ２２０４が二次元アレイ状に配置されており、これによりマイクロレンズアレイが形成されている。それぞれのマイクロレンズ２２０４は、対応する発光部２２０３からの光をコリメート（発散角が０°に近くなるように）し又は発散を抑制する。

光源２１０２では、マイクロレンズアレイは、発光部２２０３との距離を制御可能な距離制御部２２０１上に配置されており、後述するように、撮像条件に応じて発光部２２０３からの光の出射条件（出射状態）を変化させることが可能となっている。なお、光源２１０２は、単一の発光素子や発光部から構成されるものであっても構わない。

光源２１０２では、発光部２２０３として、発振中心波長が約８００ｎｍの面発光レーザ（ＶＣＳＥＬ）を用いている。撮像に用いられる可視光波長帯域から外れた波長の光を用いることにより、ＴＯＦ法による測距信号と撮像信号とを区別することが容易となる。なお、発光部２２０３は、上述の構成に限られるものではなく、例えば、ストライプ型レーザ、発光ダイオード（ＬＥＤ）、量子ドット素子、有機ＥＬ素子を用いることも可能である。面発光レーザを含めて多くの微小発光素子から出射される光は拡散光であるため、マイクロレンズ２２０４により発光部２２０３からの拡散光の拡散を抑制している。

図２２（ｂ）は、光源２１０２からの出射光を説明する図である。光源２１０２の発光面中心付近の発光部２２０８とこれに隣接する発光部２２０９からの光はそれぞれ、対応するマイクロレンズ２２０６，２２０７により拡散状態が制御され、被写体位置Ｈに到達する。このとき、発光部２２０８，２２０９から出射される光が到達するエリア２２１２，２２１３が大きく重ならないように、且つ、エリア２２１２，２２１３の間が空かないように出射方向を調整する。これにより、被写体距離Ｈの必要なエリアに均等に光源２１０２から光を供給することができる。また、撮像素子１０１の撮像面Ｍに相当する被写体エリアに対する投光エリアを常に一定とすることができ、投光効率の高い測距を行うことが可能になる。このような設定は、距離制御部２２０１により、マイクロレンズ２２０６，２２０７と発光部２２０８，２２０９の間の距離を制御することによって実現することができる。なお、撮像素子１０１による撮像画角が投光エリアと概ね一致するか又はこれよりも大きくなるようにしてもよい。

光源２１０２の設定は、上記の設定に限定されるものではない。例えば、発光部２２０３から出射される光がコリメートされるように出射方向を調整することにより、被写体までの距離が長くなった場合にも十分な強度の投光が可能となる。このとき、光源２１０２の製造上のばらつき等を考慮して効率の高い投光を行うためには、撮像素子１０１で撮像可能な被写体エリアよりもやや内側に投光エリアが存在するように設定するようにしてもよい。

結像光学系１１０３の焦点距離が短くなる場合やＦ値が大きくなる場合には、撮像素子１０１から所定の距離にある面上での単位面積当たりの光源２１０２からの光量は減少してしまう。そのため、結像光学系１１０３の焦点距離やＦ値の変化に応じて、光源２１０２からの出射光の強度を変更することが望ましい。結像光学系１１０３又はレンズ駆動回路１１０やカメラＭＰＵ１１１から、随時、結像光学系１１０３の焦点距離やＦ値の情報を光源駆動回路１０５へ伝達して、光源２１０２から出射光の強度を変更することで、適切な光量での測距が可能となる。

図２３（ａ）は、光源２１０２からの出射光を覆うように制御レンズ２２２０を配置した構成を示す図である。図２３（ａ）では、光源２１０２の複数の発光部２１０３からの出射光の主光線が、模式的に破線２２２２で示されている。制御レンズ２２２０は、ｚ方向で移動可能に配置されており、光源２１０２から出射される光の被写体への投光状態を制御する。例えば、結像光学系１１０３が焦点距離の短い広角レンズで構成されている場合、出射光全体が発散気味になるように、制御レンズ２２２０の位置が制御される。一方、結像光学系１１０３が焦点距離が長い超望遠レンズで構成されている場合、遠距離の小さなエリアを撮像するため、出射光全体を小さなエリアに集中させるように制御レンズ２２２０の位置が制御され、これにより効率の高い投光が可能になる。

なお、結像光学系１１０３の焦点距離に応じて撮像画角が変化するため、光源２１０２からの出射光の発散具合や収束具合を制御する場合には、単位立体角当たりの出射光の強度が一定となるように制御することが望ましい。カメラＭＰＵ１１１は、結像光学系１１０３の焦点距離に応じて、結像光学系１１０３が受光可能な角度範囲と光源２１０２からの投光角度範囲とが一致するように、光源駆動回路１０５及び制御レンズ２２２０を制御する。

図２３（ｂ），（ｃ）はそれぞれ、ＡＦ枠２２２５と投光エリア２２２６の関係の一例を示す図であり、図２３（ｂ）は撮像画角内での中央一点ＡＦモードでの例を、図２３（ｃ）は撮像画角内での多点ＡＦモードでの例をそれぞれ示している。破線で示されるＡＦ枠２２２５は、電子ビューファインダや液晶モニタ等の表示部１１３に表示される、円で示す投光エリア２２２６は、表示部１１３に実際に表示されるものではないが、説明の便宜上、模式的に示している。

撮像装置１００Ｄでは、焦点検出部１１２のＡＦモードの違いに応じて、投光条件を望ましい条件に変更することが望ましい。例えば、図２３（ｂ）に示すように、撮像画角内での中央一点ＡＦモードでは、ＡＦ枠に対応するエリアに選択的に限定して光源２１０２からの出射光を投光することが望ましい。また、図２３（ｃ）の左図に示すように、撮像画角内での多点測距モードでは、各ＡＦ枠に対応するエリアに選択的に限定して出射光を投光することが望ましい。但し、この場合でも、焦点距離や被写体距離に応じて投光範囲を調整することが望ましい。また、多点測距モードの場合でも、被写体距離が近い場合には、図２３（ｃ）の右図に示すように、安全性を加味して多点ＡＦ枠の全てを包括するエリアに投光するエリアＡＦ状態を実現することが望ましい。

撮像素子１０１は、第１実施形態に係る撮像装置１００が備える撮像素子１０１と同等であり、その構成等については、図４及び図５を参照して説明済みであるため、ここでの説明を省略する。

次に、撮像装置１００Ｄでの撮像シーケンスについて説明する。撮像装置１００Ｄでの撮像シーケンスは、第１実施形態に係る撮像装置１００での撮像シーケンスを示している図６のフローチャートに従って実行することができる。そのため、ここでのフローチャートの図示と全体的な説明を省略する。但し、Ｓ６０５でのＴＯＦ法による測距処理の手法が、撮像装置１００Ｄと第１実施形態に係る撮像装置１００とで異なるため、以下、撮像装置１００ＤでのＴＯＦ法による測距方法について、図２４を参照して説明する。

図２４は、撮像装置１００ＤでのＴＯＦ法による測距方法を説明する図である。カメラＭＰＵ１１１を通じてＴＯＦ制御部１０６から光源駆動回路１０５へ信号が伝達され、光源駆動回路１０５により光源２１０２が駆動される。光源２１０２から中心波長８００ｎｍの周期矩形パルスレーザ光が被写体Ｊへ向けて出力される。

光源２１０２の出射面上の位置Ｒからの出射光（光学的重心の光線を矢印２５０１で示す）は被写体Ｊの点Ｓに到達する。発光部２２０３から出射光は一定の幅を有しており、被写体Ｊ上の点Ｓでは出射光に起因する反射光を含む散乱光２５０２が生じる。散乱光２５０２の一部は、結像光学系１１０３の開口を通りうる範囲（一点鎖線２５０４，２５０５間）を通り、撮像素子１０１の撮像面Ｍ上の点Ｔに結像する。なお、図２４では、一点鎖線２５０４，２５０５間の略中心を通る光線を実線２５０３で示している。

撮像装置１００Ｄでは、撮像素子１０１上の有効画素エリアと光源２１０２の出射面上で発光部２２０３が配置されたエリアの大きさ及び形状とが一致するように構成されている。これにより、撮像画角より外側への無駄な投光を低減させて、投光効率を高めることができる。また、撮像素子１０１のＩＲ画素（画素３０２）による受光タイミングを周期的な矩形パルスとすることにより、光源２１０２からの出射光とＩＲ画素の受光光の時間的なずれを検出し、その検出信号又はこれに関連する信号を生成する。こうして、生成した信号から、被写体Ｊ上の点Ｓと撮像面Ｍとの間の距離をＴＯＦ演算部１０７により算出する。以上が、Ｓ６０５でのＴＯＦ法による測距処理の手法である。

なお、光源２１０２から出射されるパルス光とその反射光の検出手法、信号の演算については、周知のＴＯＦ法を用いることができ、例えば、先述した非特許文献１に記載されている位相検出方法を用いることができる。なお、ＴＯＦ法については様々な手法が研究、提案されており、本実施形態ではそれらの手法を用いることも可能であって、特定の手法を限定的に用いる必要はない。

＜第６実施形態＞
図２５は、第６実施形態に係る撮像装置１００Ｅの概略構成を示すブロック図である。

撮像装置１００Ｅは、第５実施形態に係る撮像装置１００Ｄが備える撮像素子１０１を、第２実施形態に係る撮像装置１００Ａが備える撮像素子１０１Ａに変更し、これに付随して焦点検出部１１８を備えた構成となっている。撮像装置１００Ｅのその他の構成は、撮像装置１００Ｄの構成と同等である。そのため、撮像装置１００Ｅの構成要素のうち、第５実施形態に係る撮像装置１００Ｄ及び第１実施形態に係る撮像装置１００のの構成要素と同じものについては、同じ符号を付して、共通する説明を省略する。

撮像素子１０１Ａは、第２実施形態で説明した通り、撮像面位相差方式の焦点検出が可能な撮像素子であり、その構造については図９を参照して説明済みであるため、ここでの説明を省略する。

次に、撮像装置１００Ｅでの撮像シーケンスについて説明する。図２６は、撮像装置１００Ｅでの撮像シーケンスを示すフローチャートである。図２６にＳ番号で示す各処理（ステップ）は、カメラＭＰＵ１１１が所定のプログラムを実行して撮像装置１００Ｅの各部の動作を統括的に制御することによって実現される。

Ｓ２６０１にてカメラＭＰＵ１１１は、ＡＦボタンの押下を検知したものとする。なお、Ｓ２６０１の処理は、前述したＳ６０１と同じ処理である。Ｓ２６０２にてカメラＭＰＵ１１１は、焦点検出部１１８を制御して、撮像素子１０１Ａから出力される信号を用いて撮像面位相差方式による焦点検出処理を行う。Ｓ２６０３にてカメラＭＰＵ１１１は、焦点検出が可能か否かを判定する。カメラＭＰＵ１１１は、焦点検出が可能であると判定した場合（Ｓ２６０３でＹＥＳ）、処理をＳ２６０４へ進め、焦点を検出することができないと判定した場合（Ｓ２６０３でＮＯ）、処理をＳ２６０６へ進める。

Ｓ２６０４にてカメラＭＰＵ１１１は、焦点検出部１１８からの焦点検出信号に基づいてレンズ駆動回路１１０を駆動して、フォーカスレンズを光軸方向で移動させる。これにより、Ｓ６０５にてＭＰＵ１１１は、結像光学系１１０３を被写体に対して合焦した（ピントの合った）状態とすることができ、その後、処理をＳ２６１１へ進める。

撮像面位相差方式により焦点を検出することができなかった場合のＳ２６０６にてカメラＭＰＵ１１１は、ＴＯＦ法による測距を行う。ここでのＴＯＦ法による測距は、第５実施形態でのＴＯＦ法による測距と同様に行うことができるため、ここでの詳細な説明を省略する。また、Ｓ２６０６〜Ｓ２６１２の処理は、第５実施形態に係る撮像装置１００Ｄの撮像シーケンスとして引用した図６のフローチャートのＳ６０５〜Ｓ６１１の処理或いは図２０のフローチャートのＳ１８０３〜Ｓ１８０９と同様に行われる。そのため、これらの各処理についても、ここでの説明を省略する。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。更に、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００，１００Ａ，１００Ｂ 撮像装置
１０１，１０１Ａ，１０１Ｂ 撮像素子
１０２ 光源
１０３，１１０３ 結像光学系
１０４ 部分反射鏡
１０６ ＴＯＦ制御部
１０７ ＴＯＦ演算部
１１８ 焦点検出部
１１９ ミラー駆動回路
２０３ 発光部
２０４ マイクロレンズ
４０２，９０２ 光電変換部
４０５ マイクロレンズ
１１０５ 発光素子駆動回路
２２２０ 制御レンズ

Claims (26)

1. 結像光学系と、
   撮像素子と、
   マイクロレンズアレイを通じて光を出射する光源と、
   前記結像光学系に配置され、前記光源から出射された光を被写体へ投光すると共に、前記被写体からの光を前記撮像素子へ導く部分反射鏡と、
   前記撮像素子が前記光源から出射されて前記被写体で反射した光を受光することにより出力する信号を用いて前記被写体から前記撮像素子の撮像面までの距離を演算する演算手段と、を備え、
   前記部分反射鏡は、前記結像光学系の中心光軸と前記部分反射鏡の面の法線とのなす角が０°より大きく９０°より小さくなるように配置され、
   前記撮像素子と前記光源は、前記被写体からの光が前記部分反射鏡により反射される側と透過される側に別々に、前記光源のマイクロレンズアレイによる瞳距離と前記撮像素子のマイクロレンズアレイによる瞳距離とが一致し、前記結像光学系を介して前記被写体に対して共役となる位置に配置されていることを特徴とする撮像装置。
2. 前記光源は、前記光源のマイクロレンズアレイを構成する複数のマイクロレンズと対応する複数の発光部を有することを特徴とする請求項１に記載の撮像装置。
3. 前記光源から出射された光の前記被写体に対する投光領域は、前記撮像素子の撮像画角に対応する被写体領域の内側にあることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記撮像素子の有効画素領域と前記光源の全体的な発光領域は、同じ形状、且つ、同じ大きさであることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記光源のマイクロレンズアレイを構成する複数のマイクロレンズはそれぞれ、前記光源の全体的な発光領域の中心から遠ざかるに従って該中心に向かって大きく偏心するように配置されていることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記撮像素子のマイクロレンズアレイを構成するマイクロレンズはそれぞれ、前記撮像素子の撮像面の中心から遠ざかるに従って該中心に向かって大きく偏心するように配置されていることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記部分反射鏡は、前記結像光学系の光路内の第１の位置と前記結像光学系の光路外の第２の位置との間で遷移可能であり、
   前記部分反射鏡を駆動する駆動手段を更に備えることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記演算手段により前記被写体から前記撮像素子の撮像面までの距離を求める際に前記部分反射鏡を前記第１の位置に保持し、前記撮像素子による本撮影を行う際に前記部分反射鏡を前記第２の位置で保持するように前記駆動手段を制御する制御手段を更に備えることを特徴とする請求項７に記載の撮像装置。
9. 結像光学系と、
   被写体からの光を前記結像光学系を通して受光する受光素子と、前記被写体へ光を出射する光源と、を有する撮像素子と、
   前記光源から出射されて前記被写体で反射した光を前記受光素子で受光することにより前記受光素子から出力される信号を用いて前記被写体から前記撮像素子の撮像面までの距離をＴＯＦ法により演算する演算手段と、を備えることを特徴とする撮像装置。
10. 前記撮像素子は、前記光源が配列された発光ユニットと、前記受光素子が配列された受光ユニットから構成されていることを特徴とする請求項９に記載の撮像装置。
11. 前記光源と前記受光素子が同一の素子であることを特徴とする請求項９に記載の撮像装置。
12. 撮像素子と、
    被写体へ光を出射する光源と、
    前記被写体からの光を前記撮像素子に導く結像光学系と、
    前記光源から出射されて前記被写体で反射した光を前記撮像素子で受光することにより前記撮像素子から出力される信号を用いて前記被写体から前記撮像素子の撮像面までの距離をＴＯＦ法により演算する演算手段と、
    前記被写体に対する撮像条件に応じて前記光源からの光の出射条件を決定する決定手段と、
    前記出射条件に基づいて前記光源から前記被写体へ光の出射を制御する制御手段を具備することを特徴とする撮像装置。
13. 前記光源は、複数の微小な発光素子を有し、
    前記複数の発光素子からの光の出射方向と、前記光源から出射された光の前記被写体への投光状態の少なくとも一方を調整する調整手段を更に備えることを特徴とする請求項１２に記載の撮像装置。
14. 前記被写体に対する前記光源からの投光領域を前記被写体の一部の領域に限定する限定手段を更に備えることを特徴とする請求項１３に記載の撮像装置。
15. 前記光源から前記被写体への投光エリアが前記撮像素子による撮像画角よりも狭いことを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
16. 前記結像光学系の焦点距離又は絞り値に応じて前記光源から出力される光の強度を変更する変更手段を更に備えることを特徴とする請求項１乃至１５のいずれか１項に記載の撮像装置。
17. 前記光源から出射される光の波長帯域は赤外光波長帯域であり、前記撮像素子での前記被写体の撮像に用いられる光の波長帯域は可視光波長帯域であることを特徴とする請求項１乃至１６のいずれか１項に記載の撮像装置。
18. 前記光源から出射される光は、パルス光であることを特徴とする請求項１７に記載の撮像装置。
19. 前記演算手段が算出した距離情報を用いて前記被写体に前記結像光学系を合焦させる焦点調節手段を更に備えることを特徴とする請求項１乃至１８のいずれか１項に記載の撮像装置。
20. 前記撮像素子は、第１の光電変換部と第２の光電変換部とを有する光電変換部を備える複数の画素を有し、
    前記第１の光電変換部により得られる像と前記第２の光電変換部により得られる像とを用いて撮像面位相差方式の焦点検出を行う焦点検出手段を更に備えることを特徴とする請求項１乃至１８のいずれか１項に記載の撮像装置。
21. 前記撮像素子は、第１の光電変換部と第２の光電変換部とを有する光電変換部を備える複数の画素を有し、
    前記第１の光電変換部により得られる像と前記第２の光電変換部により得られる像とを用いて撮像面位相差方式の焦点検出を行う焦点検出手段と、
    前記焦点調節手段と前記焦点検出手段による焦点検出結果とを用いて前記被写体に対する焦点調節を行う制御手段と、を更に備えることを特徴とする請求項１９に記載の撮像装置。
22. 前記制御手段は、前記焦点調節手段による焦点調節後に前記焦点検出手段による焦点検出結果を用いた焦点調節を行うことを特徴とする請求項２１に記載の撮像装置。
23. 前記結像光学系は、前記撮像素子を保持する撮像装置本体に対して着脱が可能であることを特徴とする請求項１乃至の２２のいずれか１項に記載の撮像装置。
24. 結像光学系を所定の被写体に合焦させるステップと、
    前記結像光学系に配置された部分反射鏡へマイクロレンズアレイを通して光源から赤外光波長帯域の光を投光するステップと、
    前記部分反射鏡で反射された前記赤外光波長帯域の光を前記結像光学系を通じて被写体へ投光し、その反射光を前記結像光学系を通じて撮像素子が受光することで前記撮像素子から出力される信号を用いてＴＯＦ法による測距を行うステップと、
    前記ＴＯＦ法による測距結果から距離マップを生成するステップと、
    前記被写体から前記結像光学系へ入射する可視光波長帯域の光を前記撮像素子で受光することで前記撮像素子から出力される信号を用いて撮像を行うステップと、
    前記距離マップと前記撮像により生成した画像データを記憶手段に記憶するステップと、を有し、
    前記結像光学系の中心光軸と前記部分反射鏡の面の法線とのなす角が０°より大きく９０°より小さくなるように前記部分反射鏡が配置され、
    前記光源と前記撮像素子とは、前記被写体からの光が前記部分反射鏡により反射される側と透過される側に別々に、前記光源のマイクロレンズによる瞳距離と前記撮像素子の複数の画素のそれぞれに設けられたマイクロレンズによる瞳距離とが一致し、前記結像光学系を介して前記被写体に対して共役となる位置に配置されていることを特徴とする撮像装置の制御方法。
25. 撮像素子が備える光源から被写体への投光を行うステップと、
    前記光源から出射されて前記被写体で反射した光を前記撮像素子が備える第１の受光素子で受光することにより前記第１の受光素子から出力される信号を用いて前記被写体から前記撮像素子の撮像面までの距離をＴＯＦ法により演算するステップと、
    前記ＴＯＦ法による測距結果から距離マップを生成するステップと、
    前記被写体から前記撮像素子へ入射する可視光波長帯域の光を前記撮像素子が備える第２の受光素子で受光することで前記第２の受光素子から出力される信号を用いて撮像を行うステップと、
    前記距離マップと前記撮像により生成した画像データを記憶手段に記憶するステップと、を有することを特徴とする撮像装置の制御方法。
26. 光源から被写体への投光を行うステップと、
    前記光源から出射されて前記被写体で反射した光を撮像素子で受光して前記撮像素子から出力される信号を用いて前記被写体から前記撮像素子の撮像面までの距離をＴＯＦ法により演算するステップと、
    前記ＴＯＦ法による測距結果から距離マップを生成するステップと、
    前記ＴＯＦ法による測距の結果を用いて前記被写体に対して選択された一部の領域に合焦するように結像光学系を調整するステップと、
    前記領域に前記結像光学系が合焦した状態で前記撮像素子による前記被写体の撮像を行うステップと、
    前記距離マップと前記撮像により生成した画像データを記憶手段に記憶するステップと
    を有することを特徴とする撮像装置の制御方法。