(第1の実施の形態)
図1は、第1の実施の形態に係る撮像装置の構成を模式的に示す断面図である。撮像装置1は、被写体2を撮影して、被写体2の画像データと共に、被写体2のデプスマップデータを作成する機能を有する装置である。本実施形態において、デプスマップデータとは、被写体2の部分ごとに、当該部分と撮像装置1との距離(すなわち当該部分の奥行き)を表す距離値を二次元状に配列したマップのデータである。撮像装置1を用いると、1回の撮影で、被写体2の画像データだけでなく、デプスマップデータまで同時に得ることができる。換言すると、画像データとデプスマップデータは、同一の光電変換信号から作成される。
撮像装置1は、光源部10、光学系11、撮像素子12、制御部13、ROM14、表示部15、および記憶媒体16を備える。光源部10は、被写体2に対して後述する変調光3を放出する。変調光3は、送信第1変調光3aと送信第2変調光3bとを有する。変調光3は、被写体2の表面で反射し、反射光4として撮像装置1に返り、光学系11を介して撮像素子12の撮像面に入射する。反射光4は、送信第1変調光3aの反射光である受信第1変調光4aと、送信第2変調光3bの反射光である受信第2変調光4bとを含む。光学系11は、例えば複数のレンズから構成される結像光学系である。なお図1では、光学系11を簡略化して1枚のレンズとして図示している。
制御部13は、不図示のマイクロコンピュータおよび周辺回路から構成される。制御部13は、不揮発性の記憶媒体であるROM14に予め記憶されている制御プログラムを読み込んで実行することにより、撮像装置1の各部を制御する。表示部15は、例えば液晶モニタ等の表示装置である。記憶媒体16は、例えばメモリカード等の書き換え可能な記憶媒体である。
詳細は後述するが、撮像素子12からは光電変換信号が出力される。制御部13は、この光電変換信号に基づき画像データとデプスマップデータとを作成する。制御部13は、作成した画像データやデプスマップデータを記憶媒体16に記憶したり、これらのデータに基づく画像を表示部15に表示したりする。
制御部13はソフトウェア形態により、第1検出部13a、第2検出部13b、測距部13c、画像作成部13d、および発光制御部13eを備える。これらの各部は、制御部13がROM14に記憶されている所定の制御プログラムを実行することにより、ソフトウェア的に実現される。これらの各部の動作については後に詳述する。
図2(a)は、撮像素子12の構成を模式的に示す平面図であり、図2(b)は、撮像面20の一部の領域20aを拡大した模式図である。図2(b)に示すように、撮像面20には、複数の画素30が二次元状に配列されている。
画素30には、第1画素30aと、第2画素30bと、の2種類が存在する。本実施形態では、図2(b)に示すように、第1画素30aと第2画素30bは互い違いに配列されている。つまり、第1画素30aの上下左右には第2画素30bが存在し、第2画素30bの上下左右には第1画素30aが存在するように配列されている。従って、撮像面20には、略同数の第1画素30aと第2画素30bとが一様に(均一に)配列されている。
図2(a)に示すように、撮像素子12は、水平走査回路21、垂直走査回路22、第1転送制御回路23a、および第2転送制御回路23bを備える。垂直走査回路22は、撮像素子12が有する複数の画素30を、1行ごとに制御する。水平走査回路21は、1行分の画素30から出力信号を順次読み出す。第1転送制御回路23aは、複数の第1画素30aについて同一タイミングで、光電変換信号をフローティングディフュージョンに転送する。第2転送制御回路23bは、複数の第2画素30bについて同一タイミングで、光電変換信号をフローティングディフュージョンに転送する。
詳細は後述するが、第1転送制御回路23aから第1画素30aに向かって出力される制御用のパルス信号と第2転送制御回路23bから第2画素30bに向かって出力される制御用のパルス信号は、異なるパルス信号である。
図3は、撮像素子12の構成を示す回路図である。なお図3では、1つの画素30の回路図のみを図示している。第1画素30aおよび第2画素30bは、共に図3に示す構成を有している。以下、画素30について説明を行うが、この説明は第1画素30aおよび第2画素30bの両方についての説明である。
画素30は、不図示のマイクロレンズと、マイクロレンズにより被覆された光電変換部32と、第1読出部331と、第2読出部332と、第3読出部333と、第4読出部334とを備える。マイクロレンズは、入射光(光学系11からの光束)を光電変換部32に集光する。光電変換部32は、入射光を光電変換して光量に応じた電荷を生成する。すなわち光電変換部32は、入射光を光電変換して光電変換信号を出力する。第1読出部331、第2読出部332、第3読出部333、および第4読出部334は、光電変換部32から光電変換信号を読み出す。
第1読出部331は、転送トランジスタTX1と、リセットトランジスタRST1と、フローティングディフュージョンFD1と、増幅トランジスタAMP1と、行選択トランジスタSEL1とを有する。転送トランジスタTX1は、信号φTX1に基づき、光電変換部32により出力された光電変換信号(光電変換部32により生成された電荷)をフローティングディフュージョンFD1に転送する。リセットトランジスタRST1は、信号φRSTに基づき、フローティングディフュージョンFD1をリセットする。増幅トランジスタAMP1は、フローティングディフュージョンFD1に蓄積されている電荷の量に応じた信号を出力する。行選択トランジスタSEL1は、信号φSELに基づき、増幅トランジスタAMP1から出力された信号を垂直信号線V1に出力する。以下の説明では、垂直信号線V1に出力される信号を、出力信号N1と称する。
第2読出部332は、転送トランジスタTX2と、リセットトランジスタRST2と、フローティングディフュージョンFD2と、増幅トランジスタAMP2と、行選択トランジスタSEL2とを有する。転送トランジスタTX2は、信号φTX2に基づき、光電変換部32により出力された光電変換信号(光電変換部32により生成された電荷)をフローティングディフュージョンFD2に転送する。リセットトランジスタRST2は、信号φRSTに基づき、フローティングディフュージョンFD2をリセットする。増幅トランジスタAMP2は、フローティングディフュージョンFD2に蓄積されている電荷の量に応じた信号を出力する。行選択トランジスタSEL2は、信号φSELに基づき、増幅トランジスタAMP2から出力された信号を垂直信号線V2に出力する。以下の説明では、垂直信号線V2に出力される信号を、出力信号N2と称する。
第3読出部333は、転送トランジスタTX3と、リセットトランジスタRST3と、フローティングディフュージョンFD3と、増幅トランジスタAMP3と、行選択トランジスタSEL3とを有する。転送トランジスタTX3は、信号φTX3に基づき、光電変換部32により出力された光電変換信号(光電変換部32により生成された電荷)をフローティングディフュージョンFD3に転送する。リセットトランジスタRST3は、信号φRSTに基づき、フローティングディフュージョンFD3をリセットする。増幅トランジスタAMP3は、フローティングディフュージョンFD3に蓄積されている電荷の量に応じた信号を出力する。行選択トランジスタSEL3は、信号φSELに基づき、増幅トランジスタAMP3から出力された信号を垂直信号線V3に出力する。以下の説明では、垂直信号線V3に出力される信号を、出力信号N3と称する。
第4読出部334は、転送トランジスタTX4と、リセットトランジスタRST4と、フローティングディフュージョンFD4と、増幅トランジスタAMP4と、行選択トランジスタSEL4とを有する。転送トランジスタTX4は、信号φTX4に基づき、光電変換部32により出力された光電変換信号(光電変換部32により生成された電荷)をフローティングディフュージョンFD4に転送する。リセットトランジスタRST4は、信号φRSTに基づき、フローティングディフュージョンFD4をリセットする。増幅トランジスタAMP4は、フローティングディフュージョンFD4に蓄積されている電荷の量に応じた信号を出力する。行選択トランジスタSEL4は、信号φSELに基づき、増幅トランジスタAMP4から出力された信号を垂直信号線V4に出力する。以下の説明では、垂直信号線V4に出力される信号を、出力信号N4と称する。
なお、本実施形態において、信号φSELは行ごとに独立して画素30に入力される。以下の説明において、n行目の画素30に入力される信号φSELを、信号φSEL(n)と表記する。例えば、信号φSEL(1)は、1行目の画素30に入力される信号を示す。一方、信号φRSTについては、全ての画素30に同一の信号が入力される。信号φTX1、信号φTX2、信号φTX3、信号φTX4については、第1画素30aと第2画素30bとでそれぞれ異なる信号が入力される。各信号については後に詳述する。
図4は、光源部10から放出される変調光3を模式的に示す図である。なお、図4の横軸は時間を表し、縦軸は光強度を表している。変調光3は、送信第1変調光3aと送信第2変調光3bとを重畳した可視光である。送信第1変調光3aは、振幅Aa、周期Taの正弦波として変調された光である。送信第1変調光3aの周波数faは、1/Taである。以下の説明では、送信第1変調光3aの振幅Aa、周期Ta、周波数faを、それぞれ第1振幅Aa、第1周期Ta、第1周波数faと称する。
送信第2変調光3bは、振幅Ab、周期Tbの正弦波として変調された光である。送信第2変調光3bの周波数fbは、1/Tbである。以下の説明では、送信第2変調光3bの振幅Ab、周期Tb、周波数fbを、それぞれ第2振幅Ab、第2周期Tb、第2周波数fbと称する。第1周期Taは、第2周期Tbよりも短い(例えば、Ta≒Tb/7)。換言すると、第1周波数faは、第2周波数fbよりも高い。
図5は、光源部10から放出される変調光3と、撮像素子12の撮像面に入射する反射光4との関係を模式的に示す図である。図1に模式的に示したように、反射光4には、受信第1変調光4aと、受信第2変調光4bとが含まれる。受信第1変調光4aおよび受信第2変調光4bは、変調光3を放出した時刻から、被写体2の距離に応じた時間が経過した後に、撮像素子12に入射する。以下の説明では、この被写体2の距離に応じた時間を、遅れ時間と呼ぶ。遅れ時間によって、送信第1変調光3aと受信第1変調光4aとの間には、位相差θaが生じ、送信第2変調光3bと受信第2変調光4bとの間には、位相差θbが生じる。図5に示すように、遅れ時間が第1周期Ta未満である場合、位相差θaが表す遅れ時間と位相差θbが表す遅れ時間は同一である。
図6は、被写体2がより遠くにある場合の、光源部10から放出される変調光3と、撮像素子12の撮像面に入射する反射光4との関係を模式的に示す図である。図6に示すように、遅れ時間が第1周期Ta以上である場合、位相差θaは、見かけ上、真の位相差Θに比べて小さくなる。換言すると、Θ=2πn×θaである(nは0以上の整数)。つまり、遅れ時間が第1周期Ta以上である場合、位相差θaが表す遅れ時間と位相差θbが表す遅れ時間は異なる値となる。
図7は、撮影動作を示すタイミングチャートである。制御部13は、撮影動作に際し、撮像素子12に画素30をリセットさせる。垂直走査回路22は、制御部13からの信号をもとに、時刻t1に制御用のパルス信号である信号φRSTを出力する。前述の通り、信号φRSTは全ての画素30に対して出力される。これにより、全ての画素30がリセットされる。
リセットが完了した時刻t2に、発光制御部13eが、光源部10に、変調光3の放出を開始させる。光源部10による変調光3の放出に同期して、時刻t2に、第1転送制御回路23aおよび第2転送制御回路23bが、制御用のパルス信号である信号φTX1、信号φTX2、信号φTX3、および信号φTX4の出力を開始する。発光制御部13eは、送信第1変調光3aが極大となる位置p1と、第1転送制御回路23aから第1画素30aに対して出力される信号φTX1のパルスの中心位置p2とが一致するように、光源部10を制御する。発光制御部13eは、送信第2変調光3bが極大となる位置p3と、第2転送制御回路23bから第2画素30bに対して出力される信号φTX1のパルスの中心位置p4とが一致するように、光源部10を制御する。すなわち発光制御部13eは、変調光3と信号φTX1、信号φTX2、信号φTX3、および信号φTX4とを同期させる。
第1転送制御回路23aは、第1画素30aに対して、信号φTX1、信号φTX2、信号φTX3、および信号φTX4を出力する。第1転送制御回路23aは、時刻t2から送信第1変調光3aの周期Taだけ後の時刻t3までの期間を4つの期間に分割し、それら4つの期間において、信号φTX1、信号φTX2、信号φTX3、および信号φTX4をオンする。第1転送制御回路23aは、露光期間Teの間、上述した信号φTX1、信号φTX2、信号φTX3、および信号φTX4を繰り返し出力する。
第2転送制御回路23bは、第2画素30bに対して、信号φTX1、信号φTX2、信号φTX3、および信号φTX4を出力する。第2転送制御回路23bは、時刻t2から送信第2変調光3bの周期Tbだけ後の時刻t4までの期間を4つの期間に分割し、それら4つの期間において、信号φTX1、信号φTX2、信号φTX3、および信号φTX4をオンする。第2転送制御回路23bは、露光期間Teの間、上述した信号φTX1、信号φTX2、信号φTX3、および信号φTX4を繰り返し出力する。
時刻t2から露光期間Teだけ後の時刻t5に、発光制御部13eは、光源部10に、変調光3の放出を停止させる。変調光3の放出停止に同期して、時刻t5に、第1転送制御回路23aおよび第2転送制御回路23bが、信号φTX1、信号φTX2、信号φTX3、および信号φTX4の出力を停止する。時刻t5の時点で、画素30のフローティングディフュージョンFD1、フローティングディフュージョンFD2、フローティングディフュージョンFD3、およびフローティングディフュージョンFD4には、それぞれ光電変換部32により生成された電荷が蓄積されている。
換言すると、時刻t2から時刻t5までの期間に光電変換部32に入射した反射光4(受信第1変調光4aおよび受信第2変調光4bを含む)から光電変換された電荷は、細かな期間ごとに個別にフローティングディフュージョンFD1〜FD4へ転送される。例えばフローティングディフュージョンFD1には、信号φTX1がオンである期間に光電変換部32で光電変換された電荷が転送される。
時刻t5以降、水平走査回路21および垂直走査回路22は、出力信号N1〜N4の読み出しを開始する。出力信号N1〜N4の読み出しは、行ごとに行われる。まず時刻t5に、垂直走査回路22が、1行目の画素30に対して制御用のパルス信号である信号φSEL(1)を出力する。これにより、垂直信号線V1〜V4に、1行目の画素30の各々からの出力信号N1〜N4が出力される。信号φSEL(1)が出力されている間に、水平走査回路21が、1行目の画素30の各々からの出力信号N1〜N4を1つずつ、制御部13に出力する。1行目の画素30の全てについて出力信号N1〜N4が制御部13に出力されると、次に垂直走査回路22が、2行目の画素30に対して信号φSEL(2)を出力する。これにより、垂直信号線V1〜V4に、2行目の画素30の各々からの出力信号N1〜N4が出力される。信号φSEL(2)が出力されている間に、水平走査回路21が、2行目の画素30の各々からの出力信号N1〜N4を1つずつ、制御部13に出力する。水平走査回路21および垂直走査回路22は、全ての行について以上の動作を繰り返すことで、全ての画素30からの出力信号N1〜N4を制御部13に出力する。
次に、第1検出部13a、第2検出部13b、測距部13c、および画像作成部13dの動作について説明する。図8は、第1検出部13a、第2検出部13b、測距部13c、および画像作成部13dの動作を説明する説明図である。被写体2に対して放出された変調光3は、被写体2により反射され、背景光と共に反射光4として第1画素30aおよび第2画素30bに入射する。第1画素30aおよび第2画素30bは、出力信号N1〜N4を出力する。第1検出部13aは、第1画素30aの出力信号N1〜N4から後述するza、θa、Aaを演算する。第2検出部13bは、第2画素30bの出力信号N1〜N4から後述するzb、θb、Abを演算する。測距部13cは、第1検出部13aおよび第2検出部13bによる演算結果に基づき、被写体2のデプスマップデータを作成する。画像作成部13dは、第1画素30aおよび第2画素30bの出力信号N1〜N4から、被写体2の画像データを作成する。以下、これらの動作について詳述する。
既述の通り、光源部10は、被写体2に対し、送信第1変調光3aと送信第2変調光3bとを重畳した変調光3を放出する。変調光3は、被写体2の表面で反射して反射光4となり、撮像素子12が有する第1画素30aや第2画素30bに入射する。ただし、被写体2には変調光3とは別に、太陽等の光源からの背景光も照射されているので、反射光4には、受信第1変調光4aおよび受信第2変調光4b以外に、種々の背景光の反射光も含まれる。
第1画素30aは、反射光4を光電変換し、上述した出力信号N1〜N4を出力する。同様に、第2画素30bも、反射光4を光電変換し、上述した出力信号N1〜N4を出力する。
第1検出部13aは、第1画素30aから出力された出力信号N1〜N4に基づいて、後述する出力値zaを演算する。出力値zaは、反射光4に含まれる受信第1変調光4aの光電変換結果を複素数化した値である。出力値zaからは、反射光4に含まれる受信第1変調光4aの第1振幅Aaと、受信第1変調光4aの送信第1変調光3aに対する位相差θaとが算出される。ただし、詳細は後述するが、ここで算出される位相差θaは、受信第1変調光4aの送信第1変調光3aに対する真の位相差Θと異なっている可能性があるので、測距部13cは、別途補正を行う。
第1検出部13aは、それぞれの第1画素30aから出力された出力信号N1〜N4に基づいて、第1画素30aごとに出力値zaを演算する。第1検出部13aは、各々の第1画素30aにおける複数の出力値zaを演算する。
第2検出部13bは、第2画素30bから出力された出力信号N1〜N4に基づいて、後述する出力値zbを演算する。出力値zbは、反射光4に含まれる受信第2変調光4bの光電変換結果を複素数化した値である。出力値zbからは、反射光4に含まれる受信第2変調光4bの第2振幅Abと、受信第2変調光4bの送信第2変調光3bに対する位相差θbとが算出される。
第2検出部13bは、それぞれの第2画素30bから出力された出力信号N1〜N4に基づいて、第2画素30bごとに出力値zbを演算する。第2検出部13bは、各々の第2画素30bにおける複数の出力値zbを演算する。
測距部13cは、第2検出部13bにより演算された出力値zbを用いて後述する演算を行うことで、第1検出部13aにより検出された位相差θaを補正し、真の位相差Θを演算する。そして、この真の位相差Θを用いて後述する演算を行うことにより、1つの画素30に対応する被写体部分の撮像装置1からの距離L(奥行きL)を算出する。測距部13cは、全ての画素30について奥行きLを算出することにより、被写体部分ごとの奥行きLを二次元状にマップしたデプスマップデータを作成する。
画像作成部13dは、第1画素30aから出力された出力信号N1〜N4と、第2画素30bから出力された出力信号N1〜N4とに基づいて、被写体2の画像データを作成する。詳細は後述するが、画像作成部13dは、ある第1画素30aから出力された出力信号N1〜N4に基づいて、当該第1画素30aに対応する画素値を決定する。また、画像作成部13dは、ある第2画素30bから出力された出力信号N1〜N4に基づいて、当該第2画素30bに対応する画素値を決定する。このように、画像作成部13dは、画素30ごとに、その画素30から出力された出力信号N1〜N4に基づき、その画素30の画素値を決定する。
次に、第1検出部13aによる出力値zaの演算方法について説明する。第1検出部13aは、時刻t2〜t5の期間に第1画素30aが光電変換した結果出力された出力信号N1〜N4に基づき、反射光4光電変換結果から受信第1変調光4aの光電変換結果、すなわち第1周波数faを有する入射光の光電変換結果を検出する。出力信号Ni(i=1〜4)は、次式(1)のように表すことができる。
ここで、ηは撮像素子12の感度、φR(t)は反射光4の強度である。また、gi(t)は、図7に図示した信号φTXi(φTX1〜φTX4)である。例えばg1(t)は、信号φTX1がオンであるときに1、それ以外のときに0となる関数である。上式(1)から、N1−N3は、次式(2)のようになる。
図9に示すように、g1(t)−g3(t)は、0を中心として+1〜−1の区間で振動する信号となる。これは、時刻t2〜t3の期間を周期とする正弦波(すなわち周期Taの正弦波)cos2πfatで近似することができる。また、反射光4は、受信第1変調光4a、受信第2変調光4b、およびその他の背景光を足し合わせた光であるので、次式(3)で表すことができる。
上式(3)は、k種類の光を重ね合わせた光を表現する式であり、それらのうちある1種類は受信第1変調光4a、別の1種類は受信第2変調光4b、残りは背景光である。上式(3)においてfk(f0、f1、f2、…)は、反射光4に含まれる各々の光の周波数、Ak(A0、A1、A2、…)は各々の光の振幅である。また、Δtは、光源部10から変調光3が投射された時刻と反射光4が第1画素30aに入射した時刻との差、すなわち遅れ時間である。
g1(t)−g3(t)を正弦波で近似し、更に上式(3)を導入すると、N1−N3は次式(4)で表すことができる。
ここで、次式(5)で表すように、異なる周波数の正弦波(周波数fkの正弦波と周波数fpの正弦波)同士の積を積分した結果は、0と見なすことができる。
これを上式(4)に当てはめると、反射光4に含まれる多数の光に関する項のうち、第1周波数faの光(すなわち受信第1変調光4a)に関する項のみが残り(他の光に関する項は0になるため)、最終的にN1−N3は次式(6)で表されることになる。
つまり、出力信号N1から出力信号N3を減算すると、反射光4の光電変換結果から受信第1変調光4aの光電変換結果のみを抽出することができる。以上で説明した出力信号N1と出力信号N3への演算を、出力信号N2と出力信号N4を対象にして同様に行うと、N2−N4は次式(7)で表される。
ここで、上式(6)、(7)を複素数化したものが、出力値zaである。出力値zaは、次式(8)で表される。
つまり、出力値zaは、第1画素30aの反射光4の受光出力、すなわち出力信号N1〜N4から、受信第1変調光4aに相当する値のみを抽出した値である。
第1検出部13aが検出した出力値zaを、次式(9)に当てはめれば、第1画素30aに対応する被写体部分の距離Lを算出することができる。なお、次式(9)において、cは光速である。また、argzaは出力値zaの偏角、すなわち送信第1変調光3aと受信第1変調光4aとの位相差θaである。
しかしながら、第1検出部13aによって検出された出力値zaだけでは、距離Lを正確に算出することができない。これは、図6を用いて説明したように、遅れ時間Δtが大きくなると、位相差θa(すなわち出力値zaの偏角argza)が1つの値に定まらないためである。遅れ時間Δtが十分に小さいことを前提にするのであれば、図5に示したように、位相差θaは2π未満であるという前提をおくことができる。これに対し、遅れ時間Δtが大きい可能性を考慮しなければならない場合、すなわち位相差θaが2π以上である可能性を考慮しなければならない場合には、演算により求められた位相差θaが、何周期ずれたものであるかが判別できない。換言すると、送信第1変調光3aと受信第1変調光4aとの真の位相差Θは、演算により求められた位相差θaに、2πの整数倍を加えたものである可能性がある。
図10は、演算された位相差θaと真の位相Θの説明図であり、横軸を距離L、縦軸を位相とするグラフである。距離Lが0から増えるに従って、すなわち被写体2が撮像装置1から遠ざかるに従って、演算される位相差θaは増加していく。距離Lがある値L1のとき、演算される位相差θaは2πから0に見かけ上リセットされ、再度0から距離Lの増加に従って増加する。
従って、例えば演算された位相差θaがπであったとき、真の位相差Θはπ、3π、5π、…のいずれかであって、距離LはL1/2、3×L1/2、5×L1/2、…のいずれかである、ということしか判断できない。
そこで、本実施形態の測距部13cは、第1検出部13aにより反射光4から受信第1変調光4aを検出するだけでなく、第2検出部13bにより受信第2変調光4bも検出することにより、距離Lを算出する。具体的には、測距部13cは、第2検出部13bにより演算された出力値zbを用いて位相差θaを補正し、真の位相差Θを求める。そして、上式(9)に、補正前の位相差θaの代わりに補正後の真の位相差Θを代入して、距離Lを演算する。
まず、第2検出部13bによる出力値zbの演算方法について説明する。第2検出部13bが行う演算内容は、gi(t)の内容が異なることを除き、上述した第1検出部13aによる出力値zaの演算方法と同一である。前述の通り、第2画素30bは、第2周期Tbに基づき駆動されるので、出力値zbは、第2画素30bの反射光4の受光出力、すなわち出力信号N1〜N4から、受信第2変調光4bに相当する値を抽出した値となる。
前述の通り、第2周期Tbは、第1周期Taよりも長い。従って、第2検出部13bにより演算される偏角argzb(位相差θb)は、図10に示すように、L1よりも長い距離L2まで、2πから0への変化が生じない(連続である)。つまり、第2周期Tbを十分に長く設定しておけば、第1検出部13aにより検出された位相差θaだけでは真の位相差Θがわからない場合でも、第2検出部13bにより検出された位相差θbを合わせて利用することで真の位相差Θを求めることができる。
例えば図10において、位相差θaがπであった場合、前述の通り、距離LはL1/2、3×L1/2、5×L1/2、…のいずれかである。つまり、位相差θaから導出される距離Lの候補は複数存在する。ここで、位相差θbがπ/2前後の値であれば、距離Lはそれら複数の候補(L1/2、3×L1/2、5×L1/2、…)から、3×L1/2という1つの値に特定される。
次に、測距部13cによる具体的な演算内容について説明する。測距部13cは、まず次式(10)により、位相差θaが真の位相差Θに対して何周期分ずれているのかを表す整数nを求める。
上式(10)において、round(x)はxに最も近い整数を返す関数(xを四捨五入する関数)である。例えば、距離Lが図10に示す距離L1未満のとき(真の位相差Θが2π未満のとき)、位相差θaは真の位相差Θに等しく、nは0となる。位相差θaが真の位相差Θから1周期分ずれているとき、nは1となり、真の位相差Θは位相差θaに2πを加えたものになる。
測距部13cは、次式(11)により、真の位相差Θを求める。その後、測距部13cは、次式(12)に真の位相差Θを当てはめることにより、被写体までの距離Lを算出する。
以上に説明したように、受信第1変調光4aと受信第2変調光4bを検出することで、測距可能な範囲を広く採ることができる。例えば、第1周波数faを300MHz、第2周波数fbを3MHzとした場合、受信第1変調光4aのみを検出して距離Lを求めると、測距可能な距離Lは最大1m程度、距離分解能は最大1cm程度になる。また、受信第2変調光4bのみを検出して距離Lを求めると、測距可能な距離Lは最大100m程度になるが、距離分解能は最大1m程度になる。本実施形態では、測距部13cは受信第1変調光4aと受信第2変調光4bを共に検出して距離Lを求めることにより、測距可能な距離Lを最大100mまで広げつつ、距離分解能を最大1cmに保つ。
なお、図2(b)に模式的に示したように、第1画素30aと第2画素30bは異なる位置にあるので、同一の被写体位置について、出力値zaと出力値zbとを同時に得ることはできない。そこで、測距部13cは、第1画素30aに基づき演算された出力値zaと、その第1画素30aの上下左右に存在する第2画素30bに基づき演算された4つの出力値zbの平均値を用いて、その第1画素30aに対応する距離Lを算出する。また測距部13cは、第2画素30bに基づき演算された出力値zbと、その第2画素30bの上下左右に存在する第1画素30aに基づき演算された4つの出力値zaの平均値を用いて、その第2画素30bに対応する距離Lを算出する。このようにすることで、画素30の数に等しい要素数(解像度)のデプスマップデータを作成することができる。
次に、画像作成部13dについて説明する。図7に示すとおり、露光期間Teの間に光電変換部32により生成された電荷は、フローティングディフュージョンFD1〜FD4に分散して蓄積される。従って、出力信号N1〜N4を足し合わせれば、露光期間Teに基づく光電変換信号が得られる。画像作成部13dは、各画素30について出力信号N1〜N4を足し合わせることで、その画素30の画素値(輝度値)を求める。画像作成部13dは、これを全ての画素30について行うことで、画像データを作成する。
なお、説明の便宜上、本実施形態において、画素30はカラーフィルターを有していないものとしている。つまり、各々の画素30から出力される光電変換信号は、色情報を有していない。従って、画像作成部13dが作成する画像データは、輝度情報のみを有するモノクロ画像である。しかしながら、各々の画素30にカラーフィルターを設け、画像作成部13dがカラー画像の画像データを生成するようにすることも可能である。例えば、赤色成分の光のみを通過するカラーフィルターを設けた画素30と、青色成分の光のみを通過するカラーフィルターを設けた画素30と、緑色成分の光のみを通過するカラーフィルターを設けた画素30とを、いわゆるベイヤー配列に従って撮像面20に配列する。画像作成部13dは、各々の画素30について求められた画素値に基づき、周知のデモザイク処理を実行することにより、カラー画像の画像データを生成する。
なお、以上では静止画撮影における画像データおよびデプスマップデータの作成方法について説明したが、動画撮影を行う、すなわちフレーム毎に画像データおよびデプスマップデータを作成することも可能である。動画撮影を行う場合には、画素30のリセットと露光と読み出しとを1行ごとに行えばよい。
上述した第1の実施の形態による撮像装置によれば、次の作用効果が得られる。
(1)互いに周期の異なる送信第1変調光3aおよび送信第2変調光3bが、被写体2(対象物)で反射し、受信第1変調光4aおよび受信第2変調光4bとして第1画素30aおよび第2画素30bに入射する。第1検出部13a(第1の位相差測定部)は、第1画素30aの出力信号に基づき、送信第1変調光3aの位相と受信第1変調光4aの位相との位相差θaを検出(測定)する。第2検出部13b(第2の位相差測定部)は、第2画素30bの出力信号に基づき、送信第2変調光3bの位相と受信第2変調光4bの位相との位相差θbを検出(測定)する。測距部13cは、それらの検出(測定)された位相差に基づき、被写体2に関する距離L(距離値)を算出する。このようにしたので、1回の変調光放出と撮影とで、背景光の影響を取り除いた、高精度かつ測定範囲の広い測距を行うことができる。
(2)撮像素子12は、第1画素30aの出力信号を、送信第1変調光3aの一周期の間に、所定の位相遅れで、出力信号N1〜N4(第1〜第4の信号)として順次読み出す。第1検出部13aは、出力信号N1と出力信号N3との差分と、出力信号N2と出力信号N4との差分とに基づき、位相差θaを測定する。撮像素子12は、第2画素30bの出力信号を、送信第2変調光3bの一周期の間に、所定の位相遅れで、出力信号N1〜N4(第5〜第8の信号)として順次読み出す。第2検出部13bは、出力信号N1と出力信号N3との差分と、出力信号N2と出力信号N4との差分とに基づき、位相差θbを測定する。このようにしたので、光電変換信号から背景光の影響を取り除くことができる。
(3)第1画素30aおよび第2画素30bの各々は、マイクロレンズと光電変換部32とを有する。撮像素子12は、第1画素30aの光電変換部32から出力信号N1〜N4を順次読み出す。撮像素子12は、第2画素30bの光電変換部32から出力信号N1〜N4を順次読み出す。このようにしたので、1つの画素30に入射した光を有効利用することができる。
(4)撮像素子12は、第1画素30aの光電変換部32から出力信号N1〜N4をそれぞれ読み出す第1読出部331、第2読出部332、第3読出部333、および第4読出部334を有する。撮像素子12は、第2画素30bの光電変換部32から出力信号N1〜N4をそれぞれ読み出す第1読出部331、第2読出部332、第3読出部333、および第4読出部334を有する。このようにしたので、出力信号N1〜N4を容易に得ることができる。
(5)画像作成部13d(画像データ生成部)は、第1画素30aの出力信号N1〜N4を加算した加算信号と、第2画素30bの出力信号N1〜N4を加算した加算信号とに基づき、光学系11(結像光学系)による被写体2の像に関する画像データを生成する。このようにしたので、通常の可視光に基づく画像データを、デプスマップデータと同時に得ることができる。
(6)第1画素30aと第2画素30bは、それぞれ撮像素子12の撮像面20の全体に略均一に分布配置されており、測距部13cは、互いに近傍に位置する第1画素30aおよび第2画素30bについて、第1検出部13aおよび第2検出部13bがそれぞれ測定した位相差θa、θbに基づき、距離Lを算出する。このようにしたので、画素数に等しい要素数のデプスマップデータを作成することができる。
(7)測距部13cは、第1画素30a毎の距離Lと第2画素30b毎の距離Lとに基づき、第1画素30aおよび第2画素30bの位置における距離Lに関するマップを表すデプスマップデータを作成する。このようにしたので、被写体2の主要部分のみならず、被写体2の各部分の距離を得ることができる。
(8)光源部10は、可視光である変調光3を被写体2に放出する。このようにしたので、通常の可視光に基づく画像データを、デプスマップデータと同時に得ることができる。
(第2の実施の形態)
図11は、第2の実施の形態に係る撮像装置100の構成を模式的に示す断面図である。なお以下の説明では、第1の実施の形態に係る撮像装置1と異なる点を中心に説明し、それ以外の部分については説明を省略する。
撮像装置100は、第1の実施の形態に係る撮像装置1の撮像素子12を撮像素子112に、制御部13を制御部113に、それぞれ置き換えた構成を有している。撮像素子112は、上述した画素30の代わりに、後述する画素130を有している。制御部113は、第1の実施の形態に係る制御部13と同様に、第1検出部13a、第2検出部13b、測距部13c、画像作成部13d、および発光制御部13eを有しており、更に、焦点検出部13fおよび焦点調節部13gを有している。焦点検出部13fおよび焦点調節部13gについては後に詳述する。
図12は、画素130の構造を模式的に示す平面図である。なお、本実施形態の画素130にも、第1の実施の形態と同様に、第1画素130aと第2画素130bとの2種類が存在し、第1の実施の形態同様に(すなわち図2(b)に示すように)、第1画素130aと第2画素130bは互い違いに配列されている。つまり、第1画素130aの上下左右には第2画素130bが存在し、第2画素130bの上下左右には第1画素130aが存在するように配列されている。従って、撮像面20には、略同数の第1画素130aと第2画素130bとが一様に(均一に)配列されている。
画素130は、光電変換部32の代わりに、第1光電変換部132aと第2光電変換部132bとを有している。第1光電変換部132aと第2光電変換部132bの形状は、x−y平面において光電変換部32をy方向に沿った直線で2等分したものと略等しい。従って、光学系11の射出瞳の一対の領域をそれぞれ通過した一対の光束が、それぞれ第1光電変換部132aと第2光電変換部132bに入射する。
図13は、撮像素子12の構成を示す回路図である。なお図13では、1つの画素130の回路図のみを図示している。画素130は、第1読出部331と、第2読出部332と、第3読出部333と、第4読出部334とを備える。第1読出部331および第2読出部332は、第1光電変換部132aから光電変換信号を読み出す。第3読出部333および第4読出部334は、第2光電変換部132bから光電変換信号を読み出す。第1読出部331、第2読出部332、第3読出部333、および第4読出部334の構成は、第1の実施の形態と同一であるので説明を省略する。
図14は、撮影動作を示すタイミングチャートである。制御部13は、撮影動作に際し、撮像素子12に画素30をリセットさせる。垂直走査回路22は、制御部13からの信号をもとに、時刻t11に信号φRSTを出力する。信号φRSTは全ての画素130の第1光電変換部132aおよび第2光電変換部132bに対して出力される。これにより、全ての画素30の第1光電変換部132aおよび第2光電変換部132bがリセットされる。
リセットが完了した時刻t12に、発光制御部13eが、光源部10に、変調光3の放出を開始させる。光源部10による変調光3の放出に同期して、時刻t12に、第1転送制御回路23aおよび第2転送制御回路23bが、信号φTX1、信号φTX2、信号φTX3、および信号φTX4の出力を開始する。発光制御部13eは、送信第1変調光3aが極大となる位置p5と、第1転送制御回路23aから第1画素30aに対して出力される信号φTX1のパルスの中心位置p6とが一致するように、光源部10を制御する。発光制御部13eは、送信第2変調光3bが極大となる位置p7と、第2転送制御回路23bから第2画素30bに対して出力される信号φTX1のパルスの中心位置p8とが一致するように、光源部10を制御する。すなわち発光制御部13eは、変調光3と信号φTX1、信号φTX2、信号φTX3、および信号φTX4とを同期させる。
第1転送制御回路23aは、第1画素130aに対して、信号φTX1、信号φTX2、信号φTX3、および信号φTX4を出力する。第1転送制御回路23aは、時刻t12から送信第1変調光3aの周期Taだけ後の時刻t13までの期間を、前半分と後半分の2つの期間に分割する。第1転送制御回路23aは、それら2つの期間の一方において信号φTX1をオンし、他方において信号φTX2をオンする。つまり信号φTX1は、信号φTX2と1/2周期(180度)異なる位相を有する信号である。第1転送制御回路23aは、信号φTX1を1/4周期(90度)だけ遅らせた信号を、信号φTX3として出力する。第1転送制御回路23aは、信号φTX2を1/4周期(90度)だけ遅らせた信号を、信号φTX4として出力する。第1転送制御回路23aは、露光期間Teの間、上述した信号φTX1、信号φTX2、信号φTX3、および信号φTX4を繰り返し出力する。
第1の実施の形態において、信号φTX1および信号φTX2は、送信第1変調光3aの一周期(周期Ta)の第1の四半周期にオンする信号と、第2の四半周期にオンする信号であった。これに対して、本実施の形態における信号φTX1および信号φTX2は、送信第1変調光3aの一周期(周期Ta)の第1の半周期にオンする信号と、第2の半周期にオンする信号である。つまり本実施の形態において、第1読出部331および第2読出部332は、送信第1変調光3aの一周期(周期Ta)の間に、第1光電変換部132aから光電変換信号を逆位相で交互に読み出す。
第1の実施の形態において、信号φTX3および信号φTX4は、送信第1変調光3aの一周期(周期Ta)の第3の四半周期にオンする信号と、第4の四半周期にオンする信号であった。これに対して、本実施の形態における信号φTX3および信号φTX4は、送信第1変調光3aの一周期(周期Ta)の第2および第3の四半周期にオンする信号と、第1および第4の四半周期にオンする信号である。つまり本実施の形態において、第3読出部333および第4読出部334は、送信第1変調光3aの一周期(周期Ta)の間に、第2光電変換部132bから光電変換信号を逆位相で交互に読み出す。
第2転送制御回路23bは、時刻t12から送信第2変調光3bの周期Tbだけ後の時刻t14までの期間を、前半分と後半分の2つの期間に分割する。第2転送制御回路23bは、それら2つの期間の一方において信号φTX1をオンし、他方において信号φTX2をオンする。つまり信号φTX1は、信号φTX2と1/2周期(180度)異なる位相を有する信号である。第2転送制御回路23bは、信号φTX1を1/4周期(90度)だけ遅らせた信号を、信号φTX3として出力する。第2転送制御回路23bは、信号φTX2を1/4周期(90度)だけ遅らせた信号を、信号φTX4として出力する。第2転送制御回路23bは、露光期間Teの間、上述した信号φTX1、信号φTX2、信号φTX3、および信号φTX4を繰り返し出力する。
時刻t12から露光期間Teだけ後の時刻t15に、発光制御部13eは、光源部10に、変調光3の放出を停止させる。変調光3の放出停止に同期して、時刻t15に、第1転送制御回路23aおよび第2転送制御回路23bが、信号φTX1、信号φTX2、信号φTX3、および信号φTX4の出力を停止する。時刻t15の時点で、画素130のフローティングディフュージョンFD1、フローティングディフュージョンFD2、フローティングディフュージョンFD3、およびフローティングディフュージョンFD4には、それぞれ光電変換部32により生成された電荷が蓄積されている。
時刻t15以降、水平走査回路21および垂直走査回路22は、出力信号N1〜N4の読み出しを開始する。出力信号N1〜N4の読み出しは、行ごとに行われる。まず時刻t5に、垂直走査回路22が、1行目の画素130に対して信号φSEL(1)を出力する。これにより、垂直信号線V1〜V4に、1行目の画素130の各々からの出力信号N1〜N4が出力される。出力信号N1、N2は、第1光電変換部132aで光電変換された電荷に基づく信号である。出力信号N3、N4は、第2光電変換部132bで光電変換された電荷に基づく信号である。信号φSEL(1)が出力されている間に、水平走査回路21が、1行目の画素130の各々からの出力信号N1〜N4を1つずつ、制御部13に出力する。1行目の画素130の全てについて出力信号N1〜N4が制御部13に出力されると、次に垂直走査回路22が、2行目の画素130に対して信号φSEL(2)を出力する。これにより、垂直信号線V1〜V4に、2行目の画素30の各々からの出力信号N1〜N4が出力される。信号φSEL(2)が出力されている間に、水平走査回路21が、2行目の画素130の各々からの出力信号N1〜N4を1つずつ、制御部13に出力する。水平走査回路21および垂直走査回路22は、全ての行について以上の動作を繰り返すことで、全ての画素130からの出力信号N1〜N4を制御部13に出力する。
次に、第1検出部13aによる出力値zaの演算方法について説明する。第1検出部13aは、第1画素130aから出力された出力信号N1、N2と、第1画素130aから出力された出力信号N3、N4とに基づき、反射光4の光電変換結果から受信第1変調光4aの光電変換結果、すなわち第1周波数faを有する入射光の光電変換結果を検出する。
第1の実施の形態では、式(2)においてN1−N3を考えたが、本実施形態では代わりにN1−N2を考える。図15に示すように、g1(t)−g2(t)は正弦波で近似できるので、第1の実施の形態で説明したものと同様の手順で、次式(13)が導かれる。
同様に、N3−N4は次式(14)により表される。
出力値zaは、次式(15)により表される。
従って、測距部13cは、第1の実施の形態と同様に、デプスマップデータを作成することができる。
次に、画像作成部13dについて説明する。図12に示すように、本実施の形態に係る画素130は、第1光電変換部132aおよび第2光電変換部132bを有している。第1光電変換部132aおよび第2光電変換部132bの形状は、第1の実施の形態における光電変換部32を2等分したものに略等しい。従って、第1光電変換部132aの出力信号と、第2光電変換部132bの出力信号とを加算すれば、第1の実施の形態に係る光電変換部32の出力信号に相当する信号が得られる。画像作成部13dは、各画素130について出力信号N1〜N4を足し合わせることで、その画素130の画素値(輝度値)を求める。画像作成部13dは、これを全ての画素130について行うことで、画像データを作成する。
次に、焦点検出部13fについて説明する。焦点検出部13fは、撮像面20に設けられた所定の焦点検出エリア内において、x方向に一列に並んだ複数の画素130(交互に配列された第1画素130aと第2画素130bが含まれる)について、出力信号N1と出力信号N2とを足し合わせた信号と、出力信号N3と出力信号N4とを足し合わせた信号とを作成する。出力信号N1と出力信号N2とを足し合わせた信号は、第1光電変換部132aが露光期間Te(図14)の間に光電変換した電荷に基づく信号である。出力信号N3と出力信号N4とを足し合わせた信号は、第2光電変換部132bが露光期間Teの間に光電変換した電荷に基づく信号である。この一対の信号は、光学系11の射出瞳の一対の領域を通過した一対の光束に対応する信号である。つまり、この一対の信号は、いわゆる位相差方式の焦点検出を行うための信号である。位相差方式の焦点検出とは、周知のように、一対の信号についてシフト量を少しずつ変えながら相関演算を行い、相関値が最も大きいシフト量、すなわち位相差を求めることで、光学系11の焦点調節状態を検出する焦点検出方式である。焦点検出部13fは、作成した一対の信号に対して、周知の位相差方式の焦点検出を行い、光学系11の焦点調節状態(デフォーカス量)を検出する。
なお、焦点検出エリアは撮像面20の任意の位置に設けることができる。また、予め複数の候補エリアを撮像面20に設け、いずれか1つの候補エリアを焦点検出エリアとして選択するようにしてもよい。上記の説明ではx方向に関する焦点検出を行う例について説明したが、これとは異なる方向(例えばy方向)について焦点検出を行うようにすることもできる。
次に、焦点調節部13gについて説明する。焦点調節部13gは、測距部13cにより作成されたデプスマップデータと、焦点検出部13fにより検出された光学系11の焦点調節状態と、のいずれか一方に基づき、光学系11のピント位置を調節する。光学系11は、不図示のフォーカスレンズを有しており、焦点調節部13gは不図示のアクチュエータを用いてこのフォーカスレンズを光軸方向に駆動することで、光学系11の焦点調節を行う。
焦点調節部13gは、焦点調節に際し、まず光学系11の現在の絞り値(F値)を調べる。絞り値が所定のしきい値以下であった場合、すなわち光学系11の不図示の絞りの開口径が大きく、瞳分割で分割した2つの瞳の視差が大きい場合、焦点調節部13gは、焦点検出部13fに焦点調節状態を検出させ、検出された焦点調節状態に基づき焦点調節を行う。
他方、光学系11の現在の絞り値が所定のしきい値より大きい場合、すなわち光学系11の不図示の絞りの開口径が小さく、瞳分割で分割した2つの瞳の視差が小さい場合、焦点調節部13gは、少なくとも焦点検出エリアの範囲をカバーするデプスマップデータを測距部13cに作成させ、作成されたデプスマップデータに基づき焦点調節を行う。例えば、焦点検出エリアに対応する被写体の距離(奥行き)が1mである、ということがデプスマップデータから判明すれば、焦点調節部13gは、1mの位置にピントが合うように不図示のフォーカスレンズを駆動させる。
上述した第2の実施の形態による撮像装置によれば、次の作用効果が得られる。
(1)互いに周期の異なる送信第1変調光3aおよび送信第2変調光3bが、被写体2(対象物)で反射し、受信第1変調光4aおよび受信第2変調光4bとして第1画素130aおよび第2画素130bに入射する。第1検出部13a(第1の位相差測定部)は、第1画素130aの出力信号に基づき、送信第1変調光3aの位相と受信第1変調光4aの位相との位相差θaを検出(測定)する。第2検出部13b(第2の位相差測定部)は、第2画素130bの出力信号に基づき、送信第2変調光3bの位相と受信第2変調光4bの位相との位相差θbを検出(測定)する。測距部13cは、それらの検出(測定)された位相差に基づき、被写体2に関する距離L(距離値)を算出する。このようにしたので、1回の変調光放出と撮影とで、高精度かつ測定範囲の広い測距を行うことができる。
(2)撮像素子12は、第1画素130aの出力信号を、送信第1変調光3aの一周期の間に、所定の位相遅れで、出力信号N1〜N4(第1〜第4の信号)として順次読み出す。第1検出部13aは、出力信号N1と出力信号N2との差分と、出力信号N3と出力信号N4との差分とに基づき、位相差θaを測定する。撮像素子12は、第2画素130bの出力信号を、送信第2変調光3bの一周期の間に、所定の位相遅れで、出力信号N1〜N4(第5〜第8の信号)として順次読み出す。第2検出部13bは、出力信号N1と出力信号N2との差分と、出力信号N3と出力信号N4との差分とに基づき、位相差θbを測定する。このようにしたので、光電変換信号から背景光の影響を取り除くことができる。
(3)第1画素130aおよび第2画素130bの各々は、マイクロレンズ31と第1光電変換部132aと第2光電変換部132bとを有する。撮像素子12は、第1画素130aの第1光電変換部132aから出力信号N1〜N4のうちの出力信号N1,N2を読み出し、第2光電変換部132bから出力信号N1〜N4のうちの出力信号N3,N4を読み出す。撮像素子12は、第2画素130bの第1光電変換部132aから出力信号N1〜N4のうちの出力信号N1,N2を読み出し、第2光電変換部132bから出力信号N1〜N4のうちの出力信号N3,N4を読み出す。このようにしたので、1つの画素30に入射した光を瞳分割して光電変換することができる。
(4)撮像素子12は、第1画素130aの第1光電変換部132aから出力信号N1,N2をそれぞれ読み出す第1読出部331および第2読出部332と、第1画素130aの第2光電変換部132bから出力信号N3,N4をそれぞれ読み出す第3読出部333および第4読出部334とを有する。撮像素子12は、第2画素130bの第1光電変換部132aから出力信号N1,N2をそれぞれ読み出す第1読出部331および第2読出部332と、第2画素130bの第2光電変換部132bから出力信号N3,N4をそれぞれ読み出す第3読出部333および第4読出部334とを有する。このようにしたので、このようにしたので、出力信号N1〜N4を容易に得ることができる。
(5)第1画素130aの第1読出部331は、第1画素130aの第1光電変換部132aから出力信号N1を送信第1変調光3aの一周期のうちの半周期の間に読み出す。第1画素130aの第2読出部332は、第1画素130aの第1光電変換部132aから出力信号N2を送信第1変調光3aの一周期のうちの残り半周期の間に読み出す。第1画素130aの第3読出部333は、第1読出部331による読み出しよりも所定の時間遅れをもって第1画素130aの第2光電変換部132bから出力信号N3を送信第1変調光3aの一周期のうちの半周期の間に読み出す。第1画素130aの第4読出部334は、第2読出部332による読み出しよりも所定の時間遅れをもって第1画素130aの第2光電変換部132bから出力信号N4を送信第1変調光3aの一周期のうちの残り半周期の間に読み出す。第2画素130bの第1読出部331は、第2画素130bの第1光電変換部132aから出力信号N1を送信第2変調光3bの一周期のうちの半周期の間に読み出す。第2画素130bの第2読出部332は、第2画素130bの第1光電変換部132aから出力信号N2を送信第2変調光3bの一周期のうちの残り半周期の間に読み出す。第2画素130bの第3読出部333は、第1読出部331による読み出しよりも所定の時間遅れをもって第2画素130bの第2光電変換部132bから出力信号N3を送信第2変調光3bの一周期のうちの半周期の間に読み出す。第2画素130bの第4読出部334は、第2読出部332による読み出しよりも所定の時間遅れをもって第2画素130bの第2光電変換部132bから出力信号N4を送信第2変調光3bの一周期のうちの残り半周期の間に読み出す。このようにしたので、光飛行時間計測法に基づく測距に利用でき、かつ、いわゆる位相差検出方式の測距にも利用できる信号を読み出すことができる。
(6)画像作成部13d(画像データ生成部)は、第1画素130aの出力信号N1〜N4を加算した加算信号と、第2画素130bの出力信号N1〜N4を加算した加算信号とに基づき、光学系11(結像光学系)による被写体2の像に関する画像データを生成する。このようにしたので、いわゆる位相差検出方式の焦点検出を行いつつ、デプスマップデータを作成し、更に、被写体2の画像データも作成することができる。
(7)焦点検出部13f(位相差式焦点検出部)は、第1画素130aおよび第2画素130bの第1光電変換部132aおよび第2光電変換部132bから読み出された信号の対に基づき、デフォーカス量を算出する。このようにしたので、いわゆる位相差検出方式の焦点検出を、デプスマップデータの作成と並行して行うことができる。
(8)焦点検出部13fは、第1画素130aおよび第2画素130bの第1光電変換部132aから読み出された出力信号N1,N2を加算した加算信号と第2光電変換部132bから読み出された出力信号N3,N4を加算した加算信号との対に基づきデフォーカス量を算出する。このようにしたので、いわゆる位相差検出方式の焦点検出を、デプスマップデータの作成と並行して行うことができる。
(9)第1画素130aと第2画素130bは、それぞれ撮像素子12の撮像面20の全体に略均一に分布配置されており、測距部13cは、互いに近傍に位置する第1画素130aおよび第2画素130bについて、第1検出部13aおよび第2検出部13bがそれぞれ測定した位相差θa、θbに基づき、距離Lを算出する。このようにしたので、画素数に等しい要素数のデプスマップデータを作成することができる。
(10)測距部13cは、第1画素130a毎の距離Lと第2画素130b毎の距離Lとに基づき、第1画素130aおよび第2画素130bの位置における距離Lに関するマップを表すデプスマップデータを作成する。このようにしたので、被写体2の主要部分のみならず、被写体2の各部分の距離を得ることができる。
(11)焦点調節部13gは、光学系11の絞り値が所定の値より大きい(暗い)ときに、測距部13cにより算出された距離Lに基づき焦点調節を行い、光学系11の絞り値が所定の値以下である(明るい)ときに、焦点検出部13fにより検出された焦点調節状態に基づき焦点調節を行う。このようにしたので、絞り値が大きく(暗く)位相差方式の焦点検出が行えない場合であっても焦点調節を行うことができる。
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
(変形例1)
第1画素30aと第2画素30b(第1画素130aと第2画素130b)の個数およびレイアウトは、上述した実施形態と異なっていてもよい。例えば第1の実施の形態では、図2(b)に示すように、略同数の第1画素30aと第2画素30bとを互い違いに配列していた。これに対し、図16(a)に示す配列では、撮像面20全体を2×2の4画素のブロックに区切り、1つのブロックが3つの第1画素30aと1つの第2画素30bとから構成されるようにしている。このように、第1画素30aが第2画素30bよりも多数存在するようにしてもよい。
図10で説明したように、第2画素30bにより検出される位相差θbは、位相差θaから真の位相差Θを特定するために用いられる。つまり、位相差θaに比べて、位相差θbに求められる検出精度は高くない。従って、第2画素30bは、位相差θaから真の位相差Θを特定できる程度の数だけ存在すればよい。
つまり、図16(b)に示すように、撮像面20をM×Nの複数のブロック200に区切ったとき、1つのブロック200内に最低限1つの第2画素30bが存在すれば、デプスマップデータを作成することができる。この場合において、第2画素30bの位置は図16(b)に示すように不規則的であってもよい。この場合、第1画素30aが存在する位置については、その第1画素30aの出力から決定された出力値zaと、その第1画素30aが属するブロック200内の1つの第2画素30bから決定された出力値zbとを用いて、当該位置に対応する距離Lを算出する。また、第2画素30bが存在する位置については、その第2画素30bの出力から決定された出力値zbと、その第2画素30bの近傍に存在する第1画素30aの出力から決定された出力値zaとを用いて、当該位置に対応する距離Lを算出する。ここで、出力値za、zbは単一の画素30の出力から決定された値を用いてもよいし、第1の実施の形態のように、複数の画素30の出力から決定された複数の値から決定された値(例えば平均値、中央値、最頻値等)を用いてもよい。つまり、ある位置に対応する距離Lを算出するための出力値za、zbは、その近傍の画素30から得られた出力値za、zbの平均的な値(算出平均値、幾何平均値、中央値等)でよい。
このように、第1画素30aを増やし、第2画素30bを減らすことで、測距部13cにより作成されるデプスマップデータの精度が高くなる。なお、図2(b)や図16(b)のように、第1画素30aと第2画素30bをそれぞれ撮像素子12の撮像面20の全体に略均一に分布配置することで、測距部13cが距離Lを算出するために使用する位相差θaおよび位相差θbに関する第1画素30aおよび第2画素30bの対が互いに近傍に位置すること保証することができる。
なお、第1の実施の形態において説明した通り、第1画素30aと第2画素30bは、同一の構造を有している。そこで、ある画素30が、あるときには第1画素30aとして機能し、また別のときには第2画素30bとして機能するようにすることもできる。例えば、図16(a)のようなレイアウトで第1画素30aと第2画素30bとを配列したときに、被写体の特性に応じて第1画素30aと第2画素30bとを入れ替えるようにしてもよい。
(変形例2)
図7を用いて説明したように、第1の実施の形態では、第1周期Taを4つの期間に分け、各々の期間における光電変換信号を出力信号N1〜N4として出力するように、第1画素30aを構成していた。従って、例えば出力信号N1〜N4を積算すれば、それは第1周期Taの期間全てにおける光電変換信号となる。しかしながら、これとは異なる制御により得られた光電変換信号を出力信号N1〜N4としても、上述した実施形態と同様にデプスマップデータを作成することができる。
図7を参照して説明すると、例えば、時刻t2から1/4Taの期間の最後の期間において、信号φTX1をオンすれば、対応する光電変換信号を出力信号N1としてよい。必ずしも、時刻t2から1/4Taの期間の全てにおいて、信号φTX1をオンしなくてもよい。信号φTX2〜φTX4についても同様である。
図14を参照して別の例を説明する。例えば、信号φTX1を送信第1変調光3aの一周期(周期Ta)の第2の四半周期にオンする信号とし、信号φTX2を第4の四半周期にオンする信号とし、信号φTX3を第3の四半周期にオンする信号とし、信号φTX4を第1の四半周期にオンする信号とすることができる。この場合、出力信号N1、N2、N3、N4は、それぞれ第1の実施の形態における出力信号N1、N3、N2、N4と同様の信号になるので、第1の実施の形態と同様の演算を行えばよい。
(変形例3)
図14を用いて説明したように、第2の実施の形態では、信号φTX3、φTX4(制御信号g3(t)、g4(t))を、信号φTX1、φTX2(制御信号g1(t)、g2(t))に対して第1周期Taの1/4だけ遅れた位相を有する信号としていた。しかしながら、信号φTX3、φTX4を、これとは異なる位相を有する信号とすることもできる。少なくとも、信号φTX1、φTX2に対して位相が異なっていればよい。
(変形例4)
上述した各実施形態において、送信第1変調光3aおよび送信第2変調光3bは、互いに異なる周期の正弦波であった。これとは異なる形に変調された光を、送信第1変調光3aおよび送信第2変調光3bとしてもよい。以下、そのような変調光3を用いる変形例について説明する。
図17は、変形例4に係る撮像素子12の構成を示す回路図である。なお図17では、第1画素32aと第2画素32bの回路図のみを図示している。第1画素32aは、光電変換部32と、第1読出部331と、第2読出部332とを備える。第2画素32bは、光電変換部32と、第3読出部333と、第4読出部334とを備える。
図18は、撮影動作を示すタイミングチャートである。変形例4において、送信第1変調光3aおよび送信第2変調光3bの周期は、共に第2周期Tb(図4)である。送信第1変調光3aは、その周期において、時刻t21から第1周期Ta(図4)の1/2の期間だけ振幅A1を有し、それ以外の期間は振幅がゼロである。送信第2変調光3bは、その周期において、時刻t21から第2周期Tbの1/2の期間だけ振幅A2を有し、それ以外の期間は振幅がゼロである。すなわち送信第1変調光3aと送信第2変調光3bは、同一の周期を有しデューティ比が異なるパルス変調光である。
第1変調光3aと第2変調光3bとを重畳した変調光3は、図18に示すように、時刻t21から時刻t22までの期間には振幅A3(=A1+A2)を有し、時刻t22から時刻t24までの期間には振幅A2を有する光となる。ここで、時刻t22は、時刻t21から第1周期Taの1/2だけ後の時刻であり、時刻t24は、時刻t21から第2周期Tbの1/2だけ後の時刻である。また、振幅A1は振幅A2よりも十分に大きいものとする。
変形例4においては、時刻t21から第1周期Taの1/2だけ後の時刻t22までの間、信号φTX1がオンであり、信号φTX2がオフである。また、時刻t22から第1周期Taの1/2だけ後の時刻t23までの間、信号φTX1がオフであり、信号φTX2がオンである。
他方、第2画素30bに注目すると、時刻t21に、時刻t21から第2周期Tbの1/2だけ後の時刻t24までの間、信号φTX3がオンであり、信号φTX4がオフである。また、時刻t24から第2周期Tbの1/2だけ後の時刻t25までの間、信号φTX3がオフであり、信号φTX4がオンである。
第1画素32aのフローティングディフュージョンFD1には、反射光4のうち、図18に網掛けで示す光210を光電変換した電荷が蓄積される。換言すると、第1画素32aから出力される出力信号N1は、図18に網掛けで示す光210の量に基づく。同様に、第1画素32aから出力される出力信号N2は、図18に網掛けで示す光211の量に基づく。送信第1変調光3aと受信第1変調光4aとの位相差θaがゼロである場合、反射光4のうち振幅がA1である部分を光電変換した電荷は、すべてフローティングディフュージョンFD1に転送され、出力信号N1は出力信号N2よりも極めて大きくなる。位相差θaが大きくなるに従い、反射光4のうち振幅がA1である部分を光電変換した電荷がフローティングディフュージョンFD2に転送される割合は大きくなっていく。つまり、出力信号N1と出力信号N2との比率を演算すれば、位相差θaを求めることができる。なお、第1画素32aは、反射光4のうち振幅がA1である部分だけでなく、振幅がA2である部分も光電変換する。しかしながら、振幅A1を振幅A2よりも十分に大きくすれば、出力信号N1および出力信号N2の量は、振幅がA1である部分の影響が支配的になり、振幅がA2である部分の影響は無視できる。
第2画素32bのフローティングディフュージョンFD3には、反射光4のうち、図18に網掛けで示す光212を光電変換した電荷が蓄積される。換言すると、第2画素32bから出力される出力信号N3は、図18に網掛けで示す光212の量に基づく。同様に、第2画素32bから出力される出力信号N4は、図18に網掛けで示す光213の量に基づく。送信第2変調光3bと受信第2変調光4bとの位相差θbがゼロである場合、反射光4を光電変換した電荷は、すべてフローティングディフュージョンFD3に転送され、出力信号N3は出力信号N4よりも極めて大きくなる。位相差θbが大きくなるに従い、反射光4を光電変換した電荷がフローティングディフュージョンFD4に転送される割合は大きくなっていく。つまり、出力信号N3と出力信号N4との比率を演算すれば、位相差θbを求めることができる。なお、出力信号N3には、反射光4のうち振幅がA1である部分を光電変換した結果が反映される。しかしながら、振幅がA1である期間(送信第1変調光3aのデューティ比)を十分小さくすれば、出力信号N3に対する振幅がA1である部分の影響は無視できるほど小さくなる。
以上のように、変調光を第1の実施の形態や第2の実施の形態のように高周波変調光とするのではなく、変調光をパルス光とすることも可能である。
(変形例5)
光源部10が被写体2に放出する変調光3は、可視光でなく赤外光(例えば近赤外光)であってもよい。このようにすると、特に被写体2が人物である場合に、変調光3が目に見えず、被写体2が変調光3を煩わしく感じることがなく、円滑に撮影を行うことができる。
(変形例6)
上述した実施の形態では、光源部10を撮像装置1の筐体外部に設けていた(例えば図1)。光源部10を撮像装置1の筐体内部に設けることもできる。例えば、光学系11と撮像素子12との間に斜めにハーフミラーを挿入し、ハーフミラーに対してy方向に変調光3を放出する光源部10を設ける。このようにすると、光源部10により放出された変調光3は、ハーフミラーで反射して光学系11の方向、すなわち被写体2の方向に向かって進行する。反射光4は、光学系11とハーフミラーを通過して撮像素子12に入射する。このようにすることで、撮像装置1の筐体デザインの自由度が高くなる。
(変形例7)
上述した実施の形態では、光源部10は送信第1変調光3aと送信第2変調光3bとから成る変調光3を被写体2に放出していたが、送信第1変調光3aと送信第2変調光3bをそれぞれ別個に被写体2に放出てもよい。例えば、送信第1変調光3aを放出する第1光源部と、送信第2変調光3bを放出する第2光源部とを、撮像装置1の異なる位置に設けてもよい。
(変形例8)
上述した実施の形態では、デプスマップデータと共に画像データを作成可能な撮像装置について説明したが、画像データの作成は行わなくてもよい。例えば、デプスマップデータのみを作成する測距装置としてもよい。
(変形例9)
第2の実施の形態において、第1光電変換部132aから出力信号N1および出力信号N2を読み出し、第2光電変換部132bから出力信号N3および出力信号N4を読み出すのではなく、第1光電変換部132aから出力信号N1および出力信号N3を読み出し、第2光電変換部132bから出力信号N2および出力信号N4を読み出すようにしてもよい。また、第1光電変換部132aから出力信号N1および出力信号N4を読み出し、第2光電変換部132bから出力信号N2および出力信号N3を読み出すようにしてもよい。
(変形例10)
第1の実施の形態では、図3に示したように、1列の画素30に対して、出力信号N1〜N4を出力するための4本の垂直信号線V1〜V4を設けていたが、これを2本の垂直信号線V1,V3のみ設けるようにしてもよい。この場合、出力信号N1,N2は時分割的に垂直信号線V1に出力され、出力信号N3,N4は時分割的に垂直信号線V3に出力されることになる。同様に、垂直信号線V1のみを設け、出力信号N1〜N4を時分割的に垂直信号線V1に出力するようにしてもよい。
本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。