JP2017195573A - 撮像装置および電子機器 - Google Patents

Abstract

【課題】１回のパルス発光につき、時間的に複数回の受光を行うことができる。【解決手段】制御部は、発光部に対してパルス発光を行うように指示した後、イメージセンサに対して、時刻T11＝(2×D11)/cにおいて露光開始、時刻T21＝(2×D21)/cにおいて露光終了、時刻T12＝(2×D12)/cにおいて露光開始、時刻T22＝(2×D22)/cにおいて露光終了、時刻T13＝(2×D13)/cにおいて露光開始、時刻T21＝(2×D23)/cにおいて露光終了、を指示する。本開示は、例えば、パルス光を発光して、ある特定の時間のみを撮像する装置であるゲーテッド撮像装置に適用することができる。【選択図】図７

Description

本開示は、撮像装置および電子機器に関し、特に、１回のパルス発光につき、時間的に複数回の受光を行うことができるようにした撮像装置および電子機器に関する。

Active Gated Imaging,Active ImagingやRange-gated Active Imagingなどの名称で知られている撮影技術がある。日本語では、ゲーテッド撮像と呼ばれており、以下、ゲーテッド撮像と称する。

ゲーテッド撮像は、パルス光を発光して、ある特定の時間のみをイメージセンサで撮像することで、特定の距離の被写体のみを鮮明に撮像することができる技術である。

この技術において、複数の被写体がある場合、特許文献１に示されるように、複数回の撮像を行わなければならなかった。

国際公開２０１３−１７９２８０号

すなわち、複数の被写体がある場合など、適切なゲーテッド撮像を行うことが困難であった。

本開示は、このような状況に鑑みてなされたものであり、１回のパルス発光につき、時間的に複数回の受光を行うことができるものである。

本技術の一側面の撮像装置は、パルス発光を行う発光部と、受光を行う受光部と、前記発光部からの１回のパルス発光につき、前記受光部に対して複数回の露光を行わせる露光制御部と、所定の撮像距離範囲に存在する被写体の撮像処理を行うために、前記パルス発光のタイミングを基準とし、前記所定の撮像距離範囲に応じて、複数回の露光の開始時刻と終了時刻を設定する設定部とを備える。

前記所定の撮像距離範囲は、１乃至ｎ(ｎは２以上の整数)の撮像距離範囲で構成され、前記所定の撮像距離範囲の第i番目（i=１乃至ｎ）の距離範囲をMin(i)乃至Max(i)（Min(i)＜Max(i)）とするとき、前記露光の回数は、ｎ回であり、前記設定部は、前記ｎ回の露光の第j番目（j=１乃至ｎ）の露光の開始時間と終了時間を、それぞれ、(2×Min(i))/cと(2×Max(i))/c(cは光の速さ)として設定することができる。

前記受光部において受光された光量は、１乃至ｍ(ｍは２以上の整数)のメモリのいずれかに格納される構成であり、前記所定の撮像距離範囲をMin乃至Max（Min＜Max）とするとき、前記露光の回数は、ｍ回であり、前記設定部は、前記ｍ回の露光の第j番目（j=１乃至ｎ）の露光の開始時間と終了時間を、それぞれ、(2×Min)/c＋2×(Max-Min)×(j-1)/c/mと2×Min/c＋2×(Max-Min)×j/c/m (cは光の速さ)として設定し、前記制御部は、前記ｍ回の露光の第j番目（j=１乃至ｎ）の露光により受光された光量を、前記ｍのメモリのうち第j番目のメモリに格納するように制御することができる。

前記ｍのメモリのうち、前記被写体の投影像のデータが存在しないメモリを特定する被写体特定部をさらに備え、前記被写体特定部により特定された前記被写体の投影像のデータが存在しないメモリの番号が第ｐ番目である場合、ｐ＝ｍまたはｐがｍとほぼ等しいとき、前記Minの値あるいはMaxの値の少なくとも一方を小さくするように再設定をして、次に撮像のためのパラメータを決定するか、または、前記被写体特定部により特定された前記被写体の投影像のデータが存在しないメモリの番号が第ｐ番目である場合、ｐ＝１またはｐが１とほぼ等しいとき、前記Minの値あるいはMaxの値の少なくとも一方を大きくするように再設定をして、次に撮像のためのパラメータを決定することができる。

前記被写体の撮像処理がs＋1(sは１以上の整数)回続けられるうちの各回の撮像処理において、前記受光部において受光された光量は、第１のメモリまたは第２のメモリのいずれかに格納される構成であり、前記所定の撮像距離範囲は、１乃至（２のｓ乗）の撮像距離範囲で構成され、前記所定の撮像距離範囲の第k番目（k=１乃至２のｓ乗）の距離範囲をMin(k)乃至Max(k)（Min(k)＜Max(k)）とするとき、前記露光の回数は、２×（２のｓ乗）回であり、前記設定部は、前記（２のｓ乗）回の露光の第２×k-1番目（k=１乃至２のｓ乗）の露光の開始時間と終了時間を、それぞれ、2×Min(k)/cと2×Max(k)/c＋2×(Max(k)-Min(k)/c/2と、2×Max(k)/c(cは光の速さ)として設定し、かつ、前記設定部は、前記（２のｓ乗）回の露光の第２×k番目（k=１乃至２のｓ乗）の露光の開始時間と終了時間を、それぞれ、2×Min(k)/c＋2×(Max(k)-Min(k))/c/と、2×Max(k)/c(cは光の速さ)として設定し、前記制御部は、前記ｑ回目（ｑは１乃至s＋1）の撮像処理において、
前記（２のｓ乗）回の露光の第２×k-1番目（k=１乃至２のｓ乗）の露光により前記受光部において受光された光量は、前記２のメモリのうちの第r(k,q)番目（r(k,q)は、１または２）のメモリに格納され、かつ、前記（２のｓ乗）回の露光の第２×k番目の露光により前記受光部において受光された光量は、前記２のメモリのうちの第r(k,q)番目（r(k,q)は、１または２）ではないメモリに格納されるように制御し、
任意のkに対して、数列{r(k,1)、r(k,2)、…r(k,s＋1)}が、数列{r(k',1)、r(k',2)、…r(k',s+1):ただし、k'≠k}と異なり、数列｛３−r(k',1)、r(k',2)、…r(k',s+1:ただし、k'≠k)とも異なるように、r(k,q)を決める
ことができる。

前記被写体の撮像処理がs+1(sは１以上の整数)回続けられるうちの各回の撮像処理において、前記２のメモリのうち、前記被写体の投影像のデータが存在しないメモリを特定する被写体特定部をさらに備え前記設定部は、前記被写体特定部により特定された前記被写体の投影像のデータが存在しないメモリの番号に対応して、前記Minの値およびMaxの値の少なくとも一方を小さくするように再設定して、次の撮像のためのパラメータを決定することができる。

前記ｍのメモリのうち第j番目（j=１乃至ｎ）のメモリに、前記被写体の投影像のデータが存在するメモリを特定する被写体特定部をさらに備え、前記設定部は、前記被写体特定部により特定された前記被写体の投影像のデータが存在するメモリの番号が第ｑ番目としたとき、2×Min/c＋2×(Max-Min)×(q-1)/c/mを新たにMinと設定し、2×Min/c＋2×(Max-Min)×q/c/m (cは光の速さ)を新たにMaxと設定して、次の撮像のためのパラメータの決定を行うことができる。

本技術の一側面の電子機器は、パルス発光を行う発光部と、受光を行う受光部と、前記発光部からの１回のパルス発光につき、前記受光部に対して複数回の露光を行わせる露光制御部と、所定の撮像距離範囲に存在する被写体の撮像処理を行うために、前記パルス発光のタイミングを基準とし、前記所定の撮像距離範囲に応じて、複数回の露光の開始時刻と終了時刻を設定する設定部とを備える。

本技術の一側面においては、１回のパルス発光につき、受光を行う受光部に対して複数回の露光が行われる。そして、所定の撮像距離範囲に存在する被写体の撮像処理を行うために、前記パルス発光のタイミングが基準とされ、前記所定の撮像距離範囲に応じて、複数回の露光の開始時刻と終了時刻が設定される。

本技術によれば、被写体を撮像することができる。特に、本技術によれば、複数の被写体を鮮明に撮像することができる。

なお、本明細書に記載された効果は、あくまで例示であり、本技術の効果は、本明細書に記載された効果に限定されるものではなく、付加的な効果があってもよい。

本技術を適用した固体撮像装置の概略構成例を示すブロック図である。 ゲーテッド撮像の概要を示す図である。 ゲーテッド撮像について説明する図である。 被写体が複数の場合のゲーテッド撮像の例を示す図である。 本技術を適用したゲーテッド撮像装置の構成例を示すブロック図である。 画素の構成例を示す図である。 本技術を適用したゲーテッド撮像システムの第１の実施の形態の構成例を示す図である。 本技術を適用した実装基板の他の構造例を示す図である。 本技術のゲーテッド撮像装置を自動車に搭載した場合の例を示す図である。 本技術を適用したゲーテッド撮像システムの第２の実施の形態の構成例を示す図である。 被写体が前方に移動する場合について説明する図である。 図１０のゲーテッド撮像システムのゲーテッド撮像処理について説明するフローチャートである。 図１０のゲーテッド撮像システムのゲーテッド撮像処理について説明するフローチャートである。 本技術の第２の実施の形態の利用の具体例を説明する図である。 本技術を適用したゲーテッド撮像システムの第３の実施の形態の構成例を示す図である。 制御の方法を示す図である。 パターンの組み合わせを示す図である。 本技術の第３の実施の形態の重要なポイントについて詳しく説明する図である。 移動した被写体の特定方法を説明する図である。 次のゲーテッド撮像の時間のセッティング方法を説明する図である。 次のゲーテッド撮像の時間のセッティング方法を説明する図である。 図１５のゲーテッド撮像システムのゲーテッド撮像処理について説明するフローチャートである。 本技術の第４の実施の形態の場合のゲーテッド撮像システムのゲーテッド撮像処理について説明するフローチャートである。 図２３のステップＳ３０３におけるサブルーチンＡの処理を説明するフローチャートである。 図２３のステップＳ３０３におけるサブルーチンＡの処理を説明するフローチャートである。 図２３のステップＳ３０３におけるサブルーチンＡの処理を説明するフローチャートである。 本技術を適用したイメージセンサの使用例を示す図である。 本技術を適用した電子機器の構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
０． 概要
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．第５の実施の形態 （イメージセンサの使用例）
６．第６の実施の形態 （電子機器の例）

＜０．概要＞
＜固体撮像装置の概略構成例＞
図１は、本技術の各実施の形態に適用されるCMOS（Complementary Metal Oxide Semiconductor）固体撮像装置の一例の概略構成例を示している。

図１に示されるように、固体撮像装置（素子チップ）１は、半導体基板１１（例えばシリコン基板）に複数の光電変換素子を含む画素２が規則的に２次元的に配列された画素領域（いわゆる撮像領域）３と、周辺回路領域とを有して構成される。

画素２は、光電変換素子（例えば、PD(Photo Diode)）と、複数の画素トランジスタ（いわゆるMOSトランジスタ）を有してなる。複数の画素トランジスタは、例えば、転送トランジスタ、リセットトランジスタ、および増幅トランジスタの３つのトランジスタで構成することができ、さらに選択トランジスタを追加して４つのトランジスタで構成することもできる。

また、画素２は、画素共有構造とすることもできる。画素共有構造は、複数のフォトダイオード、複数の転送トランジスタ、共有される１つのフローティングディフュージョン、および、共有される１つずつの他の画素トランジスタから構成される。フォトダイオードは、光電変換素子である。

周辺回路領域は、垂直駆動回路４、カラム信号処理回路５、水平駆動回路６、出力回路７、および制御回路８から構成される。

制御回路８は、入力クロックや、動作モード等を指令するデータを受け取り、また、固体撮像装置１の内部情報等のデータを出力する。具体的には、制御回路８は、垂直同期信号、水平同期信号、およびマスタクロックに基づいて、垂直駆動回路４、カラム信号処理回路５、および水平駆動回路６の動作の基準となるクロック信号や制御信号を生成する。そして、制御回路８は、これらの信号を垂直駆動回路４、カラム信号処理回路５、および水平駆動回路６に入力する。

垂直駆動回路４は、例えばシフトレジスタによって構成され、画素駆動配線を選択し、選択された画素駆動配線に画素２を駆動するためのパルスを供給し、行単位で画素２を駆動する。具体的には、垂直駆動回路４は、画素領域３の各画素２を行単位で順次垂直方向に選択走査し、垂直信号線９を通して各画素２の光電変換素子において受光量に応じて生成した信号電荷に基づいた画素信号をカラム信号処理回路５に供給する。

カラム信号処理回路５は、画素２の例えば列毎に配置されており、１行分の画素２から出力される信号を画素列毎にノイズ除去等の信号処理を行う。具体的には、カラム信号処理回路５は、画素２固有の固定パターンノイズを除去するためのCDS（Correlated Double Sampling）や、信号増幅、A/D（Analog/Digital）変換等の信号処理を行う。カラム信号処理回路５の出力段には、水平選択スイッチ（図示せず）が水平信号線１０との間に接続されて設けられる。

水平駆動回路６は、例えばシフトレジスタによって構成され、水平走査パルスを順次出力することによって、カラム信号処理回路５の各々を順番に選択し、カラム信号処理回路５の各々から画素信号を水平信号線１０に出力させる。

出力回路７は、カラム信号処理回路５の各々から水平信号線１０を通して順次に供給される信号に対し、信号処理を行って出力する。出力回路７は、例えば、バッファリングだけを行う場合もあるし、黒レベル調整、列ばらつき補正、各種デジタル信号処理等を行う場合もある。

入出力端子１２は、外部と信号のやりとりをするために設けられる。

＜ゲーテッド撮像の概要＞
本技術は、ゲーテッド撮像に関する技術である。ゲーテッド撮像は、パルス光を発光して、ある特定の時間のみをイメージセンサで撮像することで、特定の距離の被写体のみを鮮明に撮像することができる技術である。例えば、ゲーテッド撮像は、Active Gated Imaging,Active ImagingやRange-gated Active Imagingなどの名称で知られている。

図２を参照して、ゲーテッド撮像について説明する。図２の例において、ゲーテッド撮像装置２１は、制御部３１、発光部３２、および撮像部３３を備えている。制御部３１は、発光部３２の発光タイミングと、撮像部３３の露光時間とを制御する。発光部３２は、矩形波を発光する。撮像部３３は、被写体２３を露光する。このようなゲーテッド撮像装置２１においては、霧２２の向こうの被写体２３を撮像することが可能である。

すなわち、発光部３２が矩形波を発光すると、まず、霧２２からの反射光が撮像部３３に到達し、次に、被写体２３からの反射光が撮像部３３に到達する。

ここで、通常の撮像部の場合、矩形波が発光されてから、被写体２３の反射光が到達するまでが露光時間となり、霧２２からの反射光と被写体２３からの反射光の合計が露光されるので、被写体２３が見えにくい画像（もやのかかった画像）となる。

これに対して、ゲーテッド撮像の撮像部３３の場合、特定の時間の部分を精度よく露光するので、例えば、被写体２３からの反射のみを撮像することができる。したがって、ゲーテッド撮像においては、画像に、はっきりと被写体を写すことができる。

次に、図３を参照して、ゲーテッド撮像について具体的に説明する。図３の例においては、ゲーテッド撮像システム５０が示されている。

ゲーテッド撮像システム５０として、図中左から順に、ゲーテッド撮像装置５１、霧５２、被写体５３が示されている。

図３の例において、ゲーテッド撮像装置５１は、パルス光を発光する発光部６１および、イメージセンサ６２（図１の固体撮像装置１）を備えている。例えば、ゲーテッド撮像装置５１を用いて被写体５３を撮像することを考える。被写体５３の前（すなわち、ゲーテッド撮像装置５１と被写体５３の間）に霧５２がある。

この場合、図３に示されるように、距離D1とD2（すなわち、露光開始時間T1＝（２×D1）/cと、露光開始時間T2＝（２×D2）/c）を設定することで、霧５２からの反射光は受光せずに、被写体５３からの反射光のみを受光することができる。結果として、鮮明な被写体５３の投影像を撮影することができる。ここで、ｃは、光の速度であり、以降も同様である。

また、「霧５２までの距離」＜D1＜「被写体５２までの距離」＜D2である。パルス光を発光してから、霧５２に反射して戻ってくる光は、時刻T1＝（２×D1）/cよりも早いので、イメージセンサ６２では受光されない。

次に、図４を参照して、ゲーテッド撮像システム５０において、撮影したい被写体が３つの場合のゲーテッド撮像について説明する。

被写体５３−１乃至５３−３を撮影するためには、D1＜「被写体５３−１までの距離」＜D2、かつ、D1＜「被写体５３−２までの距離」＜D2、かつ、D1＜「被写体５３−３までの距離」＜D2となるように距離D1とD2を決める必要があった。すなわち、露光開始時刻T1＝（２×D1）/cと、露光開始時間T2＝（２×D2）/c）は、図４に示されるように設定される。この場合、イメージセンサ６２は、図４中の霧５２−１および霧５２−２からの反射光も受光してしまうことになり、鮮明な被写体５３−１乃至５３−３の画像を得ることが困難であった。

例えば、特許文献１においては、複数の被写体がある場合、複数回の撮影をするようにしており、１回の撮像だけでは不可能であった。すなわち、D11＜「被写体５３−１までの距離」＜D21＜「霧５２−１までの距離」＜D12＜「被写体５３−２までの距離」＜D22＜「霧５２−２までの距離」＜D13＜「被写体５３−３までの距離」＜D23として、まず、D1＝D11、D2＝D21として撮像を行い、次に、D1＝D12、D2＝D22として撮像を行い、最後に、D1＝D13、D2＝D23として撮像を行わなければならなかった（合計3回の撮像が必要）。

また、被写体が奥行き方向に移動してしまい、D1乃至D2の範囲の外に移動してしまうと、被写体からの反射光を受光できず、被写体を見失ってしまうことがあった。もちろん、被写体の動きに応じて、適切にD1とD2を設定しなおすこともあるが、D1より手前に被写体が移動したのか、D2よりも奥に被写体が移動したのかがわからないので、再設定することが困難であった。

そこで、本技術においては、１回のパルス発光につき、時間的に複数回の受光を行うような構成にされる。これにより、複数の被写体を鮮明に撮像することができ、また、被写体の奥行き方向の移動の方向がわかり、移動する被写体に追従して被写体を撮影し続けることができる。

図５は、本技術を適用したゲーテッド撮像装置の構成例を示すブロック図である。

図５の例において、ゲーテッド撮像装置７０は、図３の発光部６１、イメージセンサ６２に加えて、制御部７１および出力端子７２を含むように構成される。制御部７１は、発光部６１およびイメージセンサ６２を制御する制御信号を発行する。発光部６１は、制御部７１からの制御信号によりパルス光を発光する。イメージセンサ６２は、制御部７１の制御信号により、露光開始と露光終了の処理、および露光により蓄積された各画素内の電荷を出力端子７２から出力する。なお、実際には、イメージセンサ６２の前に焦点を結ぶようにレンズが具備されるが、図が煩雑になるのを防ぐために図示省略されている。以降の図でも同様にレンズは図示省略されている。

イメージセンサ６２は、例えば、複数の画素２によりからなる、図１の固体撮像装置１で構成される。画素の数は、通常、縦、横ともに数百画素乃至数千画素ある。

図６には、１つの画素２の構成が示されている。PD(フォトダイオード：受光素子)８１において露光（受光）された光は電荷となり、スイッチ８３により、メモリ（FD:電荷蓄積部）８２−１または８２−２に切り替えられ、蓄積される。露光しない期間は、スイッチ８３によりドレインに切り替えられ、排出（破棄）される。このスイッチ８３は、制御部７１からの制御信号で制御される。

また、メモリ８２−１および８２−２に蓄積された電荷は、図５の出力端子７２より出力することができる。出力端子７２に出力した時点で、メモリ８２−１および８２−２に蓄積された電荷はなくなる。

なお、図６の例においては、メモリが２つの例を説明したが、３つ以上の場合も実現可能である。ただし、３つ以上の場合はレイアウトが複雑になる。

また、以降に説明する第１の実施の形態においては、メモリ８２−２は使用されない。すなわち、第１の実施の形態においては、露光開始までは、あるいは、露光終了後は、PD８１で受光した光（電荷）は、ドレインに捨てられる。そして、露光開始から露光終了までは、PD８１で受光した光は、メモリ８２−１に蓄積される。なお、この構成いのいては、露光終了後に露光を再開すると、メモリ８２−１には、それまでに蓄えられていた電荷に対して、さらに、今回の露光により電荷が累積される。これらの制御は、制御部７１からの制御信号で制御される。

なお、以降に説明する第２乃至第４の実施の形態においては、メモリ８２−２も用いられる。

＜１．第１の実施の形態＞
＜ゲーテッド撮像システムの構成＞
図７は、本技術を適用したゲーテッド撮像システムの第１の実施の形態の構成例を示す図である。

図７のゲーテッド撮像システム９０においては、ゲーテッド撮像装置７０を用いて、被写体５３−１乃至５３−３が撮像される。被写体５３−１の前（すなわち、ゲーテッド撮像装置７０と被写体５３−１の間）には、霧はない。被写体５３−２の前（すなわち、被写体５３−１と被写体５３−２の間）には、霧５２−１があり、被写体５３−３の前（すなわち、被写体５３−２と被写体５３−３の間）には、霧５２−２がある。

そして、ゲーテッド撮像システム９０においては、１回のパルス発光につき、複数回（図７の例の場合、３回）の露光を行っている。なお、制御部７１は、例えば、複数回の露光を制御する露光制御部９１および複数回の露光の開始時刻と終了時刻を設定する設定部９２を含むように構成される。設定部９２は、例えば、所定の撮像距離範囲に存在する被写体の撮像処理を行うために、パルス発光のタイミングを基準とし、所定の撮像距離範囲に応じて、複数回の露光の開始時刻と終了時刻を設定する。

ゲーテッド撮像装置７０において、設定部９２は、例えば、発光部６１に対してパルス発光を行うように指示した後、次のような複数回の露光の開始時刻と終了時刻を設定する。そして、露光制御部９１は、イメージセンサ６２の複数回の露光を制御する。

具体的には、複数回の露光の開始時刻と終了時刻は、
時刻T11＝(2×D11)/cにおいて露光開始、時刻T21＝(2×D21)/cにおいて露光終了。
時刻T12＝(2×D12)/cにおいて露光開始、時刻T22＝(2×D22)/cにおいて露光終了。
時刻T13＝(2×D13)/cにおいて露光開始、時刻T21＝(2×D23)/cにおいて露光終了。

である。ただし、cは、光の速さである。また、D11＜「被写体５３−１までの距離」＜D21＜「霧５２−１までの距離」＜D12＜「被写体５３−２までの距離」＜D22＜「霧５２−２までの距離」＜D13＜「被写体５３−３までの距離」である。

そして、時刻T23以降に、イメージセンサ６２の画素２のメモリ８２−１に蓄積された電荷が読み出され、この読み出された画素の値が、ゲーテッド撮像の結果画像Ｉとなる。

図７に示されるように、被写体５３−１乃至５３−３からの反射光は受光され、そして、霧５２−１および５２−２からの反射光は受光されない。これにより、被写体５３−１乃至５３−３の鮮明な投影像を得ることができる。

＜ゲーテッド撮像システムの動作＞
次に、図８のフローチャートを参照して、図７のゲーテッド撮像システム９０のゲーテッド撮像処理について説明する。

ステップＳ１１において、設定部９２は、撮影したい距離範囲の数ｎを指定する。なお、図７の例においては、ｎ＝３である。

ステップＳ１２において、設定部９２は、ｎ個の撮影したい距離範囲を指定する。この距離範囲をMin(i)乃至Max(i)(i=1乃至n)とする。図７の例においては、Min(1)=D11,Max(1)=D21,Min(2)=D12,Max(2)=D22,Min(3)=D13,Max(3)=D23である。

ステップＳ１３において、露光制御部９１は、スイッチ８３をドレインに切り替え、PD８１において露光した光（発生した電荷）を、ドレインへ送り続け始める。すなわち、電荷をドレインに排出させる。

ステップＳ１４において、露光制御部９１は、メモリ８２−１の電荷をリセットするために、メモリ８２−１の電荷をダミーデータとして出力端子７２より読み出させる。

ステップＳ１５において、露光制御部９１は、発光部６１からパルス光を発光し、パラメータiに1をセットする。ステップＳ１６において、露光制御部９１は、パルス発光した時刻から、2*Min(i)/cだけ待ち、ステップＳ１７において、露光を開始する。すなわち、PD８１が発生した電荷が、メモリ８２−１に送られ始める。

ステップＳ１８において、露光制御部９１は、パルス発光した時刻から、2*Max(i)/cだけ待ち、ステップＳ１９において、露光を終了する。すなわち、PD８１が発生した電荷が、ドレインへ送られ始める。

ステップＳ２０において、露光制御部９１は、i＝n（n回繰り返したか）？を判定する。ステップＳ２０において、i=nではないと判定された場合、処理は、ステップＳ２１に進む。ステップＳ２１において、露光制御部９１は、i=i+1とし、処理は、ステップＳ１６に戻り、それ以降の処理が繰り返される。

ステップＳ２０において、i=nであると判定された場合、処理は、ステップＳ２２に進む。ステップＳ２２において、露光制御部９１は、所定回数繰り返したか否かを判定する。ステップＳ２２において、所定回数繰り返していないと判定された場合、処理は、ステップＳ１５に戻り、それ以降の処理が繰り返される。

ステップＳ２２において、露光制御部９１は、所定回数繰り返したと判定された場合、処理は、ステップＳ２３に進む。ステップ２３において、露光制御部９１は、メモリ８２−１の電荷を出力端子７２から読み出し、結果画像Ｉとする。

なお、１回のパルス発光での蓄積では光量が少ないので、所定回数（Ｓ１５乃至Ｓ２０における１回の発光と複数回の露光）だけ同じ処理が行われ、メモリ８２−１に電荷が累積されている。この累積により、十分な光量（電荷）を得ることができる。所定回数とは、例えば、数百乃至数万回である。

また、被写体までの距離が遠ければ遠いほど、発光部６１から発光して被写体に反射して戻ってくる光の量が弱くなる。したがって、図７の例では、被写体５３−１は適切な明るさで映っているが、被写体５３−２および被写体５３−３は暗い映像になってしまう場合も考えられる。

このような場合は、再度、図８を参照して説明したゲーテッド撮像処理（２回目のゲーテッド撮像処理）を行うとよい。この２回目のゲーテッド撮像処理においては、n＝２、Min(1)＝D12、Max(1)＝D22、Min(2)＝D13、Max(2)＝D23とされる。これにより、被写体５３−２および５３−３のみの投影像を得ることができる。ただし、この２回目のゲーテッド撮像においても、被写体５３−２および５３−３は、遠いので暗い投影像である。そこで、最初のゲーテッド撮像と２回目のゲーテッド撮像の画像を加算することにより、被写体５３−２および５３−３のみの投影像は２倍の明るさの画像となり、鮮明となる。

このように、図８のゲーテッド撮像処理をパラメータnおよびMin(i)乃至Max(i)(i＝1乃至n)を変えて行い、これらの処理で得られた画像を加算することにより、近い被写体から遠い被写体まで適切な明るさの画像を得ることができる。

なお、本技術のゲーテッド撮像装置７０は、自動車に搭載して、前方の監視に用いることができる。この場合、１回のゲーテッド撮像で終了することはなく、ゲーテッド撮像し続けることで前方の監視を常に行うことができる。前回のゲーテッド撮像から、次のゲーテッド撮像までに自動車は、距離Vc×Tcだけ進んでいる。そこで、前回のゲーテッド撮像に用いたMin(i)乃至Max(i)(i＝1乃至n)の値に対して、次のゲーテッド撮像では、これら値は、Vc×Tcだけ小さい値にするとよい。このように設定することで、ゲーテッド撮像装置７０が移動している場合でも、被写体を適切に捉え続けることができる。

＜ゲーテッド撮像システムの他の構成＞
さらに、図９を参照して、本技術のゲーテッド撮像装置７０を自動車に搭載した場合の例を具体的に説明する。なお、ゲーテッド撮像装置７０の構成例は、図５を参照して上述したものが用いられる。

図９の例においては、図の上の段に、現在の時刻でのゲーテッド撮像システム１００が示されており、下の段に、時間Tc後でのゲーテッド撮像システム１００が示されている。

現在の時刻でのゲーテッド撮像システム１００においては、ゲーテッド撮像装置７０を搭載した自動車１０１が右方向に速さVcで進んでいるとする。現在の時刻において、ゲーテッド撮像を適切に行うことで、ゲーテッド撮像装置７０の発光部６１から発光されたパルス光１１１は被写体５３−１乃至５３−３にて反射されて、反射光１１２として、イメージセンサ６３にて受光される。一方、イメージセンサ６３において、霧５２−１および５２−２からの反射は受光されない。これにより、鮮明な被写体５３−１乃至５３−３の投影像を得ることができる。この画像は、図示省略した自動車１０１内のモニタにリアルタイムで表示され、自動車１０１の運転の支援を行うことができる。

次に、時間Tc後に、再度ゲーテッド撮像が行われる。時間Tc後のゲーテッド撮像においては、自動車１０１Tcは、距離Vc×Tcだけ進んでいる。すなわち、ゲーテッド撮像装置７０と被写体５３−１乃至５３−３との距離は、Vc×Tcだけ縮まっている。そこで、上述したように、Min(i)乃至Max(i)(i＝1乃至n)の値をVc×Tcだけ小さい値にすることにより、時間Tc後のゲーテッド撮像においても、ゲーテッド撮像装置７０内の発光部６１から発光されたパルス光１１１Tcは、被写体５３−１乃至５３−３にて反射されて、反射光１１２Tcとして、イメージセンサ６３にて受光される。霧５２−１および５２−２からの反射は、イメージセンサ６３では受光されない。これにより、鮮明な被写体５３−１乃至５３−３の投影像を得ることができる。この画像は、図示省略した自動車１０１Tc内のモニタにリアルタイムで表示され、自動車の運転の支援を行うことができる。

＜２．第２の実施の形態＞
＜ゲーテッド撮像システムの構成＞
図１０は、本技術を適用したゲーテッド撮像システムの第２の実施の形態の構成例を示す図である。

図１０のゲーテッド撮像システム１５０においては、PD８１において露光（受光）した光（電荷）は適切なタイミングで、メモリ８２−１あるいは８２−２に蓄えられるか、または、ドレインへと廃棄される。なお、図１０のゲーテッド撮像システム１５０においては、制御部７１は、露光制御部９１および設定部９２に加えて、被写体の投影像のデータがある（または、データがない）メモリがどれであるかを判定（特定）することで、どの距離にある被写体が写っているか否かを判定（特定）する被写体判定部１６１が追加されている点が、図７のゲーテッド撮像システム５０と異なっている。

図１０の例において、被写体５３までの距離D0とすると、パルス光が被写体５３に反射して戻ってくるまでの時刻は、T0＝2×D0/cである。パルス光の幅Wとし、時刻-W/2から時刻W/2までの期間、パルス光が発光されているとし、T1＝T0-W、T2＝T0+Wとする。

時刻T1乃至T0においては、PD８１において露光（受光）された光（電荷）がメモリ８２−１に蓄積される。時刻T0乃至T2においては、PD８１において露光（受光）された光（電荷）がメモリ８２−２に蓄積される。それ以外の時間では、ドレインに排出される。図１０のゲーテッド撮像システム１５０においては、このように制御される。

発光されたパルスの前半（時刻-W/2乃至時刻0の期間に発せられた光）は、被写体５３にて反射されてPD８１において露光（受光）され、メモリ８２−１に蓄積される。

発光されたパルスの後半（時刻0乃至時刻W/2の期間に発せられた光）は、被写体５３にて反射されてPD８１において露光（受光）され、メモリ８２−２に蓄積される。

そして、時刻T2以降に、イメージセンサ６２の各画素２のメモリ８２−１に蓄積された電荷が読み出され、この読み出された画素の値がゲーテッド撮像の結果画像Ｉ１とされる。また、イメージセンサ６２の各画素２のメモリ８２−２に蓄積された電荷が読み出され、この読み出された画素の値がゲーテッド撮像の結果画像Ｉ２とされる。

結果画像Ｉ１およびＩ２には、被写体５３の投影像が写っている。なお、見やすくするために、結果画像Ｉ１と結果画像Ｉ２を加算した画像を作成して、被写体５３の鮮明な画像としてもよい。

さて、次に、図１１に示されるように、被写体５３が前方に移動することを考える。

図１１の例の場合、被写体５３から反射して戻ってくる光は、時間的に早まるので、結果画像Ｉ１には、被写体５３の投影像が写っているが、結果画像Ｉ２には、被写体５３の当映像は写っていない。

すなわち、逆に、結果画像Ｉ１には、写っているが、結果画像Ｉ２には写っていない場合、被写体５３が前方に移動したことがわかる。そこで、再度ゲーテッド撮像を行う場合、設定部９２が、前回のT0の値よりも大きい値にT0をセットしてゲーテッド撮像を行えばよい。

ゲーテッド撮像システム１５０においては、このようにして、被写体を追い続けながら、ゲーテッド撮像を行い続けることができる。

すなわち、本技術の第２の実施の形態によれば、被写体が奥行き方向に移動してしまう場合でも適切に追従して、鮮明な画像を撮影し続けることができるゲーテッド撮像を実現できる。

＜ゲーテッド撮像システムの動作＞
次に、図１２および図１３のフローチャートを参照して、図１０および図１１のゲーテッド撮像システム１５０のゲーテッド撮像処理について説明する。

図１２のステップＳ１１１において、設定部９２は、撮影したい距離D0を指定する。ステップＳ１１２において、露光制御部９１は、スイッチ８３をドレインに切り替え、PD８１で発生した電荷をドレインへ送り始める。すなわち、電荷をドレインに排出させる。

ステップＳ１１３において、露光制御部９１は、メモリ８２−１の電荷をリセットするために、メモリ８２−１の電荷をダミーデータとして出力端子７２より読み出させ、また、メモリ８２−２の電荷をリセットするために、メモリ８２−２の電荷をダミーデータとして出力端子７２より読み出させる。

設定部９２は、ステップＳ１１４において、T0＝2*D0/cとし、ステップＳ１１５において、T1＝T0-W,T2＝T0+W（ただし、Wはパルス光の幅）とする。

図１３のステップＳ１１６において、露光制御部９１は、発光部６１からパルス光を発光し、ステップＳ１１７において、パルス発光した時刻から、T1だけ待ち、ステップＳ１１８において、メモリ８２−１を使って、露光を開始する。すなわち、PD８１が発生した電荷が、メモリ８２−１に送られ始める。

露光制御部９１は、ステップＳ１１９において、パルス発光した時刻から、T0だけ待ち、ステップＳ１２０において、メモリ８２−２を使って、露光を開始する。すなわち、PD８１が発生した電荷が、メモリ８２−２に送られ始める。

露光制御部９１は、ステップＳ１２１において、パルス発光した時刻から、T2だけ待ち、ステップＳ１２２において、露光を終了する。すなわち、PD８１が発生した電荷が、ドレインへ送られ始める。

ステップＳ１２３において、露光制御部９１は、所定回数繰り返したか否かを判定する。ステップＳ１２３において、所定回数繰り返していないと判定された場合、処理は、ステップＳ１１６に戻り、それ以降の処理が繰り返される。

ステップＳ１２３において、露光制御部９１は、所定回数繰り返したと判定された場合、処理は、ステップＳ１２４に進む。ステップＳ１２４において、露光制御部９１は、メモリ８２−１の電荷を出力端子７２から読み出し、結果画像Ｉ１とする。また、露光制御部９１は、メモリ８２−２の電荷を出力端子７２から読み出し、結果画像Ｉ２とする。

ステップＳ１２５において、露光制御部９１は、結果画像Ｉ１と結果画像Ｉ２を加算した画像を、今回のゲーテッド撮像の結果画像Ｉとして、出力端子７２より出力する。

その後、図１２のステップＳ１２６において、被写体判定部１６１は、結果画像Ｉ１の被写体のコントラストと結果画像Ｉ２の被写体のコントラストが同じであるか否かを判定する。ステップＳ１２６において、結果画像Ｉ１の被写体のコントラストと結果画像Ｉ２の被写体のコントラストが同じであると判定された場合、処理は、ステップＳ１２７に進む。ステップＳ１２７において、設定部９２は、δ＝０とする。

ステップＳ１２６において、結果画像Ｉ１の被写体のコントラストと結果画像Ｉ２の被写体のコントラストが異なると判定された場合、処理は、ステップＳ１２８に進む。ステップＳ１２８において、設定部９２は、結果画像Ｉ１のほうが、コントラストが強いか否かを判定する。

ステップＳ１２８において、結果画像Ｉ１のほうが、コントラストが強いと判定された場合、処理は、ステップＳ１２９に進む。ステップＳ１２９において、設定部９２は、δ＝所定の微小な負の値に設定する。

ステップＳ１２８において、結果画像Ｉ１のほうが、コントラストが弱いと判定された場合、処理は、ステップＳ１３０に進む。ステップＳ１３０において、設定部９２は、δ＝所定の微小な正の値に設定する。

ステップＳ１２７，ステップＳ１２９，およびステップＳ１３０のあと、処理は、ステップＳ１３１に進む。ステップＳ１３１において、設定部９２は、T0＝T0＋δとし、処理は、ステップＳ１１５に戻り、それ以降の処理が繰り返される。

なお、図１２および図１３のゲーテッド撮像処理において、結果画像Ｉ１には写っている／いない、および結果画像Ｉ２には写っている／いないの判定、すなわち、メモリ８２−１および８２−２のメモリのうち、投影像のデータが存在しないメモリは、２つの画像の投影像を用いてどちらであるかで判定するようにしている。

また、上記説明において、露光時間を、パルスの光の幅Wとしている。特にWに限定するわけではないが、好適には、Wがよい。露光時間をWとすることで、発光部６１から発光されるパルス光の被写体５３での反射をすべて露光し、かつ、他の距離にある物体（たとえば、図示省略した霧）からの反射を露光しないですむからである。

＜ゲーテッド撮像システムの他の構成＞
さらに、図１４を参照して、本技術の第２の実施の形態の利用の具体例を説明する。

図１４のゲーテッド撮像システム２００においては、刑務所の監視を行う用途例が記載されている。刑務所内と刑務所外とは、塀２１２で分けられている。この塀２１２から距離D0だけ外側に離れた位置に、ゲーテッド撮像装置７０が設置されており、塀２１２の方向を撮影している。

好適には柱２１１などの上に設置して、ゲーテッド撮像装置７０からは塀２１２の全体が見渡せるようにするとよい。このように構成されるゲーテッド撮像システム２００において、図１２および図１３を参照して上述したゲーテッド撮像処理が実行される。もし、塀２１２を内側から乗り越えて、外側に脱走するもの（図１４の被写体５３）がいると、霧５２があったとしても、鮮明に被写体５３の投影像を得ることができる。

また、ゲーテッド撮像システム２００においては、この被写体５３が移動した場合でも、その被写体５３までの距離に適切に追従して、ゲーテッド撮像処理を行い続けることができる。それは、被写体５３が塀２１２を乗り越えた瞬間から、被写体５３の投影部分はコントラストが高くなるからであり、コントラストの高い方に距離が追従してゲーテッド撮像が行われ続けるからである。このようにして、ゲーテッド撮像システム２００においては、脱走を監視することが可能である。

＜３．第３の実施の形態＞
＜ゲーテッド撮像システムの構成＞
図１５は、本技術を適用したゲーテッド撮像システムの第３の実施の形態の構成例を示す図である。

図１５のゲーテッド撮像システム２５０においては、制御部７１は、被写体判定部１６１が、被写体の投影像のデータがある（または、データがない）メモリがどれであるかを判定（特定）することで、どの距離にある被写体が前方または後方に動いたかを判定（特定）する被写体判定部２６１に代えられた点が、図１０のゲーテッド撮像システム１５０と異なっている。

図１５の例においては、３回のゲーテッド撮像が行われ、PD８１において露光（受光）した光（電荷）は適切なタイミングで、メモリ８２−１あるいは８２−２に蓄えられるか、または、ドレインへと廃棄される。

すなわち、図中の制御Ｃ１という制御方法によりゲーテッド撮像が行われ、制御２という制御方法によりゲーテッド撮像が行われ、制御Ｃ３という制御方法によりゲーテッド撮像が行われ、合計で３回のゲーテッド撮像が行われる。この３回のゲーテッド撮像により得られる画像群から、被写体判定部２６１により、どの距離にある被写体が前方／後方に動いたかが判定され、設定部９２により、次の３回のゲーテッド撮像のためのパラメータ（後述するT01乃至T04）が更新される。

なお、以降では、時間的に３回のゲーテッド撮像を行うとして説明するが、例えば、空間方向の解像度を犠牲にしてよければ、イメージセンサ６２の３の倍数ラインは、制御Ｃ１という制御方法によりゲーテッド撮像が行われ、３の倍数で１余るラインは、制御Ｃ２という制御方法によりゲーテッド撮像が行われ、さらに、３の倍数で２余るラインは、制御Ｃ３という制御方法によりゲーテッド撮像が行われるようにしてもよい。このようにすることで、解像度は１／３に落ちるが、１回のゲーテッド撮像により、制御Ｃ１乃至制御Ｃ３のゲーテッド撮像の画像をすべて得ることができる。

図１５の例においては、４つの被写体（被写体５３−１乃至５３−４）を鮮明に撮影するゲーテッド撮像の例が示されている。なお、被写体が動いた場合でも被写体に追従して、次のゲーテッド撮像においても、鮮明に撮影することができる。

被写体５３−i（i＝１乃至４）までの距離をD0iとすると、パルス光が被写体５３−ｉに反射して戻ってくるまでの時刻は、T0i＝2×D0i/cである。パルス光の幅をWとする。すなわち、時刻-W/2から時刻W/2までの期間、パルス光が発光されているとする。さらに、T1i＝T0i-W,T2i＝T0i+Wとされる。

まず、１回目のゲーテッド撮像においては、図１６Ａに示されるように、制御１の方法により撮影が行われる。すなわち、時刻T11乃至T01においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２−１に蓄積される。時刻T01乃至T21においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２−２に蓄積される。

時刻T12乃至T02においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２−１に蓄積される。時刻T02乃至T22においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２−２に蓄積される。

時刻T13乃至T03においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２−１に蓄積される。時刻T03乃至T23においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２−２に蓄積される。時刻T14乃至T04においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２−１に蓄積される。時刻T04乃至T24においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２−２に蓄積される。

それ以外の時間では、ドレインへと排出されるように制御される。

２回目のゲーテッド撮像では、図１６Ｂに示されるように、制御Ｃ２の方法により撮影が行われる。すなわち、時刻T11乃至T01においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２−１に蓄積される。時刻T01乃至T21においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２−２に蓄積される。

時刻T12乃至T02においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２−１に蓄積される。時刻T02乃至T22においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２−２に蓄積される。

時刻T13乃至T03においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２−２に蓄積される。時刻T03乃至T23においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２−１に蓄積される。時刻T14乃至T04においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２−２に蓄積される。時刻T04乃至T24においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２−１に蓄積される。

３回目のゲーテッド撮像では、図１６Ｃに示されるように、制御Ｃ３の方法により撮影が行われる。すなわち、時刻T11乃至T01においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２−１に蓄積される。時刻T01乃至T21においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２−２に蓄積される。

時刻T12乃至T02においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２−２に蓄積される。時刻T02乃至T22においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２−１に蓄積される。

時刻T13乃至T03においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２−１に蓄積される。時刻T03乃至T23においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２−２に蓄積される。時刻T14乃至T04においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２−２に蓄積される。時刻T04乃至T24においては、PD（受光素子）８１において露光した光（電荷）がメモリ８２−１に蓄積される。

j回目（j=1乃至3）のゲーテッド撮像において、時刻T24以降に、イメージセンサ６２の各画素２のメモリ８２−１に蓄積された電荷が読み出され、この読み出された画素の値がゲーテッド撮像の結果画像Ｉ1jとされる。そして、イメージセンサ６３の各画素２のメモリ８２−２に蓄えられた電荷が読み出され、この読み出された画素の値がゲーテッド撮像の結果画像Ｉ2jとされる。

結果画像Ｉ1jおよび結果画像Ｉ2jには、被写体５３−１乃至５３−４の投影像が写っている。なお、見やすくするために、結果画像Ｉ1jと結果画像Ｉ2jを加算した画像を作成して、被写体５３−１乃至５３−４の鮮明な画像としてもよい。

さて、制御Ｃ１乃至制御Ｃ３を比べると、時間T1i乃至T0iと、時間T0i乃至T2i(i＝1乃至４)とで、メモリ８２−１に蓄積するか、メモリ８２−２に蓄積するかが異なっている。仮に、時間T1i乃至T0iでメモリ８２−１に蓄積し、時間T0i乃至T2iでメモリ８２−２に蓄積する場合をパターン０とする。そして、時間T1i乃至T0iでメモリ８２−２に蓄積し、時間T0i乃至T2iでメモリ８２−１に蓄積する場合をパターン０とする。このようにパターン０とパターン１と定義すると、図１６Ａ乃至図１６Ｃの制御は、図１７に示される制御となる。

図１７のパターン０／１の組み合わせをみれば明らかなように、被写体５３−１乃至５３−４のそれぞれに３ビットのコードが割り当てられていると考えられる。すなわち、被写体５３−１のための撮像においては、｛制御Ｃ１の場合、制御Ｃ２の場合、制御Ｃ３の場合｝＝｛０，０，０｝である。

被写体５３−２のための撮像においては、｛制御Ｃ１の場合、制御Ｃ２の場合、制御Ｃ３の場合｝＝｛０，０，１｝である。被写体５３−３のための撮像においては、｛制御Ｃ１の場合、制御Ｃ２の場合、制御Ｃ３の場合｝＝｛０，１，０｝である。被写体５３−４のための撮像においては、｛制御Ｃ１の場合、制御Ｃ２の場合、制御Ｃ３の場合｝＝｛０，１，１｝である。

この３ビットのパターンは、４つの被写体で異なる。このように異なるように設定することで、どの被写体が移動したかを判別することができる。

さらに、被写体５３−１の｛制御Ｃ１の場合、制御Ｃ２の場合、制御Ｃ３の場合｝をビット反転した３ビット＝｛１，１，１｝、被写体５３−２の｛制御Ｃ１の場合、制御Ｃ２の場合、制御Ｃ３の場合｝をビット反転した３ビット＝｛１，１，０｝、被写体５３−３の｛制御Ｃ１の場合、制御Ｃ２の場合、制御Ｃ３の場合｝をビット反転した３ビット＝｛１，０，１｝、被写体５３−４の｛制御Ｃ１の場合、制御Ｃ２の場合、制御Ｃ３の場合｝をビット反転した３ビット＝｛１，０，０｝まで含めた合計８個の３ビットパターンは、いずれも異なる。これにより、前方に移動したのか、後方に移動したのかも判別できる。このようなパターンのアサインが、本技術の第３の実施の形態の重要なポイントである。

このことについて、図１８を参照して、さらに詳しく説明する。

もし、制御Ｃ１によるゲーテッド撮像しか行わなかったとする。このゲーテッド撮像においては、メモリ８２−１から画像２８１が読み出され、メモリ８２−２から画像２８２が読み出される。それぞれの画像には、被写体５３−１乃至５３−４の４つの投影像が写っている。なお、画像２８１および２８２の４つの投影像と、被写体５３−１乃至５３−４の対応関係はわからない。

次に、再度、制御Ｃ１によるゲーテッド撮像が行われたとする。このとき、被写体５３−１乃至５３−４のいずれか１つが後方に移動したとする。本技術の第２の実施の形態で上述したように、後方に移動した被写体の投影像は、メモリ８２−１から読み出された画像２８３には投影されない。一方、メモリ８２−２から読み出された画像２８４には投影される。

したがって、４つの被写体５３−１乃至５３−４のいずれかが後方に移動したのはわかる。しかし、どの被写体が後方に移動したかを特定することはできない。移動した被写体に追従して、露光タイミングを遅らせればよいが、T01乃至T04のいずれを遅らせればよいのかわからない。

具体的にいえば、例えば、もしかすると、距離D03にあった被写体が後方に移動したため、画像２８３および２８４が得られたのかもしれないので、T03を遅らせればよいと考えるかもしれないが、これは間違いである。移動した被写体は、距離D03ではなく、距離D04の被写体であったかもしれないからである。

再度、説明すると、画像２８３の右下の投影像が消えている（写っていない）ことから、右下の投影像に対応する被写体が移動したのはわかるが、この被写体はもともと、どの距離(D01乃至D04のいずれかの距離)にいたものかはわからない。そのため、T01乃至T04のいずれを遅らせればよいのかわからない。

これに対して、３回のゲーテッド撮像（制御Ｃ１乃至制御Ｃ３による撮影）を行うことで、T01乃至T04のいずれであるかを特定できる。例えば、図１５の例において、距離D02（時間で換算すればT02）にある被写体（つまり、被写体５３−２）が、図１９に示されるように、後方に移動したとする。図１９の斜線領域２７１の時間においては、被写体５３−２が存在しないので、反射光は戻ってこない。したがって、制御Ｃ１によるゲーテッド撮像のメモリ８２−１から読み出された画像には被写体が写っていない。そして、制御Ｃ２によるゲーテッド撮像のメモリ８２−１から読み出された画像には、被写体が写っていない。そして、制御Ｃ３によるゲーテッド撮像のメモリ８２−２から読み出された画像には被写体が写っていない。他の画像には被写体が写っている。

逆にいえば、制御Ｃ１によるゲーテッド撮像のメモリ８２−１から読み出された画像と、制御Ｃ２によるゲーテッド撮像のメモリ８２−１から読み出された画像と、制御Ｃ３によるゲーテッド撮像のメモリ８２−２から読み出された画像には写っておらず、残りの画像に写っている場合は、距離D02にあった被写体が後方に移動した場合であり、次回のゲーテッド撮像において、T02を微小時間だけ遅らせれば、他の３つの被写体も含め、合計４つの被写体を鮮明に写すことができる。

他の場合もまとめると、図２０および図２１に示されるように、T0i(i＝１乃至４)を設定しなおせば、次回のゲーテッド撮像においても４つの被写体を鮮明に写すことができる。

図２０の例について上から順に説明する。制御Ｃ１によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ１１に写っておらず、制御Ｃ１によるゲーテッド撮像におけるメモリ８２−２から読み出した画像Ｉ１２に写っていて、制御Ｃ２によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ２１に写っておらず、制御Ｃ２によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ２２に写っていて、制御Ｃ３によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ１３に写っておらず、制御Ｃ３によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ２３に写っていて、という被写体がある場合、設定部９２は、次の撮影においては、T01を微小時間遅くする。

制御Ｃ１によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ１１に写っていて、制御Ｃ１によるゲーテッド撮像におけるメモリ８２−２から読み出した画像Ｉ１２に写っておらず、制御Ｃ２によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ２１に写っていて、制御Ｃ２によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ２２に写っておらず、制御Ｃ３によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ１３に写っていて、制御Ｃ３によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ２３に写っておらず、という被写体がある場合、設定部９２は、次の撮影においては、T01を微小時間早める。

制御Ｃ１によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ１１に写っておらず、制御Ｃ１によるゲーテッド撮像におけるメモリ８２−２から読み出した画像Ｉ１２に写っていて、制御Ｃ２によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ２１に写っておらず、制御Ｃ２によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ２２に写っていて、制御Ｃ３によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ１３に写っていて、制御Ｃ３によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ２３に写っておらず、という被写体がある場合、設定部９２は、次の撮影においては、T02を微小時間遅くする。

制御Ｃ１によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ１１に写っていて、制御Ｃ１によるゲーテッド撮像におけるメモリ８２−２から読み出した画像Ｉ１２に写っておらず、制御Ｃ２によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ２１に写っていて、制御Ｃ２によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ２２に写っておらず、制御Ｃ３によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ１３に写っておらず、制御Ｃ３によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ２３に写っていて、という被写体がある場合、設定部９２は、次の撮影においては、T02を微小時間早める。

さらに、図２１の例について上から順に説明する。制御Ｃ１によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ１１に写っておらず、制御Ｃ１によるゲーテッド撮像におけるメモリ８２−２から読み出した画像Ｉ１２に写っていて、制御Ｃ２によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ２１に写っていて、制御Ｃ２によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ２２に写っおらず、制御Ｃ３によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ１３に写っておらず、制御Ｃ３によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ２３に写っていて、という被写体がある場合、設定部９２は、次の撮影においては、T03を微小時間遅くする。

制御Ｃ１によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ１１に写っていて、制御Ｃ１によるゲーテッド撮像におけるメモリ８２−２から読み出した画像Ｉ１２に写っておらず、制御Ｃ２によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ２１に写っておらず、制御Ｃ２によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ２２に写っていて、制御Ｃ３によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ１３に写っていて、制御Ｃ３によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ２３に写っておらず、という被写体がある場合、設定部９２は、次の撮影においては、T03を微小時間早める。

制御Ｃ１によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ１１に写っておらず、制御Ｃ１によるゲーテッド撮像におけるメモリ８２−２から読み出した画像Ｉ１２に写っていて、制御Ｃ２によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ２１に写っていて、制御Ｃ２によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ２２に写っおらず、制御Ｃ３によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ１３に写っていて、制御Ｃ３によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ２３に写っておらず、という被写体がある場合、設定部９２は、次の撮影においては、T04を微小時間遅くする。

制御Ｃ１によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ１１に写っていて、制御Ｃ１によるゲーテッド撮像におけるメモリ８２−２から読み出した画像Ｉ１２に写っておらず、制御Ｃ２によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ２１に写っておらず、制御Ｃ２によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ２２に写っていて、制御Ｃ３によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ１３に写っておらず、制御Ｃ３によるゲーテッド撮像におけるメモリ８２−１から読み出した画像Ｉ２３に写っていて、という被写体がある場合、設定部９２は、次の撮影においては、T04を微小時間早める。

以上のように、本技術の第３の実施の形態によれば、複数の被写体が奥行き方向に移動してしまう場合でも適切に追従して、鮮明な被写体を撮影し続けることができるゲーテッド撮像を実現できる。なお、複数の被写体に対応させた点が、本技術の第２の実施の形態と異なる。

＜ゲーテッド撮像システムの動作＞
次に、図２２のフローチャートを参照して、図１５および図１９のゲーテッド撮像システム２５０のゲーテッド撮像処理について説明する。

ステップＳ２０１において、設定部９２は、撮影したい４つの距離を指定する。いまの場合、D01,D02,D03,D04とする。

設定部９２は、ステップＳ２０２において、T01＝2*D01/c、T02＝2*D02/c、T03＝2*D03/c、T04＝2*D04/c、（cは光の速さ）とし、ステップＳ２０５において、T11＝T01-W,T21＝T01+W, T12＝T02-W,T22＝T02+W, T13＝T03-W,T23＝T03+W, T14＝T04-W,T24＝T04+W,（ただし、Wはパルス光の幅）とする。

露光制御部９１は、ステップＳ２０４において、制御１によるゲーテッド撮像を行い、メモリ８２−１の電荷を読み出し、結果画像Ｉ１１とし、メモリ８２−２の電荷を読み出し、結果画像Ｉ２１とする。そして、露光制御部９１は、結果画像Ｉ１１と結果画像Ｉ２１を加算した画像を今回のゲーテッド撮像の結果画像Ｉとして出力端子７２より出力する。

露光制御部９１は、ステップＳ２０５において、制御Ｃ２によるゲーテッド撮像を行い、メモリ８２−１の電荷を読み出し、結果画像Ｉ１２とし、メモリ８２−２の電荷を読み出し、結果画像Ｉ２２とする。そして、露光制御部９１は、結果画像Ｉ１２と結果画像Ｉ２２を加算した画像を今回のゲーテッド撮像の結果画像Ｉとして出力端子７２より出力する。

露光制御部９１は、ステップＳ２０６において、制御Ｃ３によるゲーテッド撮像を行い、メモリ８２−１の電荷を読み出し、結果画像Ｉ１３とし、メモリ８２−２の電荷を読み出し、結果画像Ｉ２３とする。そして、露光制御部９１は、結果画像Ｉ１３と結果画像Ｉ２３を加算した画像を今回のゲーテッド撮像の結果画像Ｉとして出力端子７２より出力する。

ステップＳ２０７において、設定部９２は、図２０および図２１に示された表のいずれかに当てはまる場合は、T0i(i=１乃至４)を変更する。

その後、処理は、ステップＳ２０３に戻って、それ以降の処理が繰り返される。

なお、上記説明においては、被写体が４つの場合について説明した。この場合においては、４つを区別し、かつ、前方移動／後方移動の区別をするため３ビット必要であった。これを実現するために、制御Ｃ１乃至制御Ｃ３による３回のゲーテッド撮像を行っていた。被写体の数（撮影したい被写体の距離の数）を一般化すると、以下のようになる。すなわち、（２のs乗）個の被写体をゲーテッド撮像するには、s+1回のゲーテッド撮像を行うようにする。各回のゲーテッド撮像は、パルス光の反射の前半と後半を、メモリ８２−１とメモリ８２−２のどちらに蓄積するかは、s+1ビットのパターンがビット反転も含めてすべて異なるようにすればよい。

＜４．第４の実施の形態＞
上述した本技術の第１乃至第３の実施の形態においては、最初のゲーテッド撮像を行う際、すでに被写体の距離がわかっているとして上述した。しかしながら、実運用においては、被写体の距離が最初不明な場合が多い。

そこで、第４の実施の形態においては、被写体の距離が不明な場合において、短時間で被写体の距離を決定する方法を説明する。つまり、本技術の第４の実施の形態を用いて、被写体の距離を同定して、その後、本技術の第１乃至第３の実施の形態を実行することで、本技術の最良な具現化が可能となる。

次に、図２３のフローチャートを参照して、第４の実施の形態の場合のゲーテッド撮像処理を説明する。なお、図１５および図１９を参照して上述したゲーテッド撮像装置２５０を用いて説明する。

ステップＳ３０１において、設定部９２は、最大撮影範囲Dmin乃至Dmaxをセットする。なお、Dmin＜Dmaxである。

ステップＳ３０２において、設定部９２は、Tmin＝2*Dmin/c,Tmax＝2*Dmax/cとする。

ステップＳ３０３において、設定部９２は、サブルーチンＡの処理を行い、その後、ゲーテッド撮像処理を終了する。続けて、ステップＳ３０３におけるサブルーチンＡの処理を、図２４乃至図２６を参照して説明する。

図２４のステップＳ３２１において、設定部９２は、Tmid＝(Tmin＋Tmax)/2とする。ステップＳ３２２において、露光制御部９１は、ゲーテッド撮像を行う。すなわち、発光部６１からパルス光を発光して、時刻Tmin乃至Tmidにおいては、PD（受光素子）８１で受光（露光）した光（電荷）をメモリ８２−１に蓄積する。時刻Tmid乃至Tmaxにおいては、PD（受光素子）８１で受光（露光）した光（電荷）をメモリ８２−２に蓄積する。それ以外の時間では、PD（受光素子）８１で受光（露光）した光（電荷）は、ドレインへ排出される。

ステップＳ３２３において、露光制御部９１は、時刻Tmax以降に、イメージセンサ６２の各画素２のメモリ８２−１に蓄えられた電荷を読み出し、この読み出された画素の値をゲーテッド撮像の結果画像Ｉ１とする。また、露光制御部９１は、イメージセンサ６２の各画素２のメモリ８２−２に蓄えられた電荷を読み出し、この読み出された画素の値をゲーテッド撮像の結果画像Ｉ２とする。

図２５のステップＳ３２４において、被写体判定部２６１は、結果画像Ｉ１に有意な被写体が写っているか否かを判定する。ステップＳ３２４において、結果画像Ｉ１に有意な被写体が写っていると判定された場合、ステップＳ３２５に進む。

ステップＳ３２５において、設定部９２は、Tmid-Tmin＜2*Δ/cであるか否かを判定する。ここで、Δは、指定する距離の精度を表す。ステップＳ３２５において、Tmid-Tmin＜2*Δ/cではないと判定された場合、処理は、ステップＳ３２６に進む。設定部９２は、ステップＳ３２６において、Tmin＝Tmin,Tmax＝Tmidとし、ステップＳ３２７において、サブルーチンＡの処理（現在説明中の処理）を再度行う。

また、ステップＳ３２５において、Tmid-Tmin＜2*Δ/cであると判定された場合、処理は、ステップＳ３２８に進む。設定部９２は、ステップＳ３２８において、Ttmp＝(Tmin+Tmid)/2とし、ステップＳ３２９において、被写体５３のいる距離として、Tmid*c/2という値を出力する。

ステップＳ３２７またはＳ３２９の後、処理は、図２６のＳ３３０に進む。一方、ステップＳ３２４において、結果画像Ｉ１に有意な被写体が写っていないと判定された場合、図２６のステップＳ３３０に進む。

図２６のステップＳ３３０において、被写体判定部２６１は、結果画像Ｉ２に有意な被写体が写っているか否かを判定する。ステップＳ３３０において、結果画像Ｉ２に有意な被写体が写っていると判定された場合、ステップＳ３３１に進む。

ステップＳ３３１において、設定部９２は、Tmax-Tmin＜2*Δ/cであるか否かを判定する。ここで、Δは、指定する距離の精度を表す。ステップＳ３３１において、Tmax-Tmin＜2*Δ/cではないと判定された場合、処理は、ステップＳ３３２に進む。設定部９２は、ステップＳ３３２において、Tmin＝Tmid,Tmax＝Tmaxとし、ステップＳ３３３において、サブルーチンＡの処理（現在説明中の処理）を再度行う。

また、ステップＳ３３１において、Tmax-Tmin＜2*Δ/cであると判定された場合、処理は、ステップＳ３３４に進む。設定部９２は、ステップＳ３３４において、Ttmp＝(Tmin+Tmax)/2とし、ステップＳ３３５において、被写体５３のいる距離として、Tmid*c/2という値を出力する。

ステップＳ３３３またはＳ３３５の後、処理は、図２３のＳ３０３に戻り、ゲーテッド撮像処理が終了される。一方、ステップＳ３３０において、結果画像２に有意な被写体が写っていないと判定された場合、図２３のＳ３０３に戻り、ゲーテッド撮像処理が終了される。

なお、上記説明においては、１つの画素の構成は、図６に示す構成を前提として説明した。すなわち、PD（受光素子）８１において露光（受光）した光は電荷となり、メモリ（電荷蓄積部）８２に蓄えられるとした。これに対して、m個(mは３以上の整数)のメモリがある場合には、次のようになる。

すなわち、PD８１において、露光した光は電荷となり、メモリ８２−ｋ（ｋ＝１乃至ｍ）のいずれかに蓄えられるとする。この場合、撮影範囲は、上記の例のように、２分割ではなく、ｍ分割して探索範囲を狭めていけばよい。

以上のように、本技術によれば、１回のパルス発光につき、時間的に複数回の受光を行うことができる。これにより、複数の被写体を鮮明に撮影することができたり、あるいは、被写体の奥行き方向の移動の方向がわかり、移動する被写体に追従して被写体を撮影し続けることができる。

なお、上記説明においては、本技術を、CMOS固体撮像装置に適用した構成について説明してきたが、CCD（Charge Coupled Device）固体撮像装置といった固体撮像装置に適用するようにしてもよい。

＜５．第５の実施の形態（イメージセンサの使用例）＞
図２７は、上述の固体撮像装置を使用する使用例を示す図である。

上述した固体撮像装置（イメージセンサ）は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。

・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置

＜６．第６の実施の形態（電子機器の例）＞
＜電子機器の構成例＞

さらに、本技術は、固体撮像装置への適用に限られるものではなく、撮像装置にも適用可能である。ここで、撮像装置とは、デジタルスチルカメラやデジタルビデオカメラ等のカメラシステムや、携帯電話機等の撮像機能を有する電子機器のことをいう。なお、電子機器に搭載されるモジュール状の形態、すなわちカメラモジュールを撮像装置とする場合もある。

ここで、図２８を参照して、本技術の電子機器の構成例について説明する。

図２８に示される電子機器５００は、固体撮像装置（素子チップ）５０１、光学レンズ５０２、シャッタ装置５０３、駆動回路５０４、および信号処理回路５０５を備えている。固体撮像装置５０１としては、上述した本技術の固体撮像装置１（イメージセンサ６２）が設けられる。また、電子機器５００には、図示せぬ発光部として、上述した発光部６１が設けられている。

光学レンズ５０２は、被写体からの像光（入射光）を固体撮像装置５０１の撮像面上に結像させる。これにより、固体撮像装置５０１内に一定期間信号電荷が蓄積される。シャッタ装置５０３は、固体撮像装置５０１に対する光照射期間および遮光期間を制御する。

駆動回路５０４は、固体撮像装置５０１の信号転送動作、シャッタ装置５０３のシャッタ動作、および図示せぬ発光部の発光動作を制御する駆動信号を供給する。駆動回路５０４としては、上述した本技術の露光制御部９１が設けられる。駆動回路５０４は、図示せぬＣＰＵにより設定されたパラメータを用いて各動作を制御する。この図示せぬＣＰＵとしては、上述した本技術の設定部９２が設けられる。駆動回路５０４から供給される駆動信号（タイミング信号）により、固体撮像装置５０１は信号転送を行う。信号処理回路５０５は、固体撮像装置５０１から出力された信号に対して各種の信号処理を行う。信号処理が行われた映像信号は、メモリなどの記憶媒体に記憶されたり、モニタに出力される。

なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本開示における実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有するのであれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例また修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

１ 固体撮像装置， ２ 画素， ２１ ゲーテッド撮像装置， ２２ 霧， ２３ 被写体， ３１ 制御部， ３２ 発光部， ３３ 撮像部， ５０ ゲーテッド撮像システム， ５１ ゲーテッド撮像装置， ５２，５２−１，５２−２ 霧， ５３，５３−１乃至５３−３ 被写体， ６１ 発光部， ６２ イメージセンサ， ７０ ゲーテッド撮像装置， ７１ 制御部， ７２ 出力端子， ８１ PD， ８２−１，８２−２ メモリ， ８３ スイッチ， ９１ 設定部， ９２ 露光制御部，１００ ゲーテッド撮像システム， １０１ 自動車，１１１ パルス光， １１２ 反射光， １５０ ゲーテッド撮像システム， ２００ ゲーテッド撮像システム， ２１１ 柱， ２１２ 塀， ２５０ ゲーテッド撮像システム， ２６１ 被写体判定部， ２８１乃至２８４ 画像， ５００ 電子機器， ５０１ 固体撮像装置， ５０２ 光学レンズ， ５０３ シャッタ装置， ５０４ 駆動回路， ５０５ 信号処理回路

Claims (8)

1. パルス発光を行う発光部と、
   受光を行う受光部と、
   前記発光部からの１回のパルス発光につき、前記受光部に対して複数回の露光を行わせる露光制御部と、
   所定の撮像距離範囲に存在する被写体の撮像処理を行うために、前記パルス発光のタイミングを基準とし、前記所定の撮像距離範囲に応じて、複数回の露光の開始時刻と終了時刻を設定する設定部と
   を備える撮像装置。
2. 前記所定の撮像距離範囲は、１乃至ｎ(ｎは２以上の整数)の撮像距離範囲で構成され、
   前記所定の撮像距離範囲の第i番目（i=１乃至ｎ）の距離範囲をMin(i)乃至Max(i)（Min(i)＜Max(i)）とするとき、
   前記露光の回数は、ｎ回であり、
   前記設定部は、前記ｎ回の露光の第j番目（j=１乃至ｎ）の露光の開始時間と終了時間を、それぞれ、(2×Min(i))/cと(2×Max(i))/c(cは光の速さ)として設定する
   請求項１に記載の撮像装置。
3. 前記受光部において受光された光量は、１乃至ｍ(ｍは２以上の整数)のメモリのいずれかに格納される構成であり、
   前記所定の撮像距離範囲をMin乃至Max（Min＜Max）とするとき、
   前記露光の回数は、ｍ回であり、
   前記設定部は、前記ｍ回の露光の第j番目（j=１乃至ｎ）の露光の開始時間と終了時間を、それぞれ、(2×Min)/c＋2×(Max-Min)×(j-1)/c/mと2×Min/c＋2×(Max-Min)×j/c/m (cは光の速さ)として設定し、
   前記制御部は、前記ｍ回の露光の第j番目（j=１乃至ｎ）の露光により受光された光量を、前記ｍのメモリのうち第j番目のメモリに格納するように制御する
   請求項１に記載の撮像装置。
4. 前記ｍのメモリのうち、前記被写体の投影像のデータが存在しないメモリを特定する被写体特定部を
   さらに備え、
   前記被写体特定部により特定された前記被写体の投影像のデータが存在しないメモリの番号が第ｐ番目である場合、ｐ＝ｍまたはｐがｍとほぼ等しいとき、前記Minの値あるいはMaxの値の少なくとも一方を小さくするように再設定をして、次に撮像のためのパラメータを決定するか、
   または、
   前記被写体特定部により特定された前記被写体の投影像のデータが存在しないメモリの番号が第ｐ番目である場合、ｐ＝１またはｐが１とほぼ等しいとき、前記Minの値あるいはMaxの値の少なくとも一方を大きくするように再設定をして、次に撮像のためのパラメータを決定する
   請求項３に記載の撮像装置。
5. 前記被写体の撮像処理がs+1(sは１以上の整数)回続けられるうちの各回の撮像処理において、
   前記受光部において受光された光量は、第１のメモリまたは第２のメモリのいずれかに格納される構成であり、
   前記所定の撮像距離範囲は、１乃至（２のｓ乗）の撮像距離範囲で構成され、
   前記所定の撮像距離範囲の第k番目（k=１乃至２のｓ乗）の距離範囲をMin(k)乃至Max(k)（Min(k)＜Max(k)）とするとき、
   前記露光の回数は、２×（２のｓ乗）回であり、
   前記設定部は、前記（２のｓ乗）回の露光の第２×k-1番目（k=１乃至２のｓ乗）の露光の開始時間と終了時間を、それぞれ、2×Min(k)/cと2×Max(k)/c+2×(Max(k)-Min(k)/c/2と、2×Max(k)/c(cは光の速さ)として設定し、
   かつ、
   前記設定部は、前記（２のｓ乗）回の露光の第２×k番目（k=１乃至２のｓ乗）の露光の開始時間と終了時間を、それぞれ、2×Min(k)/c+2×(Max(k)-Min(k))/c/と、2×Max(k)/c(cは光の速さ)として設定し、
   前記制御部は、
   前記ｑ回目（ｑは１乃至s+1）の撮像処理において、
   前記（２のｓ乗）回の露光の第２×k-1番目（k=１乃至２のｓ乗）の露光により前記受光部において受光された光量は、前記２のメモリのうちの第r(k,q)番目（r(k,q)は、１または２）のメモリに格納され、かつ、前記（２のｓ乗）回の露光の第２×k番目の露光により前記受光部において受光された光量は、前記２のメモリのうちの第r(k,q)番目（r(k,q)は、１または２）ではないメモリに格納されるように制御し、
   任意のkに対して、数列{r(k,1)、r(k,2)、…r(k,s+1)}が、数列{r(k’,1)、r(k’,2)、…r(k’,s+1):ただし、k’≠k}と異なり、数列｛３−r(k’,1)、r(k’,2)、…r(k’,s+1:ただし、k’≠k)とも異なるように、r(k,q)を決める
   請求項１に記載の撮像装置。
6. 前記被写体の撮像処理がs+1(sは１以上の整数)回続けられるうちの各回の撮像処理において、
   前記２のメモリのうち、前記被写体の投影像のデータが存在しないメモリを特定する被写体特定部を
   さらに備え、
   前記設定部は、前記被写体特定部により特定された前記被写体の投影像のデータが存在しないメモリの番号に対応して、前記Minの値およびMaxの値の少なくとも一方を小さくするように再設定して、次の撮像のためのパラメータを決定する
   請求項５に記載の撮像装置。
7. 前記ｍのメモリのうち第j番目（j=１乃至ｎ）のメモリに、前記被写体の投影像のデータが存在するメモリを特定する被写体特定部を
   さらに備え、
   前記設定部は、前記被写体特定部により特定された前記被写体の投影像のデータが存在するメモリの番号が第ｑ番目としたとき、2×Min/c＋2×(Max-Min)×(q-1)/c/mを新たにMinと設定し、2×Min/c＋2×(Max-Min)×q/c/m (cは光の速さ)を新たにMaxと設定して、次の撮像のためのパラメータの決定を行う
   請求項３に記載の撮像装置。
8. パルス発光を行う発光部と、
   受光を行う受光部と、
   前記発光部からの１回のパルス発光につき、前記受光部に対して複数回の露光を行わせる露光制御部と、
   所定の撮像距離範囲に存在する被写体の撮像処理を行うために、前記パルス発光のタイミングを基準とし、前記所定の撮像距離範囲に応じて、複数回の露光の開始時刻と終了時刻を設定する設定部と
   を備える電子機器。

Images