JP2023147558A - 距離画像撮像装置、及び距離画像撮像方法 - Google Patents

Abstract

【課題】サブフレームの数を増やすことなく距離分解能と測距範囲とのトレードオフを解消させることができる距離画像撮像装置、及び距離画像撮像方法を提供する。【解決手段】光源部と、光電変換素子及び複数の電荷蓄積部を具備する画素と、前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路とを有する受光部と、前記測定空間に存在する被写体までの距離を算出する距離画像処理部と、を備え、前記画素は、第１グループ及び第２グループを含む複数のグループの何れかに分類され、前記距離画像処理部は、前記第１グループに分類された前記画素が具備する前記電荷蓄積部に電荷を蓄積させる時間幅である第１蓄積時間幅と、前記第２グループに分類された前記画素が具備する前記電荷蓄積部に電荷を蓄積させる時間幅である第２蓄積時間幅が異なるように制御する。【選択図】図６

Description

本発明は、距離画像撮像装置、及び距離画像撮像方法に関する。

光の速度が既知であることを利用し、空間（測定空間）における光の飛行時間に基づいて測定器と対象物との距離を測定する、タイム・オブ・フライト（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ、以下「ＴＯＦ」という）方式の距離画像撮像装置が実現されている（例えば、特許文献１参照）。このような距離画像撮像装置では、光パルスを照射した時点から被写体に反射した光パルスが戻ってくるまでの遅延時間を光電変換素子が発生した電荷を複数の電荷蓄積部に蓄積させることによって求め、遅延時間と光速とを用いて被写体までの距離を計算する。

このような距離画像撮像装置では、測距範囲を広げるために、複数のフレームを用いて１つのフレーム画像を生成する方法が知られている。ここでは１フレーム画像の作成に用いられた複数のフレームをサブフレームと称する。各サブフレームでは、光パルスを照射するタイミングに対する、電荷蓄積部に電荷を蓄積させるゲートパルスをオンオフさせるタイミングが相対的に異なるように制御する。こうすることにより、疑似的に、タップ数（画素が具備する電荷蓄積部の数）を増やすことができ、測距可能な範囲（測距レンジ）を拡大させることができる、または、距離分解能を向上させることが可能となる。

特許第４２３５７２９号公報

しかしながら、このようなサブフレームを用いた測定では、１フレーム画像を作成するために、各サブフレームに対応する信号値をバッファに保存する必要がある。サブフレームの数を増やすとバッファに保存するデータ量が増加し、後段処理の負荷が増加してしまう。例えば、データ量が増加すると距離演算に用いるデータを選択する等、処理時間が長くなりリアルタイム測距が困難になるおそれがある。このため、サブフレームの数を増やすことなく距離分解能と測距範囲とのトレードオフを解消することが望ましい。

本発明は、上記の課題に基づいてなされたものであり、サブフレームの数を増やすことなく距離分解能と測距範囲とのトレードオフを解消させることができる距離画像撮像装置、及び距離画像撮像方法を提供することを目的とする。

本発明の距離画像撮像装置は、測定対象の空間である測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を算出する距離画像処理部と、を備え、前記画素は、第１グループ及び第２グループを含む複数のグループの何れかに分類され、前記距離画像処理部は、前記第１グループに分類された前記画素が具備する前記電荷蓄積部に電荷を蓄積させる時間幅である第１蓄積時間幅と、前記第２グループに分類された前記画素が具備する前記電荷蓄積部に電荷を蓄積させる時間幅である第２蓄積時間幅が異なるように制御する。

本発明の距離画像撮像装置では、前記第１蓄積時間幅は、前記第２蓄積時間幅より小さく、前記距離画像処理部は、前記第１グループに分類された前記画素が具備する前記電荷蓄積部のそれぞれに蓄積させる電荷に対応する光よりも遅れて到来した光が、前記第２グループに分類された前記画素が具備する前記電荷蓄積部のそれぞれに蓄積されるように、前記電荷蓄積部に電荷を蓄積させるタイミングを制御し、前記第２グループに分類された前記画素が具備する電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記被写体までの距離を算出し、前記算出した距離に基づいて、次回以降のフレームにおいて、前記第１グループに分類された前記画素が具備する前記電荷蓄積部に電荷を蓄積させるタイミングを変更するか否かを判定する。

本発明の距離画像撮像装置では、前記距離画像処理部は、前記算出した前記被写体までの距離に基づいて、前記第１グループに分類された前記画素が具備する前記電荷蓄積部に、前記光パルスが前記被写体に反射した反射光に応じた電荷が振り分けて蓄積されたか否かを判定し、前記第１グループに分類された前記画素が具備する前記電荷蓄積部に前記反射光に応じた電荷が振り分けて蓄積されていない場合、次回以降のフレームにおいて、前記第１グループに分類された前記画素が具備する前記電荷蓄積部に前記反射光に応じた電荷が振り分けて蓄積されるように、前記第１グループに分類された前記画素が具備する前記電荷蓄積部に電荷を蓄積させるタイミングを変更する。

本発明の距離画像撮像方法は、測定対象の空間である測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を算出する距離画像処理部と、を備える距離画像撮像装置が行う距離画像撮像方法であって、前記画素は、第１グループ及び第２グループを含む複数のグループの何れかに分類され、前記距離画像処理部は、前記第１グループに分類された前記画素が具備する前記電荷蓄積部に電荷を蓄積させる時間幅である第１蓄積時間幅と、前記第２グループに分類された前記画素が具備する前記電荷蓄積部に電荷を蓄積させる時間幅である第２蓄積時間幅が異なるように制御する。

本発明によれば、サブフレームの数を増やすことなく距離分解能と測距範囲とのトレードオフを解消させることができる。

実施形態の距離画像撮像装置１の概略構成を示すブロック図である。 実施形態の距離画像センサ３２の概略構成を示すブロック図である。 実施形態の画素３２１の構成の一例を示す回路図である。 実施形態の画素３２１を分類するグループを説明する図である。 実施形態の画素３２１を分類する例を示す図である。 実施形態の画素３２１を分類する例を示す図である。 実施形態の画素３２１を駆動するタイミングを示すタイミングチャートである。 実施形態の画素３２１を駆動するタイミングを示すタイミングチャートである。 実施形態の画素３２１を駆動するタイミングを示すタイミングチャートである。 実施形態の距離画像撮像装置１が行う処理の流れを示すフローチャートである。 実施形態の変形例１の画素３２１を駆動するタイミングを示すタイミングチャートである。 実施形態の変形例２の画素３２１を駆動するタイミングを示すタイミングチャートである。

以下、実施形態の距離画像撮像装置を、図面を参照しながら説明する。

図１は、実施形態の距離画像撮像装置の概略構成を示すブロック図である。距離画像撮像装置１は、例えば、光源部２と、受光部３と、距離画像処理部４とを備える。図１には、距離画像撮像装置１において距離を測定する対象物である被写体ＯＢも併せて示している。

光源部２は、距離画像処理部４からの制御に従って、距離画像撮像装置１において距離を測定する対象の被写体ＯＢが存在する測定対象の空間に光パルスＰＯを照射する。光源部２は、例えば、垂直共振器面発光レーザー（ＶＣＳＥＬ：Ｖｅｒｔｉｃａｌ Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ Ｌａｓｅｒ）などの面発光型の半導体レーザーモジュールである。光源部２は、光源装置２１と、拡散板２２とを備える。

光源装置２１は、被写体ＯＢに照射する光パルスＰＯとなる近赤外の波長帯域（例えば、波長が８５０ｎｍ～９４０ｎｍの波長帯域）のレーザー光を発光する光源である。光源装置２１は、例えば、半導体レーザー発光素子である。光源装置２１は、タイミング制御部４１からの制御に応じて、パルス状のレーザー光を発光する。

拡散板２２は、光源装置２１が発光した近赤外の波長帯域のレーザー光を、被写体ＯＢに照射する面の広さに拡散する光学部品である。拡散板２２が拡散したパルス状のレーザー光が、光パルスＰＯとして出射され、被写体ＯＢに照射される。

受光部３は、距離画像撮像装置１において距離を測定する対象の被写体ＯＢによって反射された光パルスＰＯの反射光ＲＬを受光し、受光した反射光ＲＬに応じた画素信号を出力する。受光部３は、レンズ３１と、距離画像センサ３２とを備える。

レンズ３１は、入射した反射光ＲＬを距離画像センサ３２に導く光学レンズである。レンズ３１は、入射した反射光ＲＬを距離画像センサ３２側に出射して、距離画像センサ３２の受光領域に備えた画素に受光（入射）させる。

距離画像センサ３２は、距離画像撮像装置１に用いられる撮像素子である。距離画像センサ３２は、二次元の受光領域に複数の画素を備える。距離画像センサ３２のそれぞれの画素の中に、１つの光電変換素子と、この１つの光電変換素子に対応する複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられる。つまり、画素は、複数の電荷蓄積部に電荷を振り分けて蓄積させる振り分け構成の撮像素子である。

距離画像センサ３２は、タイミング制御部４１からの制御に応じて、光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分ける。また、距離画像センサ３２は、電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。距離画像センサ３２には、複数の画素が二次元の行列状に配置されており、それぞれの画素の対応する１フレーム分の画素信号を出力する。

距離画像処理部４は、距離画像撮像装置１を制御し、被写体ＯＢまでの距離を算出する。距離画像処理部４は、タイミング制御部４１と、距離演算部４２と、測定制御部４３とを備える。

タイミング制御部４１は、測定制御部４３の制御に応じて、測定に要する様々な制御信号を出力するタイミングを制御する。ここでの様々な制御信号とは、例えば、光パルスＰＯの照射を制御する信号、反射光ＲＬを複数の電荷蓄積部に振り分けて蓄積させる信号、１フレームあたりの蓄積回数を制御する信号などである。蓄積回数とは、電荷蓄積部ＣＳ（図３参照）に電荷を振り分けて蓄積させる処理を繰返す回数である。この蓄積回数と、電荷を振り分けて蓄積させる処理１回あたりに各電荷蓄積部に電荷を蓄積させる時間幅（蓄積時間幅）の積が露光時間となる。

距離演算部４２は、距離画像センサ３２から出力された画素信号に基づいて、被写体ＯＢまでの距離を演算した距離情報を出力する。距離演算部４２は、複数の電荷蓄積部に蓄積された電荷量に基づいて、光パルスＰＯを照射してから反射光ＲＬを受光するまでの遅延時間を算出する。距離演算部４２は、算出した遅延時間に応じて被写体ＯＢまでの距離を算出する。

測定制御部４３は、タイミング制御部４１を制御する。例えば、測定制御部４３は、１フレームの蓄積回数及び蓄積時間幅を設定し、設定した内容で撮像が行われるようにタイミング制御部４１を制御する。

このような構成によって、距離画像撮像装置１では、光源部２が被写体ＯＢに照射した近赤外の波長帯域の光パルスＰＯが被写体ＯＢによって反射された反射光ＲＬを受光部３が受光し、距離画像処理部４が、被写体ＯＢとの距離を測定した距離情報を出力する。

なお、図１においては、距離画像処理部４を距離画像撮像装置１の内部に備える構成の距離画像撮像装置１を示しているが、距離画像処理部４は、距離画像撮像装置１の外部に備える構成要素であってもよい。

ここで、図２を用いて、距離画像撮像装置１において撮像素子として用いられる距離画像センサ３２の構成について説明する。図２は、実施形態の距離画像撮像装置１に用いられる撮像素子（距離画像センサ３２）の概略構成を示すブロック図である。

図２に示すように、距離画像センサ３２は、例えば、複数の画素３２１が配置された受光領域３２０と、制御回路３２２と、振り分け動作を有した垂直走査回路３２３と、水平走査回路３２４と、画素信号処理回路３２５とを備える。

受光領域３２０は、複数の画素３２１が配置された領域であって、図２では、８行８列に二次元の行列状に配置された例を示している。画素３２１は、受光した光量に相当する電荷を蓄積する。制御回路３２２は、距離画像センサ３２を統括的に制御する。制御回路３２２は、例えば、距離画像処理部４のタイミング制御部４１からの指示に応じて、距離画像センサ３２の構成要素の動作を制御する。なお、距離画像センサ３２に備えた構成要素の制御は、タイミング制御部４１が直接行う構成であってもよく、この場合、制御回路３２２を省略することも可能である。

垂直走査回路３２３は、制御回路３２２からの制御に応じて、受光領域３２０に配置された画素３２１を行ごとに制御する回路である。垂直走査回路３２３は、画素３２１の電荷蓄積部ＣＳそれぞれに蓄積された電荷量に応じた電圧信号を画素信号処理回路３２５に出力させる。この場合、垂直走査回路３２３は、光電変換素子により変換された電荷を画素３２１の電荷蓄積部それぞれに振り分けて蓄積させる。つまり、垂直走査回路３２３は、「画素駆動回路」の一例である。

画素信号処理回路３２５は、制御回路３２２からの制御に応じて、それぞれの列の画素３２１から対応する垂直信号線に出力された電圧信号に対して、予め定めた信号処理（例えば、ノイズ抑圧処理やＡ／Ｄ変換処理など）を行う回路である。

水平走査回路３２４は、制御回路３２２からの制御に応じて、画素信号処理回路３２５から出力される信号を、水平信号線に順次出力させる回路である。これにより、１フレーム分蓄積された電荷量に相当する画素信号が、水平信号線を経由して距離画像処理部４に順次出力される。

以下では、画素信号処理回路３２５がＡ／Ｄ変換処理を行い、画素信号がデジタル信号であるものとして説明する。

ここで、図３を用いて、距離画像センサ３２に備える受光領域３２０内に配置された画素３２１の構成について説明する。図３は、実施形態の距離画像センサ３２の受光領域３２０内に配置された画素３２１の構成の一例を示す回路図である。図３には、受光領域３２０内に配置された複数の画素３２１のうち、１つの画素３２１の構成の一例を示している。画素３２１は、４個の画素信号読み出し部を備えた構成の一例である。

画素３２１は、１個の光電変換素子ＰＤと、ドレインゲートトランジスタＧＤと、対応する出力端子Ｏから電圧信号を出力する４個の画素信号読み出し部ＲＵとを備える。画素信号読み出し部ＲＵのそれぞれは、読み出しゲートトランジスタＧと、フローティングディフュージョンＦＤと、電荷蓄積容量Ｃと、リセットゲートトランジスタＲＴと、ソースフォロアゲートトランジスタＳＦと、選択ゲートトランジスタＳＬとを備える。それぞれの画素信号読み出し部ＲＵでは、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって電荷蓄積部ＣＳが構成されている。

なお、図３においては、４個の画素信号読み出し部ＲＵの符号「ＲＵ」の後に、「１」、「２」、「３」または「４」の数字を付与することによって、それぞれの画素信号読み出し部ＲＵを区別する。また、同様に、４個の画素信号読み出し部ＲＵに備えたそれぞれの構成要素も、それぞれの画素信号読み出し部ＲＵを表す数字を符号の後に示すことによって、それぞれの構成要素が対応する画素信号読み出し部ＲＵを区別して表す。

図３に示した画素３２１において、出力端子Ｏ１から電圧信号を出力する画素信号読み出し部ＲＵ１は、読み出しゲートトランジスタＧ１と、フローティングディフュージョンＦＤ１と、電荷蓄積容量Ｃ１と、リセットゲートトランジスタＲＴ１と、ソースフォロアゲートトランジスタＳＦ１と、選択ゲートトランジスタＳＬ１とを備える。画素信号読み出し部ＲＵ１では、フローティングディフュージョンＦＤ１と電荷蓄積容量Ｃ１とによって電荷蓄積部ＣＳ１が構成されている。画素信号読み出し部ＲＵ２～ＲＵ４も同様の構成である。

光電変換素子ＰＤは、入射した光を光電変換して電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。光電変換素子ＰＤの構造は任意であってよい。光電変換素子ＰＤは、例えば、Ｐ型半導体とＮ型半導体とを接合した構造のＰＮフォトダイオードであってもよいし、Ｐ型半導体とＮ型半導体との間にＩ型半導体を挟んだ構造のＰＩＮフォトダイオードであってもよい。また、光電変換素子ＰＤは、フォトダイオードに限定されるものではなく、例えば、フォトゲート方式の光電変換素子であってもよい。

画素３２１では、光電変換素子ＰＤが入射した光を光電変換して発生させた電荷を４個の電荷蓄積部ＣＳのそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、画素信号処理回路３２５に出力する。

距離画像センサ３２に配置される画素の構成は、図３に示したような、４個の画素信号読み出し部ＲＵを備えた構成に限定されるものではなく、複数の画素信号読み出し部ＲＵを備えた構成の画素であればよい。つまり、距離画像センサ３２に配置される画素に備える画素信号読み出し部ＲＵ（電荷蓄積部ＣＳ）の数は、２個であってもよいし、３個であってもよいし、５個以上であってもよい。

また、図３に示した構成の画素３２１では、電荷蓄積部ＣＳを、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって構成する一例を示した。しかし、電荷蓄積部ＣＳは、少なくともフローティングディフュージョンＦＤによって構成されればよく、画素３２１が電荷蓄積容量Ｃを備えない構成であってもよい。

また、図３に示した構成の画素３２１では、ドレインゲートトランジスタＧＤを備える構成の一例を示したが、光電変換素子ＰＤに蓄積されている（残っている）電荷を破棄する必要がない場合には、ドレインゲートトランジスタＧＤを備えない構成であってもよい。

本実施形態では、例えば、受光領域３２０に配置された複数の画素３２１を、複数のグループの何れかに分類する。複数のグループは第１グループと第２グループを含む。
以下では、複数の画素３２１が第１グループと第２グループとに分類され、第１蓄積時間幅が第２蓄積時間幅より小さい場合を例示して説明する。
ここでの第１蓄積時間幅は、第１グループに分類した画素３２１に１回あたりに電荷を蓄積させる時間幅である。第２蓄積時間幅は、第２グループに分類した画素３２１に１回あたりに電荷を蓄積させる時間幅である。
すなわち、実施形態の距離画像撮像装置１では、複数の画素３２１を第１グループＧｒ１又は第２グループＧｒ２の何れかに分類し、第１蓄積時間幅と第２蓄積時間幅とを異なる値とする。これにより、実施形態の距離画像撮像装置１では、距離分解能と測距範囲とのトレードオフを解消させることが可能となる。一方のグループ（ここでは第１グループＧｒ１）では距離分解能を高めることができ、他方のグループ（ここでは第２グループＧｒ２）では測距範囲を広げることが可能となるためである。

図４は、実施形態の画素３２１を分類するグループを説明する図である。図４には光源からの距離と各グループが測定可能な範囲の関係が模式的に示されている。図４の横軸は、光源からの距離を示す。
距離Ｋｙ１は、第１グループＧｒ１に分類した画素３２１に蓄積させた電荷を用いて測定可能な範囲を模式的に示している。第１グループＧｒ１では、第１蓄積時間幅、すなわち、比較的短い時間幅にて電荷を蓄積させた場合、距離分解能は高くなり、測定可能な範囲である距離レンジは狭くなる。したがって、第１グループＧｒ１では、精度よく距離を測定することが可能であるが、狭い範囲しか測定することができない。
距離Ｋｙ２は、第２グループＧｒ２に分類した画素３２１に蓄積させた電荷を用いて測定可能な範囲を模式的に示している。第２グループＧｒ２では、第２蓄積時間幅、すなわち、比較的長い時間幅にて電荷を蓄積させた場合、測定可能な範囲である距離レンジは広くなるが、距離分解能は低くなる。したがって、第２グループＧｒ２では、広い範囲を測定することができるが、精度よく測定することができない。

図５（図５Ａ及び図５Ｂ）は、実施形態の画素３２１を分類する例を示す図である。図５には、複数の画素３２１が配置された受光領域３２０が示されている。
図５Ａには、画素３２１を、行ごとに、交互に第１グループＧｒ１と第２グループＧｒ２とに分類する例が示されている。例えば、奇数行に配置された画素３２１が第１グループＧｒ１に分類され、偶数行に配置された画素３２１が第２グループＧｒ２に分類される。
図５Ｂには、２行２列の画素群を単位として、単位となる画素群ごとに、市松模様状に画素３２１を第１グループＧｒ１と第２グループＧｒ２とに分類する例が示されている。
なお、上記では、画素３２１を、行ごとに分類する例、及び市松模様状に分類する例を示したがこれに限定されない。少なくとも、複数の画素３２１が第１グループＧｒ１と第２グループＧｒ２の何れかに分類されればよい。

本実施形態では、第２グループＧｒ２に電荷を蓄積させた結果に応じて、第１グループＧｒ１に電荷を蓄積させるタイミングを変化させる。これにより、距離分解能と測距範囲とのトレードオフを解消させる。すなわち、測定可能な範囲である距離レンジを広くすると共に、精度よく距離を測定できるようにする。したがって、サブフレームの数を増やすことなく、距離分解能と測距範囲とのトレードオフを解消させることが可能となる。

ここで、第２グループＧｒ２に電荷を蓄積させた結果に応じて、第１グループＧｒ１に電荷を蓄積させるタイミングを変化させる具体的な方法について、図６及び図７（図７Ａ及び図７Ｂ）を用いて説明する。

図６及び図７は、実施形態の画素３２１を駆動するタイミングを示すタイミングチャートである。
図６及び図７に示すように、１フレームには、蓄積期間と読出期間とが設けられる。蓄積期間には画素３２１のそれぞれに電荷が蓄積される。読出期間には画素３２１のそれぞれに蓄積された電荷量に応じた信号値が読み出される。距離画像処理部４は、読出期間に読み出した信号値に基づいて被写体ＯＢまでの距離を算出する。これにより、電荷蓄積部ＣＳに蓄積された電荷量に応じて被写体ＯＢまでの距離を算出することができる。
蓄積期間において、蓄積サイクルが繰り返し実行される。蓄積サイクルでは、第１グループＧｒ１に分類された画素３２１と、第２グループＧｒ２に分類された画素３２１とが、互いに異なる蓄積時間幅にて電荷が蓄積される。

図６及び図７のタイミングチャートでは、反射光ＲＬを「ＲＬ」の項目名で示している。
また、第１グループＧｒ１に分類された画素３２１における駆動信号ＴＸ１を「Ｇｒ１＿Ｇ１」、駆動信号ＴＸ２を「Ｇｒ１＿Ｇ２」、駆動信号ＴＸ３を「Ｇｒ１＿Ｇ３」、駆動信号ＴＸ４を「Ｇｒ１＿Ｇ４」、駆動信号ＲＳＴＤのタイミングを「Ｇｒ１＿ＧＤ」の項目名でそれぞれ示している。なお、駆動信号ＴＸ１は、読み出しゲートトランジスタＧ１を駆動させる信号である。駆動信号ＴＸ２～ＴＸ４についても同様である。
また、第２グループＧｒ２に分類された画素３２１における駆動信号ＴＸ１を「Ｇｒ２＿Ｇ１」、駆動信号ＴＸ２を「Ｇｒ２＿Ｇ２」、駆動信号ＴＸ３を「Ｇｒ２＿Ｇ３」、駆動信号ＴＸ４を「Ｇｒ２＿Ｇ４」、駆動信号ＲＳＴＤのタイミングを「Ｇｒ２＿ＧＤ」の項目名でそれぞれ示している。

図６に示すように、被写体ＯＢに反射した反射光ＲＬが時間幅Ｔｏで受光される。この図の例では、説明を簡単にするために、光パルスＰＯを照射したタイミングと同じタイミングで反射光ＲＬが受光された場合を示している。この場合、被写体ＯＢまでの距離は０（ゼロ）［ｍ］である。

垂直走査回路３２３は、光パルスＰＯの照射タイミングに同期させて、第１グループＧｒ１に分類された画素３２１における電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３、及びＣＳ４の順に電荷を蓄積させる。ここで垂直走査回路３２３が第１グループＧｒ１に分類された画素３２１における電荷蓄積部ＣＳのそれぞれに電荷を蓄積させる「第１蓄積時間幅」は、光パルスＰＯを照射した時間幅Ｔｏ（＝２Ｔａ）の１／２、つまり時間幅Ｔａである。

また、垂直走査回路３２３は、光パルスＰＯの照射タイミングに同期させて、第２グループＧｒ２に分類された画素３２１における電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３、及びＣＳ４の順に電荷を蓄積させる。ここで垂直走査回路３２３が第２グループＧｒ２に分類された画素３２１における電荷蓄積部ＣＳのそれぞれに電荷を蓄積させる「第２蓄積時間幅」は、光パルスＰＯを照射した時間幅Ｔｏ（＝２Ｔａ）と同じ時間幅２Ｔａである。

このように、距離画像処理部４は、第１グループＧｒ１に分類された画素３２１が具備する電荷蓄積部ＣＳのそれぞれに蓄積させる電荷に対応する光よりも遅れて到来した光が、第２グループＧｒ２に分類された画素３２１が具備する電荷蓄積部ＣＳのそれぞれに蓄積されるように、電荷蓄積部に電荷を蓄積させるタイミングを制御する。

より具体的に、垂直走査回路３２３が画素３２１を駆動するタイミングについて説明する。

まず、第１グループＧｒ１に分類された画素３２１について説明する。
垂直走査回路３２３は、光パルスＰＯを照射させるタイミングと同じタイミングにて、ドレインゲートトランジスタＧＤをオフ状態にするとともに、読み出しゲートトランジスタＧ１をオン状態とする。垂直走査回路３２３は、読み出しゲートトランジスタＧ１をオン状態としてから蓄積時間幅Ｔａに相当する時間が経過した後に、読み出しゲートトランジスタＧ１をオフ状態にする。これにより、読み出しゲートトランジスタＧ１がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ１を介して電荷蓄積部ＣＳ１に蓄積される。
次に、垂直走査回路３２３は、読み出しゲートトランジスタＧ１をオフ状態としたタイミングで、読み出しゲートトランジスタＧ２を蓄積時間幅Ｔａに相当する時間オン状態にする。これにより、読み出しゲートトランジスタＧ２がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ２を介して電荷蓄積部ＣＳ２に蓄積される。
次に、垂直走査回路３２３は、電荷蓄積部ＣＳ２への電荷の蓄積を終了させたタイミングで、読み出しゲートトランジスタＧ３をオン状態にし、蓄積時間幅Ｔａに相当する時間が経過した後に、読み出しゲートトランジスタＧ３をオフ状態にする。これにより、読み出しゲートトランジスタＧ３がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ３を介して電荷蓄積部ＣＳ３に蓄積される。
次に、垂直走査回路３２３は、電荷蓄積部ＣＳ３への電荷の蓄積を終了させたタイミングで、読み出しゲートトランジスタＧ４をオン状態にし、蓄積時間幅Ｔａに相当する時間が経過した後に、読み出しゲートトランジスタＧ４をオフ状態にする。これにより、読み出しゲートトランジスタＧ４がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ４を介して電荷蓄積部ＣＳ４に蓄積される。
そして、垂直走査回路３２３は、電荷蓄積部ＣＳ４への電荷の蓄積を終了させたタイミングで、ドレインゲートトランジスタＧＤをオン状態にして電荷の排出を行う。これにより、光電変換素子ＰＤにより光電変換された電荷はドレインゲートトランジスタＧＤを介して破棄される。

次に、第２グループＧｒ２に分類された画素３２１について説明する。
垂直走査回路３２３は、光パルスＰＯを照射させるタイミングと同じタイミングにて、ドレインゲートトランジスタＧＤをオフ状態にするとともに、読み出しゲートトランジスタＧ１をオン状態とする。垂直走査回路３２３は、読み出しゲートトランジスタＧ１をオン状態としてから蓄積時間幅２Ｔａに相当する時間が経過した後に、読み出しゲートトランジスタＧ１をオフ状態にする。これにより、読み出しゲートトランジスタＧ１がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ１を介して電荷蓄積部ＣＳ１に蓄積される。
次に、垂直走査回路３２３は、読み出しゲートトランジスタＧ１をオフ状態としたタイミングで、読み出しゲートトランジスタＧ２を蓄積時間幅２Ｔａに相当する時間オン状態にする。これにより、読み出しゲートトランジスタＧ２がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ２を介して電荷蓄積部ＣＳ２に蓄積される。
次に、垂直走査回路３２３は、電荷蓄積部ＣＳ２への電荷の蓄積を終了させたタイミングで、読み出しゲートトランジスタＧ３をオン状態にし、蓄積時間幅２Ｔａに相当する時間が経過した後に、読み出しゲートトランジスタＧ３をオフ状態にする。これにより、読み出しゲートトランジスタＧ３がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ３を介して電荷蓄積部ＣＳ３に蓄積される。
次に、垂直走査回路３２３は、電荷蓄積部ＣＳ３への電荷の蓄積を終了させたタイミングで、読み出しゲートトランジスタＧ４をオン状態にし、蓄積時間幅２Ｔａに相当する時間が経過した後に、読み出しゲートトランジスタＧ４をオフ状態にする。これにより、読み出しゲートトランジスタＧ４がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ４を介して電荷蓄積部ＣＳ４に蓄積される。
そして、垂直走査回路３２３は、電荷蓄積部ＣＳ４への電荷の蓄積を終了させたタイミングで、ドレインゲートトランジスタＧＤをオン状態にして電荷の排出を行う。これにより、光電変換素子ＰＤにより光電変換された電荷はドレインゲートトランジスタＧＤを介して破棄される。

垂直走査回路３２３は、上述したような蓄積サイクルを、第１グループＧｒ１及び第２グループＧｒ２に分類されたそれぞれの画素３２１に対し、所定の蓄積回数分繰り返し行う。

垂直走査回路３２３は蓄積サイクルを所定の蓄積回数分繰り返し行った後、垂直走査回路３２３は、それぞれの電荷蓄積部ＣＳに振り分けられた電荷量に応じた電圧信号を出力する。具体的に、垂直走査回路３２３は、選択ゲートトランジスタＳＬ１を所定時間オン状態にすることにより、画素信号読み出し部ＲＵ１を介して電荷蓄積部ＣＳ１に蓄積された電荷量に対応する電圧信号を出力端子Ｏ１から出力させる。同様に、垂直走査回路３２３は、順次、選択ゲートトランジスタＳＬ２、ＳＬ３をオン状態とすることにより、電荷蓄積部ＣＳ２、ＣＳ３に蓄積された電荷量に対応する電圧信号を出力端子Ｏ２、Ｏ３から出力させる。そして、画素信号処理回路３２５、及び水平走査回路３２４を介して、電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に相当する電圧信号が信号値として距離演算部４２に出力される。

距離演算部４２は、垂直走査回路３２３から出力された信号値に基づいて、被写体ＯＢまでの距離を算出する。距離演算部４２は、反射光ＲＬに相当する電荷が振り分けて蓄積された複数の電荷蓄積部ＣＳを特定し、特定した複数の電荷蓄積部ＣＳ振り分けられた電荷量の配分（振り分け比率）に基づいて、被写体ＯＢまでの距離を算出する。

例えば、反射光ＲＬに相当する電荷が、第１グループＧｒ１に分類された電荷蓄積部ＣＳ１からＣＳ３のそれぞれに蓄積され、電荷蓄積部ＣＳ４には反射光ＲＬに相当する電荷が蓄積されず、外光成分に相当する電荷のみが蓄積されたとする。
この場合、距離演算部４２は、以下の（１Ａ）式により、遅延時間Ｔｄを算出する。

Ｔｄ＝Ｔａ×（Ｑ３－Ｑ４）／（Ｑ１＋Ｑ３－２×Ｑ４） …（１Ａ）

例えば、反射光ＲＬに相当する電荷が、第１グループＧｒ１に分類された電荷蓄積部ＣＳ２からＣＳ４のそれぞれに蓄積され、電荷蓄積部ＣＳ１には反射光ＲＬに相当する電荷が蓄積されず、外光成分に相当する電荷のみが蓄積されたとする。
この場合、距離演算部４２は、以下の（１Ｂ）式により、遅延時間Ｔｄを算出する。

Ｔｄ＝Ｔａ×｛（Ｑ４－Ｑ１）／（Ｑ２＋Ｑ４－２×Ｑ１）＋１｝ …（１Ｂ）

例えば、反射光ＲＬに相当する電荷が、第１グループＧｒ１に分類された電荷蓄積部ＣＳ３及びＣＳ４のそれぞれに蓄積され、電荷蓄積部ＣＳ１及びＣＳ２には反射光ＲＬに相当する電荷が蓄積されず、外光成分に相当する電荷のみが蓄積されたとする。
この場合、距離演算部４２は、以下の（１Ｃ）式により、遅延時間Ｔｄを算出する。

Ｔｄ＝Ｔａ×｛（Ｑ４－Ｑ３）／（Ｑ４－Ｑ１）＋２｝ …（１Ｃ）

（１）式（（１Ａ）式、（１Ｂ）式、（１Ｃ）式）において、Ｔａは各電荷蓄積部ＣＳに電荷が蓄積された時間幅である。
Ｑ１は第１グループＧｒ１に分類された電荷蓄積部ＣＳ１に蓄積された電荷量である。
Ｑ２は第１グループＧｒ１に分類された電荷蓄積部ＣＳ２に蓄積された電荷量である。
Ｑ３は第１グループＧｒ１に分類された電荷蓄積部ＣＳ３に蓄積された電荷量である。
Ｑ４は第１グループＧｒ１に分類された電荷蓄積部ＣＳ４に蓄積された電荷量である。
なお、（１）式では、電荷蓄積部ＣＳ１～ＣＳ４のそれぞれに蓄積される電荷量のうちの外光成分に相当する電荷量が、電荷蓄積部ＣＳによらず同量であることを前提とする。

例えば、反射光ＲＬに相当する電荷が、第２グループＧｒ２に分類された電荷蓄積部ＣＳ１及びＣＳ２のそれぞれに蓄積され、電荷蓄積部ＣＳ３及びＣＳ４には反射光ＲＬに相当する電荷が蓄積されず、外光成分に相当する電荷のみが蓄積されたとする。
この場合、距離演算部４２は、以下の（２）式により、遅延時間Ｔｄを算出する。

Ｔｄ＝Ｔｏ×（Ｑ２－Ｑ３）／（Ｑ１＋Ｑ２－２×Ｑ３） …（２）

（２）式において、Ｔｏは光パルスＰＯが照射された時間幅である。
Ｑ１は第２グループＧｒ２に分類された電荷蓄積部ＣＳ１に蓄積された電荷量である。
Ｑ２は第２グループＧｒ２に分類された電荷蓄積部ＣＳ２に蓄積された電荷量である。
Ｑ３は第２グループＧｒ２に分類された電荷蓄積部ＣＳ３に蓄積された電荷量である。
なお、（２）式では、電荷蓄積部ＣＳ１～ＣＳ３に蓄積される電荷量のうちの外光成分に相当する電荷量が、電荷蓄積部ＣＳ４に蓄積された電荷量と同量であることを前提とする。

距離演算部４２は、近距離受光画素においては、（１）式又は（２）式で求めた遅延時間Ｔｄに、光速（速度）を乗算させることにより、被写体ＯＢまでの往復の距離を算出する。そして、距離演算部４２は、上記で算出した往復の距離を１／２とすることにより、被写体ＯＢまでの距離を求める。

図７Ａには、光パルスＰＯを照射したタイミングから遅延時間Ｔｄが経過した後に、反射光ＲＬが受光された場合の例が示されている。

図７Ａに示すように、第１グループＧｒ１に分類された画素３２１が具備する電荷蓄積部ＣＳには、反射光ＲＬに相当する電荷が振り分けて蓄積されない。反射光ＲＬが受光されたタイミングにおいて、オン状態となる複数の読み出しゲートトランジスタＧが存在しないためである。この場合、距離演算部４２は、第１グループに分類した画素３２１に蓄積された電荷量を用いて、被写体ＯＢまでの距離を算出することができない。

一方、第２グループＧｒ２に分類された画素３２１が具備する電荷蓄積部ＣＳには、反射光ＲＬに相当する電荷が振り分けて蓄積される。この図の例では、第２グループＧｒ２に分類された画素３２１における読み出しゲートトランジスタＧ２（Ｇｒ２＿Ｇ２）及びＧ３（Ｇｒ２＿Ｇ３）に反射光ＲＬに相当する電荷が振り分けて蓄積される。この場合、距離演算部４２は、第２グループに分類した画素３２１に蓄積された電荷量を用いて、高い分解能ではないものの、被写体ＯＢまでの距離を算出することが可能である。

本実施形態では、距離演算部４２は、第２グループに分類した画素３２１に蓄積された電荷量を用いて、被写体ＯＢまでの距離（暫定距離という）を算出する。距離画像処理部４は、距離演算部４２により算出された暫定距離に基づいて、次回以降、第１グループに分類された画素３２１が具備する電荷蓄積部ＣＳに電荷を蓄積させるタイミングを変更するか否かを判定する。

まず、距離演算部４２は、暫定距離に基づいて、第１グループに分類された画素３２１が具備する電荷蓄積部ＣＳに、反射光ＲＬに応じた電荷が振り分けて蓄積されたか否かを判定する。

例えば、距離演算部４２は、暫定距離が閾値未満である場合、第１グループに分類された画素３２１が具備する電荷蓄積部ＣＳに反射光ＲＬに応じた電荷が振り分けて蓄積されたと判定する。
一方、距離演算部４２は、暫定距離が閾値以上である場合、第１グループに分類された画素３２１が具備する電荷蓄積部ＣＳに反射光ＲＬに応じた電荷が振り分けて蓄積されていないと判定する。
ここでの閾値は、第１グループに分類された画素３２１が測定可能な距離である。例えば、図４の例には、第１グループに分類された画素３２１が測定可能な距離Ｋｙ１として、２～４［ｍ］が示されている。この場合、閾値は４［ｍ］である。すなわち、距離演算部４２は、暫定距離が４［ｍ］未満である場合、第１グループに分類された画素３２１が具備する電荷蓄積部ＣＳに反射光ＲＬに応じた電荷が振り分けて蓄積されたと判定する。一方、暫定距離が４［ｍ］以上である場合、第１グループに分類された画素３２１が具備する電荷蓄積部ＣＳに反射光ＲＬに応じた電荷が振り分けて蓄積されていないと判定する。

或いは、距離演算部４２は、第２グループに分類した画素３２１が具備する電荷蓄積部ＣＳ１及びＣＳ２のいずれか一方又は両方に、反射光ＲＬに応じた電荷が振り分けて蓄積された場合、第１グループに分類された画素３２１が具備する電荷蓄積部ＣＳに反射光ＲＬに応じた電荷が振り分けて蓄積されたと判定する。
一方、距離演算部４２は、第２グループに分類した画素３２１が具備する電荷蓄積部ＣＳ２及びＣＳ３、又は電荷蓄積部ＣＳ３及びＣＳ４のいずれか一方又は両方に、反射光ＲＬに応じた電荷が振り分けて蓄積された場合、第１グループに分類された画素３２１が具備する電荷蓄積部ＣＳに反射光ＲＬに応じた電荷が振り分けて蓄積されていないと判定する。
距離画像撮像装置１が、反射光ＲＬに応じた電荷が振り分けて蓄積されているか否かを判定する方法は、例えば、以下の方法を用いることができる。第２グループＧｒ２に分類された画素３２１が具備する電荷蓄積部ＣＳのそれぞれのうち、最も大きい電荷量が蓄積されている電荷蓄積部ＣＳ、及びその次に大きい電荷量が蓄積されている電荷蓄積部ＣＳを、反射光ＲＬに応じた電荷が振り分けて蓄積されている電荷蓄積部ＣＳとする。

次に、距離演算部４２は、第１グループに分類された画素３２１が具備する電荷蓄積部ＣＳに、反射光ＲＬに応じた電荷が振り分けて蓄積されていない場合、次回以降、第１グループに分類された画素３２１が具備する電荷蓄積部ＣＳに電荷を蓄積させるタイミングを変更すると判定する。

距離演算部４２は、次回以降、第１グループに分類された画素３２１が具備する電荷蓄積部ＣＳに電荷を蓄積させるタイミングを変更する場合、第１グループに分類された画素３２１が具備する電荷蓄積部ＣＳに、反射光ＲＬに応じた電荷が振り分けて蓄積されるように、電荷を蓄積させるタイミングを変更する。

図７Ｂには、図７Ａに示すタイミングで反射光ＲＬが受光された場合において、第１グループに分類された画素３２１が具備する電荷蓄積部ＣＳに電荷を蓄積させるタイミングを変更した例が示されている。

図７Ｂに示すように、例えば、距離画像処理部４は、第１グループＧｒ１に分類された画素３２１が具備する電荷蓄積部ＣＳ１に電荷を蓄積させ始めるタイミングを、時間幅３Ｔａに相当する時間遅らせる。
これにより、第１グループＧｒ１に分類された画素３２１が具備する電荷蓄積部ＣＳには、反射光ＲＬに相当する電荷が振り分けて蓄積されるようになる。この図の例では、第１グループＧｒ１に分類された画素３２１における読み出しゲートトランジスタＧ１（Ｇｒ１＿Ｇ１）～Ｇ３（Ｇｒ１＿Ｇ３）に反射光ＲＬに相当する電荷が振り分けて蓄積される。この場合、距離演算部４２は、第１グループに分類した画素３２１に蓄積された電荷量を用いて、高い分解能により、被写体ＯＢまでの距離を算出することが可能となる。

ここで、図８を用いて、距離画像撮像装置１が行う処理の流れを説明する。図８は、実施形態の距離画像撮像装置１が行う処理の流れを示すフローチャートである。

ステップＳ１０：距離画像撮像装置１は、１フレームに渡り画素３２１を駆動させる。これにより、蓄積期間において第１グループＧｒ１に分類された画素３２１の電荷蓄積部ＣＳのそれぞれ、及び第２グループＧｒ２に分類された画素３２１の電荷蓄積部ＣＳのそれぞれに電荷が蓄積され、読出期間において、電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に対応する信号値が読み出される。

ステップＳ１１：距離画像撮像装置１は、第２グループＧｒ２に分類された画素３２１の電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に、反射光ＲＬに相当する電荷が含まれるか否かを判定する。

ステップＳ１２：ステップＳ１１において反射光ＲＬに相当する電荷が含まれる場合、距離画像撮像装置１は、第１グループＧｒ１に分類された画素３２１の電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に、反射光ＲＬに相当する電荷が含まれているか否かを判定する。

ステップＳ１３：ステップＳ１２において反射光ＲＬに相当する電荷が含まれている場合、距離画像撮像装置１は、第１グループＧｒ１に分類された画素３２１の電荷蓄積部ＣＳのそれぞれに蓄積された電荷量を用いて被写体ＯＢまでの距離（第１距離という）を算出する。また、距離画像撮像装置１は、第２グループＧｒ２に分類された画素３２１の電荷蓄積部ＣＳのそれぞれに蓄積された電荷量を用いて被写体ＯＢまでの距離（第２距離という）を算出する。

ステップＳ１４：距離画像撮像装置１は、ステップＳ１３において算出した第１距離及び第２距離を合成することにより、被写体ＯＢまでの距離を算出する。例えば、距離画像撮像装置１は、第１距離及び第２距離を単純加算平均した値を、被写体ＯＢまでの距離として算出する。或いは、距離画像撮像装置１は、第１距離及び第２距離を重みづけ加算して平均した値を、被写体ＯＢまでの距離として算出するようにしてもよい。また、距離画像撮像装置１は、第１距離及び第２距離のいずれか一方を、被写体ＯＢまでの距離としてもよい。距離画像撮像装置１は測定処理を終了させる。

ステップＳ１５：ステップＳ１１において反射光ＲＬに相当する電荷が含まれない場合、距離画像撮像装置１は、次回以降、第２グループＧｒ２に分類された画素３２１の電荷蓄積部ＣＳのそれぞれに電荷を蓄積させるタイミングを変更する。例えば、距離画像撮像装置１は、第２グループＧｒ２に分類された画素３２１の電荷蓄積部ＣＳのそれぞれに電荷を蓄積させるタイミングを、次回以降、時間幅２Ｔａに相当する時間遅らせる。そして、ステップＳ１０に示す処理に戻る。

ステップＳ１６：ステップＳ１２において反射光ＲＬに相当する電荷が含まれない場合、距離画像撮像装置１は、次回以降、第１グループＧｒ１に分類された画素３２１の電荷蓄積部ＣＳのそれぞれに電荷を蓄積させるタイミングを変更する。距離画像撮像装置１は、第１グループＧｒ１に分類された画素３２１の電荷蓄積部ＣＳのそれぞれに、次回以降のフレームにおいて反射光ＲＬに相当する電荷が振り分けて蓄積されるように、電荷蓄積部ＣＳのそれぞれに電荷を蓄積させるタイミングを遅らせる。そして、ステップＳ１０に示す処理に戻る。

以上説明したように、実施形態の距離画像撮像装置１では、画素３２１は、第１グループＧｒ１及び第２グループＧｒ２を含む複数のグループの何れかに分類される。距離画像処理部４は、第１蓄積時間幅と２蓄積時間幅が異なるように制御する。第１蓄積時間幅は、第１グループＧｒ１に分類された画素３２１が具備する電荷蓄積部ＣＳに電荷を蓄積させる時間幅である。第２蓄積時間幅、第２グループＧｒ２に分類された画素３２１が具備する電荷蓄積部ＣＳに電荷を蓄積させる時間幅である。

これにより、実施形態の距離画像撮像装置１では、１つのフレームを駆動させることにより、第１グループＧｒ１及び第２グループＧｒ２のそれぞれから、距離分解能と測距範囲とのいずれか一方に対応させた信号値を得ることができる。例えば、第１グループＧｒ１からは測定可能は範囲が狭いが精度よく距離を算出することが可能な信号値を得ることができる。また、第２グループＧｒ２からは、精度はそれほどよくないが、測定可能な範囲が広い信号値を得ることができる。したがって、距離分解能と測距範囲とのトレードオフを解消させることが可能となる。第１グループＧｒ１の信号値を用いて精度よく距離算出することが可能となり、第２グループＧｒ２の信号値を用いて遠い位置にある被写体ＯＢまでの測距を算出することが可能となるためである。

また、実施形態の距離画像撮像装置１では、第１蓄積時間幅は、前記第２蓄積時間幅より小さい。距離画像処理部４は、第１グループＧｒ１に分類された画素３２１が具備する電荷蓄積部ＣＳのそれぞれに蓄積させる電荷に対応する光よりも遅れて到来した光が、第２グループＧｒ２に分類された画素３２１が具備する電荷蓄積部ＣＳのそれぞれに蓄積されるように、電荷蓄積部に電荷を蓄積させるタイミングを制御する。距離画像処理部４は、第２グループＧｒ２に分類された画素３２１が具備する電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に基づいて被写体ＯＢまでの距離（暫定距離）を算出する。距離画像処理部４は、算出した暫定距離に基づいて、次回以降、第１グループＧｒ１に分類された画素３２１が具備する電荷蓄積部ＣＳに電荷を蓄積させるタイミングを変更するか否かを判定する。

これにより、実施形態の距離画像撮像装置１では、第１グループＧｒ１の信号値を用いて精度よく距離算出することが難しい場合には、第１グループＧｒ１に分類された画素３２１が具備する電荷蓄積部ＣＳのそれぞれに電荷を蓄積させるタイミングを変更することが可能となる。したがって、第１グループＧｒ１の信号値を用いて精度よく距離算出することができない場合には、次回以降のフレームにおいて、第１グループＧｒ１の信号値を用いて精度よく距離算出することができるように、第１グループＧｒ１に分類された画素３２１が具備する電荷蓄積部ＣＳのそれぞれに電荷を蓄積させるタイミングを変更すること可能となる。

また、実施形態の距離画像撮像装置１では、距離画像処理部４は、暫定距離に基づいて、第１グループＧｒ１に分類された画素３２１が具備する電荷蓄積部ＣＳに反射光ＲＬに応じた電荷が振り分けて蓄積されたか否かを判定する。距離画像処理部４は、第１グループＧｒ１に分類された画素３２１が具備する電荷蓄積部ＣＳに反射光ＲＬに応じた電荷が振り分けて蓄積されていない場合、次回以降のフレームにおいて、第１グループＧｒ１に分類された画素３２１が具備する電荷蓄積部ＣＳに反射光ＲＬに応じた電荷が振り分けて蓄積されるように、第１グループＧｒ１に分類された画素３２１が具備する電荷蓄積部ＣＳに電荷を蓄積させるタイミングを変更する。

これにより、実施形態の距離画像撮像装置１では、第１グループＧｒ１の信号値を用いて精度よく距離算出することが難しい場合には、第１グループＧｒ１に分類された画素３２１が具備する電荷蓄積部ＣＳに反射光ＲＬに相当する電荷を蓄積することができるように、電荷蓄積部ＣＳに電荷を蓄積させるタイミングを変更することが可能となる。したがって、第１グループＧｒ１の信号値を用いて精度よく距離算出することができない場合であっても、次回以降のフレームにおいて、第１グループＧｒ１の信号値を用いて精度よく距離算出することができるようになる。

ここで、実施形態の変形例１について説明する。本変形例では、第１グループＧｒ１と第２グループＧｒ２とで、１フレームにおいて画素３２１に電荷を蓄積させる蓄積回数を異なる回数とする。

図９は、実施形態の変形例１の画素３２１を駆動するタイミングを示すタイミングチャートである。図９には、図６及び図７と同様に、１フレームに蓄積期間と読出期間とが設けられる。また、図９に示す各信号の項目名に対応する信号は図６及び図７と同様である。

図９に示すように、本変形例では、蓄積サイクルにおいて、光パルスＰＯが、複数回（この図の例では２回）、照射される。
本変形例では、垂直走査回路３２３は、１回目に光パルスＰＯを照射させたタイミングに同期させて、第１グループＧｒ１及び第２グループＧｒ２のそれぞれに分類した画素３２１を駆動し、それぞれの画素３２１に電荷を蓄積させる。一方、垂直走査回路３２３は、２回目に光パルスＰＯを照射させたタイミングに同期させて、第１グループＧｒ１に分類した画素３２１のみを駆動し、第１グループＧｒ１に分類した画素３２１のみに電荷を蓄積させる。これにより、本変形例では、第１グループＧｒ１と第２グループＧｒ２とで、蓄積回数を異なる回数とすることができる。したがって、第１グループＧｒ１と第２グループＧｒ２とで適切な蓄積回数が異なる場合であっても、それぞれに適切な蓄積回数を用いて電荷を蓄積させることができる。

上記では、第１グループＧｒ１の蓄積回数が、第２グループＧｒ２の蓄積回数よりも大きい場合を例示したがこれに限定されない。第１グループＧｒ１の蓄積回数が、第２グループＧｒ２の蓄積回数よりも小さくなるように制御してもよい。

光の強度は距離の二乗に反比例することが知られている。例えば、第１グループＧｒ１の画素３２１が比較的近くにある被写体ＯＢに反射した反射光ＲＬを受光するように制御した場合、第１グループＧｒ１の画素が受光する反射光の強度は大きくなる。一方、第２グループＧｒ２の画素３２１が比較的遠くにある被写体ＯＢに反射した反射光ＲＬを受光するように制御した場合、第２グループＧｒ２の画素３２１が受光する反射光の強度は小さくなる。この場合、第１グループＧｒ１と第２グループＧｒ２のそれぞれの画素３２１について同じ積算回数で電荷を蓄積させた場合、第１グループに分類した画素３２１の電荷蓄積部ＣＳに蓄積される電荷量が適切な量となるように積算回数を設定すると、第２グループに分類した画素３２１の電荷蓄積部ＣＳに蓄積される電荷量が少なくなり誤差が発生する要因となってしまう可能性がある。一方、第２グループに分類した画素３２１の電荷蓄積部ＣＳに蓄積される電荷量が適切な量となるように積算回数を設定すると、第１グループに分類した画素３２１の電荷蓄積部ＣＳに蓄積される電荷量が大きくなりすぎて飽和し、距離を算出することが困難となってしまう可能性がある。この対策として、本変形例では、各グループに分類された画素３２１に電荷を蓄積させる蓄積回数が異なるように制御する。これにより、本変形例の距離画像撮像装置１では、各グループに分類されたぞれぞれの画素３２１が受光する反射光ＲＬの強度に応じた積算回数を設定することが可能となる。

ここで、実施形態の変形例２について説明する。本変形例では、第１グループＧｒ１と第２グループＧｒ２とで、光パルスＰＯを照射する時間幅を異なる時間幅とする。

図１０は、実施形態の変形例２の画素３２１を駆動するタイミングを示すタイミングチャートである。図１０には、図６及び図７と同様に、１フレームに蓄積期間と読出期間とが設けられる。また、図１０に示す各信号の項目名に対応する信号は図６及び図７と同様である。

図１０に示すように、本変形例では、蓄積サイクルにおいて、光パルスＰＯが、複数回照射され、それぞれにおいて光パルスＰＯを照射する時間幅が異なる。この図の例では、１回目に照射される光パルスＰＯは時間幅２Ｔａであり、２回目に照射される光パルスＰＯは時間幅Ｔｂである。

本変形例では、垂直走査回路３２３は、１回目に光パルスＰＯを照射させたタイミングに同期させて、第２グループＧｒ２に分類した画素３２１を駆動し、第２グループＧｒ２に分類した画素３２１に電荷を蓄積させる。一方、垂直走査回路３２３は、２回目に光パルスＰＯを照射させたタイミングに同期させて、第１グループＧｒ１に分類した画素３２１を駆動し、第１グループＧｒ１に分類した画素３２１に電荷を蓄積させる。これにより、本変形例では、第１グループＧｒ１と第２グループＧｒ２とで、光パルスＰＯを照射する時間幅を、互いに異なる任意の時間幅とすることができる。したがって、第１グループＧｒ１と第２グループＧｒ２とで、所望の距離分解能及び測距範囲を実現させることが可能となる。

上述した実施形態の図６及び図７のように、１つの光パルスＰＯの照射に同期させて、第１グループＧｒ１及び第２グループＧｒ２の両方について、互いに異なる蓄積時間幅にて電荷を蓄積させる場合、第１蓄積時間幅と第２蓄積時間幅の比率が、１：２の関係になければ、（１）式、又は／及び（２）式を使用して距離を算出することが困難となる。したがって、第１蓄積時間幅と第２蓄積時間幅の比率が１：２に限定しなければならない。
これに対し、本変形例では、第１蓄積時間幅と第２蓄積時間幅の比率を１：２に限定されせる必要がない。１つの光パルスＰＯを照射させたタイミングに同期させて、第１グループＧｒ１又は第２グループＧｒ２のいずれか一方に分類した画素３２１を駆動させればよいためである。

上述した実施形態における距離画像撮像装置１、距離画像処理部４の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…距離画像撮像装置
２…光源部
３…受光部
３２…距離画像センサ
３２１…画素
３２３…垂直走査回路
４…距離画像処理部
４１…タイミング制御部
４２…距離演算部
４３…測定制御部
ＣＳ…電荷蓄積部
ＰＯ…光パルス

Claims (4)

1. 測定対象の空間である測定空間に光パルスを照射する光源部と、
   入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
   前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を算出する距離画像処理部と、
   を備え、
   前記画素は、第１グループ及び第２グループを含む複数のグループの何れかに分類され、
   前記距離画像処理部は、
   前記第１グループに分類された前記画素が具備する前記電荷蓄積部に前記電荷を蓄積させる時間幅である第１蓄積時間幅と、前記第２グループに分類された前記画素が具備する前記電荷蓄積部に前記電荷を蓄積させる時間幅である第２蓄積時間幅が異なるように制御する、
   距離画像撮像装置。
2. 前記第１蓄積時間幅は、前記第２蓄積時間幅より小さく、
   前記距離画像処理部は、
   前記第１グループに分類された前記画素が具備する前記電荷蓄積部のそれぞれに蓄積させる前記電荷に対応する光よりも遅れて到来した光が、前記第２グループに分類された前記画素が具備する前記電荷蓄積部のそれぞれに蓄積されるように、前記電荷蓄積部に前記電荷を蓄積させるタイミングを制御し、
   前記第２グループに分類された前記画素が具備する前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記被写体までの距離を算出し、
   前記算出した距離に基づいて、次回以降のフレームにおいて、前記第１グループに分類された前記画素が具備する前記電荷蓄積部に前記電荷を蓄積させるタイミングを変更するか否かを判定する、
   請求項１に記載の距離画像撮像装置。
3. 前記距離画像処理部は、
   前記算出した前記被写体までの距離に基づいて、前記第１グループに分類された前記画素が具備する前記電荷蓄積部に、前記光パルスが前記被写体に反射した反射光に応じた前記電荷が振り分けて蓄積されたか否かを判定し、
   前記第１グループに分類された前記画素が具備する前記電荷蓄積部に前記反射光に応じた前記電荷が振り分けて蓄積されていない場合、次回以降のフレームにおいて、前記第１グループに分類された前記画素が具備する前記電荷蓄積部に前記反射光に応じた前記電荷が振り分けて蓄積されるように、前記第１グループに分類された前記画素が具備する前記電荷蓄積部に前記電荷を蓄積させるタイミングを変更する、
   請求項２に記載の距離画像撮像装置。
4. 測定対象の空間である測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を算出する距離画像処理部と、を備える距離画像撮像装置が行う距離画像撮像方法であって、
   前記画素は、第１グループ及び第２グループを含む複数のグループの何れかに分類され、
   前記距離画像処理部は、
   前記第１グループに分類された前記画素が具備する前記電荷蓄積部に前記電荷を蓄積させる時間幅である第１蓄積時間幅と、前記第２グループに分類された前記画素が具備する前記電荷蓄積部に前記電荷を蓄積させる時間幅である第２蓄積時間幅が異なるように制御する、
   距離画像撮像方法。

Images