JP2023156731A - 距離画像撮像装置、及び距離画像撮像方法 - Google Patents

Abstract

【課題】各サブフレームにおける積算回数を変更した場合であっても距離を算出することができる距離画像撮像装置、及び距離画像撮像方法を提供する。【解決手段】光源部と、光電変換素子及び複数の電荷蓄積部を具備する画素と、前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路とを有する受光部と、前記測定空間に存在する被写体までの距離を算出する距離画像処理部と、を備え、１フレームには、第１サブフレーム及び第２サブフレームを含む複数のサブフレームが設けられ、前記距離画像処理部は、前記第１サブフレームにおいて前記画素が具備する電荷蓄積部に最も遅いタイミングで電荷を蓄積させる最後蓄積タイミングと、前記第２サブフレームにおいて前記画素が具備する電荷蓄積部に最も早いタイミングで電荷を蓄積させる最初蓄積タイミングとが、前記光パルスを照射するタイミングに対して同じタイミングとなるように制御する。【選択図】図５

Description

本発明は、距離画像撮像装置、及び距離画像撮像方法に関する。

光の速度が既知であることを利用し、空間（測定空間）における光の飛行時間に基づいて測定器と対象物との距離を測定する、タイム・オブ・フライト（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ、以下「ＴＯＦ」という）方式の距離画像撮像装置が実現されている（例えば、特許文献１参照）。このような距離画像撮像装置では、光パルスを照射した時点から被写体に反射した光パルスが戻ってくるまでの遅延時間を光電変換素子が発生した電荷を複数の電荷蓄積部に蓄積させることによって求め、遅延時間と光速とを用いて被写体までの距離を計算する。

このような距離画像撮像装置では、測距範囲を広げるために、１フレームを複数のサブフレームに分けて測定を行うサブフレーム駆動が知られている。各サブフレームでは、光パルスを照射するタイミングに対する、電荷蓄積部に電荷を蓄積させるゲートパルスのタイミングが相対的に異なるようにする。例えば、あるサブフレームでは比較的近距離から到来する反射光を受光できるようにゲートパルスの開閉タイミングを設定する。別のサブフレームでは比較的遠距離から到来する反射光を受光できるようにゲートパルスの開閉タイミングを設定する。こうすることにより、近距離から遠距離までの広い範囲を測距可能な範囲とすることができる。

特許第４２３５７２９号公報

しかしながら、各サブフレームの積算回数が異なる場合、１回の積算において同じ光量を受光した場合でも各サブフレームにて電荷蓄積部に蓄積される電荷量が異なる。そのため、前後のサブフレームのゲート出力を組み合わせた距離演算ができず、各サブフレームのゲートを重複しないように開閉させるとサブフレームが切り替わるゲートタイミングで距離演算が非連続になってしまう。その対策として、各サブフレームにおける複数ゲートの開閉タイミングを重複させて、それぞれのサブフレームで距離を計算できるように駆動させ、それぞれのサブフレームで計算した距離を合成させる方法があるが、この場合、測距範囲が短くなってしまうという課題がある。

本発明は、上記の課題に基づいてなされたものであり、各サブフレームにおける積算回数を変更した場合であっても距離を算出することができる距離画像撮像装置、及び距離画像撮像方法を提供することを目的とする。

本発明の距離画像撮像装置は、測定対象の空間である測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を算出する距離画像処理部と、を備え、１フレームには、第１サブフレーム及び第２サブフレームを含む複数のサブフレームが設けられ、前記距離画像処理部は、前記第１サブフレーム、前記第２サブフレームの順に、各サブフレームにおいて前記画素が具備する電荷蓄積部のそれぞれに電荷を蓄積させ、前記第１サブフレームにおいて前記画素が具備する電荷蓄積部に最も遅いタイミングで電荷を蓄積させる最後蓄積タイミングと、前記第２サブフレームにおいて前記画素が具備する電荷蓄積部に最も早いタイミングで電荷を蓄積させる最初蓄積タイミングとが、前記光パルスを照射するタイミングに対して同じタイミングとなるように制御する。

本発明の距離画像撮像装置では、前記距離画像処理部は、前記最後蓄積タイミングにて電荷が蓄積された前記電荷蓄積部である最後電荷蓄積部に蓄積された電荷量に相当する第１信号値、及び前記最初蓄積タイミングにて電荷が蓄積された前記電荷蓄積部である最初電荷蓄積部に蓄積された電荷量に相当する第２信号値が同じ値となるように、前記第１サブフレーム又は前記第２サブフレームのいずれか一方において前記電荷蓄積部のそれぞれに蓄積された電荷量に相当する信号値を定数倍するレベル調整をし、前記レベル調整をした信号値を用いて前記距離を算出する。

本発明の距離画像撮像装置では、前記距離画像処理部は、前記最後電荷蓄積部に前記光パルスの反射光に対応する電荷が蓄積されているか否かを判定し、前記最後電荷蓄積部に前記反射光に対応する電荷が蓄積されている場合、前記レベル調整をする。

本発明の距離画像撮像方法は、測定対象の空間である測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を算出する距離画像処理部を備える距離画像撮像装置が行う距離画像撮像方法であって、１フレームには、第１サブフレーム及び第２サブフレームを含む複数のサブフレームが設けられ、前記距離画像処理部は、前記第１サブフレーム、前記第２サブフレームの順に、各サブフレームにおいて前記画素が具備する電荷蓄積部のそれぞれに電荷を蓄積させ、前記第１サブフレームにおいて前記画素が具備する電荷蓄積部に最も遅いタイミングで電荷を蓄積させる最後蓄積タイミングと、前記第２サブフレームにおいて前記画素が具備する電荷蓄積部に最も早いタイミングで電荷を蓄積させる最初蓄積タイミングとが、前記光パルスを照射するタイミングに対して同じタイミングとなるように制御する。

本発明によれば、各サブフレームにおける積算回数を変更した場合であっても距離を算出することができる。

実施形態の距離画像撮像装置１の概略構成を示すブロック図である。 実施形態の距離画像センサ３２の概略構成を示すブロック図である。 実施形態の画素３２１の構成の一例を示す回路図である。 実施形態の画素３２１を駆動するタイミングを示すタイミングチャートである。 実施形態の画素３２１を駆動するタイミングを示すタイミングチャートである。 実施形態の距離画像撮像装置１が行う処理の流れを示すフローチャートである。 実施形態の効果を説明する図である。 実施形態の効果を説明する図である。

以下、実施形態の距離画像撮像装置を、図面を参照しながら説明する。

図１は、実施形態の距離画像撮像装置の概略構成を示すブロック図である。距離画像撮像装置１は、例えば、光源部２と、受光部３と、距離画像処理部４とを備える。図１には、距離画像撮像装置１において距離を測定する対象物である被写体ＯＢも併せて示している。

光源部２は、距離画像処理部４からの制御に従って、距離画像撮像装置１において距離を測定する対象の被写体ＯＢが存在する測定対象の空間に光パルスＰＯを照射する。光源部２は、例えば、垂直共振器面発光レーザー（ＶＣＳＥＬ：Ｖｅｒｔｉｃａｌ Ｃａｖｉｔｙ Ｓｕｒｆａｃｅ Ｅｍｉｔｔｉｎｇ Ｌａｓｅｒ）などの面発光型の半導体レーザーモジュールである。光源部２は、光源装置２１と、拡散板２２とを備える。

光源装置２１は、被写体ＯＢに照射する光パルスＰＯとなる近赤外の波長帯域（例えば、波長が８５０ｎｍ～９４０ｎｍの波長帯域）のレーザー光を発光する光源である。光源装置２１は、例えば、半導体レーザー発光素子である。光源装置２１は、タイミング制御部４１からの制御に応じて、パルス状のレーザー光を発光する。

拡散板２２は、光源装置２１が発光した近赤外の波長帯域のレーザー光を、被写体ＯＢに照射する面の広さに拡散する光学部品である。拡散板２２が拡散したパルス状のレーザー光が、光パルスＰＯとして出射され、被写体ＯＢに照射される。

受光部３は、距離画像撮像装置１において距離を測定する対象の被写体ＯＢによって反射された光パルスＰＯの反射光ＲＬを受光し、受光した反射光ＲＬに応じた画素信号を出力する。受光部３は、レンズ３１と、距離画像センサ３２とを備える。

レンズ３１は、入射した反射光ＲＬを距離画像センサ３２に導く光学レンズである。レンズ３１は、入射した反射光ＲＬを距離画像センサ３２側に出射して、距離画像センサ３２の受光領域に備えた画素に受光（入射）させる。

距離画像センサ３２は、距離画像撮像装置１に用いられる撮像素子である。距離画像センサ３２は、二次元の受光領域に複数の画素を備える。距離画像センサ３２のそれぞれの画素の中に、１つの光電変換素子と、この１つの光電変換素子に対応する複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられる。つまり、画素は、複数の電荷蓄積部に電荷を振り分けて蓄積させる振り分け構成の撮像素子である。

距離画像センサ３２は、タイミング制御部４１からの制御に応じて、光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分ける。また、距離画像センサ３２は、電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。距離画像センサ３２には、複数の画素が二次元の行列状に配置されており、それぞれの画素の対応する１フレーム分の画素信号を出力する。

距離画像処理部４は、距離画像撮像装置１を制御し、被写体ＯＢまでの距離を算出する。距離画像処理部４は、タイミング制御部４１と、距離演算部４２と、測定制御部４３とを備える。

タイミング制御部４１は、測定制御部４３の制御に応じて、測定に要する様々な制御信号を出力するタイミングを制御する。ここでの様々な制御信号とは、例えば、光パルスＰＯの照射を制御する信号、反射光ＲＬを複数の電荷蓄積部に振り分けて蓄積させる信号、１フレームあたりの蓄積回数を制御する信号などである。蓄積回数とは、電荷蓄積部ＣＳ（図３参照）に電荷を振り分けて蓄積させる処理を繰返す回数である。この蓄積回数と、電荷を振り分けて蓄積させる処理１回あたりに各電荷蓄積部に電荷を蓄積させる時間（蓄積時間）の積が蓄積時間となる。

距離演算部４２は、距離画像センサ３２から出力された画素信号に基づいて、被写体ＯＢまでの距離を演算した距離情報を出力する。距離演算部４２は、複数の電荷蓄積部に蓄積された電荷量に基づいて、光パルスＰＯを照射してから反射光ＲＬを受光するまでの遅延時間を算出する。距離演算部４２は、算出した遅延時間に応じて被写体ＯＢまでの距離を算出する。

測定制御部４３は、タイミング制御部４１を制御する。例えば、測定制御部４３は、１フレームの蓄積回数及び蓄積時間を設定し、設定した内容で撮像が行われるようにタイミング制御部４１を制御する。

このような構成によって、距離画像撮像装置１では、光源部２が被写体ＯＢに照射した近赤外の波長帯域の光パルスＰＯが被写体ＯＢによって反射された反射光ＲＬを受光部３が受光し、距離画像処理部４が、被写体ＯＢとの距離を測定した距離情報を出力する。

なお、図１においては、距離画像処理部４を距離画像撮像装置１の内部に備える構成の距離画像撮像装置１を示しているが、距離画像処理部４は、距離画像撮像装置１の外部に備える構成要素であってもよい。

ここで、図２を用いて、距離画像撮像装置１において撮像素子として用いられる距離画像センサ３２の構成について説明する。図２は、実施形態の距離画像撮像装置１に用いられる撮像素子（距離画像センサ３２）の概略構成を示すブロック図である。

図２に示すように、距離画像センサ３２は、例えば、複数の画素３２１が配置された受光領域３２０と、制御回路３２２と、振り分け動作を有した垂直走査回路３２３と、水平走査回路３２４と、画素信号処理回路３２５とを備える。

受光領域３２０は、複数の画素３２１が配置された領域であって、図２では、８行８列に二次元の行列状に配置された例を示している。画素３２１は、受光した光量に相当する電荷を蓄積する。制御回路３２２は、距離画像センサ３２を統括的に制御する。制御回路３２２は、例えば、距離画像処理部４のタイミング制御部４１からの指示に応じて、距離画像センサ３２の構成要素の動作を制御する。なお、距離画像センサ３２に備えた構成要素の制御は、タイミング制御部４１が直接行う構成であってもよく、この場合、制御回路３２２を省略することも可能である。

垂直走査回路３２３は、制御回路３２２からの制御に応じて、受光領域３２０に配置された画素３２１を行ごとに制御する回路である。垂直走査回路３２３は、画素３２１の電荷蓄積部ＣＳそれぞれに蓄積された電荷量に応じた電圧信号を画素信号処理回路３２５に出力させる。この場合、垂直走査回路３２３は、光電変換素子により変換された電荷を画素３２１の電荷蓄積部それぞれに振り分けて蓄積させる。つまり、垂直走査回路３２３は、「画素駆動回路」の一例である。

画素信号処理回路３２５は、制御回路３２２からの制御に応じて、それぞれの列の画素３２１から対応する垂直信号線に出力された電圧信号に対して、予め定めた信号処理（例えば、ノイズ抑圧処理やＡ／Ｄ変換処理など）を行う回路である。

水平走査回路３２４は、制御回路３２２からの制御に応じて、画素信号処理回路３２５から出力される信号を、水平信号線に順次出力させる回路である。これにより、１フレーム分蓄積された電荷量に相当する画素信号が、水平信号線を経由して距離画像処理部４に順次出力される。

以下では、画素信号処理回路３２５がＡ／Ｄ変換処理を行い、画素信号がデジタル信号であるものとして説明する。

ここで、図３を用いて、距離画像センサ３２に備える受光領域３２０内に配置された画素３２１の構成について説明する。図３は、実施形態の距離画像センサ３２の受光領域３２０内に配置された画素３２１の構成の一例を示す回路図である。図３には、受光領域３２０内に配置された複数の画素３２１のうち、１つの画素３２１の構成の一例を示している。画素３２１は、４個の画素信号読み出し部を備えた構成の一例である。

画素３２１は、１個の光電変換素子ＰＤと、ドレインゲートトランジスタＧＤと、対応する出力端子Ｏから電圧信号を出力する４個の画素信号読み出し部ＲＵとを備える。画素信号読み出し部ＲＵのそれぞれは、読み出しゲートトランジスタＧと、フローティングディフュージョンＦＤと、電荷蓄積容量Ｃと、リセットゲートトランジスタＲＴと、ソースフォロアゲートトランジスタＳＦと、選択ゲートトランジスタＳＬとを備える。それぞれの画素信号読み出し部ＲＵでは、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって電荷蓄積部ＣＳが構成されている。

なお、図３においては、４個の画素信号読み出し部ＲＵの符号「ＲＵ」の後に、「１」、「２」、「３」または「４」の数字を付与することによって、それぞれの画素信号読み出し部ＲＵを区別する。また、同様に、４個の画素信号読み出し部ＲＵに備えたそれぞれの構成要素も、それぞれの画素信号読み出し部ＲＵを表す数字を符号の後に示すことによって、それぞれの構成要素が対応する画素信号読み出し部ＲＵを区別して表す。

図３に示した画素３２１において、出力端子Ｏ１から電圧信号を出力する画素信号読み出し部ＲＵ１は、読み出しゲートトランジスタＧ１と、フローティングディフュージョンＦＤ１と、電荷蓄積容量Ｃ１と、リセットゲートトランジスタＲＴ１と、ソースフォロアゲートトランジスタＳＦ１と、選択ゲートトランジスタＳＬ１とを備える。画素信号読み出し部ＲＵ１では、フローティングディフュージョンＦＤ１と電荷蓄積容量Ｃ１とによって電荷蓄積部ＣＳ１が構成されている。画素信号読み出し部ＲＵ２～ＲＵ４も同様の構成である。

光電変換素子ＰＤは、入射した光を光電変換して電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。光電変換素子ＰＤの構造は任意であってよい。光電変換素子ＰＤは、例えば、Ｐ型半導体とＮ型半導体とを接合した構造のＰＮフォトダイオードであってもよいし、Ｐ型半導体とＮ型半導体との間にＩ型半導体を挟んだ構造のＰＩＮフォトダイオードであってもよい。また、光電変換素子ＰＤは、フォトダイオードに限定されるものではなく、例えば、フォトゲート方式の光電変換素子であってもよい。

画素３２１では、光電変換素子ＰＤが入射した光を光電変換して発生させた電荷を４個の電荷蓄積部ＣＳのそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、画素信号処理回路３２５に出力する。

距離画像センサ３２に配置される画素の構成は、図３に示したような、４個の画素信号読み出し部ＲＵを備えた構成に限定されるものではなく、複数の画素信号読み出し部ＲＵを備えた構成の画素であればよい。つまり、距離画像センサ３２に配置される画素に備える画素信号読み出し部ＲＵ（電荷蓄積部ＣＳ）の数は、２個であってもよいし、３個であってもよいし、５個以上であってもよい。

また、図３に示した構成の画素３２１では、電荷蓄積部ＣＳを、フローティングディフュージョンＦＤと電荷蓄積容量Ｃとによって構成する一例を示した。しかし、電荷蓄積部ＣＳは、少なくともフローティングディフュージョンＦＤによって構成されればよく、画素３２１が電荷蓄積容量Ｃを備えない構成であってもよい。

また、図３に示した構成の画素３２１では、ドレインゲートトランジスタＧＤを備える構成の一例を示したが、光電変換素子ＰＤに蓄積されている（残っている）電荷を破棄する必要がない場合には、ドレインゲートトランジスタＧＤを備えない構成であってもよい。

本実施形態では、１フレームに複数のサブフレームが設けられる。複数のサブフレームは第１サブフレームと第２サブフレームを含む。距離画像処理部４は、第１サブフレームにおいて画素３２１が具備する電荷蓄積部ＣＳのそれぞれに電荷を蓄積させる蓄積タイミングが、第２サブフレームにおける蓄積タイミングよりも早くなるように制御する。これにより、第１サブフレームにて比較的近くにある被写体ＯＢまでの距離を算出できるようにし、第２サブフレームにて比較的遠くにある被写体ＯＢまでの距離を算出できるようにする。したがって、このようなサブフレーム構成とすることにより、測定することができる距離を広げることが可能となる。

また、実施形態では、各サブフレームにおける蓄積回数が異なる。光の強度は距離の二乗に反比例することが知られている。例えば、第１サブフレームにて比較的近くにある被写体ＯＢに反射した反射光ＲＬを受光する場合、その反射光の強度は大きい。一方、第２サブフレームにて比較的遠くにある被写体ＯＢに反射した反射光ＲＬを受光する場合、その反射光の強度は小さくなる。このため、第１サブフレームと第２サブフレームとを同じ積算回数とした場合、第１サブフレームにおいて画素３２１の電荷蓄積部ＣＳに蓄積される電荷量が適切な量となるように積算回数を設定すると、第２サブフレームおいて画素３２１の電荷蓄積部ＣＳに蓄積される電荷量が少なくなり誤差が発生する要因となってしまう。一方、第２サブフレームにおいて画素３２１の電荷蓄積部ＣＳに蓄積される電荷量が適切な量となるように積算回数を設定すると、第１サブフレームにおいて画素３２１の電荷蓄積部ＣＳに蓄積される電荷量が大きくなりすぎて飽和し、距離を算出することが困難となってしまう。この対策として、実施形態では、各サブフレームにおける蓄積回数が異なるように制御する。具体的に、距離画像処理部４は、第１サブフレームにおける積算回数が、第２サブフレームにおける積算回数よりも小さくなるように制御する。

ここで、図４、図５を用いて、画素３２１を駆動するタイミングについて説明する。図４及び図５は、実施形態の画素３２１を駆動するタイミングを示すタイミングチャートである。図４には、１フレームに、第１サブフレームと第２サブフレームを設けた例が示されている。すなわち、１フレームは、第１サブフレームと第２サブフレーム、及び読出期間を備える。

図４及び図５では、光パルスＰＯを照射するタイミングを「Ｌ」、駆動信号ＴＸ１のタイミングを「Ｇ１」、駆動信号ＴＸ２のタイミングを「Ｇ２」、駆動信号ＴＸ３のタイミングを「Ｇ３」、駆動信号ＴＸ４のタイミングを「Ｇ４」、駆動信号ＲＳＴＤのタイミングを「ＧＤ」、の項目名でそれぞれ示している。なお、駆動信号ＴＸ１は、読み出しゲートトランジスタＧ１を駆動させる信号である。駆動信号ＴＸ２～ＴＸ４についても同様である。

図４に示すように、光パルスＰＯが照射時間Ｔｏで照射される。まず、垂直走査回路３２３は、光パルスＰＯの照射に同期させて、「第１サブフレーム」において画素３２１における電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３、及びＣＳ４の順に電荷を蓄積させる「第１期間」を所定の蓄積回数（第１蓄積回数）繰り返す。次に、垂直走査回路３２３は、「第１サブフレーム読出期間」において、それぞれの画素３２１に蓄積された電荷量に相当する電圧信号を信号値として読み出す。次に、垂直走査回路３２３は、光パルスＰＯの照射に同期させて、「第２サブフレーム」において画素３２１における電荷蓄積部ＣＳ１、ＣＳ２、ＣＳ３、及びＣＳ４の順に電荷を蓄積させる「第２期間」を所定の蓄積回数（第２蓄積回数）繰り返す。そして、垂直走査回路３２３は、「第２サブフレーム読出期間」において、それぞれの画素３２１に蓄積された電荷量に相当する電圧信号を信号値として読み出す。

ここで、垂直走査回路３２３が、画素３２１に電荷を蓄積させるタイミングについて説明する。

まず、垂直走査回路３２３は、光パルスＰＯを照射させるタイミングと同じタイミングにて、第１サブフレームに対応させた画素３２１のドレインゲートトランジスタＧＤをオフ状態にするとともに、読み出しゲートトランジスタＧ１をオン状態とする。垂直走査回路３２３は、読み出しゲートトランジスタＧ１をオン状態としてから蓄積時間Ｔａが経過した後に、読み出しゲートトランジスタＧ１をオフ状態にする。これにより、読み出しゲートトランジスタＧ１がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ１を介して電荷蓄積部ＣＳ１に蓄積される。なお、蓄積時間Ｔａは電荷蓄積部ＣＳに電荷を蓄積するための期間であって、ゲートトランジスタＯＮ期間（ゲートトランジスタＧをオン状態とする期間）と同一の期間である構成に限定されない。例えば、短いギャップ期間（ゲートＯＦＦ期間、つまりゲートトランジスタＧをオフ状態とする期間）の後にゲートトランジスタＯＮ期間を設け、ギャップ期間とゲートトランジスタＯＮ期間の合計の期間が蓄積時間Ｔａとなるように制御されてもよい。

次に、垂直走査回路３２３は、読み出しゲートトランジスタＧ１をオフ状態としたタイミングで、読み出しゲートトランジスタＧ２を蓄積時間Ｔａオン状態にする。これにより、読み出しゲートトランジスタＧ２がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ２を介して電荷蓄積部ＣＳ２に蓄積される。

次に、垂直走査回路３２３は、電荷蓄積部ＣＳ２への電荷の蓄積を終了させたタイミングで、読み出しゲートトランジスタＧ３をオン状態にし、蓄積時間Ｔａが経過した後に、読み出しゲートトランジスタＧ３をオフ状態にする。これにより、読み出しゲートトランジスタＧ３がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ３を介して電荷蓄積部ＣＳ３に蓄積される。

次に、垂直走査回路３２３は、電荷蓄積部ＣＳ３への電荷の蓄積を終了させたタイミングで、読み出しゲートトランジスタＧ４をオン状態にし、蓄積時間Ｔａが経過した後に、読み出しゲートトランジスタＧ４をオフ状態にする。これにより、読み出しゲートトランジスタＧ４がオン状態に制御されている間に光電変換素子ＰＤにより光電変換された電荷は、読み出しゲートトランジスタＧ４を介して電荷蓄積部ＣＳ４に蓄積される。

次に、垂直走査回路３２３は、電荷蓄積部ＣＳ４への電荷の蓄積を終了させたタイミングで、ドレインゲートトランジスタＧＤをオン状態にして電荷の排出を行う。これにより、光電変換素子ＰＤにより光電変換された電荷はドレインゲートトランジスタＧＤを介して破棄される。

垂直走査回路３２３は、上述したような駆動を、第１サブフレームにて設定された所定の蓄積回数（第１蓄積回数）分繰り返し行う。

第１サブフレーム駆動による画素３２１への電荷の蓄積が終了した後、垂直走査回路３２３は、それぞれの電荷蓄積部ＣＳに振り分けられた電荷量に応じた電圧信号を出力する。具体的に、垂直走査回路３２３は、選択ゲートトランジスタＳＬ１を所定時間オン状態にすることにより、画素信号読み出し部ＲＵ１を介して電荷蓄積部ＣＳ１に蓄積された電荷量に対応する電圧信号を出力端子Ｏ１から出力させる。同様に、垂直走査回路３２３は、順次、選択ゲートトランジスタＳＬ２、ＳＬ３をオン状態とすることにより、電荷蓄積部ＣＳ２、ＣＳ３に蓄積された電荷量に対応する電圧信号を出力端子Ｏ２、Ｏ３から出力させる。そして、画素信号処理回路３２５、及び水平走査回路３２４を介して、電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に相当する電圧信号が信号値として距離演算部４２に出力される。

次に、垂直走査回路３２３は、光パルスＰＯを照射させるタイミングから、所定の遅延時間（蓄積時間Ｔａ×３）遅らせたタイミングにて、第２サブフレームに対応させた画素３２１のドレインゲートトランジスタＧＤをオフ状態にするとともに、読み出しゲートトランジスタＧ１をオン状態とする。読み出しゲートトランジスタＧ１をオン状態としてからの動作、すなわち垂直走査回路３２３が、読み出しゲートトランジスタＧ１～Ｇ４、及びドレインゲートトランジスタＧＤのそれぞれをオン状態又はオフ状態とするタイミングは、第１サブフレームの場合と同様であるため、その説明を省略する。垂直走査回路３２３は、上述したような駆動を、第２サブフレームにて設定された所定の蓄積回数（第２蓄積回数）分繰り返し行う。

第２サブフレーム駆動による画素３２１への電荷の蓄積が終了した後、垂直走査回路３２３は、それぞれの電荷蓄積部ＣＳに振り分けられた電荷量に応じた電圧信号を出力する。具体的に、垂直走査回路３２３は、選択ゲートトランジスタＳＬ１を所定時間オン状態にすることにより、画素信号読み出し部ＲＵ１を介して電荷蓄積部ＣＳ１に蓄積された電荷量に対応する電圧信号を出力端子Ｏ１から出力させる。同様に、垂直走査回路３２３は、順次、選択ゲートトランジスタＳＬ２、ＳＬ３をオン状態とすることにより、電荷蓄積部ＣＳ２、ＣＳ３に蓄積された電荷量に対応する電圧信号を出力端子Ｏ２、Ｏ３から出力させる。そして、画素信号処理回路３２５、及び水平走査回路３２４を介して、電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に相当する電圧信号が信号値として距離演算部４２に出力される。

図４に示すように、本実施形態では、１フレームに複数のサブフレームが設けられる。図４の例では、１フレームに第１サブフレームと第２サブフレームが設けられる。第１サブフレームでは、第２サブフレームよりも早いタイミングで、第１サブフレームにおいて画素３２１が具備する電荷蓄積部ＣＳのそれぞれに電荷を蓄積させる。第２サブフレームでは、第１サブフレームよりも遅いタイミングで、第２サブフレームにおいて画素３２１が具備する電荷蓄積部ＣＳのそれぞれに電荷を蓄積させる。距離画像処理部４は、光パルスＰＯを照射させるタイミングを基準として、第１サブフレームにおける画素３２１の蓄積タイミングに対し、第２サブフレームにおける画素３２１の蓄積タイミングが、所定の遅延時間（蓄積時間Ｔａ×３）遅れるようにする。

図５には、光パルスＰＯを照射させるタイミングを基準として、第１サブフレーム及び第２サブフレームのそれぞれの読み出しゲートトランジスタＧ１～Ｇ４、及びドレインゲートトランジスタＧＤのそれぞれをオン状態又はオフ状態とするタイミングが示されている。

図５に示すように、本実施形態では、第１サブフレームにおけるゲートトランジスタＧ４の開閉タイミング（符号Ｔｒ１）と、第２サブフレームにおけるゲートトランジスタＧ１の開閉タイミング（符号Ｔｒ２）とが、光パルスＰＯを照射するタイミングに対して同じタイミングとなるように制御される。ここで、第１サブフレームにおけるゲートトランジスタＧ４の開閉タイミング（符号Ｔｒ１）は、第１サブフレームにおいて最も遅い蓄積タイミングであり、「最後蓄積タイミング」の一例である。また、第２サブフレームにおけるゲートトランジスタＧ１の開閉タイミング（符号Ｔｒ２）は、第２サブフレームにおいて最も早い前記蓄積タイミングであり、「最初蓄積タイミング」の一例である。

ここで、図６を用いて、距離画像撮像装置１が行う処理の流れを説明する。図６は、実施形態の距離画像撮像装置１が行う処理の流れを示すフローチャートである。

ステップＳ１０：距離画像撮像装置１は、第１サブフレームにおいて画素３２１を駆動させる。これにより画素３２１の電荷蓄積部ＣＳのそれぞれに、第１サブフレームに応じた蓄積タイミングにて電荷が蓄積される。

ステップＳ１１：距離画像撮像装置１は、第１サブフレーム読出期間において信号（Ｓｕｂ１＿Ｇ１～Ｇ４）を読み出す。
ここで、信号Ｓｕｂ１＿Ｇ１は、第１サブフレームにおいて画素３２１の電荷蓄積部ＣＳ１に蓄積された電荷量に相当する信号値である。信号Ｓｕｂ１＿Ｇ２は、第１サブフレームにおいて画素３２１の電荷蓄積部ＣＳ２に蓄積された電荷量に相当する信号値である。信号Ｓｕｂ１＿Ｇ３は、第１サブフレームにおいて画素３２１の電荷蓄積部ＣＳ３に蓄積された電荷量に相当する信号値である。信号Ｓｕｂ１＿Ｇ４は、第１サブフレームにおいて画素３２１の電荷蓄積部ＣＳ４に蓄積された電荷量に相当する信号値である。
ステップＳ１２：距離画像撮像装置１は、第２サブフレームにおいて画素３２１を駆動させる。これにより画素３２１の電荷蓄積部ＣＳのそれぞれに、第２サブフレームに応じた蓄積タイミングにて電荷が蓄積される。
ステップＳ１３：距離画像撮像装置１は、第２サブフレーム読出期間において信号（Ｓｕｂ２＿Ｇ１～Ｇ４）を読み出す。
また、信号Ｓｕｂ２＿Ｇ１は、第２サブフレームにおいて画素３２１の電荷蓄積部ＣＳ１に蓄積された電荷量に相当する信号値である。信号Ｓｕｂ２＿Ｇ２は、第２サブフレームにおいて画素３２１の電荷蓄積部ＣＳ２に蓄積された電荷量に相当する信号値である。信号Ｓｕｂ２＿Ｇ３は、第２サブフレームにおいて画素３２１の電荷蓄積部ＣＳ３に蓄積された電荷量に相当する信号値である。信号Ｓｕｂ２＿Ｇ４は、第２サブフレームにおいて画素３２１の電荷蓄積部ＣＳ４に蓄積された電荷量に相当する信号値である。

ステップＳ１４：距離画像撮像装置１は、信号（Ｓｕｂ１＿Ｇ１～Ｇ４、及びＳｕｂ２＿Ｇ１～Ｇ４）のうち、反射光成分が含まれている信号を特定する。

距離画像撮像装置１が、反射光成分が含まれている信号を特定する方法は、例えば、以下の方法を用いることができる。

距離画像撮像装置１は、第１サブフレーム及び第２サブフレームのそれぞれについて外光成分の電荷量に相当する信号値（外光信号値）を算出する。
例えば、距離画像撮像装置１は、信号（Ｓｕｂ１＿Ｇ１～Ｇ４）のそれぞれの信号値のうち、最も小さい値を、第１サブフレームに対応する外光信号値（外光信号値１）とする。距離画像撮像装置１は、信号（Ｓｕｂ１＿Ｇ１～Ｇ４）のうち、外光信号値１より大きい値である信号を、反射光成分が含まれている信号として特定する。
また、距離画像撮像装置１は、信号（Ｓｕｂ２＿Ｇ１～Ｇ４）のそれぞれの信号値のうち、最も小さい値を、第２サブフレームに対応する外光信号値（外光信号値２）とする。距離画像撮像装置１は、信号（Ｓｕｂ２＿Ｇ１～Ｇ４）のうち、外光信号値２より大きい値である信号を、反射光成分が含まれている信号として特定する。

この場合において、距離画像撮像装置１は、信号（Ｓｕｂ１＿Ｇ１～Ｇ４）のそれぞれの信号値のうち、外光信号値１より閾値以上大きい値であるものを、反射光成分が含まれている信号とするようにしてもよい。外光成分にはノイズが含まれる場合があることから、外光信号値より大きい値であっても、外光信号値との差分がそれほど大きくない信号であれば、反射光成分が含まれていない可能性がある。閾値を設けることにより、反射光成分が含まれている信号と、ノイズが含まれている信号とを分離することが可能となる。
距離画像撮像装置１は、第２サブフレームについても同様に、信号（Ｓｕｂ２＿Ｇ１～Ｇ４）のそれぞれの信号値のうち、外光信号値２より閾値以上大きい値であるものを、反射光成分が含まれている信号とするようにしてもよい。

或いは、距離画像撮像装置１は、第１サブフレームについて、特定の電荷蓄積部ＣＳに外光成分に相当する電荷量のみが蓄積されるように制御し、当該特定の電荷蓄積部ＣＳに蓄積された電荷量に相当する信号値を、外光信号値１とするようにしてもよい。例えば、距離画像撮像装置１は、光パルスＰＯを照射する前に、特定の電荷蓄積部ＣＳ、例えば電荷蓄積部ＣＳ１に対応するゲートトランジスタＧ１を所定時間（蓄積時間Ｔａ）オン状態とすることにより、当該特定の電荷蓄積部ＣＳに外光成分に相当する電荷量のみを蓄積させる。この場合、距離画像撮像装置１は、第１サブフレームにおいて画素３２１の電荷蓄積部ＣＳ１に蓄積された電荷量に相当する信号値を、外光信号値１とする。

ステップＳ１５：距離画像撮像装置１は、信号Ｓｕｂ１＿Ｇ４に反射光成分が含まれているか否かを判定する。距離画像撮像装置１は、ステップＳ１２において、信号Ｓｕｂ１＿Ｇ４を、反射光成分が含まれている信号として特定した場合、信号Ｓｕｂ１＿Ｇ４に反射光成分が含まれていると判定する。一方、距離画像撮像装置１は、ステップＳ１２において、信号Ｓｕｂ１＿Ｇ４を、反射光成分が含まれている信号として特定しない場合、信号Ｓｕｂ１＿Ｇ４に反射光成分が含まれていないと判定する。なお、この場合において、距離画像撮像装置１は、信号Ｓｕｂ２＿Ｇ１に反射光成分が含まれているか否かを判定するようにしてもよい。

ステップＳ１６：信号Ｓｕｂ１＿Ｇ４に反射光成分が含まれている場合、距離画像撮像装置１は、レベル調整を行う。レベル調整は、第１サブフレームにおいて電荷蓄積部ＣＳに蓄積された電荷量に相当する信号レベルと、第２サブフレームにおいて電荷蓄積部ＣＳに蓄積された電荷量に相当する信号レベルとを同じレベルにすることである。

距離画像撮像装置１は、下記の（１）式を用いて、レベル調整を行う。

Ｓｕｂ１＿Ｇ１＃＝α×Ｓｕｂ１＿Ｇ１
Ｓｕｂ１＿Ｇ２＃＝α×Ｓｕｂ１＿Ｇ２
Ｓｕｂ１＿Ｇ３＃＝α×Ｓｕｂ１＿Ｇ３
Ｓｕｂ１＿Ｇ４＃＝α×Ｓｕｂ１＿Ｇ４
α＝Ｓｕｂ２＿Ｇ１／Ｓｕｂ１＿Ｇ４
…（１）

（１）式において、信号Ｓｕｂ１＿Ｇ１は、第１サブフレームにおいて画素３２１の電荷蓄積部ＣＳ１に蓄積された電荷量に相当する信号値である。
信号Ｓｕｂ１＿Ｇ２は、第１サブフレームにおいて画素３２１の電荷蓄積部ＣＳ２に蓄積された電荷量に相当する信号値である。
信号Ｓｕｂ１＿Ｇ３は、第１サブフレームにおいて画素３２１の電荷蓄積部ＣＳ３に蓄積された電荷量に相当する信号値である。
信号Ｓｕｂ１＿Ｇ４は、第１サブフレームにおいて画素３２１の電荷蓄積部ＣＳ４に蓄積された電荷量に相当する信号値である。
信号Ｓｕｂ２＿Ｇ１は、第２サブフレームにおいて画素３２１の電荷蓄積部ＣＳ１に蓄積された電荷量に相当する信号値である。
信号Ｓｕｂ１＿Ｇ１＃は、信号Ｓｕｂ１＿Ｇ１を補正した値である。
信号Ｓｕｂ１＿Ｇ２＃は、信号Ｓｕｂ１＿Ｇ２を補正した値である。
信号Ｓｕｂ１＿Ｇ３＃は、信号Ｓｕｂ１＿Ｇ３を補正した値である。
信号Ｓｕｂ１＿Ｇ４＃は、信号Ｓｕｂ１＿Ｇ４を補正した値である。
αは定数であり、信号Ｓｕｂ１＿Ｇ４に対する、信号Ｓｕｂ２＿Ｇ１の比率に応じて決定される。なお、（１）式の信号Ｓｕｂ２と、信号Ｓｕｂ１を入れ替えてもよい。すなわち、距離画像撮像装置１は、信号Ｓｂｕ２における信号レベルを、信号Ｓｕｂ１における信号レベルに合わせることにより、レベル調整をするようにしてもよい。

ステップＳ１７：信号Ｓｕｂ１＿Ｇ４に反射光成分が含まれていない場合、距離画像撮像装置１は、レベル調整を行わない。

ステップＳ１８：距離画像撮像装置１は、距離を算出する。距離画像撮像装置１は、ステップＳ１４においてレベル調整を行った場合、レベル調整した信号値を用いて、距離を算出する。

レベル調整を行った場合、距離画像撮像装置１は、例えば、（２Ａ）式を用いて距離を算出する。（２Ａ）式には、信号Ｓｕｂ１＿Ｇ３、信号Ｓｕｂ１＿Ｇ４に反射光成分が含まれている場合において、距離を算出する数式の例が示されている。

ｄ＝ｃ０×（１／２×Ｔｄ）
Ｔｄ＝Ｔｏ×｛１－（Ａ－Ｃ）／（Ａｂｓ（Ａ－Ｃ）＋Ａｂｓ（Ｂ－Ｄ））｝
＋ｄ＿ｏｆｆｓｅｔ
…（２Ａ）

（２Ａ）式において、距離ｄは演算の結果であり、被写体ＯＢまでの距離である。
速度ｃ０は光速である。
時間Ｔｄは、光パルスが照射された後、反射光ＲＬが受光されるまでに要した時間（遅延時間）である。
時間Ｔｏは、光パルスが照射された時間である。
信号値Ａは、信号Ｓｕｂ１＿Ｇ３＃の信号値である。
信号値Ｂは、信号Ｓｕｂ１＿Ｇ４＃の信号値である。
信号値Ｃは、信号Ｓｕｂ２＿Ｇ２の信号値である。
信号値Ｄは、信号Ｓｕｂ２＿Ｇ３の信号値である。
距離ｄ＿ｏｆｆｓｅｔは、距離オフセットである。
距離オフセットは、距離演算に使用するゲートのタイミング、つまり距離演算に使用する４つのゲートトランジスタのうち、最初にオン状態に制御されるゲートトランジスタがオン状態となるタイミングが、光パルスＰＯを照射するタイミングより後であることに起因する距離オフセット量である。
例えば、本実施形態では、第１サブフレームにおけるゲートトランジスタＧ１の開閉タイミングと、光パルスＰＯの照射タイミングと同じタイミングとなるように制御される。この場合、第１サブフレームにおけるゲートトランジスタＧ１～Ｇ４に、反射光ＲＬに対応する電荷が振り分けられて受光された場合、距離ｄ＿ｏｆｆｓｅｔには、０（ゼロ）が設定される。
一方、それ以外のケース、すなわち、距離演算に使用する４つのゲートトランジスタのうち、最初にオン状態に制御されるゲートトランジスタが、光パルスＰＯの照射タイミングよりも後にオン状態に制御される場合、距離ｄ＿ｏｆｆｓｅｔには、反射光が受光されたタイミングに応じた距離が設定される。

なお、（２Ａ）式は、距離演算に使用する４つの信号のうち、最初にオン状態に制御されるゲートトランジスタを含む連続した３つのゲートトランジスタのうちの２つが反射光ＲＬを受光するケースに適用される。例えば、距離演算に信号Ｓｕｂ１＿Ｇ３、Ｓｕｂ１＿Ｇ４、Ｓｕｂ２＿Ｇ１、Ｓｕｂ２＿Ｇ２を使用する場合において、信号Ｓｕｂ１＿Ｇ３及びＳｕｂ１＿Ｇ４、又は、信号Ｓｕｂ１＿Ｇ４及びＳｕｂ２＿Ｇ１に反射光ＲＬに相当する電荷が振り分けられて蓄積されるケースでは、（２Ａ）式が適用される。

一方、距離演算に使用する４つの信号のうち、最後にオン状態に制御されるゲートトランジスタを含む連続した３つのゲートトランジスタのうちの２つが反射光ＲＬを受光するケースでは、以下の（２Ｂ）式が適用される。例えば、距離演算に信号Ｓｕｂ１＿Ｇ３、Ｓｕｂ１＿Ｇ４、Ｓｕｂ２＿Ｇ１、Ｓｕｂ２＿Ｇ２を使用する場合において、信号Ｓｕｂ１＿Ｇ４及びＳｕｂ２＿Ｇ１、または信号Ｓｕｂ２及びＧ１、Ｓｕｂ２＿Ｇ２に反射光ＲＬに相当する電荷が振り分けられる場合が該当する。

ｄ＝ｃ０×（１／２×Ｔｄ）
Ｔｄ＝Ｔｏ×｛２－（Ｂ－Ｄ）／（Ａｂｓ（Ａ－Ｃ）＋Ａｂｓ（Ｂ－Ｄ））｝
＋ｄ＿ｏｆｆｓｅｔ
…（２Ｂ）

（２Ｂ）式において、距離ｄ、速度ｃ０、時間Ｔｄ、時間Ｔｏ、信号値Ａ～Ｄは、（２Ａ）式と同様である。

或いは、距離画像撮像装置１は、例えば、（３）式を用いて距離を算出する。（３）式には、信号Ｓｕｂ１＿Ｇ４、信号Ｓｕｂ２＿Ｇ２に反射光成分が含まれている場合において、距離を算出する数式の例が示されている。

ｄ＝ｃ０×（１／２×Ｔｄ）
Ｔｄ＝Ｔｏ×｛１－（Ａ－Ｃ）／（Ａｂｓ（Ａ－Ｃ）＋Ａｂｓ（Ｂ－Ｄ））｝
＋ｄ＿ｏｆｆｓｅｔ
…（３）

（３）式において、距離ｄは演算の結果であり、被写体ＯＢまでの距離である。
速度ｃ０は光速である。
時間Ｔｄは、光パルスが照射された後、反射光ＲＬが受光されるまでに要した時間（遅延時間）である。
時間Ｔｏは、光パルスが照射された時間である。
信号値Ａは、信号Ｓｕｂ１＿Ｇ４＃の信号値である。
信号値Ｂは、信号Ｓｕｂ２＿Ｇ２の信号値である。
信号値Ｃは、信号Ｓｕｂ２＿Ｇ３の信号値である。
信号値Ｄは、信号Ｓｕｂ２＿Ｇ４の信号値である。
距離ｄ＿ｏｆｆｓｅｔは、距離オフセットである。

一方、レベル調整をしない場合、距離画像撮像装置１は、ステップＳ１６において、レベル調整していない信号値を用いて、距離を算出する。
レベル調整をしない場合、距離画像撮像装置１は、例えば、（４）式を用いて距離を算出する。（４）式には、信号Ｓｕｂ１＿Ｇ１、信号Ｓｕｂ１＿Ｇ２に反射光成分が含まれている場合において、距離を算出する数式の例が示されている。

ｄ＝ｃ０×（１／２×Ｔｄ）
Ｔｄ＝Ｔｏ×｛１－（Ａ－Ｃ）／（Ａｂｓ（Ａ－Ｃ）＋Ａｂｓ（Ｂ－Ｄ））｝
…（４）

（４）式において、距離ｄは演算の結果であり、被写体ＯＢまでの距離である。
速度ｃ０は光速である。
時間Ｔｄは、光パルスが照射されてから反射光ＲＬが受光されるまでに要した時間（遅延時間）である。
時間Ｔｏは、光パルスが照射された時間である。
信号値Ａは、信号Ｓｕｂ１＿Ｇ１の信号値である。
信号値Ｂは、信号Ｓｕｂ１＿Ｇ２の信号値である。
信号値Ｃは、信号Ｓｕｂ１＿Ｇ３の信号値である。
信号値Ｄは、信号Ｓｕｂ１＿Ｇ４の信号値である。

以上説明したように、実施形態の距離画像撮像装置１では、１フレームに第１サブフレーム及び第２サブフレームを含む複数のサブフレームが設けられる。距離画像処理部４は、第１サブフレーム、第２サブフレームの順に、各サブフレームにおいて前記画素が具備する電荷蓄積部のそれぞれに電荷を蓄積させる。距離画像処理部４は、図５における符号Ｔｒ１とＴｒ２とが、図５における照射時間Ｔｏに対して同じタイミングとなるように蓄積タイミングを制御する。すなわち、距離画像処理部４は第１サブフレームにおいて最も遅い蓄積タイミングである最後蓄積タイミングと、第２サブフレームにおいて最も早い蓄積タイミングである最初蓄積タイミングとが、光パルスＰＯを照射するタイミングに対して同じタイミングとなるように蓄積タイミングを制御する。

これにより、実施形態の距離画像撮像装置１では、第１サブフレームと第２サブフレームのそれぞれが備える電荷蓄積部ＣＳに、光パルスＰＯの照射タイミングを基準として同じタイミングで電荷を蓄積させることができる。このため、同じタイミングで電荷を蓄積させた電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に相当する信号値に基づいてレベル調整を行うことが可能である。したがって、各サブフレームにおける積算回数を変更した場合であっても距離を算出することができる。

ここで、図７及び図８を用いて本実施形態の効果を説明する。図７及び図８は本実施形態の効果を説明する図である。

図７には、比較例として、本実施形態とは異なるタイミングにて画素を駆動させた場合におけるタイミングチャートが示されている。図７には、図５と同様に、光パルスＰＯを照射させるタイミングを基準として、第１サブフレーム及び第２サブフレームのそれぞれの読み出しゲートトランジスタＧ１～Ｇ４、及びドレインゲートトランジスタＧＤのそれぞれをオン状態又はオフ状態とするタイミングが示されている。

図７に示す比較例では、第１サブフレームにおけるゲートトランジスタＧ４の開閉タイミング（符号Ｔｒ３）の次に、第２サブフレームにおけるゲートトランジスタＧ１の開閉タイミング（符号Ｔｒ４）が到来している。つまり、１サブフレームにおけるゲートトランジスタＧ４の開閉タイミング（符号Ｔｒ３）と、第２サブフレームにおけるゲートトランジスタＧ１の開閉タイミング（符号Ｔｒ４）とが、光パルスＰＯを照射するタイミングに対して同じタイミングではない。

このような比較例では、第１サブフレームと第２サブフレームのそれぞれが備える電荷蓄積部ＣＳにおいて、光パルスＰＯの照射タイミングを基準として同じタイミングで電荷を蓄積させることができない。このため、第１サブフレームと第２サブフレームのそれぞれの蓄積回数が異なる場合においてレベル調整を行うことが困難である。したがって、各サブフレームにおける積算回数を変更した場合には距離を算出することが困難となる。

図８には、図７とは異なるタイミングにて画素を駆動させた場合における比較例が示されている。図８には、図５と同様に、光パルスＰＯを照射させるタイミングを基準として、第１サブフレーム及び第２サブフレームのそれぞれの読み出しゲートトランジスタＧ１～Ｇ４、及びドレインゲートトランジスタＧＤのそれぞれをオン状態又はオフ状態とするタイミングが示されている。

図８に示す比較例では、第１サブフレームにおけるゲートトランジスタＧ３の開閉タイミング（符号Ｔｒ５）及びゲートトランジスタＧ４の開閉タイミング（符号Ｔｒ６）と、第２サブフレームにおけるゲートトランジスタＧ１の開閉タイミング（符号Ｔｒ７）及びゲートトランジスタＧ２の開閉タイミング（符号Ｔｒ８）とが、光パルスＰＯを照射するタイミングに対して同じタイミングである。つまり、第１サブフレームと第２サブフレームのそれぞれにおいて、２つのゲートトランジスタＧのそれぞれの蓄積タイミングを重複させる。

このような比較例では、第１サブフレームと第２サブフレームのそれぞれにおいて、光パルスＰＯの照射タイミングを基準として同じタイミングで電荷を蓄積させることができる。このため、各サブフレームにおける積算回数が異なる場合であっても、実施形態のようなレベル調整を行うことなく、距離を算出することが可能である。しかし、第１サブフレームと第２サブフレームのそれぞれにおいて、２つのゲートトランジスタＧのそれぞれの蓄積タイミングを重複させる必要がある。このため、測距が可能な範囲が短くなってしまう。

これらの比較例に対し、本実施形態では、第１サブフレームと第２サブフレームのそれぞれにおいて、１つのゲートトランジスタＧのみを、蓄積タイミングが同じタイミングとなるように制御する。すなわち、第１サブフレームにおけるゲートトランジスタＧ４と、第２サブフレームにおけるゲートトランジスタＧ１とが同じ蓄積タイミングとなるように制御する。こうすることによって、蓄積タイミング重複させるゲートトランジスタＧの数を最小限とする。したがって、測距が可能な範囲を狭めることなく、且つ、サブフレーム間で積算回数が異なる場合であっても、距離を算出することが可能となる。

また、実施形態の距離画像撮像装置１では、距離画像処理部４は、レベル調整をし、レベル調整をした信号値を用いて、距離を算出する。レベル調整は、第１信号値と第２信号値が同じ値となるように、第１サブフレーム又は第２サブフレームのいずれか一方において電荷蓄積部ＣＳのそれぞれに蓄積された電荷量に相当する信号値を定数倍する処理である。第１信号値は、第１サブフレームにおいて最後蓄積タイミングにて電荷が蓄積された電荷蓄積部ＣＳである電荷蓄積部ＣＳ４（最後電荷蓄積部）に蓄積された電荷量に相当する信号値である。第２信号値は、第２サブフレームにおいて最初蓄積タイミングにて電荷が蓄積された電荷蓄積部ＣＳである電荷蓄積部ＣＳ１（最初電荷蓄積部）に蓄積された電荷量に相当する信号値である。これにより、実施形態の距離画像撮像装置１では、レベル調整した信号値を用いて距離を算出することができる。このため、第１サブフレームと第２サブフレームにまたがって反射光ＲＬが受光された場合であっても正しい距離を算出することができる。

また、実施形態の距離画像撮像装置１では、距離画像処理部４は、第１信号値に反射光ＲＬ（光パルスの反射光）に対応する電荷が蓄積されているか否かを判定する。距離画像処理部４は、最後電荷蓄積部に反射光に対応する電荷が蓄積されている場合、レベル調整をする。これにより、実施形態の距離画像撮像装置１では、第１サブフレームにおける電荷蓄積部ＣＳ４（最後電荷蓄積部）に反射光成分が蓄積された場合に、レベル調整をすることができる。これにより、第１サブフレームにおける電荷蓄積部ＣＳ４（最後電荷蓄積部）に反射光成分が蓄積されていない場合にはレベル調整を行わないようにすることができる。したがって、反射光成分が蓄積されていない、すなわち外光成分のみが蓄積された場合にはレベル調整を行わないようにして、ノイズが混入する等して変動しやすい信号値を用いたレベル調整が行われてしまうことを抑制することができる。したがって、精度よく距離を算出することができる。

なお、本実施形態ではサブフレーム１とサブフレーム２の組み合わせに限って説明したが、これに限定されず、サブフレームｎと、サブフレーム（ｎ＋１）の組み合わせで適用可能である。ここでのｎは任意の整数である。例えば、サブフレーム１及びサブフレーム２に続き、サブフレーム３及びサブフレーム４がある場合、サブフレーム１とサブフレーム２、サブフレーム２とサブフレーム３、及び、サブフレーム３とサブフレーム４のうち少なくとも何れか１つの組み合わせを用いて、本実施形態と同様に駆動させることが可能である。

上述した実施形態における距離画像撮像装置１、距離画像処理部４の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…距離画像撮像装置
２…光源部
３…受光部
３２…距離画像センサ
３２１…画素
３２３…垂直走査回路
４…距離画像処理部
４１…タイミング制御部
４２…距離演算部
４３…測定制御部
ＣＳ…電荷蓄積部
ＰＯ…光パルス

Claims (4)

1. 測定対象の空間である測定空間に光パルスを照射する光源部と、
   入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
   前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を算出する距離画像処理部と、
   を備え、
   １フレームには、第１サブフレーム及び第２サブフレームを含む複数のサブフレームが設けられ、
   前記距離画像処理部は、
   前記第１サブフレーム、前記第２サブフレームの順に、各サブフレームにおいて前記画素が具備する前記電荷蓄積部のそれぞれに前記電荷を蓄積させ、前記第１サブフレームにおいて前記画素が具備する前記電荷蓄積部に最も遅いタイミングで前記電荷を蓄積させる最後蓄積タイミングと、前記第２サブフレームにおいて前記画素が具備する前記電荷蓄積部に最も早いタイミングで前記電荷を蓄積させる最初蓄積タイミングとが、前記光パルスを照射するタイミングに対して同じタイミングとなるように制御する、
   距離画像撮像装置。
2. 前記距離画像処理部は、前記最後蓄積タイミングにて前記電荷が蓄積された前記電荷蓄積部である最後電荷蓄積部に蓄積された電荷量に相当する第１信号値、及び前記最初蓄積タイミングにて前記電荷が蓄積された前記電荷蓄積部である最初電荷蓄積部に蓄積された電荷量に相当する第２信号値が同じ値となるように、前記第１サブフレーム又は前記第２サブフレームのいずれか一方において前記電荷蓄積部のそれぞれに蓄積された電荷量に相当する信号値を定数倍するレベル調整をし、前記レベル調整をした信号値を用いて前記距離を算出する、
   請求項１に記載の距離画像撮像装置。
3. 前記距離画像処理部は、前記最後電荷蓄積部に前記光パルスの反射光に対応する前記電荷が蓄積されているか否かを判定し、前記最後電荷蓄積部に前記反射光に対応する前記電荷が蓄積されている場合、前記レベル調整をする、
   請求項２に記載の距離画像撮像装置。
4. 測定対象の空間である測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて、前記測定空間に存在する被写体までの距離を算出する距離画像処理部を備える距離画像撮像装置が行う距離画像撮像方法であって、
   １フレームには、第１サブフレーム及び第２サブフレームを含む複数のサブフレームが設けられ、
   前記距離画像処理部は、
   前記第１サブフレーム、前記第２サブフレームの順に、各サブフレームにおいて前記画素が具備する前記電荷蓄積部のそれぞれに前記電荷を蓄積させ、前記第１サブフレームにおいて前記画素が具備する前記電荷蓄積部に最も遅いタイミングで前記電荷を蓄積させる最後蓄積タイミングと、前記第２サブフレームにおいて前記画素が具備する前記電荷蓄積部に最も早いタイミングで前記電荷を蓄積させる最初蓄積タイミングとが、前記光パルスを照射するタイミングに対して同じタイミングとなるように制御する、
   距離画像撮像方法。

Images