JP2017198477A - 距離画像生成装置 - Google Patents

Abstract

【課題】撮像素子からの読出し値の誤差に対処した距離画像生成装置を提供する。【解決手段】位相差検出部５１は、光源２からの照射光Ｌｏと測距対象７からの反射光Ｌｒとの位相差φを画素Ｇごとに検出する。距離計測部５２は、画像生成部５３が生成する距離画像の基になる計測距離Ｄｆを位相差φに基づいて算出する。距離計測部５２は、撮像素子温度Ｆｔ、反射光強度Ｆｒ又は外乱光強度Ｆｎの検出値に基づいて画素Ｇごとに補正量Ｄｈを算出し、暫定距離Ｄａ＋補正量Ｄｈを計測距離Ｄｆとする。画像生成部５３は計測距離Ｄｆに基づいて距離画像を生成する。【選択図】図１

Description

本発明は、ＴＯＦ（Time Of Flight：光飛行時間）方式で距離画像を生成する距離画像生成装置に関する。

撮像素子を備え、ＴＯＦ方式の測距に基づいて距離画像を生成する距離画像生成装置が知られている（例：特許文献１）。

このような距離画像生成装置は、撮像範囲に向けて変調された照明光を照射する光源と、複数の画素を有し、撮像範囲から画素ごとに入射した入射光の強度に関係して生成した画素ごとの電荷の蓄積電荷量を外部から読出し可能にしている撮像素子と、光源から出射する照明光と該照明光が撮像範囲の測距対象に反射して撮像素子の画素に入射した反射光との画素ごとの位相差を、撮像素子から読出した画素ごとの蓄積電荷量の読出し値に基づいて検出する位相差検出部と、該位相差検出部が検出した画素ごとの位相差に基づいて画素ごとに測距対象までの計測距離を算出する距離計測部と、該距離計測部が画素ごとに算出した計測距離に基づいて撮像範囲の距離画像を生成する画像生成部とを備える。

特開２００８−８９３４６号公報

該距離画像生成装置において撮像素子から読出される読出し値は誤差を含む。また、この誤差は、入射光の強度や撮像素子の温度等の誤差因子ごとの値に応じて変化する。距離画像生成装置は、このような誤差を含んだ読出し値に基づいて測距対象までの距離を計測距離として算出するので、該計測距離に基づいて生成される距離画像の精度は低下する。

本発明の目的は、撮像素子からの電荷の蓄積電荷量の読出し値に誤差が含まれていても、正確な計測距離を算出して、距離画像の精度を改善する距離画像生成装置を提供することである。

本発明の距離画像生成装置は、
撮像範囲に向けて変調された照明光を照射する光源と、
複数の画素を有し、前記撮像範囲から前記画素ごとに入射した入射光の強度に関係して生成した前記画素ごとの電荷の蓄積電荷量を外部から読出し可能にしている撮像素子と、
前記光源から出射する照明光と該照明光が前記撮像範囲の測距対象に反射して前記撮像素子の前記画素に入射した反射光との前記画素ごとの位相差を、前記撮像素子から読出した前記画素ごとの蓄積電荷量の読出し値に基づいて検出する位相差検出部と、
該位相差検出部が検出した前記画素ごとの前記位相差に基づいて前記画素ごとに前記測距対象までの計測距離を算出する距離計測部と、
該距離計測部が前記画素ごとに算出した前記計測距離に基づいて前記撮像範囲の距離画像を生成する画像生成部とを備え、
前記距離計測部は、前記画素ごとの前記位相差に基づいて前記画素ごとに前記測距対象までの暫定距離を算出し、前記反射光の入射強度としての反射光強度と、外乱光の入射強度としての外乱光強度と、前記撮像素子の温度とのうち少なくとも１つを前記暫定距離の補正因子として、該補正因子の検出値に基づいて前記画素ごとに前記暫定距離の補正量を算出し、前記画素ごとに前記暫定距離と前記補正量とに基づいて前記計測距離を算出することを特徴とする。

本発明によれば、距離計測部は、位相差検出部が検出した画素ごとの位相差に基づいて画素ごとに算出した暫定距離と、補正因子の検出値とに基づいて補正したものを計測距離とする。この結果、位相差検出部が位相差を検出する基にした読出し値に誤差が含まれていても、距離計測部が算出して距離画像生成の基になる計測距離が是正されるので、該計測距離に基づいて生成される距離画像の精度を改善することができる。

本発明の距離画像生成装置は、前記補正因子の値と前記補正量との関係を規定する常数付き関係式を保存する記憶部を備え、前記距離計測部は、前記画素ごとに検出した前記補正因子の検出値を、前記記憶部に保存されている前記常数付き関係式に適用して、前記画素ごとに前記補正量を算出することが好ましい。

この構成によれば、画素ごとの補正因子の検出値を常数付き関係式に適用して、画素ごとの補正量を算出する。撮像素子では、補正因子の値の変化に対する暫定距離の誤差の変化の特性は画素ごとに相違する。また、補正因子によっては、検出値の範囲が広がることがある。したがって、もし補正因子の値の変化に対する暫定距離の誤差の変化の特性を画素ごとにマップで規定して、画素ごとにマップを参照して暫定距離に対する補正量を算出するならば、撮像素子全体のマップのデータ量は膨大になってしまう。常数付き関係式が適用される前記構成により、撮像素子の画素数の増大にもかかわらず、記憶部に記憶するデータ量の増大を抑制しつつ、画素ごとの補正量を支障なく算出することができる。

本発明の距離画像生成装置において、前記常数付き関係式は、各補正因子ごとにその検出値と前記補正量との画素ごとの関係特性を常数値の変更により規定する式として、全画素に共通に設定され、前記距離計測部は、画素ごとに設定された常数値を適用された前記常数付き関係式に基づいて前記前記画素ごとの前記補正量を算出することが好ましい。

この構成によれば、画素ごとに設定された常数値を適用された常数付き関係式に基づいて画素ごとの補正量を算出する。補正因子についてその値と補正量との関係特性は画素ごとに差異がある。しかしながら、前記構成では、同一の補正因子に対しては、同一の常数付き関係式において常数値の変更により画素ごとの補正因子の値と補正量との関係特性をほぼ規定できるという本発明者の知見に基づいて、各補正因子ごとに常数付き関係式は全画素共通のものが使用される。この結果、記憶部に保存するデータ量を抑制しつつ、各補正因子の検出値に対して適切な補正量を算出することができる。

本発明の距離画像生成装置において、前記撮像素子は、前記画素ごとに、長さが前記照明光の１周期未満の等しい長さで、開始が前記照明光の周期の１／４ずつ順番に遅らせた第１期間、第２期間、第３期間及び第４期間における前記入射光の強度に関係する第１電荷量の電荷、第２電荷量の電荷、第３電荷量の電荷及び第４電荷量の電荷をそれぞれ蓄積する第１電荷蓄積部、第２電荷蓄積部、第３電荷蓄積部及び第４電荷蓄積部を有し、前記撮像素子は、前記第１電荷量、前記第２電荷量、前記第３電荷量及び前記第４電荷量をそれぞれ第１値、第２値、第３値及び第４値として外部から読出し可能とされ、前記距離計測部は、前記光源の消灯期間における前記第１値、前記第２値、前記第３値及び前記第４値のうちの１つ又は２つ以上の和に基づいて前記外乱光強度の検出値を算出することが好ましい。

この構成によれば、外乱光強度の検出値は、光源の消灯期間における第１値、第２値、第３値及び第４値のうちの１つ又は２つ以上の和に基づいて算出される。光源の消灯期間では、反射光が撮像素子の画素に入射しないので、第１値〜第４値は外乱光の入射強度にのみに関係する値になっている。これにより、補正因子としての外乱光強度について正確な検出値を得ることができる。

本発明の距離画像生成装置において、前記撮像素子は、前記画素ごとに、長さが前記照明光の１周期未満の等しい長さで、開始が前記照明光の周期の１／４ずつ順番に遅らせた第１期間、第２期間、第３期間及び第４期間における前記入射光の強度に関係する第１電荷量の電荷、第２電荷量の電荷、第３電荷量の電荷及び第４電荷量の電荷をそれぞれ蓄積する第１電荷蓄積部、第２電荷蓄積部、第３電荷蓄積部及び第４電荷蓄積部を有し、前記撮像素子は、前記第１電荷量、前記第２電荷量、前記第３電荷量及び前記第４電荷量をそれぞれ第１値、第２値、第３値及び第４値として外部から読出し可能とされ、前記距離計測部は、前記撮像素子から読出された前記第１値、前記第２値、前記第３値及び前記第４値に基づいて、前記第１値と前記第３値との差分の二乗と、前記第２値と前記第４値との差分の二乗との和の二乗根を算出し、該二乗根に基づいて前記反射光強度の検出値を算出することが好ましい。

この構成によれば、反射光強度の検出値は、第１値と第３値との差分の二乗と、第２値と第４値との差分の二乗との和の二乗根に基づいて算出される。第１値と第３値との差分、及び第２値と第４値との差分からは、外乱光の強度に係る値が相殺されている。これにより、補正因子としての反射光強度について正確な検出値を得ることができる。

本発明の距離画像生成装置において、前記撮像素子は、前記画素ごとに、長さが前記照明光の１周期未満の等しい長さで、開始が前記照明光の周期の１／４ずつ順番に遅らせた第１期間、第２期間、第３期間及び第４期間における前記入射光の強度に関係する第１電荷量の電荷、第２電荷量の電荷、第３電荷量の電荷及び第４電荷量の電荷をそれぞれ蓄積する第１電荷蓄積部、第２電荷蓄積部、第３電荷蓄積部及び第４電荷蓄積部を有し、前記撮像素子は、前記第１電荷量、前記第２電荷量、前記第３電荷量及び前記第４電荷量をそれぞれ第１値、第２値、第３値及び第４値として外部から読出し可能とされ、前記距離計測部は、前記撮像素子から読出された前記第１値、前記第２値、前記第３値及び前記第４値のうちの１つ又は２つ以上の和についての前記光源の点灯期間における値と消灯期間における値との差分に基づいて前記反射光強度の検出値を算出することが好ましい。

この構成によれば、反射光強度の検出値は、第１値、第２値、第３値及び第４値のうちの１つ又は２つ以上の和について光源の点灯期間における値と消灯期間における値との差分に基づいて算出される。光源の点灯期間における入射光には、外乱光と反射光との両方が含まれるのに対し、光源の消灯期間における入射光は、外乱光のみとなる。この結果、差分は、外乱光に係る分が除去されたものとなるので、該差分に基づいて反射光強度について正確な検出値を求めることができる。

本発明の距離画像生成装置は、前記撮像素子の全画素から前記蓄積電荷量を読出して、各画素の蓄積電荷量のデータから成るサブフレームデータを生成するサブフレームデータ生成処理を繰り返し実行し、連続して実行された複数のサブフレームデータ生成処理により生成された複数のサブフレームデータから成るフレームデータを生成するフレームデータ生成部を備え、前記位相差検出部は、前記フレームデータに含まれる所定のサブフレームデータに基づいて前記位相差を検出し、前記距離計測部は、前記位相差検出部が検出した前記位相差に基づいて算出した前記暫定距離と、前記フレームデータに含まれる前記所定のサブフレームデータとは別のサブフレームデータに基づいて算出した前記補正因子の検出値とに基づいて前記計測距離を算出することが好ましい。

この構成によれば、フレームデータ生成部は、位相差検出部が位相差の算出に用いるサブフレームデータと、距離計測部が補正因子の検出値の算出に用いるサブフレームデータとを含むフレームデータを生成する。これにより、補正因子の急激な変化があっても、フレームデータに含まれるサブフレームデータに基づいて補正因子の変化に対応する補正量が速やかに算出され、この補正量を用いることにより計測距離の算出精度を高めることができる。

本発明の距離画像生成装置は、前記撮像素子の全画素から前記蓄積電荷量を読出して、各画素の蓄積電荷量のデータから成るサブフレームデータを生成するサブフレームデータ生成処理を繰り返し実行し、連続して実行された複数のサブフレームデータ生成処理により生成された複数のサブフレームデータから成るフレームデータを生成するフレームデータ生成部を備え、前記位相差検出部は、前記フレームデータに含まれる第１種のサブフレームに基づいて前記位相差を検出し、前記距離計測部は、前記第１種のサブフレームに加え第２種のサブフレームに基づいて前記補正因子の検出値を算出し、前記フレームデータ生成部は、前記第１種のサブフレームデータと前記第２種のサブフレームデータとの両方を含む第１種のフレームデータと、前記第１種のサブフレームデータのみから成る第２種のフレームデータとの２種類のフレームデータを生成し、前記距離計測部は、前記位相差検出部が前記第２種のフレームデータの前記第１種のサブフレームデータに基づいて算出した位相差に基づいて前記計測距離を算出するときは、前記位相差検出部が前記第２種のフレームデータの前記第１種のサブフレームデータに基づいて算出した位相差と前記フレームデータ生成部が生成した第１種のフレームデータの第２種のサブフレームデータに基づいて算出した前記補正因子の検出値とに基づいて前記計測距離を算出することが好ましい。

この構成によれば、フレームデータ生成部は、第１種のサブフレームデータと第２種のサブフレームデータとの両方を含む第１種のフレームデータと、第１種のサブフレームデータのみから構成される第２種のフレームデータとの２種類のフレームデータを生成し、距離計測部は、位相差検出部が第２種のフレームデータの第１種のサブフレームデータを使用して算出した位相差に基づいて計測距離を算出するときは、フレームデータ生成部が生成した第１種のフレームデータの第２種のサブフレームデータに基づいて補正因子の検出値を算出する。これにより、第１種のサブフレームデータの生成頻度が増大するので、測距対象までの距離が急速に変化する場合であっても、該測距対象の距離変化に追従した距離画像を生成することができる。

距離画像生成装置の全体構成図。 カメラが備える撮像素子の構成図。 画素の詳細な構成図。 照射光及び反射光のタイミングチャート。 撮像素子温度と温度起因誤差との関係を示すグラフ。 反射光強度と反射光起因誤差との関係を示すグラフ。 外乱光強度と外乱光起因誤差との関係を示すグラフ。 図８Ａ〜図８Ｃはフレームデータ生成部が生成するフレームデータを包含する種々のフレーム構造を示す図。 距離画像生成方法のフローチャート。 撮像素子温度及び反射光強度と応答曲面誤差との関係を示す応答曲面グラフ。

図１は距離画像生成装置１の全体構成図である。距離画像生成装置１は、光源２、カメラ４及び制御装置５を備え、カメラ４の撮像範囲６に存在する測距対象７までの距離ＤをＴＯＦ方式で計測し、計測した距離に基づいて距離画像（立体画像）を生成する。

光源２は、制御装置５からの制御信号により点灯及び消灯を制御され、例えば１０ＭＨｚ（図４）で点滅して、強度を変調された照射光Ｌｏを生成する。照射光Ｌｏは、光源２の光出射部に装着されたレンズ２ａにより配光調整されてから、撮像範囲６に向けて出射される。

カメラ４は、レンズ４ａを入射部に装着され、撮像範囲６から入射する入射光Ｌｉをレンズ４ａにより集めて、撮像素子４００に入射させる。照射光Ｌｏは、測距対象７に反射し、反射後は、照射光Ｌｏ由来の反射光Ｌｒとなって、距離画像生成装置１へ戻る。入射光Ｌｉには、外乱光（「背景光」ともいう）Ｌｎと反射光Ｌｒとの両方が含まれる（Ｌｉ＝Ｌｎ＋Ｌｒ）。

制御装置５は、ソフトウェアを実行する汎用的な構造を有し、ＣＰＵ、ＲＡＭ、ＲＯＭ、及びその他のメモリ（例：フラッシュメモリ）を備えている。制御装置５は、位相差検出部５１、距離計測部５２、画像生成部５３、記憶部５４及びフレームデータ生成部５５を有している。ＲＡＭ、ＲＯＭ、及びその他のメモリは記憶部５４に含まれる。位相差検出部５１、距離計測部５２、画像生成部５３及びフレームデータ生成部５５は、ＣＰＵが、記憶部５４のＲＯＭから、後述の図９のフローチャートに対応するプログラムを読出し、該プログラムの実行に伴い、生成される。

距離画像生成装置１がＴＯＦ方式で距離Ｄを計測する具体的な処理方法は図９等で後述するので、ここでは、距離画像生成装置１の主要部の構成を概略的に説明する。なお、図１の距離Ｄは、距離画像生成装置１から測距対象７までの実際の距離（真の距離）として示している。距離画像生成装置１が算出する計測距離Ｄｆ（図９のＳＴＥＰ４４等参照）は、距離Ｄに対して若干の誤差を含んだものとなる。

カメラ４は撮像素子４００（図２）を備える。該撮像素子４００は、複数の画素Ｇ（図２）を有し、画素Ｇごとに入射光の強度に関係して生成した電荷の蓄積電荷量を外部から読出し可能にしている。位相差検出部５１は、照射光Ｌｏと照射光Ｌｏが測距対象７に反射して撮像素子４００の画素Ｇに入射した反射光Ｌｒとの位相差φ（後述の式（１））を、撮像素子４００の画素Ｇごとに読出した蓄積電荷量の読出し値Ｃ１〜Ｃ４（図３）に基づいて画素Ｇごとに検出する。

距離計測部５２は、計測距離Ｄｆの算出に先立ち、位相差検出部５１が画素Ｇごとに検出した位相差φに基づいて暫定距離Ｄａを算出する。なお、計測距離Ｄｆは、図１に図示されている距離Ｄ（距離画像生成装置１と測距対象７との間の真の距離）を距離画像生成装置１が計測した距離とする。

距離計測部５２は、また、暫定距離Ｄａの補正量Ｄｈを算出する。補正量Ｄｈは、撮像素子４００の温度としての撮像素子温度Ｆｔ（後述の図５）と、反射光Ｌｒの入射強度としての反射光強度Ｆｒ(後述の図６）)と、外乱光の入射強度としての外乱光強度Ｆｎ(後述の図７)とのうち少なくとも１つを暫定距離Ｄａの補正因子として算出される。具体的には、距離計測部５２は、後述の式（３）等で具体的に説明する各補正因子の検出値ｘｔ，ｘｒ又はｘｎを算出する。そして、距離計測部５２は、これら検出値ｘｔ，ｘｒ又はｘｎと、記憶部５４に各画素Ｇごとに保存され、補正因子の検出値ｘｔ，ｘｒ又はｘｎと補正量Ｄｈとの関係を規定する常数付き関係式の各常数の値とに基づいて画素Ｇごとに補正量Ｄｈを算出する。なお、常数付き関係式の各常数Ｋｔａ〜Ｋｔｃ，Ｋｒａ，Ｋｒｂ，Ｋｎａ〜Ｋｎｃは後述の式等で具体的に説明する。

距離計測部５２は、画素Ｇごとに暫定距離Ｄａを補正量Ｄｈに基づいて補正したものを計測距離Ｄｆ（例：Ｄｆ＝暫定距離Ｄａ＋補正量Ｄｈ）として算出する。

画像生成部５３は、距離計測部５２が画素Ｇごとに算出した計測距離Ｄｆに基づいて撮像範囲６の距離画像を生成する。フレームデータ生成部５５は、後述のフレームデータの処理を行う制御装置５に追加装備されるものであり、詳細は、後述の図８のフレーム構造等と一緒に説明する。

図２は、カメラ４が備える撮像素子４００の構成図である。撮像素子４００は、主要構成要素として、画素配列部４０１、行制御部４０６、列制御部４０７、画像プロセッサ４０８及び温度センサ４２０を備えている。

図２の画素配列部４０１は、正面視で図示されており、平面上に均一な分布として例えば縦方向及び横方向に共に等間隔（ただし、縦方向の等間隔と横方向の等間隔とは必ずしも等しくない）の格子配列で分布した複数の画素Ｇを有している。各画素Ｇは、画素配列部４０１における区画として形状、寸法及び面積が等しく設定されている。

画素配列部４０１における画素Ｇを特定するために、各画素Ｇを行番号ｎと列番号ｍとで表現する。画素Ｇ（ｎ，ｍ）とは、画素配列部４０１の正面視において上からｎ番目で、左からｍ番目の画素Ｇを指すものとする。画素配列部４０１は、例えば１２６×１２６個の画素Ｇから成る。以降、個々の画素Ｇを特に区別する必要がないときは、画素Ｇ（ｎ，ｍ）を「画素Ｇ」と総称し、（ｎ，ｍ）は省略する。

各画素Ｇは、正面視で左側の副画素Ｐｏと右側の副画素Ｐｅとを有している。符号Ｐに付加されている添え字のｏ，ｅは、２種類の副画素を区別するための説明の便宜上、付けている。以降、副画素Ｐｏと副画素Ｐｅとを区別しないときは、「副画素Ｐ」と総称する。

行制御部４０６は、行制御ライン４０９に制御信号を印加し、画素配列部４０１の画素Ｇを行ごとに制御できるようになっている。列制御部４０７は、列制御ライン４１０に制御信号を印加し、画素配列部４０１の画素Ｇを列ごとに制御できるようになっている。画像プロセッサ４０８は、制御装置５（図１）からの制御信号に基づいて行制御部４０６及び列制御部４０７を制御する。

温度センサ４２０は、画素配列部４０１の近傍に配設され、画素配列部４０１の温度、すなわち画素Ｇの撮像素子温度Ｆｔを検出する。この実施形態では、撮像素子温度Ｆｔは、全画素で等しいものとして処理される。

図３は、画素Ｇの詳細な構成図である。各画素Ｇは、副画素Ｐｏと副画素Ｐｅとの２つの副画素Ｐの対から成る。

副画素Ｐｏは、ＰＤ、Ｍ１，Ｍ３、Ｆｄ１，Ｆｄ３、及び２つのＢＭを備える。副画素Ｐｅは、ＰＤ、Ｍ２，Ｍ４、Ｆｄ２，Ｆｄ４、及び２つのＢＭを備える。なお、ＰＤはフォトダイオードを意味し、Ｍは振分けスイッチを意味し、Ｆｄは、電荷蓄積部としてのフローティングディフュージョンを意味し、ＢＭは転送スイッチを意味するものとする。Ｍ１〜Ｍ４及びＢＭは、ＦＥＴ（電界効果トランジスタ）から成り、ゲートの機能を有する。

Ｔｘ１〜Ｔｘ４には、Ｍ１〜Ｍ４のオンオフを制御する制御信号が行制御部４０６から供給される。Ｂｉには、ＢＭのオンオフを制御する制御信号が行制御部４０６から供給される。Ｔｘ１〜Ｔｘ４及びＢｉのラインの組は、各行制御ライン４０９（図２）に含まれる。

Ｒｏは、対応列（この対応列ではＦｄ１〜Ｆｄ４の各々は１列として計数され、Ｆｄ１〜Ｆｄ４の全体では４列となる）の全部のＢＭのドレインに接続されている。列制御部４０７は、Ｒｏを介して各画素ＧのＦｄ１〜Ｆｄ４に蓄積されている電荷の電荷量の読出し値としてのＣ１〜Ｃ４を読出す。Ｒｏは、各列制御ライン４１０（図２）に含まれる。

副画素Ｐｏと副画素Ｐｅとは、副画素Ｇ内のゲートとしてのＭ１〜Ｍ４及びＢＭの作動タイミングが異なるのみで、全体の作動は同一である。したがって、副画素Ｐｏの作動のみを説明する。なお、副画素ＰｅのＦｄ２，Ｆｄ４は副画素ＰｏのＦｄ１，Ｆｄ３に対応し、副画素ＰｅのＭ２，Ｍ４は副画素ＰｏのＭ１，Ｍ３に対応している。

ＰＤは、画素Ｇに入射する入射光Ｌｉ（＝外乱光Ｌｎ＋反射光Ｌｒ）の強度が大きい時ほど、多数の電子を生成する。なお、電子は、負の電荷を有するものであり、電子の数の増大に連れて、電荷量の絶対値は増大する。Ｍ１とＭ３とはＴｘ１，Ｔｘ３の印加電圧により逆位相でオンオフされる。すなわち、Ｍ１のオン期間はＭ３のオフ期間とされ、Ｍ１のオフ期間はＭ３のオン期間とされる。

Ｍ１，Ｍ３のオン期間では、ＰＤが生成した電子が、Ｆｄ１，Ｆｄ３に供給され、蓄積される。Ｆｄ１，Ｆｄ３には、画素Ｇ（厳密には副画素Ｐｏ）に入射した入射光Ｌｉの強さに関係する電荷量の電荷が蓄積される。Ｒｏは、所定の読出しタイミングで列制御部４０７内のスイッチの作動により通電状態になり、この時にオンになっているＢＭが属する副画素ＰｏのＦｄ１，Ｆｄ３の電荷量が列制御部４０７を介して画像プロセッサ４０８により読出し値Ｃ１，Ｃ３として読出される。Ｃ１，Ｃ３は、さらに、画像プロセッサ４０８から制御装置５（図１）に送られる。

図４は照射光Ｌｏ及び反射光Ｌｒのタイミングチャートである。横軸の目盛は、時間を照射光Ｌｏの位相で表現した値となっている。照射光Ｌｏのレベルは、光源２の消灯時ではＬｏｗ（ロー）、光源２の点灯時はＨｉｇｈ（ハイ）で表現されている。点灯時のＨｉｇｈレベルに対応する光強度は、光源２の給電電流の増減により増減することができる。

照射光Ｌｏは、パルス波形の光であり、周期＝１００ｎｓ（周波数＝１０ＭＨｚ）で、デューティ比＝５０％の矩形波となっている。図４では、照射光Ｌｏの立ち上がり時刻を位相＝０°で表わしている。反射光Ｌｒは、距離画像生成装置１から出射した照射光Ｌｏが測距対象７（図１）に到達し、測距対象７に反射して距離画像生成装置１に戻る。この結果、反射光Ｌｒの位相は、測距対象７までの距離Ｄの２倍の長さを飛行する時間分だけ、照射光Ｌｏより位相が遅れ、照射光Ｌｏと反射光Ｌｒとの間に位相差φが生じる。位相差φより、距離画像生成装置１−測距対象７間の計測距離Ｄｆを算出することができる。

前述したように、画像プロセッサ４０８（図２）は、Ｂｉ及びＲｏを介して画素ＧごとのＦｄ１〜Ｆｄ４の電荷量を読出すことができるようになっている。画像プロセッサ４０８は、各画素ＧのＦｄ１〜Ｆｄ４から画素Ｇに入射した入射光Ｌｉの入射強度Ｉｉと蓄積期間とに関係する蓄積電荷量になる。図４において、Ｔ１〜Ｔ４は、画像プロセッサ４０８が各画素ＧにおいてＦｄ１〜Ｆｄ４からそれぞれ読出す電荷量の蓄積期間を示している。

Ｔ１〜Ｔ４の期間は、開始の位相が順番に照射光Ｌｏの周期の１／４ずつ遅らせたものになっている。しかし、長さは、照射光Ｌｏの１周期未満としての周期の１／２（＝半周期）に等しく設定されている。Ｔ１は位相０°〜１８０°の期間に設定される。Ｔ２は位相９０°〜２７０°の期間に設定される。Ｔ３は位相１８０°〜３６０°の期間に設定される。Ｔ４は位相２７０°〜４５０°（４５０°は次の周期の９０°に相当）に設定される。この結果、Ｆｄ１〜Ｆｄ４には、Ｔ１〜Ｔ４に対応副画素Ｇに入射した入射光Ｌｉの入射強度Ｉｉに対応する電荷量で電荷が蓄積される。画像プロセッサ４０８は、各画素ＧにおいてＴ１〜Ｔ４に蓄積された電荷の電荷量を読出し値Ｃ１〜Ｃ４として読出す。

次の式（１）は位相差検出部５１が位相差φを算出するのに用いる算出式であり、式（２）は距離計測部５２が暫定距離Ｄａを算出するのに用いる算出式である。

式（１）において、「ｔａｎ」は正接（タンジェント）を意味し、「ｔａｎ^−１」とは逆正接（アークタンジェント）を意味する。

Ｃ１〜Ｃ４の各々は、入射光Ｌｉに因る蓄積電荷量であり、入射光Ｌｉには外乱光Ｌｎが含まれている。これに対し、差分Ｃ１−Ｃ３、及び差分Ｃ２−Ｃ４は、外乱光Ｌｎに因る蓄積電荷量が相殺される。したがって、位相差検出部５１は、照射光Ｌｏと該照射光Ｌｏ由来の反射光Ｌｒとの位相差φを抽出することができる。位相差検出部５１は、位相差φ（ｎ，ｍ）を、画素Ｇ（ｎ，ｍ）ごとに算出して、距離計測部５２に出力する。

なお、以降、位相差φ等について、画素Ｇ（ｎ，ｍ）ごとの相違を問題にするときは、（ｎ，ｍ）を付け、画素ごとの相違を問題にしないときは、（ｎ，ｍ）を省略する。画素Ｇごとに相違する値としては、位相差φ（ｎ，ｍ）、距離Ｄ（ｎ，ｍ）、暫定距離Ｄａ（ｎ，ｍ）、及び補正量Ｄｈ（ｎ，ｍ）の他に，温度起因誤差Ｅｔ（ｎ，ｍ）、反射光起因誤差Ｅｒ（ｎ，ｍ）、外乱光起因誤差Ｅｎ（ｎ，ｍ）、合計誤差Ｅｓ（ｎ，ｍ）、及び常数Ｋｔａ（ｎ，ｍ）〜Ｋｔｃ（ｎ，ｍ），Ｋｒａ（ｎ，ｍ），Ｋｒｂ（ｎ，ｍ），Ｋｎａ（ｎ，ｍ）〜Ｋｎｃ（ｎ，ｍ）等がある。

距離計測部５２は、計測距離Ｄｆを算出するのに先立ち、上式（２）により画素Ｇごとに暫定距離Ｄａを算出する。位相差φには、誤差が含まれるので、位相差φに基づいて式（２）から算出する暫定距離Ｄａにも距離Ｄ（ただし、距離Ｄは真の距離とする）に対する誤差が含まれることになる。

暫定距離Ｄａの誤差の原因になる誤差因子には、例えば、撮像素子４００の温度として撮像素子温度Ｆｔ、反射光Ｌｒの入射強度としての反射光強度Ｆｒ及び外乱光の入射強度として外乱光強度Ｆｎがある。

撮像素子４００では、各画素Ｇにおいて、距離Ｄが等しくても、撮像素子温度Ｆｔ、反射光強度Ｆｒ又は外乱光強度Ｆｎの値が変化することにより、位相差φが変化し、この結果、位相差φから算出される暫定距離Ｄａも変化する。また、画素Ｇごとの特性の相違又はばらつきのために、複数の画素Ｇにおいて、距離Ｄ、撮像素子温度Ｆｔ、反射光強度Ｆｒ、及び外乱光強度Ｆｎが等しくても、それら画素Ｇにおいて算出される位相差φ、及び位相差φに基づいて算出される暫定距離Ｄａは異なる値になる。

撮像素子温度Ｆｔに起因する温度起因誤差を「Ｅｔ」とし．反射光強度Ｆｒに起因する反射光起因誤差を「Ｅｒ」とし、外乱光強度Ｆｎに起因する外乱光起因誤差を「Ｅｎ」とする。さらに、合計誤差ＥｓをＥｓ＝Ｅｔ＋Ｅｒ＋Ｅｎと定義する。

図５は撮像素子温度Ｆｔと温度起因誤差Ｅｔとの関係を示すグラフ、図６は反射光強度Ｆｒと反射光起因誤差Ｅｒとの関係を示すグラフ、図７は外乱光強度Ｆｎと外乱光起因誤差Ｅｎとの関係を示すグラフである。図５〜図７のグラフにおいて、具体的な関係を規定している各曲線としての関係特性は、画素ごとに相違している。すなわち、図５においてＧ５１〜Ｇ５３はそれぞれ異なる３つの画素Ｇにおける関係特性であり、図６においてＧ６１〜Ｇ６３はそれぞれ異なる３つの画素Ｇにおける関係特性であり、図７においてＧ７１〜Ｇ７３はそれぞれ異なる３つの画素Ｇにおける関係特性である。

図５〜図７の特性は、実験結果のグラフであり、該実験は、基準条件を設定して行った。基準条件では、距離Ｄ＝基準距離、撮像素子温度Ｆｔ＝基準撮像素子温度、反射光強度Ｆｒ＝基準反射光強度、外乱光強度Ｆｎ＝基準外乱光強度に設定される。図５〜図７において、縦軸の温度起因誤差Ｅｔ、反射光起因誤差Ｅｒ及び外乱光起因誤差Ｅｎは、それぞれ基準条件時の温度起因誤差Ｅｔ、反射光起因誤差Ｅｒ及び外乱光起因誤差Ｅｎに対する差分（＝暫定距離Ｄａ−基準距離）を意味する。図５の温度起因誤差Ｅｔは、基準条件に対して撮像素子温度Ｆｔのみを変化させときの測定値である。図６の反射光起因誤差Ｅｒは、基準条件に対して反射光強度Ｆｒのみを変化させときの測定値である。図７の反射光起因誤差Ｅｒは、基準条件に対して外乱光強度Ｆｎのみを変化させときの測定値である。

図５からは、撮像素子温度Ｆｔの値に応じて、温度起因誤差Ｅｔが変化するとともに、撮像素子温度Ｆｔの値が等しくても、画素Ｇごとに温度起因誤差Ｅｔが異なることが理解できる。図６からは、反射光強度Ｆｒの値に応じて、反射光起因誤差Ｅｒが変化するとともに、反射光強度Ｆｒが等しくても、画素Ｇごとに反射光起因誤差Ｅｒが異なることが理解できる。図７からは、外乱光強度Ｆｎの値に応じて、外乱光起因誤差Ｅｎが変化するとともに、外乱光強度Ｆｎが等しくても、画素Ｇごとに外乱光起因誤差Ｅｎが異なることが理解できる。

制御装置５が温度起因誤差Ｅｔ、反射光起因誤差Ｅｒ及び外乱光起因誤差Ｅｎを算出する具体的な処理を説明する。なお、撮像素子温度Ｆｔ、反射光強度Ｆｒ及び外乱光強度Ｆｎの各時点の検出値をそれぞれｘｔ，ｘｒ，ｘｎとする。制御装置５は、ｘｔを温度センサ４２０の出力から検出する。温度センサ４２０から検出したｘｔは、全画素Ｇ共通の検出温度とする。

制御装置５は、反射光強度Ｆｒの検出値ｘｒを次の式（３）又は式（４）から算出する。制御装置５は、外乱光強度Ｆｎの検出値ｘｎを次の式（５）から算出する。

式（３）〜（５）では、右辺のＣ１〜Ｃ４は各画素Ｇごとの値になっている。これにより、画素Ｇごとに、反射光強度Ｆｒの検出値ｘｒ及び外乱光強度Ｆｎの検出値ｘｎが算出される。

式（４）及び式（５）では、Ｃ１〜Ｃ４について光源２の点灯期間におけるＣ１〜Ｃ４と光源２の消灯期間におけるＣ１〜Ｃ４とを区別している。光源２の点灯期間では、入射光Ｌｉには、外乱光Ｌｎと共に反射光Ｌｒが含まれる。これに対し、光源２の消灯期間では、反射光Ｌｒが存在しないので、入射光Ｌｉは外乱光Ｌｎのみとなる。このことを利用して、式（４）及び（５）から反射光強度Ｆｒの検出値ｘｒ及び検出値ｘｎを円滑に算出するとかできる。

式（４）では、Ｃ１〜Ｃ４の総和値について光源２の点灯期間と消灯期間との差分を計算し、該差分に基づいて検出値ｘｒを算出している。検出値ｘｒは、式（４）に代えて、Ｃ１〜Ｃ４の任意の１つ又は２つ以上の和（ただし、式（４）に相当する４つの和は除外）について光源２の点灯期間と消灯期間との差分として算出することもできる。

式（５）では、光源２の消灯期間におけるＣ１〜Ｃ４の総和に基づいて外乱光強度Ｆｎの検出値ｘｎを算出している。検出値ｘｎは、式（５）から算出する代わりに、光源２の消灯期間におけるＣ１〜Ｃ４の任意の１つ又は２つ以上の和（ただし、式（５）に相当する４つの和は除外）に基づいて算出することもできる。

次の式（６）〜（８）はそれぞれ温度起因誤差Ｅｔ、反射光起因誤差Ｅｒ及び外乱光起因誤差Ｅｎの算出式である。

上記の式（６）〜（８）は、いずれも常数付き関係式となっている。なお、Ｋｔａ，Ｋｔｂ，Ｋｔｃ，Ｋｒａ，Ｋｒｂ，Ｋｎａ，Ｋｎｂ，Ｋｎｃは常数である。

式（６）〜（８）は、それぞれ図５〜図７の特性を近似した常数付き関係式として、距離画像生成装置１の設計者が、カメラ４に装備する撮像素子４００の特性に適合する式を実験等に基づいて決定したものである。式（６）〜（８）は、あくまでも一例であり、式（６）〜（８）の式に代えて、２次以上の係数付き多項式を採用することもできる。

式（６）〜（８）の常数付き関係式は、それぞれ補正因子としての撮像素子温度Ｆｔ、反射光強度Ｆｒ又は外乱光強度Ｆｎごとに異なる関係式であることを示している。本発明者は、同一の補正因子に対しては、同一の常数付き関係式において常数値の変更により画素Ｇごとの補正因子の値と補正量との関係特性をほぼ算出できるという知見を得た。この知見に基づいて、各補正因子ごとに常数付き関係式は全画素に共通のものが使用される。これら常数付き関係式は、全画素Ｇに共通の関係式として記憶部５４（図１）に保存される。

これら常数付き関係式の各常数Ｋｔａ，Ｋｔｂ，Ｋｔｃ，Ｋｒａ，Ｋｒｂ，Ｋｎａ，Ｋｎｂ，Ｋｎｃの具体的な値（常数値）は、製造段階の試験に基づいて決定されたものであり、画素Ｇごとに記憶部５４に保存される。なお、Ｋｒｂのような０次の項の定数（常数の一種）は、個々の常数付き関係式に対応付けて記憶部５４に保存せず、各画素Ｇごとに全部の常数付き関係式に対してまとめて１つの定数Ｋｃを設定して、記憶部５４に保存することができる。その場合、画素Ｇごとの合計誤差Ｅｓは、合計誤差Ｅｓ＝定数無しの温度起因誤差Ｅｔ＋定数無しの反射光起因誤差Ｅｒ＋定数無しの外乱光起因誤差Ｅｎ＋定数Ｋｃの計算式で計算される。

制御装置５は、式（６）〜（８）を用いて画素Ｇごとに温度起因誤差Ｅｔ、反射光起因誤差Ｅｒ及び外乱光起因誤差Ｅｎを算出するとき、記憶部５４から各常数Ｋｔａ，Ｋｔｂ，Ｋｔｃ，Ｋｒａ，Ｋｒｂ，Ｋｎａ，Ｋｎｂ，Ｋｎｃの常数値を読出して、撮像素子温度Ｆｔ、反射光強度Ｆｒ及び外乱光強度Ｆｎの各常数に代入する。次に、常数値を代入された式（６）〜（８）に各画素Ｇごとの検出値を代入して、温度起因誤差Ｅｔ、反射光起因誤差Ｅｒ及び外乱光起因誤差Ｅｎを算出する。

位相差検出部５１及び距離計測部５２は、位相差φ及び計測距離Ｄｆを算出するのに当たり、フレームデータ生成部５５が生成するフレームデータを利用することができる。具体的には、フレームデータ生成部５５は、撮像素子４００の全画素Ｇから蓄積電荷量を読出して、各画素Ｇの蓄積電荷量のデータから成るサブフレームデータを生成するサブフレームデータ生成処理を繰り返し実行する。フレームデータ生成部５５は、連続して実行された複数のサブフレームデータ生成処理により生成された複数のサブフレームデータから成るフレームデータを生成する。

図８Ａ〜図８Ｃは、フレームデータ生成部５５が生成するフレームデータを包含するフレームＡ，Ｂ，Ｃの構造を示している。制御装置５は、式（１）〜（８）を用いて距離画像を生成する際に、フレームデータ生成部５５（図１）が生成したフレームＡ，Ｂ，Ｃのフレームデータとしての読出し値Ｃ１〜Ｃ４を使用する。

サブフレームデータは、フレームＡ〜Ｃのサブフレーム１〜６の各々に包含されている。フレームデータは、フレームＡ〜Ｃの各々におけるサブフレームデータ全体の集合となる。サブフレーム１〜４は、フレームＡ〜Ｃのどのフレームにも含まれる。

フレームＡ，Ｂのフレームデータは、本発明の第１種のフレームデータに相当する。フレームＣが包含するフレームデータは、本発明の第２種のフレームデータに相当する。サブフレーム１〜４が包含するサブフレームデータは、本発明の第１種のサブフレームデータに相当する。サブフレーム５，６が包含するサブフレームデータは、本発明の第２種のサブフレームデータ又は別のサブフレームデータに相当する。

図８Ａにおいて、フレームＡは、サブフレーム１〜５を有する。サブフレーム１〜４の第１種のサブフレームデータは、位相差検出部５１が位相差φを算出するときに使用する読出し値Ｃ１〜Ｃ４に相当する。サブフレーム５のサブフレームデータは、距離計測部５２が補正因子の検出値ｘｎを算出するときに使用する読出し値Ｃ１〜Ｃ４に相当する（前述の式（５））。

サブフレーム１〜４の生成に対応するサブフレームデータ生成処理の開始位相（図４のＴ１の開始位相に相当）は、照射光Ｌｏの各周期の開始位相を０°とし、０°に対する開始位相の位相差をδとすると、サブフレーム１〜４の順番にδが９０°（照射光Ｌｏの周期の１／４に相当）ずつ遅れる。

前述の図４のＴ１の開始位相は、照射光Ｌｏの位相の０°に合わせて０°になっている。図４のＴ１の開始位相で開始するサブフレーム１とし、照射光Ｌｏの位相は、３６０°に達するごとに０°にリセットされるとすると、サブフレーム２〜４のＴ１の開始位相としてのδは、それぞれ９０°、１８０°、２７０°になる。なお、サブフレーム１〜４の各々において、読出し値Ｃ１に対応するＴ１の開始位相がδ遅れると、それに伴い、読出し値Ｃ２〜Ｃ４に対応するＴ２〜Ｔ４の開始位相は、Ｔ１の開始位相よりもそれぞれ９０°＋δ，１８０°＋δ，２７０°＋δ遅れる。

サブフレーム１〜４のサブフレームデータとしての各画素Ｇの読出し値Ｃ１〜Ｃ４からＣ１〜Ｃ４の平均値が算出され、この平均値が改めて各画素ＧのＣ１〜Ｃ４とされてから、式（１）のＣ１〜Ｃ４に代入されて、位相差φが算出される。このようにＣ１〜Ｃ４の各々について平均値を用いることによりノイズやばらつきから影響を抑制した位相差φを算出することができる。

フレームデータ生成部５５は、サブフレーム１〜４のサブフレームデータを位相差検出部５１に分配し、サブフレーム５，６のサブフレームデータを距離計測部５２に分配する。

制御装置５は、サブフレーム５の期間では、光源２を消灯する。これにより、サブフレーム５の期間の入射光Ｌｉは外乱光Ｌｎのみとなり、サブフレーム５の期間に収集された各画素ＧのＣ１〜Ｃ４は、外乱光Ｌｎの入射強度のみに関係するものとなる。位相差検出部５１は、サブフレーム５のサブフレームデータに含まれる各画素ＧのＣ１〜Ｃ４のうちの１つ又は２以上の和に基づいて外乱光強度Ｆｎの検出値ｘｎを算出する。

図８ＢのフレームＢは、図８ＡのフレームＡに対してサブフレーム６が追加されている。サブフレーム６は、各画素Ｇにおける反射光Ｌｒの入射強度を検出するためのものであり、サブフレーム５と同様に、距離計測部５２が、補正因子の検出値を算出する読出し値Ｃ１〜Ｃ４となるサブフレームデータを包含する。

各画素Ｇにおける反射光Ｌｒの入射強度の検出値ｘｒは、特にサブフレーム６を追加しなくても、サブフレーム１〜４のうちの１つのサブフレームのＣ１〜Ｃ４又は２つ以上のサブフレームのＣ１〜Ｃ４の和を式（３）に代入することにより検出することができる。

位相差検出部５１は、追加したサブフレーム６を使用して、より正確に各画素Ｇの検出値ｘｒを検出することができる。なお、この場合は、前述の式（４）が使用される。すなわち、式（３）では、二乗や二乗根の計算が伴うのに対し、式（４）では、単純な加算式になる。

具体的には、位相差検出部５１は、サブフレーム６の期間では光源２を期間全体にわたり点灯状態を維持する。したがって、サブフレーム６に対して読出されたＣ１〜Ｃ４は、Ｌｉ（＝Ｌｎ＋Ｌｒ）の強度に関係する。位相差検出部５１は、各画素ＧのＣ１〜Ｃ４のうちの１つ又は２以上の和についてのサブフレーム６（光源２の点灯期間）における値とサブフレーム５（光源２の消灯期間）における値との差分を算出し、該差分に基づいて反射光強度Ｆｒの検出値ｘｒを検出する。

なお、サブフレーム１〜４における照射光Ｌｏでは、デューティ比が５０％であるのに対し、サブフレーム６の照射光Ｌｏでは、デューティ比が１００％となる。したがって、該差分を１／２にしてから、反射光強度Ｆｒの検出値ｘｒとする。

フレームＡ，Ｂは、本発明の第１フレームに相当するのに対し、図８ＣのフレームＣは、サブフレーム１〜４のみから成るものであり、本発明の第２種のフレームに相当する。フレームデータ生成部５５は、フレームＡ又はＢとフレームＣとを用いる場合は、測距対象７の運動速度や補正因子の変化速度に応じて、第１種のフレームとしてフレームＡ〜Ｃの生成頻度を制御する。

測距対象７の運動速度が速いときは、フレームＣの生成頻度を増大させて、撮像範囲６の距離Ｄの変化に対処する。測距対象７の運動速度が遅いときや、補正因子が急激に変化する状況では、フレームＡ又はＢの生成頻度を増大させる。

フレームＣは、サブフレーム５，６を有しないので、撮像素子温度Ｆｔ以外の補正因子としての反射光強度Ｆｒや外乱光強度Ｆｎの検出値に基づく補正量Ｄｈの計算が困難になる。したがって、制御装置５は、フレームＣから読出したＣ１〜Ｃ４に基づいて距離画像を生成するときは、反射光強度Ｆｒの検出値ｘｒ又は外乱光強度Ｆｎの検出値ｘｎは、フレームＣより前又は後（典型的には時間的に最も近い前又は後）のフレームＡ又はＢに基づいて検出したｘｒ又はｘｎを用いて、補正量Ｄｈを算出する。なお、ｘｒは、フレームＡ又はＢを利用しなくても、式（３）を用いてサブフレーム１〜４から算出することができる。

図９は、制御装置５が実施する距離画像生成方法のフローチャートである。なお、この距離画像生成方法では、図８ＢのフレームＢを使用すると想定して、フローチャートの説明を行う。

制御装置５は、ＬＯＯＰ１−Ｓ（−Ｓはループの開始を意味する）〜ＬＯＯＰ１−Ｅ（−Ｅはループの終了を意味する）において、全サブフレームに対してＬＯＯＰ１を実行する。ＬＯＯＰ１は、具体的には、制御装置５の位相差検出部５１が実行する。なお、全サブフレームとは、フレームＢのサブフレーム１〜６のことである。

制御装置５は、ＬＯＯＰ２−Ｓ〜ＬＯＯＰ２−Ｅにおいて、全画素ＧについてＬＯＯＰ２を実行する。ＬＯＯＰ２は、ＬＯＯＰ１内のループであるので、ＬＯＯＰ１と同様に、具体的には制御装置５の位相差検出部５１により実行される。

ＳＴＥＰ２１では、位相差検出部５１は、対象の画素ＧについてＣ１〜Ｃ４を読出す。こうして、ＬＯＯＰ−１の終了時には、サブフレーム１−６における全画素ＧのＣ１〜Ｃ４の読出しが終了している。したがって、各画素ＧについてＣ１〜Ｃ４は、サブフレーム１−６の個数としての６個ずつ収集される。

制御装置５は、ＬＯＯＰ３−Ｓ〜ＬＯＯＰ３−Ｅにおいて、全画素ＧについてＬＯＯＰ３を実行する。ＬＯＯＰ３は、具体的には制御装置５の位相差検出部５１及び距離計測部５２が実行する。

ＳＴＥＰ３１では、位相差検出部５１は、サブフレーム１〜４における各画素ＧについてＣ１〜Ｃ４の各４個ずつの各平均値を算出する。算出した平均値は改めてＣ１〜Ｃ４とされ、改められた後のＣ１〜Ｃ４が式（１）等の計算に使用される。

ＳＴＥＰ３２では、距離計測部５２は、各画素Ｇごとに検出値ｘｒ，ｘｎを算出する。具体的には、検出値ｘｒは、サブフレーム６で読出した光源２の点灯期間のＣ１〜Ｃ４と、サブフレーム５で読出した光源２の消灯期間のＣ１〜Ｃ４とを式（４）に適用して算出される。検出値ｘｎは、サブフレーム５で読出したＣ１〜Ｃ４を式（５）に適用して算出される。

ＳＴＥＰ３３では、距離計測部５２は、温度センサ４２０から撮像素子温度Ｆｔの検出値ｘｔを算出する。

制御装置５は、ＬＯＯＰ４−Ｓ〜ＬＯＯＰ４−Ｅにおいて、全画素ＧについてＬＯＯＰ４を実行する。ＬＯＯＰ４は、具体的には制御装置５の位相差検出部５１及び距離計測部５２が実行する。

ＳＴＥＰ４１では、位相差検出部５１は、各画素Ｇの位相差φを算出する。位相差φの算出式として、前述の式（１）が使用される。式（１）におけるＣ１〜Ｃ４には、位相差検出部５１がＳＴＥＰ３１で算出したＣ１〜Ｃ４の各々についての平均値が使用される。

ＳＴＥＰ４２では、距離計測部５２は、暫定距離Ｄａを算出する。暫定距離Ｄａの算出式として、前述の式（２）が使用される。

ＳＴＥＰ４３では、距離計測部５２は、補正量Ｄｈを算出する。具体的には、補正量Ｄｈ＝−合計誤差Ｅｓとされる。なお、合計誤差Ｅｓ＝温度起因誤差Ｅｔ＋反射光起因誤差Ｅｒ＋外乱光起因誤差Ｅｎである。距離計測部５２は、温度起因誤差Ｅｔ、反射光起因誤差Ｅｒ及び外乱光起因誤差Ｅｎをそれぞれ式（６）〜（８）に基づいて算出する。

ＳＴＥＰ４４では、距離計測部５２は、計測距離Ｄｆを算出する。具体的には、計測距離Ｄｆ＝暫定距離Ｄａ＋補正量Ｄｈとされる。

ＳＴＥＰ５１では、画像生成部５３は、距離計測部５２がＳＴＥＰ４４で画素Ｇごとに算出した計測距離Ｄｆに基づいて距離画像を生成する。

図１０は、撮像素子温度Ｆｔ及び反射光強度Ｆｒと応答曲面誤差Ｅｔｒとの関係を示す応答曲面グラフである。式（６）及び（７）では、撮像素子温度Ｆｔ及び反射光強度Ｆｒからそれぞれ温度起因誤差Ｅｔ及び反射光起因誤差Ｅｒを独立に算出して、それらの加算値Ｅｔ＋Ｅｒに基づいて誤差Ｅを算出するようにしている。しかしながら、一般的には、撮像素子温度Ｆｔと反射光強度Ｆｒとが相互に独立ではなく、図１０に示すように、相互に影響し合って、全体の誤差Ｅｔｒが決まる。

これに対処して、図１０の曲面特性を近似する応答曲面式が予め設定され、距離計測部５２は、該応答曲面式を用いて誤差Ｅｔｒを算出する。そして、距離計測部５２は、誤差Ｅｔｒを外乱光起因誤差Ｅｎ＋反射光起因誤差Ｅｒの代わりに使用する。

図１０では、応答曲面は１つしか記載されていないが、画素Ｇごとの特性のばらつきのために、図５及び図６と同じく、画素Ｇごとに異なる応答曲面になる。常数付き関係式としての常数付き応答曲面式も、全画素Ｇに共通に適用される。そして、該常数付き応答曲面式の各常数の具体的な値としての常数値が画素Ｇごとに相違し、該相違した常数値が各画素Ｇごとに記憶部５４に画素Ｇに対応付けて保存される。

距離計測部５２は、各画素Ｇごとに、記憶部５４から常数値を読出して、読み出した常数値を常数付き応答曲面式の各常数に代入する。距離計測部５２は、次に、常数値が代入された応答曲面式に検出値ｘｔ，検出値ｘｒを適用して、誤差Ｅｔｒを算出する。さらに、距離計測部５２は、誤差Ｅｔｒと別途算出した誤差Ｅｎとから補正量Ｄｈ（＝−Ｅｔｒ−Ｅｎ）を算出し、計測距離Ｄｆ（＝暫定距離Ｄａ＋補正量Ｄｈ）を算出する。

本発明は、以上の実施形態に限定されず、種々の変形を包含する。

実施形態では、補正因子は、撮像素子温度Ｆｔ、反射光強度Ｆｒ及び外乱光強度Ｆｎの３つであったが、３つのうちの少なくとも１つとして、計測距離Ｄｆを算出してもよい。

実施形態では、計測距離Ｄｆ＝暫定距離Ｄａ＋補正量Ｄｈ、補正量Ｄｈ＝−合計誤差Ｅｓ、合計誤差Ｅｓ＝温度起因誤差Ｅｔ＋反射光起因誤差Ｅｒ＋外乱光起因誤差Ｅｎとされているが、補正量Ｄｈに、合計誤差Ｅｓ以外の誤差を付加して、計測距離Ｄｆを算出することもできる。

本発明の第１期間、第２期間、第３期間及び第４期間は、実施形態のＴ１，Ｔ２，Ｔ３，Ｔ４に対応している。しかしながら、本発明の第１期間、第２期間、第３期間及び第４期間は、実施形態のＴ３，Ｔ４，Ｔ１，Ｔ２に対応させることも可能である。

本発明の第１値、第２値、第３値及び第４値は、実施形態のＣ１，Ｃ２，Ｃ３，Ｃ４に対応している。しかしながら、本発明の第１値、第２値、第３値及び第４値は、実施形態のＣ３，Ｃ４，Ｃ１，Ｃ２に対応させることも可能である。

本発明の第１電荷蓄積部、第２電荷蓄積部、第３電荷蓄積部及び第４電荷蓄積部は、実施形態のＦｄ１，Ｆｄ２，Ｆｄ３，Ｆｄ４に対応している。しかしながら、本発明の第１電荷蓄積部、第２電荷蓄積部、第３電荷蓄積部及び第４電荷蓄積部は、実施形態のＦｄ３，Ｆｄ４，Ｆｄ１，Ｆｄ２に対応させることも可能である。

本発明の第１電荷量、第２電荷量、第３電荷量及び第４電荷量は、実施形態において読出し値Ｃ１〜Ｃ４に対応してＦｄ１〜Ｆｄ４にそれぞれ蓄積されている電荷量に対応している。しかしながら、本発明の第１電荷量、第２電荷量、第３電荷量及び第４電荷量は、実施形態においてＦｄ３，Ｆｄ４，Ｆｄ１，Ｆｄ２に読出し値Ｃ３，ｃ４，Ｃ１，Ｃ２に対応して蓄積されている電荷量に対応させることも可能である。

Ｇ・・・画素、１・・・距離画像生成装置、２・・・光源、６・・・撮像範囲、７・・・測距対象、５１・・・位相差検出部、５２・・・距離計測部、５３・・・画像生成部、５４・・・記憶部、５５・・・フレームデータ生成部、４００・・・撮像素子、４２０・・・温度センサ。

Claims (8)

1. 撮像範囲に向けて変調された照明光を照射する光源と、
   複数の画素を有し、前記撮像範囲から各画素に入射した入射光の強度に関係して生成した各画素の電荷の蓄積電荷量を外部から読出し可能にしている撮像素子と、
   前記光源から出射する照明光と該照明光が前記撮像範囲の測距対象に反射して前記撮像素子の前記画素に入射した反射光との前記画素ごとの位相差を、前記撮像素子から読出した前記画素ごとの蓄積電荷量の読出し値に基づいて検出する位相差検出部と、
   該位相差検出部が検出した前記画素ごとの前記位相差に基づいて前記画素ごとに前記測距対象までの計測距離を算出する距離計測部と、
   該距離計測部が前記画素ごとに算出した前記計測距離に基づいて前記撮像範囲の距離画像を生成する画像生成部とを備え、
   前記距離計測部は、前記画素ごとの前記位相差に基づいて前記画素ごとに前記測距対象までの暫定距離を算出し、前記反射光の入射強度としての反射光強度と、外乱光の入射強度としての外乱光強度と、前記撮像素子の温度とのうち少なくとも１つを前記暫定距離の補正因子として、該補正因子の検出値に基づいて前記画素ごとに前記暫定距離の補正量を算出し、前記画素ごとに前記暫定距離と前記補正量とに基づいて前記計測距離を算出することを特徴とする距離画像生成装置。
2. 請求項１記載の距離画像生成装置において、
   前記補正因子の値と前記補正量との関係を規定する常数付き関係式を保存する記憶部を備え、
   前記距離計測部は、前記画素ごとに検出した前記補正因子の検出値を、前記記憶部に保存されている前記常数付き関係式に適用して、前記画素ごとに前記補正量を算出することを特徴とする距離画像生成装置。
3. 請求項２記載の距離画像生成装置において、
   前記常数付き関係式は、各補正因子ごとにその検出値と前記補正量との画素ごとの関係特性を常数値の変更により規定する式として、全画素に共通に設定され、前記距離計測部は、画素ごとに設定された常数値を適用された前記常数付き関係式に基づいて前記前記画素ごとの前記補正量を算出することを特徴とする距離画像生成装置。
4. 請求項１〜３のいずれか１項に記載の距離画像生成装置において、
   前記撮像素子は、前記画素ごとに、長さが前記照明光の１周期未満の等しい長さで、開始が前記照明光の周期の１／４ずつ順番に遅らせた第１期間、第２期間、第３期間及び第４期間における前記入射光の強度に関係する第１電荷量の電荷、第２電荷量の電荷、第３電荷量の電荷及び第４電荷量の電荷をそれぞれ蓄積する第１電荷蓄積部、第２電荷蓄積部、第３電荷蓄積部及び第４電荷蓄積部を有し、
   前記撮像素子は、前記第１電荷量、前記第２電荷量、前記第３電荷量及び前記第４電荷量をそれぞれ第１値、第２値、第３値及び第４値として外部から読出し可能とされ、
   前記距離計測部は、前記光源の消灯期間における前記第１値、前記第２値、前記第３値及び前記第４値のうちの１つ又は２つ以上の和に基づいて前記外乱光強度の検出値を算出することを特徴とする距離画像生成装置。
5. 請求項１〜４のいずれか１項に記載の距離画像生成装置において、
   前記撮像素子は、前記画素ごとに、長さが前記照明光の１周期未満の等しい長さで、開始が前記照明光の周期の１／４ずつ順番に遅らせた第１期間、第２期間、第３期間及び第４期間における前記入射光の強度に関係する第１電荷量の電荷、第２電荷量の電荷、第３電荷量の電荷及び第４電荷量の電荷をそれぞれ蓄積する第１電荷蓄積部、第２電荷蓄積部、第３電荷蓄積部及び第４電荷蓄積部を有し、
   前記撮像素子は、前記第１電荷量、前記第２電荷量、前記第３電荷量及び前記第４電荷量をそれぞれ第１値、第２値、第３値及び第４値として外部から読出し可能とされ、
   前記距離計測部は、前記撮像素子から読出された前記第１値、前記第２値、前記第３値及び前記第４値に基づいて、前記第１値と前記第３値との差分の二乗と、前記第２値と前記第４値との差分の二乗との和の二乗根を算出し、該二乗根に基づいて前記反射光強度の検出値を算出することを特徴とする距離画像生成装置。
6. 請求項１〜４のいずれか１項に記載の距離画像生成装置において、
   前記撮像素子は、前記画素ごとに、長さが前記照明光の１周期未満の等しい長さで、開始が前記照明光の周期の１／４ずつ順番に遅らせた第１期間、第２期間、第３期間及び第４期間における前記入射光の強度に関係する第１電荷量の電荷、第２電荷量の電荷、第３電荷量の電荷及び第４電荷量の電荷をそれぞれ蓄積する第１電荷蓄積部、第２電荷蓄積部、第３電荷蓄積部及び第４電荷蓄積部を有し、
   前記撮像素子は、前記第１電荷量、前記第２電荷量、前記第３電荷量及び前記第４電荷量をそれぞれ第１値、第２値、第３値及び第４値として外部から読出し可能とされ、
   前記距離計測部は、前記撮像素子から読出された前記第１値、前記第２値、前記第３値及び前記第４値のうちの１つ又は２つ以上の和についての前記光源の点灯期間における値と消灯期間における値との差分に基づいて前記反射光強度の検出値を算出することを特徴とする距離画像生成装置。
7. 請求項１〜６のいずれか１項に記載の距離画像生成装置において、
   前記撮像素子の全画素から前記蓄積電荷量を読出して、各画素の蓄積電荷量のデータから成るサブフレームデータを生成するサブフレームデータ生成処理を繰り返し実行し、連続して実行された複数のサブフレームデータ生成処理により生成された複数のサブフレームデータから成るフレームデータを生成するフレームデータ生成部を備え、
   前記位相差検出部は、前記フレームデータに含まれる所定のサブフレームデータに基づいて前記位相差を検出し、
   前記距離計測部は、前記位相差検出部が検出した前記位相差に基づいて算出した前記暫定距離と、前記フレームデータに含まれる前記所定のサブフレームデータとは別のサブフレームデータに基づいて算出した前記補正因子の検出値とに基づいて前記計測距離を算出することを特徴とする距離画像生成装置。
8. 請求項１〜６のいずれか１項に記載の距離画像生成装置において、
   前記撮像素子の全画素から前記蓄積電荷量を読出して、各画素の蓄積電荷量のデータから成るサブフレームデータを生成するサブフレームデータ生成処理を繰り返し実行し、連続して実行された複数のサブフレームデータ生成処理により生成された複数のサブフレームデータから成るフレームデータを生成するフレームデータ生成部を備え、
   前記位相差検出部は、前記フレームデータに含まれる第１種のサブフレームに基づいて前記位相差を検出し、
   前記距離計測部は、前記第１種のサブフレームに加え第２種のサブフレームに基づいて前記補正因子の検出値を算出し、
   前記フレームデータ生成部は、前記第１種のサブフレームデータと前記第２種のサブフレームデータとの両方を含む第１種のフレームデータと、前記第１種のサブフレームデータのみから成る第２種のフレームデータとの２種類のフレームデータを生成し、
   前記距離計測部は、前記位相差検出部が前記第２種のフレームデータの前記第１種のサブフレームデータに基づいて算出した位相差に基づいて前記計測距離を算出するときは、前記位相差検出部が前記第２種のフレームデータの前記第１種のサブフレームデータに基づいて算出した位相差と前記フレームデータ生成部が生成した第１種のフレームデータの第２種のサブフレームデータに基づいて算出した前記補正因子の検出値とに基づいて前記計測距離を算出することを特徴とする距離画像生成装置。