JP2020197422A - マルチパス検出装置およびマルチパス検出方法 - Google Patents

Abstract

【課題】マルチパスの有無を判定するための処理負荷を軽減する。
【解決手段】マルチパス検出装置１００は、信号制御部１０１と、発光部１０２と、受光部１０３と、マルチパスでない環境において、深度に関する参照データＤ_ｒｅｆを保持するデータ保持部１１３と、第１のタイミングＴｍ１で露光することで得られる受光量Ｒ１と第２のタイミングＴｍ２で露光することで得られる受光量Ｒ２との比とによって求まる第１の深度Ｄ１、および、第３のタイミングＴｍ３で露光することで得られる受光量Ｒ３と第４のタイミングＴｍ４で露光することで得られる受光量Ｒ４との比によって求まる第２の深度Ｄ２を算出する信号処理部１０４と、第１の深度Ｄ１および第２の深度Ｄ２の差と参照データＤ_ｒｅｆとを用いてマルチパスの有無を判定する判定部１１２と、を備える。
【選択図】図１５

Description

本開示は、測定対象までの距離を測定する際にマルチパスの有無を検出するマルチパス検出装置、および、マルチパス検出方法に関する。

従来、測定対象にあたって返ってくる光の飛行時間に基づいて測定対象までの距離を測定するＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラシステムが知られている。このＴＯＦカメラシステムでは、測定対象から直接返ってくる直接光と測定対象と異なる物体を介して返ってくる間接光とが混在する場合、測定誤差が大きくなって測定精度が劣化する。これに対して、例えば非特許文献１は、マルチパスの影響を軽減するＴＯＦカメラシステムを提案している。

D.Freedman,E.Krupka,Y.Smolin,I.Leichter,and M.Schmidt,"SRA:Fast removal of general multipath for ToF sensors." In Proceedings of the 13th European Conference on Computer Vision (ECCV'14).234--249

マルチパスの影響を軽減するには、測定環境が直接光と間接光とが混在するマルチパス環境にあるか否かを判定した後、マルチパスの有無に応じた処理を行う必要がある。しかしながら、非特許文献１のＴＯＦカメラシステムでは、マルチパスの有無を判定するための計算量が多く、つまり処理負荷が重いという問題がある。

本開示のマルチパス検出装置は、発光制御信号および露光制御信号を出力する信号制御部と、前記発光制御信号に従って発光する発光部と、前記露光制御信号に従って露光することで光を受光する受光部と、マルチパスでない環境において、前記信号制御部からの所定の発光制御信号に従って所定のタイミングで露光することで得られる前記受光部の受光量、および、前記所定の発光制御信号と異なる時間帯に出力される前記信号制御部からの発光制御信号に従って前記所定のタイミングと異なるタイミングで露光することで得られる前記受光部の受光量の比によって求まる深度に関する参照データを保持するデータ保持部と、前記信号制御部からの第１の発光制御信号に従って第１のタイミングで露光することで得られる前記受光部の受光量と、前記第１の発光制御信号と異なる時間帯に出力される前記信号制御部からの第２の発光制御信号に従って前記第１のタイミングと異なる第２のタイミングで露光することで得られる前記受光部の受光量との比とによって求まる第１の深度、および、前記信号制御部からの第３の発光制御信号に従って第３のタイミングで露光することで得られる前記受光部の受光量と、前記第３の発光制御信号と異なる時間帯に出力される前記信号制御部からの第４の発光制御信号に従って前記第３のタイミングと異なる第４のタイミングで露光することで得られる前記受光部の受光量との比によって求まる第２の深度を算出する信号処理部と、前記第１の深度および前記第２の深度の差と前記参照データとを用いて前記マルチパスの有無を判定する判定部と、を備える。

本開示のマルチパス検出方法は、マルチパスでない環境において、所定の発光制御信号に従って所定のタイミングで露光することで得られる受光量と、前記所定の発光制御信号と異なる時間帯に出力される発光制御信号に従って前記所定のタイミングと異なるタイミングで露光することで得られる受光量との比によって求まる深度に関する参照データを保存するステップと、第１の発光制御信号に従って第１のタイミングで露光することで得られる受光量と、前記第１の発光制御信号と異なる時間帯に出力される第２の発光制御信号に従って前記第１のタイミングと異なる第２のタイミングで露光することで得られる受光量との比によって求まる第１の深度を算出するステップと、第３の発光制御信号に従って第３のタイミングで露光することで得られる受光量と、前記第３の発光制御信号と異なる時間帯に出力される第４の発光制御信号に従って前記第３のタイミングと異なる第４のタイミングで露光することで得られる受光量との比によって求まる第２の深度を算出するステップと、前記第１の深度および前記第２の深度の差と前記参照データとを用いて前記マルチパスの有無を判定するステップと、を含む。

本開示に係るマルチパス検出装置およびマルチパス検出方法によれば、マルチパスの有無を判定するための処理負荷を軽減することができる。

図１は、一般的な距離情報取得装置の構成例を示すブロック図である。 図２は、マルチパスでない環境における距離情報取得装置の動作の一例を示すタイムチャートである。 図３は、マルチパスでない環境における距離情報取得装置の動作の他の一例を示すタイムチャートである。 図４は、直接光と間接光が混在するマルチパス環境の一例を示す図である。 図５は、マルチパス環境における距離情報取得装置の動作の一例を示すタイムチャートである。 図６は、マルチパスでない環境における距離情報取得装置の実際の動作の一例を示すタイムチャートである。 図７Ａは、照射光の発光強度の時間波形を示すグラフである。 図７Ｂは、マルチパスでない環境において、反射光の受光量の時間波形を示すグラフである。 図７Ｃは、マルチパスでない環境において、照射光を出射してから反射光を受光するまでの光往復時間と深度との関係を示すグラフである。 図７Ｄは、図７Ｃの深度と深度の傾きとの関係を示すグラフである。 図８は、間接反射光が直接反射光よりも遅く返ってくるマルチパス環境における距離情報取得装置の動作の一例を示すタイムチャートである。 図９Ａは、図８に示すマルチパス環境において、直接反射光および間接反射光のそれぞれの受光強度の時間波形を示すグラフである。 図９Ｂは、直接反射光および間接反射光を合わせた混合反射光の受光量の時間波形を示すグラフである。 図９Ｃは、図８に示すマルチパス環境において、照射光を出射してから混合反射光を受光するまでの光往復時間と深度との関係を示すグラフである。 図９Ｄは、図９Ｃの深度と深度の傾きとの関係を示すグラフである。 図１０は、間接反射光が直接反射光よりも早く返ってくるマルチパス環境の一例を示す図である。 図１１は、間接反射光が直接反射光よりも早く返ってくるマルチパス環境における距離情報取得装置の動作の一例を示すタイムチャートである。 図１２Ａは、図１１に示すマルチパス環境において、直接反射光および間接反射光のそれぞれの受光強度の時間波形を示すグラフである。 図１２Ｂは、直接反射光および間接反射光を合わせた混合反射光の時間波形を示すグラフである。 図１２Ｃは、図１１に示すマルチパス環境において、照射光を出射してから混合反射光を受光するまでの光往復時間と深度との関係を示すグラフである。 図１２Ｄは、図１２Ｃの深度と深度の傾きとの関係を示すグラフである。 図１３Ａは、複数の間接光が発生する状態を示す説明図である。 図１３Ｂは、複数の間接光のそれぞれの受光量の時間波形を示すグラフである。 図１３Ｃは、複数の間接光の合計受光量の時間波形を示すグラフである。 図１４は、実施例１に係るマルチパス検出装置の構成例を示すブロック図である。 図１５は、実施例１に係るマルチパス検出装置の動作を示すタイムチャートである。 図１６は、実施例１に係るマルチパス検出方法を示すフローチャートである。 図１７は、実施例１の変形例に係るマルチパス検出装置の動作を示すタイムチャートである。 図１８は、実施例２に係るマルチパス検出装置の構成例を示すブロック図である。 図１９は、実施例２に係るマルチパス検出装置の動作を示すタイムチャートである。 図２０は、実施例２に係るマルチパス検出方法を示すフローチャートである。

以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本開示の一形態に係る実現形態を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。本開示の実現形態は、現行の独立請求項に限定されるものではなく、他の独立請求項によっても表現され得る。

なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略または簡略化される場合がある。

（本開示の基礎となる知見）
本開示の基礎となる知見について図１〜図１３Ｃを参照しながら説明する。なお、本開示の基礎となる知見には、従来技術にはない新たな知見および新たな知見の基礎となる従来の知見も含まれる。

［１．一般的な距離情報取得装置］
まず、一般的な距離情報取得装置について、図１を参照しながら説明する。

図１は、一般的な距離情報取得装置の構成例を示すブロック図である。なお、図１には、測定対象である物体ＯＢＪも図示されている。

距離情報取得装置は、測定対象にあたって返ってくる光の飛行時間に基づいて測定対象までの距離を測定するＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式による測距装置である。距離情報取得装置は、信号制御部１０１、発光部１０２、受光部１０３および信号処理部１０４を備える。

信号制御部１０１は、発光部１０２の発光を制御する発光制御信号を発光部１０２に出力する。また、信号制御部１０１は、受光部１０３の露光を制御する露光制御信号を受光部１０３に出力する。

発光部１０２は、発光制御信号の発光パルスに従って発光する、つまり照射光を出射する。照射光は、例えば近赤外光である。照射光は、物体ＯＢＪにて反射され、反射光となって距離情報取得装置に返る。

受光部１０３は、行列状に配列された複数の画素を有する固体撮像素子である。受光部１０３は、露光制御信号の露光パルスに従って反射光を受光し、受光信号を信号処理部１０４に出力する。

信号処理部１０４は、後述する３種類の発光露光処理で得られた受光信号列から、受光部１０３の画素毎に深度Ｄおよび輝度Ｂを算出する。この深度Ｄに基づいて距離を求めることができる。深度Ｄおよび輝度Ｂの求め方については後述する。

次に、マルチパスでない環境における距離情報取得装置の動作について説明する。なお、マルチパスでない環境とは、間接光が無く、直接光のみが存在する環境を意味する。

図２は、マルチパスでない環境における距離情報取得装置の動作の一例を示すタイムチャートである。

図２には、発光パルスを有する発光制御信号（または照射光）１Ａの波形と、受光部１０３に入射する入射光１Ｃの波形と、露光パルスを有する露光制御信号１Ｄの波形とが示されている。入射光１Ｃの波形は、受光部１０３が受光する受光信号量によって表される。なおこの例では、発光制御信号および照射光の波形の形状は、ほぼ同じとみなしている。

発光パルスは、ハイレベルでアクティブを示す正論理であり、露光パルスは、ローレベルでアクティブを示す負論理である。入射光１Ｃは、照射光が物体ＯＢＪにあたって返ってくる反射光と、背景光とを含む。反射光は、照射光の照射開始から所定時間遅れて受光部１０３に入射される。この遅れ時間は、距離情報取得装置から物体ＯＢＪまでの距離に依存する。入射光１Ｃのうち同図の黒塗り領域（１か所）および斜線ハッチング領域（２か所）は、画素毎の受光信号量に該当する。

測距を行うための発光露光処理は、例えば、発光および露光を行うＳ０露光と、Ｓ０露光と異なる時間帯に発光および露光を行うＳ１露光と、Ｓ０露光およびＳ１露光と異なる時間帯に露光を行うＢＧ露光とによって実現される。なお、Ｓ０露光およびＳ１露光では、発光制御信号１Ａの開始時間をｔ＝０とし、ＢＧ露光では、露光制御信号１Ｄの開始時間をｔ＝０としている。

Ｓ０露光では、露光パルスは、発光パルスの開始と同時にアクティブになる。つまり露光は、発光と同時（ｔ＝０）に開始される。露光パルスのパルス幅Ｔ_Ｓ１は、発光パルスのパルス幅Ｔ_Ｌの２倍、または、２倍よりも長く設定される。Ｓ０露光では、例えば、反射光の全体を露光可能である。

Ｓ１露光では、露光パルスは、発光パルスの終了と同時にアクティブになる。つまり露光は、発光の終了時点（ｔ＝Ｔ_Ｌ）に開始される。露光パルスのパルス幅Ｔ_ｓ１は、Ｓ０露光と同じパルス幅である。Ｓ１露光では、例えば、全体の反射光のうち、発光パルスの終了後に入射した反射光を露光可能である。

ＢＧ露光では、露光パルスは、発光パルスの発生無しにアクティブになる。すなわちＢＧ露光では、反射光が存在しない背景光を露光する。露光パルスのパルス幅Ｔ_ｓ１は、Ｓ０露光およびＳ１露光と同じパルス幅である。

なお、Ｓ０露光、Ｓ１露光、ＢＧ露光では、実際には複数の発光パルスまたは複数の露光パルスにともなう各処理が実行される。同図には、これらの各処理が積算された結果が示されている。

信号処理部１０４は、Ｓ０露光、Ｓ１露光、ＢＧ露光における画素毎の受光信号量（受光により生じる信号電荷量）を用いて、画素毎に距離Ｌおよび輝度Ｂを算出する。

ここでＳ０露光、Ｓ１露光、ＢＧ露光における画素毎の受光信号量を、それぞれ受光量Ｓ０、受光量Ｓ１、受光量ＢＧとすると、画素毎の距離Ｌは、数式１により算出される。深度Ｄは、数式１の右辺の第２項であり、受光量（Ｓ１−ＢＧ）を受光量（Ｓ０−ＢＧ）で除算して求められる。また、画素毎の輝度Ｂは、数式２により算出される。なお、ｃは光速（約２９９，７９２，４５８ｍ／ｓ）であり、Ｔ_Ｌは発光パルスのパルス幅である。

次に、マルチパスでない環境における距離情報取得装置の動作の他の一例について説明する。

図３は、マルチパスでない環境における距離情報取得装置の動作の他の一例を示すタイムチャートである。

図３には、発光制御信号（または照射光）２Ａの波形と、入射光２Ｃの波形と、露光制御信号２Ｄの波形とが示されている。図３に示す他の一例は、露光パルスのパルス幅が、発光パルスのパルス幅と同じである点で、図２に示す例と異なっている。この場合、画素毎の距離Ｌは、数式３により算出され、輝度Ｂは、数式４により算出される。

［２．測定誤差が生じる仕組み］
次に、マルチパスが存在する環境において測定誤差が生じる仕組みについて、図４および図５を参照しながら説明する。

図４は、直接光と間接光とが混在するマルチパス環境の一例を示す図である。

図４に示す物体ＯＢＪ１は、測定対象であり、物体ＯＢＪ２は、間接光の原因となる物体である。距離測定結果ＯＢＪ１Ｅは、距離情報取得装置から物体ＯＢＪ１を観測した場合に、マルチパスに起因する測定誤差によって形成される像である。

図４には、直接光の経路および間接光の経路が示されている。

直接光の経路は、物体ＯＢＪ１を経由する経路であり、直接照射光（Ｄ−Ｐａｔｈ１）が、物体ＯＢＪ１で反射され直接反射光（Ｄ−Ｐａｔｈ２）となり、受光部１０３の画素１０３ａに到達する経路である。

間接光の経路は、物体ＯＢＪ２および物体ＯＢＪ１を経由する経路であって、間接照射光（Ｍ−Ｐａｔｈ１）が、物体ＯＢＪ２にて反射されて間接照射光（Ｍ−Ｐａｔｈ２）となり、さらに物体ＯＢＪ１に反射されて間接反射光（Ｍ−Ｐａｔｈ３）となり、受光部１０３の画素１０３ａに到達する経路である。

図５は、マルチパス環境における距離情報取得装置の動作の一例を示すタイムチャートである。

図５には、発光制御信号（または照射光）３Ａの波形と、直接反射光（Ｄ−Ｐａｔｈ２）３Ｃ１の波形と、間接反射光（Ｍ−Ｐａｔｈ３）３Ｃ２の波形と、直接反射光３Ｃ１および間接反射光３Ｃ２の和である混合反射光３Ｃの波形と、露光制御信号３Ｄの波形とが示されている。このうち、発光制御信号３Ａ、直接反射光３Ｃ１および露光制御信号３Ｄの各波形は、図２に示した発光制御信号２Ａ、入射光２Ｃおよび露光制御信号２Ｄの各波形と同じである。つまり、図５は、図２に対して間接反射光３Ｃ２および混合反射光３Ｃの各波形が追加された図となっている。

Ｓ０露光における受光量Ｓ０は、直接反射光３Ｃ１による受光量Ｄ０と、間接反射光３Ｃ２による受光量Ｍ０との合計になる。同様に、Ｓ１露光における受光量Ｓ１は、直接反射光３Ｃ１による受光量Ｄ１ａと、間接反射光３Ｃ２による受光量Ｍ１との合計になる。これらを数式１に当てはめると、画素毎の距離Ｌは、数式５で表される。

上記の例を、露光パルスおよび発光パルスのパルス幅が同じである図３の他の一例に適用すると以下のようになる。すなわち、Ｓ０露光における受光量Ｓ０は、直接反射光３Ｃ１による受光量Ｄ０と、間接反射光３Ｃ２による受光量Ｍ０との合計となり、Ｓ１露光における受光量Ｓ１は、直接反射光３Ｃ１による受光量Ｄ１ａと、間接反射光３Ｃ２による受光量Ｍ１との合計となる。これらを数式３に当てはめると、図３の他の一例に示す場合の画素毎の距離Ｌは、数式６により算出される。

数式５の間接反射光３Ｃ２による受光量Ｍ０、Ｍ１は、物体ＯＢＪ１の距離だけでなく、周辺物体の配置位置および反射率にも依存した値となる。そのため、数式５で算出された距離Ｌは、予測不能な測定誤差を含むことになり、測定精度を小さく劣化させたり大きく劣化させたりする。数式６についても同様である。

［３．距離情報取得装置の実際の動作］
次に、距離情報取得装置の実際の動作について、図６〜図７Ｃを参照しながら説明する。なおここでは、マルチパスでない環境について説明する。

図６は、マルチパスでない環境における距離情報取得装置の実際の動作の一例を示すタイムチャートである。

図６には、発光制御信号４Ａの波形と、照射光４Ｂの波形と、入射光４Ｃの波形と、露光制御信号４Ｄの波形とが示されている。このうち、発光制御信号４Ａおよび露光制御信号４Ｄの各波形は、図２に示した発光制御信号１Ａおよび露光制御信号１Ｄの各波形と同じである。つまり、図６は、図２に対して、照射光４Ｂの波形が追加された図となっている。また、図６の照射光４Ｂおよび入射光４Ｃの波形は、実動作でおこるパルス波形が歪んだ波形となる。

発光制御信号４Ａは、時間ｔ＝０で発光を開始し、時間ｔ＝Ｔｒで発光を終了するように制御する信号である。それに対し発光部１０２から実際に発光される照射光４Ｂの波形は、発光開始ｔ＝０から徐々に立ち上がり、発光終了ｔ＝Ｔｒから徐々に立ち下がり、時間ｔ＝Ｔ_ｒ＋Ｔ_ｆで下がりきる。時間Ｔｒはパルスの立ち上がり時間に相当し、時間Ｔ_ｆはパルスの立ち下り時間に相当する。

この立ち上がり時間および立下り時間は、距離情報取得装置の制御回路を起因として発生する。立ち上がり時間および立ち下がり時間を考慮するのは、本開示における発光パルスのパルス幅がｎｓｅｃオーダーとなっているからである。例えば、０ｍから３ｍまでの距離を測定する場合、光の往復時間は約２０ｎｓｅｃであるので、発光パルスのパルス幅を２０ｎｓｅｃに設定する必要がある。このように発光パルスのパルス幅が短い場合、立ち上がり時間および立ち下がり時間を無視できなくなる。そのため、発光部１０２から照射される照射光４Ｂの波形は、実際には図６に示すように、単調増加した後、単調減少する歪みパルス波形となる。なお、照射光４Ｂの波形は、三角波状または鋸歯状の波形で表されてもよい。このように、照射光４Ｂの波形が立ち上がり時間および立ち下がり時間を有するパルス波形であるため、入射光４Ｃの波形も立ち上がり時間および立ち下がり時間を有する波形となる。本開示では、この波形の形状を利用してマルチパスの有無の検出を行う。

図７Ａは、照射光４Ｂの発光強度Ｉの時間波形を示すグラフである。

図７Ａに示すように、時間（時刻）ｔにおける発光強度Ｉは、照射光４Ｂの発光開始時間をｔ＝０とすると、数式７〜数式１０で表される。

数式８のτ_ｒは発光パルスの立ち上がりの時定数、数式９のτ_ｆは発光パルスの立ち下がりの時定数、Ｔ_ｒは立ち上がり時間、Ｔ_ｆは立ち下がり時間、ａは立ち下がり開始時における発光強度である。図７Ａのグラフの波形は、時定数τ_ｒ＝３．０ｎｓｅｃ、時定数τ_ｆ＝１．４ｎｓｅｃ、立ち上がり時間Ｔ_ｒ＝１２．７ｎｓｅｃ、立ち下り時間Ｔ_ｆ＝７．３ｎｓｅｃとなっている。

図７Ｂは、マルチパスでない環境において、反射光の受光量の時間波形を示すグラフである。なお、反射光の受光量は、図６の入射光４Ｃから背景光を取り除いた光の量である。

図７Ｂに示すように、時間（時刻）ｔにおける受光量Ｒ_{ｄｉｒｅｃｔ}は、照射光４Ｂの発光開始時間をｔ＝０とし、また、照射光４Ｂが測定対象から直接反射光として返ってくるまでの直接光の光往復時間をｔ１とすると、数式１１で表される。

数式１１のａ_ｔ１は立ち下がり開始時における受光強度である。光は距離の二乗で減衰し、かつ、測定対象の反射率に依存するので、受光強度ａ_ｔ１は未知数となる。受光量Ｒ_{ｄｉｒｅｃｔ}の波形は、数式１１が示すように、数式８〜数式１０の波形ｆ（ｔ）を測定対象までの光往復時間ｔ_１分だけシフトさせた波形に対して、未知数の受光強度ａ_ｔ１で減衰させた波形となっている。

ここで、図６における露光パルスのパルス幅Ｔ_Ｓ１＝２×（Ｔ_ｒ＋Ｔ_ｆ）とし、数式７において発光強度Ｉおよびａ＝１であるときの波形ｆ（ｔ）の面積をＳとすると、図６のＳ０露光による受光量（Ｓ０−ＢＧ）は、数式１２で表される。

また、図６のＳ１露光による受光量（Ｓ１−ＢＧ）は、数式１３で表される。

前述したように、深度Ｄは数式１における右辺の第２項であり、受光量（Ｓ１−ＢＧ）を受光量（Ｓ０−ＢＧ）で除算して求められる。したがって深度Ｄを算出する際、未知数である受光強度ａ_ｔ１が相殺され、光往復時間ｔ１を求めることができる。光往復時間ｔ_１が求まると、数式１４により距離Ｌが求められる。

図７Ｃは、マルチパスでない環境において、照射光４Ｂを出射してから反射光を受光するまでの光往復時間ｔと深度Ｄとの関係を示すグラフである。図７Ｄは、図７Ｃの深度Ｄと深度の傾きαとの関係を示すグラフである。なお、図７Ｄについては後で詳しく説明する。

図７Ｃでは、光往復時間ｔ＝０で受光した場合の深度をＤ（０）とし、光往復時間ｔ＝ｔ_１で受光した場合の深度をＤ（ｔ_１）とし、これらを通る曲線を実線で示している。深度Ｄおよび光往復時間ｔ_１は１対１の関係にあり、光往復時間ｔ_１および距離Ｌは１対１の関係にあるため、深度Ｄ（ｔ_１）がわかると光往復時間ｔ_１がわかり、数式１４を用いて距離Ｌが求められる。また、輝度Ｂは、数式１２を用いて求められる。

上記の例を、露光パルスおよび発光パルスのパルス幅が同じである図３の他の一例に適用すると、Ｓ０露光による受光量（Ｓ０−ＢＧ）は、以下の数式１５にて算出される。

一方、図３の他の一例のＳ１露光による受光量Ｓ１は、反射光の受光量が同じなので、数式１３と同じである。

図３の他の一例の深度Ｄは、数式３における右辺の第２項であり、受光量（Ｓ１−ＢＧ）を、受光量（Ｓ０−ＢＧ）および受光量（Ｓ１−ＢＧ）の加算結果で除算した値となる。数式３の右辺の第２項の分母である数式１５および数式１３を加算すると、以下の数式１６となる。

数式１６は、数式１２と等しいので、数式１４を用いて同様に距離Ｌが求められる。なお、輝度Ｂは、数式１６にて求められる。

［４．マルチパス環境における距離情報取得装置の実際の動作］
次に、マルチパス環境における距離情報取得装置の実際の動作について、図８〜図１３Ｃを参照しながら説明する。

マルチパスには、例えば、間接反射光が直接反射光よりも遅れて受光部１０３に到達する第１例、および、間接反射光が直接反射光よりも早く受光部１０３に到達する第２例がある。

まず、マルチパスの第１例について説明する。

前述した図４に示すように、物体ＯＢＪ１よりも前に別の物体ＯＢＪ２がある場合にマルチパスとなって測定誤差が生じる。

図８は、間接反射光が直接反射光よりも遅く返ってくるマルチパス環境における距離情報取得装置の動作の一例を示すタイムチャートである。

図８には、発光制御信号５Ａの波形と、照射光５Ｂの波形と、直接反射光（Ｄ−Ｐａｔｈ２）５Ｃ１の波形と、間接反射光（Ｍ−Ｐａｔｈ３）５Ｃ２の波形と、入射光５Ｃの波形と、露光制御信号５Ｄの波形とが示されている。

入射光５Ｃは、混合反射光と背景光とを含む。混合反射光は、照射光５Ｂを受けて物体ＯＢＪ１から返ってくる直接反射光、および、物体ＯＢＪ２を介して照射光５Ｂを受けて物体ＯＢＪ１から返ってくる間接反射光の和である。このうち、発光制御信号５Ａ、照射光５Ｂ、直接反射光５Ｃ１、および、露光制御信号５Ｄの各波形は、図６に示した発光制御信号４Ａの波形、照射光４Ｂの波形、入射光４Ｃのうちの反射光の波形、および、露光制御信号４Ｄの波形と同じである。つまり、図８は、図６に対して、間接反射光５Ｃ２、および、入射光５Ｃの各波形を追加した図になっている。

図９Ａは、図８に示すマルチパス環境において、直接反射光５Ｃ１および間接反射光５Ｃ２のそれぞれの受光強度の時間波形を示すグラフである。

図９Ａに示すように、間接反射光５Ｃ２は、直接反射光５Ｃ１よりも長い経路を通っているため、時間的な遅れが生じている。直接反射光５Ｃ１の光往復時間を、図７Ｂおよび数式１１で示した通りｔ_１とし、この光往復時間ｔ_１を基点とした間接反射光５Ｃ２の遅れ時間をマルチパス遅れ時間ｔ_ｂとすると、時間（時刻）ｔにおける間接反射光５Ｃ２の受光量Ｒ_{ｉｎｄｉｒｅｃｔ}は、数式１７で表される。

ここで、ｂ_ｔ１は間接反射光５Ｃ２の立ち下がり開始時における受光強度である。光は距離の二乗で減衰し、かつ、測定対象の反射率および通過した経路上の物体の反射率に依存するので受光強度ｂ_ｔ１は未知数となる。

図９Ｂは、直接反射光５Ｃ１および間接反射光５Ｃ２を合わせた混合反射光の受光量の時間波形を示すグラフである。実際には図９Ａに示すような直接反射光５Ｃ１および間接反射光５Ｃ２を別々に受光できないため、図９Ｂに示すような波形が観測される。時間（時刻）ｔにおける混合反射光の受光量Ｒ_ｍｉｘは、数式１８で表される。

ここで、図８における露光パルスのパルス幅Ｔ_Ｓ１＝２×（Ｔ_ｒ＋Ｔ_ｆ）とし、発光強度Ｉおよびａ＝１であるときの波形ｆ（ｔ）の面積をＳとすると、図８のＳ０露光による受光量（Ｓ０−ＢＧ）は、数式１９で表される。

また、図８のＳ１露光における受光量（Ｓ１−ＢＧ）は、数式２０および数式２１で表される。

深度Ｄは、数式１における右辺の第２項であり、数式２０の受光量（Ｓ１−ＢＧ）を数式１９の受光量（Ｓ０−ＢＧ）で除算して求められるが、数式１８および数式２０の一部である数式２１には、未知数の受光強度ｂ_ｔ１＞０およびマルチパス遅れ時間ｔ_ｂ＞０が存在し、その影響を相殺できていない。よって、深度Ｄは、直接光のみを受光した場合に比べて大きな値となる。

図９Ｃは、図８に示すマルチパス環境において、照射光を出射してから混合反射光を受光するまでの光往復時間ｔと深度Ｄとの関係を示すグラフである。図９Ｄは、図９Ｃの深度Ｄと深度の傾きαとの関係を示すグラフである。

図９Ｃでは、光往復時間ｔ＝０で混合反射光を受光した場合の深度を０とし、光往復時間ｔ＝ｔ_１で混合反射光を受光した場合の深度をＤ_Ｏ（ｔ_１）とし、これらを通る曲線を実線で示している。また、図９Ｃでは、光往復時間ｔ＝０で直接反射光５Ｃ１のみを受光した場合の深度を０とし、光往復時間ｔ＝ｔ_１で直接反射光５Ｃ１のみを受光した場合の深度をＤ_ｒｅｆ（ｔ_１）とし、これらを通る曲線を点線で示している。なお、この点線は、図７Ｃに示した曲線と同じである。これらの関係を利用し、本開示のマルチパス検出装置１００では図９Ｄに示すように、反射光の深度が直接光のみのときの深度と同じであるか否か、すなわち深度Ｄ_Ｏ（ｔ_１）≠深度Ｄ_ｒｅｆ（ｔ_１）であるか否かを判定することで、マルチパスの有無を検出することが可能である。なお、図９Ｄについては後で詳しく説明する。

次に、間接反射光が直接反射光よりも早く受光部１０３に到達するマルチパスの第２例について説明する。この第２例は、フレアとも呼ばれる。

図１０は、間接反射光が直接反射光よりも早く返ってくるマルチパス環境の一例を示す図である。

図１０では、レンズ１０９が、受光部１０３の前に配置されている。物体ＯＢＪ１は、測定対象であり、物体ＯＢＪ２は、間接光の原因となる物体である。距離測定結果ＯＢＪ１Ｅは、距離情報取得装置から物体ＯＢＪ１を観測した場合に、マルチパスに起因する測定誤差によって形成される像である。

図１０には、２つの直接光の経路、および、１つの間接光の経路が示されている。

１つ目の直接光の経路は、物体ＯＢＪ１を経由する経路であり、直接照射光（Ｄ１−Ｐａｔｈ１）が、物体ＯＢＪ１で反射され直接反射光（Ｄ１−Ｐａｔｈ２）となり、レンズ１０９を通過して受光部１０３の画素１０３ａに到達する経路である。

２つ目の直接光の経路は、物体ＯＢＪ２を経由する経路であり、照射光（Ｄ２−Ｐａｔｈ１）が、物体ＯＢＪ２で反射され反射光（Ｄ２−Ｐａｔｈ２）となり、レンズ１０９を通過して受光部１０３の画素１０３ｂに到達する経路である。

間接光の経路は、レンズ１０９で反射する経路であり、画素１０３ｂで反射した間接反射光（Ｍ−Ｐａｔｈ１）が、レンズ１０９で散乱し、間接反射光（Ｍ−Ｐａｔｈ２）となって画素１０３ａに到達する経路である。

図１１は、間接反射光６Ｃ２が直接反射光６Ｃ１よりも早く返ってくるマルチパス環境における距離情報取得装置の動作の例を示すタイムチャートである。

図１１には、発光制御信号６Ａの波形と、照射光６Ｂの波形と、直接反射光（Ｄ１−Ｐａｔｈ２）６Ｃ１の波形と、間接反射光（Ｍ−Ｐａｔｈ２）６Ｃ２の波形と、入射光６Ｃの波形と、露光制御信号６Ｄの波形とが示されている。

入射光６Ｃは、混合反射光と背景光とを含む。混合反射光は、直接反射光６Ｃ１および間接反射光６Ｃ２の和である。このうち、発光制御信号６Ａ、照射光６Ｂ、直接反射光６Ｃ１および露光制御信号６Ｄの各波形は、図６に示した発光制御信号４Ａの波形、照射光４Ｂの波形、入射光４Ｃのうちの反射光の波形、および、露光制御信号４Ｄの波形と同じである。つまり、図１１は、図６に対して、間接反射光６Ｃ２および入射光６Ｃの各波形を追加した図になっている。

図１２Ａは、図１１に示すマルチパス環境において、直接反射光６Ｃ１および間接反射光６Ｃ２のそれぞれの受光強度の時間波形を示すグラフである。図１２Ｂは、直接反射光６Ｃ１および間接反射光６Ｃ２を合わせた混合反射光の時間波形を示すグラフである。

図１２Ａに示すように、間接反射光６Ｃ２は、直接反射光６Ｃ１よりも短い経路を通っているため、時間的な早さが生じている。直接反射光６Ｃ１は、数式１１で示される通りであり、間接反射光６Ｃ２は、図７Ｂの第１例と逆になり、時間ｔ_ｂ早く返ってくるので、数式１７から数式２１にて未知数の時間ｔ_ｂ＜０とすることで、同様に計算できる。

深度Ｄは数式１における右辺の第２項であり、数式２０の受光量（Ｓ１−ＢＧ）を数式１９の受光量（Ｓ０−ＢＧ）で除算して求められるが、数式１８および数式２０の一部である数式２１には、未知数の受光強度ｂ_ｔ１＞０およびマルチパス早まり時間ｔ_ｂ＜０が存在し、その影響を相殺できていない。よって、深度Ｄは、直接光のみを受光した場合に比べて小さな値となる。

図１２Ｃは、図１１に示すマルチパス環境において、照射光６Ｂを出射してから混合反射光を受光するまでの光往復時間ｔと深度Ｄとの関係を示すグラフである。図１２Ｄは、図１２Ｃの深度Ｄと深度の傾きαとの関係を示すグラフである。

図１２Ｃでは、光往復時間ｔ＝０で混合反射光を受光した場合の深度を０とし、光往復時間ｔ＝ｔ_１で混合反射光を受光した場合の深度をＤ_Ｏ（ｔ_１）とし、これらを通る曲線を実線で示している。また、図７Ｃに示した曲線を点線で示している。これらの関係を利用し、第２例においても図１２Ｄに示すように、反射光の深度が直接光のみのときの深度と同じであるか否かを判定することで、マルチパスの有無を検出することが可能である。なお、図１２Ｄについては後で詳しく説明する。

なお、これまで説明したマルチパスは１つの経路の間接反射光であるが、これに限定されるものではなく、以下に示すように、複数経路の間接反射光も本開示に含まれる。

図１３Ａは、複数の間接光が発生する状態を示す説明図である。

図１３Ａに示す物体ＯＢＪ１は測定対象であり、物体ＯＢＪ２および物体ＯＢＪ３は、間接光の原因となる物体である。距離測定結果ＯＢＪ１Ｅは、距離情報取得装置から物体ＯＢＪ１を観測した場合に、マルチパスによる測定誤差によって形成される像である。この図では、直接光の経路が実線で示され、物体ＯＢＪ２を介した３つの間接光の経路、および、物体ＯＢＪ３を介した３つの間接光の経路が破線で示されている。

図１３Ｂは、複数の間接光のそれぞれの受光量の時間波形を示すグラフである。

図１３Ｂは、図１３Ａの６つの間接光を受光部１０３で別々に受光したと仮定したときの受光量の時間波形を示すグラフである。この図に示すように、間接光の経路が長いほど受光量の立ち上がりが遅くなり、受光量の高さが低くなっている。

図１３Ｃは、複数の間接光の合計受光量の時間波形を示すグラフである。

図１３Ｃに示すように、６つの間接光の受光量を合計した波形でも、図７Ｂと同様の波形傾向を示している。そのため、間接光が複数発生していても、前述した１つの経路の間接光に近似可能である。つまり、間接光が複数発生した場合でも本知見を適用することができる。

［５．マルチパス有無の判定のしかた］
次に、マルチパスの有無の判定のしかたについて、図７Ｄ、図９Ｄおよび図１２Ｄを参照しながら説明する。このマルチパスの有無の判定では、深度の傾きαまたは２つの深度の差に着目する。

深度Ｄの傾きα（ｔ_１）は、所定の光往復時間ｔ_１において深度Ｄを微分した値であり、数式２２で表される。

数式２２に示すように、傾きα（ｔ_１）は、波形を時間ｔと逆方向に反転させ、また、時間Ｔｒ分だけシフトさせ、１／Ｓの項により波形面積が１になるように正規化されていることがわかる。

図７Ｄは、図７Ｃにて示した深度Ｄと深度の傾きαとの関係を、縦軸と横軸を逆にして示したグラフである。深度Ｄの微分である深度の傾きαは、数式２３で表される。

数式２３において、Δｔ→０とすることで深度の傾きαを求めることができるが、現実ではΔｔを０にすることは難しく、また、Δｔが０に近づくほどノイズの影響を大きく受ける。よって、Δｔは、ある程度大きな値に設定することが望ましい。具体的には、発光パルスの立ち上がり時間Ｔｒの半分または１／３などの時間に設定される。なお、深度の傾きαを使う代わりに、Δｔを固定値とし、２つの深度の差を使うことができる。これによれば、除算による計算負荷を軽減し、更に処理負荷を軽減できる。

図９Ｄは、図９Ｃで示した深度Ｄと深度の傾きαの関係を、縦軸と横軸を逆にして示したグラフである。図９Ｄには、光往復時間ｔ＝ｔ_１で混合反射光を受光したときの深度の傾きα_０、および、その時の深度Ｄ_０（α_０）が示されている。また同図には、参照データＤ_ｒｅｆとして、図７Ｄで示した直接反射光のみを受光したときの深度と、深度の傾きとの関係が点線で示されている。

図９Ｄで示すように、混合反射光で算出された深度の傾きα_０に対応する深度Ｄ_０（α_０）は、同じ傾きα_０に対応する深度Ｄ_ｒｅｆ（α_０）とは異なる点となる。このように、例えば、直接反射光のみを受光したときの深度Ｄとその傾きαを参照データＤ_ｒｅｆとしてあらかじめ保持しておき、実際に測定して取得した深度が参照データＤ_ｒｅｆと一致しているか否かを判断することで、マルチパスの有無を判定することができる。

図１２Ｄは、図１２Ｃで示した深度Ｄと深度の傾きαの関係を、縦軸と横軸を逆にして示したグラフである。図１２Ｄには、光往復時間ｔ＝ｔ_１で混合反射光を受光したときの深度の傾きα_０、および、その時の深度Ｄ_０（α_０）とが示されている。また同図には、参照データＤ_ｒｅｆとして、図７Ｄで示した直接反射光のみを受光したときの深度と、深度の傾きとの関係が点線で示されている。

図１２Ｄで示すように、混合反射光で算出された深度の傾きα_０に対応する深度Ｄ_０（α_０）は、同じ傾きα_０に対応する深度Ｄ_ｒｅｆ（α_０）とは異なる点となる。図１２Ｄの例でも、直接反射光のみを受光したときの深度Ｄとその傾きαを参照データＤ_ｒｅｆとしてあらかじめ保持しておき、実際に測定して取得した深度が参照データＤ_ｒｅｆと一致しているか否かを判断することで、マルチパスの有無を判定することができる。

（実施例１）
［１−１．マルチパス検出装置の構成］
本開示の基礎となる知見に基づき、実施例１に係るマルチパス検出装置１００の構成について、図１４および図１５を参照しながら説明する。

図１４は、実施例１に係るマルチパス検出装置１００の構成例を示すブロック図である。なお、同図には、物体ＯＢＪ、照射光および反射光も模式的に示されている。

マルチパス検出装置１００は、ＴＯＦ方式による測距装置である。マルチパス検出装置１００は、信号制御部１０１、発光部１０２、受光部１０３、信号処理部１０４、パルス設定部１１１、判定部１１２およびデータ保持部１１３を備える。なお、マルチパス検出装置１００が備えるこれらの機能は、マイクロコンピュータ、マイクロコントローラまたはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）により実現される。マイクロコンピュータ、マイクロコントローラまたはＤＳＰは、マルチパス検出用のプログラムを格納するメモリと、プログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とを備える。

パルス設定部１１１は、発光パルスおよび露光パルスを設定するためのパルス設定信号を信号制御部１０１に出力する。

信号制御部１０１は、発光部１０２の発光を制御する発光制御信号を発光部１０２に出力する。また、信号制御部１０１は、受光部１０３の露光を制御する露光制御信号を受光部１０３に出力する。

発光部１０２は、発光制御信号の発光パルスに従って発光する、つまり照射光を出射する。照射光は、例えば近赤外光である。照射光は、物体ＯＢＪにて反射され、反射光となってマルチパス検出装置１００に返る。

受光部１０３は、行列状に配列された複数の画素を有する固体撮像素子である。受光部１０３は、露光制御信号の露光パルスに従って反射光を受光し、受光信号を信号処理部１０４に出力する。

信号処理部１０４は、３種類の発光露光処理で得られた受光信号列から、受光部１０３の画素毎に第１の深度Ｄ１および第２の深度Ｄ２、ならびに、第１の輝度Ｂ１および第２の輝度Ｂ２を算出する。

図１５は、実施例１に係るマルチパス検出装置１００の動作を示すタイムチャートである。図１５には、発光制御信号７Ａの波形と、照射光７Ｂの波形と、入射光７Ｃの波形と、露光制御信号７Ｄの波形とが示されている。

マルチパス検出装置１００は、深度の傾きαを算出するために、第１の期間に実行するＳ０露光、Ｓ１露光およびＢＧ露光と、第１の期間と異なる第２の期間に実行するＳ０露光、Ｓ１露光およびＢＧ露光とを有している。なお、第１の期間のＳ０露光、Ｓ１露光、ＢＧ露光は、図６と同じ設定になっている。

図１５に示す第１の発光制御信号Ｅｓ１、第２の発光制御信号Ｅｓ２、第３の発光制御信号Ｅｓ３および第４の発光制御信号Ｅｓ４のそれぞれは、信号制御部１０１から出力される発光制御信号である。信号制御部１０１は、第１の期間のうちの異なる時間帯に第１の発光制御信号Ｅｓ１および第２の発光制御信号Ｅｓ２を出力し、第２の期間のうちの異なる時間帯に第３の発光制御信号Ｅｓ３および第４の発光制御信号Ｅｓ４を出力する。

第１のタイミングＴｍ１、第２のタイミングＴｍ２、第３のタイミングＴｍ３および第４のタイミングＴｍ４のそれぞれは、露光制御信号７Ｄによって制御される露光タイミングである。信号制御部１０１は、第１の期間において第１のタイミングＴｍ１および第２のタイミングＴｍ２となる露光制御信号を出力し、第２の期間において第３のタイミングＴｍ３および第４のタイミングＴｍ４となる露光制御信号７Ｄを出力する。図１５には、第１のタイミングＴｍ１で受光した受光量Ｒ１、第２のタイミングＴｍ２で受光した受光量Ｒ２、第３のタイミングＴｍ３で受光量Ｒ３、および、第４のタイミングＴｍ４で受光した受光量Ｒ４が示されている。

図１５に示すように、第３の発光制御信号Ｅｓ３を基準とする第３のタイミングＴｍ３の開始時間は、第１の発光制御信号Ｅｓ１を基準とする第１のタイミングＴｍ１の開始時間と異なり、第１のタイミングＴｍ１よりも時間Δｔ遅れている。また、第４の発光制御信号Ｅｓ４を基準とする第４のタイミングＴｍ４の開始時間は、第２の発光制御信号Ｅｓ２を基準とする第２のタイミングＴｍ２の開始時間と異なり、第２のタイミングＴｍ２よりも時間Δｔ遅れている。言い換えれば、第４の発光制御信号Ｅｓ４を基準とする第４のタイミングＴｍ４の開始時間と第２の発光制御信号Ｅｓ２を基準とする第２のタイミングＴｍ２の開始時間との差は、第３の発光制御信号Ｅｓ３を基準とする第３のタイミングＴｍ３の開始時間と第１の発光制御信号Ｅｓ１を基準とする第１のタイミングＴｍ１の開始時間との差と同じである。

第１の深度Ｄ１および第２の深度Ｄ２は、信号処理部１０４によって以下のように求められる。

例えば、第１の深度Ｄ１は、信号制御部１０１からの第１の発光制御信号Ｅｓ１に対して第１のタイミングＴｍ１で露光することで得られる受光部１０３の受光量Ｒ１と、信号制御部１０１からの第２の発光制御信号Ｅｓ２に対して第２のタイミングＴｍ２で露光することで得られる受光部１０３の受光量Ｒ２との比とによって求められる。なお、第２のタイミングＴｍ２は、第１のタイミングＴｍ１と異なるタイミングであり、第１のタイミングＴｍ１よりも時間Ｔ_ｒ遅く始まる。

第２の深度Ｄ２は、信号制御部１０１からの第３の発光制御信号Ｅｓ３に対して第３のタイミングＴｍ３で露光することで得られる受光部１０３の受光量Ｒ３と、信号制御部１０１からの第４の発光制御信号Ｅｓ４に対して第４のタイミングＴｍ４で露光することで得られる受光部１０３の受光量Ｒ４との比によって求められる。なお、第４のタイミングＴｍ４は、第３のタイミングＴｍ３と異なるタイミングであり、第３のタイミングＴｍ３よりも時間Ｔｒ遅く始まる。

データ保持部１１３は、マルチパスでない環境における参照データＤ_ｒｅｆをあらかじめ保持する。この参照データＤ_ｒｅｆは、深度に関するデータである。この深度に関するデータは、信号制御部１０１からの所定の発光制御信号に対して所定のタイミングで露光することで得られる受光部１０３の受光量と、所定の発光制御信号と異なる時間帯に出力される信号制御部１０１からの発光制御信号に対して上記所定のタイミングと異なるタイミングで露光することで得られる受光部１０３の受光量との比によって求められる。

判定部１１２は、信号処理部１０４で出力された第１の深度Ｄ１および第２の深度Ｄ２の差と、上記参照データＤ_ｒｅｆに基づいて、マルチパスの有無を判定する。具体的には、判定部１１２は、第１の深度Ｄ１および第２の深度Ｄ２の差から求められる深度の傾きαとデータ保持部１１３に保持されている参照データＤ_ｒｅｆとに基づいて、マルチパスでない環境における参照深度Ｄ_ｒｅｆ（α_０）を求める。そして、第１の深度Ｄ１と参照深度Ｄ_ｒｅｆ（α_０）との差の大きさにより、マルチパスの有無を判定する。

その際、深度の傾きαを使う代わりに、２つの深度の差を用いることができる。具体的には、判定部１１２は、第１の深度Ｄ１および第２の深度Ｄ２の差とデータ保持部１１３に保持されている参照データＤ_ｒｅｆとに基づいて、マルチパスでない環境における参照深度を求め、第１の深度Ｄ１と参照深度Ｄ_ｒｅｆ（α_０）との差の大きさにより、マルチパスの有無を判定してもよい。

なお、上記では、第１の深度Ｄ１と参照深度Ｄ_ｒｅｆ（α_０）との差の大きさにより、マルチパスの有無を判定しているが、それに限られず、第２の深度Ｄ２と参照深度Ｄ_ｒｅｆ（α_０）との差の大きさにより、マルチパスの有無を判定してもよい。また、参照データＤ_ｒｅｆは、数式１２と数式１３を用いた数式で生成されてもよいし、前述した第１の期間のＳ０露光、Ｓ１露光、ＢＧ露光と、第２の期間のＳ０露光、Ｓ１露光、ＢＧ露光とで、測定対象の距離を変え実測することで生成されてもよい。

［１−２．マルチパス検出方法］
図１６は、実施例１に係るマルチパス検出方法を示すフローチャートである。

まず、マルチパスを検出する準備として、マルチパス検出装置１００は、マルチパスでない環境における参照データＤ_ｒｅｆをデータ保持部１１３に保存する（ステップＳ１０）。マルチパスでない環境とは、直接反射光のみを受光したときの受光信号列であり、例えば図７Ｄに示すような直接反射光のみで生成される深度Ｄと傾きαのグラフである。

そして、マルチパス検出装置１００は、第１の期間におけるＳ０露光、Ｓ１露光、ＢＧ露光を実行する（ステップＳ１１）。具体的には、受光部１０３は、第１のタイミングＴｍ１の露光によって受光量Ｒ１を取得し、第２のタイミングＴｍ２の露光によって受光量Ｒ２を取得する。受光量Ｒ１および受光量Ｒ２は、信号処理部１０４に出力される。

次に、信号処理部１０４は、受光量Ｒ１と受光量Ｒ２との比から第１の深度Ｄ１を算出する（ステップＳ１２）。第１の深度Ｄ１は、数式１の右辺の第２項によって算出される。

次に、マルチパス検出装置１００は、第２の期間におけるＳ０露光、Ｓ１露光、ＢＧ露光を実行する（ステップＳ１３）。具体的には、受光部１０３は、第３のタイミングＴｍ３の露光によって受光量Ｒ３を取得し、第４のタイミングＴｍ４の露光によって受光量Ｒ４を取得する。受光量Ｒ３および受光量Ｒ４は、信号処理部１０４に出力される。

次に、信号処理部１０４は、受光量Ｒ３と受光量Ｒ４との比から第２の深度Ｄ２を算出する（ステップＳ１４）。第２の深度Ｄ２は、数式１の右辺の第２項によって算出される。なお、ステップＳ１３およびステップＳ１４は、ステップＳ１１およびステップＳ１２よりも前に実行されてもよい。

次に、判定部１１２は、第１の深度Ｄ１と第２の深度Ｄ２とから深度の傾きαを算出する（ステップＳ１５）。例えば判定部１１２は、第１の深度Ｄ１および第２の深度Ｄ２の差から求められる深度の傾きαを求める。

そして判定部１１２は、深度の傾きα_０と一致する参照深度Ｄ_ｒｅｆ（α_０）を取得する（ステップＳ１６）。具体的には、判定部１１２は、上記深度の傾きα_０と、データ保持部１１３に保持されている参照データＤ_ｒｅｆとに基づいて、マルチパスでない環境における参照深度Ｄ_ｒｅｆ（α_０）を求める。

そして、判定部１１２は、第１の深度Ｄ１と参照深度Ｄ_ｒｅｆ（α_０）との差の大きさが閾値ＴＨよりも大きいか否かを判断する（ステップＳ１７）。閾値ＴＨは、測定誤差をどこまで許すかの判定基準であり、例えば深度が０．０から１．０までの範囲であるとすると、誤差１０％まで許容するシステムであればＴＨ＝０．１とするなど、後段のシステムが要求する誤差許容量により自由に設定される。

判定部１１２は、第１の深度Ｄ１と参照深度Ｄ_ｒｅｆ（α_０）との差の大きさが閾値ＴＨよりも大きい場合（Ｓ１７にてＹｅｓ）、マルチパス有りと判定する（ステップＳ１８）。一方、判定部１１２は、第１の深度Ｄ１と参照深度Ｄ_ｒｅｆ（α_０）との差の大きさが閾値ＴＨ以下である場合（Ｓ１７にてＮｏ）、マルチパスなしと判定する（ステップＳ１９）。これにより、測定対象の距離を測定する際のマルチパスの有無を判定する。

マルチパスなしと判定された場合は、数式１２〜数式１４を用いて深度Ｄを求め、距離Ｌを求めることができる。

マルチパス有りと判定された場合、以下に示す４つの未知数パラメータを求めて、深度Ｄを補正する。

４つの未知数パラメータのうち、１つ目は、照射光が測定対象から直接反射光として返ってくるまでの光往復時間ｔ_１であり、２つ目は、直接反射光の立ち下がり開始時における受光強度ａ_ｔ１であり、３つ目は、直接光の光往復時間ｔ_１を基点とした間接反射光のマルチパス遅れ時間ｔ_ｂであり、４つ目は、間接反射光の立ち下がり開始時における受光強度ｂ_ｔ１である。ここで、マルチパス遅れ時間ｔ_ｂは、間接反射光が直接反射光よりも遅い場合であるのでｔ_ｂ＞０となる。それに対し、図１２Ａに示すマルチパス早まり時間ｔ_ｂは、間接反射光が直接反射光よりも早い場合であるのでｔ_ｂ＜０となる。

ここで、４つの未知数パラメータを求めるために、４つの測定値を利用する。１つ目は第１の深度Ｄ１であり、２つ目は第２の深度Ｄ２であり、３つ目は第１の深度Ｄ１および第２の深度Ｄ２から算出される深度の傾きα_０である。４つ目は、信号処理部１０４から出力される輝度情報を用いる。この輝度情報は、第１の期間から算出される第１の輝度Ｂ１でもよいし、第２の期間から算出される第２の輝度Ｂ２でもよいし、その両方の平均を使用してもよい。

そして、数式２４〜数式２７に示す４つの方程式を生成し、各方程式が０になるような未知数パラメータｔ_１、ａ_ｔ１、ｂ_ｔ１、ｔ_ｂを求める。４つの方程式を解く際、一般的な非線形推定を用いてもよいし、その他高速な推定方法を用いてもよい。

未知数パラメータｔ_１、ａ_ｔ１、ｂ_ｔ１、ｔ_ｂが求まると、マルチパスでない環境にあてはめた場合の深度Ｄを求めることができる。

このように、信号処理部１０４は、第１のタイミングＴｍ１で露光することで得られる受光部１０３の受光量Ｒ１から求められる第１の輝度Ｂ１、および、第３のタイミングＴｍ３で露光することで得られる受光部１０３の受光量Ｒ３から求められる第２の輝度Ｂ２を算出する。判定部１１２は、マルチパスが有ると判定した場合に、第１の輝度Ｂ１および第２の輝度Ｂ２の少なくとも一方と、第１の深度Ｄ１および第２の深度Ｄ２の差ならびに参照データＤ_ｒｅｆとを用いて、第１の深度Ｄ１または第２の深度Ｄ２を補正する。これにより、マルチパス環境における距離Ｌを求めることができる。

［１−３．実施例１の変形例］
次に、実施例１の変形例に係るマルチパス検出装置１００について、図１７を参照しながら説明する。

図１７は、実施例１の変形例に係るマルチパス検出装置１００の動作を示すタイムチャートである。図１７には、発光制御信号８Ａ、照射光８Ｂ、入射光８Ｃ、露光制御信号８Ｄが示されている。

第１の期間におけるＳ０露光、Ｓ１露光、ＢＧ露光は、図６と同じ設定である。

第２の期間におけるＳ０露光、Ｓ１露光、ＢＧ露光は、露光制御信号８Ｄのタイミングが第１の期間と同じであり、発光制御信号８Ａを第１の期間よりもΔｔ早めている点で、第１の期間と異なる。それに伴い、照射光８Ｂ、入射光８Ｃも、第１の期間に示されるタイミングよりもΔｔ早くなっている。

変形例においても、図１７に示す受光量Ｒ１と受光量Ｒ２との比から第１の深度Ｄ１を算出し、受光量Ｒ３と受光量Ｒ４との比から第２の深度Ｄ２を算出する。そして、第１の深度Ｄ１および第２の深度Ｄ２の差と、参照データＤ_ｒｅｆに基づいて、マルチパスの有無を判定することができる。

［１−４．効果等］
本実施の形態のマルチパス検出装置１００は、発光制御信号７Ａおよび露光制御信号７Ｄを出力する信号制御部１０１と、発光制御信号７Ａに従って発光する発光部１０２と、露光制御信号７Ｄに従って露光することで光を受光する受光部１０３と、マルチパスでない環境において、信号制御部１０１からの所定の発光制御信号に従って所定のタイミングで露光することで得られる受光部１０３の受光量、および、上記所定の発光制御信号と異なる時間帯に出力される信号制御部１０１からの発光制御信号に従って上記所定のタイミングと異なるタイミングで露光することで得られる受光部１０３の受光量の比によって求まる深度に関する参照データＤ_ｒｅｆを保持するデータ保持部１１３と、信号制御部１０１からの第１の発光制御信号Ｅｓ１に従って第１のタイミングＴｍ１で露光することで得られる受光部１０３の受光量Ｒ１と、第１の発光制御信号Ｅｓ１と異なる時間帯に出力される信号制御部１０１からの第２の発光制御信号Ｅｓ２に従って第１のタイミングＴｍ１と異なる第２のタイミングＴｍ２で露光することで得られる受光部１０３の受光量Ｒ２との比とによって求まる第１の深度Ｄ１、および、信号制御部１０１からの第３の発光制御信号Ｅｓ３に従って第３のタイミングＴｍ３で露光することで得られる受光部１０３の受光量Ｒ３と、第３の発光制御信号Ｅｓ３と異なる時間帯に出力される信号制御部１０１からの第４の発光制御信号Ｅｓ４に従って第３のタイミングＴｍ３と異なる第４のタイミングＴｍ４で露光することで得られる受光部１０３の受光量Ｒ４との比によって求まる第２の深度Ｄ２を算出する信号処理部１０４と、第１の深度Ｄ１および第２の深度Ｄ２の差と参照データＤ_ｒｅｆとを用いてマルチパスの有無を判定する判定部１１２と、を備える。

このように、信号処理部１０４が、受光量Ｒ１と受光量Ｒ２との比から第１の深度Ｄ１を求め、受光量Ｒ３と受光量Ｒ４との比から第２の深度Ｄ２を算出し、判定部１１２が、第１の深度Ｄ１および第２の深度Ｄ２の差と、参照データＤ_ｒｅｆとに基づいて、マルチパスの有無を判定することで、マルチパスの有無を判定するための処理負荷を軽減することができる。

また、発光部１０２の照射光の波形は、単調増加した後、単調減少する歪みパルス波形であってもよい。

これによれば、深度と深度の傾きとの関係が１対１となり、マルチパス検出の処理負荷を軽減することができる。

また、第４の発光制御信号Ｅｓ４を基準とする第４のタイミングＴｍ４の開始時間は、第２の発光制御信号Ｅｓ２を基準とする第２のタイミングＴｍ２の開始時間と異なっていてもよい。

これによれば、発光パルスおよび露光パルスの設定を調整するＴＯＦ方式によるマルチパス検出装置において、標準的に搭載される機能を拡張使用してマルチパスを検出することが可能となり、マルチパス検出装置１００のコストを低減できる。

また、第３の発光制御信号Ｅｓ３を基準とする第３のタイミングＴｍ３の開始時間は、第１の発光制御信号Ｅｓ１を基準とする第１のタイミングＴｍ１の開始時間と異なっていてもよい。

これによれば、発光パルスおよび露光パルスの設定を調整するＴＯＦ方式によるマルチパス検出装置において、標準的に搭載される機能を拡張使用してマルチパスを検出することが可能となり、マルチパス検出装置１００のコストを低減できる。

また、第４の発光制御信号Ｅｓ４を基準とする第４のタイミングＴｍ４の開始時間と第２の発光制御信号Ｅｓ２を基準とする第２のタイミングＴｍ２の開始時間との差は、第３の発光制御信号Ｅｓ３を基準とする第３のタイミングＴｍ３の開始時間と第１の発光制御信号Ｅｓ１を基準とする第１のタイミングＴｍ１の開始時間との差と同じであってもよい。

これによれば、２つの受光量の比によって算出される深度を正確に求めることができる。これにより、２つの深度の差と、参照データＤ_ｒｅｆに基づいて、マルチパスの有無を正確に判定することができる。

また、信号制御部１０１は、異なる時間帯に第１の発光制御信号Ｅｓ１および第３の発光制御信号Ｅｓ３を出力してもよい。

これによれば、第１の深度Ｄ１および第２の深度を簡易に求めることができるので、マルチパスの有無を判定するための処理負荷を軽減することができる。

また、データ保持部１１３は、参照データＤ_ｒｅｆとして、深度と深度の傾きとの関係を保持し、判定部１１２は、第１の深度Ｄ１および第２の深度Ｄ２の差から求められる深度の傾きα_０とデータ保持部１１３に保持されている参照データＤ_ｒｅｆとに基づいて、マルチパスでない環境における参照深度Ｄ_ｒｅｆ（α_０）を求め、第１の深度Ｄ１または第２の深度Ｄ２と参照深度Ｄ_ｒｅｆ（α_０）との差の大きさによりマルチパスの有無を判定してもよい。

このように、深度の傾きα_０と参照データＤ_ｒｅｆとに基づいて、マルチパスでない環境における参照深度Ｄ_ｒｅｆ（α_０）を求め、例えば第１の深度Ｄ１と参照深度Ｄ_ｒｅｆ（α_０）との差の大きさによりマルチパスの有無を判定することで、マルチパスの有無を判定するための処理負荷を軽減することができる。

また、判定部１１２は、第１の深度Ｄ１および第２の深度Ｄ２の差とデータ保持部１１３に保持されている参照データＤ_ｒｅｆとに基づいて、マルチパスでない環境における参照深度Ｄ_ｒｅｆ（α_０）を求め、第１の深度Ｄ１または第２の深度Ｄ２と参照深度Ｄ_ｒｅｆ（α_０）との差の大きさによりマルチパスの有無を判定してもよい。

このように、２つの深度の差と参照データＤ_ｒｅｆとに基づいて、マルチパスでない環境における参照深度Ｄ_ｒｅｆ（α_０）を求め、例えば第１の深度Ｄ１と参照深度Ｄ_ｒｅｆ（α_０）との差の大きさによりマルチパスの有無を判定することで、マルチパスの有無を判定するための処理負荷を軽減することができる。

また、信号処理部１０４は、第１のタイミングＴｍ１で露光することで得られる受光部１０３の受光量Ｒ１から求められる第１の輝度Ｂ１、および、第３のタイミングＴｍ３で露光することで得られる受光部１０３の受光量Ｒ３から求められる第２の輝度Ｂ２を算出し、判定部１１２は、マルチパスが有ると判定した場合に、第１の輝度Ｂ１および第２の輝度Ｂ２の少なくとも一方と、第１の深度Ｄ１および第２の深度Ｄ２の差ならびに参照データＤ_ｒｅｆとを用いて、第１の深度Ｄ１を補正してもよい。

これによれば、マルチパスによる測定誤差のない状態での深度を算出することができ、算出した深度にて正しい距離を測定することができる。

本実施の形態のマルチパス検出方法は、マルチパスでない環境において、所定の発光制御信号に従って所定のタイミングで露光することで得られる受光量と、上記所定の発光制御信号と異なる時間帯に出力される発光制御信号に従って上記所定のタイミングと異なるタイミングで露光することで得られる受光量との比によって求まる深度に関する参照データＤ_ｒｅｆを保存するステップと、第１の発光制御信号Ｅｓ１に従って第１のタイミングＴｍ１で露光することで得られる受光量Ｒ１と、第１の発光制御信号Ｅｓ１と異なる時間帯に出力される第２の発光制御信号Ｅｓ２に従って第１のタイミングＴｍ１と異なる第２のタイミングＴｍ２で露光することで得られる受光量Ｒ２との比によって求まる第１の深度Ｄ１を算出するステップと、第３の発光制御信号Ｅｓ３に従って第３のタイミングＴｍ３で露光することで得られる受光量Ｒ３と、第３の発光制御信号Ｅｓ３と異なる時間帯に出力される第４の発光制御信号Ｅｓ４に従って第３のタイミングＴｍ３と異なる第４のタイミングＴｍ４で露光することで得られる受光量Ｒ４との比によって求まる第２の深度Ｄ２を算出するステップと、第１の深度Ｄ１および第２の深度Ｄ２の差と参照データＤ_ｒｅｆとを用いてマルチパスの有無を判定するステップと、を含む。

このように、受光量Ｒ１と受光量Ｒ２との比から第１の深度Ｄ１を求め、受光量Ｒ３と受光量Ｒ４との比から第２の深度Ｄ２を算出し、第１の深度Ｄ１および第２の深度Ｄ２の差と、参照データＤ_ｒｅｆとに基づいて、マルチパスの有無を判定することで、マルチパスの有無を判定するための処理負荷を軽減することができる。

（実施例２）
次に、実施例２に係るマルチパス検出装置１００について、図１８〜図２０を参照しながら説明する。実施例１では、第１の期間および第２の期間を時系列で実行する例を説明したが、実施例２では、第１の期間および第２の期間のＳ０露光、Ｓ１露光、ＢＧ露光を２つの画素のそれぞれに対応させて、かつ、一斉に実行する例について説明する。

図１８は、実施例２に係るマルチパス検出装置１００の構成例を示すブロック図である。

信号制御部１０１は、図１７の第１の期間および第２の期間に相当するタイミング信号を同時に生成し、出力する。例えば、信号制御部１０１は、露光制御信号９Ｄを受光部１０３の第１画素１０３ａ１に出力し、露光制御信号９Ｆを受光部１０３の第２画素１０３ａ２に出力する。

受光部１０３は、第１画素１０３ａ１と第２画素１０３ａ２とを含む。第１画素１０３ａ１は、露光制御信号９Ｄを受けることで作動し、第２画素１０３ａ２は、露光制御信号９Ｆを受けることで作動する。

信号処理部１０４は、画素３０１ａ１から受光量に関する受光信号１を受け取り、第１の深度Ｄ１および第１の輝度Ｂ１を算出する。また、画素３０１ａ２から受光量に関する受光信号２を受け取り、第２の深度Ｄ２と第２の輝度Ｂ２を算出する。そして、第１の深度Ｄ１、第２の深度Ｄ２、第１の輝度Ｂ１および第２の輝度Ｂ２に関する情報を判定部１１２に出力する。

図１９は、実施例２に係るマルチパス検出装置１００の動作を示すタイムチャートである。同図には、発光制御信号９Ａ、照射光９Ｂ、入射光９Ｃ、露光制御信号９Ｄ、入射光９Ｅ、露光制御信号９Ｆが示されている。同図にて、発光制御信号９Ａ、照射光９Ｂ、入射光９Ｃ、露光制御信号９Ｄで示されたタイミングは、図６と同じ設定である。

図１９に示すように、第１の発光制御信号Ｅｓ１および第３の発光制御信号Ｅｓ３が、同時に出力され、また、第２の発光制御信号Ｅｓ２および第４の発光制御信号Ｅｓ４が、同時に出力される。

また、第１の発光制御信号Ｅｓ１を基準とする第１のタイミングＴｍ１で露光制御信号９Ｄが出力され、第２の発光制御信号Ｅｓ２を基準とする第２のタイミングＴｍ２で露光制御信号９Ｄが出力される。また、第３の発光制御信号Ｅｓ３を基準とする第３のタイミングＴｍ３で露光制御信号９Ｆが出力され、第４の発光制御信号Ｅｓ４を基準とする第４のタイミングＴｍ４で露光制御信号９Ｆが出力される。第３のタイミングＴｍ３の開始時間は、第１のタイミングＴｍ１よりも時間Δｔ遅れ、第４のタイミングＴｍ４の開始時間は、第２のタイミングＴｍ２よりも時間Δｔ遅れている。また、第２のタイミングＴｍ２は、発光制御信号９Ａを基準として第１のタイミングＴｍ１よりも時間Ｔ_ｒ遅く始まり、また、第４のタイミングＴｍ４は、発光制御信号９Ａを基準として第３のタイミングＴｍ３よりも時間Ｔ_ｒ遅く始まっている。

図２０は、実施例２に係るマルチパス検出方法を示すフローチャートである。

まず、マルチパスを検出する準備として、マルチパス検出装置１００は、マルチパスでない環境における参照データＤ_ｒｅｆをデータ保持部１１３に保存する（ステップＳ２０）。

そして、マルチパス検出装置１００は、第１の期間および第２の期間に相当するＳ０露光、Ｓ１露光、ＢＧ露光を実行する（ステップＳ２１）。具体的には、受光部１０３は、第１のタイミングＴｍ１の露光によって受光量Ｒ１を取得し、第２のタイミングＴｍ２の露光によって受光量Ｒ２を取得し、第３のタイミングＴｍ３の露光によって受光量Ｒ３を取得し、第４のタイミングＴｍ４の露光によって受光量Ｒ４を取得する。受光量Ｒ１〜Ｒ４は、信号処理部１０４に出力される。

次に、信号処理部１０４は、受光量Ｒ１と受光量Ｒ２との比から第１の深度Ｄ１を算出し、受光量Ｒ３と受光量Ｒ４との比から第２の深度Ｄ２を算出する（ステップＳ２２）。

次に、判定部１１２は、第１の深度Ｄ１と第２の深度Ｄ２とから深度の傾きαを算出する（ステップＳ２５）。例えば判定部１１２は、第１の深度Ｄ１および第２の深度Ｄ２の差から求められる深度の傾きαを求める。

そして判定部１１２は、深度の傾きα_０と一致する参照深度Ｄ_ｒｅｆ（α_０）を取得する（ステップＳ２６）。具体的には、判定部１１２は、上記深度の傾きα_０と、データ保持部１１３に保持されている参照データＤ_ｒｅｆとに基づいて、マルチパスでない環境における参照深度Ｄ_ｒｅｆ（α_０）を求める。

そして、判定部１１２は、第１の深度Ｄ１と参照深度Ｄ_ｒｅｆ（α_０）との差の大きさが閾値ＴＨよりも大きいか否かを判断する（ステップＳ２７）。

判定部１１２は、第１の深度Ｄ１と参照深度Ｄ_ｒｅｆ（α_０）との差の大きさが閾値ＴＨよりも大きい場合（Ｓ２７にてＹｅｓ）、マルチパス有りと判定する（ステップＳ２８）。一方、判定部１１２は、第１の深度Ｄ１と参照深度Ｄ_ｒｅｆ（α_０）との差の大きさが閾値ＴＨ以下である場合（Ｓ２７にてＮｏ）、マルチパスなしと判定する（ステップＳ２９）。これにより、測定対象の距離を測定する際のマルチパスの有無を判定する。

マルチパスなしと判定された場合は、数式１２〜数式１４を用いて深度Ｄを求め、距離Ｌを求めることができる。

マルチパスありと判定された場合、前述した深度、輝度、傾きにより、実施例１と同様に補正をすることもできる。さらに、実施例１よりも少ないフレーム数で必要な受光信号を取得することができ、マルチパス検出と補正の高速化が図れる。

このように、実施例２に係るマルチパス検出装置１００は、図１９に示す受光量Ｒ１と受光量Ｒ２との比から第１の深度Ｄ１を算出し、受光量Ｒ３と受光量Ｒ４との比から第２の深度Ｄ２を算出する。そして、第１の深度Ｄ１および第２の深度Ｄ２の差と、参照データＤ_ｒｅｆに基づいて、マルチパスの有無を判定するので、マルチパスの有無を判定するための処理負荷を軽減することができる。

また、信号制御部１０１は、第１の発光制御信号Ｅｓ１および第３の発光制御信号Ｅｓ３を同時に出力し、第２の発光制御信号Ｅｓ２および第４の発光制御信号Ｅｓ４を同時に出力し、かつ、第１の発光制御信号Ｅｓ１に対する露光および第２の発光制御信号Ｅｓ２に対する露光を行うための露光制御信号９Ｄを受光部１０３の第１画素１０３ａ１に出力し、第３の発光制御信号Ｅｓ３に対する露光および第４の発光制御信号Ｅｓ４に対する露光を行うための露光制御信号９Ｆを受光部１０３の第２画素１０３ａ２に出力する。

これによれば、２画素を用いて第１の期間および第２の期間を同時に行うことができ、マルチパス検出動作のリアルタイム処理を簡易化することができる。

（その他の実施の形態）
以上、実施の形態について説明したが、本開示は、上記実施の形態に限定されるものではない。実施の形態に対して当業者が思いつく各種変形を施して得られる形態や、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素および機能を任意に組み合わせることで実現される形態も本開示に含まれる。

本開示におけるマルチパス検出装置および波マルチパス検出方法は、例えば、ＴＯＦカメラシステムに広く適用可能である。

７Ａ、８Ａ、９Ａ 発光制御信号
７Ｂ、８Ｂ、９Ｂ 照射光
７Ｃ、８Ｃ、９Ｃ、９Ｅ 入射光
７Ｄ、８Ｄ、９Ｄ、９Ｆ 露光制御信号
１００ マルチパス検出装置
１０１ 信号制御部
１０２ 発光部
１０３ 受光部
１０３ａ、１０３ｂ 画素
１０３ａ１ 第１画素
１０３ａ２ 第２画素
１０４ 信号処理部
１０９ レンズ
１１１ パルス設定部
１１２ 判定部
１１３ データ保持部
Ｂ 輝度
Ｂ１ 第１の輝度
Ｂ２ 第２の輝度
Ｄ 深度
Ｄ１ 第１の深度
Ｄ２ 第２の深度
Ｄｒｅｆ 参照データ
Ｅｓ１ 第１の発光制御信号
Ｅｓ２ 第２の発光制御信号
Ｅｓ３ 第３の発光制御信号
Ｅｓ４ 第４の発光制御信号
Ｉ 発光強度
Ｌ 距離
ＯＢＪ、ＯＢＪ１、ＯＢＪ２、ＯＢＪ３ 物体
ＯＢＪ１Ｅ 距離測定結果
Ｒ１、Ｒ２、Ｒ３、Ｒ４ 受光量
Ｔｍ１ 第１のタイミング
Ｔｍ２ 第２のタイミング
Ｔｍ３ 第３のタイミング
Ｔｍ４ 第４のタイミング
ＴＨ 閾値
α 深度の傾き

Claims (11)

1. 発光制御信号および露光制御信号を出力する信号制御部と、
   前記発光制御信号に従って発光する発光部と、
   前記露光制御信号に従って露光することで光を受光する受光部と、
   マルチパスでない環境において、前記信号制御部からの所定の発光制御信号に従って所定のタイミングで露光することで得られる前記受光部の受光量、および、前記所定の発光制御信号と異なる時間帯に出力される前記信号制御部からの発光制御信号に従って前記所定のタイミングと異なるタイミングで露光することで得られる前記受光部の受光量の比によって求まる深度に関する参照データを保持するデータ保持部と、
   前記信号制御部からの第１の発光制御信号に従って第１のタイミングで露光することで得られる前記受光部の受光量と、前記第１の発光制御信号と異なる時間帯に出力される前記信号制御部からの第２の発光制御信号に従って前記第１のタイミングと異なる第２のタイミングで露光することで得られる前記受光部の受光量との比とによって求まる第１の深度、および、前記信号制御部からの第３の発光制御信号に従って第３のタイミングで露光することで得られる前記受光部の受光量と、前記第３の発光制御信号と異なる時間帯に出力される前記信号制御部からの第４の発光制御信号に従って前記第３のタイミングと異なる第４のタイミングで露光することで得られる前記受光部の受光量との比によって求まる第２の深度を算出する信号処理部と、
   前記第１の深度および前記第２の深度の差と前記参照データとを用いて前記マルチパスの有無を判定する判定部と、
   を備えるマルチパス検出装置。
2. 前記発光部の照射光の波形は、単調増加した後、単調減少する歪みパルス波形である
   請求項１に記載のマルチパス検出装置。
3. 前記第４の発光制御信号を基準とする前記第４のタイミングの開始時間は、前記第２の発光制御信号を基準とする前記第２のタイミングの開始時間と異なる
   請求項１または２に記載のマルチパス検出装置。
4. 前記第３の発光制御信号を基準とする前記第３のタイミングの開始時間は、前記第１の発光制御信号を基準とする前記第１のタイミングの開始時間と異なる
   請求項３に記載のマルチパス検出装置。
5. 前記第４の発光制御信号を基準とする前記第４のタイミングの開始時間と前記第２の発光制御信号を基準とする前記第２のタイミングの開始時間との差は、前記第３の発光制御信号を基準とする前記第３のタイミングの開始時間と前記第１の発光制御信号を基準とする前記第１のタイミングの開始時間との差と同じである
   請求項４に記載のマルチパス検出装置。
6. 前記信号制御部は、異なる時間帯に前記第１の発光制御信号および前記第３の発光制御信号を出力する
   請求項１〜５のいずれか１項に記載のマルチパス検出装置。
7. 前記信号制御部は、前記第１の発光制御信号および前記第３の発光制御信号を同時に出力し、前記第２の発光制御信号および前記第４の発光制御信号を同時に出力し、かつ、前記第１の発光制御信号に対する露光および前記第２の発光制御信号に対する露光を行うための前記露光制御信号を前記受光部の第１画素に出力し、前記第３の発光制御信号に対する露光および前記第４の発光制御信号に対する露光を行うための前記露光制御信号を前記受光部の第２画素に出力する、
   請求項１〜５のいずれか１項に記載のマルチパス検出装置。
8. 前記データ保持部は、前記参照データとして、前記深度と深度の傾きとの関係を保持し、
   前記判定部は、前記第１の深度および前記第２の深度の差から求められる深度の傾きと前記データ保持部に保持されている前記参照データとに基づいて、前記マルチパスでない環境における参照深度を求め、前記第１の深度または前記第２の深度と前記参照深度との差の大きさにより前記マルチパスの有無を判定する
   請求項１〜７のいずれか１項に記載のマルチパス検出装置。
9. 前記判定部は、前記第１の深度および前記第２の深度の差と前記データ保持部に保持されている前記参照データとに基づいて、前記マルチパスでない環境における参照深度を求め、前記第１の深度または前記第２の深度と前記参照深度との差の大きさにより前記マルチパスの有無を判定する
   請求項１〜７のいずれか１項に記載のマルチパス検出装置。
10. 前記信号処理部は、前記第１のタイミングで露光することで得られる前記受光部の受光量から求められる第１の輝度、および、前記第３のタイミングで露光することで得られる前記受光部の受光量から求められる第２の輝度を算出し、
    前記判定部は、前記マルチパスが有ると判定した場合に、前記第１の輝度および前記第２の輝度の少なくとも一方と、前記第１の深度および前記第２の深度の差ならびに前記参照データとを用いて、前記第１の深度を補正する
    請求項１〜８のいずれか１項に記載のマルチパス検出装置。
11. マルチパスでない環境において、所定の発光制御信号に従って所定のタイミングで露光することで得られる受光量と、前記所定の発光制御信号と異なる時間帯に出力される発光制御信号に従って前記所定のタイミングと異なるタイミングで露光することで得られる受光量との比によって求まる深度に関する参照データを保存するステップと、
    第１の発光制御信号に従って第１のタイミングで露光することで得られる受光量と、前記第１の発光制御信号と異なる時間帯に出力される第２の発光制御信号に従って前記第１のタイミングと異なる第２のタイミングで露光することで得られる受光量との比によって求まる第１の深度を算出するステップと、
    第３の発光制御信号に従って第３のタイミングで露光することで得られる受光量と、前記第３の発光制御信号と異なる時間帯に出力される第４の発光制御信号に従って前記第３のタイミングと異なる第４のタイミングで露光することで得られる受光量との比によって求まる第２の深度を算出するステップと、
    前記第１の深度および前記第２の深度の差と前記参照データとを用いて前記マルチパスの有無を判定するステップと、
    を含むマルチパス検出方法。

Images