JP2019219400A - 内部散乱に起因する飛行時間型深度画像の破損を測定すること、及び除去すること - Google Patents

Abstract

【課題】深度撮像装置は、飛行時間型動作を実施して、物体の深度又は距離を測定し得る。【解決手段】深度撮像装置は、光を場面へ放射し、センサアレイを用いて場面内の物体から反射される光を感知し得る。反射光がセンサアレイに当たるタイミングが、場面内の物体の深度又は距離についての情報を与える。いくつかの場合において、センサアレイの画素の視野の外側にある破損光が、深度撮像装置内で発生する内部散乱又は内面反射に起因して、画素に当たることがある。破損光は、深度又は距離測定を破損し得る。この問題に対処するために、改善された深度撮像装置が、深度撮像装置内で発生する内部散乱又は内面反射に起因する破損光を隔離及び測定し、系統的に、深度又は距離測定から測定された破損光を除去し得る。【選択図】図１０

Description

優先権出願

本特許出願は、２０１８年６月２１日に出願された、「ＭＥＡＳＵＲＩＮＧ ＡＮＤ ＲＥＭＯＶＩＮＧ ＴＨＥ ＣＯＲＲＵＰＴＩＯＮ ＯＦ ＴＩＭＥ−ＯＦ−ＦＬＩＧＨＴ ＤＥＰＴＨ ＩＭＡＧＥＳ ＤＵＥ ＴＯ ＩＮＴＥＲＮＡＬ ＳＣＡＴＴＥＲＩＮＧ」と題する米国仮出願第６２／６８７，８５１号に対する優先権を主張し、かつ優先権の利益を受け、その全体が本明細書に組み込まれる。本特許出願は、また、２０１８年８月７日に出願された、「ＡＶＯＩＤＩＮＧ ＴＨＥ ＣＯＲＲＵＰＴＩＯＮ ＯＦ ＴＩＭＥ−ＯＦ−ＦＬＩＧＨＴ ＤＥＰＴＨ ＩＭＡＧＥＳ ＤＵＥ ＴＯ ＩＮＴＥＲＮＡＬ ＳＣＡＴＴＥＲＩＮＧ」と題する米国仮出願第６２／７１５，６９５号に対する優先権を主張し、かつ優先権の利益を受け、その全体もまた本明細書に組み込まれる。

本開示は、集積回路の分野に関し、特に、飛行時間型深度撮像のための回路に関する。

深度撮像技術は、飛行時間型カメラ及び距離計において実施されている。深度撮像技術は、光源をパルスにすることと、反射光を測定して、物体の存在、距離情報、深度情報、及び／又は速度情報を感知することと、を含む。これらの光学システムは、セキュリティシステム、医療システム、自動車システム、航空宇宙システム、民生用電子デバイスなどの幅広い用途を有する。

深度撮像装置は、光源（例えば、発光ダイオード、レーザなど）を含み得る。深度撮像装置は、また、場面の深度画像を生成するセンサアレイを含み得る。センサアレイでは、各画素が、その画素の視野内の物体までの距離を記憶する。このような撮像装置は、ＲＧＢ（ｒｅｄ−ｇｒｅｅｎ−ｂｌｕｅ）画像、又は赤外画像などの、場面の正則画像も同時に出力し得る。

深度画像を生成する深度撮像技術の例が、飛行時間型撮像である。飛行時間型は、光源に、光を場面へ放射させることによって動作する。光は、その際、場面内の物体に反射する。反射光は、センサアレイに当たる。センサアレイによって生成される信号が、距離情報を計算し、深度画像を形成するために使用され得る。

本開示、並びにその特徴及び利点のより完全な理解をもたらすために、以下の説明に対して参照が行われ、添付図面と併せて用いられる。添付図面において、類似の参照番号は、類似の部分を表す。

図１は、本開示のいくつかの実施形態による、深度撮像装置、及び飛行時間型動作を示す。 図２は、本開示のいくつかの実施形態による、センサアレイにおける画素によって実行され得る例示的な測定を示す。 図３は、本開示のいくつかの実施形態による、センサアレイにおける画素によって実行され得る例示的な測定を示す。 図４は、本開示のいくつかの実施形態による、背景光を考慮してセンサアレイにおける画素によって実行され得る例示的な測定を示す。 図５は、本開示のいくつかの実施形態による、画素に当たる外来光源についての異なるシナリオを示す。 図６は、本開示のいくつかの実施形態による、画素に当たる外来光源についての異なるシナリオを示す。 図７は、本開示のいくつかの実施形態による、画素に当たる外来光源についての異なるシナリオを示す。 図８は、本開示のいくつかの実施形態による、破損光を隔離及び測定する技術を示す。 図９は、本開示のいくつかの実施形態による、破損光を隔離及び測定する別の技術を示す。 図１０は、本開示のいくつかの実施形態による、任意に短いパルスを効果的に取得する技術を示す。 図１１は、本開示のいくつかの実施形態による、光パルスがオフになった後でセンサをオンにすること（又は光の収集を開始する）を示す。 図１２は、本開示のいくつかの実施形態による、光パルスがオフになった後でセンサをオンにする（又は光の収集を開始する）技術を用いて距離を測定することを示す。

本開示の例としての実施形態の説明

概要

深度撮像装置は、飛行時間型動作を実施して、物体の深度又は距離を測定し得る。深度撮像装置は、光を場面へ放射し、センサアレイを用いて場面内の物体から反射される光を感知し得る。反射光がセンサアレイに当たるタイミングが、場面内の物体の深度又は距離についての情報を与える。いくつかの場合において、センサアレイの画素の視野の外側にある破損光が、深度撮像装置内で発生する内部散乱又は内面反射に起因して、画素に当たることがある。破損光は、深度又は距離測定を破損し得る。この問題に対処するために、改善された深度撮像装置が、深度撮像装置内で発生する内部散乱又は内面反射に起因する破損光を隔離及び測定し、系統的に、深度又は距離測定から測定された破損光を除去し得る。

飛行時間型測定を破損し得る発生源

典型的には、深度撮像装置の光源は、センサアレイの近くにあり（又は、センサアレイに隣接し）、センサアレイが可動式の場合、センサアレイと共に移動する（例えば、光源は、センサアレイを基準として固定された位置にある）。簡略化のため、センサアレイは、本明細書において「センサ」と称されることがある。いくつかの他の場合、静止光源も同様に、又は経時的に位置が分かる任意の光源も考えられる。

深度撮像装置の光源がセンサの近くにある場合に言及すると、光が返ってセンサに当たるのにかかる時間は、物体までの距離に比例すると理解され得る。より正確には、物体の深度Ｄは、式によって与えられる。
ここで、cは、光の速度、t_Rは、光が物体まで進み、戻り、センサに当たるのにかかる時間である。式（１）の２の因子は、光が物体まで進み、物体から戻らなければならないことに起因する。t_RとDとの間の関係は、異なり得る。いくつかの場合、センサに対する光源の位置に依存する式（１）よりも複雑化する。

図１は、本開示のいくつかの実施形態による、深度撮像装置、及び飛行時間型動作を示す。深度撮像装置は、光を放射する光源１０２、センサアレイ１０４、及びレンズ１０６を含む。場面は、複数のオブジェクト、例えば、オブジェクト１１０、オブジェクト１１２、及びオブジェクト１１４を有し得る。光源１０２は、１つ以上のレーザダイオードを含み得る。いくつかの実施形態では、光源１０２は、垂直共振器面発光レーザ、又は端面発光レーザなどの発光素子を含み、いくつかの場合、発光素子が光を送っている場面の部分に影響を及ぼすための拡散器と組み合わされる。センサアレイ１０４は、２次元領域上に配置される電荷結合素子（ＣＣＤ）センサ又はＣＭＯＳセンサを含み得る。センサアレイ１０４におけるセンサは、画素と称される。深度撮像装置は、光源１０２及びセンサアレイ１０４を制御及び駆動するドライバ１８０（例えば、電子駆動回路）を含んでもよい。深度撮像装置は、深度推定を形成するためにセンサアレイ１０４からの信号を受信及び処理する処理回路１９０を含んでもよい。

放射光は、物体から跳ね返り、戻ってセンサアレイ１０４に当たることがある。物体からの戻り光を除いて、センサアレイ１０４は、飛行時間型測定を破損し得る他の外来光をさらに受信し得る。外来光の１つの形態は、背景（ＢＧ）光である。ＢＧ光は、日光、システムに関連しない他の光源、及び他の深度撮像装置に関連する光源などの、他の発生源から生じ得る。ＢＧ光に対していくらかの許容誤差を有する飛行時間型深度撮像装置を設計することが望ましい。

深度撮像装置は、最小距離D_min及び最大距離D_maxによって定義される、動作深度範囲を有し得る。動作深度範囲外では、深度撮像装置は、距離を報告しない。D_minがゼロでない１つの理由は、D_minよりも近くのある反射率の物体についての戻り光が、戻り光がセンサアレイ１０４を飽和させるほど強いということであり得る。D_maxは、典型的には、それを超えると距離を判断するのに十分な光がセンサアレイ１０４に戻らない距離である。１つの例では、深度撮像装置がその動作深度範囲についての最小距離D_minを有するとすると、光が最小距離D_minを進み、戻ってくるための最小時間t_minは、したがって
である。D_min及びt_minは、個々の深度撮像装置に依存し得る。

センサアレイ１０４内の各画素について深度を取得するために、測定のセットが、各画素において実行される。測定のセットは、深度を算出するために情報を提供する。各画素は、それぞれの深度が、算出又は推定されることを可能にし、センサアレイ１０４は、それぞれの深度に基づいて深度画像を生成し得る。図２は、本開示のいくつかの実施形態による、センサアレイにおける画素によって実行され得る測定を示す。測定は、放射光（例えば、プロット２０２）、画素に到達する光（例えば、プロット２０４）、センサ信号（例えば、プロット２０６）、及び収集される信号（例えば、プロット２０８）によって定義され得る。放射光は、光源（例えば、光源１０２）がオン及びオフにされる時までに要求される。図示される例では、放射光は、時間t=0及びt=T_Lの間（例えば、持続期間はT_Lである）、オンにされる。光源は、時間t=0及びt=T_Lの間隔の外側ではオフである。開始時間、放射光がオンにされる時は、時刻が定義される基準としてt=0であるように設定される。画素に到達する光は、ＢＧ光（測定の過程を通して緩やかに変動していると仮定される）、及び物体から反射される戻り光を含み得る。物体から反射される光は、t=t_Rにおいて画素に到達し得る。センサ信号は、画素に到達する光を画素が感知するための時間間隔を要求する。センサ信号は、画素についての統合期間を定義し得、そこで、画素は、画素に到達する光の光子に基づいて、電荷を収集又は累積する。図示される例では、画素は、t=t₁とt=t₁+T_sの間（例えば、持続期間がT_sである）に光を感知している。いくつかの場合において、t₁=t_minである。いくつかの場合において、T_s=T_Lである。収集された信号は、ＢＧ光及び統合期間の間に画素に当たる、物体から反射された戻り光を含み得る。簡略化のため、１つの測定を行うように画素を制御するために、１つのセンサ信号だけが示されている。実際には、画素は、複数の光測定をそれぞれ収集する複数の電荷蓄積ユニットを有し得る。したがって、複数の別個のセンサ信号が、電荷蓄積ユニットを個別に異なるタイミングで制御するために使用され得る。

画素によって行われた測定についての表記は、M(X,Y,Z)である。ここで、Xは、光源１０２がオフにされる時間（又は、t=0からの放射光の持続期間）を示し、Ｙは、画素が光を感知し始める開始時間を示し、Ｚは、画素が光を感知している時間間隔の持続期間を示す。図２に示される測定は、M(T_L,t₁,T_s)である。Ｙは、負の値であり得、測定に依存する。

正確な測定を実現するために、光源１０２を正確に制御すること、及び光源１０２をオン又はオフにすることが可能であることが望ましい。例えば、t=0において光源１０２をオンにし、t=T_Lにおいて光源をオフにすることが可能な、深度撮像装置におけるドライバ１８０を有することが望ましい。ドライバ１８０は、十分に短い立ち上がり時間及び立ち下がり時間で光源１０２を駆動する信号を生成し得ることが好ましい。

図２に戻って参照すると、画素は、到来する光子を電子に変換し、それらの電子を電荷蓄積ユニットに蓄積し得る。電荷蓄積ユニットは、異なるセンサタイミングを実現し、異なる測定を行うように、異なるセンサ信号で個別に制御され得る。所与の画素のための電荷蓄積ユニットは、S_i(i=0,...,N-1)と示され、ここで、Ｎは、画素毎の電荷蓄積ユニットの数である。例えば、各画素は、光子を感知し、光子を電子に変換する１つ以上のフォトダイオード（又は感光性素子）と、電子を蓄積し、電荷蓄積ユニットとして動作する１つ以上のコンデンサと、を含む。センサ信号は、指定されたタイミングでコンデンサによる電子の収集を開始及び停止し得る。一連のコンデンサが、メモリ素子、即ち、電荷蓄積ユニットとして考えられ得、それが、異なる収集された光測定を記憶する。正確な測定を実現するために、センサ信号を正確に制御すること、並びに、電荷蓄積ユニットに正確なタイミングで光を感知することを開始及び停止させることが可能であることが望ましい。画素の電荷蓄積ユニットに蓄積される電荷の量は、処理回路１９０によって読み出され、深度を算出するために処理回路１９０によって処理され得る。

いくつかの場合において、深度は、３つの電荷蓄積ユニットによって収集された３つの光測定から推定され得る。深度は、ＢＧ光への耐性のあるスキームに基づいて推定され得る。画素は、３つの電荷蓄積ユニット、S₀、S₁及びS₂を含んでもよく、それらは、異なる収集された光測定を記憶し得る。光源１０２は、時間t=0からt=T_Lまでオンであってもよい。S₀は、時間t=t₀からt=t₀+T_Lまで光を収集し得る。S₀によって行われている測定は、M(T_L,t₀,T_L)である。S₁は、時間t=t₁からt=t₁+T_Lまで光を収集し得る。S₁によって行われている測定は、M(T_L,t₁,T_L)である。１つの場合において、t₁=t₀+T_Lである。S₂は、時間T_Lの間光源１０２をオフにしてＢＧ光を収集し得る。S₂は、時間t=-t₂からt=-t₂+T_Lまで光を収集し得る。S₂によって行われている測定は、M(T_L,-t₂,T_L)である。１つの場合において、t₂=T_Lであり、したがって、S₂は、時間t=-t₂=-T_Lからt=0まで光を収集し得る。別の場合において、S₂は、M(0,0,T_L)であり、光源は、測定の間オフのままであり、したがって、S₂は、ＢＧ光を捕捉しているだけである。光源が光を放射していないため、S₂は、反射光を少しも収集しない。一般的に述べると、光源がオンである前の期間中、測定S₂は、ＢＧ光を収集する。画素についての深度Ｄは、以下の例示的な式を算出することによって取得され得る。
これは、t₁=t₀+T_s、
であるときに取得される。式（２）は、画素が３つの電荷蓄積について光を感知している時間間隔の持続期間が、３つの測定全てについて同じT_Lであるときに取得され、それは、一般的な場合である必要はない。

S₀及びS₁により収集された光は、S₂によって収集されたＢＧ光を減算することによって、ＢＧ光について個別に調整される。深度は、ＢＧ光S₂についての調整が実行された後で、S₀及びS₁により収集された光の総量に対するS₁によって収集された光の比率に基づいて算出される。したがって、ＢＧ光を測定するS₂が、S₀及びS₁によって行われた測定から減算されるため、式（２）で算出された深度Ｄ、及び説明された測定は、背景光に耐性がある／反応しないという利点を有する。

電荷蓄積ユニットS₀、S₁、及びS₂によって行われる測定は、複数回反復され得、収集される光は、信号強度を増大させるために、それぞれの電荷蓄積ユニット（又は他の回路）において加算／累積され得る。電荷蓄積ユニットにおいて加算される反復された測定が、深度計算のために用いられ得る。反復数が、各電荷蓄積ユニットについて異なっている場合、それは、信号対雑音比を増加させるためにいくつかの場合では有利であり得、蓄積ユニットにおける値が、反復数で除算されてもよく、その結果得られる値が、深度推定のために用いられ得る。

電荷蓄積ユニットは、好適なセンサ信号を用いて、反復された測定の加算又は累積をハードウェアにおいて実行し得る。同一の電荷蓄積ユニットは、電子をダンプすることなく、又は測定の合間に電荷蓄積ユニットをリセットすることなく、複数の測定を行うために適切なセンサ信号で複数回オンにされ得る。測定が反復されるにつれて、電子は、同一の電荷蓄積ユニット内で加算／累積され続ける。

図２に戻って参照すると、図示されるプロットは、理想的／完璧な矩形パルスを有し、式（２）における算出は、光源１０２が、高速（ゼロ）立ち上がり時間でオンにされ、高速（ゼロ）立ち下がり時間でオフにされ、電荷蓄積ユニットが、完全にオフ又は完全にオンのいずれかであると、仮定する。実際には、信号の実際上の立ち上がり時間及び立ち下がり時間、並びにセンサの感度についての電子ハードウェアの制限に起因して、放射光についてのプロット２０２、及びセンサ信号についてのプロット２０６は、完全な矩形パルス形状を有しない可能性が高い。図３は、本開示のいくつかの実施形態による、センサアレイにおける画素によって実行され得る例示的な測定を示す。光源１０２による放射光（例えば、プロット３０２）は、時間に依存して変動し得る強度を有する。これは、光源１０２の物理的制限、並びに光源１０２を駆動する信号の制限された立ち上がり時間及び立ち下がり時間に起因する。放射光は、
と表され、それは、時間の関数としての出力電力である。T_Lは、光源１０２がオンである時間量である。画素に到達する光（例えば、プロット３０４）は、一部放射光の結果であり、それもまた、放射光と類似の形状を有する。画素に到達する光は、
と表され、ここで、ａは、画素に戻る光の減少（例えば、振幅の減少）を考慮するための利得係数であり、ｂは、ＢＧ光の量（例えば、経時的に一定）であり、t_Rは、光が場面内の物体まで進み、かつ物体から戻る時間の量である。センサ信号（例えば、プロット３０６）は、また、光子変換効率（例えば、到来する光子毎に収集される電子の数）を変動させる時間を有してもよく、センサ信号もまた、制限された立ち上がり時間及び立ち下がり時間を有してもよい。光子変換効率は、センサ信号の強度とともに増大し得る。センサ信号（例えば、その光子変換効率を時間の関数として表す）は、
によって表される。ここで、t₁は、電荷蓄積ユニットがオンになり始める時間であり、T_Sは、電荷蓄積ユニットがオンである時間量である。収集された信号（例えば、プロット２０８）は、画素に到達する光及びセンサ信号の結果であり、それもまた、非理想的な形状を有する。時間の関数として、収集された信号は
によって表され、それは、画素に到達する光を表す関数と、センサ信号を表す関数との組み合わせである。したがって、収集された電子の数を表す測定は、収集された信号の積分
である。

図４は、本開示のいくつかの実施形態による、背景光を考慮して、センサアレイにおける画素によって実行され得る例示的な測定を示す。先に考察される通り、深度推定実行時に測定におけるＢＧ光を減算するために、電荷蓄積ユニットS₀、S₁、及びS₂で３つの測定を取ることが可能である。光源１０２による放射光（例えば、プロット４０２）は、
と表される。T_Lは、光源１０２がオンである時間量である。画素に到達する光（例えば、プロット４０４）は、
と表される。３つのセンサ信号は、３つの電荷蓄積ユニットS₀、S₁、及びS₂で３つの測定を行うために使用される。

S₀は、センサ信号（例えば、プロット４０６）によって制御され、それは、
によって表される。ここで、t₀は、電荷蓄積ユニットがオンになり始める時間であり、T_Sは、電荷蓄積ユニットがオンである時間量である。S₀によって行われる測定は、M(T_L,t₀,T_S)である。S₀についての収集された信号は、
によって表され得る。収集された電子の数を表すS₀による測定は、収集された信号の積分
である。

S₁は、センサ信号（例えば、プロット４０８）によって制御され、それは、
によって表される。ここで、t₁は、電荷蓄積ユニットがオンになり始める時間であり、T_Sは、電荷蓄積ユニットがオンである時間量である。S₁によって行われる測定は、M(T_L,t₁,T_S)である。S₁についての収集された信号は、
によって表され得る。S₁は、時間t=t₁からt=t₁+T_Sまで光を収集し得る。収集された電子の数を表す測定が、収集された信号の積分
である。１つの場合において、t₁=t₀+T_Sである。いくつかの場合において、t₁は、２つの時間間隔のいくらかの重複を見込むために、予め定義された量だけt₀+T_Sよりわずかに少ない。重複は、パルス形状が理想的でないとき、特に有利であり得る。いくつかの場合において、測定S₁の一部が、小さく、したがって雑音があるように、測定S₁を行うためのセンサ信号は、パルスがゼロでない時間間隔の端付近では比較的小さな値を有してもよい。このような場合、t₁の開始時間を予め定義された量だけt₀+T_Sよりわずかに小さくなるように変更することによって、戻り信号、及びしたがって、対象となる深度範囲にわたる信号対雑音比が増加し得る。

S₂は、時間T_Sの間光源１０２をオフにしてＢＧ光を収集し得る。S₂センサ信号（例えば、プロット４１０）は、
によって表される。ここで、-t₂は、電荷蓄積ユニットがオンになり始める時間であり、T_Sは、電荷蓄積ユニットがオンである時間量である。S₂によって行われる測定は、M(T_L,-t₂,T_S)である。S₂は、時間t=-t₂からt=-t₂+T_Sまで光を収集し得る。S₂についての収集された信号は、
によって表され得る。収集された電子の数を表す測定が、収集された信号の積分
である。１つの場合において、t₂=T_Sであり、したがって、S₂は、時間t=-t₂=-T_Sからt=0まで光を収集し得る。

電荷蓄積ユニットは、同一の時間量T_Sの間全て必ずしもオンにならず、持続期間が、互いに異なり得る。いくつかの場合において、持続期間T_Sのうちの１つ以上が、T_Lに等しくなり得る。深度推定についての比率を算出する前に、S₂による測定は、ＢＧ光から測定への寄与を除去するために、S₀及びS₁から減算される。S₀及びS₁が、同一のパルス形状を有しないセンサ信号によって制御される場合、いくつかの場合にそれらが同一幅のパルスでない場合であり得、それらが捕捉する背景光の量が異なっていてもよく、その場合において、S₂は、S₀及びS₁についてそれぞれ異なる係数で乗算され得、その後、背景光の正しい量を減算するために、S₀及びS₁それぞれから減算され得る。

プロットが完璧な矩形パルスを有しないことを考慮に入れ、正確な深度推定を取得するために、深度の関数として比率
を測定し、ルックアップテーブルに値を記憶することが可能である。異なる比率の値が、ルックアップテーブルのインデックスの役割をする。ルックアップテーブルは、
であるように関数Ｈ（ｘ）を実施し、推定される深度が非理想的なパルス形状について調整されることを可能にする。言い換えると、比率
に基づくルックアップテーブルからの結果は、正しい深度推定を出力し得る。Ｈ（ｘ）についての値は、Ｈ（ｘ）が既知であるｘの値の間で外挿法によって推定され得る。深度の式は、以下のようになる。

内面反射が測定を破損する

飛行時間型撮像装置での問題の１つは、以下の通りである。各画素が、その視野に対応する場面の一部分からのみ光を受信するという仮定である。異なる言い方をすると、各画素がその視野内の物体から光を捕捉するという仮定である。その視野内の物体からレンズに入る光全てが、その画素のみの上に焦点を合わせる。しかしながら、場面内のどこか他の場所の物体からの光が、複数の内部散乱事象又は複数の内面反射を経験する場合、この光は、物体がその視野内にない画素に当たってしまうことがある。その結果、場面の一部からの光が、場面の異なる部分に視野が対応する画素からの測定を破損することが考えられる。

これは、ＢＧ光を除いて、画素に到達する光が、内部散乱事象又は複数の内面反射に起因する光などの、他の外来光を含み得ることを意味する。この光、即ち、破損光又は外来光は、光が当たってしまう画素の深度推定に著しく影響を及ぼし得る。この効果は、カメラ付近の物体には強い場合があり、そこでは、センサに当たる光の量が大きい。手持ちデバイスの場合、指又は手の他の部分が、（意図せずに）カメラの非常に近くにある場合があり、そこでは、効果が強いことがある。画素の視野が遠くの物体を指しているシナリオにおいて、及び画素の視野の外側の場面の別の部分において、センサアレイ１０４の非常に近くの物体があり、その効果は明白であり得る。センサに戻ってくる光の量は、距離とともに二次的に衰え得る。即ち、その視野が所与の物体である画素に当たる光が、1/D²に比例する。ここで、Dは、物体までの距離である。したがって、付近の物体は、遠くの物体から戻ってくる光と比較して、大量の光がセンサに返ってくることにつながり得る。遠くの物体からの信号量は、比較すると相対的に低いため、破損光は、深度推定に著しく影響を及ぼし得る。複数の内面反射は、物体がセンサ内の画素の多く又は全てを破損することにつながり得る。

この内面反射問題は、マルチパス問題と同一ではないことに留意されたい。マルチパス問題では、反射は、互いから数センチメートル又は数メートル離れ得る、場面内の複数の物体からである。内面反射問題は、マルチパス問題とは全く異なる課題である。なぜなら、仮定される反射が、深度撮像装置にかなり近い距離（数センチ、又は数ミリメートルの範囲内）において起こり得るからである。この差によって、マルチパス問題に対するほとんどの手法が、内面反射に対処するには実用的でなくなっており、いくつかの場合において、これらの手法は、本明細書で説明される方法よりもはるかに多くの測定を潜在的に要求し得る。

図５〜７は、本開示のいくつかの実施形態による、画素に当たっている外来光源についての例示的なシナリオを示す。図５において、付近の物体１１０に反射する光が、レンズ１０６及びセンサアレイ１０４の間で複数の跳ね返りを経験することが分かる。光は、レンズを通過し、センサアレイ１０４から跳ね返り、レンズに跳ね返り、異なる画素上のセンサアレイ１０４に当たり得る。図６において、付近の物体１１０（例えば、画素の視野の外側の物体）に反射する光が、レンズ１０６の内側で複数の跳ね返りを経験することが分かる。いくつかの深度撮像装置では、入念な光学設計（例えば、レンズのセット、及び反射防止コーティングを用いて）が、問題を軽減し得るが、完全に影響を除去することは困難であり得る。

図７において、光が、画面７０４上の汚れ７０２に反射し得ることが分かる。汚れ７０２は、レンズを保護している画面７０４上に残された油膜又は残留物であり得る。このシナリオは、深度撮像装置を有する手持ちデバイスでは一般的であり得る。汚れ７０２は、画面７０４上の望ましくない物質の単なる一例である。内面反射を引き起こし得る他の望ましくない物質は、埃及び水滴を含み得る。例えば、センサの近くに埃があるとき、付近の物体のブレに起因して、埃によって大きな円盤状のものが深度撮像装置内に出現し得る（例えば、システムは、場面内に大きな円盤状のものがあると解釈し得る）。

内面反射からの破損光が深度推定に影響を及ぼさないと保証することが、有利である。

破損光を個別に測定し、深度推定に対するその影響を除去する

先に考察される通り、内面反射問題は、センサ付近に物体があるときに、最も重大である。そのような付近の物体は、距離D_IRよりも近い（ＩＲは、内面反射の略語である）。D_IRは、数センチメートル程度であり得る。典型的には、深度撮像装置の動作範囲の最小距離D_minは、D_IRよりも大きい。

破損光が深度計算に影響を及ぼさないことを確認するための１つの技術は、破損光を個別に測定すること、及び深度推定へのその影響又は寄与を除去することである。図８は、本開示のいくつかの実施形態による、破損光を隔離し、測定する技術を示す。例えば、画素の視野の外側の破損させる物体からの光、及び画素の視野内の物体からの反射光が、時間的に分離されるように、放射光の幅又は持続期間T_Lを十分短くすることが可能である。電荷蓄積ユニットが、ＢＧ光及び破損光を捕捉し、かつ画素の視野内の物体からの反射光を捕捉しないように期待されるときに、画素の電荷蓄積ユニットは、次いで、期間内に光を感知及び収集するように制御され得る。一度ＢＧ光及び破損光の測定が行われると、適切な利得係数を適用し、ＢＧ光及び破損光の測定を、破損光によって影響を受ける他の測定から減算することが可能である。

光源１０２による放射光（例えば、プロット８０２）は、
によって表される。T_Cは、光源１０２がオンである時間量である。T_Cは、画素の視野内の物体に反射する戻り光及び破損光を時間的に分離するには十分短い。画素の視野内の物体に反射する戻り光（例えば、プロット８０４）は、
によって表される。ここで、a_Rは、画素に戻る光の減少（例えば、振幅の減少）を考慮するための利得係数であり、t_Rは、光が視野内の物体まで進み、物体から戻るための時間量である。内面反射に起因する破損光（例えば、プロット８０６）は、
によって表される。ここで、a_Bは、画素に戻る光の減少（例えば、振幅の減少）を考慮するための利得係数であり、t_Bは、光が１つ以上の内面反射後に画素に戻るための時間量である。物体からの戻り光及び破損光は、時間的に重複しないことが分かる。画素に到達する光（例えば、プロット８０８）は、
と表され、それは、物体に反射する戻り光、破損光、及びＢＧ光（bによって表される）の組み合わせである。電荷蓄積ユニットは、-t_Cにおいて、及びT_Sの持続期間中に、光を感知し始めるように、センサ信号（例えば、プロット８１０）によって制御され得る。センサ信号は、
によって表される。電荷蓄積ユニットによる測定は、F=M(T_C,-t_c,T_S)である。１つの場合において、T_S=t_c+t_minであり、したがって、測定は、M(T_C,-t_C,t_C+t_min)である。別の場合において、T_Sを除くt_C<T_S<t_C+t_minは、破損光につながる付近の物体とセンサとの間のいくらかの最大距離を仮定して、内面反射に起因する光を全て収集するために十分大きく選択される。D_C,maxが、センサと破損光につながる物体との間の最大距離である場合、T_Sは、
より大きくなるように選択され得る。収集される信号（例えば、プロット８１２）は、破損光及びＢＧ光の結果であり、
によって表される。関数
は、画素に到達する光を表す関数と、センサ信号を表す関数との組み合わせである。したがって、収集された電子の数を表す測定が、収集された信号の積分
である。この測定（本明細書ではFと称され、M(T_C,-ｔ_C,T_S)と示され得る）は、ＢＧ光bからの寄与（本明細書ではBGと称される）、内面反射に起因する破損光
からの寄与（本明細書では破損光Cと称される）、及び画素の視野内の物体に反射する戻り光からの寄与
を含み得る。戻り光からの寄与は、画素の視野内の物体から戻る光が画素に当り始める前にセンサ信号が遮断される場合、ゼロ又は小さい場合がある。破損光からのみの測定への寄与は、
に等しい。視野内の物体からの寄与が無視され得る場合、測定は、形式F=C+BGになる。ここで、
は、背景光からの寄与である。ＢＧ光についての測定が、個々に行われる場合、ＢＧ光からの寄与を測定Fから減算又は除去（例えば、F-BG=C）して、破損光Cを取得することが可能である。

所与の測定Mは、そのパラメータに依存して、破損光に起因するある寄与α_FC（寄与は、利得係数α_Fにより乗算されたCである）を有し得る。幸いにも、破損光からの影響／寄与α_FCは、測定Mをα_FCで減算することによって除去され得る。Cは、例えば、測定Ｆを行うこと、及びＢＧ光からの寄与をFから除去することを通して、図８に示される技術によって導出され得る。破損光についての利得係数α_Fは、光パルス及びセンサ信号の形状を知ることによって先験的に判断され、距離に弱く依存し得る。又は破損させる物体までの距離が、センサからの固定距離における画面上の汚れの場合のように、先験的に既知であり得る。結果として、数量M-α_FCは、破損光から実質的に独立している。

破損光Cに対応する利得係数α_Fを判断することは、自明ではない。例えば、光源パルス及びセンサ信号パルスが、完全に矩形である場合、所与の測定Mにおける破損光の量は、Mが破損光を収集している時間量に比例する。例えば、M(T_L,0,T_S)かつT_L<T_Sの場合、M(T_L,0,T_S)は、時間
からT_Lまで破損光を収集し得る。ここで、D_Cは、破損させる物体とセンサとの間の距離である。
が、T_Lと比較して微小である場合、所与の測定Mにおける破損光の量が、T_Lにほぼ比例する。

図８に戻って参照すると、破損された光がCによって捕捉されている時間量は、T_Cである（それは、図８に示される測定、M(T_C,-t_C,T_S)に用いられる放射光の持続期間でもある）。したがって、利得係数α_Fが、所与の測定M(T_L,0,T_S)に用いられる放射光の持続期間と、図８によって示される測定M(T_C,-t_C,T_S)において用いられる放射光の持続期間との比率、
に設定される場合、数量M-α_FCは、パルスが完全に矩形であった場合に、破損光の影響を受ける数量である。比率は、Cにおいて捕捉される破損光の量に対して、所与の測定Mにおいて捕捉される破損光からの寄与を説明する利得係数α_Fを効果的に発見する。利得係数α_Fは、したがって、Cにおいて捕捉される破損光の量を乗算する乗数である。乗算の結果は、所与の測定M(T_L,0,T_S)において捕捉される破損光の量の近似値をもたらす。パルスが完全な矩形でない場合、数量M-α_FCは、いくらか満足のいくレベルの精度で、適切に選択される利得係数α_Fについて依然として破損光にほぼ反応しなくともよい。f_C,Mが、所与の測定Mによって収集される破損光の量であり、f_Cが、Fによって収集される破損光の量である（図８において見られるスキームによって示されるように）場合に、比率
に等しいα_Fを選択することが、M-α_FCが破損光に反応しないことにつながる。

図８に示される測定、及びCが破損光の影響を図４によって示される測定から除去する（例えば、M-α_FC）ための導出を使用することが可能である。図４によって示される例に戻って参照すると、S₀は、M(T_L,t₀,T_S)であり、S₁は、M(T_L,t₁,T_S)であり、S₂は、M(T_L,-t₂,T_S)である。S₀は、破損光によって最も影響を受ける測定である可能性が高い。利得係数α_Fが、判断され得、Cが、図８に示される例を使用して導出され得る。S₀は、S₀を破損光に反応させないように、α_FCによって減算され得る。

ＢＧ光がない（BG=0）場合、測定Fは、内面反射のみに起因する破損光を含む（例えば、F=C+BG=C+0=C）。S₀は、
を算出することによって調整され得る。S₀による測定は、破損光についての利得係数α_Fによって乗算されたF=Cにより減算される。結果として得られる数量
は、破損光に反応しない場合がある。S₁による測定は、破損光によってあまり影響を受けない場合があり、破損光についての調整が、満足な度合いの精度に達する必要がない場合がある。測定が、式（２）又は式（３）に適用されるとき、
は、S₀を置換する。ＢＧ光がない場合、式は、さらなる調整を行うことなく同じ様態で適用され得る。

ＢＧ光がある（BG≠0）場合、深度推定計算は、異なり得る。ＢＧ光があるとき、測定Fは、破損光C及びＢＧ光BGの組み合わせ、例えば、F=C+BGである。破損光C及びＢＧ光に反応しない測定S_iを取得するために、測定S_iは、減算S_i-α_F,iC-S₂を通して破損光α_FC及びＢＧ光S₂からの寄与を除去し得る。この設定は、内面反射に起因する破損光が（-α_F,iCを通して）一度除去され、ＢＧ光が（-S₂を通して）一度除去されることを保証する。式C=F-BGに当てはめて、BG=S₂と仮定すると、S_i-α_F,iC-S₂は、S_i-α_F,iC-S₂=S_i-α_F,i(F-BG)-S₂=S_i-α_F,i(F-S₂)-S₂=S_i-α_F,iF+α_F,iS₂-S₂=S_i-α_F,iF+(α_F,i-1)S₂と書き換えられ得る。破損光及びＢＧ光に対して調整されたS₀を用いた式（３）は、以下のようになり得る。ここで、S₀-α_F,0F+(α_F,0-1)S₂はS₀-S₂を置換する。

深度計算のためのこの調整された比率
は、深度とともに大きくなり、実際の深度Ｄを取得するためにＨ（ｘ）を実施するルックアップテーブルへの入力として提供され得る。

より概略的には、異なる深度推定式、及び光を測定するための技術について、破損光測定α_F,iFによる何らかの寄与は、S_i-α_F,iF+(α_F,i-1)S₂に見られるように、所与の電荷蓄積ユニットS_iによって行われた測定から減算され得る。調整された測定
は、したがってS_i-α_F,iF+(α_F,i-1)S₂に等しい。ここで、利得係数α_F,iにより乗算される破損光測定Fは、元の測定S_iから減算され、利得係数(α_F,i-1)により乗算される背景測定S₂は、元の測定S_iに加算される。測定に対応する破損光のための特定の利得係数α_F,iが、判断され、使用され得る。例えば、S_iにおける破損光の量が、f_c,iに等しく、Fにおける破損光の量が、f_cに等しく、その場合に、
であると判断され得る。測定S₀について、利得係数α_F,0は、したがって、S₀において捕捉される破損光の量と、測定Fにおいて捕捉される破損光の量との間の比率であり得る。測定S_1,について、利得係数α_F,1は、したがって、S₁において捕捉される破損光の量と、測定Fにおいて捕捉される破損光の量との間の比率であり得る。測定が、式（２）又は式（３）に適用されるとき、
は、破損光の成分によって影響を受け得る測定について、S_i-S₂を置換する。測定
は、破損光及びＢＧ光によって破損されず、式（３）などの深度推定式において直接使用され得る。

式４に見られる深度の式を算出するために、S₀に１つの電荷蓄積ユニットを、S₁に１つの電荷蓄積ユニットを、S₂に１つの電荷蓄積ユニットを、Fに１つの電荷蓄積ユニットを利用することが可能である。言い換えると、図８によって示される技術が、図４に見られる測定と組み合わせて、１つの追加の電荷蓄積ユニットを利用して破損光測定Fを行ってもよい。

いくつかの実施形態では、測定S₀及び測定S₁の両方が、いくらかの量の破損光によって影響を受ける。したがって、測定S₀及び測定S₁の両方が、破損光及び背景光の両方について調整される。言い換えると、式（３）において、
がS₀-S₂を置換し、
がS₁-S₂を置換する。

いくつかの実施形態では、測定S₁の開始時間、即ち、t₁は、破損光がもはや画素に当たっていない（又は画素に当たると予期される）ときに、電荷を収集し始めるように設定される。したがって、測定S₀は、破損光及び背景光により影響を受け、測定S₁は、破損光によってではなく背景光によって影響を受ける。したがって、測定S₀は、破損光及び背景光の両方について調整され、測定S₁は、背景光のみについて調整される。言い換えると、式（３）において、
がS₀-S₂を置換し、S₁-S₂はS₁-S₂のままである。
における利得係数α_F,1は、S₁において捕捉される破損光の量と測定Fにおいて捕捉される破損光の量との間の比率であり、S₁において破損光の量が全く捕捉されない場合ゼロであり、それは、実際上
を行うことに留意されたい。

破損光を測定するために追加の電荷蓄積ユニットをハードウェアに追加しなければならないことを回避するため

いくつかの場合において、追加の電荷蓄積ユニットを有する必要性を回避することが可能である。[S_i-α_F,iF+(α_F,i-1)S₂]（式（４）において見られる数量）が、(S_i+(α_F,i-1)S₂)-α_F,iFと書き換えられ得ることに留意されたい。α_F,i-1>0と仮定すると、ハードウェアにおいて測定S_i+(α_F,i-1)S₂を実行することが可能である。前述の通り、画素における電荷蓄積ユニットは、経時的に実行される複数の測定を行い、累積するように制御され得る。いくつかの場合において、測定は、光源１０２の異なる光パルス幅、及び／又は異なるセンサ信号パルス幅／持続期間に基づき、同一の電荷蓄積ユニットを用いて反復され得る。具体的には、同一の電荷蓄積ユニットは、同一の電荷蓄積ユニットに、全ての測定について電子（例えば、電荷の量）を収集及び累積し続けさせ、各測定後に電荷蓄積ユニットをリセットさせないことによって、測定の加算を実行し得る。

同一の電荷蓄積ユニットが、S_iに対応する測定を行うために使用されてもよく、測定は、電荷蓄積ユニットに記憶される。同一の電荷蓄積ユニットは、α_F,i-1回、ＢＧ測定S₂を行い、同一の電荷蓄積ユニットにおいてα_F,i-1回のＢＧ測定を加算／累積し得る。α_F,i-1は、所与の測定S_i-1に対応する破損光測定についての利得係数α_F,iに等しい。測定は、任意の好適な順序で行われ得る。実際上、単一の電荷蓄積ユニットは、(S_i+(α_F,i-1)S₂)に対応する電荷を累積し得る。α_F,i-1が整数でない場合、ＢＧ測定S₂のパルス幅（又は持続期間）を変更して、単一のＢＧ測定S₂のα_F,i-1倍数を生成することが可能である。パルス幅は、利得係数α_F,iに基づいて予め定められ、プログラムされ得る。１回行われる測定S_i、及びα_F,i-1回行われるＢＧ測定S₂を、同一の電荷蓄積ユニットが実行及び累積するためにセンサ信号を操作することによって、同一の電荷蓄積ユニットが、(S_i+(α_F,i-1)S₂)に相当する測定を行い得る。個々の電荷蓄積ユニットは、ＢＧ測定S₂を別個に行うためにもはや必要とされない。これは、図８によって示される破損光Fを隔離及び測定するために使用され得る「空いている」電荷蓄積ユニットを解放する（又は追加の電荷蓄積ユニットに対する必要性を取り除く）。

本明細書で説明される様々な技術を用いると、測定S₀は、破損光及びＢＧ光に対して調整され得る。さらに、画素は、S₀及びS₂のために１つの電荷蓄積ユニットを、Fのために１つの電荷蓄積ユニットを利用することによって、測定S₀（又は、破損光により影響を受ける任意の測定S_i）、ＢＧ測定S₂、及び破損光測定Fを行い得る。

同じ技術を適用すると、測定S₁もまた、破損光及びＢＧ光に対して調整され得る。具体的には、数量S₁-α_F,1F+(α_F,1-1)S₂は、破損光及びＢＧ光を含まなくてもよい。この場合における利得係数α_F,1は、S₁において捕捉される破損光の量と、測定Fにおいて捕捉される破損光の量との間の比率であり得ることに留意されたい。S₁+(α_F,1-1)S₂は、ハードウェアにおいて（即ち、同一の電荷蓄積ユニットを用いて）実行され得るため、S₁、S₂、及びFのために３つの別個の電荷蓄積ユニットを有する必要がなくなる。したがって、画素は、S₁及びS₂のために１つの電荷蓄積ユニットを、Fのために１つの電荷蓄積ユニットを利用することによって、測定S₁（これもまた、破損光により影響を受け得る）、ＢＧ測定S₂、及び破損光測定Fを行い得る。

式（４）は、測定S₀及び測定S₁の両方が破損光及びＢＧ光に反応し得ないことを保証するために、以下のように修正され得る。

深度計算のためのこの調整された比率
は、深度とともに大きくなり、実際の深度Ｄを取得するために、Ｈ（ｘ）を実施するルックアップテーブルへの入力として提供され得る。

その結果は、３つの電荷蓄積ユニット、[S₀+(α_F,0-1)S₂]のための１つの電荷蓄積ユニット、[S₁+(α_F,1-1)S₂]のための１つの電荷蓄積ユニット、及びFのための１つの電荷蓄積ユニットを用いて、破損光及びＢＧ光を考慮し得る画素である。３つの電荷蓄積ユニットは、式５に基づいて深度を算出するための数量を測定するのに十分である。その結果は、破損光及びＢＧ光からの寄与を有利に除去し、より正確な深度推定が算出されることを可能にし得る画素である。

ナノセカンドパルスを必要とすることなく、破損光を隔離及び測定するための技術

図８によって示される技術では、内面反射に起因する破損光及び視野内の物体からの戻り光の時間的分離が、持続期間T_Cの短パルスを使用する。破損させる物体が、深度撮像装置の５ｃｍ以内にあり、目的が、２０ｃｍ以上離れた物体の深度を測定することであるとする。５ｃｍ未満の離れた物体に起因する破損光及び２０ｃｍ以上離れた物体から反射する戻り光の時間的分離を実現するためには、T_Cは、任意の光が２０ｃｍ離れた物体から戻ってくる前に破損光が必ず画素に戻ってくるのに十分な短さでなければならない。これは、光パルスの幅T_Cが、
を満たさなければならず、それはT_C〜1nsを与えることを意味する。光源１０２を駆動するいくつかのドライバ、又は光源１０２自体が、放射光のナノセカンド幅のパルスを実現することができない。ドライバが、短いナノセカンドパルスを生成し得る場合であっても、放射光の出力電力が、多量の信号を得るにはその短い光パルス幅においては低すぎる。

この問題に対処するために、電荷蓄積ユニットは、依然として破損光を隔離及び測定する方法で制御され得る。図９は、本開示のいくつかの実施形態による、破損光を隔離し、測定する別の技術を示す。

光源１０２による放射光（例えば、プロット９０２）は、
によって表される。T_Lは、光源１０２がオンである時間量であり、T_Lは、画素の視野内の物体に反射する戻り光及び破損光を時間的に分離するのに十分短くなくてもよい。画素の視野内の物体に反射する戻り光（例えば、プロット９０４）は、
によって表される。ここで、a_Rは、画素に戻る光の減少（例えば、振幅の減少）を考慮するための利得係数であり、t_Rは、光が視野内の物体まで進み、物体から戻るための時間量である。内面反射に起因する破損光（例えば、プロット９０６）は、
によって表される。ここで、a_Bは、画素に戻る光の減少（例えば、振幅の減少）を考慮するための利得係数であり、t_Bは、光が１つ以上の内面反射後に画素に戻るための時間量である。物体からの戻り光及び破損光は、時間的に重複する（両方が期間内に画素に当たり得る）ことが分かる。画素に到達する光（例えば、プロット９０８）は、
と表され、それは、物体に反射する戻り光、破損光、及びＢＧ光（bによって表される）の組み合わせである。電荷蓄積ユニットは、-t₁において光を感知し始め、遅延時間t_dにおいて光を感知するのを停止するように、センサ信号（例えば、プロット９１０）によって制御され得る。電荷蓄積ユニットは、したがって、T_S=t₁+t_dの持続期間の間、感知する。センサ信号は、
によって表される。電荷蓄積ユニットによる測定は、F=M(T_L,-t₁,T_S)である。収集された信号（例えば、プロット９１２）は、破損光及びＢＧ光の結果であり、
によって表される。関数
は、画素に到達する光を表す関数と、センサ信号を表す関数との組み合わせである。したがって、収集された電子の数を表す測定が、収集された信号の積分
である。この測定は、ＢＧ光からの寄与、及び内面反射に起因する破損光の一部分を含む。画素が、付近の（破損させる）物体に反射する光及びＢＧ光だけを収集しているように、センサをオフにするための遅延時間t_dが選択され得る。

図９において、収集された信号によって示されるように、電荷蓄積ユニットは、t_dにおいて感知することを停止する。ここで、t_dは、破損光が画素に当り始める時間t_Bの後で、かつ物体に反射する戻り光が画素に当たる時間t_Rの前である。結果は、幅t_d（有効パルス幅と称される）又はそれより短い光パルスを送出したことに相当する。なぜなら、画素の視野内の物体に反射する戻り光が捕捉されず、破損光は、t_dにおいてセンサをオフにすることによって実際上隔離及び測定されるからである。適切な利得係数を使用することによって、図９において見られる測定は、破損光により影響を受ける測定から破損光を除去するために使用され得る。

本技術は、破損させる物体が、例えば、ある固定距離において既知である場合に有効である。例えば、破損させる物体は、画素からある固定距離にある画面７０４であってもよい。別の例では、破損させる物体は、それがゼロ距離であるように近似され得るくらい短い距離にあってもよい。そうでなければ、破損させる物体から捕捉される有効パルス幅は、破損させる物体までの距離に依存する。

例えば、破損させる物体が距離D_Cにあり、放射光パルスが時間間隔T_Lの間アクティブである場合、破損させる物体からの戻り光は、時間2D_C/cからT_L+2D_C/cまでアクティブである。センサが、
で時間-t₁からt_dまでアクティブである場合、センサは、時間
とt_dとの間、光を収集している。したがって、センサが光を収集する時間間隔は、t_d-2D_C/cの幅を有する。この数量は、センサと破損させる物体との間の距離D_Cに依存する。ct_d/2と比較してカメラの非常に近くの破損させる物体についての場合であり得るように、D_Cがt_dと比較してわずかである場合、この数量は、2D_Cに弱く依存するだけである。別の場合は、D_Cが一定である画面などの破損させる物体であり、したがって、D_Cが一定であるために、D_Cとともにt_d-2D_C/cの変動はない。これら両方の場合において、有効パルス幅は、先験的に判断され得る。破損光の量がD_Cに強く依存する点に対して、数量D_Cが変動する場合、それは、破損光を除去するための利得係数が先験的に判断され得ない場合であり得る。

シミュレートされた短い光パルス幅で測定を取得すること

破損させる物体までの距離が変動し得るとき、短い光パルスを生成しなくても実際上短い光パルスを実現するために、異なる技術が使用され得る。図１０は、本開示のいくつかの実施形態による、任意に短いパルスを実際上得る技術を示す。その技術は、同一形状であるが、ある遅延時間t_dだけ時間的にシフトされた幅T_Lの２つの光パルスを伴う。光源１０２による第１の放射光（例えば、プロット１００２）は、
によって表される。第１の放射光が、t=0において開始し／始まり、T_Lの持続期間を有する。この例では、第１の放射光が、t=0において第１の開始時間（又は、基準フレーム内のある好適な時間T_start）を有する。光源１０２による第２の放射光（例えば、プロット１００４）は、
によって表される。第２の放射光が、t=t_dにおいて開始し／始まり、T_Lの持続期間を有する。t_d<<T_Lであり、又は言い換えると、持続期間T_Lは、t_dよりも著しく大きいことに留意されたい。第２の放射光パルスは、第１の放射光パルスと同一のパルス形状を有し、第１の放射光パルスと同一の持続期間を有する。第２の放射光パルスは、第１の開始時間に対して所定の時間量t_dだけオフセット又は遅延された第２の開始時間を有する。第１の開始時間がt=T_startにある場合、第２の開始時間は、t=T_start+t_dにある。第２の放射光が、第１の放射光から減算されるとき、差（例えば、プロット１００６）は、幅t_dの短い正パルス１０１０として現れ、最小信号を有する時間T_L-t_dの後に、幅t_dの短い負パルス１０２０が続く。光出力電力は、正パルス１０１０と負パルス１０２０との間において最小である。電荷蓄積ユニットは、-t₁において、及びT_Sの持続期間の間に、光を感知し始めるように、センサ信号（例えば、プロット１００８）によって制御され得る。センサ信号は、
によって表される。２つの測定、（１）第１の放射光及びセンサ信号が、-t₁において感知を開始し、負パルス１０２０の前のある時間にオフになる、第１の測定、並びに（２）第２の放射光及びセンサ信号が、-t₁において感知を開始し、負パルス１０２０の前のある時間にオフになる、第２の測定を行うことが可能である。第１の測定に使用されるセンサ信号は、第２の測定に使用されるセンサ信号と同一の開始時間、持続期間、及び形状を有する。センサ信号は、第１の放射光パルス（例えば、t=0）の開始時間前に、又は開始時間前のあるときに、オンにされてもよく、T_L又はT_L-t_dの前のあるとき、及びt_dの後（又は、第２の放射光パルスの開始時間後）に、オフにされてもよい。センサ信号の-t₁及びT_Sによって定義される第１の及び第２の測定は、T_L及びt_dに基づいて判断され得る。第１の測定を第２の測定で減算することは、短い光パルス幅t_dで場面を露出することによって取得されるものと等価な結果をもたらす。異なる言い方をすると、（１）互いに対してわずかに遅延された光パルスを有する同一のセンサ信号（例えば、プロット１００８）を用いて２つの測定を実行すること、及び（２）２つの測定の差を取得することによって、幅t_dの短い光パルスが使用されたかのように、測定を取得することが可能である。この技術を用いると、ドライバ又は光源が、短い光パルスを直接出力できなくても、任意に小さな光パルスがシミュレートされ得る。この結果得られる測定は、したがって、破損光及びＢＧ光を捕捉することができ、以下で、得られる破損光測定と称される。

このシミュレーション技術は、２つの電荷蓄積ユニットを使用して、第１の測定及び第２の測定を取得し得、それらは、画素についての追加の電荷蓄積ユニットを必要とし得る。しかしながら、減算のその部分が加算として再公式化され得ると認識することによって、追加の電荷蓄積ユニットを含む必要性を除去し得る。電荷蓄積ユニットが、複数の測定を行い、測定の加算／累積を実施するために再使用され得るように、所与の電荷蓄積ユニットは、適切なセンサ信号で動作され得る。第１の測定が、F₁と示され、第２の測定が、F₂と示されるとする。減算後、それぞれが破損光及びＢＧ号光を捕捉する、結果として得られる破損光測定は、F₁-F₂と示される。第１の測定F₁及び第２の測定F₂の両方が、ＢＧ光の成分を含むため、F₂によるF₁の減算は、ＢＧ光の共通成分を除去／キャンセルし、破損光の成分だけを残す。深度推定が、破損光（即ち、F₁-F₂）及びＢＧ光（即ち、S₂）に耐性があり得ることを保証するために、利得係数α_F,iにより乗算される結果得られる破損光測定F₁-F₂によって、及びＢＧ光測定S₂によって測定S_iを減算すること、即ち、
により、破損光及びＢＧ光に対して除去又は調整することが可能である。画素についての深度Ｄは、以下の例示的な式を算出することによって取得され得る。

深度計算のためのこの比率
は、深度とともに大きくなり、実際の深度Ｄを取得するためにＨ（ｘ）を実施するルックアップテーブルへの入力として提供され得る。

は、
と書き換えられ得ることに留意されたい。式６は、以下のように書き換えられ得る。

この書き換えられた数量
を用いて、第１の電荷蓄積ユニットを使用して(S_i+α_F,iF₂)を取得し、第２の電荷蓄積ユニットを使用して(α_F,iF₁+S₂)を取得することが可能である。具体的には、破損光（即ち、F₁-F₂）及びＢＧ光（即ち、S₂）に耐性のある深度推定を形成するために、深度撮像装置は、全部で４つの電荷蓄積ユニットを使用して、式（７）において使用される数量を取得し得る。第１の電荷蓄積ユニットは、(S₁+α_F,1F₂)を取得し得る。第２の電荷蓄積ユニットは、(α_F,1F₁+S₂)を取得し得る。第３の電荷蓄積ユニットは、(S₀+α_F,0F₂)を取得し得る。第４の電荷蓄積ユニットは、(α_F,0F₁+S₂)を取得し得る。

数量S_i+α_F,iF₂は、元々S_iに使用された電荷蓄積ユニットに記憶され得る。したがって、S_i+α_F,iF₂は、好適な様態でS_iを測定するために第１の電荷蓄積ユニットを制御して、同一の電荷蓄積ユニットにおいてα_F,iF₂測定を直接行い、加算することによって実施され得る。α_F,iF₂は、ハードウェアにおいて同一の電荷蓄積ユニットに直接加算され得る。同一の電荷蓄積ユニットが、S_iに対応する測定を行うために使用されてもよく、測定は、電荷蓄積ユニットに記憶される。同一の電荷蓄積ユニットは、α_F,i回、第２の測定F₂を行い、同一の電荷蓄積ユニットにおいてα_F,i回の測定F₂を加算／累積し得る。この場合、利得係数α_F,iは、S_iにおいて捕捉される破損光の量と、測定F₁-F₂において捕捉される破損光の量との間の比率であり得る。実際上、単一の電荷蓄積ユニットは、測定S_i+α_F,iF₂を行い得る。α_F,iが整数でない場合、第２の測定F₂のパルス幅（又は持続期間）を変更して、単一の第２の測定F₂の整数倍数を生成することが可能である。例示的な手法は、α_F,iを最も近い整数に単に近似することである。利得係数α_F,iに関連するパルス幅は、S_iにおいて捕捉される破損光の量、F₁-F₂において捕捉される破損光の量を判断すること、及び２つの量の比率をとることによって、予め定められ、プログラムされ得る。１回行われる測定S_i、及びα_F,i回行われる第２の測定F₂を、同一の電荷蓄積ユニットが実行及び累積するためにセンサ信号を操作して、同一の電荷蓄積ユニットが、S_i+α_F,iF₂に相当する測定を行い得る。個々の電荷蓄積ユニットは、破損光測定F₂を別個に行うためにもはや必要とされない。

電荷蓄積ユニットにおいて累積されているその寄与が、ほぼα_F,iF₁であるように、もう一度、F₁測定のパルス幅を変更すること、及びその測定を整数回反復することによって、数量α_F,iF₁+S₂は、元々S₂に使用された電荷蓄積ユニットに記憶され得る。したがって、α_F,iF₁+S₂は、好適な様態でS₂を測定するために第２の電荷蓄積ユニットを制御して、同一の電荷蓄積ユニットにおいてα_F,iF₁測定を直接行い、加算することによって実施され得る。α_F,iF₁は、ハードウェアにおいて同一の電荷蓄積ユニットに直接加算され得る。同一の電荷蓄積ユニットが、S₂に対応する測定を行うために使用されてもよく、測定は、電荷蓄積ユニットに記憶される。同一の電荷蓄積ユニットは、α_F,i回、第２の測定F₁を行い、同一の電荷蓄積ユニットにおいてα_F,i回の測定F₁を加算／累積し得る。この場合、利得係数α_F,iは、S_iにおいて捕捉される破損光の量と、測定F₁-F₂において捕捉される破損光の量との間の比率であり得る。実際上、単一の電荷蓄積ユニットは、測定α_F,iF₁+S₂を行い得る。α_F,iが整数でない場合、第１の測定F₁のパルス幅（又は持続期間）を変更して、単一の第１の測定F₁の整数倍数を生成することが可能である。例示的な手法は、α_F,iを最も近い整数に単に近似することである。利得係数α_F,iに関連するパルス幅は、S_iにおいて捕捉される破損光の量、F₁-F₂において捕捉される破損光の量を判断すること、及び２つの量の比率をとることによって、予め定められ、プログラムされ得る。１回行われる測定S₂、及びα_F,i回行われる第１の測定F₁を、同一の電荷蓄積ユニットが実行及び累積するためにセンサ信号を操作して、同一の電荷蓄積ユニットが、α_F,iF₁+S₂に相当する測定を行い得る。個々の電荷蓄積ユニットは、破損光測定F₁を別個に行うためにもはや必要とされない。

いくつかの実施形態では、測定S₀は、ある量の破損光を有するか、又は破損光によって著しく影響を受ける。測定S₁は、いかなる破損光も有さないか、又は破損光によって受ける影響は最小限である。例えば、測定S₀は、t=t₀において電荷の収集を開始し得、測定S₁は、t=t₁において、かなり後で電荷の収集を開始し得る。測定S₁の開始時間は、測定S₁が、いかなる破損光も収集しないことを保証するように設定され得る。式（６）及び（７）において見られる利得係数α_F,iは、したがって、ゼロである。測定S₁が、破損光からの寄与を有しない場合、式（６）及び（７）は、以下のように公式化され得る。

式（８）は、以下のように書き換えられ得る。

この書き換えられた式を用いて、測定S₀が破損光（即ち、F₁-F₂）及びＢＧ光（即ち、S₂）に耐性があり、測定S₁がＢＧ光に耐性がある、深度推定を形成するために、深度撮像装置は、全部で３つの電荷蓄積ユニットを使用して、式（9）において使用される数量を取得し得る。第１の電荷蓄積ユニットは、(S₀+α_F,0F₂)を取得し得る。第２の電荷蓄積ユニットは、(S₁+α_F,0F₁)を取得し得る。第３の電荷蓄積ユニットは、(S₂+α_F,0F₁)を取得し得る。

破損光からの寄与を除去する手法

本明細書で説明されるように、図８に見られるような短い光パルスの使用を通して、又は図９及び１０によって示される技術を通して、破損光を測定することにより測定を調整することが可能である。所与の２つの測定S₀及びS₁があるとすれば、その場合に各測定がある量の破損光C₀及びC₁をそれぞれ収集しており、第１の期間における破損光の量がC₀であり、第２の期間における破損光の量が
であり、したがってそれらが相殺するため、数量
は、破損光を含まなくてもよい。数量は、破損光C₀と破損光C₁との比率によって乗算された測定S₁によって減算される測定S₀に等しい。比率は、S₀において収集される破損光の量と、S₁において収集される破損光の量との間である。適切な比率で、破損光からの寄与は、
をS₀から減算することによって、測定S₀から除去され得る。形状パルスに基づいて、破損光C₀及びC₁を先験的に知ること又は推定することが可能であり、したがって、比率が、先験的に判断され得る。捕捉される破損光の量は、いくつかの場合において、センサ信号及び戻り破損光の両方が同時にオンである時間量に依存し得る。２つの測定S₀及びS₁において捕捉される破損光の比率は、したがって、本明細書で説明される動作の多くにおいて、利得係数として使用され得る。

例えば、S₀が測定
に対応する場合、センサは、時間t₀から
までオンである。破損させる物体が、距離D_Cにある場合、戻り破損光は、時間
から
までオンである。例えば、
の場合、センサ及び戻り破損光は、両方とも時間
から
までオンである。さらに、S₁が測定
に対応し、破損させる物体が、前のように距離D_Cにある場合、戻り破損光は、時間
から
までオンである。例えば、
の場合、センサ及び破損光は、両方とも時間t₁から
までオンである。

全てのパルスが矩形である場合、S₀において捕捉される破損光の量は、センサ及び戻り破損光の両方がS₀測定の間アクティブである時間
の時間量に比例する。一方、S₁における破損光の量は、破損光及びセンサの両方がS₁測定の間アクティブである時間量
に比例する。その場合、
は、破損光が除去された場合の数量である。

パルスが、厳密な矩形ではないが、ほぼ矩形である場合、この式は、やはり破損光にほぼ反応しない場合がある。パルスが矩形から著しく逸脱する場合、破損光の量は、パルスの形状の関数である。パルスの形状を判断することによって、又は場面内の破損させる物体を経験的に追加すること、測定を実行すること、次いで場面内の破損させる物体を除去すること及び同一の測定を実行すること、並びに、第２の測定から第１の測定を減算することによって、純粋に破損光を取得する。S₀測定のためにこのスキームを実行することによって、C₀が得られ、S₁のためにこのスキームを実行することによって、C₁が得られる。次いで、利得係数又は比率
が、記憶され得る。例えば、破損させる物体までの距離が先験的に知られている場合、利得係数αを取得するためのこのスキームは、破損させる物体までの既知の距離において破損させる物体で実行される。

破損光の影響が、距離の所定の間隔における破損させる物体について除去されることとなる場合、距離の所定の間隔内の破損させる物体への異なる距離について、αが取得され得、αが間隔内で十分小さな量で変動するかどうかが検証され得る。その場合に、間隔内で取得される値に近い値が、αについて選択される。一度利得係数αが予め決定され、新たなS₀及びS₁測定が実行されると、数量S₀-αS₁が取得され得、それは、破損光を完全に含まないか、又はほぼ含まないかのいずれかとなる。

したがって、破損されていない数量を形成し、破損されていない数量を破損されていない深度推定に使用することが可能である。それが可能である場合、追加の電荷蓄積ユニットは、破損された光を記憶するために使用され得る。代替的には、形式A-B+C-D+...の深度推定式において数量が存在するか否かにかかわらず、深度推定式は、(A+C+...)-(B+D+...)と書き換えられてもよく、合計は、（即ち、同一の電荷蓄積ユニットを再使用して複数の測定を行うことによって、）直接ハードウェアにおいて実行され得る。結果として、破損光測定を行い、記憶するための追加の電荷蓄積ユニットは、もはや必要ない。

内部散乱に起因する飛行時間型深度画像の破損を回避すること

深度画像が内部散乱又は回折によって破損されないことを確認する１つの他の可能な方法は、最後の破損光（内部散乱に起因する）がセンサに当たっているポイントを過ぎて、又はセンサに当たっている最後の破損光がわずかであるポイントにおいて、センサをオンにすることである。この方法論は、破損光を設計によって完全に回避し、センサ測定から算出される結果得られる深度推定は、破損されないこととなる。

図１１は、本開示のいくつかの実施形態による、パルスがオフになった後でセンサをオンにすること（又は光の収集を開始すること）を示す。光源１０２による放射光（例えば、プロット１１０２）は、
によって表される。T_Lは、光源１０２がオンである時間量である。画素の視野内の物体に反射する戻り光（例えば、プロット１１０４）は、
によって表される。ここで、a_Rは、画素に戻る光の減少（例えば、振幅の減少）を考慮するための利得係数であり、t_Rは、光が視野内の物体まで進み、物体から戻るための時間量である。内面反射に起因する破損光（例えば、プロット１１０６）は、
によって表される。ここで、a_Bは、画素に戻る光の減少（例えば、振幅の減少）を考慮するための利得係数であり、t_Bは、光が１つ以上の内面反射後に画素に戻るための時間量である。画素に到達する光（例えば、プロット１１０８）は、
と表され、それは、物体に反射する戻り光、破損光、及びＢＧ光（bによって表される）の組み合わせである。電荷蓄積ユニットは、t₁において、T_Sの持続期間の間に光を感知し始めるように、センサ信号（例えば、プロット１１１０）によって制御され得る。センサ信号は、
によって表される。電荷蓄積ユニットによる測定は、M(T_L,t₁,T_S)である。t₁は、好ましくは、T_Lより大きく、それは、光パルスがオフになった後でセンサが光の収集を開始することを意味し、又はT_Lより小さいが、受信される破損光の量がある許容誤差範囲内で微小であるように十分大きい。収集される信号（例えば、プロット１１１２）は、
によって表される。関数
は、画素に到達する光を表す関数と、センサ信号を表す関数との組み合わせである。したがって、収集された電子の数を表す測定が、収集された信号の積分
である。設計（即ち、適切なt₁を選択すること）によって、
、即ち、内面反射に起因する破損光からの寄与は、センサがオンである期間の間、ゼロ又は最小である。その結果、測定は、破損光を回避する（が、ＢＧ光からのいくらかの寄与を有することとなる）。

t_B,maxが、付近の破損させる物体まで進み、センサから戻ってくるパルスの最大進行時間である場合、測定S₀=M(T_L,t₁,T_S)=M(T_L,t_B,max,T_S)は、t₁≧T_L+t_B,maxである限り、付近の破損させる物体からいかなる光も収集しない。数量t_B,maxは、ガラスカバーなどのセンサまで既知の距離を有する物体に反射する光がセンサまで戻った後の時間、又は破損に寄与する物体が深度推定に著しく影響を及ぼさないように十分小さな量で破損に寄与する時間のいずれかであるように、判断され得る。距離d_B,maxは、物体がやはり著しい破損につながり得る、物体とセンサとの間の最大距離である場合、t_B,maxを2d_B,max/c又はそれ以上に設定し、ｃが光の速度であることは、S₀が破損光から著しい寄与を有しないことにつながる。例えば、センサから１０センチメートル以上離れている物体が、内面反射に起因する著しい破損に繋がらない場合、t_B,max≧2*10cm/cを設定することが、S₀にはほぼ破損がないことにつながる。測定S₀を行うために、電荷蓄積ユニットは、光源１０２がオンである時間量T_L+最大進行時間t_B,maxの後、光の収集を開始し得、T_Sの持続期間の間、光を捕捉し得る。

t_minが、深度カメラが深度の報告を開始する最小距離D_min（例えば、D_min=２０ｃｍ）にある物体へとパルスが進行する進行時間である場合、別の測定S₁が行われてもよく、ここで、t₁=T_L+t_minである。即ち、S₁=M(T_L,T_L+t_min,T_S)である。測定S₁を行うために、電荷蓄積ユニットは、光源１０２がオンである時間量T_L+進行時間t_minの後、光の捕捉を開始し得、T_Sの持続期間の間、光を捕捉し得る。t_B,maxは、t_minより短く、それは、測定S₁を行う電荷蓄積ユニットが、測定S₀を行う電荷蓄積ユニットが光の収集を開始した後で、光の収集を開始することを意味する。これは、測定S₁もまた、付近の破損させる物体からいかなる光も収集しないということも、意味する。

さらなる測定S₂が、ＢＧ光を捕捉するために行われ得る。S₂は、時間T_Sの間光源１０２をオフにしてＢＧ光を収集し得る。S₂は、時間t=-t₂からt=-t₂+T_Sまで光を収集し得る。S₂によって行われている測定は、M(T_L,-t₂,T_S)である。１つの場合において、t₂=T_Sであり、したがって、S₂は、時間t=-t₂=-T_Sからt=0まで光を収集し得る。別の場合において、S₂は、M(0,0,T_S)であり、光源は、S₂測定の間オフのままであり、したがって、ＢＧ光を捕捉しているだけである。一般的に述べると、測定S₂は、光源光源１０２から光が受信されない期間の間、ＢＧ光を収集する。

図１２は、本開示のいくつかの実施形態による、光パルスがオフになった後でセンサをオンにする（又は光の収集を開始する）技術に基づいて距離を測定することを示す。設計によって、３つの測定S₀、S₁、及びS₂は、付近の破損させる物体からいかなる光も捕捉せず、又は内面反射によって引き起こされる破損光を捕捉しない。したがって、これらの３つの測定S₀、S₁、及びS₂に基づいて、破損光に反応しない深度推定が、取得され得る。３つの測定S₀、S₁、及びS₂を用いて、深度とともに増加する、又は深度に（積極的に）関係する３つの測定S₀、S₁、及びS₂に基づいて数量を設計及び算出することにより、深度推定を取得することが可能である。このような数量が、深度を示し得る。３つの測定S₀、S₁、及びS₂に基づく１つの例示的な数量が、(S₁-S₂)/(S₀-S₁)である。数量は、（１）測定S₁-ＢＧ光測定S₂と、（２）測定S₀-測定S₁との比率である。例示するために、図１２は、レーザパルス及びセンサパルスが完全に矩形である場合を示す。プロット１２０２は、放射光を示す。プロット１２０４は、画素の視野内の物体に反射する戻り光、及び背景光を示す。プロット１２０６は、内面反射に起因する破損光を示す。プロット１２０８は、測定S₀を行うためのセンサ信号を示す。プロット１２１０は、測定S₁を行うためのセンサ信号を示す。プロット１２１２は、ＢＧ光測定S₂を行うためのセンサ信号を示す。

破損光を回避するために、光パルスがオフになった後でセンサをオンにする技術を用いて距離を測定することを示すために、図１２は、数量(S₁-S₂)/(S₀-S₁)がどのように深度に比例するかを示す。（放射光がプロット１２０２として示される）光源からの戻り光は、時間t_Rからt_R+T_Lまでオンであり、単位時間a_R毎にある量の光がセンサに到達する。単位時間毎にセンサに到達する背景光は、ｂによって示される。光源からの戻り光と背景光との組み合わせが、プロット１２０４として示される。プロット１２０６として示され、センサに到達する破損光は、時間t_Bからt_B+T_Lまでオンであり、破損光が受信されているときの単位時間当たりの破損光の量は、a_Bで示される。S₀についてプロット１２０８として示されるセンサ信号は、時間T_L+t_B,maxからT_L+t_B,max+T_Sまでオンである。したがって、センサに当たっている光子の数で乗算されるときに、センサの光変換効率としてC_effを示すことが、センサの最終出力値S₀=C_eff(a_R(t_R-t_B,max)+bT_S)を与える。a_R(t_R-t_B,max)は、センサがオンである時間の間にセンサに当たる戻り光の量を表す。bT_Sは、センサがオンである時間の間にセンサに当たるＢＧ光の量を表す。S₁についてプロット１２１０として示されるセンサ信号は、時間T_L+t_minからT_L+t_min+T_Sまでオンである。したがって、S₁=C_eff(a_R(t_R-t_min)+bT_S)である。a_R(t_R-t_min)は、センサがオンである時間の間にセンサに当たる戻り光の量を表す。bT_Sは、センサがオンである時間の間にセンサに当たるＢＧ光の量を表す。S₂についてプロット１２１２として示されるセンサ信号は、光源から光が受信されないときの時間T_Sの間オンであり、したがって、S₂=C_effbT_Sである。

これらの測定に基づいて、光が物体から戻るための時間量は、以下の式に従って、t_min、t_B,max、S₀、S₁、及びS₂に基づいて導出され得る。
である。さらに、対象の物体の深度が、そのとき、
によって与えられ得る。

比率の分子S₁-S₂は、ＢＧ光からの寄与が減算された測定S₁を表す数量であることに留意されたい。数量S₁又はS₁-S₂は、物体の距離／深度が増加するにつれて、大きくなる。比率の分母S₀-S₁は、測定S₀と測定S₁との間の差を表す数量であることに留意されたい。S₀-S₁=C_eff(a_R(t_R-t_B,max)+bT_S)-C_eff(a_R(t_R-t_min)+bT_S)=C_eff(a_R(-t_B,max+t_min))である。この数量は、t_Rから独立しており、それは、この数量が、物体の距離／深度から独立していることを意味することに留意されたい。したがって、比率
は、増加する物体の距離／深度に積極的に関係する。

パルスが完璧な矩形でない場合に、深度の関数として比率(S₁-S₂)/(S₀-S₁)を測定し、ルックアップテーブルに値を記憶することが可能である。
であり、比率を深度推定に変換し得るように、ルックアップテーブルは、関数Ｈ（ｘ）を実施する。言い換えると、比率(S₁-S₂)/(S₀-S₁)に基づくルックアップテーブルからの結果は、正しい深度推定を出力し得る。Ｈ（ｘ）についての値は、Ｈ（ｘ）が既知であるｘの値の間で外挿法によって推定され得る。深度推定は、以下のようになる。

実施例

実施例１は、内面反射に起因する破損光に反応しない、深度を測定する方法であって、方法は、光を光源によって場面へ放射することと、破損光が画素に当たるが、画素の視野内の物体からの戻り光が画素に当たらない第１の期間の間に、画素に当たっている光に基づいて電荷を収集するように、画素の第１の電荷蓄積ユニットを制御することによって、破損光測定（例えば、Ｆ）を行うことと、破損光測定に基づいて、破損光による影響を受けた１つ以上の測定（例えば、S₀又はS₁）から破損光からの寄与（例えば、α_FC、又はα_F,iF）を除去することと、破損光からの寄与が除去された１つ以上の測定に基づいて、深度を判断することと、を含む。例示的な実施形態は、図８及び９、並びにそれに伴う説明に示されている。

実施例２において、実施例１の方法は、（１）画素に当たる破損光、及び（２）画素に当たる物体からの反射光を、時間的に分離するのに十分短い持続期間の間、光が場面に放射されていることを、任意選択的に含み得る。例示的な実施形態は、図８及びそれに伴う説明に示されている。

実施例３において、実施例１又は２の方法は、全ての破損光が収集された後、かつ物体からの戻り光が画素に当たる前に、第１の期間が終了することを、任意選択的に含み得る。例示的な実施形態は、図８及びそれに伴う説明に示されている。

実施例４において、実施例１の方法は、破損光の一部分が収集された後、かつ物体からの戻り光が画素に当たる前に、第１の期間が終了することを、任意選択的に含み得る。例示的な実施形態は、図９及びそれに伴う説明に示されている。

実施例５において、実施例４の方法は、破損光測定を利得係数によってスケールすることによって、破損光からの寄与を判断することを、任意選択的に含み得る。例示的な実施形態は、図９及びそれに伴う説明に示されている。

実施例６では、実施例１〜５のいずれか１つの方法は、破損光測定が、背景光からの寄与及び破損光からの寄与を含むことを、任意選択的に含み得る。例えば、測定Ｆは、ＢＧ＋Ｃに等しい。

実施例７において、実施例１〜６のいずれか１つの方法は、背景光測定（例えば、S₂）を行うことと、破損光からの寄与（例えば、Ｃ）を取得するために、背景光測定（例えば、S₂）に基づいて背景光からの寄与（例えば、ＢＧ）を破損光測定から除去することと、を任意選択的に含み得る。例えば、Ｃは、Ｆ−ＢＧから取得され得る。

実施例８において、実施例７の方法は、背景光測定を行うことが、光源が光を放射していない（又は背景光のみが画素に当たっている、若しくは物体からの反射光が画素に当たっていない）ときに、画素の第２の電荷蓄積ユニット（例えば、S₂）を制御して、第２の期間中に画素に当たっている背景光に基づいて電荷を収集することを含むことを、任意選択的に含み得る。

実施例９において、実施例１〜８のいずれか１つの方法は、破損光からの寄与（例えば、α_FC）を破損光による影響を受ける１つ以上の測定から除去することが、利得係数（例えば、α_F）によって破損光からの寄与（例えば、Ｃ）をスケールすることと、破損光からのスケールされた寄与を、破損光による影響を受ける１つ以上の測定から除去することと、を含むことを、任意選択的に含み得る。例えば、Ｍが、破損光による影響を受ける測定である場合、破損光からの寄与は、数量M-α_FCを判断することによって除去される。

実施例１０において、実施例９の方法は、利得係数（例えば、α_F）が、１つ以上の測定において使用される放射光の持続期間（例えば、T_L）と、破損光測定において使用される放射光の持続期間（例えば、T_C）との比率に基づくことを、任意選択的に含み得る。例えば、利得係数α_Fは、
に等しくてもよい。

実施例１１において、実施例９又は１０の方法は、利得係数（例えば、α_F）が、１つ以上の測定において収集される破損光の量（例えば、f_C,M）と、破損光測定において収集される破損光の量（例えば、f_C）との比率に基づくことを、任意選択的に含み得る。例えば、利得係数α_Fは、
に等しくてもよい。

実施例１２において、実施例１〜１１のいずれか１つの方法は、破損光からの寄与（例えば、α_FC）を破損光により影響を受ける１つ以上の測定から除去することが、第１の利得係数によって破損光測定をスケールする（例えば、Fは、α_F,iによってスケールされる）ことと、スケールされた破損光測定を、破損光による影響を受ける１つ以上の測定から減算すること（例えば、S_i-α_F,iFを判断すること）と、を含むことを、任意選択的に含み得る。

実施例１３において、実施例１２の方法は、背景光測定（例えば、S₂）を行うことと、第２の利得係数（例えば、(α_F,i-1)）によって背景光測定をスケールすることと、スケールされた背景光測定を、破損光による影響を受ける１つ以上の測定に加算する（例えば、S_i+(α_F,i-1)S₂を実行する）ことと、を任意選択的に含み得る。

実施例１４において、実施例１３の方法は、第２の利得係数が、１によって減算される第１の利得係数（例えば、(α_F,i-1)）に等しいことを、任意選択的に含み得る。

例えば、破損光からの破損が除去された、調整された測定
は、S_i-α_F,iF+(α_F,i-1)S₂に等しくてもよい。調整された測定
は、実施例１２、１３、又は１４における方法を実行することによって取得され得る。

実施例１５において、実施例１〜１４のいずれか１つの方法は、１つ以上の測定のうちの第１の測定についての電荷と、背景光測定についての電荷とを、同一の電荷蓄積ユニットにおいて累積することによって、１つ以上の測定のうちの第１の測定と背景光測定とを加算することを、任意選択的に含み得る。例えば、同一の電荷蓄積ユニットが、S_i+(α_F,i-1)S₂を判断／実行するために使用され得る。

実施例１６は、内面反射及び背景光に起因する破損光に反応しない、深度を測定する方法であって、方法は、光を光源によって場面へ放射することと、画素の第１の電荷蓄積ユニットによって、第１の測定（例えば、S₀）及び第１の背景光測定（例えば、(α_F,0-1)S₂)）を加算することと、画素の第２の電荷蓄積ユニットによって、第２の測定(例えばS₁)及び第２の背景光測定（例えば、(α_F,1-1)S₂）を加算することと、第３の電荷蓄積ユニットによって破損光測定（例えば、Ｆ）を行うことと、第１の電荷蓄積ユニット、第２の電荷蓄積ユニット、及び第３の電荷蓄積ユニットにおいて収集される電荷に基づいて深度を判断することと、を含む。例えば、深度を判断するために使用可能な測定は、ただ３つの電荷蓄積ユニット、S₀+(α_F,0-1)S₂を測定／実行する１つの電荷蓄積ユニット、S₁+(α_F,1-1)S₂を測定／実行する１つの電荷蓄積ユニット、Fを測定する１つの電荷蓄積ユニットを用いて実行され得る。

実施例１７において、実施例１６の方法は、第１の電荷蓄積ユニットによって追加することが、第１の電荷蓄積ユニットにおいて、（１）第１の測定についての電荷（例えば、S₀）、及び（２）第１の背景光測定についての電荷（例えば、(α_F,0-1)S₂）を累積することであって、第１の背景光測定が、画素に当たる背景光のみに基づく、累積することを含むことを、任意選択的に含み得る。例えば、第１の電荷蓄積ユニットは、測定を累積し、S₀+(α_F,0-1)S₂を判断／実行し得る。

実施例１８において、実施例１７の方法は、第１の背景光測定が、第１の所定の持続期間にわたって収集される背景光を表すことを、任意選択的に含み得る。例えば、第１の背景光測定は、(α_F,0-1)に対応する持続期間にわたって行われる背景光測定である。

実施例１９において、実施例１８の方法は、第１の所定の持続期間が、第１の測定において捕捉される破損光の量（例えば、S₀）と、破損光測定において捕捉される破損光の量（例えば、F）との第１の比率（例えば、α_F,0）に基づくことを、任意選択的に含み得る。

実施例２０において、実施例１６〜１９のいずれか１つの方法は、第２の電荷蓄積ユニットによって追加することが、第２の電荷蓄積ユニットにおいて、（１）第２の測定についての電荷（例えば、S₁）、及び（２）第２の背景光測定についての電荷（例えば、(α_F,0-1)S₂）を累積することであって、第２の背景光測定が、画素に当たる背景光のみに基づく、累積することを含むことを、任意選択的に含み得る。例えば、第２の電荷蓄積ユニットは、測定を累積し、S₁+(α_F,1-1)S₂を判断／実行し得る。

実施例２１において、実施例２０の方法は、第２の背景光測定が、第２の所定の持続期間にわたって収集される背景光を表すことを、任意選択的に含み得る。例えば、第２の背景光測定は、(α_F,1-1)に対応する持続期間にわたって行われる背景光測定である。

実施例２２において、実施例２１の方法は、第２の所定の持続期間が、第２の測定(S₁)において捕捉される破損光の量と、破損光測定（F）において捕捉される破損光の量との第２の比率（例えば、α_F,1）に基づくことを、任意選択的に含み得る。

実施例２３において、実施例１６〜２２のいずれか１つの方法は、破損光測定を行うことが、破損光が画素に当たるが、画素の視野内の物体からの戻り光が画素に当たらない期間の間に、画素に当たっている光に基づいて電荷を収集するように、画素の第３の電荷蓄積ユニットを制御することを含むことを、任意選択的に含み得る。例示的な実施形態は、図８及びそれに伴う説明に示されている。

実施例２４において、実施例２３の方法は、全ての破損光が収集された後、かつ物体からの戻り光が画素に当たる前に、期間が終了することを、任意選択的に含み得る。例示的な実施形態は、図８及びそれに伴う説明に示されている。

実施例２５において、実施例１６〜２４のいずれか１つの方法は、（１）画素に当たる破損光及び（２）画素に当たる、画素の視野内の物体からの反射光を、時間的に分離するのに十分短い持続期間の間、光が場面に放射されていることを、任意選択的に含み得る。例示的な実施形態は、図８及びそれに伴う説明に示されている。

実施例２６において、実施例１６〜２２のいずれか１つの方法は、破損光の一部分が収集された後、かつ物体からの戻り光が画素に当たる前に、期間が終了することを、任意選択的に含み得る。例示的な実施形態は、図９及びそれに伴う説明に示されている。

実施例２７において、実施例１６〜２２及び２６のいずれか１つの方法は、破損光測定を利得係数によってスケールすることによって、破損光からの寄与を判断することと、破損光からの寄与を第１の及び第２の測定から除去することとを、任意選択的に含み得る。例示的な実施形態は、図９及びそれに伴う説明に示されている。

実施例２８は、内面反射及び背景光に起因する破損光に反応しない、深度を測定する方法であって、方法は、第１の破損光測定（例えば、F₁）を第１の開始時間を有する第１の放射光パルスで行うことと、第２の破損光測定（例えば、F₂）を第２の放射光パルスで行うことであって、第２の放射光パルスが、第１の放射光パルスと同一のパルス形状を有し、第２の放射光パルスが、第１の開始時間に対して所定の時間量（例えば、t_d）だけオフセットする第２の開始時間を有する、行うことと、破損光からの寄与が除去された１つ以上の測定（例えば、S₀、S₁）に基づいて深度を判断することであって、破損光からの寄与が、第１の破損光測定及び第２の破損光測定（例えば、F₁-F₂）に基づく、判断することと、を含む。例示的な実施形態は、（短い光パルスをシミュレートするための）図１０及びそれに伴う説明に示されている。

実施例２９において、実施例２８の方法は、第２の放射光パルスが、第１の放射光パルスと同一の持続期間を有することを、任意選択的に含み得る。例示的な実施形態は、（短い光パルスをシミュレートするための）図１０及びそれに伴う説明に示されている。

実施例３０において、実施例２８又は２９の方法は、第１の破損光測定を行うことが、画素の第１の電荷蓄積ユニットを制御して、第１のセンサ信号を用いて電荷を収集することを含むことと、第２の破損光測定を行うことが、画素の第２の電荷蓄積ユニットを制御して、第１のセンサ信号と同一の開始時間、同一の形状、及び同一の持続期間を有する第２のセンサ信号を用いて電荷を収集することを含むことと、を任意選択的に含み得る。例示的な実施形態は、（短い光パルスをシミュレートするための）図１０及びそれに伴う説明に示されている。

実施例３１において、実施例２８〜３０のいずれか１つの方法は、第１の破損光測定を行うことが、画素の第１の電荷蓄積ユニットを制御して、第１の開始時間（例えば、-t₁）に、又は第１の開始時間前に電荷の収集を開始し、第２の開始時間後に（例えば、t_d後に）電荷の収集を停止することを含むことと、第２の破損光測定を行うことが、画素の第２の電荷蓄積ユニットを制御して、第１の開始時間（-t₁）に、又は第１の開始時間前に電荷の収集を開始し、第２の開始時間後に（例えば、t_d後に）電荷の収集を停止することを含むことと、を任意選択的に含み得る。例示的な実施形態は、（短い光パルスをシミュレートするための）図１０及びそれに伴う説明に示されている。

実施例３２において、実施例２８〜３１のいずれか１つの方法は、第１の破損光測定（例えば、F₁）と第２の破損光測定（例えば、F₂）との間の差が、破損光からの寄与をもたらすことを、任意選択的に含み得る。例えば、シミュレートされた短い光パルスに基づく破損光の測定は、F₁-F₂を判断／実行することによって取得され得る。

実施例３３において、実施例２８〜３２のいずれか１つの方法は、第１の破損光測定（例えば、F₁）と第２の破損光測定（例えば、F₂）との間の差が、所定の時間量に対応するパルス幅を有する放射光パルスを用いて行われる破損光測定に相当することを、任意選択的に含み得る。例えば、数量F₁-F₂は、t_dの持続期間を有するパルスを用いて行われる測定に相当する）。

実施例３４において、実施例２８〜３３のいずれか１つの方法は、利得係数（例えば、α_F,i(F₁-F₂)）によりスケールされた第１の破損光測定と第２の破損光測定との間の差だけ、所与の測定（例えば、S_i）を減算することによって、破損光からの寄与を１つ以上の測定のうちの所与の測定から除去することを、任意選択的に含み得る。例えば、破損光からの寄与を除去することは、S_i-α_F,i(F₁-F₂)を判断／実行することを含み得る。

実施例３５において、実施例３４の方法は、利得係数（α_F,i）が、所与の測定において捕捉される破損光と差において捕捉される破損光の量との比率であることを、任意選択的に含み得る。

実施例３６において、実施例２８〜３５のいずれか１つの方法は、背景光を測定するために、いかなる放射光パルスも用いずに第３の測定（例えば、S₂）を行うことと、所与の測定を第３の測定により減算すること（例えば、S_i-S₂を実行／判断すること）によって、１つ以上の測定のうちの所与の測定から、背景光からの寄与を除去することと、を任意選択的に含み得る。

例えば、破損光からの破損が除去された、調整された測定
は、S_i-α_F,i(F₁-F₂)-S₂に等しくてもよい。調整された測定
は、実施例３４、３５、又は３６における方法を実行することによって取得され得る。

実施例３７において、実施例２８〜２６のいずれか１つの方法は、画素の第１の電荷蓄積ユニットにおいて、（１）利得係数（例えば、
）によってスケールされる第１の測定（例えば、F₁）、及び（２）背景光の第３の測定（例えば、S₂）を加算すること（例えば、第１の電荷蓄積ユニットが、測定を累積し、
を実行し得る）と、画素の第２の電荷蓄積ユニットにおいて、（１）利得係数（例えば、
）によってスケールされる第２の測定（例えば、F₂）、及び（２）１つ以上の測定のうちの所与の測定（例えば、S_i）を加算すること（例えば、第２の電荷蓄積ユニットが、測定を累積し、(S_i+α_F,iF₂)を実行し得る）とを、任意選択的に含み得る。例えば、調整される測定
は、２つの電荷蓄積ユニットによって行われ得る２つの加算、例えば、
に再公式化され得る。

実施例３８は、内面反射及び背景光に起因する破損光に反応しない深度撮像装置であって、深度撮像装置が、センサアレイであって、センサアレイの第１のセンサが、第１の測定（例えば、S₀）を行うように制御可能な第１の電荷蓄積ユニット、第２の測定（例えば、S₁）を行うように制御可能な第２の電荷蓄積ユニット、背景光測定（例えば、S₂）を行うように制御可能な第３の電荷蓄積ユニット、及び破損光測定（例えば、Ｆ）を行うように制御可能な第４の電荷蓄積ユニットを含む、センサアレイと、深度推定を形成するために、センサアレイから信号を受信及び処理する処理回路と、を備える。例えば、４つの電荷蓄積ユニットは、破損光及び背景光に反応しない深度推定を判断することにおいて使用されるべき測定を行うために使用され得る。

実施例３９において、実施例３８の深度撮像装置は、背景光からの寄与及び破損光からの寄与を、背景光測定及び破損光測定に基づく第１の測定及び第２の測定のうちの少なくとも１つから除去する処理回路を、任意選択的に含み得る。

実施例４０において、実施例３９の深度撮像装置は、背景光からの寄与及び破損光からの寄与を、第１の測定及び第２の測定のうちの少なくとも１つから除去した後で、第２の測定と、第１の測定及び第２の測定の合計との比率に基づいて、深度推定を形成する処理回路を、任意選択的に含み得る。深度推定式の例は、本明細書に示された式によって示される。

実施例４１は、内面反射及び背景光に起因する破損光に反応しない深度撮像装置であって、深度撮像装置が、センサアレイであって、センサアレイの第１のセンサが、第１の測定及び第１の背景光測定を行い、累積する（例えば、測定を累積し、S₀+(α_F,0-1)S₂を実行する）ように制御可能な第１の電荷蓄積ユニット、第２の測定及び第２の背景光測定を行い、累積する（例えば、測定を累積し、S₁+(α_F,1-1)S₂を実行する）ように制御可能な第２の電荷蓄積ユニット、並びに破損光（例えば、Ｆ）を測定するように制御可能な第３の電荷蓄積ユニットを含む、センサアレイと、深度推定を形成するためにセンサアレイから信号を受信及び処理する処理回路と、を備える。例えば、３つの電荷蓄積ユニットは、破損光及び背景光に反応しない深度推定を判断することにおいて使用されるべき測定を行うために使用され得る。

実施例４２において、実施例４１の深度撮像装置は、第１の利得係数（例えば、(α_F,0-1)）によって定義される第１の持続期間の間、背景光を収集するように制御可能である第１の電荷蓄積ユニットと、第２の利得係数（例えば、(α_F,1-1)）によって定義される第２の持続期間の間、背景光を収集するように制御可能である第２の電荷蓄積ユニットと、を任意選択的に含み得る。

実施例４３において、実施例４１又は４２の深度撮像装置は、第１のセンサについて、第１の電荷蓄積ユニットによって収集される電荷、第２の電荷蓄積ユニットによって収集される電荷、及び第３の電荷蓄積ユニットによって収集される電荷に基づく比率を算出する処理回路を、任意選択的に含み得る。例えば、比率は、
に基づき得る。

実施例４４において、実施例４３の深度撮像装置は、比率の値によってインデックスが付されたルックアップテーブルに基づいて、深度推定を形成する処理回路を、任意選択的に含み得る。例えば、ルックアップテーブルは、関数Ｄ＝Ｈ（ｘ）を実施し得る。ここで、ｘは、比率を表す。

実施例４５は、内面反射及び背景光に起因する破損光に反応しない深度撮像装置であって、深度撮像装置が、センサアレイであって、センサアレイの第１のセンサが、第１の測定（例えば、S₁）及び第１の破損光測定（例えば、α_F,1F₂）を行い、累積するように制御可能な第１の電荷蓄積ユニット、第２の破損光測定（例えば、α_F,1F₁）及び背景光測定（例えば、S₂）を行い、累積するように制御可能な第２の電荷蓄積ユニット、第２の測定（例えば、S₀）及び第３の破損光測定（例えば、α_F,0F₂）を行い、累積するように制御可能な第３の電荷蓄積ユニット、並びに第４の破損光測定（例えば、α_F,0F₁）及び背景光測定（例えば、S₂）を行い、累積するように制御可能な第４の電荷蓄積ユニットを含む、センサアレイと、深度推定を形成するためにセンサアレイから信号を受信及び処理する処理回路と、を備える。例えば、４つの電荷蓄積ユニットは、破損光及び背景光に反応しない深度推定を判断することにおいて使用されるべき測定を行うために使用され得る。追加的に、短い光パルスは、破損光の測定についてシミュレートされる。例示的な実施形態は、（短い光パルスをシミュレートするための）図１０及びそれに伴う説明に示されている。

実施例４６において、実施例４５の深度撮像装置は、光源を制御して、第１の破損光測定（例えば、α_F,1F₂）及び第３の破損光測定（例えば、α_F,0F₂）のために、第１の開始時間を有する第１の光パルスを放出し、第２の破損光測定（例えば、α_F,1F₁）及び第４の破損光測定（例えば、α_F,0F₁）のために第２の光パルスを放射する、ドライバを任意選択的に含み得、第２の放射光パルスが、第１の放射光パルスと同一のパルス形状を有し、第２の放射光パルスが、第１の開始時間に対して所定の時間量だけオフセットする第２の開始時間を有する。例示的な実施形態は、（短い光パルスをシミュレートするための）図１０及びそれに伴う説明に示されている。

実施例４７において、実施例４５又は４６の深度撮像装置は、それぞれの数の反復される測定を含む、第１、第２、第３、及び第４の破損光測定のうちのそれぞれ1つを、任意選択的に含み得る。その数は、それぞれの利得係数（例えば、α_F,0及びα_F,1）に対応する。例えば、それぞれの利得係数α_F,0及びα_F,1は、F₁又はF₂の反復される測定を実行することによって実現され得る。

実施例４８において、実施例４５〜４７のいずれか１つの深度撮像装置は、第１のセンサについて、第１の電荷蓄積ユニットによって収集される電荷、第２の電荷蓄積ユニットによって収集される電荷、第３の電荷蓄積ユニットによって収集される電荷、及び第４の電荷蓄積ユニットによって収集される電荷に基づく比率を算出する処理回路を、任意選択的に含み得る。例えば、比率は、
に基づき得る。

実施例４９において、実施例４８の深度撮像装置は、比率の値によってインデックスが付されたルックアップテーブルに基づいて、深度推定を形成する処理回路を、任意選択的に含み得る。例えば、ルックアップテーブルは、関数Ｄ＝Ｈ（ｘ）を実施し得る。ここで、ｘは、比率を表す。

実施例５０は、内面反射及び背景光に起因する破損光に反応しない深度撮像装置であって、深度撮像装置が、センサアレイであって、センサアレイの第１のセンサが、第１の測定（例えば、S₀）及び第１の破損光測定（例えば、α_F,0F₂）を行い、累積するように制御可能な第１の電荷蓄積ユニット、第２の測定（例えば、S₁）及び第２の破損光測定（例えば、α_F,0F₁）を行い、累積するように制御可能な第２の電荷蓄積ユニット、並びに背景光測定（例えば、S₂）及び第２の破損光測定（例えば、α_F,0F₁）を行い、累積するように制御可能な第３の電荷蓄積ユニットを含む、センサアレイと、深度推定を形成するためにセンサアレイから信号を受信及び処理する処理回路と、を備える。例えば、３つの電荷蓄積ユニットは、破損光及び背景光に反応しない深度推定を判断することにおいて使用されるべき測定を行うために使用され得る。追加的に、短い光パルスは、破損光の測定についてシミュレートされる。第２の測定S₁は、いかなる小さな破損光も、又はほとんど小さな破損光を捕捉しない方法で行われる。例示的な実施形態は、（短い光パルスをシミュレートするための）図１０及びそれに伴う説明に示されている。

実施例５１において、実施例５０の深度撮像装置は、光源を制御して、第１の破損光測定（例えば、α_F,0F₂）のために、第１の開始時間を有する第１の光パルスを放射し、第２の破損光測定（例えば、α_F,0F₁）のために、第２の光パルスを放射する、ドライバを任意選択的に含み得、第２の放射光パルスが、第１の放射光パルスと同一のパルス形状を有し、第２の放射光パルスが、第１の開始時間に対して所定の時間量だけオフセットする第２の開始時間を有する。例示的な実施形態は、（短い光パルスをシミュレートするための）図１０及びそれに伴う説明に示されている。

実施例５２において、実施例５０又は５１の深度撮像装置は、第１の破損光測定及び第２の破損光測定のうちのそれぞれ１つが、ある数の反復された測定を含み、その数が、利得係数（例えば、α_F,0）に対応することを、任意選択的に含み得る。例えば、利得係数α_F,0は、F₁又はF₂の反復される測定を実行することによって実現され得る。

実施例５３において、実施例５２の深度撮像装置は、利得係数が、第１の測定（例えば、S₀）において捕捉される破損光の量、並びに第１の破損光測定及び第２の破損光測定（例えば、F₁-F₂）において捕捉される破損光の量に依存することを、任意選択的に含み得る。

実施例５４において、実施例５０〜５３のいずれか１つの深度撮像装置は、第１のセンサについて、第１の電荷蓄積ユニットによって収集される電荷、第２の電荷蓄積ユニットによって収集される電荷、及び第３の電荷蓄積ユニットによって収集される電荷に基づく比率を算出する、処理回路を、任意選択的に含み得る。例えば、比率は、
に対応し得る。

実施例５５において、実施例５４の深度撮像装置は、比率の値によってインデックスが付されたルックアップテーブルに基づいて、深度推定を形成する処理回路を、任意選択的に含み得る。例えば、ルックアップテーブルは、関数Ｄ＝Ｈ（ｘ）を実施し得る。ここで、ｘは、比率を表す。

実施例Ａは、本明細書で説明される方法のいずれか１つを実施する、及び／又は実行する手段を備える装置である。

変形、利点、適用、及び例示

一般的に述べると、本明細書で開示される実施形態は、内面反射問題に悩まされる深度撮像装置に適用可能である。これらの深度撮像装置は、飛行時間型の測距システムを含む光学システムにおいて見出され得る。深度、距離、及び／又は速度を判断するために設計される光学システムは、スポーツ用電子機器、民生用電子機器、医療機器、航空宇宙／軍事機器、自動車用電子機器、セキュリティシステムなどを含む、多くのアプリケーションにおいても見出され得る。

本開示は、本明細書で開示される様々な技術の任意の１つ以上の部分を実施する手段を含み得る装置を含む。

内面反射問題に対処するための、本明細書で説明される（例えば、図８〜１２に示される）実施形態は、破損した深度画像を記録し、破損した深度画像に対する画像処理を実行して、内面反射により引き起こされる影響をフィルタで除去するシステムとは区別される。画素自体が、内面反射によって引き起こされる影響を隔離及び測定するような方法で制御され、深度計算が、影響を適切に除去することによって破損光測定を考慮に入れるため、本明細書で説明される実施形態は、それらのシステムとは対照的である。特に、図１１及び１２によって示されるスキームは、埃がセンサの近くで舞っているときに、埃が光を回折し、大きな半透明の円を生成する、「塵埃飛散」問題を免れることが、特に得意であり得る。産業アプリケーションは、塵埃飛散問題に特に敏感であり得る。埃のように近くで回折する物体からの測定では、光が全く捕捉されないため、塵埃飛散問題は、図１１及び１２によって示されるスキームを用いて完全になくなる。

本明細書で説明される（例えば、図８〜１２に示される）実施形態は、内面反射問題に対処し、深度撮像装置から数センチメートル離れているのと同じくらい近い、破損されていない深度推定を出力し得る。

いくつかの場合において、破損光の測定Fを行う電荷蓄積ユニットは、破損光検出器として使用され得る。十分な破損光がセンサ内の画素によって収集される場合、検出器は、有用な情報をユーザに提供し得る。深度撮像装置は、破損光があることをユーザに通知するために出力を生成させ、内面反射についての原因（例えば、汚れ、指、埃、水滴など）を除去するようにユーザに求め得る。

さらに、検出器は、破損光を考慮するために、深度撮像装置の動作モードを修正し得る。例えば、破損光が全く検出されない場合、深度撮像装置は、式（２）又は（３）を伴う任意の１つ以上の例示的実施形態に基づいて、深度推定を算出し得る。破損光が検出される場合、深度撮像装置は、式（４）〜（１０）を伴う任意の１つ以上の例示的実施形態に基づいて、測定を行い、深度推定を算出するように構成され得る。

十分な破損光が存在するかどうかを検出するために、本明細書で説明される技術に基づいて、画素のいずれかに当たる破損光を感知し、画素に当たる全ての光を感知することが可能である。破損光と、画素に当たっている全ての光との比率が、閾値より大きい場合、破損光検出器は、十分な破損光が存在することを示す信号を出力し得る。比率が閾値より小さい場合、破損光は十分に存在しない。

センサアレイに当たる全ての破損光を合計するために、各画素を読み出す必要がないように、破損光を測定する電荷蓄積ユニットの群からの電子が、（例えば、カラムによって）収集され得る。同様に、画素に当たる全ての光を合計するために、各画素を読み出す必要がないように、全ての光を測定する電荷蓄積ユニットの群からの電子が、（例えば、カラムによって）収集され得る。

本明細書において概説される仕様、寸法、及び関係（例えば、回路コンポーネント）の全てが、例示及び教示のみの目的で提示されるだけであることに留意することも必須である。このような情報は、本開示の趣旨、又は添付の特許請求の範囲及び／若しくは例示の範囲から逸脱することなく、相当に変動し得る。仕様は、１つの非限定的な例のみに適用し、したがって、それらは、そのように解釈されるべきである。前述の説明において、例としての実施形態は、特定のコンポーネント配列を参照して説明された。様々な修正及び変更が、添付の特許請求の範囲及び／又は実施例の範囲から逸脱することなく、このような実施形態に対して行われてもよい。したがって、説明及び図面は、限定的な意味ではなく例示的であると見なされるものとする。

本明細書で提供される多数の例では、対話が、２つ、３つ、４つ、又はそれ以上の電気コンポーネントに関して説明され得ることに留意されたい。しかしながら、これは、明確化及び例示の目的のみで行われている。システムは、任意の好適な様態で統合され得ると、理解されるべきである。類似の設計代替手段に沿って、図面の例示されるコンポーネントのいずれかが、様々な可能な構成で組み合わされてもよく、その全てが、この明細書の広義の範囲内で明確である。ある場合において、限られた数の電気素子を参照するだけで、フローの所与のセットの機能性の１つ以上を説明することが、より容易であり得る。図面の電気回路及びその教示は、容易にスケール可能であり、多数のコンポーネント及びより複雑な／高度な配列及び構成を収容し得ると、理解されるべきである。したがって、提供される例は、範囲を限定し、又は無数の他のアーキテクチャに潜在的に適用されるような電気回路の広範な教示を妨げるべきではない。

本明細書において、「１つの実施形態」、「例としての実施形態」、「実施形態」、「別の実施形態」、「いくつかの実施形態」、「様々な実施形態」、「他の実施形態」、「代替の実施形態」などに含まれる様々な特徴（例えば、要素、構造、モジュール、コンポーネント、ステップ、動作、特性など）に対する参照は、任意のそのような特徴が、本開示の１つ以上の実施形態に含まれるが、必ずしも同一の実施形態に結合されるとは限らないことを意味することが意図される。

測定及び深度推定を行うことに関する機能が、図面に示される回路によって実行され得る可能な機能のうちのいくつかだけを示すことに留意することも重要である。これらの動作のいくつかが、適宜削除され、若しくは除去されてもよく、又は、これらの動作が、本開示の範囲から逸脱することなく相当に修正され、若しくは変更されてもよい。さらに、これらの動作のタイミングが、相当に改変されてもよい。動作フローは、例示及び考察の目的で提示されている。任意の好適な配列、時系列、構成、及びタイミング機構が、本開示の教示から逸脱することなく提供され得るという点において、本明細書で説明される実施形態によって、実質的な柔軟性が提供される。

多数の他の変更、代用、変形、改変、及び修正が、当業者に確認され得、本開示は、そのような変更、代用、変形、改変、及び修正の全てを、本開示の範囲内に入るものとして包含すると意図される。本明細書で説明された装置の全ての任意選択的な特徴もまた、本明細書で説明された方法又はプロセスに関して実施されてもよく、例における詳細が、１つ以上の実施形態のどの場所でも使用され得ることに、留意されたい。

１０２ 光源
１０４ センサアレイ
１０６ レンズ
１１０ オブジェクト
１１２ オブジェクト
１１４ オブジェクト
１８０ ドライバ
１９０ 処理回路
２０２ プロット
２０４ プロット
２０６ プロット
２０８ プロット
３０２ プロット
３０４ プロット
３０６ プロット
４０２ プロット
４０４ プロット
４０６ プロット
４０８ プロット
４１０ プロット
７０２ 汚れ
７０４ 画面
８０２ プロット
８０４ プロット
８０６ プロット
８０８ プロット
８１０ プロット
８１２ プロット
９０２ プロット
９０４ プロット
９０６ プロット
９０８ プロット
９１０ プロット
９１２ プロット
１００２ プロット
１００４ プロット
１００６ プロット
１００８ プロット
１０１０ 正パルス
１０２０ 負パルス
１１０２ プロット
１１０４ プロット
１１０６ プロット
１１０８ プロット
１１１０ プロット
１１１２ プロット
１２０２ プロット
１２０４ プロット
１２０６ プロット
１２０８ プロット
１２１０ プロット
１２１２ プロット

Claims (20)

1. 内面反射に起因する破損光に反応しない、深度を測定する方法であって、
   光を光源によって場面へ放射することと、
   破損光が画素に当たるが、前記画素の視野内の物体からの戻り光が前記画素に当たらない第１の期間の間に、前記画素に当たっている光に基づいて電荷を収集するように、前記画素の第１の電荷蓄積ユニットを制御することによって、破損光測定を行うことと、
   前記破損光測定に基づいて、前記破損光による影響を受けた１つ以上の測定から前記破損光からの寄与を除去することと、
   前記破損光からの前記寄与が除去された前記１つ以上の測定に基づいて、前記深度を判断することと、を含む、方法。
2. 前記第１の期間が、前記破損光の一部分が収集された後、かつ前記物体からの前記戻り光が前記画素に当たる前に終了する、請求項１に記載の方法。
3. 前記破損光測定を利得係数によってスケールすることによって、前記破損光からの前記寄与を判断することをさらに含む、請求項２に記載の方法。
4. 内面反射及び背景光に起因する破損光に反応しない、深度を測定する方法であって、
   第１の破損光測定を第１の開始時間を有する第１の放射光パルスで行うことと、
   第２の破損光測定を第２の放射光パルスで行うことであって、前記第２の放射光パルスが、前記第１の放射光パルスと同一のパルス形状を有し、前記第２の放射光パルスが、前記第１の開始時間に対して所定の時間量だけオフセットする第２の開始時間を有する、行うことと、
   前記破損光からの寄与が除去された１つ以上の測定に基づいて前記深度を判断することであって、前記破損光からの前記寄与が、前記第１の破損光測定及び前記第２の破損光測定に基づく、判断することと、を含む、方法。
5. 前記第２の放射光パルスが、前記第１の放射光パルスと同一の持続期間を有する、請求項４に記載の方法。
6. 前記第１の破損光測定を行うことが、画素の第１の電荷蓄積ユニットを制御して、第１のセンサ信号を用いて電荷を収集することを含み、
   前記第２の破損光測定を行うことが、前記画素の第２の電荷蓄積ユニットを制御して、前記第１のセンサ信号と同一の開始時間、同一の形状、及び同一の持続期間を有する第２のセンサ信号を用いて電荷を収集することを含む、請求項４に記載の方法。
7. 前記第１の破損光測定を行うことが、画素の第１の電荷蓄積ユニットを制御して、前記第１の開始時間に、又は前記第１の開始時間前に電荷の収集を開始し、前記第２の開始時間後に電荷の収集を停止することを含む、請求項４に記載の方法。
8. 前記第２の破損光測定を行うことが、画素の第２の電荷蓄積ユニットを制御して、前記第１の開始時間に、又は前記第１の開始時間前に電荷の収集を開始し、前記第２の開始時間後に電荷の収集を停止することを含む、請求項４に記載の方法。
9. 前記第１の破損光測定と前記第２の破損光測定との間の差が、前記破損光からの前記寄与をもたらす、請求項４に記載の方法。
10. 前記第１の破損光測定と前記第２の破損光測定との間の差が、前記所定の時間量に対応するパルス幅を有する放射光パルスで行われる破損光測定に相当する、請求項４に記載の方法。
11. 利得係数によりスケールされた前記第１の破損光測定と前記第２の破損光測定との間の差だけ、所与の測定を減算することによって、前記破損光からの前記寄与を前記１つ以上の測定のうちの前記所与の測定から除去することをさらに含む、請求項４に記載の方法。
12. 前記利得係数が、前記所与の測定において捕捉される破損光と前記差において捕捉される破損光の量との比率である、請求項１１に記載の方法。
13. 背景光を測定するために、いかなる放射光パルスも用いずに第３の測定を行うことと、
    所与の測定から前記第３の測定を減算することによって、前記１つ以上の測定のうちの前記所与の測定から、背景光からの寄与を除去することと、をさらに含む、請求項４に記載の方法。
14. （１）利得係数によってスケールされた第１の測定、及び（２）背景光の第３の測定を、画素の第１の電荷蓄積ユニットにおいて加算することと、
    （１）前記利得係数によってスケールされた第２の測定、及び（２）前記１つ以上の測定のうちの所与の測定を、前記画素の第２の電荷蓄積ユニットにおいて加算することと、請求項４に記載の方法。
15. 内面反射及び背景光に起因する破損光に反応しない深度撮像装置であって、前記深度撮像装置が、
    センサアレイであって、前記センサアレイの第１のセンサが、
    第１の測定及び第１の破損光測定を行い、累積するように制御可能な第１の電荷蓄積ユニット、
    第２の測定及び第２の破損光測定を行い、累積するように制御可能な第２の電荷蓄積ユニット、並びに
    背景光測定及び前記第２の破損光測定を行い、累積するように制御可能な第３の電荷蓄積ユニットを含む、センサアレイと、
    深度推定を形成するために、前記センサアレイから信号を受信及び処理する処理回路と、を備える、深度撮像装置。
16. 光源を制御して、
    前記第１の破損光測定のために、第１の開始時間を有する第１の光パルスを放射し、
    前記第２の破損光測定のために、第２の光パルスを放射する、ドライバをさらに備え、
    第２の放射光パルスが、第１の放射光パルスと同一のパルス形状を有し、前記第２の放射光パルスが、前記第１の開始時間に対して所定の時間量だけオフセットする第２の開始時間を有する、請求項１５に記載の深度撮像装置。
17. 前記第１の破損光測定及び前記第２の破損光測定のうちのそれぞれ１つが、ある数の反復された測定を含み、
    前記数が、利得係数に対応する、請求項１５に記載の深度撮像装置。
18. 前記利得係数が、前記第１の測定において捕捉される破損光の量、並びに前記第１及び第２の破損光測定において捕捉される破損光の量に依存する、請求項１７に記載の深度撮像装置。
19. 前記処理回路が、
    前記第１のセンサについて、前記第１の電荷蓄積ユニットによって収集される電荷、前記第２の電荷蓄積ユニットによって収集される電荷、及び前記第３の電荷蓄積ユニットによって収集される電荷に基づく比率を算出する、請求項１５に記載の深度撮像装置。
20. 前記処理回路が、
    前記比率の値によってインデックスが付されたルックアップテーブルに基づいて、深度推定を形成する、請求項１９に記載の深度撮像装置。