JP2019533145A - 飛行時間で奥行きを検知するための干渉処理 - Google Patents

Abstract

実施形態の態様は、ある期間中に受容する光を検知し、受容する光を処理し、当該期間内で利用可能な測定期間を処理光に基づいて特定し、光を、１つ以上の後続の期間内の対応する測定期間中に伝送および受容するように構成することができる撮像システムに関する。撮像システムはまた、カメラから発する光、背景光、および他のカメラ光源から発する光を含む、光センサがシーンから受容する光を表す第１の画素値集合を生成し、背景光および他のカメラ光源から発する光を含む、シーンから反射される光を表す第２の画素値集合を生成し、第３の画素値集合を、第１の画素値集合および第２の画素値集合の関数に基づいて判定するように構成することができる。

Description

本開示は、飛行時間（ＴｏＦ）で奥行きを検知するための干渉処理に関し、より具体的には、ＴｏＦで奥行きを検知するための干渉処理をマルチカメラ環境で行うことに関する。

飛行時間で奥行きを推定するために使用される撮像システムは、光（例えば、赤外光）を放出してシーンを照明することができ、シーンによる反射光を使用して奥行きを推定することができる。複数のカメラが使用状態にあるシナリオでは、他の撮像システムから放出される光を主撮像システムの画像センサがさらに受容して干渉が発生する。干渉は、カメラがカメラ自体の光源からの光を他の光源から放出される受容された光と区別できないことにより起こり得る。

本開示の実施形態による例示的な撮像システムの概略図である。 奥行きを推定する例示的な照明方式の概略図である。 例示的な奥行きフレームを取得する概略図である。 図３Ａ〜図３Ｂは、本開示の実施形態による例示的なマルチカメラシステムの概略図である。 奥行きフレームを撮影する主シングルカメラシャッタパルス束方式の例の概略図である。 は、干渉側のカメラの照射パルス束が主カメラ自体の照射パルス束に追加されることに起因して主カメラで起こる例示的な干渉方式の概略図である（主カメラ自体の照射パルス束は図示されておらず、干渉側のカメラの照射パルス束が、図４Ａに示す主カメラのシャッタパルス束に重畳する）。 本開示の実施形態による利用可能なパルス方式タイミング位置を判定する例示的なプロセスフロー図である。 無干渉状態または低干渉動作における複数のカメラをインターリーブするために、どのようにパルス束間の「不感時間」が検知され得るかを示す概略図の別の例である。 図５Ｂに示すように、継続的に動作する周囲光センサとして機能して利用可能なタイムスロットを判定することができるフォトダイオードのような、さらに別の感光素子を備える例示的な撮像システムの例示的な概略図である。 図６Ａ〜図６Ｄは、本開示の実施形態による例示的なパルス方式の概略図である。 本開示の実施形態による２つの干渉側の撮像システムの例示的なパルス方式の概略図である。 本開示の実施形態による撮像センサの奇数行および偶数行に並んだ画素に関する例示的なパルス方式およびシャッタ方式である。 図９Ａ〜図９Ｂは、撮像センサの奇数行および偶数行に並んだ画素に記録される信号の理論値に関する例示的な数式である。 本開示の実施形態によるパルス方式を実行するためのタイミング系列の概略図である。 本開示の実施形態によるＳ０＾最終画素値を、Ｓ０値およびＳ０値を使用して、Ｓ１＾画素を、Ｓ１値およびＳ１値を使用して、奥行き値を、Ｓ０＾値およびＳ１＾値を使用して判定する概略図である。 本開示の実施形態による最終画素値を干渉処理により推定するプロセスフロー図である。 本開示の実施形態による画素の奥行きを推定するプロセスフロー図である。 本開示の実施形態による干渉回避方式を示す概略図である。 本開示の実施形態による干渉除去方式を示す概略図である。 本開示の実施形態による干渉除去方式を組み合わせた相乗効果を示す概略図である。 相互相関を示す概略図である。 図１８Ａ〜図１８Ｃは、本開示の実施形態による、カメラをカメラシステムに追加した状態を示す概略図である 本開示の実施形態による干渉回避を実行するプロセスフロー図である。 本開示の実施形態による干渉除去を実行するプロセスフロー図である。

セクションＩ：時間インターリーブによる干渉処理
図１は、本開示の実施形態による例示的な撮像システム１００の概略図である。撮像システム１００は画像センサ１０２を含む。画像センサ１０２は、電荷結合素子（ＣＣＤ）センサ、ＣＭＯＳ画像センサ（ＣＩＳ）、またはグローバルシャッタ機構を有する任意のアレイ撮像装置とすることができる。撮像システム１００は、１つの、または複数の画像センサ１０２を含むことができる。画像センサ１０２は、色を差別化するフィルタまたは他の機構を含むことができる。画像センサ１０２は、画素アレイを含むことができ、当該アレイは、個々に制御可能な画素を有する。例えば、画像センサの各画素をオンにして電荷を収集するか、またはオフにして電荷を収集しないようにすることができる。延長線上で考えると、画素アレイの各行をオンまたはオフにすることができる。さらに延長線上で考えると、アレイ全体を形成する各行を同時に（または、実質的に同時に）オンまたはオフにすることができる（すなわち、画素アレイをオンまたはオフに切り替えることができる）。画素のオフからオンへの切り替え、さらにオンからオフへの切り替えは、機械的シャッタの開閉に類似させることができる。画像センサ１０２は、機械的シャッタを含むことができる。しかしながら、シャッタという用語はまた、本明細書では、ある期間にわたって電荷を収集し、次に電荷の収集を停止するための、画素の電気的に制御された切り替えを指し得る。

撮像システム１００はまた、光１１８を放出することができる光源１１６を含むことができる。幾つかの実施形態では、光源１１６は赤外線レーザのようなレーザとすることができ、放出光１１８は赤外光とすることができる。

画像センサ１０２のシャッタおよび光源１１６のパルスタイミングは、タイミングジェネレータ１１２で制御することができる。動作中、タイミングジェネレータ１１２は、光源１１６に光パルス１１８を放出させることができ、さらにシャッタを開（電荷を収集する）閉（電荷収集を停止する）させるように信号伝達することもできる。パルス方式の例を図２Ａ〜図２Ｂに示す。

光源１１６から放出される光１１８は、物体で反射されてしまい、撮像システム１００で画像センサ１０２によって受容することができる。反射光１２０は、レンズ１０６で集光させることができる。絞り１０４は、オンオフシャッタとして機能して、光１２０を画像センサ１０２で受容するかどうかを制御することができる。

受容された光１２０は、画像センサ１０２によって電荷に変換される。より具体的には、各画素は光を受容し、各画素で収集される光は、画素位置に関連する電荷に変換される。収集電荷をアナログフロントエンド（ＡＦＥ）１１０に送信して処理する。ＡＦＥ１１０はまた、タイミングジェネレータ１１２からのタイミング情報に関する入力を含む。ＡＦＥ１１０は、画像データを奥行きプロセッサ１１４に送信して奥行き推定を行うことができる。

図２Ａは、（ａ）光パルス束および無照明期間、ならびに（ｂ）異なるシャッタに対する各光パルスのタイミングからなる照明方式の例の概略図である。この例では、３つの画像束が画像センサによって捕捉される。第１の束Ｓ０では、光は、例えば２２ｎｓパルスに応じて放出され、シャッタは、対応する期間にわたって開かれる。シャッタパルスで画像センサのシャッタを開いて、反射光を画像センサによって捕捉することができるようにする。往復時間の遅れが出るので、シャッタが閉じる前に、放出光の一部が画像センサによって捕捉される。第２のパルス束２０６では、光は２２ｎｓパルスに応じて放出され、シャッタが対応する期間にわたって開かれるが、第２の束Ｓ１ ２０６では、シャッタパルスは、レーザパルスの長さ（例えば、図２の例の２２ｎｓ）に等しい時間長だけ遅れる。束Ｓ１では、シーンから反射される光の一部は、シャッタが開いている間に捕捉される。放出光の往復伝搬時間は、Ｓ０およびＳ１に由来する情報を使用して計算することができる。さらに、第３の束ＢＧ２０８は、光放出が行われることなく背景反射光（すなわち、背景による反射光、または周囲光であり、撮像システムから放出される光に由来しない光）を捕捉するシャッタパルスを含むことができる。各束は、複数回実施することができ、収集電荷を、これらの複数回の測定中に蓄積し続けて、奥行き測定のＳＮＲおよび精度を高めることができる。

図２Ｂは、例示的な奥行きフレームを取得する概略図である。図２Ｂでは、Ｓ０束２０４によりＳ０フレーム２０５が得られ、Ｓ１束によりフレーム２０７が得られ、ＢＧ束によりＢＧフレーム２０９が得られる。奥行きフレーム２１０は、フレームＳ０、Ｓ１、およびＢＧの合成フレームを使用して（すなわち、ＢＧを除去することによって）生成することができる。奥行きを計算する例示的な方程式は、

（Ｓ１−ＢＧ）／［（Ｓ０−ＢＧ）＋（Ｓ１−ＢＧ）］^＊（ｃ Ｔ ＬＤ／２）であり、式中、Ｃは、光の速度であり、Ｔ ＬＤは、光源から放出される光パルスの時間長である。

図３Ａ〜図３Ｂは、本開示の実施形態によるマルチカメラシステムの例の概略図である。図３Ａは、例示的なマルチカメラシステム３００を示している。マルチカメラシステム３００は、カメラ１ ３０２、カメラ２ ３０４、およびカメラ３ ３０６を含む。各カメラは、物体３０８を含むシーンの奥行き画像を捕捉することに関与する。カメラ１ ３０２は、光３１２を物体３０８に向けて放出し、物体３０８による反射光を使用して奥行き推定を行う。カメラ２ ３０４およびカメラ３ ３０６もまた、光を（それぞれ３１４および３１６）物体３０８に向けて放出して同様の目的を果たす。

図３Ｂでは、物体による反射光は、３つのカメラの全てから放出される光を含むことができる。例えば、カメラ１ ３０２が受容する光は、カメラ１〜３から最初に放出された光を含む光３２２を含むことができる。カメラ２および３の場合も同様である。カメラの光パルスおよびシャッタパルスのタイミングを互いに合わせて、カメラ自体の光パルスの往復時間を推定する、したがって奥行きを推定するので、光を他の光源から受容することにより、干渉を引き起こして、奥行き推定がずれてしまう。

図４Ａは、奥行きフレームを撮影するシャッタパルス方式４００の例示的な概略図である。図４では、各矩形ブロックはパルス束を表しており、例えば、ブロック２０４は、図２ＡのＳ０シャッタによる束を表しており、ブロック２０６は、図２ＡのＳ１シャッタによる束を表しており、ブロック２０８は、図２ＡのＢＧシャッタによる束を表している。さらに図示されるのは、束集合４０１間の不感時間４０２、すなわち測定が行われず光パルスが送出されない期間である。この例では、各束集合４０１の処理はこの例では、６回実施され、不感時間がパルス束の間に、先行するパルス束の間に、または後続のパルス束の間に存在し得る。

図４Ｂは、主カメラ自体の照射パルス束に追加される干渉側のカメラの照射パルス束に起因して、主カメラで用いられる例示的な干渉方式の概略図４５０である。主カメラ自体の照射パルス束は図４Ｂには示されておらず、むしろ、干渉側のカメラの照射パルス束が、図４Ａに示される主カメラのシャッタパルス束に重畳することにより、主カメラが、当該主カメラのシャッタが開いている状態で干渉照射を受けているという事実を示している。シャッタが他のカメラからの光パルスが干渉している間に開いている場合、他の光源からの光により、当該カメラ自体の光パルスの測定がずれてしまう、信号対雑音比が小さくなり得る、または当該カメラ自体の光パルスの往復時間の見積もりが不正確になり得る。

本開示は、パルス束をインターリーブすることによる干渉処理について説明する。中央同期方式がカメラ間で可能である場合、これらのカメラを制御して光パルス束を特定の順序で放出させて、重畳が生じないようにすることができる。同期が非常に過度に困難である、または不可能である場合、状況に参加するさらに追加の各カメラは、最初にパルス状況を、測定を順次行うことにより判定して「無音」区間を検索するようにプログラムされる。次に、カメラは、カメラ自体のパルス束を配置するために、無音区間を使用することができる。本開示では、「パルス状況」という用語は、シーンを照明するために同じ環境にある他のカメラから放出されているパルス束のパターンが追加されること、または収集されることを意味することができる。

利用可能な「無音」区間の数を増やすために、全てのカメラは、光パルス束の間の不感時間を、例えば光パルス束のフレームレートを特定の数Ｎだけ間引くことにより意図的に長くすることができ、これにより、互いに干渉することなく当該状況に合わせることができるカメラの数を約Ｎ倍増やすことができる。各カメラが光パルス束に使用するデューティサイクルもまた、デューティサイクルが実質的に同じになるように既定される（例えば、カメラ製造業者によって）。重畳は、デューティサイクルが正規化されない場合に依然として起こり得る。パルス束のデューティサイクルを減らすと、パルス束の間の不感時間も長くなり、これにより今度は、互いに干渉することなく当該状況に合わせることができるカメラの数を増やすことができる。デューティサイクルの減少による電力の減少は、電力を同等に増加させるか、またはカメラの照明光源の数を同等に増やすことにより補正して同様のＳＮＲを維持することができる。

マルチカメラ環境に参加するカメラ（または、参加すると、マルチカメラ環境を作り出すカメラ）は、状況を検知し始めて（例えば、当該カメラのシャッタを既定の期間にわたって開くことによって）、次に利用可能なスポットを検索することができる。カメラは、当該カメラの利用可能性の検索を以下の通りに実施することができる。

図５Ａは、本開示の実施形態による利用可能なパルス位置を判定するための例示的なプロセスフロー図である。カメラはまず、当該カメラのシャッタを開いて、他のカメラからの光パルスを検出する（５０２）。カメラは、利用可能なスロットが存在するかどうかを、幾つかのインスタンスで特定の期間にわたって受容する光を測定することによって判定することができる（５０４）。カメラは、同じ（または実質的に同じ）値を有する、各測定インスタンスで収集される光信号の量を判定することができる（５０６）。カメラはまた、光強度が１つの測定インスタンスから第２の測定インスタンスに移行すると変化する（または、バックグラウンドノイズを除く、任意の光強度の欠如）ことを示す異常値の存在を検出することができる（５０８）。例えば、カメラは、光測定値の隣接する群の値とは異なる値を有する光測定値を特定することができる。

次に、カメラは、当該カメラのシャッタを、異常値と一致する時間インスタンス、および異常値に隣接する時間インスタンスで開くことができる（５１０）。次に、カメラは、異常値が、スロットが利用可能であることを示しているかどうかを判定することができる（または、利用可能ではない場合、次にカメラは、異常が、境界付近でスポットが利用可能である、第１のパルス束と第２の（異なる）パルス束との間の当該境界を示していると判定することができ、さらなる測定を、より細かな時間分解能で、異常値の付近で行って、光強度が全くないか、またはほとんどないタイムスロットを判定する（５１２）。カメラは、パルス束に利用可能なスロットを使用して当該カメラ自体の奥行き推定を行うことができる（５１４）。

図５Ｂは、不感時間を検知して、非干渉状態または低干渉状態で動作している複数のカメラをインターリーブすることができる過程の概略図の別の例である。特に、図５Ｂは、フォトダイオードまたは他の感光素子（図５Ｃの素子と同様の）からなる、図１に追加することができるさらに別の回路を使用して、他のカメラが光を放出していない間の時間スロット、または光の放出が、新たなカメラが当該時間スロットを使用し始めることができるために十分弱くなっている間の時間スロットを判定する過程を説明する例示的な手順を示している。フォトダイオードまたは感光素子は、ＡＤＣに接続して使用することができ、周囲光を、当該周囲光を既定のサンプリングレートで測定することによって継続的に監視することができる（５５２）。カメラがマルチカメラ環境に参加している（したがって、ステップ５５４で判定されるタイムスロットに、これまで割り当てられていない）場合、カメラは利用可能なタイムスロットを、フォトダイオードまたは感光素子から取得される時間信号を処理または検査することによって判定することができる（５５６）。このカメラは、他の干渉体からの周囲光の量が既定の閾値を下回るか、または存在しない期間中に光を放出するように選択することができる。次のフレームでは、カメラは、光を放出し続け、この判定されたこのタイムスロットにおいて、測定を行うことができる（５５８）。図５Ｂでは、カメラが、タイムスロットに既に割り当てられていた場合、当該カメラは光を放出し続けて測定を、当該カメラが、割り当てられていたタイムスロットで、ステップ５５４から５５８に直接移動することによって行うことができる。

図５Ｂでは、既にタイムスロットに割り当てられていたカメラは、フォトダイオードまたは感光素子（５５２）の測定値を使用して干渉を、当該カメラ自体のタイムスロットおよび／または他のタイムスロットで継続的に監視することができ、さらに別のカメラが搬入されることに起因する、相対的なクロックドリフトに起因するなどにより当該カメラ自体のスロットで、既定の閾値を超える干渉を受け始める場合に、またはより小さな干渉を受ける他のスロットが利用可能になる場合に、別のスロットに切り替えることができる。

図５Ｂでは、幾つかのカメラが厳密に同じ時間インスタンスで動作し始めるという非常に可能性が低い事例においては、多くのカメラ、または全てのカメラが環境を、当該カメラを能動的に照明することなく検知して、これらのカメラがカメラ自体のパルス束を放出することができるタイムスロットを判定することができ、任意の所与のカメラの視点からは干渉量の見積もりが不正確になる。このような曖昧さを回避するために、ステップ５５２の前に行われる、さらなる初期ステップは、例えば当該特定のカメラが背景干渉を測定し始める前に待機することになる、フレーム単位または秒単位で測定される時間長に比例する乱数または擬似乱数を各カメラで局所的に生成することからなることができる。任意の２つのカメラが同じ乱数を生成する可能性は、乱数が生成されるときの基準となる確率分布を適切に選択することによって所望の通りに小さくすることができ、この操作によりカメラは、生成される乱数の順序付けにより記述される順序で干渉を測定し始めることができる。したがって、図５Ｂで説明される手順は、これらのカメラが同じ時間インスタンスで動作し始める場合でも適切に保持されることになる。

幾つかの例示的な実施形態では、図５Ｂの利用可能なタイムスロットの特定は、所望の放出パターンを測定対象の予約関数と相互相関させることを含むことができる。カメラシステムは、シーンの奥行き画像を捕捉するために、光放出に対する所望の放出パターンを特定することができる。所望の放出パターンは、カメラに予めプログラムしておくことができる。所望の放出パターンは、光強度値（または、対応する「ハイ」のバイナリ値）および各光強度値に関する放出タイミング、ならびにデューティサイクル、および他の情報を含む。レーザパルスの放出に利用可能な期間の位置は、所望の放出パターンを測定対象の予約関数と相互相関させる、例えば予約タイムスロットに関する情報となる測定対象の光強度値集合と相互相関させることにより判定することができる。相互相関が最も小さい、または既定の閾値を下回る時間差値は、放出に利用可能なタイムスロットの開始時点として選択することができる。相互相関は、ストリーミング方式で行われて放出に利用可能なタイムスロットを特定することができる。

測定対象の予約関数は、光をフォトダイオードが受容することにより生成することができる。光値は、最初にＡＤＣを介してサンプリングすることにより、次に光強度を閾値と各時間インスタンスで比較することによりデジタル値に変換することができる。光強度値が閾値を超える場合、ハイまたは１のバイナリ値が予約関数の対応する時間インスタンスに関して割り当てられる。光強度値が閾値を超えない場合（または、光強度値が閾値に等しい場合）、ローまたは０のバイナリ値が予約関数の対応する時間インスタンスに関して割り当てられる。

図５Ｃは、図５Ｂにおいて説明した利用可能なタイムスロットを判定するために継続的に動作する周囲光センサとして機能することができるフォトダイオードのような感光素子５６０をさらに備える、図１の撮像システムと同様の例示的な撮像システム１５０の例示的な概略図である。この例では、フォトダイオード５６０は、干渉側のカメラおよび主カメラの両方に由来する周囲光５６８を検知することができる（したがって、周囲光は、当該主カメラ自体の照射パルスに由来する光１２０を含むことができる）。フォトダイオードは、電流をフォトダイオードが検知する周囲光に応じて生成することができ、この電流は電圧値に、オペアンプのフィードバック経路に抵抗を入れたオペアンプ５６２により変換することができる。この電圧値は、サンプル値を制御論理ユニット（５６６）に供給するＮビットアナログ−デジタル変換器５６４（ＡＤＣ）によりサンプリングすることができる。次に、制御論理は、どの時間インスタンスで干渉がなくなるか、または干渉が低くなるかを判定し、タイミングジェネレータ１１２を更新して照射パルスを配置し、シャッタをそれに応じて開くことができる。

図６Ａ〜図６Ｄは、本開示の実施形態による例示的なシャッタパルス方式の概略図である。図６Ａ〜図６Ｄは、４台のカメラ環境のシャッタパルス方式を示している。照射パルスは、図２Ａの例と同様に、これらのシャッタに合わせて送出することができる、または既定の量だけ遅延させて送出してもよい。照射パルスとシャッタパルスとの間の遅延量は、パルス束間の間隔よりも数桁小さくすることができる。したがって、照射パルスは、全ての実際の目的のためにシャッタパルスに合わせると考えることもできる。さらに、シャッタが開いている幾つかの期間に、図２Ａの背景測定期間２０８のような無照明期間を設けてもよい。したがって、照射パルス束が、シャッタパルス束よりも短い期間を占めるようにすることができる。

図６Ａでは、パルス方式６００が図示されている。パルス方式６００は、第１のシャッタパルス束６０２を含む。図６Ａはまた、シャッタパルス束６０２間の不感時間６０４を示している。

図６Ｂは、２台のカメラ環境に関するインターリーブされたパルス方式６５０を示している。第２のカメラに関するパルス束６０８は、不感時間６０４内に収まる（この時点で、カメラ２に関するパルス束６０８が占めている）ようにタイミングを合わせる。

図６Ｃは、３台のカメラ環境に関するインターリーブされたパルス方式６６０を示している。不感時間６１２が依然として、パルス束６１０間に存在する。

図６Ｄは、４台のカメラ環境に関するインターリーブされたパルス方式６７０を示している。パルス束６１４は、既に説明した不感時間６１２内に収まるようにタイミングを合わせる。

より多くのカメラが予測される場合、各パルス束のデューティサイクルを減少させて、利用可能なより多くの不感時間を導入して、新たなカメラを収容することができる。減少デューティサイクルは減少照明電力に対応し、減少照明電力により今度は、ＳＮＲが減少する。しかしながら、これは、より多くの赤外線レーザのような、より多くの照明光源を追加することにより軽減することができる。例えば、デューティサイクルの半分の減少は、レーザの数を２倍にすることにより補正することができる。
セクションＩＩ：補間シャッタ系列による干渉処理

カメラは、センサアレイの幾つかの画素が、カメラ自体の光源から放出される光だけでなく、背景光および他のカメラから放出される光（干渉）を含む光を捕捉することにより、かつセンサアレイの幾つかの他の画素が、背景光および他のカメラからの光（干渉）のみを含む光を捕捉することにより、背景および干渉を画素レベルで除去することができる。背景光および干渉のない画素値は、これらの２種類の測定値からアルゴリズムにより取得することができる。カメラ自体の光源から放出される光だけでなく、背景光および他のカメラから放出される光（干渉）を含む光を捕捉する画素の部分集合の例として、センサアレイの偶数行に並んだ全画素を挙げることができる。背景光および他のカメラからの光（干渉）のみを含む光をほぼ同時に捕捉する画素の部分集合の例として、センサアレイの奇数行に並んだ全画素を挙げることができる。画素部分集合の他の構成を使用することができるが、この偶数行部分集合および奇数行部分集合の例が以下にさらに示される。

幾つかの実施形態では、カメラは、２つの異なる画素部分集合、例えば奇数行に並んだ画素および偶数行に並んだ画素に対する２つの補間ランダムシャッタ系列を使用して、例えば光の収集を画素ごとに、または行ごとに電気的に制御することにより、これらの画素部分集合の一方（例えば、偶数行）が、他方の部分集合（例えば、奇数行）が光を収集していないときにのみ光を収集する、逆にこれらの画素部分集合の他方が、一方の部分集合が光を収集していないときにのみ光を収集するようにする。一例として行ごとに使用すると、実施形態は、カメラ自体の光源から放出される光、背景光、および他のカメラからの干渉光を、例えば画像センサの偶数行に並んだ画素を使用して捕捉することと、背景光および干渉光を、例えば奇数行に並んだ画素を使用して捕捉することと、を含むことができる。

第１のタイミングパルス系列は、シャッタ系列Ｓ０およびＳ０を作動させることができる。シャッタパルスがハイになると、カメラの光源と同期するシャッタを開くことができ、カメラ自体の光源が放出する光を含む光を捕捉することができる（Ｓ０）。

第２の操作では、シャッタパルスがローになると、シャッタを開いて、カメラ自体の光源から放出される光を含まない光（例えば、背景光および干渉光）を捕捉することができる（Ｓ０）。

第２のタイミングパルス系列は，シャッタ系列Ｓ１およびＳ１を作動させることができる。シャッタパルスがハイになると、カメラの光源と同期するシャッタを開くことができ、カメラ自体の光源が放出する光を含む光を捕捉することができる（Ｓ１）。

第２の操作では、シャッタパルスがローになると、シャッタを開いて、カメラ自体の光源から放出される光を含まない光（例えば、背景光および干渉光）を捕捉することができる（Ｓ１）。

近傍画素または隣接画素で捕捉され、カメラ自体の光源から放出される光のみを含み、背景光または他のカメラからの干渉光を含まない光の生のＳ０値およびＳ０値を数学的に組み合わせることにより、各画素に関する処理値Ｓ０＾を取得することができる。同様に、近傍画素または隣接画素で捕捉され、カメラ自体の光源から放出される光のみを含み、背景光または他のカメラからの干渉光を含まない光の生のＳ１値およびＳ１値を数学的に組み合わせることにより、各画素に関する処理値Ｓ１＾を取得することができる。このようにして取得される処理値Ｓ０＾およびＳ１＾を使用して、各画素に関する奥行き推定値を取得することができる。最終処理画素値Ｓ０＾およびＳ１＾を取得するだけでなく、奥行き推定値をこれらの画素値から取得するプロセスについて、以下にさらに詳細に説明する。

図７は、本開示の実施形態による例示的なパルス方式７００の概略図である。パルス方式７００は、２つのカメラがパルス方式を、別々の背景フレームをさらに捕捉することなく実行することができる過程を示している。各カメラは光を、幾つかの画素に関するＳ０シャッタ／照射系列、および他の画素に関するＳ０シャッタ／照射系列、ならびに幾つかの画素に関するＳ１シャッタ／照射系列、および他の画素に関するＳ１シャッタ／照射系列を使用して収集する。

さらに具体的には、カメラ１は、例えば画像センサグリッドの一部に対する１００個のＳ０ ７０２シャッタパルス、およびセンサアレイの同じ部分に対する１００個のＳ１ ７０８シャッタパルスを光放出パルス７０６および７１２に対してそれぞれ印加することができる。パルス方式７００はまた、光パルスがセンサアレイの別の部分に対して放出されていない状態で、シャッタを開くパルス（Ｓ０ ７０４、Ｓ１ ７１０）を含む。

パルス方式７２０はカメラ２に当てはまる。カメラ２は、画像センサアレイの一部に対する４０００個のＳ０’ ７２２シャッタパルス、およびセンサアレイの同じ部分に対する４０００個のＳ１’ ７２８シャッタパルスを、４０００個の光放出パルス７２６および７３２に対してそれぞれ印加することができる。パルス方式７２０はまた、光パルスがセンサアレイの別の部分に対して放出されていない状態で、シャッタを開くパルス（Ｓ０’ ７２４、Ｓ１’ ７３０）を含む。

図８は、本開示の実施形態によるパルス方式を実行するタイミング系列８００の概略図である。タイミング系列８００は、図７に示すパルス方式（例えば、Ｓ０シャッタ系列のパルス系列８０４に対応するパルス方式７０２、およびＬＤ照射系列のパルス系列８０６に対応するパルス方式７０６）の詳細全体図を表している。

図８の例では、ランダムパターン８０２を生成してＳ０に関するシャッタパルスおよびレーザ作動を示している。パターンがゼロまたはロー値を示す場合、光源８１０は光を放出しない。しかしながら、画像センサアレイの（例えば）奇数行は、背景光および干渉光を収集する（すなわち、奇数行：シャッタ８０８を開く、偶数行：シャッタ８０４を閉じる）。奇数行シャッタ８０８は、既定の時間長にわたって開いたままになり、次に閉じる。パターンが１またはハイ値を示す場合、光源８０６が光を放出し、画像センサグリッドの偶数行が背景光および干渉光を収集する（すなわち、偶数行：シャッタ８０４を開く、奇数行：シャッタ８０８を閉じる）だけでなく、光源８１０から放出される光を収集する。パルスを既定回数（例えば、４０００）繰り返した後、Ｓ０画素値は、図９Ａに示す方程式で与えられる値に等しくなる。図９Ｂは、図９Ａの方程式に含まれる量の凡例を示している。この方程式は、Ｓ０系列を使用して取得される画素値が、カメラ自体の光源から放出される光に対応する所望の値に加えて、背景光＋干渉光に対応する誤差項を含んでいるのに対し、Ｓ０系列を使用して取得される画素値は、誤差項のみを含んでいることを示している。したがって、誤差項を特定して、Ｓ０パルス系列を使用して取得される画素値から除去することができる。

収集されるＳ０値およびＳ０値に対して使用される画素または画素の行は、上に説明した画素とは異なり得ることを理解されたい。例えば、Ｓ０画素値は、奇数行から取得することができ、Ｓ０画素値は、偶数行から取得することができる。

図１０は、本開示の実施形態によるパルス方式を実行するタイミング系列１０００の概略図である。図１０の例では、ランダムパターン１００２を生成して、Ｓ１に関するシャッタパルスおよびレーザ作動を示している。ランダムパターン１００２は、ランダムパターン８０２とは異ならせることができる。パターンがゼロまたはロー値を示している場合、光源１０１０は光を放出しない。しかしながら、画像センサアレイの奇数行は背景光および干渉光を収集する（すなわち、奇数行：シャッタ１１０８を開く、偶数行：シャッタ１００４を閉じる）。奇数行シャッタ１００８は、既定の時間長にわたって開いたままになり、次に閉じる。パターンが１またはハイ値を示している場合、光源１００６は光を放出し、画像センサグリッドの偶数行が背景光および干渉光を収集する（すなわち、偶数行：シャッタ１００４を開く、奇数行：シャッタ１００８を閉じる）。実施形態では、シャッタパルスは、光パルスに対して既定量だけ遅延させることができる。パルスを既定回数（例えば、４０００）繰り返した後、Ｓ１画素値は、図９Ａに示す方程式と同様の方程式で与えられる値に等しくなる。この方程式は、Ｓ１系列を使用して取得される画素値が、カメラ自体の光源から放出される光に対応する所望の値に加えて、背景光＋干渉光に対応する誤差項を含んでいるのに対し、Ｓ１系列を使用して取得される画素値は、誤差項のみを含んでいることを示している。

図１１は、本開示の実施形態によるＳ０＾最終画素をＳ０値およびＳ０値を使用して判定する概略図である。また、Ｓ０＾およびＳ１＾の両方の値を使用する奥行きを与える数式が提供される。

図１２は、本開示の実施形態による最終画素値を干渉処理により推定するプロセスフロー図１２００である。撮像システムのタイミングジェネレータ（例えば、線形フィードバックレジスタＬＦＳＲを含む）は、光源を作動させて撮像センサの画素部分集合に対するシャッタを開くランダムタイミング系列を生成することができる。本明細書において提供される例では、ハイのタイミング信号を受信すると（１２０２）、光源が既定期間にわたって作動し、光をシーンに向けて放出し、光が反射されて撮像システムに戻る（１２０４）。既定の時間長が経過した後、光源を非作動とする。作動から非作動となるまでの期間は、約数十ナノ秒とすることができる。ハイ信号はまた、シャッタを開くことを、画像センサの第１の画素部分集合に対して作動させ、このシャッタを開くことは、レーザの作動に一致させることができるか、またはシャッタを開くことは、レーザの作動から時間遅延させることができる（１２０６）。シャッタが開いている間、画像センサの第１の画素部分集合は、カメラ自体の光源から発してシーンにより反射される光だけでなく、背景光および他の作動光源に由来してシーンにより反射される光を収集することができる（１２０８）。既定期間後、シャッタを閉じる（１２１０）。ステップ１２０４〜１２１０は、５００〜４０００回以上の多くの回数起こり得るハイ信号の受信のたびに繰り返すことができる。例えば、画素部分集合は、全偶数行画素のような画像センサの複数行の全画素とすることができる。

本明細書において提供される例では、ロータイミング信号を受信すると（１２１２）、シャッタを撮像センサの第２の画素部分集合に対して既定の時間長だけ開き、次に閉じる（１２１４）。例えば、第２の画素部分集合は、画像センサの奇数行の全画素を含むことができる。ロー信号は、撮像システムからの光の放出を作動させない。したがって、第２の画素部分集合により収集される光の全ては、背景光および他の撮像システムの他の光源から受容する光を含む（１２１６）。既定の時間長が経過した後、シャッタを閉じる（１２１８）。

ステップ１２０４〜１２１８は、既定の繰り返し回数にわたって行うことができる（１２２０）。例えば、４０００個のハイ信号およびロー信号の後に、撮像システムは、各画素に捕獲される電荷の処理を開始することができる。

撮像システムは、第１の画素部分集合の各画素に関する画素値（第１の画素値と称される）を判定することができる（１２２２）。例えば、Ｓ０_ｋ［ｉ，ｊ］に関する値は、図９Ａに示す方程式のような方程式に基づいて判定することができる。撮像システムは、第２の画素部分集合の各画素に関する画素値（第２の画素値と称される）を判定することができる（１２２４）。例えば、Ｓ０_ｋ［ｉ，ｊ］に関する値は、図９Ａに示す方程式のような方程式に基づいて判定することができる。撮像センサは、最終画素値Ｓ０＾をＳ０_ｋ［ｉ，ｊ］およびＳ０_ｋ［ｉ，ｊ］に基づいて判定することができる。一例として、Ｓ０＾は、第１の行の隣接する２つの画素に関する第１の画素値、および第１の行に隣接する第２の行の第２の画素値に基づいて判定することができ、第２の画素は、隣接する両方の画素に対する第１の画素に隣接している（１２２６）。例えば、Ｓ０＾_ｋ［ｉ，ｊ］は、図９Ａに示すように、Ｓ０_ｋ［ｉ，ｊ］およびＳ０_ｋ［ｉ，ｊ］に基づいて判定することができる。ステップ１２２２〜１２２６の画素値計算は、所望の解像度を有する画像を構成する全画素について繰り返すことができる（１２２８）。

図１２のプロセスを、固有のタイミング信号を使用して繰り返してＳ１＾を取得することができる。図１３は、画素の奥行きを、２つの最終画素値Ｓ０＾およびＳ１＾に基づいて推定するプロセスフロー図１３００である。撮像システムは、第１の画素集合の各第１の画素に関する最終画素値Ｓ０＾を、第１のランダムタイミング系列に基づいて（Ｓ０＾をＳ０およびＳ０に基づいて）判定することができる（１３０２）。第１の画素集合は、センサの対応する各物理的画素に関するＳ０およびＳ０を含む。撮像システムは、第２の画素集合の各第２の画素に関する最終画素値Ｓ１＾を、第１のタイミング系列とは異なる第２のランダムタイミング系列に基づいて（Ｓ１＾をＳ１およびＳ１に基づいて）判定することができる（１３０４）。第２の画素集合は、同じセンサの対応する各物理的画素に関するＳ１およびＳ１を含む。撮像システムは、図１１に示すように、各画素について推定される奥行きをＳ０＾およびＳ１＾に基づいて計算することができる（１３０６）。
ＩＩＩ．「干渉回避」アルゴリズムおよび「干渉除去」アルゴリズムの組み合わせ

本開示は、複数のＴｏＦカメラが同時に動作することによる干渉に対する２つの解決策について説明する。「時間インターリーブによる干渉処理」および「補間シャッタ系列による干渉処理」

時間インターリーブによる干渉処理では、カメラに関するポリシーを、各カメラのタイムスロットを選択して、カメラの測定期間が、他のカメラの照明パターンと重畳しないようにして、飛行時間の推定が不正確になるのを回避することを目的として実行することができる。カメラは、他のカメラによる周囲照明に関する環境を能動的に検知し（例えば、フォトダイオードを使用して）、このような照明が行われるこれらのタイムスロットを「回避」しているので、略して「回避アルゴリズム」とも称される。図１４は、この考え方を示している。各カメラの照明期間が単一パルス束としてこの図に示されているが、同じ考え方は、カメラが使用する複数の束がある場合にも当てはまることに留意されたい（上記の図６Ａ〜図６Ｄを参照）。説明を簡単にするため、本開示は、単一パルス束が続いて現れる場合について考察を続けることとする。

本明細書において説明される補間シャッタ系列による干渉処理技術では、カメラは、当該カメラの第１の画素部分集合を使用して、当該カメラ自体および干渉側のカメラに由来する照明を測定しつつ、その第２の画素部分集合を使用して、干渉体にのみ由来する照明を測定した。各カメラが照明を、当該カメラの第１の画素部分集合の注意深く選択されるランダム系列に従って測定し、照明を当該カメラの第２の画素部分集合の当該ランダム系列の論理補間に従って測定した場合、後者の測定値は、第１の画素部分集合の測定値の精度を落とした干渉を表すことができ、後者の測定値を減算して適正な測定値の表示を取得することができる。結果は、第２の部分集合の画素（複数可）で採取される減算した測定値が第１の部分集合の画素（複数可）で採取される減算した測定値に極めて近い場合に改善されることになる。本開示は、第１の部分集合が偶数行の画素からなっていたのに対し、第２の部分集合は奇数行の画素からなっていた例について記述している。図１５は、干渉除去技術を要約している。カメラは干渉を能動的に測定し、干渉を減算または「除去」しようとしているので、この技術は、略して「除去アルゴリズム」と称され得る。

実施形態では、Ｍ台のカメラを回避アルゴリズムに使用することができるが、その理由は、より多くの台数のカメラからの照射束が常に１フレーム範囲に収まる訳ではないからである。また、Ｎ台のカメラは、干渉除去アルゴリズムが行われている状態で同じタイムスロットで同時に動作することができる。したがって、より大きなカメラ集合（Ｍ×Ｎのような）が一体となって所望の干渉処理レベルで作動するのを実現するために、本開示は、これらの２つの手法を組み合わせて、取り扱うことができるカメラの台数が、個々のアルゴリズムが処理することができる台数の複数倍となることについて記述している。例えば、１フレームの６個のタイムスロットが重畳することがない場合、各スロットを使用して、除去アルゴリズムを利用する１０台のカメラを収容することができ、これは、この多くのカメラには十分であることが示されている。これにより、６０台以上のカメラを、干渉除去が可能になるように同時に動作させることができる可能性が生じる。図１６は、２つの干渉処理アルゴリズムを組み合わせた相乗効果を示している。各セルの高さは、当該カメラのレーザパワーを必ずしも表している訳ではなく、単に各カメラの例示的なタイムスロット割り当てを表現しているに過ぎないことに留意されたい。（図１８Ａは、異なるタイムスロットに割り当てられる異なる電力レベルを持つカメラを示している。）

提案する時間割り当てを実現する例示的なアルゴリズムの要約：

シーンに参加する新たなカメラのレーザを始動する前に、フォトダイオード（ＰＤ）または同様の感光素子による周囲光測定値を数フレーム期間にわたって記録する。

これらの測定値の閾値：閾値「Ｔｈ」を下回る値を０に設定する必要があり、閾値「Ｔｈ」を上回る値を同じ状態に保持する必要がある。

閾値ＰＤ波形の微分（１次差分近似）を行い、ある閾値を適用して、現在のカメラが動作しているタイムスロットのエッジを検出する（図１６のこれらのタイムスロットを参照）。

自己動作パターンのインジケータ関数との閾値処理用フォトダイオード（ＰＤ）波形の相互相関を行う。（インジケータ関数は、カメラが「光を放出しようとする、またはＳ０、Ｓ１、またはＢＧのような測定を行おうとする」場合は必ず１の値を有し、他の場合は常に０の値を有する）。各時間インスタンスにおける相互相関値は、特定のカメラが、当該タイムスロットで落ち着くと判定した場合に受ける干渉の量を表している。図１７は、本開示の実施形態によるタイムスロット間の例示的な相互相関を示している。

検出対象のタイムスロットのエッジだけで計算される最小の相互相関値を選択する。

カメラを指定してタイムスロットで動作させ、タイムスロットのエッジから最小の相互相関値が得られた（最初のＰＤ測定に使用される最初の数フレームの終了時から始まる）。同じ最小値が取得されたタイムスロットが複数ある場合、効率的に配置される最初の１つ以上のカメラを使用する。（これは、前述のカメラの全てが同じポリシーに従っていた場合には絶対に起こり得ない）。

前のステップで説明したように、ＰＤ測定値、ＰＤ波形および当該ＰＤ波形の１次微分値の両方の閾値（場合によっては、異なる閾値）を記録し続け、相互相関を実行して干渉状況をタイムスロットエッジで監視する。許容不可能な干渉レベルを表す既定の状態（既定数の画素が、特定のカメラでＳ０、Ｓ１、またはＢＧが飽和しているような）が発生する場合、カメラは、相互相関が（第１の）最小値を有する別のタイムスロットを選択する。（飽和が持続する場合、アルゴリズムが、当該アルゴリズムの干渉処理能力に達している可能性がある）。

これらの動作の少なくとも幾つかは、リアルタイムに、かつ使用メモリ量が最小になるように、例えば最小の相互相関値の値、および当該値が記録されたタイムスロットのみを維持し、当該値を時間の経過とともに更新することにより行われる。このアルゴリズムは、現在の干渉回避アルゴリズムに非常に類似していることに留意されたい。２つの重大な違いがある：

まず、ＰＤ出力の閾値処理が、異なるように行われる。この場合、複合アルゴリズムでは、ＰＤ出力の値は、当該値が閾値を上回る場合には１に設定されない。その代わり、当該値は、不変のままにして、干渉量の厳密な値を当該タイムスロットで維持する。

次に、相互相関をゼロにするタイムスロットを探索するのではなく、閾値処理後のＰＤ出力と自己動作パターンのインジケータ関数との間の最小の相互相関値を判定する。この変更の理由としては、カメラの台数が利用可能なタイムスロットの数よりも多い場合に、カメラがタイムスロットから選択するタイムスロットが空いておらず（これにより、相互相関が０になる）、その代わり、シーンに参加する新たなカメラが、当該新たなカメラ自体を、タイムスロットエッジのうち１つのタイムスロットエッジに対応する最小干渉タイムスロットに合わせようとするからである。

図１８Ａ〜図１８Ｃは、新たなカメラが当該シーンに参加するときの新たなカメラの視点から見える例示的な照明状況を示している。図１８Ａでは、各タイムスロットはカメラ（カメラ１〜６）が占有している。図１８Ｂでは、新たなカメラであるカメラ７は、この場合はタイムスロット４となる最小干渉タイムスロットを選択するように動作する。一旦、新たなカメラであるカメラ７が、当該カメラ自体を当該状況に挿入すると、当該カメラと同じタイムスロットを共有する別のカメラが干渉を、特定のスロットが、除去アルゴリズムで処理できないレベルに達していたので検出することができ、当該別のカメラ自体を新たなタイムスロットに配置し直すように選択を行うことができる。これが、各カメラが落ち着いた後も状況を監視し続ける理由である。当該カメラのタイムスロット位置が絶えず変化する不安定な挙動を回避するために、カメラが当該タイムスロットで落ち着いた後に当該カメラのタイムスロットを変更することができる前に、および／または当該カメラが、当該カメラのタイムスロットにおける干渉レベルが許容できないレベルまで新たなカメラを導入したことにより増加したことを検出した後に、最小待機時間（フレーム単位または秒単位の）を課すことができる。図１８Ｃでは、新たなカメラ８は、タイムスロット２を利用可能なタイムスロットとして特定し、タイムスロット２にカメラ８が割り当てられる。

アルゴリズム１の代わりに採用できる他のアルゴリズムがある。例えば、干渉が最も小さいスロットを選択するのに代えて、新たなカメラは、各スロットにおける干渉レベルに関係なく、タイムスロットを昇順で埋める（スロット１−＞スロット２−＞スロット３−＞．．．スロット６−＞スロット１−＞スロット２．．．）。これにより、カメラをどこに挿入するかを判定する計算を減らすことができ、干渉除去アルゴリズム自体の能力に一層強く依存するようになるが、その理由は、干渉のレベルが、アルゴリズム１が行われようとするときに、利用可能なタイムスロットに均等に分散されないからである。別のアルゴリズムは、新たなカメラが同じタイムスロットにさらに参入する場合に飽和状態になって、当該タイムスロットの容量を効果的に満たし、次のタイムスロットに移動するまでタイムスロットを埋めることになる。この方式では、例えば最初の１０台のカメラがスロット１を満たし、次に１１番目のカメラが、当該カメラが同じタイムスロットにさらに参入する場合に飽和することを確認するので、当該カメラはタイムスロット２に移動し、１２番目のカメラがタイムスロット２にさらに参入するなどである。

図１９は、本開示の実施形態による干渉回避のプロセスフロー図１９００である。この方法は、カメラを含む装置のような撮像システムにより実行することができる。当該プロセスは、ある期間中に受容する光を、撮像システムの光センサで検知することを含むことができる（１９０２）。撮像システムは、受容する光を光センサで処理する（例えば、少なくとも部分的にハードウェアとして実現される制御論理により）ことができる（１９０４）。受容した光を処理することは、期間内に受容する光を表す時系列波形を生成することを含むことができる。

幾つかの実施形態では、撮像システムは時系列波形を処理することができる。撮像システムは、時間インスタンスを、干渉源から放出される光の受容に対応する処理された時系列波形から特定することができ、タイムスロット集合を当該時間インスタンスに基づいて判定することができる。実施形態では、時系列波形を処理することは、時系列波形の立ち上がりエッジまたは立ち下がりエッジを表すマグニチュードおよび時間インスタンスを取得することを含む。

撮像システムは、撮像システムが当該期間内で利用可能な測定期間を処理光に基づいて特定することができる（１９０６）。撮像システムは、利用可能な測定期間を、時系列波形を時間窓と相関させて相関波形を生成することにより特定することができる。撮像システムは、相関波形が最も低い干渉レベルを示す期間を特定することができる。実施形態では、撮像システムは、相関波形が、閾値干渉レベルを下回る干渉レベルを示す期間を特定することができる。幾つかの実施形態では、撮像システムは、相関波形が、閾値干渉レベルを下回る干渉レベルを示す第１の期間を特定することを含むことができ、第１の期間は、相関波形が閾値レベルを上回る干渉レベルを示す期間の直後に生じる。

実施形態では、撮像システムは、撮像システムが利用可能な測定期間を、利用可能なタイムスロットを撮像システムが光パルスを送信するために使用する期間内のタイムスロット集合の中から特定することにより特定することができる。撮像システムは、利用可能なタイムスロットをタイムスロット集合の中から、占有タイムスロットを特定し、占有タイムスロットに続く占有されていないタイムスロットを特定することにより特定することができる。

実施形態では、撮像システムはタイムスロット集合を、時間インスタンスを、占有タイムスロットの開始時点に対応する時系列波形の立ち上がりエッジを表す、取得したマグニチュードおよび時間インスタンスから特定することにより判定することができる。撮像システムは、タイムスロット集合を、時間インスタンスが占有タイムスロットの開始時点に対応しているという判定に基づいて判定することができる。撮像システムは、時間インスタンスを、取得したマグニチュードおよび時間インスタンスから、時系列波形が、第１の閾値レベルを下回って受信される干渉を示す時系列波形の既知のガード期間以上のガード時間区間を特定することにより、第１の閾値レベルよりも大きく、かつ特定されたガード時間区間に時間的に隣接する時系列波形の立ち上がりエッジを表すマグニチュードに対応する時間インスタンスを特定することにより特定することができる。

撮像システムはまた、立ち上がりエッジまたは立ち下がりエッジを表すマグニチュードが第２の閾値よりも大きい値を有し、既知のタイムスロット長に実質的に等しく、かつ特定したガード時間区間に時間的に隣接する区間内の時系列波形に存在すると判定することができる。

実施形態では、時系列波形を処理することは、時系列波形の立ち上がりエッジまたは立ち下がりエッジを表すマグニチュードおよび時間インスタンスを取得することを含む。撮像システムは、利用可能なタイムスロットを、特定したタイムスロット内の各時間インスタンスに関する閾値を下回るマグニチュード値を示すタイムスロットを特定することにより特定することができる。

実施形態では、撮像システムは、利用可能なタイムスロットを、各タイムスロット内の時系列波形の値を累積し、タイムスロットの中で最も低い累積値を示すタイムスロットを特定することにより特定することができる。

実施形態では、撮像システムは、タイムスロットに隣接するガード期間を特定することができ、第３の閾値を上回る、ガード期間内の信号干渉の存在を判定することができ、かつフレーム内の別の利用可能なタイムスロットを判定することができる。

撮像システムは、光を、１つ以上の後続の期間内の対応する測定期間中に伝送および受容することができる（１９０８）。

図２０は、本開示の実施形態による干渉除去を実行するプロセスフロー図２０００である。プロセッサまたは他の制御論理を含むカメラシステムのような撮像システムは、系列を生成することができるか、または系列でプログラムされ得る（２００２）。系列は、複数のハイ値および複数のロー値を含むことができ、系列長を有することができる。幾つかの実施形態では、系列を生成することは、系列長よりも短いテンプレート系列長を選択することと、選択したテンプレート系列長に等しい長さを有するテンプレート系列を生成することと、当該系列長を有する系列を、テンプレート系列を繰り返すことにより生成することと、を含むことができる。

幾つかの実施形態では、テンプレート系列を生成することは、テンプレート系列長の半分の長さを有するサブ系列を生成することと、サブ系列の補間サブ系列であって、テンプレート系列長の半分の補間サブ系列を生成することと、テンプレート系列を、サブ系列と補間サブ系列を連結することにより生成することと、を含むことができる。サブ系列は、同じ値の系列を含む。

幾つかの実施形態では、系列を生成することは、擬似ランダム系列を生成することを含むことができる。擬似ランダム系列は、ゴールド系列または他の系列の少なくとも一部を含むことができる。

撮像システムは、第１の画素値集合を生成することができ、第１の画素値集合は、光センサがシーンから受容する光を表し、当該光は、カメラから発する光、背景光、および他のカメラ光源から発する光を含む（２００４）。例えば、第１の画素値集合を生成することは、系列のハイ値に基づいて、光源およびシャッタを作動させることを含むことができる。

幾つかの実施形態では、第１の画素値集合を生成することは、画像センサを使用して、カメラシステムから発する光、背景光、および他のカメラから発する光を含む、シーンにより反射される光を表す第１の画素値部分集合を測定することを含むことができる。撮像システムは、第２の画素値部分集合を、第１の画素値部分集合を補間することにより生成することができ、第１の画素集合を、第１の画素値部分集合および第２の画素値部分集合に基づいて生成することができる。

撮像システムは、第２の画素値集合を生成することができ、第２の画素値集合は、背景光および他のカメラ光源から発する光を含む、シーンにより反射される光を表す（２００６）。例えば、第２の画素値集合を生成することは、系列のロー値に基づいて、シャッタを作動させることを含むことができる。

撮像システムは、第１の画素値集合および第２の画素値集合の関数に基づいて、シーンにより反射される光を表す第３の画素値集合を判定することができる（２００８）。

実施形態では、第２の画素値集合を生成することは、背景光、および他のカメラ光源から発する光を含む、シーンにより反射される光を表す第３の画素値部分集合を、画像センサを使用して測定することと、第４の画素値部分集合を、第３の画素値部分集合を補間することにより生成することと、第２の画素集合を、第３の画素値部分集合および第４の画素値部分集合に基づいて生成することと、を含むことができる。

実施形態では、第３の画素値集合を生成することは、第２の画素値集合を第１の画素値集合から減算することを含むことができる。

幾つかの実施形態では、第１の部分集合は、光センサの偶数行の画素を表す画素値を構成し、第４の部分集合は、画素値を、光センサの偶数行の画素値を補間することにより構成し、第３の部分集合は、光センサの奇数行の画素を表す画素値を構成し、第２の部分集合は、画素値を、光センサの奇数行の画素値を補間することにより構成する。

１００ 撮像システム
１０２ 画像センサ
１０４ 絞り
１０６ レンズ
１１０ アナログフロントエンド（ＡＦＥ）
１１２ タイミングジェネレータ
１１４ 奥行きプロセッサ
１１６ 光源
１１８ 光パルス
１２０ 光
３００ マルチカメラシステム
３０８ 物体
３１２ 光
３２２ 光
５６０ フォトダイオード
５６２ オペアンプ
５６４ ビットアナログ−デジタル変換器
５６８ 周囲光

Claims (63)

1. 撮像システムにより実行される方法であって、
   ある期間中に受容する光を、前記撮像システムの光センサによって検知することと、
   前記光センサによって受容された前記光を処理することと、
   前記処理された光に基づいて、前記期間内で前記撮像システムに関する利用可能な測定期間を特定することと、
   １つ以上の後続期間の対応する測定期間中に、光を伝送および受容することと、を含む、方法。
2. 前記受容した光を処理することは、前記期間内に受容する前記光を表す時系列波形を生成することを含む、請求項１に記載の方法。
3. 利用可能な測定期間を特定することは、
   前記時系列波形を時間窓と相関させて、相関波形を生成することを含む、請求項２に記載の方法。
4. 利用可能な測定期間を特定することは、
   前記相関波形が最も低い干渉レベルを示す期間を特定することを含む、請求項３に記載の方法。
5. 利用可能な測定期間を特定することは、
   前記相関波形が、閾値干渉レベルを下回る干渉レベルを示す期間を特定することを含む、請求項３に記載の方法。
6. 利用可能な測定期間を特定することは、
   前記相関波形が、閾値干渉レベルを下回る干渉レベルを示す第１の期間を特定することを含み、前記第１の期間は、前記相関波形が前記閾値レベルを上回る干渉レベルを示す期間の直後に生じる、請求項３に記載の方法。
7. 前記撮像システムに関する利用可能な測定期間を特定することは、前記撮像システムが光パルスを送信するために使用する前記期間内のタイムスロット集合の中から、利用可能なタイムスロットを特定することを含む、請求項１に記載の方法。
8. 前記タイムスロット集合の中から利用可能なタイムスロットを特定することは、占有タイムスロットを特定することと、前記占有タイムスロットに続く未占有のタイムスロットを特定することと、を含む、請求項７に記載の方法。
9. 前記時系列波形を処理することと、
   干渉源から放出される光の前記受容に対応する前記処理された時系列波形から、時間インスタンスを特定することと、
   前記時間インスタンスに基づいて、タイムスロット集合を判定することと、をさらに含む、請求項８に記載の方法。
10. 前記時系列波形を処理することが、前記時系列波形の立ち上がりエッジまたは立ち下がりエッジを表すマグニチュードおよび時間インスタンスを取得することを含む、請求項９に記載の方法。
11. 前記タイムスロット集合を判定することは、
    占有タイムスロットの開始時点に対応する前記時系列波形の立ち上がりエッジを表す前記取得したマグニチュードおよび時間インスタンスから、時間インスタンスを特定することと、
    前記時間インスタンスが前記占有タイムスロットの前記開始時点に対応しているという判定に基づいて、前記タイムスロット集合を、判定することと、を含む、請求項１０に記載の方法。
12. 前記取得したマグニチュードおよび時間インスタンスから時間インスタンスを特定することは、
    前記時系列波形が、受信干渉が第１の閾値レベルを下回っていることを示す前記時系列波形の既知のガード期間以上のガード時間区間を特定することと、
    前記第１の閾値レベルよりも大きく、かつ前記特定したガード時間区間に時間的に隣接する前記時系列波形の立ち上がりエッジを表すマグニチュードに対応する時間インスタンスを特定することと、を含む、請求項１１に記載の方法。
13. 立ち上がりエッジまたは立ち下りエッジを表すマグニチュードが、第２の閾値よりも大きい値を有し、既知のタイムスロット長に実質的に等しく、かつ前記特定したガード時間区間に時間的に隣接する区間内の前記時系列波形に含まれていると判定することをさらに含む、請求項１２に記載の方法。
14. 前記時系列波形を処理することは、前記時系列波形の立ち上がりエッジまたは立ち下がりエッジを表すマグニチュードおよび時間インスタンスを取得することを含む、請求項２に記載の方法。
15. 利用可能なタイムスロットを特定することは、前記特定したタイムスロット内の各時間インスタンスに関する閾値を下回るマグニチュード値を示すタイムスロットを特定することを含む、請求項１４に記載の方法。
16. 利用可能なタイムスロットを特定することは、
    各タイムスロット内の前記時系列波形の値を累積することと、
    前記タイムスロット中で最も低い累積値を示すタイムスロットを特定することを含む、請求項１４に記載の方法。
17. タイムスロットに隣接するガード期間を特定することと、
    第３の閾値を上回る、前記ガード期間内の信号干渉の存在を判定することと、
    前記フレーム内の別の利用可能なタイムスロットを判定することと、をさらに含む、請求項１または他の請求項に記載の方法。
18. カメラ装置であって、
    光源と、
    光検出回路であって、ある期間中に受容する光を前記光検出回路で検知する、前記光検出回路と、
    制御論理と、を備え、前記制御論理は、
    受容する前記光を前記光センサで処理し、
    撮像システムが前記期間内で利用可能な測定期間を、前記処理光に基づいて特定し、
    前記光源を制御して光を伝送し、前記光検出回路を制御して光を、１つ以上の後続期間の対応する測定期間中に検知する、カメラ装置。
19. 前記制御論理は、前記期間内に受容する前記光を表す時系列波形を生成するように構成される、請求項２０に記載のカメラ装置。
20. 前記制御論理は、利用可能な測定期間を、前記時系列波形を時間窓と相関させて相関波形を生成することによって特定するように構成される、請求項１９に記載のカメラ装置。
21. 前記制御論理は、利用可能な測定期間を、前記相関波形が、閾値干渉レベルを下回る干渉レベルを示す期間を特定することによって特定するように構成される、請求項２０に記載のカメラ装置。
22. 前記制御論理は、利用可能な測定期間を、前記相関波形が、閾値干渉レベルを下回る干渉レベルを示す第１の期間を特定することによって特定するように構成され、前記第１の期間は、前記相関波形が、前記閾値レベルを上回る干渉レベルを示す期間の直後に生じる、請求項２０に記載のカメラ装置。
23. 前記制御論理は、利用可能な測定期間を、利用可能なタイムスロットを、前記撮像システムが光パルスを送信するために使用する前記期間内のタイムスロット集合の中から特定することによって特定するように構成される、請求項１８に記載のカメラ装置。
24. 利用可能なタイムスロットを前記タイムスロット集合の中から特定することは、占有タイムスロットを特定することと、前記占有タイムスロットに続く未占有のタイムスロットを特定することと、を含む、請求項２３に記載のカメラ装置。
25. 前記制御論理は、
    前記時系列波形を処理し、
    時間インスタンスを、干渉源から放出される光の受容に対応する前記処理された時系列波形から特定し、
    タイムスロット集合を前記時間インスタンスに基づいて判定するようにさらに構成される、請求項２４に記載のカメラ装置。
26. 前記制御論理は、前記時系列波形を、前記時系列波形の立ち上がりエッジまたは立ち下がりエッジを表すマグニチュードおよび時間インスタンスを取得することによって処理するように構成される、請求項２５に記載のカメラ装置。
27. 前記制御論理は、前記タイムスロット集合を、
    時間インスタンスを、占有タイムスロットの開始時点に対応する前記時系列波形の立ち上がりエッジを表す前記取得したマグニチュードおよび時間インスタンスから特定し、
    前記タイムスロット集合を、前記時間インスタンスが前記占有タイムスロットの開始時点に対応しているという判定に基づいて判定することによって判定するように構成される、請求項２６に記載のカメラ装置。
28. 前記制御論理は、時間インスタンスを、前記取得したマグニチュードおよび時間インスタンスから、
    前記時系列波形が第１の閾値レベルを下回る受信干渉を示す、前記時系列波形の既知のガード期間以上のガード時間区間を特定し、
    前記第１の閾値レベルよりも大きく、かつ前記特定したガード時間区間に時間的に隣接する前記時系列波形の立ち上がりエッジを表すマグニチュードに対応する時間インスタンスを特定することによって特定するように構成される、請求項２７に記載のカメラ装置。
29. 前記制御論理は、立ち上がりエッジまたは立ち下がりエッジを表すマグニチュードが、第２の閾値よりも大きい値を有し、既知のタイムスロット長に実質的に等しく、かつ前記特定したガード時間区間に時間的に隣接する区間内の前記時系列波形に含まれていると判定するように構成される、請求項２８に記載のカメラ装置。
30. 前記制御論理は、前記時系列波形を処理することが、前記時系列波形の立ち上がりエッジまたは立ち下がりエッジを表すマグニチュードおよび時間インスタンスを取得することを含むように構成される、請求項１９に記載のカメラ装置。
31. 前記制御論理は、前記特定したタイムスロット内の各時間インスタンスに関する閾値を下回るマグニチュード値を示すタイムスロットを特定することによって、利用可能なタイムスロットを特定するように構成される、請求項３０に記載のカメラ装置。
32. 前記制御論理は、
    各タイムスロット内の前記時系列波形の値を累積することと、
    前記タイムスロットの中で最も低い累積値を示すタイムスロットを特定することと、によって、利用可能なタイムスロットを特定するように構成される、請求項３０に記載のカメラ装置。
33. カメラを動作させる方法であって、
    第１の画素値集合を生成することであって、前記第１の画素値集合が、前記カメラから発する光、背景光、および他のカメラ光源から発する光を含む、光センサがシーンから受容する光を表す、生成することと、
    第２の画素値集合を生成することであって、前記第２の画素値集合が、背景光、および他のカメラ光源から発する光を含む、シーンから反射される光を表す、生成することと、
    前記第１の画素値集合および前記第２の画素値集合の関数に基づいて、シーンから反射される光を表す第３の画素値集合を判定することと、を含む、方法。
34. 系列を生成することをさらに含み、前記系列は、複数のハイ値および複数のロー値を含み、系列長を有し、
    前記第１の画素値集合を生成することは、前記系列のハイ値に基づいて、光源およびシャッタを作動させることを含み、前記第２の画素値集合を生成することは、前記系列のロー値に基づいて、シャッタを作動させることを含む、請求項３３に記載の方法。
35. 前記系列を生成することは、
    前記系列長よりも短いテンプレート系列長を選択することと、
    前記選択したテンプレート系列長に等しい長さを有するテンプレート系列を生成することと、
    前記系列長を有する前記系列を、前記テンプレート系列を繰り返すことによって生成することと、を含む、請求項３４に記載の方法。
36. 前記テンプレート系列を生成することは、
    前記テンプレート系列長の半分の長さを有するサブ系列を生成することと、
    前記テンプレート系列長の半分である、前記サブ系列に対する補間サブ系列を生成することと、
    前記サブ系列および前記補間サブ系列を連結することによって、前記テンプレート系列を生成することと、を含む、請求項３５に記載の方法。
37. 前記サブ系列は同じ値の系列を含む、請求項３６に記載の方法。
38. 前記系列を生成することは、疑似ランダム系列を生成することを含む、請求項３４に記載の方法。
39. 前記疑似ランダム系列は、ゴールド系列の少なくとも一部を含む、請求項３８に記載の方法。
40. 前記第１の画素値集合を生成することは、
    前記カメラシステムから発する光、背景光、および他のカメラ光源から発する光を含む、シーンから反射される光を表す第１の画素値部分集合を、前記画像センサを使用して測定することと、
    前記第１の画素値部分集合を補間することによって、第２の画素値部分集合を生成することと、
    前記第１の画素値部分集合および前記第２の画素値部分集合に基づいて、前記第１の画素集合を生成することと、を含む、請求項３３に記載の方法。
41. 前記第２の画素値集合を生成することは、
    背景光、および他のカメラ光源から発する光を含む、シーンから反射される光を表す第３の画素値部分集合を、前記画像センサを使用して測定することと、
    前記第３の画素値部分集合を補間することによって、第４の画素値部分集合を生成することと、
    前記第３の画素値部分集合および前記第４の画素値部分集合に基づいて、前記第２の画素集合を生成することと、を含む、請求項４０に記載の方法。
42. 前記第３の画素値集合を生成することは、前記第２の画素値集合を前記第１の画素値集合から減算することを含む、請求項４１に記載の方法。
43. 前記第１の部分集合は、前記光センサの偶数行の画素を表す画素値を含み、
    前記第４の部分集合は、前記光センサの前記偶数行の補間後の画素値に基づく画素値を含み、
    前記第３の部分集合は、前記光センサの奇数行の画素を表す画素値を含み、
    前記第２の部分集合は、前記光センサの前記奇数行の補間後の画素値に基づく画素値を含む、請求項４１に記載の方法。
44. 前記撮像システムの前記光センサによって、ある期間中に受容する光を検知することと、
    受容する前記光を前記光センサで処理することと、
    前記撮像システムが前記期間内で利用可能な測定期間を、前記処理光に基づいて特定することと、
    光を、１つ以上の後続期間の対応する測定期間中に伝送および受容することと、をさらに含む、請求項３３に記載の方法。
45. 受容する前記光を処理することは、前記期間内に受容する前記光を表す時系列波形を生成することを含む、請求項４４に記載の方法。
46. 利用可能な測定期間を特定することは、
    前記時系列波形を時間窓と相関させて相関波形を生成することを含む、請求項４５に記載の方法。
47. 利用可能な測定期間を特定することは、
    前記相関波形が最も低い干渉レベルを示す期間を特定することを含む、請求項４６に記載の方法。
48. 利用可能な測定期間を特定することは、
    前記相関波形が、閾値干渉レベルを下回る干渉レベルを示す期間を特定することを含む、請求項４６に記載の方法。
49. カメラ装置であって、
    光源と、
    光検出回路であって、ある期間中に受容する光を前記光検出回路で検知する、光検出回路と、
    制御論理と、を備え、前記制御論理は、
    第１の画素値集合を生成し、前記第１の画素値集合が、前記カメラから発する光、背景光、および他のカメラ光源から発する光を含む、光センサがシーンから受容する光を表し、
    第２の画素値集合を生成し、前記第２の画素値集合が、背景光、および他のカメラ光源から発する光を含む、シーンから反射される光を表し、
    前記第１の画素値集合および前記第２の画素値集合の関数に基づいて、シーンから反射される光を表す第３の画素値集合を判定する、カメラ装置。
50. 系列を生成することをさらに含み、前記系列は、複数のハイ値および複数のロー値を含み、系列長を有し、
    前記第１の画素値集合を生成することは、前記系列のハイ値に基づいて、光源およびシャッタを作動させることを含み、前記第２の画素値集合を生成することは、前記系列のロー値に基づいて、シャッタを作動させることを含む、請求項４９に記載のカメラ装置。
51. 利用可能なタイムスロットをタイムスロット集合の中から特定することは、
    前記期間内に受容する前記光を表す時系列波形を生成することと、
    各タイムスロット内の前記時系列波形の値を累積することと、
    前記タイムスロットの中で最も低い累積値を示すタイムスロットを特定することと、を含む、請求項５０に記載の方法。
52. カメラ装置であって、
    光源と、
    光検出回路であって、ある期間中に受容する光を前記光検出回路で検知する、前記光検出回路と、
    制御論理と、を備え、前記制御論理は、
    第１の画素値集合を生成し、前記第１の画素値集合が、前記カメラから発する光、背景光、および他のカメラ光源から発する光を含む、光センサがシーンから受容する光を表し、
    第２の画素値集合を生成し、前記第２の画素値集合が、背景光、および他のカメラ光源から発する光を含む、シーンから反射される光を表し、
    前記第１の画素値集合および前記第２の画素値集合の関数に基づいて、シーンから反射される光を表す第３の画素値集合を判定する、カメラ装置。
53. 前記制御論理は、系列を生成するように構成され、前記系列は、複数のハイ値および複数のロー値を含み、系列長を有し、
    前記第１の画素値集合を生成することは、前記系列のハイ値に基づいて、光源およびシャッタを作動させることを含み、前記第２の画素値集合を生成することは、前記系列のロー値に基づいて、シャッタを作動させることを含む、請求項５２に記載のカメラ装置。
54. 前記系列を生成することは、
    前記系列長よりも短いテンプレート系列長を選択することと、
    前記選択したテンプレート系列長に等しい長さを有するテンプレート系列を生成することと、
    前記系列長を有する前記系列を、前記テンプレート系列を繰り返すことによって生成することと、を含む、請求項５３に記載のカメラ装置。
55. 前記テンプレート系列を生成することは、
    前記テンプレート系列長の半分の長さを有するサブ系列を生成することと、
    前記テンプレート系列長の半分の長さを有する、前記サブ系列に対する補間サブ系列を生成することと、
    前記サブ系列および前記補間サブ系列を連結することによって、前記テンプレート系列を生成することと、を含む、請求項５４に記載のカメラ装置。
56. 前記サブ系列は、同じ値の系列を含む、請求項５５に記載のカメラ装置。
57. 前記系列を生成することは、疑似ランダム系列を生成することを含む、請求項５３に記載のカメラ装置。
58. 前記疑似ランダム系列は、ゴールド系列の少なくとも一部を含む、請求項５７に記載のカメラ装置。
59. 前記第１の画素値集合を生成することは、
    前記カメラシステムから発する光、背景光、および他のカメラ光源から発する光を含む、シーンから反射される光を表す第１の画素値部分集合を、前記画像センサを使用して測定することと、
    前記第１の画素値部分集合を補間することによって、第２の画素値部分集合を生成することと、
    前記第１の画素値部分集合および前記第２の画素値部分集合に基づいて、前記第１の画素集合を生成することと、を含む、請求項５２に記載のカメラ装置。
60. 前記第２の画素値集合を生成することは、
    背景光、および他のカメラ光源から発する光を含む、シーンから反射される光を表す第３の画素値部分集合を、前記画像センサを使用して測定することと、
    前記第３の画素値部分集合を補間することによって、第４の画素値部分集合を生成することと、
    前記第３の画素値部分集合および前記第４の画素値部分集合に基づいて、前記第２の画素集合を生成することと、を含む、請求項５９に記載のカメラ装置。
61. 前記第３の画素値集合を生成することは、前記第２の画素値集合を前記第１の画素値集合から減算することを含む、請求項６０に記載のカメラ装置。
62. 前記第１の部分集合は、前記光センサの偶数行の画素を表す画素値を含み、
    前記第４の部分集合は、前記光センサの前記偶数行の補間後の画素値に基づく画素値を含み、
    前記第３の部分集合は、前記光センサの奇数行の画素を表す画素値を含み、
    前記第２の部分集合は、前記光センサの前記奇数行の補間後の画素値に基づく画素値を含む、請求項６０に記載のカメラ装置。
63. 前記制御論理は、
    ある期間中に受容する光を、前記撮像システムの前記光センサで検知し、
    受容する前記光を前記光センサで処理し、
    前記撮像システムが前記期間内で利用可能な測定期間を、前記処理光に基づいて特定し、
    光を、１つ以上の後続期間の対応する測定期間中に伝送および受容するように構成される、請求項５２に記載のカメラ装置。