JP2016502657A - 少なくとも２つのＴｉｍｅ−ｏｆ−ｆｌｉｇｈｔカメラによる記録方法 - Google Patents

Abstract

本発明は、少なくとも２つのＴＯＦ（Time-of-flight）カメラ（１、２）を用いてシーン（３）を記録する方法に関し、上記２つのＴＯＦカメラはそれぞれ、光源（５）および画像センサ（６）)を含み、奥行き情報を決定するための測定動作を含む画像記録動作は、上記の少なくとも２つのＴＯＦカメラ（１、２）をそれぞれ用いて実行され、上記測定動作は、上記光源（５）からの変調光（１１）の放射、上記画像センサ（６）を用いる、シーン（３）における物体（４）による反射後の変調光（１２）の検出、および、上記放射と上記検出との間における上記変調光の伝搬時間からの奥行き情報の算出、を含む。画質を上げるため、第１ＴＯＦカメラ（１）は、自身の光源（５）からの放射光（１１）に加え、第２ＴＯＦカメラ（２）からの変調光が上記の測定動作において検出される程度を決定するために、自カメラによって実行される上記測定動作の測定結果を用いるとともに、第１ＴＯＦカメラ（１）は、上記決定の結果に基づいて自身の記録モードを変更する。

Description

発明の詳細な説明

本発明は、少なくとも２つのTime-of-flightカメラを使ってシーンを記録するための方法に関し、上記のカメラはそれぞれ、光源および画像センサを備え、奥行き情報を決定するための測定動作を含む画像記録動作は、少なくとも２つのTime-of-flightカメラの各々を用いて実行され、上記測定動作は、上記光源からの変調光の放射、上記画像センサを用いる、シーンにおける物体による反射後の変調光の検出、および、上記放射と上記検出との間における上記変調光の伝搬時間からの奥行き情報の算出を含む。

Time-of-flight（ＴｏＦ）カメラは、２Ｄ画像を記録するだけでなく、記録する画素それぞれに対する奥行き情報を測定するカメラに係る。奥行き情報は、ＴｏＦカメラとシーン（scene）における個々の物体との距離を示す情報であると理解される。ＴｏＦカメラはまた、アクティブカメラとして知られている。なぜなら、ＴｏＦカメラは、ＴｏＦカメラ自身に光源を備えているためである。上記光源からの放射光は、記録されるシーンにおける物体において反射され、その後、上記カメラの画像センサの検出領域に達する。奥行き情報は、伝搬時間または位相角の測定を経て反射光から決定される。

光源は、通常、ＬＥＤ（light-emitting devices）である。Time-of-flight（ＴｏＦ）カメラは変調光を放射する。光は、一般的には、メガヘルツ領域（例えば、２０ＭＨｚ）でＯＯＫ変調(On-Off Keying)され、自身のカメラセンサの視認範囲に放射される。反射光の成分（光子）はカメラセンサによって記録され、反射物体の距離の算出に使用される。これらの奥行きデータは、グレースケール画像に加えて、応用できる。主な応用では、赤外光が照明として使用されている。

ＴｏＦカメラは、幅広く使用されており、特に、産業、交通テレマティックスおよび自律ロボットに使用されている。ＴｏＦカメラは、例えば、１ｍまで近接した領域における充填レベルまたは距離測定装置として産業において使用することができる。ＴｏＦカメラは、交通テレマティックスにおいて３０ｍまでの領域における乗り物およびヒトの検出器、および計数器として使用することができる。自律ロボットにおいては、ＴｏＦカメラは障害物の認識、および、ナビゲーションに使用することができる。

外部光源の光は、奥行きの算出に影響を及ぼし得る。例えば、ＰＭＤ（photonic mixer device）チップの形状の画像センサは、背景光が、上記カメラから放射された変調光と同じ特性を有していない場合、各画素に対する背景光を抑制し得る。この機能は、一般的に、太陽光、または、室内の人工的な照明を抑制するために使用される。抑制を行うために、自身の光源がオンおよびオフに切替わるとき、ＰＭＤチップは、各画素に対する光を記録し、電子的に、２つの計測結果の引き算を行う。背景光の強度がどのような期間においても一定のままであり、ＰＭＤチップが電子的に飽和しない場合に限り、背景光の適当な抑制は可能である。メガヘルツ領域において変調された人工的な光源の場合、抑制は完全には機能せず、画素における算出された奥行き情報は誤っている。

自身のカメラセンサの視認範囲において他のカメラの人工的な光源が記録される場合に、特に、ＴｏＦカメラにおける誤った奥行きの算出が生じる。妨害する外部光は、直接的または反射を経て間接的に記録され得る。この場合、奥行きの算出の結果は、少なくとも、部分的に無効なものである。

適用される多くのフィールドに対していくつかのカメラが使用される必要がある。カメラに観測される領域は、例えば、室内の観測において、交通テレマティックスにおいて、あるいは、多くのロボットの制御において、別のものと重複していてもよい。個々のカメラのアクティブな光源は、それぞれ、奥行き情報の決定において他のカメラを妨害する。なぜなら、それらは自身の光を検出するだけではなく、外部光として知られる他のカメラの光も検出するからである。このような相互の妨害は、距離に関する測定結果をねじまげ、そして、奥行き情報を実際の状態と対応しないものにする。

この問題を解消する目的のために、付加的な装置の必要性がおおいに増えるが、並行な動作のための制御および機能に関して、個々のカメラをネットワークで他のカメラに繋ぐことができる。この場合、ＴｏＦカメラは、ネットワークにおいて動作する。データ交換に加えて、ネットワークはお互いのカメラの妨害を防ぐために、画像記録の同期に使用される。この目的のために、ネットワークにおいて、タイムスタンプおよび予約（reservation）トークンが交換される。予約トークンを所有しているカメラのみが、画像記録を行う資格を有している。上記トークンは、ネットワークサーバを周回する、または、ネットワークサーバを中心に管理される。これらの調整は、シーンの撮影中に２つのカメラの測定動作がお互いに影響を及ぼすことを防ぐ。この解決法では、別のカメラが測定している間または別のカメラの検出工程の間、カメラの変調光が放射されないという予防措置が取られる。

この原理に従ったＴｏＦカメラのネットワークにおいて、この取り組みが資材および開発業務にかかる付加的なコストを必要とするというような問題を生じさせる。さらに、予約トークンの転送期間の結果、ネットワークの待ち時間は、システムの画像の処理量に対して負の効果をもたらし得る。同様に、視認範囲の重複における妨害のみが予想され得るため、この機構は、カメラの視認範囲が考慮されない。

特に、個々のカメラが移動するようなアプリケーションでは、多少複雑な機構では、最小限の妨害の影響下にて画像の処理量の高いレベルを維持するために、重複する視認範囲の継続的な変化を考慮しなければならない。

ネットワークにおける画像記録の信頼性は、全てのカメラに予約トークンを送信する信頼性に依存する。

データおよび制御技術についてのこれらの問題に加えて、厄介な接続を必要とする装置に対する高費用、共通のシグナルシステムにおけるネットワークの構築および必要とされる複雑なソフトウエアが、多くの場合、ＴｏＦカメラの相互の妨害が、少しも考慮されない理由となる。このことは、決定された奥行き情報の質に負の効果を与える。

これらの不都合が排除されて無くなっている方法または複数のＴｏＦカメラの相互の負の影響が少なくとも軽減されている方法を提供することが本発明の目的である。これは、装置をほとんど必要とせずに達成される。共通のデータまたはネットワークの制御による、個々のカメラ相互におけるネットワークの構築は必要とされない。当該分野の技術に従った前述の解決とは対照的に、付加的な装置を必要とせずに、奥行き情報の決定における正確性を増すことができる。

第１のtime-of-flightカメラが、自身に備えられた光源から放射された光に加えて、第１のtime-of-flightカメラの測定動作において第２のtime-of-flightカメラからの変調光が検出される程度を決定するために、第１のTime-of-flightカメラによって実行される測定動作の測定結果を使用し、そして、第１のtime-of-flightカメラが、上記決定の結果に基づいて記録モードを変更するような前述の方法によって、この目的は達成される。

第２のカメラの変調光が検出された時、または、第２のカメラの変調光が閾値を超えた時に、記録モードは変更される。２つよりも多いカメラの場合に、上記測定において、他の全てのカメラの外部光が含まれていることは明白である。画像センサデータの評価に依存して記録モードを変更するために、画像センサおよび放射される光の変調を行うユニットは、カメラ制御ユニットに接続されている。

第１のカメラは、第１のカメラの視認範囲における第２のカメラの変調光の存在下で、記録モードを変更することができる。測定動作を妨害する外部光が存在する時に、カメラは能動的に反応する、記録モード（例えば、画像記録動作の中断）を変更することによって、誤った奥行き情報が決定されることを防ぐ。さらに、画像記録動作または測定動作における中断は、画像記録動作中に別のカメラが変調光によって妨害されないことを確実にする。これは、実質上、カメラによって記録される画像の画質、画像の順序、または、ビデオストリームを改善する。上記制御の処理速度を上げること、または、性能の高い装置を必要とせずに、カメラの自動的な動作によって、画像化および画像の評価の速度を上げることできる。

シーンを記録するカメラが、例えば、信号の伝達およびネットワークによる制御に関してお互いに接続されることを必要とすることは、必要ではない。本発明に従った方法は、２つ以上のＴｏＦカメラの自律的な同期を生じさせる。お互いのカメラの通信またはネットワーク化は、本発明においては提供されない。

本発明は、他のＴｏＦカメラの存在下での画像記録時に、奥行き算出における妨害を減らすための複数のカメラの間接的な調整のための方法または自動的方法、を考慮したものである。好ましい方法では、妨害の自動的な認識、自身の光源を起動させないこと、および、後のちょうどよいタイミングでビデオストリームの１つの画像毎の画像記録の再現が行われる。

この方法は、視認範囲におけるそれぞれの他のカメラの光を検出できる全てのＴｏＦカメラの間接的な同期を導き、画像記録中における上記ＴｏＦカメラの起動した光源のお互いの妨害の最小化を導く。これにより、画質が改善される。

第２のtime-of-flightカメラは、好ましくは、上記カメラによって実行された測定工程の測定結果から、自身に備えられた光源から放射された光に加えて、この測定動作中において、第１のtime-of-flightカメラの検出される変調光の程度を決定する。そして、第２のtime-of-flightカメラは、この決定の結果に依存して第２のtime-of-flightカメラの記録モードを変更する。結果として、第１のカメラだけではなく第２のカメラも、外部光の存在に応じて記録モードの調節が可能であり、そのため、より効果的な自律的な同期が生じ、特に、顕著な画像記録の速度の減少なしに、信頼性のある奥行き情報が決定される。

好ましくは、画像記録モードにおける変更は、予め決められた期間に、画像記録動作が停止されるまたは中断されるように起こる。このことは、他のカメラそれぞれが変調光を放射しない時点にて、再開させることを許容する。

好ましくは、画像記録モードにおける変更は、予め決められた期間に、奥行き情報を決定するための測定動作が、停止するまたは中断するように起こる。この変形例において、奥行き情報がない、ただの２次元画像が記録されてもよい。

好ましくは、画像記録モードにおける変更は、測定動作のために、放射される光の周波数変調が変更されるように起こる。異なる周波数は、他のカメラのセンサ変調信号が有する周波数よりも、他のカメラそれぞれに及ぼす影響が低い。

好ましくは、time-of-flightカメラは、検出された別のTime-of-flightカメラの変調光の強度が所定の閾値を超えている時、記録モードを変更する。結果として、外部光の強度が低いとき、奥行き情報のエラーがほとんどない状態で画像化を続けることができ、シーン内の実際の距離に関する決定された奥行き情報において、受け入れられないずれがある場合に限り、記録モードを変更する。

好ましくは、測定動作は、放射した光の変調および画像センサのセンサ変調信号間のそれぞれ異なる位相角の個々の測定から構成されている。このことは、変調された外部光のより感度の高い検出を可能とする。

本実施形態では、少なくとも２つのポテンシャル井戸が、画像センサにおいて各画素に割り当てられる。センサ変調信号は、上記ポテンシャル井戸間の切替えを制御する切替え信号である。

好ましくは、測定動作は、少なくとも４つの測定を含んでおり、４つの測定それぞれに対して放射された光の変調と画像センサのセンサ変調信号との間の位相角がφ₀＋０°、φ₀＋９０°、φ₀＋１８０°およびφ₀＋２７０°であり、φ₀が出力位相角である。このことは、画像化および外部光の測定を同時に行わせる。出力位相角またはオフセット位相角φ₀はランダムな値であり、好ましくは０である。

これら４つの画像Ｉ（０°）、Ｉ（９０°）、Ｉ（１８０°）およびＩ（２７０°）は、本方法において、（位相角：φ₀＋０°、φ₀＋９０°、φ₀＋１８０°およびφ₀＋２７０°を用いた４つの測定に従って）記録される。奥行き情報の算出に加えて、これらの位相画像から、別のカメラの変調光の有無および変調光の程度の情報が取得され得る。この情報は、好ましくは、位相画像Ｉ（０°）と移相画像Ｉ（１８０°）との違い、および、位相画像Ｉ（９０°）と位相画像Ｉ（２７０°）との違いから決定される。理想的には、例えば、外部光がない状態で、その程度に従いＩ（０°）はＩ（１８０°）に等しく、また、その程度に従いＩ（９０°）はＩ（２７０°）に等しい。この関係からの任意のずれにより、別のカメラからの外部光に基づく結論および外部光の強度における上記ずれの程度が導かれる。

一方で、センサの変調および放射された光の間で異なる位相変位をもった４つの露光フェーズは各奥行き画像に使用される。外部光の影響の結果としてこの数学的な関係が変更される場合、外部光に基づく結論が引き出され、「妨害の事例」が検出され得る。これらの場合、奥行き情報の適切な決定は保証されない。カメラは、そのような場合において、自身をオフに切り替える、または、画像記録動作を中断する、そして、予め設定された時間をおいて、再び、試みる。

time-of-flightカメラは、好ましくは、画像記録動作の前に、自身の光源を起動せずに光の検出のための測定動作を実行し、そして、上記測定動作の測定結果に基づいて、上記time-of-flightカメラの記録モードを変更する。上述の測定動作における本方法において、外部光の存在は、おおよそに、評価され得る。画像記録の速度が遅くなるような画像記録のための誤った画像記録動作が所定の数を超えるとき、time-of-flightカメラは、好ましくは、記録モードを変更する。この測定は、変調光でシーンを記録するＴｏＦカメラのお互いの影響を減少させる。

好ましい実施形態においては、下記のように提供される。少なくとも２つのTime-of-flightカメラでのシーンの記録において、奥行き情報を決定するための測定動作は、記録の範囲内にて、お互いのカメラにおいて実行され、上記測定動作は、放射された光の変調信号とセンサ変調信号との間の異なる位相角をそれぞれ用いた個々の測定を含み、第１Time-of-flightカメラの上記測定動作の結果から、上記測定動作中に第２Time-of-flightカメラの外部光が存在したか否が決定され、第１Time-of-flightカメラの記録モードはこの決定に基づいて変更される（例えば、外部光が存在する場合）。

本発明の好ましい実施形態のより詳細を、図面を参照して以下に示す。

図１は、シーンおよび該シーンを記録する２つのカメラを、物体を含むそれぞれの視認範囲とともに示し、視認範囲において、重複の程度が大きい場合（左）、重複の程度が小さい場合（中）、重複していない場合（右）を示す。；
図２は、本発明に係る方法の実施形態のシーケンス制御のフローチャートを示す。；
図３は、ＴｏＦカメラの光源の概要図およびＴｏＦカメラの光源の一部を示し、放射された光のビームおよび物体に反射した光のビームを示す。；
図４は、光の伝達時間を測定するための信号のダイヤグラムを示す。；
図５は、放射された光の変調とセンサ変調信号との間の異なる位相角を使用した４つの測定を用いた信号のダイヤグラムを示す。；
図１は、３つの可能な配置における物体４を含むシーン３を示しており、シーンは２つのTime-of-flightカメラ１、２の手段によって記録される。左に示す図では、個々のカメラ１、２の視認範囲は、別のカメラの視認範囲と広い範囲で重複している。カメラはお互いに向いあった位置にあるので、１つのカメラの光は、直接的に（すなわち、物体４において、前もって反射することなく）、他のカメラによっても検出される。従って、放射された光によってカメラ１、２相互に強い影響が及ぼされるとともに、これにより決定した奥行き情報が強く歪められたものとなってしまう。

中央に示す図では、カメラ１、２は、お互いを直接に照らしておらず、一方のカメラの反射された光が、他方のカメラによっても検出されている。この場合においても、左に示した図の配置での影響よりも小さいが、お互いに影響を受ける。右に示す図の配置では、個々のカメラ１、２の視認範囲は、お互い離れた方向に向かっている。よって、お互いに影響は受けないか、あるいは、受けてもごくわずかな程度である。

図２は、方法におけるステップの流れを示すフローチャートに基づく本発明の好ましい実施形態を示す。

time-of-flightカメラのルーティーンによるスタート１６の後に、まず、測定動作１７が実行される。それは、予め定められた画像記録動作の前に実行される。光源がスイッチオフとなっている間、測定動作１７では、存在している光（外部の光）の検出が実行される。そのため、最初のステップで、カメラは、自身の光源５が起動していない時に（図３）、自身の視認範囲において他の光源から変調信号（「干渉信号」）を検出するか否かを、確認する。この測定動作は、「キャリアセンシング」として知られている。妨害信号が検出されなかった場合、判定ステップ１８（干渉源：あり／なし）の後に、さらなる測定動作１９が実行される。そうでなければ、システムはステップ２２に進む。

図３に概略が示されているtime-of-flightカメラ１は、さらなる測定動作１９のため自身がもつ光源５を起動する。測定動作１９は、カメラの光源５による変調光１１の放射、シーン３の物体４における反射後の変調光１２の画像センサ３を用いた検出、および放射と検出との間の変調光の伝搬時間からの奥行き情報の算出を含む。カメラ１によって実行された測定動作１９の測定結果から、time-of-flightカメラ１は、自身の光源５によって放射された光１１に加えて、この測定動作中の第２のtime-of-flightカメラ２の変調光が検出された程度を決定する。この測定動作の好ましい実施形態について、図５を参照して説明する。

測定動作１９によっても干渉信号が検出されなかった場合、判定ステップ２０（干渉源：あり／なし）の後に、ステップ番号２１に示すように、確認ルーティーンは終了し、続いて画像記録動作となる。奥行き情報は、測定動作１９中に検出されているため、利用可能となっている。一方で、別のtime-of-flightカメラの外部光が検出されると、システムはステップ２２に進む。

ステップ２２において、外部光の存在に応じてカメラの記録モードが変更される。time-of-flightカメラは、測定動作１９の結果に応じて自身の記録モードを変更する。

予め設定された時間の間、画像記録動作が停止、または中断されるように、記録モードが変更される。カメラは自身の光源を起動せずに、記録を終わらせ、そして、予め設定することができる時間、または任意に決定される時間待機し、第１の測定動作１７（または、代替的に、測定動作１９）を再開する。

代替的に、予め設定された時間の間、奥行き情報を決定するための測定動作が停止、または中断されるように、記録モードを変更してもよい。

カメラは、測定動作１９の間にカメラによって放射される光１１の変調周波数を変更することも可能である。したがって、カメラは、自身の光源の変調周波数を変更し、第１の測定動作１７を再び開始することができる。この工程は、「周波数ホッピング」として知られている。しかし、４つの位相の算出に基づいた、周波数の変更（下記参照）では、上述の周波数における外部光の妨害から完全に保護することはできない。周波数を異ならせることによる分離は、変調された外部光が４つのすべての統合された位相に均等に適用される場合のみ、機能する。これは、実際問題として、カメラ間で画像記録の別の同期を行うことなしで実行されることはない。

本発明の１つの実施形態では、time-of-flightカメラ１が検出した、１つ（または複数）の他のtime-of-flight２の変調光の強度が閾値を超えた場合、time-of-flightカメラ１は自身の記録モードを変更することができる。

選択的に採用される決定ステップ２３において、「エラー限界」を超えているか否かを決定する。これは、カメラの制御ソフトウエアに送信される画像記録メッセージに関し、記録の試みの最大失敗数に達していることまたは超えていることを意味する。この場合、アプリケーションにおいて決定され得る秒毎の画像記録速度の遅れが生じる。

一度記録サイクルが終了すると（終了２１）、測定動作１７から、次の記録サイクルが開始される。

第１の、自身の光源を起動しない測定動作１７は選択的に採用されるが、測定動作１７が選択的に採用されることは好ましい実施形態である、なぜなら、一方で、干渉光の検出はより確実なものとなり、他方で、第１の測定動作１７中に干渉光が明白に決定される得る場合、確認ルーティーンを短縮化できるからである。

図３から５を参照して、奥行き情報を決定するための好ましい測定動作１９について詳細に説明する。

図３は、変調光５の放射のための光源５（特に、ＬＥＤ）を備えているtime-of-flightカメラ１を示している。スイッチ１０（概要のみを示す）は、変調周波数ｆによるＯＯＫ−変調(On-Off Keying)の単純な場合を可能にする。他の変調方法を使用することも可能である。光源から放射された光１１は、記録されるシーンの物体４にぶつかり、上記物体によって反射される。反射された光１２は、カメラ１の画像センサ６によって検出される。画像センサ６は、図３において、より明確になるように単純化されて示されているように、画素を記録するための手段を備えている。画像センサ６は、画素ごとに光感受性素子（例えば、感光性半導体素子）を備えており、光感受性素子は、少なくとも２つのポテンシャル井戸８、９と関連している。スイッチ７は、２つのポテンシャル井戸間の切替えを行い、交互に（予め設定された時間の間隔で）、個々のポテンシャル井戸において電荷を集めることができる。ポテンシャル井戸間の切替えが、センサ変調信号１３を介して起きる（図４）。ポテンシャル井戸８、９を読み出すことによって、画像情報にアクセスできる。

図４は、信号ダイヤグラムに基づいて光源５から放射される変調光１１、画像センサ６によって検出された反射光１２、センサ変調信号１３、時間経過における最高点での第１ポテンシャル井戸８に「達する」統合された信号１４および第２ポテンシャル井戸９に「達する」統合された信号１５それぞれを示している。

図４の例示には、時間変位（位相変位）は、放射された光信号１１と検出された光信号１２との間の伝搬時間の結果として生じることが明確に示されている。

センサ変調信号１３は、ポテンシャル井戸８，９間の切替えを実行させる切替え信号である。図４（および図５）の例示においては、センサ変調信号１３のポジティブ域８’は第１ポテンシャル井戸８の回路に対応し、センサ変調信号１３のネガティブ域９’はポテンシャル井戸９の回路に対応する。センサ変調信号１３の周波数は、放射された光１１の変調周波数に一致する。

時間変位により、統合信号１４、１５は強い点が異なる。そのため、第１ポテンシャル井戸８の統合信号１４と、第２ポテンシャル井戸９の統合信号１４との違いから、光の伝搬時間、および、カメラ１から物体４までの距離に基づいた結論を引き出すことができる。実際に、位相変位が検出される。位相変位が０°の場合、第１ポテンシャル井戸８における、信号は単に「上方統合」であり、第２のポテンシャル井戸は空のままである。位相変位が９０°の場合、同等量の信号が２つのポテンシャル井戸８、９に集められる。

図５は、外部光の存在下（すなわち、異なるカメラからの変調光）における、奥行き算出のための特定の原理が確認可能であることを示している。

各画素は２つのポテンシャル井戸８、９を備えており、ポテンシャル井戸８、９は、交互に、放射光の変調周波数で露光される。上記露光は４回生じ、センサ変調信号１３（ポテンシャル井戸切替え）と放射光１１の変調との間の位相変位は、各露光中に９０°ごと増加する。結果として、０°のわずかな位相変位は第１の露光の間に取得され、第２の露光の間に９０°による位相変位が取得され、続いて１８０°による位相変位が取得され、最後に第４の露光において２７０°による位相変位が取得される。各露光された位相に対して、カメラ１から反射物体４までの距離によって、露光位相ごとに付加的な位相変位が獲得される。

放射光の変調と画像センサの変調信号との間の位相角は、４つの測定のそれぞれに対して、φ₀＋０°、φ₀＋９０°、φ₀＋１８０°およびφ₀＋２７０°である。ここで、φ₀は出力位相角またはオフセット位相角であり、これは例示する実施形態における０°である。なお、これは任意に選択できる。

２つのポテンシャル井戸８、９の信号差は、各画素に対する露光の値および４つの異なる位相（０°、９０°、１８０°、２７０°）それぞれに対する露光の値として出力され、これにより、４つの位相画像Ｉ（０°）、Ｉ（９０°）、Ｉ（１８０°）およびＩ（２７０°）が生成される。位相画像は、１つのポテンシャル井戸８の信号と他のポテンシャル井戸９の信号との間の異なる構成によって形成される。位相画像は、下記のさらなる計算に使用される。

位相画像Ｉ（９０°）とＩ（２７０°）との間の差と同様である位相画像Ｉ（０°）とＩ（１８０°）との間の差から、商のアークタンジェントを用いて物体４との距離ｄを決定することが可能である。この結果からは、振幅が導き出される。

ｄ〜arctan[（Ｉ（２７０°）−Ｉ（９０°））／（Ｉ（１８０°）−Ｉ（０°））]
数理的な観点から、これは２つの直交する信号、すなわち、放射光１１の変調信号およびセンサ変調信号１３の相関に関する。ここで、ＯＯＫ変調が基本的に必須ではない。代わりに、光源が上記信号によって変調され得る限り、変調信号に対して任意の形態を利用することができる。

外部光によって測定が歪められているか否かという信頼性の確認が、個々の位相画像から行われる。これは、以下のように確認される。

個々の位相における画素毎の個々の値は、適切な奥行き計算を実行するために、特定の関係において存在しなければならない。この関係が存在しない場合、確実性のない奥行き計算が起こり得る。この関係を破たんさせる潜在的な原因は、９０°でオフセットされる個々の測定間の位相角の結果としての、４つの全ての位相画像に対して均等に作用することのない外部光の影響である。

測定中に外部光が存在していたか否かを評価するため、位相画像Ｉ（０°）および位相画像Ｉ（１８０°）の合計を算出し、位相画像Ｉ（９０°）および位相画像Ｉ（２７０°）の合計を算出する。これら２つの合計値は、０に近似した値となる。そうでない場合、外部光によって測定は影響を受けており、決定した奥行き情報が実際の距離に対応しているとの推測を可能にする。

画像記録動作中に他のカメラとの不調和が、決定され得る。図２に関して既に説明したように、この場合、ステップ２２が実行される、すなわち、カメラの記録モードが変更される。

本発明は、記載された実施形態およびそれらの中で強調された側面に限定されない。むしろ、本発明の概念において、多くの変形例が可能となり、それら変形例は当分野の当業者による専門的な実施の範囲に含まれる。上述した手段と本発明の範囲から逸脱することのない特徴との組合せによってさらなる実施形態を実現することが可能である。

シーンおよび該シーンを記録する２つのカメラを、物体を含むそれぞれの視認範囲とともに示し、視認範囲において、重複の程度が大きい場合（左）、重複の程度が小さい場合（中）、重複していない場合（右）を示す。 本発明に係る方法の実施形態のシーケンス制御のフローチャートを示す。 ＴｏＦカメラの光源の概要図およびＴｏＦカメラの光源の一部を示し、放射された光のビームおよび物体に反射した光のビームを示す。 光の伝達時間を測定するための信号のダイヤグラムを示す。 放射された光の変調とセンサ変調信号との間の異なる位相角を使用した４つの測定を用いた信号のダイヤグラムを示す。

Claims (10)

1. 少なくとも２つのＴＯＦ（Time-of-Flight）カメラ（１、２）を用いて、シーン（３）を記録する方法において、上記の２つのＴＯＦカメラはそれぞれ、光源（５）および画像センサ（６）を含み、奥行き情報を決定するための測定動作を含む画像記録動作は、上記の少なくとも２つのＴＯＦカメラ（１、２）をそれぞれ用いて実行され、上記測定動作は、上記光源（５）からの変調光（１１）の放射、上記画像センサ（６）を用いる、シーン（３）における物体（４）による反射後の変調光（１２）の検出、および、上記放射と上記検出との間における上記変調光の伝達時間からの奥行き情報の算出、を含む方法であって、
   第１ＴＯＦカメラ（１）は、自身の光源（５）からの放射光（１１）に加え、第２ＴＯＦカメラ（２）からの変調光が上記の測定動作において検出される程度を決定するために、自カメラによって実行される上記測定動作の測定結果を用いるとともに、第１ＴＯＦカメラ（１）は、上記決定の結果に基づいて自身の記録モードを変更する、ことを特徴とする方法。
2. 上記第２ＴＯＦカメラ（２）は、自身の光源（５）からの放射光（１１）に加え、上記第１ＴＯＦカメラ（１）からの変調光が上記の測定動作において検出される程度を決定するために、自カメラにおいて実行される上記測定動作の測定結果を用いるとともに、上記第２ＴＯＦカメラ（２）は、上記決定の結果に基づいて自身の記録モードを変更する、ことを特徴とする請求項１に記載の方法。
3. 上記記録モードの上記変更は、予め設定された時間の間、画像記録動作を停止する、または中断することであることを特徴とする請求項１または２に記載の方法。
4. 上記記録モードの上記変更は、予め設定された時間の間、上記奥行き情報を決定するための上記測定動作を停止する、または中断することであることを特徴とする請求項１または２に記載の方法。
5. 上記記録モードの上記変更は、上記測定動作における、放射光（１１）の変調周波数を変更することであることを特徴とする請求項１または２に記載の方法。
6. ＴＯＦカメラ（１、２）は、自カメラで検出された、他方のＴＯＦカメラ（２、１）の変調光の強度が予め設定された閾値を超えたとき、記録モードを変更することを特徴とする請求項１〜５のいずれか１項に記載の方法。
7. 上記測定動作は、放射光（１１）の変調と画像センサ（６）のセンサ変調信号（１３）との間の位相角が異なる個々の測定から構成されていることを特徴とする請求項１〜６のいずれか１項に記載の方法。
8. 上記測定動作は、少なくとも４つの測定を含み、放射光（１１）の変調と画像センサ（６）のセンサ変調信号（１３）との間の上記位相角は、上記４つの測定のうちの１つがそれぞれ、φ₀＋０°、φ₀＋９０°、φ₀＋１８０°およびφ₀＋２７０°であり、φ₀は出力位相角であることを特徴とする請求項７に記載の方法。
9. ＴＯＦカメラ（１、２）は、画像記録動作の前に、動作しない状態の自カメラの光源（５）の光を検出するために測定動作を実行し、上記ＴＯＦカメラ（１、２）の記録モードは、上記測定動作に基づいて変更されることを特徴とする請求項１〜８のいずれか１項に記載の方法。
10. 上記ＴＯＦカメラ（１、２）は、画像記録のための画像記録動作の失敗があらかじめ設定された数を超えると、画像記録レートが減少するように記録モードを変更することを特徴とする請求項１〜９のいずれか１項に記載の方法。

Images