JP2017517737A - Ｔｏｆカメラシステムおよび該システムにより距離を測定するための方法 - Google Patents

Abstract

本発明は、シーンの物体と飛行時間カメラシステムとの間の距離を測定し、かつ物体の奥行マップを提供するための方法に関し、飛行時間カメラシステムは照射ユニットと、ピクセルのマトリックスを有する撮像センサと、画像処理手段とを含み、該方法は、直接入射光線を間接入射光線と区別するため、シーンの基本領域にそれぞれ異なる入射強度で照射するために、前記照射ユニットの照射を離散的に変化させるステップと、前記基本領域によって反射した光線をセンサのマトリックスのピクセルで受光し、かつ対応するデータを画像処理手段に提供するステップと、物体の奥行マップにおける間接光線の影響を除去するために、前記対応するデータを処理するステップとを特徴とする。

Description

本発明は、（ｉ）シーンの物体と飛行時間カメラシステムとの間の距離を測定するための方法、および（ｉｉ）それに関連付けられる飛行時間カメラシステムに関する。特に、本発明はシーン内の光の直接および間接反射の問題、ならびにこれらの複数回の反射によって誘発される奥行測定値の誤差に関する。シーンとは、光線が直接または間接にそこに反射され得る、物体の周囲の全ての表面を意味することを理解されたい。

飛行時間技術（ＴＯＦ）は奥行知覚のための有望な技術である。標準的ＴＯＦカメラシステム３のよく知られた基本的な動作原理を図１に示す。ＴＯＦカメラシステム３は、専用の照射ユニット１８から物体への光の飛行時間を解析することによってシーン１５の３Ｄ画像を捕捉する。ＴＯＦカメラシステム３はカメラ、例えばピクセルのマトリックス１、およびデータ処理手段４を含む。シーン１５は、専用の照射ユニット１８を用いて所定の波長の変調光１６を、例えば少なくとも１つの予め定められた周波数の光パルスを能動的に照射される。変調光はシーン内の物体から反射して戻る。レンズ２は反射した光１７を集光し、カメラの撮像センサ１上に物体の像を形成する。カメラから物体までの距離に応じて、変調光、例えばいわゆる光パルスの出射と、これらの反射光パルスのカメラにおける受光との間に、遅延が生じる。反射物体とカメラとの間の距離は、観察された時間遅延および光速定数値の関数として決定することができる。

この技術の欠点の１つは図２に示されており、いわゆるマルチパス現象に関係している。シーン２４に対し複数の方向に照射するための照射ユニット８と、出射光の反射を検出するためのＴＯＦセンサ６と、ＴＯＦセンサ６によって取得されたデータを処理するための処理手段７とを含む標準的ＴＯＦカメラシステム９が示されている。

ＴＯＦセンサ６のピクセル（図示せず）は、照射ユニット８からシーン２４へ、およびシーン２４からピクセルへの直接経路２５を測定する。しかし、二次反射２６またはより高次の反射も同じピクセルで捕捉され、第１直接反射２５について知覚される遅延を歪ませることが起こり得る。センサ６によって捕捉される光は直接経路２５および二次反射２６の両方に由来すると考えられ、したがって、測定されたシーンの各点に関連付けられる奥行を表す奥行マップ（深度図）２７は誤りである。

先行技術では、入射光の直接成分を回復するために幾つかの方法が実現されてきた。例えば複数周波数手法は、異なる変調周波数により１組の奥行測定値を取得することによって実行されたが、得られた解像度は依然として低い。

別の手法は、例えばデジタル光処理（ＤＬＰ）プロジェクタによって生成される１組の異なる空間パターンを使用する。パターンの黒色部分から得られる奥行はマルチパスに由来する間接信号のみによって形成されるので、シーンに暗いパッチおよび明るいパッチを形成することによって、直接成分および間接成分を分離することができる。異なるパターンは、シーンの各部分が黒色状況で捕捉されるように選択される。エッジ効果は、充分なオーバーラップを持つパターンを画定することによって相殺される。しかし、これらの異なるパターンの形成は費用が高い。

シーンの物体とＴＯＦカメラシステムとの間の距離をより正確に測定するため、反射光の直接成分だけを最良の費用効果で取り出すための解決策はまだ提案されていない。

本発明は、シーン（対象、領域、環境）の物体と飛行時間（到達時間）カメラシステムとの間の距離を測定し、物体の奥行マップを提供するための方法に関し、飛行時間カメラシステムは照射ユニットと、ピクセルのマトリックスを有する撮像センサと、画像処理手段とを含み、該方法は以下のステップを特徴とする。

‐直接入射光線を間接入射光線と区別するため、シーンの基本領域にそれぞれ異なる入射強度（incident intensity）で照射するために、前記照射ユニットの照射を離散的に変化させるステップ。
‐前記基本領域によって反射した光線をセンサのマトリックスのピクセルで受光し、対応するデータを画像処理手段に提供するステップ。
‐物体の奥行マップにおける間接光線の影響を除去するために前記対応するデータを処理するステップ。
データを処理するときに、該方法は、例えば中間奥行マップ上で（しかしそれに限定されない）、間接入射光線だけが入射し得る基本領域に関連付けられるピークを識別するステップを含むことができることが有利である。そのようなピークを識別することによって、間接光線の影響を除去し、シーンの正確な最終的奥行マップを得るために、データを処理することができる。

本発明はまた、シーンの物体とＴＯＦカメラシステムとの間の距離を測定し、かつ物体の奥行マップを提供するための飛行時間（ＴＯＦ）カメラシステムにも関し、
‐シーンに変調光を照射するための照射ユニットと、
‐シーンによって反射した光線をセンサのマトリックスのピクセルで受光するためにピクセルのマトリックスを有する撮像センサと、
‐反射した光線に対応するデータを撮像センサから受信し、かつ前記対応するデータを処理するための画像処理手段と、
を含むＴＯＦカメラシステムは、
‐直接入射光線を間接入射光線と区別するため、および前記対応するデータの処理中に物体の奥行マップにおける間接光線の影響を除去するため、シーンの基本領域にそれぞれ異なる入射強度で照射するために前記照射ユニットの照射を離散的に変化させるためのパターン形成手段
をさらに含むことを特徴とする。

照射の変化は照射ユニットを離散的にマスキングすることによって実行することが有利である。パターン形成手段は例えば、直接入射光線がシーンの一部の基本領域に入射することを防止するマスクとすることができる。

パターン形成手段は、データのより容易な処理を可能にするために、一連の同一パターン群を含むことができることがより有利である。

本発明の他の利点および新規の特徴は、以下の詳細な説明を添付の図面と併せて考察することにより、さらに明瞭になるであろう。

本発明は、以下の説明および添付の図面に照らしていっそう理解が深まるはずである。

ＴＯＦカメラシステムの基本的動作原理を示す。 マルチパス現象を示す。 本発明の実施形態に係るＴＯＦカメラシステムを示す。 パターン形成手段の一例を示す。 シーンの中間奥行マップおよびＴＯＦカメラシステムの関連付けられるピクセルを示す。 シーンおよびシーンに投影された２つの異なる空間ゾーンを含む光パターンを示す。

本発明の利点および新規の特徴は、以下の詳細な説明を添付の図面と併せて考察することにより、さらに明瞭になるであろう。

図３は本発明の実施形態に係るＴＯＦカメラシステム１０を示す。飛行時間カメラシステム１０は、シーン２４に変調光を照射するための照射ユニット２０を含む。この照射ユニット２０によって出射される光は、飛行時間技術を用いて距離を測定するのに適するように構成される。例えば照射ユニット２０は、適切なパルス幅の光パルスを出射するように構成することができる。実際、パルスを使用する場合、各光パルスのパルス幅はカメラレンジ（被写体までの距離）を決定する。例えば５０ｎｓのパルス幅の場合、レンジは７．５ｍに制限される。その結果、シーンの照射はＴＯＦカメラシステムの動作に不可欠なものになり、照射ユニットの高速駆動周波数要件のため、そのような短い光パルスを発生させるには、発光ダイオード（ＬＥＤ）またはレーザのような特殊化された光源を使用することが必要になる。照射ユニットは、図３に示される複数の出射光線２５、２６、および２８によって提示される通り、多方向性光を出射するように構成される。

ＴＯＦカメラシステムはさらに、反射した光線を受光かつ検出し、シーン２４の像を形成するために、典型的にはピクセルのマトリックスアレイを含む撮像センサ２１を含む。分かりやすく説明するために、図３には２つのピクセル２２および２３だけが示されているが、本発明は２ピクセルのマトリックスに限定されない。ピクセルとは、光電磁放射線に感応する画素およびその関連電子回路であることを理解されたい。ピクセルの出力は、照射ユニット２０からシーン２４の物体まで、および物体から撮像ＴＯＦセンサ２１へ反射して戻るまでの光の飛行時間を決定するために使用することができる。

ＴＯＦカメラシステム１０はさらに、シーン２４に光パターンを形成するためのパターン形成手段３０を含む。光パターンはレーザ光干渉から直接得られるそのままのレーザスペックルのパターンとするか、照射ユニット２０の前に配置されるパターン形成手段から得るか、あるいはレーザスペックルおよびパターン形成手段３０の両方の組合せとすることができる。パターン形成手段３０を使用する場合、照射ユニット２０によって出射された光はこれらのパターン形成手段を通過して、光を変化させ、異なる強度の区切られた基本領域３１、３２による光パターンをシーンに形成させる。照射ユニット２０によって出射された光は、シーン２４に入射する前に、パターン形成手段３０の所与の領域で遮断され、あるいはその強度が低減され、かつ他の領域では遮断されず、結果的に、それぞれ低い光強度の領域３１および高い光強度の領域３２がシーンに形成される。分かりやすくするために、これらの領域は太線３１および３２によって示されているが、シーンに形成される光パターンはシーン２４に付着された固体（立体）または物理的パターンではなく、照射ユニット２０の前に配置されたパターン形成手段３０に由来する光効果の結果である。光パターンは照射ユニット２０によってシーンに投影される。パターン形成手段３０はフィルタリング手段、マスク、グリッド、または照射を離散的に変化させることのできるいずれかの手段とすることができる。理想的には、二次反射だけが測定される領域３１を容易に取り出すために、パターン形成手段は空間的に周期的な光パターン３１、３２、４５、４６をシーン上に提供する必要がある。パターン形成手段３０はまた、図４に示すように一連の同一パターン群５０を含むか、あるいは複数のＴＯＦカメラフレームレートと同調して適時に順次使用することのできる一連の異なるパターン群を含むこともできる。

本発明はコントラストが１００％のパターンを必要とせず、かつパターン形成手段をイメージセンサに整列させる必要がないことに留意することは重要である。

ＴＯＦカメラシステム１０はさらに、照射２０によって出射された光の飛行時間、およびそれによってシーン２４の物体と撮像センサ２１との間の距離を決定するための処理手段５を含む。処理手段３０は、撮像センサ２１のピクセルからデータを受信するように、かつ物体の奥行マップにおける間接光線の影響を除去するためにデータを処理するように構成される。この距離を決定するための方法、および物体の正確な最終的奥行マップについては、以下の段落で説明する。飛行時間は、ＴＯＦセンサ２１に連結することのできる、またはＴＯＦセンサ自体に直接組み込むことのできる、別個の処理ユニットで算出することができる。図３には、照射ユニット２０に連結された処理手段５が示されているが、本発明はそれに限定されない。

シーンの物体と飛行時間カメラシステムとの間の距離を測定し、かつ物体の奥行マップを提供するための方法について、図３、図４、図５、および図６を参照することによって今から説明する。飛行時間カメラシステム１０は照射ユニット２０と、ピクセル２２、２３のマトリックスを有する撮像センサ２１と、画像処理手段３０とを含む。

該方法は、直接入射光線２５を間接入射光線２６、２８と区別するため、シーンの基本領域３１、３２にそれぞれ異なる入射強度で照射するために、照射ユニット２０の照射を離散的に変化させるステップを含む。この変化は、例えばシーンに光パターンを形成することによって実行することができ、光パターンは、高い光強度および低い光強度の区切られた基本領域を含む。この光パターンは、パターン形成手段３０を照射ユニット２０の前に配置し、こうして光パターンをシーンに投影することによって形成することができる。

センサ２１のピクセルはこれらの基本領域３１、３２によって反射した光線を受光し、対応するデータを画像処理手段３０に提供する。

これらのデータは次いで、間接光線の影響を除去しかつ物体の正確な奥行マップを得るために処理される。

シーンに投影された光パターンは、中間奥行マップ２９上に取り出すことができる。これは図３および図５によって示される。パターン形成手段を使用しない図２の奥行マップ２７およびパターン形成手段を使用した図３の奥行マップ２９を比較することによって、ピーク３３の出現に気付くことができる。これらのピーク３３は、二次反射だけが測定されるシーン２４の領域３１に対応する。定義上、これらの領域３１は、光が遮断されるかあるいは光強度が低減されるパターン形成手段３０の領域に関連付けられるので、実際、これらの領域では、二次反射がなしでは、あるいは低い強度の光では、撮像センサ２１のピクセルは光を測定しないはずである。ピクセル２３で測定される光は二次反射２８がより優位である一方、ピクセル２２で測定される光は、直接および間接両方の成分２５、２６に対応する。例えば中間奥行マップ２９上で直接入射光線が入射できない基本領域３１を識別することは、間接光線の影響を除去し、かつ物体の正確な最終的奥行マップを得るために使用することができる。ピクセル２３で間接成分が優位を占める光の飛行時間測定によって得られた複素データ（複合データ）を、例えばピクセル２２で直接および間接両方の成分によって得られた複素データから減算して、新しい複素データ（複合データ）ＮＣを形成することができる。複素データに対する間接成分の寄与がピクセル２２および２３で等しい場合、結果的に得られる複素データＮＣは、直接成分からの情報だけを含む。たとえピクセル２３が、パターン形成手段３０の限定されたコントラストゆえに、依然として小さい直接成分を受光したとしても、結果的に得られる複素データＮＣはより小さい振幅を有するが、直接成分の飛行時間を表す正しい位相を有する。

図５はシーン２９の物体の中間奥行マップ、およびＴＯＦカメラシステムの関連ピクセルを示す。ピクセル４０は間接成分だけを測定し、より深い奥行およびピーク３３に関連付けられる一方、ピクセル４１は直接成分および間接成分の両方を測定し、奥行マップ２９の領域３４に関連付けられる。領域３１に対応するピクセルの識別は、信号強度マップを用いて行うこともでき、そこでは、これらのピクセルは、直接成分が欠如しているため、より低い強度を有する。領域３１に関連付けられるピクセルを識別するために、信頼度マップまたはノイズマップを使用することもできる。

図３を参照することにより、反射光の直接成分２５だけを決定するために、例えばピクセル２２の場合、ピクセル２２によって測定された複素値（複合値）を、ピクセル２３によって測定された複素値（複合値）から減算して、新しい複素値ＮＣを形成することができる。

実際のシステムでは、３つ以上のピクセルが存在し、領域３１で採取される標本によって間接成分の関数を構築することができる。次いで、この間接成分関数を、直接成分および間接成分の両方を有する全てのピクセルに対し補間し、これらのピクセルから減算して、直接成分だけを残すことができる。

シーンが極めて単純であり、かつシーンの反射が理想的である場合、間接成分はシーン２４のランバート反射に由来するので、間接成分に関連付けられる値は、全領域３１によって容易に標本化することのできる連続関数である。

シーンがより複雑である場合、異なる方法で計算を実行することができる。図６のシーン４０は例えば扉付きの第１壁４３と、所与の奥行を持つ食器棚４２が取り付けられた第２壁４１とを含む。この例では、食器棚４２の反射に由来するか、または壁４３に由来する間接反射は、同様の測定値を導かない。反射光の直接成分を決定するために、シーン４０における異なる空間ゾーン（空間領域）の光パターン４５、４６を決定することができる。分かりやすくするために、図６では異なる形状が使用されているが、光サブパターン４５および４６は両方とも、ＴＯＦカメラシステム１０の照射ユニット２０の前に配置された同一のパターン形成手段３０に由来することを理解されたい。ここでシーンは最初に、利用可能な奥行データ、またはシーンを区画化するために有用ないずれかの追加データを使用して区画化される。シーンの各区画について、再び連続関数を間接成分に関連付けることができ、それはそれぞれ各区画に属する領域３１によって標本化することができる。次いで、各区画に関係付けられたこの間接成分関数を使用して、直接成分および間接成分の両方を持つピクセルに存在する望ましくない間接成分を相殺することができる。

Claims (8)

1. シーンの物体（２４、４０）と飛行時間カメラシステム（１０）との間の距離を測定し、かつ前記物体の奥行マップを提供するための方法であって、前記飛行時間カメラシステム（１０）は照射ユニット（２０）と、ピクセル（２２、２３）のマトリックスを有する撮像センサ（２１）と、画像処理手段（３０）とを含み、前記方法は、
   ‐直接入射光線（２５）を間接入射光線（２６、２８）と区別するため、前記シーンの基本領域（３１、３２）にそれぞれ異なる入射強度で照射するために、前記照射ユニット（２０）の照射を離散的に変化させるステップと、
   ‐前記基本領域（３１、３２）によって反射した光線を前記センサ（２１）のマトリックスのピクセルで受光し、かつ対応するデータを前記画像処理手段（３０）に提供するステップと、
   ‐間接成分が優位を占める光の飛行時間測定によって得られた複素データを、直接成分および間接成分の両方によって得られた複素データから減算して、新しい複素データを形成することによって、前記物体の奥行マップにおける前記間接光線の影響を除去するために、前記対応するデータを処理するステップと、
   を特徴とする方法。
2. 前記照射を変化させるステップが、直接入射光線が入射できない基本領域（３１）を前記シーンに形成するために、前記照射ユニット（２０）を離散的にマスキングするステップである、請求項１に記載の方法。
3. 前記対応するデータを処理するステップが、間接入射光線だけが入射できる基本領域（３１）を識別するステップを含む、請求項１または２に記載の方法。
4. 前記ピクセル（２２、２３）のマトリックスの異なる組のピクセルにそれぞれ関連付けられる、前記シーン（２４、４０）における基本領域の２つの異なる空間ゾーン（４５、４６）を決定するステップをさらに含む、請求項１ないし３のいずれか一項に記載の方法。
5. シーン（２４、４０）の物体とＴＯＦカメラシステム（１０）との間の距離を測定し、かつ前記物体の奥行マップを提供するための飛行時間（ＴＯＦ）カメラシステム（１０）であって、前記ＴＯＦカメラシステムは、
   ‐前記シーン（２４）に変調光を照射するための照射ユニット（２０）と、
   ‐ピクセル（２２、２３）のマトリックスを有する撮像センサ（２１）であって、前記シーン（２４、４０）によって反射した光線を前記センサ（２１）の前記マトリックスのピクセルで受光するための撮像センサと、
   ‐前記反射した光線に対応するデータを前記撮像センサ（２１）から受信し、かつ前記対応するデータを処理するための画像処理手段（５）と、
   を含み
   前記ＴＯＦカメラシステムが、直接入射光線（２５）を間接入射光線（２６、２８）と区別するため、前記シーンの基本領域（３１、３２）にそれぞれ異なる入射強度で照射するために、前記照射ユニット（２０）の前記照射を離散的に変化させるためのパターン形成手段（３０）をさらに含むこと、および
   前記画像処理手段（５）が、前記対応するデータの処理中に、間接成分が優位を占める光の飛行時間測定によって得られた複素データを、直接成分および間接成分の両方によって得られた複素データから減算して、新しい複素データを形成することによって、前記物体の前記奥行マップにおける前記間接光線の影響を除去するように構成されること、
   を特徴とするＴＯＦカメラシステム。
6. 前記パターン形成手段（３０）が、前記シーンに光パターン（３１、３２、４５、４６）を投影するために前記照射ユニット（２０）の前に配置される、請求項５に記載のＴＯＦカメラシステム（１０）。
7. 前記パターン形成手段（３０）が一連の同一パターン群（５０）を含む、請求項５または６に記載のＴＯＦカメラシステム（１０）。
8. 前記パターン形成手段（３０）が、前記シーン（２４、４０）の一部の基本領域（３１）に直接入射光線が入射することを防止するマスクを含む、請求項５ないし６のいずれか一項に記載のＴＯＦカメラシステム（１０）。