JP2021039131A - Ｔｏｆカメラシステムおよび該システムにより距離を測定するための方法 - Google Patents

Abstract

【課題】シーンの物体と飛行時間カメラシステムとの間の距離を測定し、かつ物体の奥行マップを提供する。【解決手段】飛行時間カメラシステム１０は照射ユニット２０と、ピクセルのマトリックスを有する撮像センサ２１と、画像処理手段３０とを含み、該方法は、直接入射光線２５を間接入射光線２６，２８と区別するため、シーン２４の基本領域３１にそれぞれ異なる入射強度で照射するために、前記照射ユニット３０の照射を離散的に変化させるステップと、前記基本領域３１によって反射した光線をセンサ２１のマトリックスのピクセル２３で受光し、かつ対応するデータを画像処理手段３０に提供するステップと、物体の奥行マップにおける間接光線２６，２８の影響を除去するために、前記対応するデータを処理するステップとを特徴とする。【選択図】図３

Description

本発明は、（ｉ）シーンの物体と飛行時間カメラシステムとの間の距離を測定するため
の方法、および（ｉｉ）それに関連付けられる飛行時間カメラシステムに関する。特に、
本発明はシーン内の光の直接および間接反射の問題、ならびにこれらの複数回の反射によ
って誘発される奥行測定値の誤差に関する。シーンとは、光線が直接または間接にそこに
反射され得る、物体の周囲の全ての表面を意味することを理解されたい。

飛行時間技術（ＴＯＦ）は奥行知覚のための有望な技術である。標準的ＴＯＦカメラシ
ステム３のよく知られた基本的な動作原理を図１に示す。ＴＯＦカメラシステム３は、専
用の照射ユニット１８から物体への光の飛行時間を解析することによってシーン１５の３
Ｄ画像を捕捉する。ＴＯＦカメラシステム３はカメラ、例えばピクセルのマトリックス１
、およびデータ処理手段４を含む。シーン１５は、専用の照射ユニット１８を用いて所定
の波長の変調光１６を、例えば少なくとも１つの予め定められた周波数の光パルスを能動
的に照射される。変調光はシーン内の物体から反射して戻る。レンズ２は反射した光１７
を集光し、カメラの撮像センサ１上に物体の像を形成する。カメラから物体までの距離に
応じて、変調光、例えばいわゆる光パルスの出射と、これらの反射光パルスのカメラにお
ける受光との間に、遅延が生じる。反射物体とカメラとの間の距離は、観察された時間遅
延および光速定数値の関数として決定することができる。

この技術の欠点の１つは図２に示されており、いわゆるマルチパス現象に関係している
。シーン２４に対し複数の方向に照射するための照射ユニット８と、出射光の反射を検出
するためのＴＯＦセンサ６と、ＴＯＦセンサ６によって取得されたデータを処理するため
の処理手段７とを含む標準的ＴＯＦカメラシステム９が示されている。

ＴＯＦセンサ６のピクセル（図示せず）は、照射ユニット８からシーン２４へ、および
シーン２４からピクセルへの直接経路２５を測定する。しかし、二次反射２６またはより
高次の反射も同じピクセルで捕捉され、第１直接反射２５について知覚される遅延を歪ま
せることが起こり得る。センサ６によって捕捉される光は直接経路２５および二次反射２
６の両方に由来すると考えられ、したがって、測定されたシーンの各点に関連付けられる
奥行を表す奥行マップ（深度図）２７は誤りである。

先行技術では、入射光の直接成分を回復するために幾つかの方法が実現されてきた。例
えば複数周波数手法は、異なる変調周波数により１組の奥行測定値を取得することによっ
て実行されたが、得られた解像度は依然として低い。

別の手法は、例えばデジタル光処理（ＤＬＰ）プロジェクタによって生成される１組の
異なる空間パターンを使用する。パターンの黒色部分から得られる奥行はマルチパスに由
来する間接信号のみによって形成されるので、シーンに暗いパッチおよび明るいパッチを
形成することによって、直接成分および間接成分を分離することができる。異なるパター
ンは、シーンの各部分が黒色状況で捕捉されるように選択される。エッジ効果は、充分な
オーバーラップを持つパターンを画定することによって相殺される。しかし、これらの異
なるパターンの形成は費用が高い。

シーンの物体とＴＯＦカメラシステムとの間の距離をより正確に測定するため、反射光
の直接成分だけを最良の費用効果で取り出すための解決策はまだ提案されていない。

本発明は、シーン（対象、領域、環境）の物体と飛行時間（到達時間）カメラシステム
との間の距離を測定し、物体の奥行マップを提供するための方法に関し、飛行時間カメラ
システムは照射ユニットと、ピクセルのマトリックスを有する撮像センサと、画像処理手
段とを含み、該方法は以下のステップを特徴とする。

‐直接入射光線を間接入射光線と区別するため、シーンの基本領域にそれぞれ異なる入射
強度（incident intensity）で照射するために、前記照射ユニットの照射を離散的に変化
させるステップ。
‐前記基本領域によって反射した光線をセンサのマトリックスのピクセルで受光し、対応
するデータを画像処理手段に提供するステップ。
‐物体の奥行マップにおける間接光線の影響を除去するために前記対応するデータを処理
するステップ。
データを処理するときに、該方法は、例えば中間奥行マップ上で（しかしそれに限定さ
れない）、間接入射光線だけが入射し得る基本領域に関連付けられるピークを識別するス
テップを含むことができることが有利である。そのようなピークを識別することによって
、間接光線の影響を除去し、シーンの正確な最終的奥行マップを得るために、データを処
理することができる。

本発明はまた、シーンの物体とＴＯＦカメラシステムとの間の距離を測定し、かつ物体
の奥行マップを提供するための飛行時間（ＴＯＦ）カメラシステムにも関し、
‐シーンに変調光を照射するための照射ユニットと、
‐シーンによって反射した光線をセンサのマトリックスのピクセルで受光するためにピク
セルのマトリックスを有する撮像センサと、
‐反射した光線に対応するデータを撮像センサから受信し、かつ前記対応するデータを処
理するための画像処理手段と、
を含むＴＯＦカメラシステムは、
‐直接入射光線を間接入射光線と区別するため、および前記対応するデータの処理中に物
体の奥行マップにおける間接光線の影響を除去するため、シーンの基本領域にそれぞれ異
なる入射強度で照射するために前記照射ユニットの照射を離散的に変化させるためのパタ
ーン形成手段
をさらに含むことを特徴とする。

照射の変化は照射ユニットを離散的にマスキングすることによって実行することが有利
である。パターン形成手段は例えば、直接入射光線がシーンの一部の基本領域に入射する
ことを防止するマスクとすることができる。

パターン形成手段は、データのより容易な処理を可能にするために、一連の同一パター
ン群を含むことができることがより有利である。

本発明の他の利点および新規の特徴は、以下の詳細な説明を添付の図面と併せて考察す
ることにより、さらに明瞭になるであろう。

本発明は、以下の説明および添付の図面に照らしていっそう理解が深まるはずである。

ＴＯＦカメラシステムの基本的動作原理を示す。 マルチパス現象を示す。 本発明の実施形態に係るＴＯＦカメラシステムを示す。 パターン形成手段の一例を示す。 シーンの中間奥行マップおよびＴＯＦカメラシステムの関連付けられるピク セルを示す。 シーンおよびシーンに投影された２つの異なる空間ゾーンを含む光パターン を示す。

本発明の利点および新規の特徴は、以下の詳細な説明を添付の図面と併せて考察するこ
とにより、さらに明瞭になるであろう。

図３は本発明の実施形態に係るＴＯＦカメラシステム１０を示す。飛行時間カメラシス
テム１０は、シーン２４に変調光を照射するための照射ユニット２０を含む。この照射ユ
ニット２０によって出射される光は、飛行時間技術を用いて距離を測定するのに適するよ
うに構成される。例えば照射ユニット２０は、適切なパルス幅の光パルスを出射するよう
に構成することができる。実際、パルスを使用する場合、各光パルスのパルス幅はカメラ
レンジ（被写体までの距離）を決定する。例えば５０ｎｓのパルス幅の場合、レンジは７
．５ｍに制限される。その結果、シーンの照射はＴＯＦカメラシステムの動作に不可欠な
ものになり、照射ユニットの高速駆動周波数要件のため、そのような短い光パルスを発生
させるには、発光ダイオード（ＬＥＤ）またはレーザのような特殊化された光源を使用す
ることが必要になる。照射ユニットは、図３に示される複数の出射光線２５、２６、およ
び２８によって提示される通り、多方向性光を出射するように構成される。

ＴＯＦカメラシステムはさらに、反射した光線を受光かつ検出し、シーン２４の像を形
成するために、典型的にはピクセルのマトリックスアレイを含む撮像センサ２１を含む。
分かりやすく説明するために、図３には２つのピクセル２２および２３だけが示されてい
るが、本発明は２ピクセルのマトリックスに限定されない。ピクセルとは、光電磁放射線
に感応する画素およびその関連電子回路であることを理解されたい。ピクセルの出力は、
照射ユニット２０からシーン２４の物体まで、および物体から撮像ＴＯＦセンサ２１へ反
射して戻るまでの光の飛行時間を決定するために使用することができる。

ＴＯＦカメラシステム１０はさらに、シーン２４に光パターンを形成するためのパター
ン形成手段３０を含む。光パターンはレーザ光干渉から直接得られるそのままのレーザス
ペックルのパターンとするか、照射ユニット２０の前に配置されるパターン形成手段から
得るか、あるいはレーザスペックルおよびパターン形成手段３０の両方の組合せとするこ
とができる。パターン形成手段３０を使用する場合、照射ユニット２０によって出射され
た光はこれらのパターン形成手段を通過して、光を変化させ、異なる強度の区切られた基
本領域３１、３２による光パターンをシーンに形成させる。照射ユニット２０によって出
射された光は、シーン２４に入射する前に、パターン形成手段３０の所与の領域で遮断さ
れ、あるいはその強度が低減され、かつ他の領域では遮断されず、結果的に、それぞれ低
い光強度の領域３１および高い光強度の領域３２がシーンに形成される。分かりやすくす
るために、これらの領域は太線３１および３２によって示されているが、シーンに形成さ
れる光パターンはシーン２４に付着された固体（立体）または物理的パターンではなく、
照射ユニット２０の前に配置されたパターン形成手段３０に由来する光効果の結果である
。光パターンは照射ユニット２０によってシーンに投影される。パターン形成手段３０は
フィルタリング手段、マスク、グリッド、または照射を離散的に変化させることのできる
いずれかの手段とすることができる。理想的には、二次反射だけが測定される領域３１を
容易に取り出すために、パターン形成手段は空間的に周期的な光パターン３１、３２、４
５、４６をシーン上に提供する必要がある。パターン形成手段３０はまた、図４に示すよ
うに一連の同一パターン群５０を含むか、あるいは複数のＴＯＦカメラフレームレートと
同調して適時に順次使用することのできる一連の異なるパターン群を含むこともできる。

本発明はコントラストが１００％のパターンを必要とせず、かつパターン形成手段をイ
メージセンサに整列させる必要がないことに留意することは重要である。

ＴＯＦカメラシステム１０はさらに、照射２０によって出射された光の飛行時間、およ
びそれによってシーン２４の物体と撮像センサ２１との間の距離を決定するための処理手
段５を含む。処理手段３０は、撮像センサ２１のピクセルからデータを受信するように、
かつ物体の奥行マップにおける間接光線の影響を除去するためにデータを処理するように
構成される。この距離を決定するための方法、および物体の正確な最終的奥行マップにつ
いては、以下の段落で説明する。飛行時間は、ＴＯＦセンサ２１に連結することのできる
、またはＴＯＦセンサ自体に直接組み込むことのできる、別個の処理ユニットで算出する
ことができる。図３には、照射ユニット２０に連結された処理手段５が示されているが、
本発明はそれに限定されない。

シーンの物体と飛行時間カメラシステムとの間の距離を測定し、かつ物体の奥行マップ
を提供するための方法について、図３、図４、図５、および図６を参照することによって
今から説明する。飛行時間カメラシステム１０は照射ユニット２０と、ピクセル２２、２
３のマトリックスを有する撮像センサ２１と、画像処理手段３０とを含む。

該方法は、直接入射光線２５を間接入射光線２６、２８と区別するため、シーンの基本
領域３１、３２にそれぞれ異なる入射強度で照射するために、照射ユニット２０の照射を
離散的に変化させるステップを含む。この変化は、例えばシーンに光パターンを形成する
ことによって実行することができ、光パターンは、高い光強度および低い光強度の区切ら
れた基本領域を含む。この光パターンは、パターン形成手段３０を照射ユニット２０の前
に配置し、こうして光パターンをシーンに投影することによって形成することができる。

センサ２１のピクセルはこれらの基本領域３１、３２によって反射した光線を受光し、
対応するデータを画像処理手段３０に提供する。

これらのデータは次いで、間接光線の影響を除去しかつ物体の正確な奥行マップを得る
ために処理される。

シーンに投影された光パターンは、中間奥行マップ２９上に取り出すことができる。こ
れは図３および図５によって示される。パターン形成手段を使用しない図２の奥行マップ
２７およびパターン形成手段を使用した図３の奥行マップ２９を比較することによって、
ピーク３３の出現に気付くことができる。これらのピーク３３は、二次反射だけが測定さ
れるシーン２４の領域３１に対応する。定義上、これらの領域３１は、光が遮断されるか
あるいは光強度が低減されるパターン形成手段３０の領域に関連付けられるので、実際、
これらの領域では、二次反射がなしでは、あるいは低い強度の光では、撮像センサ２１の
ピクセルは光を測定しないはずである。ピクセル２３で測定される光は二次反射２８がよ
り優位である一方、ピクセル２２で測定される光は、直接および間接両方の成分２５、２
６に対応する。例えば中間奥行マップ２９上で直接入射光線が入射できない基本領域３１
を識別することは、間接光線の影響を除去し、かつ物体の正確な最終的奥行マップを得る
ために使用することができる。ピクセル２３で間接成分が優位を占める光の飛行時間測定
によって得られた複素データ（複合データ）を、例えばピクセル２２で直接および間接両
方の成分によって得られた複素データから減算して、新しい複素データ（複合データ）Ｎ
Ｃを形成することができる。複素データに対する間接成分の寄与がピクセル２２および２
３で等しい場合、結果的に得られる複素データＮＣは、直接成分からの情報だけを含む。
たとえピクセル２３が、パターン形成手段３０の限定されたコントラストゆえに、依然と
して小さい直接成分を受光したとしても、結果的に得られる複素データＮＣはより小さい
振幅を有するが、直接成分の飛行時間を表す正しい位相を有する。

図５はシーン２９の物体の中間奥行マップ、およびＴＯＦカメラシステムの関連ピクセ
ルを示す。ピクセル４０は間接成分だけを測定し、より深い奥行およびピーク３３に関連
付けられる一方、ピクセル４１は直接成分および間接成分の両方を測定し、奥行マップ２
９の領域３４に関連付けられる。領域３１に対応するピクセルの識別は、信号強度マップ
を用いて行うこともでき、そこでは、これらのピクセルは、直接成分が欠如しているため
、より低い強度を有する。領域３１に関連付けられるピクセルを識別するために、信頼度
マップまたはノイズマップを使用することもできる。

図３を参照することにより、反射光の直接成分２５だけを決定するために、例えばピク
セル２２の場合、ピクセル２２によって測定された複素値（複合値）を、ピクセル２３に
よって測定された複素値（複合値）から減算して、新しい複素値ＮＣを形成することがで
きる。

実際のシステムでは、３つ以上のピクセルが存在し、領域３１で採取される標本によっ
て間接成分の関数を構築することができる。次いで、この間接成分関数を、直接成分およ
び間接成分の両方を有する全てのピクセルに対し補間し、これらのピクセルから減算して
、直接成分だけを残すことができる。

シーンが極めて単純であり、かつシーンの反射が理想的である場合、間接成分はシーン
２４のランバート反射に由来するので、間接成分に関連付けられる値は、全領域３１によ
って容易に標本化することのできる連続関数である。

シーンがより複雑である場合、異なる方法で計算を実行することができる。図６のシー
ン４０は例えば扉付きの第１壁４３と、所与の奥行を持つ食器棚４２が取り付けられた第
２壁４１とを含む。この例では、食器棚４２の反射に由来するか、または壁４３に由来す
る間接反射は、同様の測定値を導かない。反射光の直接成分を決定するために、シーン４
０における異なる空間ゾーン（空間領域）の光パターン４５、４６を決定することができ
る。分かりやすくするために、図６では異なる形状が使用されているが、光サブパターン
４５および４６は両方とも、ＴＯＦカメラシステム１０の照射ユニット２０の前に配置さ
れた同一のパターン形成手段３０に由来することを理解されたい。ここでシーンは最初に
、利用可能な奥行データ、またはシーンを区画化するために有用ないずれかの追加データ
を使用して区画化される。シーンの各区画について、再び連続関数を間接成分に関連付け
ることができ、それはそれぞれ各区画に属する領域３１によって標本化することができる
。次いで、各区画に関係付けられたこの間接成分関数を使用して、直接成分および間接成
分の両方を持つピクセルに存在する望ましくない間接成分を相殺することができる。

Claims (1)

1. シーンの物体（２４、４０）と飛行時間カメラシステム（１０）との間の距離を測定し
   、かつ前記物体の奥行マップを提供するための方法であって、前記飛行時間カメラシステ
   ム（１０）は照射ユニット（２０）と、ピクセル（２２、２３）のマトリックスを有する
   撮像センサ（２１）と、画像処理手段（５）とを含み、前記方法は、
   ‐直接入射光線（２５）を間接入射光線（２６、２８）と区別するため、前記シーンの
   基本領域（３１、３２）にそれぞれ異なる入射強度で照射するために、前記照射ユニット
   （２０）の照射を離散的に変化させるステップと、
   ‐前記基本領域（３１、３２）によって反射した光線を前記センサ（２１）のマトリッ
   クスのピクセルで受光し、かつ、光の飛行時間測定によって得られた対応する複素データ
   を前記画像処理手段（５）に提供するステップと、
   ‐直接入射光線が入射できない基本領域（３１）であって、前記直接入射光線が遮断さ
   れるかあるいは光強度が低減されるパターン形成手段３０の領域に関連付けられた基本領
   域（３１）を、中間奥行マップ（２９）上で識別するステップと、
   ‐入射光線が入射できる領域において、間接入射光線が優位を占める光の飛行時間測定
   によって得られた複素データを、直接および間接入射光線の両方によって得られた複素デ
   ータから減算して、最終的な正確なマップに対応する新しい複素データを形成することに
   よって、前記物体の奥行マップにおける前記間接光線の影響を除去するために、前記対応
   する複素データを処理するステップと、
   を特徴とする方法。

Images