JP2017524917A - 飛行時間データをビニングするための方法 - Google Patents

Abstract

本発明は、ＴＯＦ測定の正確性を増大させ、その中のノイズを低減するために、位相データおよび信頼度データを含む、シーンからのＴＯＦデータをビニングするための方法であって、複数の変調された信号でシーンを照明することによって複数のＴＯＦデータを取得するステップと、各々の変調された信号を、位相および信頼度データそれぞれによって定義されたベクトルに関連付けるステップと、ビニングされたベクトルを得るために複数のベクトルを加算するステップと、ビニングされたベクトルの位相および信頼度を決定するステップと、シーンの奥行きデータを得るためにビニングされたベクトルの位相および信頼度データを処理するステップとを含む、方法に関する。

Description

本発明は、飛行時間データをビニングするための方法に関する。詳細には、本発明は、ノイズを最小限に抑えながら、より正確な飛行時間の測定を実行するための方法に関する。

飛行時間（ＴＯＦ）技術は、奥行き知覚のための期待される技術である。標準的なＴＯＦカメラシステム３のよく知られている基本的な作動原理が、図１に示される。ＴＯＦカメラシステム３は、専用の照明ユニット１８から対象物までの光の飛行時間（到達時間）を分析することによってシーン（領域、環境）１５の３Ｄ画像を取り込む。ＴＯＦカメラシステム３は、カメラ、たとえば３Ｄセンサ１と、データ処理手段４とを含む。シーン１５は、専用の照明ユニット１８を使用して事前に決定された波長において変調された光１６によって、たとえば少なくとも１つの事前に決定された周波数のいくつかの光パルスによって能動的に照明される。変調された光は、シーン内の対象物から反射されて戻される。レンズ２は、反射された光１７を収集し、対象物の画像をカメラの画像センサ１上に形成する。カメラから対象物の距離に応じて、変調された光の発光、たとえばいわゆる光パルスと、これらの反射された光パルスのカメラにおける受光との間に、遅延が生まれる。反射対象物とカメラの間の距離は、観察された時間遅延および光速度の一定値の関数として決定され得る。

カメラから対象物の距離は、以下の通りに算出することができる。明確にする目的で、信号の一例が、図２に与えられる。変調信号Ｓ１６が、対象物に向けて送信される。対象物に対する反射後、信号Ｓ_φ１７が、光検出器によって検出される。この信号Ｓ_φは、進行時間により、元の信号Ｓと比較して位相φだけ位相シフトされる。たとえば、信号Ｓ１６が、式：

の正弦波の場合、
Ｓ_φは、以下の式：
によって、位相シフトされた波として理解され得る。
いわゆる同相Ｉおよび直角位相Ｑ成分を
および
によって定義することにより、
Ｓ_φは、
として記述され得る。
この式は、極形式のＳ_φを、図３に表されるベクトルとして表すことを可能にし、このとき、φは、Ｓ_φの位相であり、ｒは、信号Ｓ_φの振幅Ａに対応するパラメータであり、いわゆる信頼度にも関連付けられる。

φ、ＩおよびＱは、カメラからの対象物の距離を測定するための重要なパラメータである。これらのパラメータを測定するために、光検出された信号Ｓ_φは、通常、
および
と称される電気参照信号（electrical reference signal）に相関付けられ、
および
は、図２に示されるように、元の光学信号Ｓと比較して、０°、１８０°、９０°および２７０°それぞれによってシフトされた電気参照信号である。得られた相関信号は、以下の通りに規定される。

このとき、２つのパラメータＩおよびＱは、
および

であるように算出され得る。
Ａｓおよびαはそれぞれ、光検出された信号Ｓ_φの増幅変化および相関付けの効率である。

φの抽出は、変調信号Ｓの形状によって決まる。たとえば、Ｓが正弦波である場合、
である。
位相φが知られた後、カメラから対象物の距離Ｄφは、以下の式により引き出され得る。
式中、ｆ_ｍｏｄは、変調周波数であり、ｎは、整数である。

従来技術において、データビニング(data binning)は、画像のノイズを低減するために使用される技術である。これは、小さい観測誤差の影響を低減するために使用されるデータ事前処理技術である。所与の小さいインターバル、すなわちビン内に含まれる元のデータ値は、そのインターバルを表す値、しばしば中央値によって置き換えられる。

画像処理の文脈において、ビニングは、異なる画像データを単一の画像データに組み合わせる手段である。ビニングは、時間的または空間的なものになることができる。時間的ビニングの場合、単一の画素は、異なる時点においてデータを取得し、取得されたデータは、組み合わされて、時間のインターバル（間隔、隔たり）を表す単一のデータを形成する。空間的ビニングの場合、単一の時点において複数の画素によって取得されたデータが組み合わされて、空間のインターバル（間隔、隔たり）を表す単一のデータを形成する。たとえば、４画素の配列が、単一のより大きい画素になり、画素の全体数を低減する。データの数を低減するこの集約によって、分析が容易になる。データをビニングすることはまた、処理された画像に対する読み取りノイズの影響を低減することもできる。

飛行時間測定の文脈において、ビニング技術が実施されているが、これらの方法は正確でないことがよくある。位相φは、しばしば、一連の測定を実行し、測定された位相を平均化することによって得られ、これは、以下の段落で説明される。

特許文献１は、本発明に関連する従来技術の参照文献である。

米国特許出願第２０１４／０４９７６７Ａ１号明細書

正確な測定を得るために、パラメータＩおよびＱの正しい測定を確実にすることが重要である。これらの測定の正確性を改善するための解決策が、提案され続けている。

本発明は、請求項１による、位相データおよび信頼度データを含む飛行時間データをビニングするための方法に関する。

この方法は、飛行時間測定のノイズを大幅に低減することができる。本発明によって得られた、ビニングされた位相φ_ｆは、より正確でもある。

有利には、ビニングは、複数のＴＯＦデータが種々の時間において取得される場合の時間的なものであり、または複数のＴＯＦデータが種々の感光性素子によって取得される場合の空間的なものであり、または空間的および時間的両方のビニングの組み合わせである。

好ましくは、方法は、さらに、信頼度目標パラメータを事前に決定するステップと、ビニングされたベクトルの信頼度が所定の信頼度目標パラメータに到達するように、取得されるＴＯＦデータの数を決定するステップとを含む。

より好ましくは、ビニングが時間的である場合、方法は、さらに、移動閾値を事前に決定するステップと、シーンの移動を検出するステップと、検出されたシーンの移動が、事前に決定された移動閾値を上回る場合にＴＯＦデータを加算することを停止するステップとを含む。この移動閾値は、測定が正確であり続けることを確実にする。

より有利には、ビニングが空間的である場合、方法は、さらに、奥行き閾値を事前に決定するステップと、シーンの奥行きを検出するステップと、検出されたシーンの奥行きが所定の深さ閾値を上回る場合にＴＯＦデータを加算することを停止するステップとを含む。

本発明の他の利点および新規の特徴は、添付の図を併用して以下の詳細な説明からより明白になるであろう。

本発明は、以下の説明および添付の図に照らしてより良好に理解されるものとする。

ＴＯＦカメラシステムの基本的な作動原理を示す図である。 ＴｏＦシステムにおいて相関測定値を決定するために使用される信号の例を示す図である。 反射された信号Ｓ_φの極形式を示すである。 位相ビニングの従来技術の方法を示す図である。 本発明の実施形態によるベクトル加算を示す図である。 本発明の方法によって得られたノイズと、従来技術の方法によって得られたものとを比較するグラフである。

本発明の利点および新規の特徴は、添付の図を併用して以下の詳細な説明からより明白になるであろう。

従来技術では、飛行時間測定のノイズを低減するために、ビニング技術が実施されている。これらの技術の１つが、図４に表される。各々のベクトル
および
は、位相φ_１、φ_２、およびφ_３、ならびにノルム（または信頼度）ｒ_１、ｒ_２、およびｒ_３をそれぞれ有する、反射された、変調された信号Ｓ_ｌ、Ｓ_２およびＳ_３に対応する。これらの３つのベクトルは、（空間的ビニングのために）同じ時間において３つの異なる画素によって得られ、または（時間的ビニングのために）３つの異なる時間において単一の画素によって得られ得る。例示の目的で、３つのベクトル
および
のみが表されているが、方法は、通常、さらに多くの信号および対応するベクトルと共に使用される。

従来技術では、位相ビニングは、非常に簡単なやり方で実行される。ビニングされた位相φ_ｍは、単に、φ_１、φ_２、およびφ_３の平均であり、すなわちφ_ｍ＝
である。

シーンの対象物の距離は、次いで、この平均化された位相φ_ｍから、たとえば式１５を使用することによって算出される。

別の等価の方法は、３つの奥行きＤ_１、Ｄ_２、およびＤ_３をφ_１、φ_２、およびφ_３から算出し、次いで、ビニングされた奥行きＤ_ｍを得るためにＤ_１、Ｄ_２、およびＤ_３の平均化を実行することである。

本発明では、ビニングされた位相を算出するためのより精度の高い技術が提供される。この技術は、図５に表される。ここでも、明確にする目的で、３つの信号Ｓ_１、Ｓ_２，およびＳ_３のみのデータが組み合わされ、またはビニングされるが、本発明はこれに限定されず、任意の数の信号で実施することができる。

方法の第１のステップは、複数の変調された信号でシーンを照明することによって複数の飛行時間データを取得することである。飛行時間データとは、シーンから反射された信号の位相およびノルムまたは信頼度を意味する。この取得は、従来技術において知られている多くの種々の技術、たとえば相関付けなどを用いて実行され得る。

次いで、変調された信号の位相および信頼度が知られた後、各々の飛行時間データは、位相および信頼度データそれぞれによって定義されたベクトルによって関連付けられ、または表される。図５では、３つのベクトル
および
が表される。

各々のベクトル、
および
は、位相φ_１、φ_２、およびφ_３、ならびにノルムまたは信頼度ｒ_１、ｒ_２、およびｒ_３をそれぞれ有する、変調された信号Ｓ_１、Ｓ_２およびＳ_３に対応する。これらの３つのベクトルは、同じ時間において３つの異なる画素によって得られ（空間的ビニング）、または３つの異なる時間において単一の画素によって得られ得る（時間的ビニング）。
次いで、本発明の方法は、「ビニングされたベクトル」と呼ぶことができるもの、すなわち変調された信号に関連付けられたベクトルを加算するまたはビニングすることによって得られるベクトルを得るために、３つのベクトルのベクトル加算を実行することである。各々のベクトル
は、式
の複素指数に関連付けられ得る。

ベクトル加算が実行された後、ビニングされたベクトル
は、
を有する
の複素指数に関連付けることができ、このビニングされたベクトル
の位相φ_ｆおよび信頼度（正確度）ｒ_ｆを決定することが可能である。

ビニングされたベクトル
のこの位相および信頼度は、最終的に、シーンの奥行きデータを得るために使用される。位相φ_ｆは、たとえば、距離パラメータを決定するために式１５に導入され得る。

ビニングは、時間的もしくは空間的なものになることができ、または以下の両方の組み合わせになることができる。
−時間的ビニング場合、組み合わされるＴＯＦデータは、異なる時点、すなわち異なるフレームにおいて取得され、
−空間的ビニングの場合、組み合わされるＴＯＦデータは、同じ時点であるが、異なる感光性素子、たとえばＴＯＦカメラの異なる画素によって取得される。
本発明の利点の１つは、以下のものである。実際の状況では、飛行時間カメラシステムからの対象物の距離を測定するとき、
である場合の構成を得ることは極めてまれである。

故に、本発明によって得られる、ビニングされた位相φ_ｆは、より正確であり、測定のノイズを低減することができる。

図６では、従来技術の方法によって得られたノイズと本発明によって得られたものを比較するグラフが、提示される。

グラフは、Ｘ軸上の信頼度（またはノルム）の関数としてのＹ軸上のノイズ量を示す。円（丸）によって表されるデータは、奥行き生値、すなわちビニングしていない値である。十字によって表されるデータは、ビニング方法が、奥行きドメインに適用された、すなわち従来技術の方法によって適用された奥行き値に対応する。最後に、より濃く暗い十字によって表されるデータは、本発明のＩＱビニングの方法が適用された奥行き値に対応する。

このグラフは、信頼度が高いほど、生データ上のノイズが低いことを実証する。本発明は、信頼度範囲全体上のノイズを２分の１に低減することができ、一方で奥行きドメイン内のビニング、すなわち従来技術の方法は、低信頼度においてノイズを増大させる。

さらなるステップが、方法に対して実施され得る。１つの実施形態では、方法は、さらに、
−信頼度目標パラメータ、たとえば閾値を事前に決定するステップと、
−ビニングされたベクトルの信頼度が、事前に決定された信頼度目標パラメータに到達するように、取得されるＴＯＦデータの数を決定するステップとを含むことができる。
時間的ビニングの場合、方法は、さらに、
−移動閾値を事前に決定するステップと、
−移動閾値に対するシーンの移動を検出するステップと、
−検出されたシーンの移動が、事前に決定された移動閾値を上回る場合、飛行時間データを経時的に加算することを停止するステップとを含むことができる。

移動検出は、従来技術において知られているいくつかの方法によって実行され得る。たとえば、事前に決定された移動閾値が２５ｃｍである場合で、５０ｃｍの移動が検出された場合、データの加算および平均化は停止され、新しい組の取得が開始する。このようにして、結果として生じたビデオストリームは、シーンの非移動部分に時間的にフィルタリングをかけながら、動作のロバスト性を確保する。移動を検出する他の方法は、信頼度の変化および／または存在する他のセンサ、たとえばＲＧＢセンサまたは加速度計を利用することができる。

空間的ビニングの場合、方法は、さらに、
−奥行き閾値を事前に決定するステップと、
−シーンの奥行きを検出するステップと、
−検出されたシーンの奥行きが、事前に決定された奥行き閾値を上回る場合、飛行時間データを加算することを停止するステップとを含むことができる。

この奥行き閾値基準は、さまざまな方法で実施され得る。これは、閾値との簡単な比較になり得るが、インテリジェントなビニングゾーン（ｃｆｒ．スーパー画素）を特定するための反復プロセスにもなり得る。最終的な目標は、シーン内に存在するエッジを維持し、飛行時間データを一緒に加算して、１つのゾーン内の複数の部分に対して類似の（同様の）距離を離してビニングを行うことである。

Claims (7)

1. ＴＯＦ測定の正確性を増大させ、その中のノイズを低減するために、位相データおよび信頼度データを含む、シーンからの飛行時間（ＴＯＦ）データをビニングするための方法であって、
   −複数の変調された信号（Ｓ_１、Ｓ_２、およびＳ_３）で前記シーンを照射することによって複数のＴＯＦデータを取得するステップを含む、方法において、
   さらに、
   −各々の変調された信号を、位相（φ_１、φ_２、およびφ_３）および信頼度データ（ｒ_１、ｒ_２、およびｒ_３）によって定義されたベクトル（
   および
   ）にそれぞれ関連付けるステップと、
   −ビニングされたベクトル（
   ）を得るために複数のベクトルを加算するステップと、
   −前記ビニングされたベクトル（
   ）の前記位相（φ_ｆ）および前記信頼度（ｒ_ｆ）を決定するステップと、
   −前記シーンの奥行きデータ（Ｄ）を得るために、前記ビニングされたベクトル（
   ）の前記位相（φ_ｆ）および信頼度データ（ｒ_ｆ）を処理するステップとを特徴とする、方法。
2. 前記複数のＴＯＦデータが、時間的ビニングを実行するために異なる時間において取得される、請求項１に記載の方法。
3. 前記複数のＴＯＦデータが、空間的ビニングを実行するために異なる感光性素子によって取得される、請求項１に記載の方法。
4. 前記ビニングが、時間的および空間的両方のビニングの組み合わせである、請求項１に記載の方法。
5. さらに、
   −信頼度目標パラメータを事前に決定するステップと、
   −前記ビニングされたベクトル（
   ）の前記信頼度が、前記事前に決定された信頼度目標パラメータに到達するように、取得されるＴＯＦデータの数を決定するステップとを含む、請求項１〜４のいずれか一項に記載の方法。
6. さらに、
   −移動閾値を事前に決定するステップと、
   −前記シーンの移動を検出するステップと、
   −前記検出された前記シーンの移動が、前記事前に決定された移動閾値を上回る場合にＴＯＦデータを加算することを停止するステップとを含む、請求項２に記載の方法。
7. さらに、
   −奥行き閾値を事前に決定するステップと、
   −前記シーンの前記奥行きを検出するステップと、
   −前記検出された前記シーンの奥行きが、前記事前に決定された奥行き閾値を上回る場合にＴＯＦデータを加算することを停止するステップとを含む、請求項３に記載の方法。