JP2010504509A - シーン（情景）の３ｄ画像を捕捉する方法及びシステム - Google Patents

Abstract

シーンの３Ｄ画像を捕捉するため、シーンは光供給装置の放出する被変調光で照射され、ロックイン画素センサセルのアレイに画像表示される。ロックイン画素センサセルは放出された光を、それがシーン内の物体又は生物により散乱又は反射された後、検出する。ロックイン画素センサで検出された光の変調位相が特定され、発光時の光の変調位相と既知の関係にある基準変調位相が用意される。基準変調位相と、ロックイン画素センサセルで検出された光の変調位相に基づいて、シーンに関する深さ情報が計算される。被変調光は光供給装置の、各々が被変調光の一部を放出するようにした個別発光素子複数により放出され、基準変調位相は発光素子の放出する被変調光の部分の変調位相の平均値として用意される。

Description

本発明は３Ｄ（３次元）画像化システムに関する。

空間の任意部分の３Ｄ表示を作成するシステムには、多数の異分野において種々の潜在的用途がある。具体的にほんの数例を挙げると、自動車センサ技術（例えば、車両搭乗者検出及び分類）、ロボットセンサ技術（例えば、物体識別）又は安全工学（例えば、工場設備監視）がある。通常の２Ｄ画像化と違って、３Ｄ画像化システムは対象シーンに付いて深さ情報を要する。換言すれば、１つ又は複数の観測物体と光学受信器間の距離が決定される必要がある。例えばレーダー応用で用いられる距離測定のための良く知られている手法は、測定信号の発信と反響リターン間の時間間隔の時間調整である。この所謂伝搬時間（ＴＯＦ）手法は、所定媒体内の既知の伝搬速度での信号に対して、被測定距離は伝搬速度と信号の往復に要する時間の積により与えられると云う原理に基づく。

光学的画像化システムの場合、測定信号は光波から成る。本願明細書においては、用語「光」は可視、赤外（ＩＲ）及び紫外（ＵＶ）光を含むものと理解されるべきである。

光波による距離測定は一般に、放出光の強度を時間的に変化させることを要する。ＴＯＦ法は例えば、移相技術又はパルス技術を用いることでも良い。移相技術では、放出光の振幅が周期的に変調され（例えば、正弦波変調により）、発光時の変調の位相が受光時の変調の位相と比較される。パルス技術では、光は周期性を要しない離散的パルスとして放出され、変調位相は通常最大測定距離と最小測定距離間の差を光の速度で割ったものの約２倍である。この手法では、伝搬時間間隔は放出光信号と受信光信号間の位相比較により位相差として特定される。そのような位相比較では、復調信号と放出光信号との同期が必要となる。光の速度で与えられる伝搬速度が高いため、パルス技術と移相技術に基づく距離測定で出くわす根本的困難は、測定装置に付いて時間分解能を要することにある。実際、センチメートル台の空間分解能は１０^−１１秒（１０ｐｓ）台の時間分解能を要する。

パルス光法と移相法の何れでも、時間間隔は一般に電気的領域で測定される。従って、測定装置の同期に影響を及ぼす電気伝搬時間及び遅延には測定精度に対する決定的影響がある。この点に関する現在の問題は、電子部品における信号線上の電気伝搬時間及び遅延の未知の変動及びドリフトである。例えば、製造工程（例えば半導体製造）における公差のために同一種のデバイス間の変動が起こるであろう。更に、例えば温度変動又は部品老化のためにドリフトが動作中に生じることもある。これ等の変動及びドリフトは測定精度に対して有害な作用をもつ。

その結果、より信頼性のある同期化を定めることによりこの問題を克服する努力がなされている。例えば、ＷＯ９８／１０２５５においてＳｃｈｗａｒｔｅにより、光供給モジュールから光受信カメラの１つ又は複数のセンサセルに光学帰還経路を設けることが提案されている。ＤＥ４４３９２９８においてＳｈｗａｒｔｅが示しているように、放出光を受信器に反射させずに、例えば光学ファイバを通して、案内することにより同期化を目的とする位相基準を得ることができる。

国際特許出願ＰＣＴ/ＥＰ２００６／０６０３７４には、改良された３Ｄ画像化システムが提案されている。この特許出願は、光をシーン内に放出する光供給装置と、散乱光を検出することによりシーンを画像化する画像化センサを含む３Ｄ画像化システムを開示している。システムはまた、光伝搬時間に基づきシーンに関連する距離情報を特定する計測装置と、同期情報を計測装置に提供する同期化手段を含む。上記問題の克服のため、同期化手段は光供給手段内に電気基準信号を発生する手段を含み、この基準信号は放出光から直接得られるようにしている。

ＷＯ９８／１０２５５ ＤＥ４４３９２９８ ＰＣＴ/ＥＰ２００６／０６０３７４

本発明の目的は、シーンの３Ｄ画像を捕捉する改良方法を提供することにある。

この目的は請求項１に記載の方法により達成される。
シーンの３Ｄ画像を捕捉するため、シーンは光供給装置の放出する被変調光で照射され、ロックイン画素センサセルのアレイに画像表示される。ロックイン画素センサセルは放出された光を、それがシーン内の物体又は生物により散乱又は反射された後、検出する。ロックイン画素センサで検出された光の変調位相が特定される。用語「変調位相」はここでは、変調の位相を指し、光を形成する電磁波の位相との混同を避けるものとして用いられる。光供給装置における発光時とロックイン画素センサセルにおける受光時との変調位相の差を特定することにより直接、光が進んだ距離を特定することができる。より一般には、発光時の光の変調位相と既知の関係にある基準変調位相が用意される。基準変調位相と、ロックイン画素センサセルで検出された光の変調位相に基づいて、シーンに関する深さ情報が計算される。本発明の重要な側面によれば、被変調光は光供給装置の、各々が被変調光の一部を放出するようにした個別発光素子複数により放出され、基準変調位相は発光素子の放出する被変調光の部分の変調位相の平均値として用意される。上記のように、発光素子を駆動する駆動信号と放出される光出力との間の遅延に変動のある場合がある。用途によっては、例えば車両シートの搭乗者検出又は分類では、３Ｄ画像化システムはｃｍ範囲の精度が要求される。これは、遅延の要求精度が約３０ｐｓ（１０ｎｓを超える）でなければならなくなることを意味する。基準変調位相の源としてたった１つの発光素子が用いられるなら、この精度は従って製造公差、部品老化及び温度ドリフトに関する極めて厳しい要求条件を意味することになる。本発明では、複数の発光素子を用い、基準変調位相を異なる発光素子の放出する光の変調位相の平均値として用意することが提案される。従って、個別発光素子に対する製造要求条件が幾分緩和されることになろう。

本発明の第１の実施態様によれば、光供給装置内の個別発光素子からの被変調光を収集することにより基準変調位相が用意される。収集被変調光全体としての変調位相が次いで検出され、基準変調位相として用いられる。

本発明のもう１つの実施態様によれば、発光素子が個別に放出する被変調光の部分の変調位相が検出され、次いでこれ等変調位相の平均値が計算され、基準変調位相として用いられる。

発光素子の放出する被変調光の部分の変調位相の平均値は好ましくは、各発光素子がどれだけシーンの照射に寄与するかを考慮する。個別発光素子がシーンの照射に略均等に寄与する場合、被変調光の異なる部分の変調位相は好ましくは平均値に略均等に寄与するようにする。個別発光素子がシーンの照射に異なる程度に寄与する場合、被変調光の異なる部分の変調位相は好ましくは平均値に対応する程度に寄与するようにする。

本発明はまた、前記方法を実施するように構成される３Ｄ画像化システムに関する。そのような３Ｄ画像化システムは好ましくは、被変調光をシーン内に放出する複数の個別発光素子を有する光供給装置と、光供給装置で放出された光りの基準変調位相を検出するための少なくとも１つの基準光センサと、カメラ、例えばＣＭＯＳ又はＣＣＤカメラを備える。カメラはロックイン画素センサセルのアレイと、シーンをロックイン画素センサセルのアレイ上に画像表示する光学機構とを含み、ロックイン画像センサセルで検出された光の変調位相を動作中に特定する。画像化システムは更に、基準光センサ少なくとも１つとロックイン画素センサセルとに作動的に連結され、基準変調位相とロックイン画素センサセルで検出された光の変調位相に基づいてシーンに関する深さ情報を計算する計測装置を含んで成る。動作中に、各個々の発光素子は被変調光の一部を放出し、基準光センサは基準変調位相を個別発光素子の放出する被変調光の部分の変調位相の平均値として用意する。

本３Ｄ画像化システムの第１の実施態様によれば、基準光センサは光供給装置内、個別発光素子の近傍に配置され、個別発光素子からの光を収集できるようにして成る。或いはまた、本システムは個別発光素子からの光を収集し、個別発光素子からの収集光を基準光センサに案内するように配置された光ガイドを含んで成るようにしても良い。そのような光ガイドは例えば、光ファイバを含むようにしても良い。だが、好ましくは、光ガイドは、発光素子の前面に配置された実質的に透明な板部（例えば、熱可塑性材料から成る）と、板部に連結され、好ましくは板部と同一材料から成り、それと共に単一片として形成される環状光パイプ部とを含むようにする。発光素子の放出する光の少量は従って、板部により抑えられ、内部反射を通して光ガイドの光パイプ部に到達し、光ガイドは次いでそれを基準光センサに案内する。もう１つの代替例として、本３Ｄ画像化システムは、各々が光を個々の発光素子から基準光センサに案内するように配置された複数の光ガイドを含むようにすることができる。その結果、基準変調位相は収集光全体から得られ、これにより平均化が本来的に用意される。

基準光センサは例えばフォトダイオードでも良いが、好ましくは１つ又は複数のロックイン画素センサセルから成るようにする。これ等はカメラの一部でも良く、このことは同一ハードウェアが基準変調位相とシーン情報を検索するのに用いられることを示す。このことは勿論、基準光センサとして用いられる画素が従ってシーンからの光を検出するのに用いられる画素と同一の老化及び温度効果（熱運動）を受けやすいことから、特に有利と考えられる。本方法の結果は従って、この特定実施態様では更に正確なものと期待される。

本システムのもう１つの実施態様によれば、複数の個別ロックイン画素センサセルと複数の個別光ガイドがあって、各光ガイドは個々の発光素子からの光を基準光センサの個々のロックイン画素センサセルに案内するように配置される。この場合、計測装置は、基準変調位相を基準光センサの個別ロックイン画素センサセルで検出された光の変調位相の平均値として計算するように構成することができる。

本発明の更なる詳細及び利点は非限定実施態様数例の、添付図面に関する以下の記載から明らかになろう。図面において：
図１は３Ｄ画像化システムの第１の実施態様の概略図であり、
図２は３Ｄ画像化システムの第２の実施態様の概略図であり、
図３は３Ｄ画像化システムの第３の実施態様の概略図である。

図１は、参照番号１０で全体的に特定される３Ｄ画像化システムの第１の実施態様を示す。３Ｄ画像化システム１０は光をシーンに放出する光供給装置１２と、シーンを画像表示する画像化センサ１４を含む。画像化センサ１４はそれ自体既知のように集束レンズ（図示せず）等の必要光学付属品と、ＣＣＤ、ＣＭＯＳ及び/又はＴＦＡ等の適宜の技術何れかで実行される電子カメラチップを含む。従って、画像化センサ１４はシーンの画素毎の画像を作成する個別ロックイン画素センサセル１６（各々が対象シーンの小部分からの光を受け取る）の２次元アレイを含む。

光供給装置１２は発光ダイオード（ＬＥＤ）等の個別発光素子１８数個を含み、これ等素子は光供給ドライバ２０により一括して駆動される。信号源２２が光供給ドライバ２０及び光ゲートドライバ２４に入力信号を提供する。光ゲートドライバ２４の出力は画像化センサ１４に接続されている。適宜の電子計算装置、例えばディジタル信号プロセッサ（ＤＰＳ）を含む計測装置２６が画像化センサ１４の出力に接続されている。

動作において、信号源２２はその出力上に変調信号Ｅ１を発生し、この変調信号Ｅ１を光供給ドライバ２０に送る。後者は光供給装置１２を駆動信号Ｅ２で駆動し、被時間変調光信号Ｌ１を物体３０（例示目的での）から成る対象シーンに放出する。光信号Ｌ１の時間変調の例に、正弦振幅変調又は周期的パルス化発光方式のものがある。被変調光信号Ｌ１は物体３０により反射又は散乱され、復帰光信号Ｌ２を形成し、復帰光信号Ｌ２は画像化センサ１４により入射信号として受光される。変調信号Ｅ１はまた、光ゲートドライバ２４に送られる。光ゲートドライバ２４は変調信号Ｅ１を復調信号Ｅ３に変換し、画像化センサ１４はこの復調信号Ｅ３を受信する。この復調信号Ｅ３と検出光信号Ｌ２により、画像化センサ１４は移相情報信号Ｅ４を生成し、移相情報信号Ｅ４は計測装置１４に送られ、物体３０に関する距離情報を抽出する。

３Ｄ画像化システム１０は、発光素子１８と隣接して全発光素子１８からの光を収集するように光供給装置１２に配置されたフォトダイオード２８を含む。フォトダイオード２８は光電変換によって、放出光から出力信号Ｅ５を引き出す。電気出力信号Ｅ５は従って、個別発光素子からフォトダイオード２８の受信する光信号の平均値に対応する。ミキサー素子３２はフォトダイオード２８の出力信号Ｅ５と、その入力における復調信号Ｅ３とを受信し、その出力として基準変調位相信号Ｅ６を供給する。ミキサー素子３２はフォトダイオード２８と共に、画像化センサ１４のセンサセル１６の機能を模倣するように成っている。

図２は３Ｄ画像化システム１０のもう１つの実施態様を示す。以下に、前述の実施態様との違いのみを論じる。図２の３Ｄ画像化システムでは、単一の独立したセンサセル２２８が光供給装置１２内にその発光素子１８に近接して、全発光素子１８からの光を収集するように設置されている。センサセル２２８は、画像化センサ１４のセンサセル１６と実質的に同一構成のものである。センサセル１６と同様に、センサセル２２８には復調信号Ｅ３が供給される。図１の画像化システムと違って、本３Ｄ画像化システムは、同期信号Ｅ６の機能を有する平均化基準電子記号をセンサセル２２８が直接供給するので、ミキサー素子を要しない。光供給装置１２内に設置される独立センサセル２２８は「零」距離測定に本質的に対応する変調位相基準を用意することが理解されるであろう。計測装置２６は、センサセル２２８からの同期信号Ｅ６と画像化センサ１４からの変調位相情報信号Ｅ４とに基づいて距離情報を特定する。

図３は３Ｄ画像化システム１０の更にもう１つの実施態様を示す。図３の３Ｄ画像化システムでは、光ガイド３４、例えば光ファイバ、ミラー及び/又はプリズム光学素子が全発光素子１８からの光を個別ロックイン画素センサセル１６の２次元アレイの専用領域３２８に案内するのに用いられる。領域３２８のロックイン画素センサセルは従って、平均化基準変調位相信号Ｅ６を用意する。領域３２８のセンサセルは、光ガイド３４内の光路の長さに実質的に対応する変調位相基準を用意することが理解されるであろう。計測装置２６は、領域３２８のセンサセルからの同期信号Ｅ６と画像化センサ１４からの変調位相情報信号Ｅ４とに基づいて距離情報を特定する。

１０ ３Ｄ画像化システム
１２ 光供給装置
１４ 画像化センサ
１６ ロックイン画素センサセル
１８ 発光素子
２０ 光供給ドライバ
２２ 信号源
２４ 光ゲートドライバ
２６ 計測装置
２８ フォトダイオード
３０ 物体
３２ ミキサー
２２８ センサセル
３２８ 専用領域
Ｅ１ 変調信号
Ｅ２ 駆動信号
Ｅ３ 復調信号
Ｅ４ （変調）位相情報信号
Ｅ５ 出力信号
Ｅ６ 基準変調位相信号
Ｌ１ 被時間変調光信号
Ｌ２ 帰還光信号

Claims (13)

1. 光供給装置で放出される被変調光をシーンに照射し、
   該シーンをロックイン画素センサセルのアレイ上に画像表示し、且つ該シーン内の散乱光を上記ロックイン画素センサセルにて検出し、
   上記ロックイン画素センサセルで検出された光の変調位相を特定し、
   基準変調位相を用意し、
   該基準変調位相と、上記ロックイン画素センサセルで検出された光の上記変調位相に基づいて、上記シーンに関する深さ情報を計算して成る、シーンの３Ｄ画像を捕捉する方法において、
   上記変調光が上記光供給装置の個別発光素子複数により、それ等各々が変調光の一部を放出するようにして放出され、且つ
   上記基準変調位相が上記発光素子の放出する被変調光の部分の変調位相の平均値として用意されるようにして成ることを特徴とする方法。
2. 前記基準変調位相の用意が、前記発光素子からの被変調光を前記光供給装置で収集し、該収集被変調光の変調位相を検出し、且つ該収集被変調光の変調位相を基準変調位相として用いることを含んで成る請求項１に記載の方法。
3. 前記基準変調位相の用意が、前記発光素子の放出する変調光の部分の変調位相を個別的に検出し、変調光の部分の変調位相の平均値を計算し、該計算された平均値を基準変調位相として用いることを含んで成る請求項１に記載の方法。
4. 個別発光素子が前記シーンの照射に略均等に寄与し、被変調光の異なる部分の変調位相が前記平均値に略均等に寄与するようにして成る請求項１〜３何れか１つに記載の方法。
5. 個別発光素子が前記シーンの照射に異なる程度に寄与し、被変調光の異なる部分の変調位相が前記平均値に対応する程度に寄与するようにして成る請求項１〜３何れか１つに記載の方法。
6. 前記請求項何れか１つに記載の方法を実施するように構成された３Ｄ画像化システム。
7. 非変調光をシーン内に放出する光供給装置と、
   基準変調位相を検出するための少なくとも１つの基準光センサと、
   ロックイン画素センサセルのアレイと上記シーンを上記ロックイン画素センサセルのアレイ上に画像表示するための光学機構とを含み、上記ロックイン画像センサセルで検出された光の変調位相を特定するように構成、配置されたカメラと、
   上記基準光センサ少なくとも１つと上記ロックイン画素センサセルとに作動的に連結され、上記基準変調位相と上記ロックイン画素センサセルで検出された光の上記変調位相に基づいて上記シーンに関する深さ情報を計算する計測装置とを含んで成る、シーンの３Ｄ画像を捕捉するための、請求項６に記載の３Ｄ画像化システムであって、
   上記光供給装置が、各々が上記被変調光の一部を放出するようにした個別発光素子複数を含むこと、且つ
   上記基準光センサが、上記基準変調位相を上記発光素子の放出する被変調光の部分の変調位相の平均値として用意するように構成、配置されて成ることを特徴とする３Ｄ画像化システム。
8. 前記基準光センサが前記光供給装置内で前記個別発光素子の近傍に配置され、該個別発光素子からの光を収集できるようにして成る請求項７に記載の３Ｄ画像化システム。
9. 前記個別発光素子からの光を収集し、該個別発光素子からの収集光を前記基準光センサに案内するように配置された光ガイドを含んで成る請求項７に記載の３Ｄ画像化システム。
10. 各々が光を個々の発光素子から前記基準光センサに案内するように配置された複数の光ガイドを含んで成る請求項７に記載の３Ｄ画像化システム。
11. 前記基準光センサがロックイン画素センサセルを含んで成る請求項７に記載の３Ｄ画像化システム。
12. 前記基準光センサが前記カメラの１つ又は複数のロックイン画素センサセルを含んで成る請求項１１に記載の３Ｄ画像化システム。
13. 前記基準光センサが複数の個別ロックイン画素センサを含み、
    前記３Ｄ画像化システムが、各々が光を個々の発光素子から上記基準光センサの個々のロックイン画素センサセルに案内するように配置された複数の個別光ガイドを含み、
    前記計測装置が前記基準変調位相を、上記基準光センサの個別ロックイン画素センサセルで検出された光の変調位相の平均値として計算するように構成されて成る請求項７に記載の３Ｄ画像化システム。

Images