JP2020531856A - 低解像度ピクセル画像化による飛行時間深度カメラ - Google Patents

低解像度ピクセル画像化による飛行時間深度カメラ Download PDF

Info

Publication number
JP2020531856A
JP2020531856A JP2020512428A JP2020512428A JP2020531856A JP 2020531856 A JP2020531856 A JP 2020531856A JP 2020512428 A JP2020512428 A JP 2020512428A JP 2020512428 A JP2020512428 A JP 2020512428A JP 2020531856 A JP2020531856 A JP 2020531856A
Authority
JP
Japan
Prior art keywords
different illumination
vcsel array
pixels
optical
depth camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020512428A
Other languages
English (en)
Inventor
マシュー ジョン ローレンソン,
マシュー ジョン ローレンソン,
ヨアヒム ウィルヘルム ヘルミヒ,
ヨアヒム ウィルヘルム ヘルミヒ,
ホルガー ヨアヒム メンヒ,
ホルガー ヨアヒム メンヒ,
ニコラス ウォーカー,
ニコラス ウォーカー,
デン ベルフ, ヤン ヤスペル ファン
デン ベルフ, ヤン ヤスペル ファン
Original Assignee
トルンプ フォトニック コンポーネンツ ゲゼルシャフト ミット ベシュレンクテル ハフツング
トルンプ フォトニック コンポーネンツ ゲゼルシャフト ミット ベシュレンクテル ハフツング
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トルンプ フォトニック コンポーネンツ ゲゼルシャフト ミット ベシュレンクテル ハフツング, トルンプ フォトニック コンポーネンツ ゲゼルシャフト ミット ベシュレンクテル ハフツング filed Critical トルンプ フォトニック コンポーネンツ ゲゼルシャフト ミット ベシュレンクテル ハフツング
Publication of JP2020531856A publication Critical patent/JP2020531856A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/484Transmitters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本発明は、VCSELアレイ(100)と、光学装置(210)と、評価器(255)と、少なくとも1つの検出器ピクセル(222)を備える光検出器(220)とを備える飛行時間深度カメラ(200)であって、前記VCSELアレイ(100)または前記光学装置(210)は、前記飛行時間深度カメラ(200)の所定の視野(300)内の基準面に異なる照明パターン(20)をもたらすように構成され、前記光検出器(220)は、前記異なる照明パターン(20)を検出するように構成され、前記評価器(255)は、前記検出された異なる照明パターン(20)に基づいて所定の数Pのピクセルからなる解像度で前記視野(300)の深度画像(50)を再現するように構成され、前記検出された異なる照明パターン(20)の数Nは、前記ピクセルの所定の数Pの少なくとも5%、好ましくは前記ピクセルの所定の数Pの少なくとも10%、最も好ましくは前記ピクセルの所定の数Pの少なくとも20%である、飛行時間深度カメラ(200)を説明する。さらに本発明は、飛行時間測定を実行する方法および対応するコンピュータプログラム製品に関する。【選択図】 図2

Description

本発明は、低解像度ピクセル画像化による飛行時間深度カメラ、飛行時間測定を実行する対応する方法、および対応するコンピュータプログラム製品に関する。
構造化光投影法が、物体の三次元形状(または、3D形状)の測定に適している。3D形状測定に一般的に使用される構造化光投影法は、当技術分野において、フリンジ投影法またはモアレ法として知られている。この既知のモアレ法は、通常は、2つのコヒーレントビームの干渉の結果であってよい周期的な光パターンを投影し、前記物体上に変形したラインパターンを形成し、この変形したラインパターンおよび基準のラインパターンから物体の3D形状を合成することを含む。構造化光投影技術の用途は、工場および研究所において物体、機械的な部品、および機械部品の3D形状を測定することである。
WO 2005/049840 A2が、この点に関して、とくに構造化光投影および干渉測定法に適合した物体の三次元形状(または、3D形状)を測定するためのプロセスおよび装置を開示している。
US 2015/0362585 A1が、光照射野の光源として構成された2D平面VCSEL光源を使用した3D画像化およびスキャンのための装置および方法を開示している。
US 2017/0115497 A1が、エミッタの面発光アレイと、符号化パターンを生成するための2つの光学素子とを備える符号化パターン発生器を開示している。
本発明の目的は、3Dまたは深度画像をもたらすための改良された装置および方法を提供することである。本発明は、独立請求項によって定められる。従属請求項が、好都合な実施形態を定める。
第1の態様によれば、飛行時間深度カメラ(time-of-flight depth camera)が提供される。飛行時間深度カメラは、VCSELアレイと、光学装置と、評価器と、少なくとも1つの検出器ピクセルを備える光検出器とを備える。VCSELアレイおよび/または光学装置は、飛行時間深度カメラの所定の視野内の基準面に異なる照明パターンをもたらすように構成される。光検出器は、異なる照明パターンを検出するように構成される。評価器は、検出された異なる照明パターンに基づいて所定の数Pのピクセルからなる解像度で視野の深度画像を再現するように構成される。検出された異なる照明パターンの数Nは、ピクセルの所定の数Pの少なくとも5%、好ましくはピクセルの所定の数Pの少なくとも10%、最も好ましくはピクセルの所定の数Pの少なくとも20%である。検出された異なる照明パターンの数Nは、ピクセルの所定の数Pよりも少なくてよい。検出された異なる照明パターンの数Nは、ピクセルの所定の数Pの50%未満、好ましくはピクセルの所定の数Pの40%未満、最も好ましくはピクセルの所定の数Pの30%未満であってよい。
高解像度の深度画像は、通常は、高解像度の検出器を必要とする。そのような高解像度の検出器は、例えば、アレイ配置の単一光子アバランシェダイオード(SPAD)である。上述の飛行時間深度カメラは、光検出器、光学装置、およびVCSELアレイの間で複雑さを分割することにより、このような極端な解決策を回避する。光検出器の各検出器ピクセルが、視野の1つの照明パターンの独立した画像をもたらす。これは、検出器ピクセルが1つしかない場合、光学装置およびVCSELアレイがすべての検出される異なる照明パターンをもたらすことを意味する。検出器ピクセルが2つ、3つ、4つ、またはそれ以上である場合、もたらされる照明パターンの数を減らすことができ、各々の検出器ピクセルは、たとえもたらされる照明パターンが同じであっても、視野内の照明パターンの少なくとも一部の異なる照明パターンを検出する。最後に、照明パターンをそれぞれの検出器ピクセルへと画像化するために使用される画像化光学系が、各々の検出器ピクセルが視野内のシーン(scene(光景、景色、又は眺め等))全体の異なる照明パターンを決定するかどうかを決定する。検出される異なる照明パターンの総数は、シーンの各サブ部分が追加情報をもたらすわけではないため、深度画像の解像度と同じである必要はない。このアプローチは、圧縮可能な信号または画像の非適応線形測定値の小さな集合が、再現および処理のための充分な情報を含むという理解に基づく。実際には、これにより、標準的な飛行時間カメラの一種の反転である飛行時間深度カメラが得られ、視野内のシーンへと投影される多数の(ほぼ)直交投影パターンを生成することができる照明装置が、シーンからのすべての反射光を収集する低解像度かつ極端な場合には単一ピクセルであるカメラとともに使用される。収集されたデータは、再現アルゴリズムによって処理され、必要な解像度のマルチピクセル画像が生成される。コンピュータ再現アルゴリズムは、例えば、投影された光パターンの各々について単一センサピクセルからデータを取得し、視野内のシーンのマルチピクセル深度画像を生成する。このようなアルゴリズムの例が、“Structured Compressed Sensing:From Theory to Applications”;Marco F.Duarte et al.;arXiv:1106.6224v2 [cs.IT] 28 Jul 2011(https://arxiv.org/pdf/1106.6224.pdf)という論文に記載されている。この論文は、本明細書に援用される。この手法によれば、本質的にほとんどの画像が圧縮可能であり、例えば画像圧縮(例えば、JPEG圧縮)において利用されているように、生のピクセルデータよりも少ない量の情報によって表現することができるため、使用されるパターンの数を画像化されるピクセルよりも大幅に少なくすることができる。飛行時間深度カメラの視野内のシーンの構造に応じて、深度画像のピクセル数のわずか5%に相当する数の異なる照明パターンを検出するだけで充分な場合がある。これは、例えば、100×100ピクセルの深度画像が、わずかに500個の異なる照明パターン(ほぼ直交する投影パターン)の検出しか必要としないことを意味する。この手法は、例えば、複雑さおよびコストゆえにアレイとしては実装されない高い時間分解能の(単一ピクセルの)光検出器の使用を可能にすることができる。
VCSELアレイと光学装置との組み合わせによってもたらすことができる異なる照明パターンは、擬似ランダム照明パターン(ノイズパターン)であってよい。
VCSELアレイは、アドレス可能なVCSELアレイであってよい。VCSELアレイは、VCSELアレイの異なるVCSELをアドレスすることによって異なる照明パターンをもたらすように構成される。単一のVCSELまたはVCSELの異なるグループを、対応する駆動電流を供給することによって単一のVCSELまたはVCSELのグループを独立してオンまたはオフに切り替えることができるように、アドレスすることが可能であってよい。
VCSELアレイのVCSELを、VCSELアレイによってもたらされる異なる照明パターンの数が増加するように、ランダムなパターンで配置することができる。VCSELの規則的なパターン(例えば、正方形または六角形など)は、もたらされる照明パターンが深度画像の再現に有用であるようには充分に異なっていないという結果を有し得る。したがって、VCSELのメサを、ランダムなパターンで分布させることができる(例えば、規則的な基準パターンに対するメサのランダムなシフト)。VCSELのこのランダムなパターンは、VCSELアレイのVCSELの一部またはVCSELのグループのみが同時にオンにされる(例えば、3×3のVCSELまたはVCSELのグループを備えるVCSELアレイの5つのVCSELまたはVCSELのグループが同時に切り替えられる)場合に、より固有の照明パターンを可能にすることができる。照明パターンのランダム性を、VCSELの異なる形状の発光領域(例えば、円形、矩形、三角形、異なるサイズ、など)のランダムな分布によって、さらに増加させることができる。
同時にアドレスされるように構成されたVCSELアレイのアドレス可能なVCSELは、所定の視野が照明パターンで照明されるように、光学装置を照明するように構成される。この場合、光学装置と組み合わせたVCSELアレイの各々の切り替え状態を、飛行時間深度カメラの視野内のシーン全体を照明するように構成することができる。
これに代え、あるいはこれに加えて、同時にアドレスされるように構成されたVCSELアレイのアドレス可能なVCSELを、所定の視野のサブ部分が照明パターンで照明されるように、光学装置を照明するように構成することができる。所定の視野の2つ、3つ、4つ、またはそれ以上のサブ部分が、視野をカバーすることができる。VCSELアレイの異なる切り替え状態と光学装置との組み合わせが、例えば、所定の視野の異なるサブ部分をスキャンすることができる。この場合、所定のピクセル解像度での深度画像の再現は、サブ部分ごとに対応する数の検出される異なる照明パターンを提供することを必要とすると考えられる。
光学装置は、例えば、複製光学構造(例えば、プリズム構造)を備えることができる。複製光学構造は、照明パターンが2つ、3つ、4つ、またはそれ以上のサブ照明パターンからなるように、照明パターンの全体にわたってVCSELアレイによってもたらされる光パターンを複製するように構成される。この場合、照明パターンは、いくつかの(本質的に)同一のサブ照明パターンを含む。したがって、VCSELアレイの異なるスイッチング状態によってもたらすことができる限られた数の異なる照明パターンを再使用することができる。例えば、検出器が複数の検出器ピクセルを含む場合、サブ照明パターンの市松模様を使用することが有益であり得る。飛行時間カメラの光学画像化装置を、サブ照明パターンの一部のみ(極端な場合には、1つのみ)を1つの検出器ピクセルへと画像化するように構成することができる。この場合、検出器ピクセルは、並列処理を可能にし、したがって深度画像の再現時間の短縮を可能にする。したがって、許容可能な再現時間で低解像度の検出器にて高解像度の深度画像をもたらすために、低解像度の検出器をアドレス可能なVCSELアレイと組み合わせることが有益であり得る。
VCSELアレイは、例えば、4×4のVCSELまたはVCSELのグループ(16個の切り替え可能なセグメント)を含むVCSELアレイであってよい。1つの照明パターンをもたらすために、セグメントのうちの8つを同時に切り替えることができる。これは、理想的な場合に、深度画像の再現に寄与するために、それぞれの検出器ピクセルについて、各々の照明パターンが他の照明パターンから充分に異なる(疑似ランダムである)ならば、12,870個の異なる照明パターンをもたらす。160×160の解像度の深度画像(P=25,600個のピクセル)は、上述の20%の基準を満たすために、N=5,120個の異なる照明パターンの検出を必要とする。したがって、必要な数の検出される異なる照明パターンをもたらすために、4×4のVCSELアレイで充分であると考えられる。
これに代え、あるいはこれに加えて、光学装置を、光学装置の光学特性を変更することによって異なる照明パターンの少なくとも一部をもたらすように構成することができる。光学装置の光学特性の変更は、VCSELアレイによってもたらされるレーザ光から独立して、光学装置による異なる照明パターンの提供をもたらすことができる。
検出される異なる照明パターンの数Nを、検出器ピクセルの数Dと、もたらされた異なる照明パターンの数とによって決定することができる。もたらされる異なる照明パターンの数は、アドレス可能なVCSELアレイによってもたらされる異なる照明パターンの数Vと、光学装置によってもたらされる異なる照明パターンの数Oとの積V×Oによって与えられる。Vを、4〜0.7×Nの間、好ましくは10〜0.5×Nの間、最も好ましくは50〜Integer(Nの平方根)+1の間で選択することができる。Oを、2〜0.7×Nの間、好ましくは10〜0.5Nの間、最も好ましくは50〜Integer(Nの平方根)+1の間で選択することができる。光学装置を、例えば、VCSELアレイの1つの固定された構成においてO=200個の異なる照明パターン(例えば、疑似ランダム照明パターン)をもたらすように構成することができる。この場合、20%の要件を満たすために、検出器ピクセルが1つしかない場合でも、アドレス指定可能なVCSELアレイがV=26個の異なる照明パターンをもたらすことで、N=5200個の検出される異なる照明パターンをもたらすことができれば充分である。このような場合、3×3のVCSELまたはVCSELのグループを含むVCSELアレイで充分である。このようなVCSELアレイは、理論的には、9個のセグメントのうちの5つのセグメント(VCSELまたはVCSELのグループ)が同時にオンに切り替えられる場合、最大でV=126個(V=(9×8×7×6×5)/(1×2×3×4×5))の異なる照明パターンをもたらすことができる。この場合、異なる照明パターンをもたらすために、VCSELアレイのこれらの異なる切り替え状態のうちのごく一部のみを使用できれば充分であると考えられる。したがって、VCSELアレイによってもたらすことが理論的に可能である照明パターンのうちのほぼ80%が光検出器の観点から類似しすぎていて深度画像の再現に寄与できないような規則的なパターンで配置されたVCSELを有する単純なVCSELアレイも、使用することが可能かもしれない。
光学装置は、第1の光学素子および第2の素子を備えることができる。光学装置を、第1の光学素子と第2の光学素子との間の空間的関係を変化させるように構成することができる。第1および第2の光学要素のあらゆる種類の相対移動(距離、回転、平行移動、傾斜、など)を使用して、異なる照明パターンをもたらすことができる。2つ、3つ、4つ、またはそれ以上の光学素子を使用することができる。
第1の光学素子は、第1の回折光学素子であってよく、さらには/あるいは第2の光学素子は、第2の回折光学素子であってよい。回折光学素子(DOE)は、対象とする光の波長にほぼ等しい長さの特徴を持つ一連の微細構造で片面または両面が構造化された光学フィルムである。そのような特徴は、光の回折の結果として光学的効果を生み出す。制御された光の拡散パターンおよびレンズなどの特定の光学的機能を、DOEで実現することができる。ホログラムが、DOEの一種である。典型的には、そのようなフィルムは、異なる高さのミクロンサイズの正方形(高さの差は、光の波長と同程度である)またはマイクロ格子の小さなパッチで形成される。2つのDOEを、研究論文“Encoded diffractive optics for full−spectrum computational imaging”;Felix Heide et al.Scientific Reports 6;Article number:33543(2016);doi:10.1038/srep33543(https://www.nature.com/articles/srep33543)において説明されているように適切な設計方法を使用して互いの関係が変更されるときにこのような一式の異なる投影パターンを生じさせるように設計することができる。この研究論文は、本明細書に援用される。
この手法の利点は、次のとおりである。
例えば各々の光学素子をそれらの中心を中心にして回転させることができるアクチュエータなど、光学素子の関係を変更するために使用されるアクチュエータを除き、電子ドライバまたは追加の能動部品が不要である。
VCSELアレイからのすべての光が、シーンを照明するために使用され、光学素子は、光を消すよりもむしろ光の方向を変える。一部の光は光学素子自体において失われるが、例えば2つのDOEを使用する実際の光学系は、これが50%を超えないことを示しており、優れた設計によってこれをさらに減らすことができる。
適切な設計により、少なくとも2つのDOEを使用することで、ゼロ次における高い投影強度(単一のDOEにおける課題)を実質的に排除することができる。
DOEなどの光学素子フィルムは、平坦かつ低コストであるため、光学系のコストおよび複雑さが過度でない。
これに代え、あるいはこれに加えて、光学装置は、異なる照明パターンをもたらすための空間光変調器またはマイクロミラー素子を備えることができる。空間光変調器は、例えば、LCDベースの空間光変調器であってよい。あるいは、空間光変調器は、歪み装置(例えば、1つ以上のアクチュエータ)と組み合わせられた光学素子(例えば、DOE)であってよく、歪み装置は、光学素子の各部の空間的配置を変更する(例えば、DOEを曲げる)ことで異なる照明パターンをもたらすように構成される。
光検出器は、ピクセルの所定の数Pよりも少ない検出器ピクセルを含むことができる。光検出器は、例えば、上述のように、10個未満の検出器ピクセル、より好ましくは5個未満の検出器ピクセル、最も好ましくは1つの検出器ピクセルを含むことができる。
第2の態様によれば、所定の数Pのピクセルからなる解像度で所定の視野からの深度画像をもたらす方法が提供される。この方法は、
VCSELアレイと光学装置との間の光学的な相互作用を変化させるステップと、
光学的な相互作用を変化させることによっていくつかの異なる照明パターンをもたらすステップと、
異なる照明パターンを検出するステップであって、検出された異なる照明パターンの数Nが、所定の視野内の基準面におけるピクセルの所定の数Pの少なくとも5%、好ましくはピクセルの所定の数Pの少なくとも10%、最も好ましくは前記ピクセルの所定の数Pの少なくとも20%であるステップと、
検出された異なる照明パターンに基づいて視野の深度画像を再現するステップと
を含む。
この方法のこれらのステップは、必ず上記の順序で実行される。
第3の態様によれば、コンピュータプログラム製品が提供される。このコンピュータプログラム製品は、上述のいずれかの実施形態による飛行時間深度カメラの少なくとも1つのメモリ素子または飛行時間深度カメラを含む装置の少なくとも1つのメモリ素子に格納することができる符号手段を含む。符号手段は、上述の方法を飛行時間深度カメラの少なくとも1つの処理装置または飛行時間深度カメラを含む装置の少なくとも1つの処理装置によって実行できるように構成されている。
メモリ素子または処理装置は、飛行時間深度カメラ(例えば、電気ドライバ、評価器、など)に含まれてよく、あるいは飛行時間深度カメラを含む装置に含まれてよい。飛行時間深度カメラを含む装置の第1のメモリ素子および/または第1の処理装置が、飛行時間深度カメラに含まれる第2のメモリ素子および/または第2の処理装置と相互にやり取りすることができる。
1つ以上のメモリ素子は、情報、とりわけデジタル情報を格納するように構成された任意の物理的なデバイスであってよい。メモリ素子を、とくには、固体メモリまたは光学メモリのグループから選択することができる。
1つ以上の処理装置は、データ処理、とりわけデジタルデータの処理を実行するように構成された任意の物理的なデバイスであってよい。処理装置を、とくには、プロセッサ、マイクロプロセッサ、または特定用途向け集積回路(ASIC)のグループから選択することができる。
請求項1〜13に記載の飛行時間深度カメラおよび請求項14に記載の方法が、とくには従属請求項に定義されるような類似および/または同一の実施形態を有することを、理解すべきである。
本発明の好ましい実施形態が、従属請求項とそれぞれの独立請求項との任意の組み合わせであってもよいことを、理解すべきである。
さらなる好都合な実施形態が、以下で定められる。
本発明のこれらの態様および他の態様が、以下で説明される実施形態を参照して明らかになり、解明されるであろう。
ここで、本発明を、添付の図面を参照し、実施形態に基づいて、例として説明する。
第1のパターン投影器の主要なスケッチを示している。 第1の飛行時間深度カメラの主要なスケッチを示している。 深度画像を再現する方法の主要なスケッチを示している。 第2のパターン投影器の主要なスケッチを示している。 第3のパターン投影器の主要なスケッチを示している。 第4のパターン投影器の主要なスケッチを示している。 第2の飛行時間深度カメラの主要なスケッチを示している。 深度画像をもたらす方法の主要なスケッチを示している。
図面においては、全体を通して、同じ番号は同じ対象物を指している。図中の対象物は、必ずしも比例尺で描かれていない。
次に、本発明のさまざまな実施形態を、図面によって説明する。
図1が、飛行時間深度カメラ200において使用することができる第1のパターン投影器205の主要なスケッチを示している。パターン投影器205は、規則的な矩形パターンに配置された16個のVCSEL130を含むVCSELアレイ100を備える。VCSELアレイ100のVCSEL130は、この実施形態においては、1つの共通の半導体基板(単一のVCSELアレイチップ)上に配置されている。代案として、VCSELアレイ100は、3つ、4つ、または5つ以上のVCSELアレイチップを備えてもよい。VCSELアレイ100は、すべてのVCSEL130がレーザ光10を光学装置210へと同時に放射するように構成される。光学装置210は、レーザ光10を変換して変換後レーザ光150にすることにより、所定の視野内の基準面(reference plane)への多数の擬似ランダム照明パターン20の投影を可能にする。この場合、光学装置210は、多数(例えば、500)の疑似ランダム照明パターン20をもたらすためのLCD空間光変調器を備える。LCD空間光変調器を、適切なコントローラ(図示せず)によって制御することができる。
図2が、第1の飛行時間深度カメラ200の主要なスケッチを示している。飛行時間深度カメラ200は、500個のVCSEL130を備えるアドレス可能(addressable)なVCSELアレイ100と、VCSELアレイ100によってもたらされる1つの照明パターンとの組み合わせにおいて200個の異なる照明パターン20をもたらすための歪みデバイスを備える回折光学素子(DOE)とを有するパターン投影器205を備える。パターン投影器205は、レーザ光10を変換して変換後レーザ光150にすることにより、4000個の異なる照明パターン20をもたらすように構成される。飛行時間深度カメラ200は、4つの検出器ピクセルおよび対応する画像化光学系(図示せず)を含む光検出器220をさらに備える。画像化光学系は、照明パターン20によって照明された視野内のシーン(scene)から受光される反射レーザ光215を画像化するように構成される。パターン投影器205および光検出器20は、最大4×4000個の検出照明パターンをもたらすように構成された飛行時間センサモジュール207を構成している。第1の飛行時間深度カメラ200は、所定の時点においてもたらされた照明パターン20に関する情報と、光検出器220によって検出されたそれぞれの検出照明パターンのデータとを受信する評価器255をさらに備える。評価器255は、所定の時間期間内に決定された最大4×4000個の異なる照明パターン20に関してパターン投影器205および光検出器220によってもたらされる情報によって深度画像50を再現するように構成される。評価器255は、パターン投影器205および検出器220を制御するように構成されたコントローラをさらに備えることができ、あるいはそのようなコントローラによって構成されてよい。第1の飛行時間深度カメラ200は、電源(例えば、充電式電池)および/または電力を受け取るための電気インターフェースをさらに備えることができる。
図3が、深度画像50を再現する方法の主要なスケッチを示している。種々の照明パターン20が左側に示されている。各々の照明パターン20は、光検出器220のそれぞれの検出器ピクセルによって検出される視野300内の検出照明パターン32に対応する。検出照明パターン32は、適切な再現アルゴリズム(上記を参照)によって視野300内に見えるシーンの深度画像50を再現するために、ステップ430においてそれぞれの照明パターン20についての情報と組み合わせて使用される。
図4が、飛行時間深度カメラ200において使用することができる第2のパターン投影器205の主要なスケッチを示している。全体的な構成は、図1に関して説明した構成と同様である。この場合、VCSELアレイ100は、単一のVCSEL130またはVCSEL130のグループを個別にオンまたはオフに切り替えることができる切り替え可能なアレイである。VCSEL130を、光学装置210を照明するために、マイクロレンズなどの適切な光学デバイスと組み合わせることができる。レーザ光を発するVCSEL130またはVCSEL130のグループと光学装置210との組み合わせは、好ましくは、視野300内のシーン全体が照明パターン20によって照明されるような組み合わせである。この場合、光学装置210は、歪みデバイスおよび1つの回折光学素子を備える。歪みデバイスは、異なる照明パターン20をもたらすために、回折光学素子の各部分の空間配置を変更するように構成される。したがって、切り替え可能なVCSELアレイ100と光学装置210との組み合わせにより、図3において説明したように視野内のシーンの深度画像50の再現に使用することができる多数の照明パターン20の投影が可能になる。VCSELアレイ100は、例えば、個別に切り替えることができるVCSELの全部で8つのグループ(セグメント)を備える4×2のアレイであってよい。VCSELアレイ100を、各々の切り替え状態において4つのセグメントが同時にオンにされるように構成することができる。これにより、70個の異なる切り替え状態がもたらされ、したがって最大でV=70個の異なる照明パターン20をVCSELアレイ100によってもたらすことができる。光学装置210を、O=50個の異なる照明パターンをもたらすように構成することができる。これにより、P=160×160ピクセルの場合に10%の基準を満たすために充分な最大でN=3500個の異なる照明パターン20が得られる。
図5が、飛行時間深度カメラ200において使用することができる第3のパターン投影器205の主要なスケッチを示している。パターン投影器205は、すべてのVCSEL130がレーザ光10のパルスを同時に発するように構成されたVCSELアレイ100を備える。光学装置は、第1の光学デバイス212(例えば、第1のDOE)および第2の光学デバイス214(例えば、第2のDOE)を備える。第1および第2の光学デバイス212、214の間の空間的関係を、マニピュレータ217によって変更することができる。マニピュレータ217は、この実施形態においては、第1および第2の光学デバイス212、214を、(一方のDOEを固定して)お互いに対して共通の軸を中心にして0.5°刻みで回転させるように構成される。これにより、視野300内のシーンの深度画像50の再現に使用することができる720個の異なる照明パターン20が可能になる。
図6が、飛行時間深度カメラ200において使用することができる第4のパターン投影器205の主要なスケッチを示している。全体的な構成は、図4に関して説明した構成と同様である。この場合、VCSELアレイ100は、単一のVCSEL130またはVCSEL130のグループを個別にオンまたはオフに切り替えることができる切り替え可能なアレイである。VCSELアレイ100は、例えば、個別に切り替えることができるVCSELの全部で16個のグループ(セグメント)を備える4×4のアレイであってよい。VCSELアレイ100を、各々の切り替え状態において8つのセグメントが同時にオンにされるように構成することができる。第4のパターン投影器205は、O個の異なる照明パターンをもたらすように構成された切り替え可能な光変調器を備える光学装置210をさらに備える。光学装置210は、視野にもたらされる異なる照明パターン20が切り替え可能な光変調器によってもたらされる4つの照明パターンのアレイからなるように、切り替え可能な光変調器によってもたらすことができる照明パターンを複製するように構成された複製光学構造216をさらに備える。第4のパターン投影器205は、2×2のセンサピクセル222を備えるセンサ220と相互作用するように構成される(図7を参照)。各々のセンサピクセル222は、4つの照明パターンのアレイ内のサブ照明パターンのうちの1つを監視するように構成される。これにより、4つの画像が得られ、各々の画像は、検出器ピクセル222ごとに160/2×160/2、すなわち80×80のサブ解像度を特徴とする(合計解像度が160×160ピクセルの場合)。したがって、各々の検出器ピクセル222について6400個のピクセルが存在する。センサピクセル222の寄与は、この特別な実施形態においてD=4である。深度画像50の4つの4分の1のうちの1つを再現するために、20%の異なる照明パターン20が必要となり得る。結果として、V×O=1280個の異なる照明パターンを、VCSELアレイ100と光学装置210との組み合わせによってもたらす必要がある。検出される異なる照明パターンの総数Nは、この実施形態において、P=160×160の合計解像度に鑑みて、N=D×V×Oによって与えられる。各々のセンサピクセル222は、それぞれのセンサピクセル222によって担当または観察される深度画像50の一部分を再現するために、V×O(この実施形態においては、1280)個のパターンを検出する。単一の検出器ピクセル222によって観察される深度画像50の一部分は、この実施形態において、解像度P/Dを特徴とする。
VCSELアレイ100に関して、視野300のそれぞれの部分に投影されるセグメントだけを見れば充分である。VCSELアレイ100は、4×4個のセグメントを特徴とすることができ、したがって4分の1画像の各々は、同時に照明される半分のセグメントに関してV=6個の異なる照明パターン20しか生成できない2×2であるセグメント化されたVCSELアレイ110を「見る」と考えられる。したがって、光学装置は、O=214個の異なる照明パターン20を生成する必要があると考えられる。
説明の目的で、種々の事例を解像度P=160×160の場合において比較することができる。
光検出器200:2×2の4つのセンサピクセル222;D=4
各々の画像部分に1280個の異なる照明パターン20が必要
VCSELアレイ100:4×4の16個のセグメント、ただし実際には各々の個別のセンサピクセル222について4つのセグメントのみが動作するため、V=6個のパターン
光学装置210:20%の条件を満たすためのO=214個のパターン
光検出器200:1×1の1個のセンサピクセル222;D=1
5120個の異なる照明パターン20が必要
4×4の16個のセグメントのVCSELアレイ100は、原理的には、8個のセグメントが照明される12,870個の異なる照明パターン20を生み出すことができる。しかしながら、VCSELセグメントパターンは、ピクセルスケールにおいて擬似ランダムノイズではなく、むしろ大きなパッチであるため、あまり「有用」でない可能性がある。VCSELパターンの画像再現における「有用性」は、セグメントの数とセグメントの組み合わせの数との間のどこかにある可能性がある。照明パターンは、それらが互いに充分にノイズ状でなく、画像の再現に充分に有用な異なる照明パターンとして適格であるには、互いに近すぎる可能性がある。この影響を回避するための選択肢は、上述のようにランダムなパターンで配置されたVCSEL130を使用することである。
光学装置210:これに基づいて20%の条件を満たすために、異なる照明パターン20は実質的に不要であるが、実際には、再現された深度画像50において微細なピクセルの詳細を得るために、約100個の異なる照明パターン20をもたらすことができる。
図7が、飛行時間深度カメラ200の主要なスケッチを示している。飛行時間深度カメラ200は、VCSELアレイ100および光学装置210を備える。VCSELアレイ100は、レーザ光10を発するように構成され、次いでレーザ光10は、光学装置210によって変換されて変換後レーザ光150となり、視野300を照明する。変換後レーザ光150の一部が、シーン内の物体によって反射され、反射されたレーザ光は、光学画像化デバイス240(例えば、レンズまたはレンズ装置)によって受光され、光学画像化デバイス240は、受光したレーザ光を光検出器220へと画像化する。反射されたレーザ光は、光検出器220において、特定の時点において検出された検出照明パターンを表す、対応する電気信号を引き起こす。電気ドライバ230が、視野300において多数の異なる照明パターン20を可能にするために、VCSELアレイ100を電気的に駆動し、あるいは随意によりVCSELアレイ100の各々のVCSEL130またはVCSEL130のサブグループを別々に電気的に駆動するように構成される。さらに、電気ドライバ230は、視野300において多数の異なる照明パターン20を可能にするために、光学装置210を駆動するように構成される。コントローラ250が、VCSELアレイ100および光学装置210を制御するために、電気ドライバ230に接続される。コントローラ250は、光検出器220によって検出された反射レーザ光によって引き起こされた電気信号を受信するために、光検出器220にさらに接続される。飛行時間深度カメラ200は、光検出器220によって検出される多数の照明パターン20ならびにVCSELアレイ100および光学装置210によってもたらされる照明パターン20についての対応する情報に基づいて視野300内のシーンの深度画像50を再現するために、この実施形態においてはコントローラ250に含まれる評価器255を備える。飛行時間深度カメラ200は、この実施形態においては、深度画像50の画像データを転送するためのインターフェース235を備える。これに代え、あるいはこれに加えて、インターフェース235を、光検出器220によって受光された反射レーザ光に反応して光検出器220によってもたらされる電気信号の生データを転送するように構成してもよい。生データを使用して、深度画像50を再現することができる。
図8は、所定のピクセル数の解像度で所定の視野からの深度画像をもたらす方法の処理フローの主要なスケッチを示している。ステップ410において、VCSELアレイ100と光学装置210との間の光学的な相互作用が変更される。いくつかの異なる照明パターン20が、光学的な相互作用を変更することによってステップ420においてもたらされる。異なる照明パターンは、ステップ430において、例えば単一の検出器ピクセルを備えてよい光検出器220によって検出される。検出される異なる照明パターンの数は、所定の視野の基準面において、所定のピクセル数の少なくとも5%、好ましくは所定のピクセル数の少なくとも10%、最も好ましくは所定のピクセル数の少なくとも20%である。視野300の深度画像50が、検出された異なる照明パターン20に基づいてステップ440において再現される。
光学系の構成要素間の関係を変更することによって或るパターンから別のパターンへと変化する多数のノイズ状の投影画像を生成する機能を備える光学投影システム(2つのDOEなど)が、例えば単一ピクセルの飛行時間データ画像化システム(圧縮サンプリング画像化)において必要とされる多数の投影パターンを生成するために使用される。1つ以上のレーザパルスが、それぞれ異なるパターンで投影され、単一の「バケット」センサが、反射光から結果としての飛行時間データを収集する。次いで、コンピュータ再現アルゴリズムが、このデータの完全なセットから完全な高解像度深度画像50を生成する。飛行時間カメラは、以下を含むことができる。
1.VCSELチップが2つ(または、3つ以上)の光学素子(DOEなど)を介して光パルスを送信し、光学素子による回折光がノイズパターンとして視野内のシーンへと投影されるパターン生成システム。
2.単一ピクセルのToFセンサが、視野内のシーン全体から反射された光の時間および強度を記録する。
3.例えば外側の光学素子を内側の光学素子に対して少しだけ(例えば、10度)回転させることにより、光学素子間の関係が変更される。
4.VCSELが光学系を介して別の光パルスを送信し、異なるノイズ画像がシーンへと投影され、シーン全体からの反射光が単一ピクセルのToFセンサによって再び記録される。
5.例えば各々の光学素子を各々の変更において10度の角度だけ回転させることができ、したがって2つの光学素子の場合に投影されるパターンの総数が36×36=1,296個であるなど、一連の光学要素の位置変更を完了させると、完全なデータセットが取得される。
6.パターン生成システムによって生成されたパターンの完全なセットを知っている再現アルゴリズムは、データセットを取得し、高解像度深度画像50を再現する。
本発明を、図面および以上の説明において詳細に例示および説明してきたが、そのような例示および説明は、限定ではなく、例示または典型と見なされるべきである。
本開示を検討することで、他の変更が当業者にとって明らかになるであろう。そのような変更は、当技術分野ですでに知られており、本明細書においてすでに説明した特徴に代え、あるいは本明細書においてすでに説明した特徴に加えて使用することができる他の特徴を含むことができる。
当業者であれば、図面、本開示、および添付の特許請求の範囲を検討することで、本開示の実施形態の変種を理解して、生み出すことができるであろう。請求項において、「・・・を備える」という単語は、他の要素またはステップを排除せず、不定冠詞「a」または「an」は、要素またはステップが複数であることを排除しない。特定の手段が互いに異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせを好都合に使用することが不可能であることを意味しない。
請求項中の参照符号を、請求項の範囲を限定するものとして解釈してはならない。
10 レーザ光
20 照明パターン
32 視野内の検出された照明パターン
50 深度画像
100 VCSELアレイ
130 VCSEL
150 変換後レーザ光
200 飛行時間深度カメラ
205 パターン投影器
207 飛行時間センサモジュール
210 光学装置
212 第1の光学デバイス
214 第2の光学デバイス
215 反射レーザ光
216 光学構造の複製
217 マニピュレータ
220 光検出器
230 電気ドライバ
235 インターフェース
240 光学画像化装置
250 コントローラ
255 評価器
300 視野
410 光学的な相互作用を変更するステップ
420 照明パターンをもたらすステップ
430 照明パターンを検出するステップ
440 深度画像を再現するステップ

Claims (13)

  1. VCSELアレイ(100)と、光学装置(210)と、評価器(255)と、少なくとも1つの検出器ピクセル(222)を備える光検出器(220)とを備える飛行時間深度カメラ(200)であって、
    前記VCSELアレイ(100)または前記光学装置(210)は、前記飛行時間深度カメラ(200)の所定の視野(300)内の基準面に異なる照明パターン(20)をもたらすように構成され、
    前記光検出器(220)は、前記異なる照明パターン(20)を検出するように構成され、
    前記評価器(255)は、前記検出された異なる照明パターン(20)に基づいて所定の数Pのピクセルからなる解像度で前記視野(300)の深度画像(50)を再現するように構成され、
    前記検出された異なる照明パターン(20)の数Nは、前記ピクセルの所定の数Pの少なくとも5%、好ましくは前記ピクセルの所定の数Pの少なくとも10%、最も好ましくは前記ピクセルの所定の数Pの少なくとも20%であり、
    前記VCSELアレイ(100)は、アドレス可能なVCSELアレイであり、
    前記VCSELアレイ(100)は、前記VCSELアレイ(100)の異なるVCSEL(130)をアドレスすることによって異なる照明パターン(20)をもたらすように構成され、
    前記光学装置(210)は、複製光学構造(216)を備え、
    前記複製光学構造は、前記照明パターン(20)が2つ、3つ、または4つ以上のサブ照明パターンからなるように、前記照明パターン(20)を横切って前記VCSELアレイ(100)によってもたらされた光パターンを複製するように構成されており、
    前記検出器(220)は、各々の検出器ピクセル(222)が対応するサブ照明パターンを検出するように構成されている、飛行時間深度カメラ(200)。
  2. 前記異なる照明パターン(20)は、疑似ランダム照明パターンである、請求項1に記載の飛行時間深度カメラ(200)。
  3. 前記VCSELアレイ(100)の前記VCSEL(130)は、前記VCSELアレイ(100)によってもたらされる異なる照明パターン(20)の数が増えるようにランダムパターンにて配置されている、請求項1に記載の飛行時間深度カメラ(200)。
  4. VCSELアレイ(100)と、光学装置(210)と、評価器(255)と、少なくとも1つの検出器ピクセル(222)を備える光検出器(220)とを備える飛行時間深度カメラ(200)であって、
    前記VCSELアレイ(100)または前記光学装置(210)は、前記飛行時間深度カメラ(200)の所定の視野(300)内の基準面に異なる照明パターン(20)をもたらすように構成され、
    前記光検出器(220)は、前記異なる照明パターン(20)を検出するように構成され、
    前記評価器(255)は、前記検出された異なる照明パターン(20)に基づいて所定の数Pのピクセルからなる解像度で前記視野(300)の深度画像(50)を再現するように構成され、
    前記検出された異なる照明パターン(20)の数Nは、前記ピクセルの所定の数Pの少なくとも5%、好ましくは前記ピクセルの所定の数Pの少なくとも10%、最も好ましくは前記ピクセルの所定の数Pの少なくとも20%であり、
    前記VCSELアレイ(100)は、アドレス可能なVCSELアレイであり、
    前記VCSELアレイ(100)は、前記VCSELアレイ(100)の異なるVCSEL(130)をアドレスすることによって異なる照明パターン(20)をもたらすように構成され、
    前記光学装置(210)は、複製光学構造(216)を備え、
    前記光学装置(210)は、前記光学装置(210)の光学特性を変更することによって異なる照明パターン(20)をもたらすように構成されている、飛行時間深度カメラ(200)。
  5. 前記検出された異なる照明パターン(20)の数Nは、検出器ピクセル(222)の数Dと、もたらされる異なる照明パターン(20)の数とによって決定され、
    前記もたらされる異なる照明パターン(20)の数は、前記アドレス可能なVCSELアレイによってもたらされる異なる照明パターン(20)の数Vと、光学装置(210)によってもたらされる異なる照明パターン(20)の数Oとの積V×Oによって与えられ、
    Vは、4〜0.7×Nの間、好ましくは10〜0.5Nの間、最も好ましくは50〜Integer(Nの平方根)+1の間で選択され、
    Oは、2〜0.7×Nの間、好ましくは10〜0.5Nの間、最も好ましくは50〜Integer(Nの平方根)+1の間で選択される、請求項4に記載の飛行時間深度カメラ(200)。
  6. 前記光学装置(210)は、第1の光学素子(212)および第2の素子(214)を備え、前記光学装置(210)は、前記第1の光学素子(212)と前記第2の光学素子(214)との間の空間的関係を変化させるように構成されている、請求項4または5に記載の飛行時間深度カメラ(200)。
  7. 前記第1の光学素子(212)は、第1の回折光学素子であり、前記第2の光学素子(214)は、第2の回折光学素子である、請求項6に記載の飛行時間深度カメラ(200)。
  8. 前記光学装置(210)は、前記異なる照明パターン(20)をもたらすための空間光変調器またはマイクロミラー素子を備える、請求項4または5に記載の飛行時間深度カメラ(200)。
  9. 前記光検出器(220)は、10個未満の検出器ピクセル(222)、より好ましくは5個未満の検出器ピクセル(222)、最も好ましくは1つの検出器ピクセル(222)を備える、請求項4〜8のいずれか一項に記載の飛行時間深度カメラ(200)。
  10. 前記検出された異なる照明パターンの数Nは、前記ピクセルの所定の数Pよりも少なく、好ましくは前記ピクセルの所定の数Pの50%よりも少なく、最も好ましくは前記ピクセルの所定の数Pの40%よりも少ない、請求項1〜9のいずれか一項に記載の飛行時間深度カメラ(200)。
  11. 所定の数Pのピクセルからなる解像度で所定の視野(300)からの深度画像(50)をもたらす方法であって、
    アドレス可能なVCSELアレイであるVCSELアレイ(100)と光学装置(210)との間の光学的な相互作用を変化させるステップと、
    前記光学的な相互作用を変化させることによっていくつかの異なる照明パターン(20)をもたらすステップと、
    前記異なる照明パターン(20)を検出するステップであって、検出された異なる照明パターン(20)の数Nが、前記所定の視野(300)内の基準面における前記ピクセルの所定の数Pの少なくとも5%、好ましくは前記ピクセルの所定の数Pの少なくとも10%、最も好ましくは前記ピクセルの所定の数Pの少なくとも20%であるステップと、
    前記検出された異なる照明パターン(20)に基づいて前記視野(300)の前記深度画像(50)を再現するステップと、
    前記アドレス可能なVCSELアレイの異なるVCSEL(130)をアドレスすることによって異なる照明パターン(20)をもたらすステップと、
    前記照明パターン(20)が2つ、3つ、または4つ以上のサブ照明パターンからなるように、前記アドレス可能なVCSELアレイ(100)によってもたらされた光パターンを、前記照明パターン(20)を横切って、前記光学装置(210)に含まれる複製光学構造(216)によって複製するステップと、
    各々の検出器ピクセル(222)によって対応するサブ照明パターンを検出するステップと、
    を含む方法。
  12. 所定の数Pのピクセルからなる解像度で所定の視野(300)からの深度画像(50)をもたらす方法であって、
    アドレス可能なVCSELアレイであるVCSELアレイ(100)と光学装置(210)との間の光学的な相互作用を変化させるステップと、
    前記光学的な相互作用を変化させることによっていくつかの異なる照明パターン(20)をもたらすステップと、
    前記異なる照明パターン(20)を検出するステップであって、検出された異なる照明パターン(20)の数Nが、前記所定の視野(300)内の基準面における前記ピクセルの所定の数Pの少なくとも5%、好ましくは前記ピクセルの所定の数Pの少なくとも10%、最も好ましくは前記ピクセルの所定の数Pの少なくとも20%であるステップと、
    前記検出された異なる照明パターン(20)に基づいて前記視野(300)の前記深度画像(50)を再現するステップと、
    前記アドレス可能なVCSELアレイの異なるVCSEL(130)をアドレスすることによって異なる照明パターン(20)をもたらすステップと、
    前記光学装置(210)の光学特性を変化させることによって異なる照明パターン(20)をもたらすステップと
    を含む方法。
  13. 請求項1〜10のいずれか一項に記載の飛行時間深度カメラ(200)に含まれる少なくとも1つのメモリ素子または前記飛行時間深度カメラ(200)を含む装置の少なくとも1つのメモリ素子に格納することができる符号手段を含むコンピュータプログラム製品であって、
    前記符号手段は、請求項11または12に記載の方法を前記飛行時間深度カメラ(200)に含まれる少なくとも1つの処理装置または前記飛行時間深度カメラ(200)を含む前記装置の少なくとも1つの処理装置によって実行できるように構成されている、コンピュータプログラム製品。
JP2020512428A 2017-09-01 2018-08-29 低解像度ピクセル画像化による飛行時間深度カメラ Pending JP2020531856A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17188935.5 2017-09-01
EP17188935.5A EP3451023A1 (en) 2017-09-01 2017-09-01 Time-of-flight depth camera with low resolution pixel imaging
PCT/EP2018/073219 WO2019043052A1 (en) 2017-09-01 2018-08-29 DEPTH TIME CAMERA WITH LOW RESOLUTION PIXEL IMAGING

Publications (1)

Publication Number Publication Date
JP2020531856A true JP2020531856A (ja) 2020-11-05

Family

ID=59761810

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020512428A Pending JP2020531856A (ja) 2017-09-01 2018-08-29 低解像度ピクセル画像化による飛行時間深度カメラ

Country Status (6)

Country Link
US (1) US11796640B2 (ja)
EP (2) EP3451023A1 (ja)
JP (1) JP2020531856A (ja)
KR (1) KR20200045549A (ja)
CN (1) CN111213068B (ja)
WO (1) WO2019043052A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023137994A (ja) * 2022-03-18 2023-09-29 維沃移動通信有限公司 投光装置、測距装置及び電子機器

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN208572292U (zh) * 2018-03-18 2019-03-01 宁波舜宇光电信息有限公司 深度信息摄像模组及其基座组件和电子设备
WO2020025382A1 (en) * 2018-08-01 2020-02-06 Lumileds Holding B.V. Depth map generator
DE102018222777A1 (de) * 2018-12-21 2020-06-25 Robert Bosch Gmbh Optoelektronischer Sensor und Verfahren zum Betreiben eines optoelektronischen Sensors
DE102018251719A1 (de) 2018-12-27 2020-07-02 Robert Bosch Gmbh Verfahren und Steuergerät zur Regelung eines Füllstands eines Speichers eines Katalysators für eine Abgaskomponente bei fehlender Sondenbetriebsbereitschaft
US11587247B1 (en) 2019-04-03 2023-02-21 Meta Platforms Technologies, Llc Synchronous event driven readout of pixels in a detector for direct time-of-flight depth sensing
JP2022545748A (ja) 2019-08-30 2022-10-28 エルジー イノテック カンパニー リミテッド Tofカメラ
DE102019217165A1 (de) * 2019-11-07 2021-05-12 Robert Bosch Gmbh Betriebsverfahren und Steuereinheit für ein LiDAR-System, LiDAR-System und Vorrichtung
US11480684B2 (en) * 2020-06-18 2022-10-25 Meta Platforms Technologies, Llc Time of flight depth system including an illumination source with addressable illumination blocks
KR20220075016A (ko) 2020-11-26 2022-06-07 삼성전자주식회사 이미징 장치
FR3117587B1 (fr) * 2020-12-11 2022-12-23 Commissariat Energie Atomique Méthode de mesure compressive de la distribution statistique d’une grandeur physique
CN113395501B (zh) * 2021-06-15 2022-03-08 北京理工大学 一种基于互补性质的傅里叶单像素成像方法
WO2024115392A1 (en) * 2022-11-28 2024-06-06 Ams-Osram Ag Method for configuring a field of view of a low resolution time of flight sensor, system, computer program and computer-readable storage medium

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008021465A1 (de) * 2008-04-29 2009-11-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Entfernungsmesssystem
US20120038903A1 (en) * 2010-08-16 2012-02-16 Ball Aerospace & Technologies Corp. Electronically steered flash lidar
JP2015083978A (ja) * 2009-06-17 2015-04-30 3シェイプ アー/エス 焦点操作装置
US20150362585A1 (en) * 2013-07-12 2015-12-17 Princeton Optronics Inc. 2-D Planar VCSEL Source for 3-D Imaging
US20150378011A1 (en) * 2014-06-27 2015-12-31 Hrl Laboratories Llc Compressive scanning lidar
US20160033642A1 (en) * 2014-07-31 2016-02-04 Raytheon Company Linear mode computational sensing ladar
US20160050401A1 (en) * 2014-08-12 2016-02-18 Mantisvision Ltd. System, method and computer program product to project light pattern
US20170115497A1 (en) * 2015-10-21 2017-04-27 Princeton Optronics, Inc. Coded Pattern Projector

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1687588A2 (en) 2003-11-17 2006-08-09 University de Liege Process and apparatus for measuring the three-dimensional shape of an object
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
WO2013052781A1 (en) * 2011-10-07 2013-04-11 Massachusetts Institute Of Technology Method and apparatus to determine depth information for a scene of interest
US8743923B2 (en) * 2012-01-31 2014-06-03 Flir Systems Inc. Multi-wavelength VCSEL array to reduce speckle
US9443310B2 (en) * 2013-10-09 2016-09-13 Microsoft Technology Licensing, Llc Illumination modules that emit structured light
US9456201B2 (en) * 2014-02-10 2016-09-27 Microsoft Technology Licensing, Llc VCSEL array for a depth camera
US9874638B2 (en) * 2014-03-06 2018-01-23 University Of Waikato Time of flight camera system which resolves direct and multi-path radiation components
US20160205378A1 (en) * 2015-01-08 2016-07-14 Amir Nevet Multimode depth imaging
CN105115445A (zh) * 2015-09-14 2015-12-02 杭州光珀智能科技有限公司 基于深度相机与双目视觉复合的三维成像系统及成像方法
US9992474B2 (en) * 2015-12-26 2018-06-05 Intel Corporation Stereo depth camera using VCSEL with spatially and temporally interleaved patterns
US10007994B2 (en) * 2015-12-26 2018-06-26 Intel Corporation Stereodepth camera using VCSEL projector with controlled projection lens

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008021465A1 (de) * 2008-04-29 2009-11-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Entfernungsmesssystem
JP2015083978A (ja) * 2009-06-17 2015-04-30 3シェイプ アー/エス 焦点操作装置
US20120038903A1 (en) * 2010-08-16 2012-02-16 Ball Aerospace & Technologies Corp. Electronically steered flash lidar
US20150362585A1 (en) * 2013-07-12 2015-12-17 Princeton Optronics Inc. 2-D Planar VCSEL Source for 3-D Imaging
US20150378011A1 (en) * 2014-06-27 2015-12-31 Hrl Laboratories Llc Compressive scanning lidar
US20160033642A1 (en) * 2014-07-31 2016-02-04 Raytheon Company Linear mode computational sensing ladar
US20160050401A1 (en) * 2014-08-12 2016-02-18 Mantisvision Ltd. System, method and computer program product to project light pattern
US20170115497A1 (en) * 2015-10-21 2017-04-27 Princeton Optronics, Inc. Coded Pattern Projector

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023137994A (ja) * 2022-03-18 2023-09-29 維沃移動通信有限公司 投光装置、測距装置及び電子機器
JP7413426B2 (ja) 2022-03-18 2024-01-15 維沃移動通信有限公司 投光装置、測距装置及び電子機器

Also Published As

Publication number Publication date
EP3676637A1 (en) 2020-07-08
US11796640B2 (en) 2023-10-24
US20200217931A1 (en) 2020-07-09
WO2019043052A1 (en) 2019-03-07
EP3451023A1 (en) 2019-03-06
KR20200045549A (ko) 2020-05-04
EP3676637B1 (en) 2022-11-02
CN111213068B (zh) 2023-12-19
CN111213068A (zh) 2020-05-29

Similar Documents

Publication Publication Date Title
JP2020531856A (ja) 低解像度ピクセル画像化による飛行時間深度カメラ
US20240156577A1 (en) Dental scanning system with structured light projection
US11680790B2 (en) Multiple channel locating
EP3500820A1 (en) Structured light projector
US9797708B2 (en) Apparatus and method for profiling a depth of a surface of a target object
US20110080471A1 (en) Hybrid method for 3D shape measurement
CN111649691A (zh) 基于单像素探测器的数字条纹投影三维成像系统及方法
US20230269361A1 (en) System and method for 3d pose measurement with high precision and real-time object tracking
JP2020136837A (ja) 3次元画像用の撮像装置および3次元画像用の撮像表示装置
Edgar et al. 3D computational ghost imaging
KR20130028594A (ko) 구조광 생성 방법, 그 장치 및 그 장치를 이용한 모션 인식 장치
EP3913754A1 (en) Light source for structured light, structured light projection apparatus and system
EP1417453A1 (en) Device and method for 3d imaging
CN112866532B (zh) 一种紧凑型双光路单像素成像系统及不均匀光源校正方法
WO2016034869A1 (en) System and method for condition detection
Barta Gonzàlez Single pixel imaging: a study of the illumination system position

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210427

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210721

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211228