JP2017521660A - 構造化光イメージング用の光パターンを調整するための方法およびシステム - Google Patents

構造化光イメージング用の光パターンを調整するための方法およびシステム Download PDF

Info

Publication number
JP2017521660A
JP2017521660A JP2017500820A JP2017500820A JP2017521660A JP 2017521660 A JP2017521660 A JP 2017521660A JP 2017500820 A JP2017500820 A JP 2017500820A JP 2017500820 A JP2017500820 A JP 2017500820A JP 2017521660 A JP2017521660 A JP 2017521660A
Authority
JP
Japan
Prior art keywords
light
pattern
patterned light
scene
adjustment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017500820A
Other languages
English (en)
Other versions
JP6600348B2 (ja
Inventor
ラズ、ガイ
Original Assignee
フェイスブック,インク.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フェイスブック,インク. filed Critical フェイスブック,インク.
Publication of JP2017521660A publication Critical patent/JP2017521660A/ja
Application granted granted Critical
Publication of JP6600348B2 publication Critical patent/JP6600348B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • User Interface Of Digital Computer (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)

Abstract

調整可能な光パターンを生み出すためのシステムおよび方法が本願明細書において提供される。このシステムは、予め定義された基準に基づいて調整されたパターン化光によってシーンの照明を行うように構成されている投光部と、調整されたパターン化光の反射を受光するように構成されている受光部と、パターン化光の調整を制御し、さらに、受光された反射を解析して、シーン内の対象物の深度マップを得るように構成されているコンピュータ・プロセッサとを含んでよく、その投光部は、光ビームを生み出すように構成されている光源と、xyzデカルト座標系におけるxy平面上の線にほぼ沿って傾動可能な第1の反射器と、前記座標系におけるz軸に沿って傾動可能な第2の反射器とを含んでよく、これらの反射器は、調整されたパターン化光を生じるように光ビームの方向を変更するべく、それらのそれぞれの軸に沿って前後に傾動される。

Description

本発明は一般に、構造化光に関し、より詳細には、構造化光システムにおいて光パターンの調整を行うことに関する。
本発明の背景について記載する前に、下文に使用されるある特定の用語の定義について記載しておくことが助けになろう。
本願明細書で使用される「構造化光」という用語は、既知の画素パターン(例えばグリッドまたは水平バー)をシーン上に投影するプロセスとして定義される。投影されたパターン化光は、表面に至ると変形され、その変形を解析することにより、視覚システムが、シーン中の対象物の深度および表面の情報を計算することが可能になる。構造化光がどのように実現され得るかについてのさらなる詳細を提供するために、単に例示として、特許文献1の全体が本願明細書に援用される。
本願明細書で使用される「空間符号化」という用語は、固定のパターンがシーン上に投影され、センサのカメラによってイメージングされるものとして定義される。固定のパターンは、パターンの各領域が、局所近隣パターンを考慮することによってエピポーラ線に沿って一意に識別され得るように設計される。この方法は、投影されるパターンの電力使用および取得時間の点から効率的であるが、各ラベルに対するいくつかの画素の確保を要し、それゆえに、より低い空間的解像度となる。主要な不利点は、固定のパターンには、異なるパターンを使用して異なるシーン状況に対し応答する柔軟性が欠如しているということである。図1Aは、従来技術による、破線を呈する固定の光パターン100Aを例示している。この固定のパターンは、強め合う干渉と弱め合う干渉とを組み合わせるように構成された位相シフタのマスクを使用して実現されてよい。
本願明細書で使用される「時間符号化」という用語は、複数のパターンからなるパターンの系列によってシーンの照明を行うものとして定義される。このパターンの系列は、特定のエピポーラ線における各パターン位置が、一意な時間の系列によって符号化されるように設計される。この方法は、正確であり得、柔軟性を有するが、電力が効率的ではなく、長い取得時間を要する。図1Bは、従来技術による、各々の時間スタンプt、t、t、およびtそれぞれについて一意の垂直線111、112、113、および114を呈する時間的光パターン100Bを例示している。
パターンを動的に変化させる能力が大いに所望されるが、それによって生じる電力非効率は、多くの応用分野においてそれを非常に魅力のないものにしてしまう。動的パターンを可能にするために、典型的にはイメージ源が使用される。そのようなイメージ源は、イメージ形成光源がパターンの明るいエリアと暗いエリアを生み出すように変調された状態で、シーンを順次スキャンするか、または同時にシーンの照明を行う。光源の最大出力を考慮すると、その変調は「オン」時間を低減させ、それゆえに、合計出力電力を低減させる。
一例として、スキャン・ミラー・システムを使用して投影される光源としての連続波(CW)レーザ・ダイオードを取り上げる。そのようなレーザ・ダイオードは、ある特定量の最大光電力を放出することが可能である。所望されるパターンを生み出すために光が変調されるとき、その変調によって平均強度が低減され、それゆえに、明るさの損失が起こる。このトレードオフは、イメージ投影法のどのような標準的な使用についても当てはま
る。
国際公開第2013/088442号
本発明の一部の実施形態は、固定のパターン化光の前述の不利点、すなわち柔軟性の欠如と、時間符号化の、エネルギー効率が低く、シーンの取得時間がより長いという不利点とを克服する。
本発明の複数の実施形態は、構造化光イメージング・デバイス用の光パターンを調整するためのシステムを提供する。このシステムは、予め定義された基準に基づいて調整されたパターン化光によってシーンの照明を行うように構成されている投光部と、調整されたパターン化光の反射を受光するように構成されている受光部と、パターン化光の調整を制御し、さらに、受光された反射を解析して、シーン内の対象物の深度マップを得るように構成されているコンピュータ・プロセッサとを含んでよく、その投光部は、光ビームを生み出すように構成されている光源と、xyzデカルト座標系におけるxy平面上の−45°線にほぼ沿って傾動可能な第1の反射器と、前記座標系におけるz軸に沿って傾動可能な第2の反射器とを含んでよく、これらの反射器は、調整されたパターン化光を生じるように光ビームの方向を変更するべく、それらのそれぞれの軸に沿って前後に傾動される。
これらの、追加の、かつ/または他の、本発明の実施形態の態様および/または利点は、続く詳細な記述の中で記載され、場合によっては詳細な記述から推測することができ、かつ/または本発明の実施形態の実践によって学ぶことができる。
本発明の実施形態をより良く理解できるように、またそれがどのように実行に移されることが可能であるかを示すために、ここで、ただ単に例として、添付の図面に対する参照がなされ、該図面において類似の数字は全体を通して対応する要素または部位を指す。
従来技術によるいくつかの既知の構造化光技法を例示する概略図。 従来技術によるいくつかの既知の構造化光技法を例示する概略図。 本発明の複数の実施形態によるシステムを例示する概略ブロック図。 本発明の複数の実施形態による調整可能なパターンの一態様を例示する概略図。 本発明による複数の実施形態による調整可能なパターンの別の態様を例示する概略図。 本発明による複数の実施形態による調整可能なパターンのさらに別の態様を例示する概略図。 本発明による複数の実施形態による調整可能なパターンのさらに別の態様を例示する概略図。 本発明による複数の実施形態によるシステムの一態様を例示する概略図。 本発明による複数の実施形態によるシステムの一態様を例示する概略図。 本発明による複数の実施形態によるシステムの一態様を例示する概略図。 本発明による複数の実施形態による一態様を例示する図。 本発明による複数の実施形態による方法を例示する高レベル・フローチャート。 本発明による複数の実施形態によるシステムによって生成された実際の光パターンの図。
ここで図面を具体的に詳細に参照して、示される詳細事項は、例としてのものであり、本技法の好ましい実施形態の例示的な議論を目的としたものにすぎず、本技法の原理および概念的態様の最も有用かつ容易に理解される記述であると思われるものを提供するために提示されているということが強調される。この点に関して、記述が図面と併せて解されることにより、本発明のいくつかの形態が実際にどのように具現化されることが可能であるかが当業者に対して明らかになるので、本技法の基本的な理解に必要なよりも詳細に、本技法の構造上の詳細を示すための試みは、なされない。
本技法の1つ以上の実施形態について詳細に説明する前に、本発明はその応用において、以下の記述の中で記載されまたは図面中に例示される、構築の詳細および構成要素の編成に限定されないことが、理解されるべきである。本技法は、他の実施形態に対して適用可能であり、またはさまざまな方途で実践され、もしくは行われるものである。また、本願明細書で用いられる言い回しおよび専門用語は、記述を目的としたものであり、限定的なものとみなされるべきではないことが、理解されるべきである。
特に別段の定めのない限り、以下の議論から明らかなように、本明細書全体を通して、「処理」、「コンピューティング」、「記憶」、「決定」、または類似のものなどの用語を利用した議論は、コンピューティング・システムのレジスタおよび/またはメモリ内で電気的な量などの物理量として表現されるデータを操作し、かつ/またはそれを、コンピューティング・システムのメモリ、レジスタ、または他のそのような情報記憶デバイス、伝送デバイス、もしくはディスプレイ・デバイス内で物理量として同様に表現される他のデータに変換する、コンピュータもしくはコンピューティング・システム、または同様の電子コンピューティング・デバイスの、アクションおよび/またはプロセスに言及するものであることが認識されよう。
本発明の複数の実施形態は、本願明細書における動作を実施するための装置を含んでよい。そのような装置は、所望される目的に合わせて特別に構築されてもよく、コンピュータの中に記憶されたコンピュータ・プログラムによって選択的にアクティブ化または再構成される、コントローラ、コンピュータ、またはプロセッサを備えてもよい。そのようなコンピュータ・プログラムは、それらに対して限定されないが、フロッピー(登録商標)・ディスク、光ディスク、CD−ROM、光磁気ディスクを含む、任意のタイプのディスク、読出し専用メモリ(ROM)、ランダム・アクセス・メモリ(RAM)電気的プログラマブル読出し専用メモリ(EPROM)、電気的消去可能プログラマブル読出し専用メモリ(EEPROM)、磁気もしくは光カード、または電子的命令を記憶するのに適切であり、コンピュータ・システム・バスに対して結合されることの可能な他の任意のタイプの媒体などの、コンピュータ可読記憶媒体(例えば非一時的コンピュータ可読記憶媒体)の中に記憶されてよい。本願明細書に記述される本発明の教示を実現するために、多様なプログラミング言語が使用されてよいことが認識されよう。
本発明の複数の実施形態は、命令、例えばプロセッサまたはコントローラによって実行されると本願明細書に開示された方法を行うコンピュータ実行可能命令をエンコードし、含み、または記憶する、例えばメモリ、ディスク・ドライブ、またはUSBフラッシュ・メモリなどの、コンピュータもしくはプロセッサが読み取り可能な媒体またはコンピュータもしくはプロセッサの記憶媒体などの物品を含んでよい。プロセッサは、マイクロプロセッサ、マルチプロセッサ、アクセラレータ・ボード、または他の任意のシリアルもしくはパラレル高性能データ・プロセッサなどの、任意の標準的なデータ・プロセッサを含ん
でよい。本発明の複数の実施形態は、オペレーティング・システム、プロセッサ、メモリ、ディスク・ドライブ、および入出力デバイスなどの標準的な構成要素を含む、例えばパーソナル・コンピュータやワークステーションなどの、コンピューティング・システムの一部として含まれてよい。本発明の複数の実施形態は、限定されないが、OSXオペレーティング・システムまたはWINDOWS(登録商標)オペレーティング・システムを含む、任意のデバイス上の任意のオペレーティング・システムと適合性があってもよく、それと統合されてもよい。これに代わるコンピュータ構成が可能であり、本発明のシステムおよび方法は、限定されないが、ハンド・ヘルド・コンピューティング・システム、マウンタブル・コンピューティング・システム、またはモバイル・コンピューティング・システムを含む、さまざまな適切なコンピューティング・システム上で実現されてよい。
図2は、本発明の複数の実施形態によるシステム200を例示する概略ブロック図である。システム200は、ハードウェアとソフトウェアとの組合せによって実現されてよく、調整可能な光パターンを生成して解析するように構成され、この場合、調整可能なパターンは、構造化光の空間符号化に使用することができる。システム200は、投光部210と、受光部220と、コンピュータ・プロセッサ230とを含んでよい。
投光部210(X軸が右に対して向けられ、y軸が上方に向けられ、z軸がページの中へ向けられたxyzデカルト座標系において示される)は、第1の反射器214(例えばミラー)上に向けられる光ビーム(例えばレーザ)を生成するように構成されている光源212を含んでよく、第1の反射器214は、第1の反射器214が、xyzデカルト座標系におけるxy平面上の−45°線にほぼ沿っている第1の軸の周りに、周期的なスキャン移動の形(例えば、予め定義された角度のセクタを正弦波運動で前後にスキャンする)で傾動し(例えば水平に。Hと表記する)、その結果、スキャン前後移動時に光ビームを折り曲げることができるように、傾動可能かつ制御可能である(例えばコンピュータ・プロセッサ230によって)。同様に、投光部210はさらに、光が第1の反射器214によって折り曲げられた後のその光路に沿って位置付けられてよい第2の反射器216(例えばミラー)も含んでよい。第2の反射器216も、第2の反射器216が同じxyzデカルト座標系におけるz軸である第2の軸について、周期的なスキャン移動の形(例えば、予め定義された角度のセクタを正弦波運動で前後にスキャンする)で傾動する(例えば垂直に。Vと表記する)ことができるように、傾動可能かつ制御可能の両方であってよく(例えばコンピュータ・プロセッサ230によって)、この場合、第2の反射器216の傾動軸および第1の反射器214の傾動軸は、実質的に直角である(例えば、前述の傾動軸の各々を横切る垂線に対して+10°から−10°の間である)。したがって、第2の反射器216に達する光ビームは、再度折り曲げられる(例えば、光ビームが光源212を出たときのその元の方向に対して実質的に平行な方向に)。したがって、両反射器の同期化された傾動が、シーン中に調整可能な光パターンを生じさせ、その境界は、下文に詳述されるように、調整され、シーン内の1つまたは複数のセクタに制限され得る。
その上、本発明の複数の実施形態によれば、第1の反射器214のスキャン速度および第2の反射器216のスキャン速度が、それらの間で一定比を呈する(例えば、水平にスキャンしている反射器のスキャン速度と垂直にスキャンしている反射器のスキャン速度との間の比は、有理数である)。その結果として、投光部210によって生成され、シーン10上に投影されるパターン化光は、閉リサージュ曲線などの複雑な調和曲線を提供する。
本発明の一部の実施形態によると、2つのスキャン速度(例えば水平および垂直)の間の比は、下でより詳細に説明されるように、シーン中で経時的に変化することのあるさまざまなファクタに対してパターンを調整するために経時的に制御されてよい、シーン10にわたる実質的にジグソー形のパターンを生成するように選択される。
本発明の一部の実施形態によると、第1の反射器214および第2の反射器216は、要されるビーム・ディストーションを可能にするように選択された寸法を有するマイクロ・エレクトロ・メカニック・システム(MEMS)内のミラーとして実現されてよい。ミラーの駆動は、静電式、または磁気式、または圧電式、または同様のものであり得る。
本発明の一部の実施形態によると、光源212は、ほぼ830nmの波長を有する平行化単一モード・レーザでよい。光の平行化は、屈折性または回折性の単レンズによって達成されてよい。
受光部220は、シーン10からの光パターンの反射がそれを通して収集されている光学系222と、場合によってはコンプリメンタリ金属酸化物基板(CMOS)マトリックス検出器の形をとるセンサ224とを含んでよい。センサ224は、反射を、シーン10中の動的な変化を検知するのに十分なリフレッシュ・レートで検出するように構成されてよい。加えて、そのレートは、その曲線に沿って描かれるのに時間のかかる投光されるパターンの、完全な観測ができるようにするのに足る必要がある。
コンピュータ・プロセッサ230は、投光部210の構成要素を制御するように、またさらに、受光部220によって受光および検出される、シーン10から到来するパターン化光の反射を解析するように構成されてよい、コンピュータ可読コード(例えばコンピュータ・プログラムまたはソフトウェア)を実行してよい。具体的には、コンピュータ・プロセッサ230は、構造化光の技術分野で知られている空間符号化技法を用いるように構成されてよい。そのために、例えば閉リサージュ曲線を生成するスキャン全体が、1つ以上のフレームに属され、センサ224の組込みがそれに応じて選択される。投光部210によって生成されるどのような所与の(既知の)パターンについても、コンピュータ・プロセッサ230は、パターンが静的なもの(例えば、指定されたセクタをカバーするように同時に投光される)であるかのごとく空間符号化を最適に実現するように、その解析を調整してよい。
有利には、上で説明された、投光部210によって生成されるパターンは、構造化光イメージング・システム用のパターンを、投光部から遠く離れて位置付けられた対象物を含むシーン(例えば遠視野シナリオ)か、あるいは対象物が投光部に近接して位置付けられるシーン(例えば近視野シナリオ)などの、シーンおよび/またはシーン内の対象物の両方の動的特性に基づいて適応させることができるものである。その上、本発明の複数の実施形態は、要される場合、パターンが閉リサージュ曲線であれば、パターンに関わらず光源212の最大強度を使用することができるようになっている。このことが、さまざまな時間スロットにおける光源の停止を要するスキャン生成される光パターンに対して、重要な利点をもたらすことができる。以下では、投光部210によって投光される光パターンを調整するための、いくつかの例証的な例示のための非限定的な実施形態、ならびにそれらの対応する利点および使用方法について、詳細に説明する。
図3は、本発明の複数の実施形態による調整可能なパターンの一態様を例示する概略図である。光パターン300は、一定強度の光の線310が前後に延びる(場合によっては200Hzリフレッシュ・レートで)、独特なジグソー・パターン(例えば閉リサージュ曲線)を呈してよい。上で説明されたように、スキャンの各サイクルにおいてパターン300が同一であり続けるように、垂直スキャン速度と水平スキャン速度との間の比は有理数であることが好ましい。これは、空間符号化が達成されることが可能であるために欠くことのできない条件である。比自体は、下で説明されるように、経時的に変化するが、常に有理数を反映していることが好ましい。ジグソー地点312A〜312Fなどの、反射器(例えば垂直および水平)がそれらのスキャン移動の方向を変化させる地点で、またパ
ターン300の最上線および最下線のところでも、線310は、より厚いものとしてもたらされることがあるが、一般的には、線310は、光源212を不必要に停止することなく、ほぼ一定の強度を呈する。水平ミラーの速度のため、強度は線に沿って幾分変動することがあることに留意されるべきである。十分に密な光パターン(例えば、カバーされるエリアに対する、ジグソー・パターンにおける線間の距離)を生成するために、およそ1:10以上の水平軸と垂直軸との間の比が要されることがある。前述の比は、線の数を規定しており、そのため、1:10は10本の線を与えるにすぎず、通常は、より多くの線が実際的な応用に要されることに留意されるべきである(例えば100本以上の線)。より速いスキャン速度は、立体軸(立体イメージがそれに沿って2つの視点から生じさせられる軸である)に沿って要され、この軸はたいてい、線パターン化光を使用する構造化光応用における垂直軸であり、この場合、ユーザの頭部や手の掌などの追跡されるべき対象物が垂直に配向されている。パターンの反射から抽出される深度マップは、本出願のある特定の実施形態に従って、ユーザの手または他の任意の身体部分によってとられるポーズおよびジェスチャーの認識に使用されてよいことに留意されよう。
図4は、本発明による複数の実施形態による調整可能なパターンの別の態様を例示する概略図である。光パターン400は、投光部によるパターン400の可能なカバー範囲を定義したエリア410のサブセットである関心領域420(ROI)に光パターンが集中される、寸法調整を例示している。パターン400の寸法調整は、1つまたは複数の反射器の各々のスキャンのスパンを、それらが各々、より狭いセクタをカバーするように調整することによって達成されてよい。反射器のスキャン・スパンを制限すると、垂直スキャンと水平スキャンとの間の比に影響がおよぶことがあり、そこで、閉リサージュ曲線の要件を満たすことに注意が払われるべきである。ROI420の照明を行うことは、より多くの光を所望される関心領域上に当てることによって、信号対雑音比(SNR)および信号対バックグラウンド比の向上に有用となることがある。ROIの照明はまた、手430の掌などの特定の対象物がより高い照明強度を要するときはいつでも、またはシーン中の他の対象物が少しも照明されるべきではないときに、有用となることがある。
図5は、本発明のある特定の実施形態による調整可能なパターンのさらに別の態様を例示する概略図である。光パターン509は、元の(最大)エリア510を、2つ(または2つ以上)のROI、すなわち領域520(手の掌に向けられた)と、ユーザの頭部に向けられた領域530とに調整するを例示している。上で図4に例示された調整とは対照的に、ここでの寸法調整は、ROI520および530以外の任意の画素のところの照明ビームを停止することによって行われる。これは、図4に例示された調整パターンと比較して、いくらかのエネルギー非効率を招く。しかし、単一スキャン・サイクルでの異なる対象物の同時照明などの、構造化光応用のタイプに応じて、複数個のROIの使用が時々必要となることがある。
同様に、シーン反射率の強いばらつきを克服するために、照明源を停止する代わりに、その強度が調整され得る。そのようにして、より反射性のシーン部分が、飽和を回避し、検知ダイナミック・レンジを増大させるために、より低い強度のパターンで投影される。
図6は、本発明による複数の実施形態による調整可能なパターンのさらに別の態様を例示する概略図である。光パターン610、620、および630は、共通ベース線からの異なる垂直変位を除いて同様である。一部の実施形態によれば、光パターンを経時的に調整し、各フレームに対し異なるパターンをもたらすこと(場合によっては周期的に)が可能である。ここで、例を挙げると、光パターン610、620、および630の各々は、フレームA、フレームB、およびフレームC等からなる系列と一致する。経時的な調整は、複数回の露光からより高い解像度を得るために有利となることがある。それについての一例が、線間の距離の何分の一かだけパターンを上にシフトさせ、それゆえに、より大き
な垂直線解像度を手に入れるというものである。複数回の露光の実現には、複数回の露光を達成することができるように、ゆっくりと変動するシーンを要する。投光部によって生成されるパターンに対する他の全ての調整と同じ様に、受光部には、そのパターンに対して加えられた調整に関係するデータが提供され、そのため、調整されたパターンごとの解析は、当技術分野で知られている空間符号化に依然として似ている。
図7A〜図7Cは、本発明のある特定の実施形態によるシステムの一態様を例示する概略図である。図7Bは、本発明の複数の実施形態によるシステム200が壁部の1つの付近に位置付けられた、部屋730Bの上面ビューを描いている。例示されるように、パターン化光がシステム200から投光され、その一部、とりわけシステム200の右側および左側から到来する光が、部屋730Bの壁部740Bに当たる。部屋730Bの前述の幾何形状のため、図7Aに示され700と記された、使用される光パターンが、より低い強度の線720Aが線710Bの右側の領域および線710Aの左側の領域のところにある可変強度レベルを呈するなら、有益である。他の実施形態では、線強度の減少は、漸次的でよく、部屋の幾何形状ごとに適応されてよい。図7Cは、(場合によってはパターン線の強度がより均一な)全く異なるパターンが必要となることがある、壁部740Cを具備した楕円形の部屋730Cを例示している。本発明の複数の実施形態は、構造化光システムの有効性を向上させるために、部屋の幾何形状を決定し、それに応じて光パターンを調整する。
図8は、本発明のさらに別の態様を例示している。パターン800が1つまたは複数のノッチ820(全てのノッチが表示されているわけではないことに留意されるべきである)をその線810に沿って呈し、この場合、各水平線について、ノッチは異なるロケーションに配置されている。この特徴は、ノッチのロケーションに基づいて、受光部で特定の線の間の区別ができるようにすることによって、それらの線をインデックスするのに役立つことができる。ノッチは、指定されたセグメントに沿った光の任意の除外でよい。
図9は、本発明のある特定の実施形態による方法を例示する高レベル・フローチャートである。方法900は、パターン調整パラメータを取得する工程(910)を含む。パラメータは、ユーザ定義されるか、または自動的に定義され得、使用目的に基づいて適応される。シーンが次いで、調整されたパターンで照明(920)を行われてよく、その調整されたパターンの反射が検出(930)され、この場合、ある特定の実施形態では、調整されたパターン全体の検出が、パターンごとの単一露光において行われる。追加の露光が企図される。最後に、他の構造化光法と同様の方途で、その反射が解析されて、深度マップが生成(940)される。
図10は、本発明のある特定の実施形態によるシステムによって生成された実際の光パターンである。パターン1000中に見られ得るように、水平スキャンを使ったほぼ1:100の比での前後正弦波運動が、線パターンの近似物を生成している。
有利には、本発明の複数の実施形態は、空間的構造化光技法と時間的構造化光技法との間の効率的な橋渡しとして役立つ。複数の実施形態は、3Dデータの高速抽出を可能にする瞬間的に固定のパターンをもたらすが、それは、変化するシーン状況および要件に対してパターンを動的に適合させるように、そのパターンを修正することも可能である。動的な変化は、現在のシーンの情報を漸次的に増すように、またはデータ取得を、電力、信号対雑音比、およびバックグラウンドへの対処の点から最適化するように、考案され得る。
有利には、本発明の複数の実施形態は、有効でない「オフ」時間を不必要に要することなく、利用可能な光源の利用をその最大可能性まで可能にするパターンを生み出すための効率的な方途をもたらす。
したがって、本発明のある特定の実施形態による方法は、時間的構造光技法の主要な欠点を、完全に光「オン」ベースのパターンを使用することによって克服し、変動する状況に対して適合され得ないパターンの柔軟性のなさである、空間的構造化光技法の主要な欠点を克服する。
上の記載では、一実施形態とは、本発明の一例または一実装形態である。さまざまに出現する「1つの実施形態」、「一実施形態」、「ある特定の実施形態」、または「一部の実施形態」は、必ずしも全てが同じ実施形態に言及しているとは限らない。
本発明のさまざまな特徴は、単一の実施形態の文脈において記述されていることがあるが、それらの特徴は、別々にまたは任意の適切な組合せで提供されてもよい。反対に、本発明は本願明細書に、分かりやすくするために別々の実施形態の文脈において記述されていることがあるが、本発明は、単一の実施形態において実現されてもよい。
本明細書において「一部の実施形態」、「一実施形態」、「1つの実施形態」、「ある特定の実施形態」、または「他の実施形態」に言及することは、それらの実施形態と関連付けて記述される特定の特徴、構造、または特性が、本発明の、必ずしも全ての実施形態とは限らないが、少なくとも一部の実施形態に含まれることを意味する。
本願明細書で用いられる言い回しおよび専門用語は、限定的なものと解釈されるべきではなく、記述を目的としたものにすぎないことが、理解されるべきである。
本発明の教示の原理および使用は、添付の記述、図、および例を参照してより良く理解されることが可能である。
本願明細書に記載される詳細は、本発明の応用分野に対する制限を解釈するものではないことが、理解されるべきである。
その上、本発明は、さまざまな方途で行われまたは実践され得ること、また本発明は、上の記述の中で概説されたもの以外の実施形態において実現され得ることが、理解されるべきである。
「含む」、「備える」、「成る」という用語、およびそれらの文法上の変形は、1つまたは複数の構成要素、特徴、工程、もしくは整数、またはそれらのグループの追加を妨げるものではないこと、またそれらの用語は、構成要素、特徴、工程、または整数を指定するものと解釈されるべきであることが、理解されるべきである。
本明細書または特許請求の範囲が、「追加の」要素に言及する場合、それは、追加の要素が2つ以上あることを妨げるものではない。
特許請求の範囲または本明細書が、「a」または「an」要素に言及する場合、そのような言及は、その要素が1つしかないとは解釈されないことが、理解されるべきである。
本明細書が、構成要素、特徴、構造、または特性が、含まれ「てよい(may)」、含まれ「てよい(might)」、含まれ「得る(can)」、または含まれ「得る(could)」と述べる場合、その特定の構成要素、特徴、構造、または特性は、含まれることが求められるのではないことが、理解されるべきである。
適用可能な場合、状態図、フロー図、または両方が、実施形態を記述するために使用されることがあるが、本発明は、それらの図または対応する記述に対して限定されるものと考えられるべきではない。例えば、フローは、例示された各ボックスもしくは状態を通って、または例示および記述されたのとまさに同じ順序で、進む必要はない。
本発明の方法は、手動で、自動的に、またはそれらの組合せで、選択された工程またはタスクを実施または完了することによって実現されてよい。
特許請求の範囲および本明細書に提示される記述、例、方法、および材料は、限定的なものと解釈されるべきではなく、単に例示的なものと解釈されるべきである。
本願明細書で使用される技術用語および科学用語の意味は、別段定義されない限り、本発明の属する分野の当業者などによって通常に理解されるべきである。
本発明は、本願明細書に記述されたものと等価なまたは同様の方法および材料を使ったテストまたは実践において、実現されてよい。
以上、本発明が、限定された数の実施形態に関連して記述されてきたが、これらは、本発明の範囲に対する制限と解釈されるべきではなく、一部の好ましい実施形態の例証と解釈されるべきである。他の可能な変形形態、修正形態、および応用分野も、本発明の範囲内にある。よって、本発明の範囲は、ここまで記述されてきたものによって限定されるべきではなく、添付された特許請求の範囲およびその法的等価物によって限定されるべきである。

Claims (26)

  1. 予め定義された基準に基づいて調整されたパターン化光によってシーンの照明を行うように構成されている投光部と、
    調整された前記パターン化光の反射を受光するように構成されている受光部と、
    前記パターン化光の前記調整を制御し、さらに、受光された前記反射を解析して、前記シーン内の対象物の深度マップを得るように構成されているコンピュータ・プロセッサとを備え、
    前記投光部は、
    光ビームを生み出すように構成されている光源と、
    xyzデカルト座標系におけるxy平面に対し傾動可能な第1の反射器と、
    前記xyzデカルト座標系におけるz軸に沿って傾動可能な第2の反射器と
    を備え、
    前記反射器は、調整された前記パターン化光を生じるように前記光ビームの方向を変更するべく、それらのそれぞれの軸に沿って傾動される
    システム。
  2. 受光された前記反射の前記解析は、前記パターン化光の空間符号化に基づく、請求項1に記載のシステム。
  3. 前記パターン化光は閉リサージュ曲線である、請求項1に記載のシステム。
  4. 前記パターンの前記調整は、前記反射器のスキャンを、指定されたセクタ内の限定されたセクタに制限することによって行われる、請求項1に記載のシステム。
  5. 前記パターンの前記調整は、前記予め定義された調整基準を考慮することによって行われる、請求項1に記載のシステム。
  6. 前記パターンの前記調整は、前記パターン化光が照明されている関心領域(ROI)を生じさせるように前記光ビームの強度を低減させることによって行われる、請求項1に記載のシステム。
  7. 前記調整は、センサによって捕捉されるシーンの各フレームに対し異なるパターン化光を設定することを含む、請求項1に記載のシステム。
  8. 前記調整は、前記パターン化光の異なるセグメントに対し異なる強度を設定することを含む、請求項1に記載のシステム。
  9. 前記異なる強度は、前記シーンの幾何学的特性に基づいて決定される、請求項7に記載のシステム。
  10. 前記照明は可視波長内のレーザを含む、請求項1に記載のシステム。
  11. 前記コンピュータ・プロセッサは、相対周波数を制御して前記パターン中の線の数を変化させるようにさらに構成されている、請求項1に記載のシステム。
  12. 前記コンピュータ・プロセッサは、複数回の露光を生成してより高い解像度を得るようにさらに構成されている、請求項1に記載のシステム。
  13. 前記第1の反射器は、前記xy平面上の45°線にほぼ沿って傾動可能である、請求項
    1に記載のシステム。
  14. 前記反射器は、それらのそれぞれの軸に沿って前後に傾動可能である、請求項1に記載のシステム。
  15. 予め定義された基準に基づいて調整されたパターン化光によってシーンの照明を行う方法であって、
    光ビームを生み出す工程と、
    第1の反射器をxyzデカルト座標系におけるxy平面に対し傾動させる工程と、
    第2の反射器を前記xyzデカルト座標系におけるz軸に沿って傾動させる工程であって、両反射器の傾動は、調整された前記パターン化光を生じるように前記光ビームの方向を変更するべく協調される、工程と、
    調整された前記パターン化光の反射を受光する工程と、
    前記パターン光の前記調整を制御する工程と、
    受光された前記反射を解析して、前記シーン内の対象物の深度マップを得る工程と
    を備える方法。
  16. 受光された前記反射の前記解析は、前記パターン化光の空間符号化に基づく、請求項15に記載の方法。
  17. 前記パターン化光は閉リサージュ曲線である、請求項15に記載の方法。
  18. 前記パターンの前記調整は、前記予め定義された調整基準を考慮することによって行われる、請求項15に記載の方法。
  19. 前記パターンの前記調整は、前記パターン化光が照明されている関心領域(ROI)を生じさせるように前記光ビームの強度を低減させることによって行われる、請求項15に記載の方法。
  20. 前記調整は、センサによって捕捉されるシーンの各フレームに対し異なるパターン化光を設定することを含む、請求項15に記載の方法。
  21. 前記調整は、前記パターン化光の異なるセグメントに対し異なる強度を設定することを含む、請求項15に記載の方法。
  22. 前記異なる強度は、前記シーンの幾何学的特性に基づいて決定される、請求項21に記載の方法。
  23. 前記照明は可視波長内のレーザを含む、請求項15に記載の方法。
  24. 前記第1の反射器を傾動させる前記工程が、前記xy平面上の45°線にほぼ沿っている、請求項15に記載の方法。
  25. 前記反射器を傾動させる前記工程が、それらのそれぞれの軸に沿って前後に行われる、請求項15に記載の方法。
  26. 予め定義された基準に基づいて調整されたパターン化光によってシーンの照明を行うように構成されている投光部と、
    調整された前記パターン化光の反射を受光するように構成されている受光部と、
    前記パターン光の前記調整を制御し、さらに、受光された前記反射を解析して、前記シ
    ーン内の対象物の深度マップを得るように構成されているコンピュータ・プロセッサと
    を備え、
    前記投光部は、調整された前記パターン化光としての閉リサージュ曲線を生成するように同期化される、2つ以上の制御可能な反射器を備える
    システム。
JP2017500820A 2014-07-08 2015-07-07 構造化光イメージング用の光パターンを調整するための方法およびシステム Active JP6600348B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462021942P 2014-07-08 2014-07-08
US62/021,942 2014-07-08
PCT/IL2015/050703 WO2016005976A2 (en) 2014-07-08 2015-07-07 Method and system for adjusting light pattern for structured light imaging

Publications (2)

Publication Number Publication Date
JP2017521660A true JP2017521660A (ja) 2017-08-03
JP6600348B2 JP6600348B2 (ja) 2019-10-30

Family

ID=55065049

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017500820A Active JP6600348B2 (ja) 2014-07-08 2015-07-07 構造化光イメージング用の光パターンを調整するための方法およびシステム

Country Status (11)

Country Link
US (2) US10408605B2 (ja)
EP (2) EP3627186A1 (ja)
JP (1) JP6600348B2 (ja)
KR (1) KR102372449B1 (ja)
CN (2) CN110360953A (ja)
AU (1) AU2015287252C1 (ja)
BR (1) BR112017000460A2 (ja)
CA (1) CA2954430A1 (ja)
IL (1) IL249931A0 (ja)
MX (1) MX364492B (ja)
WO (1) WO2016005976A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021524908A (ja) * 2018-05-03 2021-09-16 ザ ガバニング カウンシル オブ ザ ユニバーシティ オブ トロント 深度イメージングを最適化するための方法およびシステム
JP2022525374A (ja) * 2019-03-15 2022-05-12 上海図漾信息科技有限公司 深度データ測定ヘッド、測定装置及び測定方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3627186A1 (en) 2014-07-08 2020-03-25 Facebook Technologies, LLC Method and system for adjusting light pattern for structured light imaging
US11057608B2 (en) 2016-01-04 2021-07-06 Qualcomm Incorporated Depth map generation in structured light system
KR101733228B1 (ko) * 2016-04-28 2017-05-08 주식회사 메디트 구조광을 이용한 3차원 스캐닝 장치
US10241244B2 (en) 2016-07-29 2019-03-26 Lumentum Operations Llc Thin film total internal reflection diffraction grating for single polarization or dual polarization
US10277842B1 (en) * 2016-11-29 2019-04-30 X Development Llc Dynamic range for depth sensing
US11262192B2 (en) 2017-12-12 2022-03-01 Samsung Electronics Co., Ltd. High contrast structured light patterns for QIS sensors
US10740913B2 (en) 2017-12-12 2020-08-11 Samsung Electronics Co., Ltd. Ultrafast, robust and efficient depth estimation for structured-light based 3D camera system
US11995851B2 (en) * 2018-10-04 2024-05-28 Isak Du Preez Optical surface encoder
CN110763158B (zh) * 2019-10-09 2021-06-04 天津大学 镜像h型钢轮廓尺寸测量装置
EP3839483B1 (en) 2019-12-19 2023-07-26 Imec VZW An illuminator, an imaging apparatus and a system
WO2023041706A1 (de) * 2021-09-17 2023-03-23 OQmented GmbH Verfahren und vorrichtung zur messung von tiefeninformationen einer szene anhand von mittels zumindest einer parallelstrahlungsquelle generiertem strukturierten licht
KR20230174621A (ko) * 2022-06-21 2023-12-28 삼성전자주식회사 깊이 맵 생성을 위한 전자 장치 및 그 동작 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000036085A (ja) * 1998-07-16 2000-02-02 Hyper Electronics:Kk 進入物監視装置
JP2004309273A (ja) * 2003-04-04 2004-11-04 Sumitomo Electric Ind Ltd 距離検出装置及び車輌用障害物監視装置
JP2012078098A (ja) * 2010-09-30 2012-04-19 Pulstec Industrial Co Ltd 3次元形状測定装置
US20130127854A1 (en) * 2010-08-11 2013-05-23 Primesense Ltd. Scanning Projectors And Image Capture Modules For 3D Mapping
JP2013257166A (ja) * 2012-06-11 2013-12-26 Morita Mfg Co Ltd 歯科用光計測装置及び歯科用光計測診断器具
WO2014014838A2 (en) * 2012-07-15 2014-01-23 2R1Y Interactive illumination for gesture and/or object recognition

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3656598B2 (ja) * 2001-12-07 2005-06-08 日産自動車株式会社 レーダ装置
ATE557382T1 (de) * 2002-05-17 2012-05-15 Microvision Inc Anordnung und verfahren zum ablenken eines bildstrahles in einer dimension und zum bidirektionalem ablenken eines bildstrahles in einer zweiten dimension
US7961909B2 (en) * 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
WO2006085834A1 (en) * 2005-01-28 2006-08-17 Microvision, Inc. Method and apparatus for illuminating a field-of-view and capturing an image
US7940444B2 (en) * 2006-09-19 2011-05-10 Florida Atlantic University Method and apparatus for synchronous laser beam scanning
WO2008120217A2 (en) * 2007-04-02 2008-10-09 Prime Sense Ltd. Depth mapping using projected patterns
US9013711B2 (en) * 2008-04-01 2015-04-21 Perceptron, Inc. Contour sensor incorporating MEMS mirrors
US20110188054A1 (en) * 2010-02-02 2011-08-04 Primesense Ltd Integrated photonics module for optical projection
WO2013088442A1 (en) 2011-12-15 2013-06-20 Pebbles Ltd. Controllable optical sensing
US10485425B2 (en) * 2014-02-04 2019-11-26 The Trustees Of Dartmouth College Apparatus and methods for structured light scatteroscopy
EP3627186A1 (en) 2014-07-08 2020-03-25 Facebook Technologies, LLC Method and system for adjusting light pattern for structured light imaging

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000036085A (ja) * 1998-07-16 2000-02-02 Hyper Electronics:Kk 進入物監視装置
JP2004309273A (ja) * 2003-04-04 2004-11-04 Sumitomo Electric Ind Ltd 距離検出装置及び車輌用障害物監視装置
US20130127854A1 (en) * 2010-08-11 2013-05-23 Primesense Ltd. Scanning Projectors And Image Capture Modules For 3D Mapping
JP2012078098A (ja) * 2010-09-30 2012-04-19 Pulstec Industrial Co Ltd 3次元形状測定装置
JP2013257166A (ja) * 2012-06-11 2013-12-26 Morita Mfg Co Ltd 歯科用光計測装置及び歯科用光計測診断器具
WO2014014838A2 (en) * 2012-07-15 2014-01-23 2R1Y Interactive illumination for gesture and/or object recognition

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021524908A (ja) * 2018-05-03 2021-09-16 ザ ガバニング カウンシル オブ ザ ユニバーシティ オブ トロント 深度イメージングを最適化するための方法およびシステム
JP7296138B2 (ja) 2018-05-03 2023-06-22 ザ ガバニング カウンシル オブ ザ ユニバーシティ オブ トロント 深度イメージングを最適化するための方法およびシステム
JP2022525374A (ja) * 2019-03-15 2022-05-12 上海図漾信息科技有限公司 深度データ測定ヘッド、測定装置及び測定方法
JP7224708B2 (ja) 2019-03-15 2023-02-20 上海図漾信息科技有限公司 深度データ測定ヘッド、測定装置及び測定方法
JP7224708B6 (ja) 2019-03-15 2023-04-18 上海図漾信息科技有限公司 深度データ測定ヘッド、測定装置及び測定方法
US11885613B2 (en) 2019-03-15 2024-01-30 Shanghai Percipio Technology Limited Depth data measuring head, measurement device and measuring method

Also Published As

Publication number Publication date
KR102372449B1 (ko) 2022-03-10
US10408605B2 (en) 2019-09-10
AU2015287252C1 (en) 2019-08-22
WO2016005976A3 (en) 2016-04-07
MX2017000193A (es) 2017-09-01
EP3167311A2 (en) 2017-05-17
US20170199029A1 (en) 2017-07-13
BR112017000460A2 (pt) 2017-11-07
AU2015287252A1 (en) 2017-02-16
IL249931A0 (en) 2017-03-30
US10996049B2 (en) 2021-05-04
JP6600348B2 (ja) 2019-10-30
CN106716175B (zh) 2019-08-02
EP3167311B1 (en) 2019-11-13
US20190285405A1 (en) 2019-09-19
WO2016005976A2 (en) 2016-01-14
CA2954430A1 (en) 2016-01-14
MX364492B (es) 2019-04-29
EP3167311A4 (en) 2018-01-10
AU2015287252B2 (en) 2019-04-04
KR20170027776A (ko) 2017-03-10
CN110360953A (zh) 2019-10-22
CN106716175A (zh) 2017-05-24
EP3627186A1 (en) 2020-03-25

Similar Documents

Publication Publication Date Title
JP6600348B2 (ja) 構造化光イメージング用の光パターンを調整するための方法およびシステム
US11255972B2 (en) Actuated optical element for light beam scanning device
US10218963B2 (en) Scanning projectors and image capture modules for 3D mapping
EP2824923B1 (en) Apparatus, system and method for projecting images onto predefined portions of objects
US20190122425A1 (en) Robot motion planning for photogrammetry
US9921299B2 (en) Dynamic beam spot size for light beam scanning device
JP2012208926A (ja) 検出装置、入力装置、プロジェクタ、及び電子機器
US9648698B2 (en) Method and system for generating light pattern using polygons
EP3259615A1 (en) Actuated optical element for light beam scanning device
JP5790698B2 (ja) 情報表示装置、及び情報表示方法
JP2015087393A (ja) 深度マップを生成する方法及び装置
WO2014200589A2 (en) Determining positional information for an object in space
JPWO2018225710A1 (ja) 車両用灯具およびその制御装置、制御方法
JP2018110057A (ja) 照明システム、照明方法及びプログラム
CN110087947A (zh) 根据地形和测得的亮度产生均匀的光分布
Iwai et al. Shadow removal of projected imagery by occluder shape measurement in a multiple overlapping projection system
US20160212412A1 (en) Device, system and method for three-dimensional modeling
JP5162393B2 (ja) 照明装置
WO2020123114A1 (en) Robot motion planning for photogrammetry

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190515

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190520

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190604

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191004

R150 Certificate of patent or registration of utility model

Ref document number: 6600348

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250