JP2022031977A - 空間光変調を伴うプロジェクタ - Google Patents

空間光変調を伴うプロジェクタ Download PDF

Info

Publication number
JP2022031977A
JP2022031977A JP2021208192A JP2021208192A JP2022031977A JP 2022031977 A JP2022031977 A JP 2022031977A JP 2021208192 A JP2021208192 A JP 2021208192A JP 2021208192 A JP2021208192 A JP 2021208192A JP 2022031977 A JP2022031977 A JP 2022031977A
Authority
JP
Japan
Prior art keywords
light
sensor
light source
depth detection
detection system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021208192A
Other languages
English (en)
Inventor
コーエン デイビッド
Cohen David
ペルマン アッサーフ
Pellman Asaf
ディー． テコルステ ロバート
Dale Tekolste Robert
フェルゼンシュタイン シュロモ
Felzenshtein Shlomo
ヤハブ ジオラ
Yahav Giora
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2022031977A publication Critical patent/JP2022031977A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/487—Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876—Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B19/00—Condensers, e.g. light collectors or similar non-imaging optics
    • G02B19/0004—Condensers, e.g. light collectors or similar non-imaging optics characterised by the optical means employed
    • G02B19/0009—Condensers, e.g. light collectors or similar non-imaging optics characterised by the optical means employed having refractive surfaces only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B19/00—Condensers, e.g. light collectors or similar non-imaging optics
    • G02B19/0033—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use
    • G02B19/009—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use for use with infrared radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4233—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
    • G02B27/425—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application in illumination systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

【課題】好適な空間光変調を伴うプロジェクタを提供すること。【解決手段】複数の相補的照明パターンを連続して放射するように構成される、プロジェクタを含む、飛行時間ベースの深度検出システムが、開示される。深度検出システムのセンサは、センサの視野内の物体から反射する照明パターンからの光を捕捉するように構成される。センサによって捕捉されたデータは、センサに戻ることに先立って、複数の表面から反射する光によって引き起こされる誤った読取値をフィルタリング除去するために使用されることができる。【選択図】図３Ａ

Description

（発明の背景）
測距撮像のための多数の技法が存在し、これは、複数の異なる用途において非常に有用であり得る。１つの具体的タイプの測距撮像は、飛行時間カメラを使用して実施されることができる。飛行時間カメラは、光のパルスが、センサの視野内の物体まで進行し、そこから戻るまでに要する時間を測定し、センサとセンサの視野内の物体との間の距離を判定することができる。残念ながら、深度検出システムによって放射される光は、常時、直接、センサ視野内の物体まで進行し、センサに戻らない場合がある。光が、物体から反射する前に、別の物体から跳ね返る場合、光がセンサに戻るまでに要する時間は、増加され、それによって、光の反射されたパルスに関して測定された飛行時間を増加させる。より長い飛行時間測定は、深度検出システムが、センサと物体との間の測定された距離を誤って増加させる結果をもたらし得る。その結果、本誤差を修正する方法が、望ましい。
（発明の要約）
本開示は、複数の表面から跳ね返る光のパルスから生じる誤った読取値をフィルタリング除去するように構成される、飛行時間カメラを説明する。
本開示は、深度検出システムの性能を改良する方法に関する。深度検出システムは、相補的照明パターンを深度検出システムの撮像センサによって監視されている領域上に連続して放射するように構成されることができる。撮像センサは、飛行時間センサとして作用し、光が、照明パターンを形成し、物体から反射し、撮像センサに戻るまでに要する時間を測定することによって、深度検出システムと領域内の物体との間の距離を判定することができる。撮像センサにおいて受光された光の一部は、撮像センサに到着する前に他の表面から跳ね返る、間接光であり得る。これは、特に、より多くの間接光が撮像センサに戻る可能性が高い、部屋の角において問題となり得る。反射は、光が撮像センサに戻るまでに要する時間量を増加させ、それによって、センサデータの正確度を低減させる。本間接光の一部は、第１の照明パターンがアクティブであるとき、第１の照明パターン外にある撮像センサによって監視されている領域の部分から反射する光を識別することによって、深度検出システムによる検討対象からフィルタリング除去されることができる。本識別された光は、次いで、第２の照明パターンがアクティブであるとき、検討対象から除かれることができる。同様に、第２の照明パターンがアクティブであるとき、第２の照明パターン外の光は、第１の照明パターンから除かれることができる。このように、より正確な深度検出情報が、取得されることができる。
相補的照明パターンを放射する、光源が、共通基板に搭載され、光源が相互に整合からずれないように防止することができる。共通基板はまた、光源が整合からずれて投射される結果をもたらすであろう、任意の熱影響を低減させることに役立つことができる。
深度検出システムが、開示され、少なくとも以下：投影システムであって、剛性基板を有する、プロジェクタ筐体と、光を第１の複数の光成形構成要素を通して放射するように構成される、第１の光源であって、第１の光源は、剛性基板に搭載される、第１の光源と、光を第２の複数の光成形構成要素を通して放射するように構成される、第２の光源であって、第２の光源は、第１の光源に隣接して剛性基板に搭載される、第２の光源とを備える、投影システムと、撮像センサであって、撮像センサは、投影システムに近接し、撮像センサの視野内の物体から反射された後、第１および第２の光源によって放射される光を受光するように構成される、撮像センサと、第１および第２の光源によって放射される光が、センサ視野内の物体から反射し、撮像センサに戻るまでの時間量を測定することによって、深度検出システムとセンサ視野内の物体との間の距離を計算するように構成される、プロセッサとを含む。
別の深度検出システムも、開示され、以下：複数の光成形構成要素であって、コリメート光学要素と、屈折光学要素と、回折光学要素と、マイクロレンズアレイとを備える、複数の光成形構成要素と、光を複数の光成形構成要素を通して放射するように構成される、光源と、撮像センサであって、撮像センサは、光源によって放射され、かつ撮像センサの視野内の物体から反射された光を検出するように構成される、撮像センサと、撮像センサの視野外の表面から反射された光と関連付けられたセンサ読取値をフィルタリング除去することによって、深度検出システムと物体との間の距離を判定するように構成される、プロセッサとを含む。
深度検出システムが、開示され、以下：投影システムであって、剛性基板を有する、プロジェクタ筐体と、光を第１の複数の光成形構成要素を通して放射し、第１の照明パターンを生産するように構成される、第１の光源であって、第１の光源は、剛性基板に搭載される、第１の光源と、光を第２の複数の光成形構成要素を通して放射し、第１の照明パターンと相補的第２の照明パターンを生産するように構成される、第２の光源であって、第２の光源は、第１の光源に隣接して剛性基板に搭載される、第２の光源とを備える、投影システムと、撮像センサであって、撮像センサは、投影システムに近接し、撮像センサの視野内の物体から反射された後、第１および第２の光源によって放射される光を受光するように構成される、撮像センサと、第１および第２の光源によって放射される光が、センサ視野内の物体から反射し、撮像センサに戻るまでの時間量を測定し、撮像センサの視野外の表面から反射された光と関連付けられたセンサ読取値をフィルタリング除去することによって、深度検出システムとセンサ視野内の物体との間の距離を計算するように構成される、プロセッサとを含む。
本発明の他の側面および利点は、一例として、説明される実施形態の原理を図示する、付随の図面と関連して検討される、以下の発明を実施するための形態から明白となるであろう。
本明細書は、例えば、以下の項目も提供する。
（項目１）
深度検出システムであって、
投影システムであって、
剛性基板を有するプロジェクタ筐体と、
光を第１の複数の光成形構成要素を通して放射するように構成されている第１の光源であって、前記第１の光源は、前記剛性基板に搭載されている、第１の光源と、
光を第２の複数の光成形構成要素を通して放射するように構成されている第２の光源であって、前記第２の光源は、前記第１の光源に隣接して前記剛性基板に搭載されている、第２の光源と
を備える、投影システムと、
撮像センサであって、前記撮像センサは、前記投影システムに近接し、前記撮像センサの視野内の物体から反射された後、前記第１および第２の光源によって放射される光を受光するように構成されている、撮像センサと、
前記第１および第２の光源によって放射される光が、前記センサ視野内の前記物体から反射し、前記撮像センサに戻るまでの時間量を測定することによって、前記深度検出システムと前記センサ視野内の前記物体との間の距離を計算するように構成されている、プロセッサと
を備える、深度検出システム。
（項目２）
前記第１および第２の光源は、赤外線レーザダイオードである、項目１に記載の深度検出システム。
（項目３）
前記撮像センサは、グローバルシャッタを有する、項目１に記載の深度検出システム。
（項目４）
前記第１および第２の光源は、非重複パターンにおいてパルスを放射するように構成されている、項目１に記載の深度検出システム。
（項目５）
前記第１の複数の光成形構成要素は、回折光学要素と、マイクロレンズアレイとを備える、項目１に記載の深度検出システム。
（項目６）
前記第１の複数の光成形構成要素は、前記第１の光源によって放射される光を、前記撮像センサの視野を横断して分散される第１の複数の平行な光のバーに成形する、項目５に記載の深度検出システム。
（項目７）
前記第２の複数の光成形構成要素は、前記第２の光源によって放射される光を、前記第１の複数の平行な光のバー間の間隙を被覆する第２の複数の平行な光のバーに成形する、項目６に記載の深度検出システム。
（項目８）
前記第１の複数の光成形構成要素は、屈曲光学系を伴うコリメートレンズを備える、項目１に記載の深度検出システム。
（項目９）
前記第２の複数の光成形構成要素は、前記屈曲光学系を伴うコリメートレンズを備える、項目８に記載の深度検出システム。
（項目１０）
前記第１および第２の光源によって投影される前記光は、前記コリメートレンズの反射表面によって約９０度で再配向される、項目９に記載の深度検出システム。
（項目１１）
前記距離を計算することはまた、前記撮像センサの視野外の表面から反射された光と関連付けられたセンサ読取値をフィルタリング除去することを含む、項目１に記載の深度検出システム。
（項目１２）
深度検出システムであって、
複数の光成形構成要素であって、
コリメート光学要素と、
屈折光学要素と、
回折光学要素と、
マイクロレンズアレイと
を備える、複数の光成形構成要素と、
光を前記複数の光成形構成要素を通して放射するように構成されている光源と、
撮像センサであって、前記撮像センサは、前記光源によって放射され、かつ前記撮像センサの視野内の物体から反射された光を検出するように構成されている、撮像センサと、
前記撮像センサの視野外の表面から反射された光と関連付けられたセンサ読取値をフィルタリング除去することによって、前記深度検出システムと前記物体との間の距離を判定するように構成されている、プロセッサと
を備える、深度検出システム。
（項目１３）
前記複数の光成形構成要素はさらに、前記回折光学要素に対して側方に偏移するように構成されている線形作動式光学系を備える、項目１２に記載の深度検出システム。
（項目１４）
前記光源は、第１の光源であり、前記深度検出システムはさらに、
プリント回路基板と、
第２の光源と
を備え、
前記第１および第２の光源は、前記プリント回路基板に電気的および機械的に結合されている、項目１２に記載の深度検出システム。
（項目１５）
前記複数の光成形構成要素は、第１の複数の光成形構成要素であり、前記深度検出システムはさらに、第２の複数の光成形構成要素を備え、それを通して、前記第２の光源は、光を放射するように構成されている、項目１４に記載の深度検出システム。
（項目１６）
前記コリメート光学要素は、前記光源によって放射される前記光の方向を変化させるように構成された反射表面を有する、屈曲光学系を備える、項目１２に記載の深度検出システム。
（項目１７）
深度検出システムであって、
投影システムであって、
剛性基板を有するプロジェクタ筐体と、
光を第１の複数の光成形構成要素を通して放射し、第１の照明パターンを生産するように構成されている、第１の光源であって、前記第１の光源は、前記剛性基板に搭載されている、第１の光源と、
光を第２の複数の光成形構成要素を通して放射し、前記第１の照明パターンと相補的第２の照明パターンを生産するように構成されている、第２の光源であって、前記第２の光源は、前記第１の光源に隣接して前記剛性基板に搭載されている、第２の光源と
を備える、投影システムと、
撮像センサであって、前記撮像センサは、前記投影システムに近接し、前記撮像センサの視野内の物体から反射された後、前記第１および第２の光源によって放射される光を受光するように構成されている、撮像センサと、
前記第１および第２の光源によって放射される光が、前記センサ視野内の前記物体から反射し、前記撮像センサに戻るまでの時間量を測定することによって、かつ前記撮像センサの視野外の表面から反射された光と関連付けられたセンサ読取値をフィルタリング除去することによって、前記深度検出システムと前記センサ視野内の前記物体との間の距離を計算するように構成されている、プロセッサと
を備える、深度検出システム。
（項目１８）
前記プロセッサは、前記第２の照明パターンに対応する前記撮像センサの視野内のエリアから反射する、前記第１の光源によって放射される前記光を識別することによって、前記撮像センサの視野外の表面から反射された光と関連付けられたセンサ読取値をフィルタリングする、項目１７に記載の深度検出システム。
（項目１９）
前記第１および第２の照明パターンは、一連の平行バーを備える、項目１７に記載の深度検出システム。
（項目２０）
前記第１の複数の光成形構成要素は、コリメート光学要素と、屈折光学要素と、回折光学要素と、マイクロレンズアレイとを備える、項目１７に記載の深度検出システム。
本開示は、同様の参照番号が同様の構造要素を指す、付随の図面と併せて、以下の発明を実施するための形態によって容易に理解されるであろう。
図１Ａは、使用時の例示的深度検出センサを示す。 図１Ｂは、いくつかの実施形態による、物体に入射する光が拡散および／または鏡面反射によって反射され得る様子を示す。 図１Ｃは、いくつかの実施形態による、投影システムによって照明される異なるタイプの物体の実施例を示す。 図２Ａは、いくつかの実施形態による、２つのプロジェクタを含む、投影システム１０２を示す。 図２Ｂは、いくつかの実施形態による、例示的照明パターンＡおよびＢを示す。 図２Ｃは、いくつかの実施形態による、照明パターンＣおよびＤを示す。 図２Ｄは、いくつかの実施形態による、照明パターンＥ、Ｆ、およびＧを示す。 図２Ｅは、いくつかの実施形態による、離散ピクセルまたはサンプリング点が複数の照明パターンを横断して分散され得る様子を示す。 図３Ａ－３Ｃは、いくつかの実施形態による、それぞれが光源の正面に位置付けられる光成形構成要素の群から成る、種々の光学アセンブリ実施形態を示す。 図３Ａ－３Ｃは、いくつかの実施形態による、それぞれが光源の正面に位置付けられる光成形構成要素の群から成る、種々の光学アセンブリ実施形態を示す。 図３Ａ－３Ｃは、いくつかの実施形態による、それぞれが光源の正面に位置付けられる光成形構成要素の群から成る、種々の光学アセンブリ実施形態を示す。 図４Ａ－４Ｂは、いくつかの実施形態による、図３に描写される光学アセンブリに類似する、光源毎に光学アセンブリを組み込む２つの光源を伴う、プロジェクタアセンブリを示す。 図４Ａ－４Ｂは、いくつかの実施形態による、図３に描写される光学アセンブリに類似する、光源毎に光学アセンブリを組み込む２つの光源を伴う、プロジェクタアセンブリを示す。 図５Ａ－５Ｃは、いくつかの実施形態による、屈曲光学系を利用する、複数の光源プロジェクタアセンブリの図を示す。 図５Ａ－５Ｃは、いくつかの実施形態による、屈曲光学系を利用する、複数の光源プロジェクタアセンブリの図を示す。 図５Ａ－５Ｃは、いくつかの実施形態による、屈曲光学系を利用する、複数の光源プロジェクタアセンブリの図を示す。 図６Ａ－６Ｂは、いくつかの実施形態による、単一光源を使用する、投影アセンブリの側面図を示す。 図６Ａ－６Ｂは、いくつかの実施形態による、単一光源を使用する、投影アセンブリの側面図を示す。 図７は、いくつかの実施形態による、前述の深度検出システムの異なる構成要素間の相互作用を描写する、略図を示す。
（具体的な実施形態の詳細な説明）
本願による、方法および装置の代表的用途が、本節に説明される。これらの実施例は、文脈を追加し、説明される実施形態の理解を補助するためだけに提供されている。したがって、説明される実施形態は、これらの具体的詳細の一部または全部を伴わずに実践されてもよいことが、当業者に明白となるであろう。他の事例では、周知のプロセスステップは、説明される実施形態を不必要に曖昧にすることを回避するために、詳細に説明されていない。他の用途も、可能性として考えられ、したがって、以下の実施例は、限定として捉えられるべきではない。
深度検出システムは、深度検出システムの視野内の環境を特性評価するように構成されることができる。結果として生じる特性評価は、深度検出システムに面した物体の位置およびその部分の外部形状を判定するために使用されることができる。１つのタイプの深度検出システムは、飛行時間（ＴＯＦ）カメラである。ＴＯＦカメラは、光の変調されたパルスを放射するためのプロジェクタと、センサの視野内の種々の物体から反射する光のパルスのそれぞれの一部を受光するためのセンサとを利用する。読取値をセンサから受信する、プロセッサが、光が、センサから進行し、視野内の物体のうちの１つから跳ね返り、センサに戻るまでに要する時間を判定することができる。光の速度は、既知であるため、システムは、その時間に基づいて、深度検出センサと物体との間の距離を判定することができる。残念ながら、本方法は、光が、物体から跳ね返り、直接、センサに戻るとき、距離を判定するために良好に機能するが、最初に、別の物体から跳ね返り、センサに戻る、任意の光は、深度データに不正確性を引き起こし得る。
本問題に対する１つの解決策は、センサにおいて受光された間接的に反射された光をフィルタリング除去し、不正確性を低減させることである。これが遂行され得る、１つの方法は、環境が光で照明される様式を調節することである。光は、投影システムによって、交互照明パターンにおいて放射され、視野内の物体の異なる部分を連続して照明することができる。いくつかの実施形態では、照明パターンは、略平行縞で配列されることができるが、異なるパターンもまた、可能性として考えられる。縞はそれぞれ、各縞とほぼ同一厚さを有する間隙によって分離されることができる。このように、視野の約半分は、照明パターンが放射される度に照明されることができる。異なる縞および間隙厚さが、使用されることができるが、一連の異なる照明パターンの間のある時点において、視野の各部分は、照明されないべきであることを理解されたい。光の特定のパターンによって照明されるべきではないフレームのエリアから戻る、任意の光は、反射された光を識別するために使用されることができる。異なる照明パターンが、反射された光が以前に検出された物体のその部分を照明すると、反射された光は、検出された光から除かれ、直接、投影システムから物体に進行し、そこからセンサに戻る、光のその部分のみを識別することができる。任意の他の光は、センサの視野を伴うエリアの深度マップを作成する目的のために、無視されることができる。このように、深度データの正確度は、実質的に改良されることができる。
前述の方法を実施するための投影システムは、照明パターンを生成するために、２つ以上の光源を含むことができる。いくつかの実施形態では、投影システムは、変化する条件に追従するために、非常に迅速に動作するように構成されることができる。例えば、いくつかの実施形態では、光源は、１００パルス／秒超を放射するように構成されることができる。投影システムと関連付けられたセンサは、戻って来るにつれて光を捕捉するように構成されることができ、センサのピクセルのそれぞれが同時に読み取られることを可能にする、グローバルシャッタを有することができる。このように、ピクセルを連続して読み取ることに起因して導入される、任意の誤差は、回避されることができる。
いくつかの実施形態では、光源は、単一プロジェクタ筐体内に組み込まれることができる。光源を単一プロジェクタ内にパッケージ化することは、２つ以上の別個の投影ユニットのうちの１つが、他のユニットと異なる量で衝突または競合し、照明パターンの不整合をもたらす、状況を防止する。複数の照明パターンを投影するように構成される、単一プロジェクタの若干の整合変化は、センサ視野の一部が照明パターンによって被覆されない結果をもたらし得るが、センサ視野の大部分は、照明パターンの整合を損なわせずに、被覆されたままであり得る。いくつかの実施形態では、単一プロジェクタ筐体は、光源間の分離を広範囲の温度にわたって一貫して保つ低熱膨張係数を伴う、一体型剛性基板を含むことができる。光源はそれぞれ、光を種々の照明パターンに指向する、異なる光学系を有することができる。いくつかの実施形態では、偏移光学系を有する単一光源を伴う、投影システムが、使用されることができる。そのような実施形態では、光学系は、２つ以上の位置間で発振し、２つ以上の照明パターンを単一光源からもたらすことができる。
これらおよび他の実施形態は、図１Ａ－７を参照して下記に議論される。しかしながら、当業者は、これらの図に関して本明細書に与えられる発明を実施するための形態は、説明目的のためだけのものであり、限定として解釈されるべきではないことを容易に理解するであろう。
図１Ａは、使用時の例示的深度検出システム１００を示す。深度検出システム１００は、投影システム１０２と、センサ１０４とを含む。投影システム１０２は、光を物体１０６に向かって放射するように構成されることができる。いくつかの実施形態では、投影システム１０２によって放射される光は、赤外線光または近赤外線光であることができる。投影システム１０２によって放射される光は、センサ１０４の視野に対応する広いエリアを被覆するように構成されることができるため、例示的光波１０８は、壁１１０から跳ね返り得るが、壁１１０の角度に起因して、光波１０８は、描写されるように、壁１１０から反射して戻る代わりに、物体１０６から跳ね返り、次いで、センサ１０４に戻り得る。これは、特に、物体１０６が、物体１０６に入射する光を散乱させる、不規則表面（すなわち、湾曲または円筒形表面）を有するとき、問題となり得る。反射された光の散乱は、描写されるように、反射された光がセンサ１０４に戻る尤度を増加させる。
図１Ｂは、物体１０６に入射する光が、拡散および／または鏡面反射によって反射され得る様子を示す。平坦表面は、概して、鏡面反射を生成するために必要とされるが、平坦表面はまた、物体１０６の表面の下方に位置する散乱中心に起因して、ある程度の拡散反射を生成する傾向にある。湾曲または変動表面は、多くの方向に散乱する、さらにより多くの拡散反射を生成する。壁１１０から反射された光が直接光と区別されることが困難であり得る、理由のうちの１つは、壁１１０の表面が比較的に平坦であるとき、実質的量の光波１０８が、壁１１０からの鏡面反射として反射され、それによって、光波１０８から物体１０６において結果として生じる拡散反射に、光波１１２から生じる物体１０６において結果として生じる拡散反射と類似強度を持たせ得るためである。プロジェクタから物体１０６に進み、次いで、壁１１０から跳ね返り、センサに向かって戻る、光は、壁１１０がセンサ視野内にない場合、問題と見なされないことに留意されたい。そのような場合では、センサに進入する光の高入射角は、センサが特定の視野から到着する光のみを受光するように構成されることに起因して、センサによって検出されないであろう。高入射角光は、センサにわたって位置付けられるシュラウドまたは集光レンズを使用して、センサに到達しないように防止されることができる。
図１Ｃは、投影システム１０２によって照明された異なるタイプの物体の実施例を示す。第１の列の画像は、物体から反射され、センサ１０４によって捕捉された光の全てを使用して生成された画像を示す。第２の列における画像は、直接、物体から反射された光のみを示す。第３の列における画像は、センサ視野内の物体に衝突することに先立って、最初に、他の物体から反射された光（間接光）のみを示す。第１の行の卵の写真は、拡散相互反射の実施例を提供する。卵の球状形状は、卵のそれぞれの表面に衝打する光によって生成された拡散反射の量を強調する。特に、第１の行からの間接光画像は、卵の下側縁が実質的量の間接光を捕捉し、その結果、センサからより遠く離れて現れ得る様子を示す。第２の行の木製ブロックの写真は、拡散および鏡面相互反射の両方の実施例を提供する。木製ブロックの平坦表面は、ある量の鏡面反射をもたらす一方、ブロックの下層木目構造および角は、拡散相互反射をもたらす。最後に、第３の行のピーマンは、表面下散乱が、少量の光のみを、直接、センサ１０４に戻るように反射させる様子を示す。本限定された量の直接光は、センサ１０４とピーマンとの間の実際の距離を判定するために、間接光のフィルタリング除去をさらにより重要にし得る。図１Ｃは、元々は、Ｋｒｉｓｈｎａｎによる記事「Ｆａｓｔ Ｓｅｐａｒａｔｉｏｎ ｏｆ Ｄｉｒｅｃｔ ａｎｄ Ｇｌｏｂａｌ Ｃｏｍｐｏｎｅｎｔｓ ｏｆ ａ Ｓｃｅｎｅ ｕｓｉｎｇ Ｈｉｇｈ Ｆｒｅｑｕｅｎｃｙ Ｉｌｌｕｍｉｎａｔｉｏｎ」の一部として公開されている。
図２Ａは、投影システム１０２を示し、これは、プロジェクタ２０２および２０４を含む。プロジェクタ２０２および２０４は、相補的照明パターンＡおよびＢを放射するために使用されることができる。照明パターンＡおよびＢは、照明パターンの一方のみが任意の所与の時間にアクティブであるように、連続してパルス化されることができる。いくつかの実施形態では、照明パターンは、交互パターンにおいて（例えば、Ａ、Ｂ、Ａ、Ｂパターンにおいて）パルス化されることができる。パルス化放射はまた、変調され、パルス化放射を他の周囲光源と区別することに役立つことができる。その結果、照明パターンＡが、アクティブであるとき、照明パターンＡ外の任意のエリアは、光を欠いているはずである。しかしながら、概して、最初に、他の表面から反射する照明パターンＡの一部と、ある環境では、他の周囲光とが、直接、照明パターンＡによって照明されていないエリアから反射し、センサ１０４によって検出され得る。物体１０６の照明されていないエリア内で検出された本反射された光は、続いて、照明パターンＢがアクティブであるとき、反射された光を識別するために使用されることができる。同様に、照明パターンＢが、アクティブであるとき、照明パターンＢ外から到着する反射された光は、続いて、照明パターンＡの次のパルスの間、反射された光を識別するために使用されることができる。したがって、一般に、アクティブ照明パターン外から生じる検出された反射された光または間接光（ＩＩＮＤＩＲＥＣＴ）が、記録されることができる。次の照明パターンが、アクティブ化すると、現在のアクティブ照明パターンから以前に記録された間接光（ＩＩＮＤＩＲＥＣＴ）は、等式（１）に従って、アクティブ照明パターンから受光された光の全て（ＩＴＯＴＡＬ）から除かれ、直接光を識別することができる。
ＩＩＮＤＩＲＥＣＴ＝ＩＴＯＴＡＬ－ＩＩＮＤＩＲＥＣＴ 等式（１）
いくつかの実施形態では、物体１０６から反射し、センサ１０４の中に戻る任意の周囲光は、照明パターンと関連付けられた変調に合致しない光を除外することによって、フィルタリング除去されることができることに留意されたい。
図２Ｂは、例示的照明パターンＡおよびＢを示す。照明パターンＡおよびＢの強度は、垂直位置の関数として、正弦波パターンにおいて分散されることができる。描写されるように、照明パターンＡは、照明パターンＢと１８０度位相がずれており、照明パターンＢが最小強度値にあるとき、最大強度値を有する照明パターンＡをもたらすことができる。このように、２つの照明パターンが、同時に放射される場合、実質的に均一光パターンが、もたらされるであろう。グラフ２０６は、照明パターンＡを図示する一方、グラフ２０８は、照明パターンＢを図示する。数学的に、組み合わせられたパターンの強度は、強度値に、１と等しい実質的に一定の値を持たせるであろう。より一般的には、照明強度は、等式（２）を使用してモデル化されることができる。
Figure 2022031977000002
等式（２）では、ｉは、計算されている合計Ｎ個の照明パターンのうちの照明パターンを示す。Ａ０は、照明パターンの振幅である。ｆは、光のバーの空間周波数である。βは、センサの垂直視野の角度である。Φｉは、照明パターンに関する位相偏移を表し、その値は、等式（３）によって判定される。
Figure 2022031977000003
理解され得るように、等式（３）は、位相偏移が、２つのパターンに関して１８０度であり、３つのパターンに関して１２０度であり、４つのパターンに関して９０度であり、以降同様に続き得ることを明確にする。一般に、より多くの照明パターンは、より正確な結果を達成するために使用されることができる。さらに、いくつかの実施形態では、位相偏移はまた、異なる様式において変動されることができる。
図２Ｃは、照明パターンＣおよびＤを示す。照明パターンＣおよびＤの強度プロファイルは、正弦波の代わりに、台形である。急速に上昇および下降する強度を有することによって、照明パターンＣおよびＤの光のバー間におけるより急峻な遷移が、達成されることができる。より鮮明な遷移は、下記により詳細に説明されるであろうように、間接光を直接光からフィルタリングするときに、曖昧性を最小限にする際に有益であり得る。
図２Ｄは、照明パターンＥ、Ｆ、およびＧを示す。照明パターンＥ、Ｆ、およびＧの強度は、垂直に分散され、したがって、照明パターンＦは、照明パターンＥから１２０度位相がずれる。このように、連続する光のバーは、垂直に、但し、性質上相補的ではなく、偏移されることができる。グラフ２１４、２１６、および２１８は、個別の照明パターンＥ、Ｆ、およびＧが、垂直位置に従って変動する量を定量的に示す。第３の照明パターンは、第３の光源によって、または偏移し、第２および第３のパターンの両方をもたらし得る光学系によって生成されることができる。
図２Ｅは、離散ピクセルまたはサンプリング点が、複数の照明パターンを横断して分散され得る様子を示す。拡大図２２０は、照明パターンＡおよびＢ内で分散される３つの異なるサンプリング点ｐ１、ｐ２、およびｐ３を示す。サンプリング点のそれぞれにおける間接光は、ピクセル／サンプリング点毎にいくつかの計算を実施することによって識別されることができる。特に、等式（４）は、各シーケンシャル照明パターンの間、センサによって収集された光Ｓｉを総和するために使用されることができる。
Figure 2022031977000004
等式（５）が、次いで、各照明パターンの強度が正弦波状に変動するときの直接光の量を計算するために使用されることができる。
Figure 2022031977000005
等式（５）は、１セットの照明パターンのスパンにわたって放射される光の総量を表すために、照明パターンのそれぞれがアクティブであるときに受光された光の各成分の振幅を総和する。２つの照明パターン投影システムでは、減算される画像は、照明パターンＢがアクティブであるときの照明パターンＡ内から検出された反射された光と、照明パターンＡがアクティブであるときに照明パターンＢ内から検出された反射された光とを表す。２セットの反射された光をともに加算することによって、視野全体を横断して反射された光の分布が、判定されることができる。一般に、本計算は、アクティブである照明パターンにかかわらず、反射された光が実質的に同一のままであると仮定する。その結果、減算される画像を総光から減算し、視野内の直接光を識別する。等式（６）は、計算される直接光（Ｄ）を総光（Ｔ）から減算することによって、間接光（Ｉ）が計算され得る方法を示す。
Ｉ＝Ｔ－Ｄ－ｃｏｎｓｔ［ＧＬ］ 等式（６）
いくつかの実施形態では、ｃｏｎｓｔ［ＧＬ］は、総光から減算されることができる。本定数は、随意に、センサ視野内の間接光を識別するとき、グレーレベルバイアスを除去するために使用されることができる。いくつかの実施形態では、グレーレベルバイアスを除くことは、センサによって検出される深度データの正確度を改良することができる。グレーレベルバイアスは、周期的に較正され、深度検出システム作業を良好に保ち得る、工場設定または値であることができる。
図２Ｅはまた、位置ｐ２における深度検出が、２つのみの照明パターンを伴うシステムにとって問題となり得る様子を実証する。照明パターン間の境界から安全に離れて置かれているｐ１およびｐ３に関して、間接光除外は、検討するために２つのみの照明パターンが存在するため、簡単であり得る。ｐ１に関して、照明パターンＡが、アクティブであるとき、受信される信号は、直接光＋任意の反射された光と等しい。照明パターンＢが、アクティブであるとき、ｐ１における受信される信号は、ゼロ直接光＋任意の反射された光と等しい。直接光は、２つの信号間の差異を求めることによって計算されることができる。これは、反射された光が相殺され、照明パターンＢの間の直接光がゼロと等しいため、直接光のみをもたらす。ｐ３に関して、計算は、類似様式において作用し、直接光のみをもたらす。残念ながら、照明パターン間の界面にちょうど位置する、ｐ２では、パターンＡおよびＢの両方からの直接光は、ほぼ同一強度において検出されるであろう。これは、値の差異を求めることがゼロ値をもたらすことを意味する。さらに、界面近傍のエリアもまた、照明パターンの両方からの直接光が実質的量において存在する度に、ある程度の不正確性に悩まされるであろう。その結果、鋭的境界を照明パターン間に伴う照明パターンは、より少ない不正確性を照明パターン間の界面に有するであろう。しかしながら、界面近傍の点に関する直接光値は、依然として、補間によって計算されることができる。ｐ３に関する直接光値は、ｐ４およびｐ５に関する直接光値からの補間によって計算されることができる。概して、ｐ４およびｐ５は、可能な限りｐ２に近くあるべきである。例えば、プロセッサは、所定の閾値を下回る照明パターンＢからの直接光の量を伴う補間点ｐ４を選択するように構成されることができる。
図３Ａは、第１の光学アセンブリ３００を示し、これは、光源３０２の正面に位置付けられる光成形構成要素の群から成る。いくつかの実施形態では、光源３０２は、赤外線レーザダイオードであることができる。光源３０２は、第１の光成形構成要素である、コリメートレンズ３０４を通して通過する、光を放射する。コリメートレンズ３０４は、光源３０２によって放射される光３０６を、第２の光成形構成要素である、屈折光学要素３０８に向かって集束させるように構成されることができる。屈折光学要素３０８は、集束された光３０６を角度θだけ傾斜させ、光を垂直に伸長し、第３の光成形構成要素である、回折光学要素３１２に指向される、優ガウス性ビーム３１０を生成する。回折光学要素３１２は、次いで、優ガウス性ビーム３１０を増大させる。優ガウス性３１０は、例証目的のために、５倍に倍増されるように描写されるが、本数は、変動することができる。例えば、いくつかの実施形態では、回折光学要素３１２は、優ガウス性ビームを２５倍に倍増するように構成されることができる。倍増された優ガウス性ビーム３１０の数および厚さは、関連付けられた撮像センサの垂直視野に合致するように選択されることができる。優ガウス性ビームが、マイクロレンズアレイ３１４を通して通過すると、マイクロレンズアレイ３１４は、描写されるように、各優ガウス性ビームを水平に拡散させ、領域３１６を照明する、照明パターンをもたらす。マイクロレンズアレイ３１４は、両面（描写されるように）、片面、または円筒形であることができる。いくつかの実施形態では、領域３１８および領域３１６は、ほぼ同一サイズであることができる。第２の光学アセンブリからの光は、領域３１８を照明するように構成されることができる。いくつかの実施形態では、光学アセンブリは、水平領域３１６および３１８のうちの１つが任意の所与の時間に照明されるように、相補的パターンにおいて光を放射することができる。
図３Ｂは、第２の光学アセンブリ３２０を示し、これは、光源３２２の正面に位置付けられる光成形構成要素の群から成る。いくつかの実施形態では、光源３２２は、赤外線レーザダイオードであることができる。光源３２２は、第１の光成形構成要素である、コリメートレンズ３２４を通して通過する、光を放射する。コリメートレンズ３２４は、光源３２２によって放射される光３２６を、第２の光成形構成要素である、屈折光学要素３２８に向かって集束させるように構成されることができる。屈折光学要素３２８は、集束された光３２６を角度－θだけ傾斜させ、光を垂直に伸長し、第３の光成形構成要素である、回折光学要素３３２に指向される、優ガウス性ビーム３３０を生成する。いくつかの実施形態では、優ガウス性ビーム３３０を優ガウス性ビーム３１０の方向と反対方向に配向することは、光源間のクロストークのリスクを低減させることができる。回折光学要素３３２は、次いで、優ガウス性ビーム３３０を増大させる。優ガウス性ビーム３３０は、例証目的のために、倍増される５倍に倍増されるように描写されるが、本数は、変動することができる。例えば、いくつかの実施形態では、回折光学要素３１２は、優ガウス性ビームを２５倍に倍増するように構成されることができる。倍増された優ガウス性ビーム３３０の数および厚さは、関連付けられた撮像センサの垂直視野に合致するように選択されることができる。優ガウス性ビームが、マイクロレンズアレイ３３４を通して通過すると、マイクロレンズアレイ３３４は、描写されるように、各優ガウス性ビームを水平に拡散し、領域３１８を照明する、照明パターンを作成する。このように、光源３２２および３０２は、領域３１６および３１８を協働して照明することができる。領域３１６および３１８の照明は、異なるパターンにおいて互い違いであることができる。例えば、領域３１６および３１８は、光がほぼ同一時間量にわたって両領域内で輝くように、連続して照明されることができる。
図３Ｃは、別の光学アセンブリ３４０を示し、これは、光源３４２の正面に位置付けられる３つの光成形構成要素から成る。いくつかの実施形態では、光源３４２は、赤外線レーザダイオードであることができる。光源３４２は、コリメートレンズ３４４の形態をとる第１の光成形構成要素を通して通過する、光を放射する。コリメートレンズ３４４は、光学要素３４８の形態をとる第２の光成形構成要素に向かって進行する、光源３４２によって放射される光３４６をコリメートするように構成されることができる。光学要素３４８は、光学要素３４８の第１の側上の屈折表面３５０と、光学要素３４８の第２の側上の回折表面３５２の両方を含むことができる。屈折表面３５０および回折表面３５２は、ガラスまたはポリカーボネート基板の両側上に成型されたポリマー材料の形態をとることができる。コリメートされた光３３６が、屈折表面３４０を通して通過すると、光は、角度θだけ傾斜され、光学要素３４８内の優ガウス性ビーム３５４に伸長される。優ガウス性ビーム３５４が、回折表面３５２を通して通過すると、優ガウス性ビーム３５４は、複数の優ガウス性ビーム３５４に倍増されることができる。優ガウス性ビーム３５４が、マイクロレンズアレイ３５６を通して通過すると、マイクロレンズアレイ３５６は、描写されるように、各優ガウス性ビーム３５４を水平に拡散し、領域３１６を照明する、照明パターンをもたらす。このように、光源３４２は、領域３１６を照明する。
図４Ａ－４Ｂは、光源毎に、光学アセンブリ３００に類似する光学アセンブリを組み込む、２つの光源を伴う、プロジェクタアセンブリ４００を示す。図４Ａは、投影アセンブリ４００の上面図を示す。投影アセンブリ４００は、光源４０２および４０４を含む。光源４０２および４０４は両方とも、剛性基板４０６に搭載されることができる。いくつかの実施形態では、剛性基板４０６は、アルミナセラミックから形成されることができる。剛性基板４０６は、光源４０２および４０４を相互に対する位置を偏移させないように保つ。剛性基板４０６はまた、光学アセンブリに対する光源４０２および４０４の偏移を低減させる、低熱膨張係数を有することができる。
光源４０２は、光を光学アセンブリ４１０に向かって集束させる、二重コリメートレンズ４０８の第１の部分を通して、光を放つ。二重コリメートレンズ４０８の第２の部分は、光源４０４によって放射される光を光学アセンブリ４１２に向かって集束させる。いくつかの実施形態では、二重コリメートレンズ４０８は、同一機能を遂行する、２つの別個のコリメートレンズによって置換されることができる。光学アセンブリ４１０および４１２はそれぞれ、各光源からの光をある照明パターンにおいて拡散するために、３０８に類似する屈折光学要素と、３１２に類似する回折光学要素と、３１４に類似するマイクロレンズアレイとを含むことができる。光学アセンブリ４１０は、照明パターンが相補的であるように、光学アセンブリ４１２と若干異なり、光源４０４によって生成された照明パターンを光源４０２によって生成された照明パターンから垂直にオフセットさせることができる。これは、１つの照明パターンからの光のバーが、他の照明パターンの光のバー間に位置付けられることを可能にする。このように、光源４０２および４０４によって生成された照明パターンは、表面を均一に被覆するように協働する。いくつかの実施形態では、屈折光学要素は、光源４０４からの光を光源４０２によって生成された光と反対方向に偏移させることができる。
プロジェクタアセンブリ４００はまた、ＰＣＢ４１６上に搭載され、光源４０２および４０４からの出力を同期させるように構成される、プロセッサ４１４を含むことができる。例えば、プロセッサ４１４は、ＰＣＢ４１６に搭載され、光源４０２および４０４に、照明パターンのいずれも同時にアクティブではないように、光の互い違いパルスを送光するように指示するように構成されることができる。プロセッサ４１４はまた、光源４０４の変調を指示し、深度センサが他の周囲光源からの光のパルスを区別することに役立つことができる。いくつかの実施形態では、プロセッサ４１４はまた、センサの視野内の物体から反射された後、光のパルスを受光するように構成される、センサと通信することができる。
図４Ｂは、投影アセンブリ４００の側面図を示す。特に、光源４０４は、剛性基板４０６によって持ち上げられて示される。剛性基板は、ＰＣＢ４１６によって画定された切り欠きの中に挿入されることができる。剛性基板４０６はまた、プロジェクタアセンブリ４００のプロジェクタ筐体４１８のための基部を形成することができる。プロジェクタ筐体４１８は、二重コリメートレンズ４０８を支持するための段部４２０を画定することができる。
図５Ａ－５Ｂは、屈曲光学系を利用する、複数の光源プロジェクタアセンブリ５００の図を示す。図５Ａは、プロジェクタアセンブリ５００が、２つの別個のセットの光学系、すなわち、光学アセンブリ４１０および４１２を含む様子を示し、これは、コリメートレンズ４０８の屈曲光学系５０２から放射される光を受光する。屈曲光学系５０２は、光経路５０４を側方に偏移させ、それによって、プロジェクタアセンブリ５００の高さにおける全体的低減を可能にすることによって、光源４０２および４０４がコリメートレンズ４０８のより近くに位置付けられることを可能にする。
図５Ｂは、光経路５０４を側方に偏移させることによって、プロジェクタアセンブリ５００の高さが、低減され、それによって、プロジェクタアセンブリ５００がより小さい形状因子のデバイス内にパッケージ化されることを可能にし得る様子を示す。特に、側方に偏移された光経路５０４は、光経路の長さが水平および垂直区画に分割されることを可能にする。プロジェクタアセンブリ５００の全体的高さは、水平区画内の光経路の部分がプロジェクタアセンブリ５００の全体的高さ内に組み込まれる必要がないため、低減される。屈曲光学系５０２を通した光経路の方向は、光学反射表面５０６によって再指向され、これは、光を水平配向から垂直配向に再配向する。いくつかの実施形態では、光学反射表面５０６は、鏡面化されることができる。
図５Ｃは、プロジェクタアセンブリ５１０を示し、これは、プロジェクタアセンブリ５００より低い全体的高さを有することができる。コリメートレンズ４０８は、屈曲光学系５０２および円筒形レンズ表面５０８の両方を含むことができる。円筒形レンズ表面５０８は、コリメートレンズ４０８に進入する光の幅を狭めることによって、光源４０４によって放射される光を部分的にコリメートすることができる。屈曲光学系５０２は、光源４０４によって放射される光の狭められたビーム幅に起因して、垂直により短くあることができる。光は、次いで、コリメートレンズ４０８から退出することに応じて、完全にコリメートされた状態になる。このように、コリメートレンズ４０８の高さは、低減されることができる。
図６Ａ－６Ｂは、単一光源６０２を使用する、投影アセンブリ６００の側面図を示す。図６Ａは、非アクティブ構成における、投影アセンブリ６００を示す。投影アセンブリ６００のみが、２つの異なる照明パターンをもたらすために、単一光源６０２を含むため、投影アセンブリ６００は、２つの相補的照明パターンをもたらすように構成される、線形作動式光学系６０６を含む。光学系６０６は、圧電モータ６０８によって、線形に作動されることができ、これは、図６Ｂに示される２つの位置においてリンケージ６１０を回転させることによって、２つ以上の位置間で光学系６０６を作動させる。圧電モータ６０８は、光源６０２が相補的照明パターン６１２および６１４を連続して投影することを可能にする率において、光学系６０６を往復して発振するように構成されることができる。光源６０２は、光学系６０６が相補的照明パターンのうちの１つに対応する位置にあるときのみ、光源６０２が光を放射するように、光学系６０６の発振率と同期されることができる。２つのみの照明パターンが、示されるが、圧電モータ６０８はまた、３つ以上の異なる照明パターンを定義するように構成されることができることに留意されたい。
図７は、上記に説明される深度検出システムの異なる構成要素間の相互作用を描写する、略図を示す。フローチャートの上部は、相互作用の開始を示し、フローチャートの下に向かって移動するように進む。深度検出システムのプロジェクタは、交互する第１および第２の照明パターンを送光する。深度検出システムのセンサ視野内の物体は、第１および第２の照明パターンの一部を反射させ、深度検出システムのセンサの中に戻す。直接、プロジェクタから物体に進行し、戻る光（直接光）は、センサに戻ることに先立って、別の表面から跳ね返る光（間接光）が到着する前に、センサに帰着するであろう。その結果、飛行時間深度検出システムは、間接光が検討されるとき、センサからの物体の距離を正しくなく増加させるであろう。センサは、次いで、第１および第２の照明パターンから受光された光をプロセッサに送光する。プロセッサは、次いで、センサとセンサ視野内の物体との間の距離を判定するとき、直接、プロジェクタから物体に進行し、センサに戻る光のみが、検討されるように、間接光を受光された総光からフィルタリング除去するように構成されることができる。プロセッサは、次いで、センサ視野内の物体を深度検出センサと関連付けられたディスプレイの適切な深度平面に割り当てることができる。最後に、プロセッサは、画像をセンサ視野内の種々の物体に対応する深度平面に送信することができる。
説明される実施形態の種々の側面、実施形態、実装、または特徴は、別個に、または任意の組み合わせにおいて使用されることができる。説明される実施形態の種々の側面は、ソフトウェア、ハードウェア、またはハードウェアとソフトウェアの組み合わせによって実装されることができる。説明される実施形態はまた、製造動作を制御するためのコンピュータ可読媒体上のコンピュータ可読コードとして、または製造ラインを制御するためのコンピュータ可読媒体上のコンピュータ可読コードとして、具現化されることができる。コンピュータ可読媒体は、その後、コンピュータシステムによって読み取られ得る、データを記憶し得る、任意のデータ記憶デバイスである。コンピュータ可読媒体の実施例は、読取専用メモリ、ランダムアクセスメモリ、ＣＤ－ＲＯＭ、ＨＤＤ、ＤＶＤ、磁気テープ、および光学データ記憶デバイスを含む。コンピュータ可読媒体はまた、コンピュータ可読コードが分散型方式において記憶および実行されるように、ネットワークで結合されたコンピュータシステムにわたって分散されることができる。
前述の説明は、説明目的のために、具体的命名法を使用して、説明される実施形態の完全な理解を提供する。しかしながら、具体的詳細は、説明される実施形態を実践するために要求されないことが、当業者に明白となるであろう。したがって、具体的実施形態の前述の説明は、例証目的および説明のために提示される。それらは、包括的であること、または説明される実施形態を開示される精密な形態に限定することを意図するものではない。多くの修正および変形例が、前述の教示に照らして、可能性として考えられることが、当業者に明白となるであろう。

Claims (1)

  1. 本明細書に記載の発明。
JP2021208192A 2016-09-30 2021-12-22 空間光変調を伴うプロジェクタ Pending JP2022031977A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662402871P 2016-09-30 2016-09-30
US62/402,871 2016-09-30
JP2019516929A JP6999658B2 (ja) 2016-09-30 2017-09-29 空間光変調を伴うプロジェクタ
PCT/US2017/054385 WO2018064520A1 (en) 2016-09-30 2017-09-29 Projector with spatial light modulation

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019516929A Division JP6999658B2 (ja) 2016-09-30 2017-09-29 空間光変調を伴うプロジェクタ

Publications (1)

Publication Number Publication Date
JP2022031977A true JP2022031977A (ja) 2022-02-22

Family

ID=61756967

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019516929A Active JP6999658B2 (ja) 2016-09-30 2017-09-29 空間光変調を伴うプロジェクタ
JP2021208192A Pending JP2022031977A (ja) 2016-09-30 2021-12-22 空間光変調を伴うプロジェクタ

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019516929A Active JP6999658B2 (ja) 2016-09-30 2017-09-29 空間光変調を伴うプロジェクタ

Country Status (9)

Country Link
US (3) US10859676B2 (ja)
EP (1) EP3519850A4 (ja)
JP (2) JP6999658B2 (ja)
KR (1) KR102455389B1 (ja)
CN (1) CN109791201B (ja)
AU (1) AU2017336066B2 (ja)
CA (1) CA3037058C (ja)
IL (1) IL265660B2 (ja)
WO (1) WO2018064520A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10859676B2 (en) 2016-09-30 2020-12-08 Magic Leap, Inc. Projector with spatial light modulation
US11585902B2 (en) * 2017-11-30 2023-02-21 Cepton Technologies, Inc. Optical designs using cylindrical lenses for improved resolution in lidar systems
US11592527B2 (en) 2018-02-16 2023-02-28 Cepton Technologies, Inc. Systems for incorporating LiDAR sensors in a headlamp module of a vehicle
US10705189B2 (en) * 2018-09-30 2020-07-07 Suteng Innovation Technology Co., Ltd. Multi-beam LiDAR systems with two types of laser emitter boards and methods for detection using the same
WO2020086951A1 (en) * 2018-10-26 2020-04-30 The Charles Stark Draper Laboratory, Inc. Beam scanning methods for improved eye safety in lidar systems
US11698441B2 (en) * 2019-03-22 2023-07-11 Viavi Solutions Inc. Time of flight-based three-dimensional sensing system
JP7408642B2 (ja) * 2019-04-22 2024-01-05 株式会社小糸製作所 イメージング装置、車両用灯具、自動車、イメージング方法
CN110261872A (zh) * 2019-06-24 2019-09-20 业成科技（成都）有限公司 激光侦测装置
US11906628B2 (en) 2019-08-15 2024-02-20 Apple Inc. Depth mapping using spatial multiplexing of illumination phase
EP3798679B1 (en) * 2019-09-30 2023-06-21 STMicroelectronics (Research & Development) Limited Laser safety verification
EP3835720B1 (en) 2019-12-10 2023-08-09 Melexis Technologies NV Method for multipath error compensation and multipath error-compensated indirect time of flight range calculation apparatus
US11580654B2 (en) * 2019-12-30 2023-02-14 Qualcomm Incorporated Alternating light distributions for active depth sensing
US20210215798A1 (en) * 2020-01-10 2021-07-15 Continental Automotive Systems, Inc. Lidar system
US11763472B1 (en) 2020-04-02 2023-09-19 Apple Inc. Depth mapping with MPI mitigation using reference illumination pattern
CN113167870B (zh) * 2020-04-03 2023-11-24 深圳市速腾聚创科技有限公司 激光收发系统、激光雷达及自动驾驶设备
DE102020110052A1 (de) 2020-04-09 2021-10-14 Hybrid Lidar Systems Ag Vorrichtung zur erfassung von bilddaten
WO2021252153A1 (en) 2020-06-11 2021-12-16 Apple Inc. Global-shutter image sensor with time-of-flight sensing capability
US11681048B2 (en) * 2020-07-31 2023-06-20 Uatc, Llc Multi-channel light detection and ranging (LIDAR) unit having a telecentric lens assembly and single circuit board for emitters and detectors
GB2597930B (en) * 2020-08-05 2024-02-14 Envisics Ltd Light detection and ranging
CN114740631A (zh) * 2021-01-07 2022-07-12 深圳迈塔兰斯科技有限公司 一种3D-ToF发射模组
WO2022201848A1 (ja) * 2021-03-22 2022-09-29 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
US20230095000A1 (en) * 2021-09-24 2023-03-30 Apple Inc. Adaptive-Flash Photography, Videography, and/or Flashlight Using Camera, Scene, or User Input Parameters

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0773502A (ja) * 1993-06-30 1995-03-17 Ricoh Co Ltd 微小変位測定装置及び光ピックアップ装置
JP2001133231A (ja) * 1999-11-02 2001-05-18 Olympus Optical Co Ltd ３次元画像取得生成装置
US20020163573A1 (en) * 2001-04-11 2002-11-07 Bieman Leonard H. Imaging system
JP2004096457A (ja) * 2002-08-30 2004-03-25 Sumitomo Osaka Cement Co Ltd 領域監視装置
US6763133B1 (en) * 1999-05-29 2004-07-13 Sun Moon University Moire image capturing apparatus and method therefor
US20100008588A1 (en) * 2008-07-08 2010-01-14 Chiaro Technologies LLC Multiple channel locating
US20110169915A1 (en) * 2010-01-14 2011-07-14 Alces Technology, Inc. Structured light system
JP2011160420A (ja) * 2010-02-02 2011-08-18 Primesense Ltd 投影照明の画像センサの回転シャッタとの同期
US20140376092A1 (en) * 2013-06-19 2014-12-25 Primesense Ltd. Integrated structured-light projector
JP2015514965A (ja) * 2012-02-15 2015-05-21 アップル インコーポレイテッド 走査深度エンジン
US20150253429A1 (en) * 2014-03-06 2015-09-10 University Of Waikato Time of flight camera system which resolves direct and multi-path radiation components

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW520148U (en) 2002-06-14 2003-02-01 Yeou Chih Corp Device for improving heat dissipation and noise of computer power supply
CH697495B1 (de) * 2005-04-01 2008-11-14 Baumer Electric Ag Optischer Sensor und Verfahren zur Unterdrückung von Streulichtfehlern.
US7544945B2 (en) * 2006-02-06 2009-06-09 Avago Technologies General Ip (Singapore) Pte. Ltd. Vertical cavity surface emitting laser (VCSEL) array laser scanner
JP2014525091A (ja) * 2011-07-13 2014-09-25 サイオニクス、インク． 生体撮像装置および関連方法
US9297889B2 (en) * 2012-08-14 2016-03-29 Microsoft Technology Licensing, Llc Illumination light projection for a depth camera
US9729860B2 (en) * 2013-05-24 2017-08-08 Microsoft Technology Licensing, Llc Indirect reflection suppression in depth imaging
US8836922B1 (en) * 2013-08-20 2014-09-16 Google Inc. Devices and methods for a rotating LIDAR platform with a shared transmit/receive path
US9443310B2 (en) * 2013-10-09 2016-09-13 Microsoft Technology Licensing, Llc Illumination modules that emit structured light
BR112016009202A8 (pt) * 2013-10-23 2020-03-24 Oculus Vr Llc aparelhos e método para gerar um padrão de luz estruturada
US9696424B2 (en) * 2014-05-19 2017-07-04 Rockwell Automation Technologies, Inc. Optical area monitoring with spot matrix illumination
US10419703B2 (en) * 2014-06-20 2019-09-17 Qualcomm Incorporated Automatic multiple depth cameras synchronization using time sharing
US9897698B2 (en) 2015-02-23 2018-02-20 Mitsubishi Electric Research Laboratories, Inc. Intensity-based depth sensing system and method
US10408922B2 (en) * 2015-07-10 2019-09-10 Ams Sensors Singapore Pte. Ltd. Optoelectronic module with low- and high-power illumination modes
TWM520148U (zh) * 2015-08-21 2016-04-11 高準精密工業股份有限公司 結構光產生模組總成
JP7145073B2 (ja) * 2015-10-21 2022-09-30 プリンストン・オプトロニクス・インコーポレイテッド コード化パターンプロジェクタ
EP3408585B1 (en) * 2016-01-26 2020-12-09 Heptagon Micro Optics Pte. Ltd. Multi-mode illumination module and related method
US10859676B2 (en) 2016-09-30 2020-12-08 Magic Leap, Inc. Projector with spatial light modulation
DE102017205623A1 (de) * 2017-04-03 2018-10-04 Robert Bosch Gmbh LIDAR-Vorrichtung und Verfahrens zum Abtasten eines Abtastwinkels

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0773502A (ja) * 1993-06-30 1995-03-17 Ricoh Co Ltd 微小変位測定装置及び光ピックアップ装置
US6763133B1 (en) * 1999-05-29 2004-07-13 Sun Moon University Moire image capturing apparatus and method therefor
JP2001133231A (ja) * 1999-11-02 2001-05-18 Olympus Optical Co Ltd ３次元画像取得生成装置
US20020163573A1 (en) * 2001-04-11 2002-11-07 Bieman Leonard H. Imaging system
JP2004096457A (ja) * 2002-08-30 2004-03-25 Sumitomo Osaka Cement Co Ltd 領域監視装置
US20100008588A1 (en) * 2008-07-08 2010-01-14 Chiaro Technologies LLC Multiple channel locating
US20110169915A1 (en) * 2010-01-14 2011-07-14 Alces Technology, Inc. Structured light system
JP2011160420A (ja) * 2010-02-02 2011-08-18 Primesense Ltd 投影照明の画像センサの回転シャッタとの同期
JP2015514965A (ja) * 2012-02-15 2015-05-21 アップル インコーポレイテッド 走査深度エンジン
US20140376092A1 (en) * 2013-06-19 2014-12-25 Primesense Ltd. Integrated structured-light projector
US20150253429A1 (en) * 2014-03-06 2015-09-10 University Of Waikato Time of flight camera system which resolves direct and multi-path radiation components

Also Published As

Publication number Publication date
US11635492B2 (en) 2023-04-25
CA3037058C (en) 2024-04-02
KR102455389B1 (ko) 2022-10-14
US10859676B2 (en) 2020-12-08
WO2018064520A1 (en) 2018-04-05
US20180095165A1 (en) 2018-04-05
US20210116546A1 (en) 2021-04-22
CA3037058A1 (en) 2018-04-05
IL265660A (en) 2019-05-30
CN109791201A (zh) 2019-05-21
IL265660B1 (en) 2023-03-01
CN109791201B (zh) 2023-04-04
EP3519850A1 (en) 2019-08-07
IL265660B2 (en) 2023-07-01
AU2017336066B2 (en) 2022-04-14
AU2017336066A1 (en) 2019-04-11
JP2019529924A (ja) 2019-10-17
JP6999658B2 (ja) 2022-01-18
EP3519850A4 (en) 2019-10-16
KR20190055230A (ko) 2019-05-22
US20230213620A1 (en) 2023-07-06

Similar Documents

Publication Publication Date Title
JP6999658B2 (ja) 空間光変調を伴うプロジェクタ
EP1566311B1 (en) Adaptive Lighting control for vision-based occupant sensing
EP3004925B1 (en) Indirect reflection suppression in depth imaging
US20150362585A1 (en) 2-D Planar VCSEL Source for 3-D Imaging
US20150260830A1 (en) 2-D Planar VCSEL Source for 3-D Imaging
JP5106521B2 (ja) スペックルの定位方法およびその定位系統
US20070296699A1 (en) Multi-mode optical navigation
US20240004074A1 (en) Electronic device with light sources emitting in different directions
JP2006505784A (ja) 測距装置
US11897150B2 (en) Electronic device projecting different light patterns for different functions
US20140354797A1 (en) Calibration block for measuring warpage, warpage measuring apparatus using the same, and method thereof
KR20210053980A (ko) 그리드 광 패턴들을 사용한 깊이 감지
JP5715822B2 (ja) 光学三角法、コンピュータプログラム、電子制御ユニット及び測定システム
JP2022531578A (ja) Ｌｉｄａｒシステムにおける時間的ジッタ
US20230161041A1 (en) Illumination Pattern For Object Depth Measurement
EP3287737B1 (en) System and method for parallax-based determination of dimension related to an object
US11733362B2 (en) Distance measuring apparatus comprising deterioration determination of polarizing filters based on a reflected polarized intensity from a reference reflector
JP5686058B2 (ja) 農産物の体積測定装置
US20230206478A1 (en) Imaging arrangement and corresponding methods and systems for depth map generation
CN110476080A (zh) 用于对扫描角进行扫描并且用于分析处理探测器的激光雷达设备和方法
KR101019173B1 (ko) 광 스펙클들을 위한 대면적의 비왜곡 이미징 장치 및 그의 방법
JP2021099255A (ja) 情報処理装置、および、情報処理システム
FR2997771A1 (fr) Procede de detection sans contact d'une cible par rayonnement d'infrarouge et son dispositif de mise en oeuvre

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240312