JP2018509632A5 - - Google Patents

Download PDF

Info

Publication number
JP2018509632A5
JP2018509632A5 JP2017549761A JP2017549761A JP2018509632A5 JP 2018509632 A5 JP2018509632 A5 JP 2018509632A5 JP 2017549761 A JP2017549761 A JP 2017549761A JP 2017549761 A JP2017549761 A JP 2017549761A JP 2018509632 A5 JP2018509632 A5 JP 2018509632A5
Authority
JP
Japan
Prior art keywords
light pattern
cells
structured light
cell
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017549761A
Other languages
English (en)
Other versions
JP2018509632A (ja
JP6386194B2 (ja
Filing date
Publication date
Application filed filed Critical
Priority claimed from PCT/US2016/023611 external-priority patent/WO2016154218A1/en
Publication of JP2018509632A publication Critical patent/JP2018509632A/ja
Publication of JP2018509632A5 publication Critical patent/JP2018509632A5/ja
Application granted granted Critical
Publication of JP6386194B2 publication Critical patent/JP6386194B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (18)

  1. 構造化光パターンを生成するためのシステムであって、前記システムは、
    光を生成するレーザアレイであって、同レーザアレイが少なくとも2つのレーザのサブセットにグループ化される複数のレーザを含み、前記少なくとも2つのレーザのサブセットの各々が独立して切り替え可能であるレーザアレイと、
    複数のセルを含む光学素子であって、前記複数のセルの各々が、前記レーザアレイの対応するレーザからの光を受承するように、同レーザアレイの対応するサブセットに位置合わせされており、かつ各セルは、局所領域に投影される構造化光パターンの対応する部分を形成するために、同セルを通過する受承された光に変調を個々に、かつ動的に適用し、前記構造化光パターンは、第1の部分と前記第1の部分とは異なる変調を有する第2の部分とを少なくとも含み、前記第1の部分は前記複数のセルの第1のセルによって部分的に生成され、前記第2の部分は前記複数のセルの第2のセルによって部分的に生成され、かつ前記構造化光パターンの前記第1の部分は関心領域に投影される光学素子と、
    前記局所領域内の関心領域を決定するために、同局所領域の1つまたは複数の画像を分析するように構成されているコントローラと、
    を含むシステム。
  2. 前記変調が、回折変調、屈折変調、回折変調と屈折変調との組み合わせと、からなる群より選択される1つの要素である、請求項1に記載のシステム。
  3. 前記少なくとも2つのサブセットのうちの前記レーザアレイのサブセットおよびその対応するセルは、単一の成形素子から構成されている、請求項1に記載のシステム。
  4. 前記複数のセルのうちの1つのセルの幅は、1mm以下である、請求項1に記載のシステム。
  5. 前記複数のセルの1つまたは複数は、少なくとも1つの捕捉フレームを受承し、かつ分析することに基づいて前記構造化光パターンに対する変更を動的に提供するように制御可能であり、前記フレームは、二次元レイアウト内に複数の画素を含む、請求項に記載のシステム。
  6. 前記動的制御は、前記構造化光パターンの第1の部分に増大した解像度を備えた構造化光パターンを適用するように構成可能であり、かつ前記局所領域の第2の部分に低減した解像度を備えた構造化光パターンを適用するように構成可能である、請求項に記載のシステム。
  7. 前記構造化光パターンの変更が、光学素子に関連する複数のセルのうちの少なくとも1つのセルにおける変更を含む、請求項に記載のシステム。
  8. 前記構造化光パターンの変更が、光学素子に関連する複数のセルのうちの少なくとも1つのセルにおける変更を含む、請求項5に記載のシステム。
  9. 前記構造化光パターンの変更が、複数のセルのうちの少なくとも1つのセルにおける変更を含む、請求項に記載のシステム。
  10. 前記複数のセルは、前記生成された構造化光パターンの位置及び形状に関してさらに制御可能である、請求項1に記載のシステム。
  11. 構造化光パターンを生成するためのシステムであって、前記システムは、
    光を生成するレーザアレイであって、同レーザアレイが少なくとも2つのレーザのサブセットにグループ化される複数のレーザを含み、前記少なくとも2つのレーザのサブセットの各々が独立して切り替え可能であるレーザアレイと、
    複数のセルを含む光学素子であって、前記複数のセルの各々が、前記レーザアレイの対応するレーザからの光を受承するように、同レーザアレイの対応するサブセットに位置合わせされており、かつ各セルは、局所領域に投影される構造化光パターンの対応する部分を形成するために、同セルを通過する受承された光に変調を個々に、かつ動的に適用し、前記構造化光パターンは、第1の部分と前記第1の部分とは異なる変調を有する第2の部分とを少なくとも含み、前記第1の部分は前記複数のセルの第1のセルによって部分的に生成され、前記第2の部分は前記複数のセルの第2のセルによって部分的に生成され、かつ前記構造化光パターンの前記第1の部分は関心領域に投影される光学素子と、
    前記局所領域の1つまたは複数の画像を捕捉するように構成されているイメージャであって、前記1つまたは複数の画像は前記構造化光パターンの少なくとも一部を含む、イメージャと、
    前記局所領域内の関心領域を決定するために、同局所領域の1つまたは複数の画像を分析し、前記1つまたは複数の画像を使用して、三次元空間における1つまたは複数の対象についての深度情報を決定するように構成されているコントローラと、
    を含む、システム。
  12. 前記変調が、回折変調、屈折変調、回折変調と屈折変調との組み合わせと、からなる群より選択される1つの要素である、請求項11に記載のシステム。
  13. 前記少なくとも2つのサブセットのうちの前記レーザアレイのサブセットおよびその対応するセルは、単一の成形素子から構成されている、請求項11に記載のシステム。
  14. 前記複数のセルのうちの1つのセルの幅は、1mm以下である、請求項11に記載のシステム。
  15. 前記複数のセルの1つまたは複数は、少なくとも1つの捕捉フレームを受承し、かつ分析することに基づいて前記構造化光パターンに対する変更を動的に提供するように制御可能であり、前記フレームは、二次元レイアウト内に複数の画素を含む、請求項11に記載のシステム。
  16. 前記動的制御は、前記構造化光パターンの第1の部分に増大した解像度を備えた構造化光パターンを適用するように構成可能であり、かつ前記局所領域の第2の部分に低減した解像度を備えた構造化光パターンを適用するように構成可能である、請求項15に記載のシステム。
  17. 前記複数のセルは、前記生成された構造化光パターンの位置及び形状に関してさらに制御可能である、請求項11に記載のシステム。
  18. 構造化光パターンを生成するためのシステムであって、前記システムは、
    光を生成するレーザアレイであって、同レーザアレイが少なくとも2つのレーザのサブセットにグループ化される複数のレーザを含み、前記少なくとも2つのレーザのサブセットの各々が独立して切り替え可能であるレーザアレイと、
    複数のセルを含む光学素子であって、前記複数のセルの各々が、前記レーザアレイの対応するレーザからの光を受承するように、同レーザアレイの対応するサブセットに位置合わせされており、かつ各セルは、局所領域に投影される構造化光パターンの対応する部分を形成するために、同セルを通過する受承された光に変調を個々に、かつ動的に適用し、前記構造化光パターンは、第1の部分と前記第1の部分とは異なる変調を有する第2の部分とを少なくとも含み、前記第1の部分は前記複数のセルの第1のセルによって部分的に生成され、前記第2の部分は前記複数のセルの第2のセルによって部分的に生成され、かつ前記構造化光パターンの前記第1の部分は関心領域に投影される光学素子と、
    前記局所領域の1つまたは複数の画像を捕捉するように構成されているイメージャであって、前記1つまたは複数の画像は前記構造化光パターンの少なくとも一部を含む、イメージャと、
    前記局所領域内の関心領域を決定するために、同局所領域の1つまたは複数の画像を分析し、前記1つまたは複数の捕捉されたフレームに基づいて1つのまたは複数のレーザの変調を変更するように構成されているコントローラと、を含む、システム。
JP2017549761A 2015-03-22 2016-03-22 ステレオカメラと構造化光とを使用したヘッドマウントディスプレイでの深度マッピング Active JP6386194B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562136549P 2015-03-22 2015-03-22
US62/136,549 2015-03-22
PCT/US2016/023611 WO2016154218A1 (en) 2015-03-22 2016-03-22 Depth mapping with a head mounted display using stereo cameras and structured light

Publications (3)

Publication Number Publication Date
JP2018509632A JP2018509632A (ja) 2018-04-05
JP2018509632A5 true JP2018509632A5 (ja) 2018-07-12
JP6386194B2 JP6386194B2 (ja) 2018-09-05

Family

ID=56977613

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017549761A Active JP6386194B2 (ja) 2015-03-22 2016-03-22 ステレオカメラと構造化光とを使用したヘッドマウントディスプレイでの深度マッピング

Country Status (6)

Country Link
US (1) US10031588B2 (ja)
EP (1) EP3274653B1 (ja)
JP (1) JP6386194B2 (ja)
KR (1) KR101904181B1 (ja)
CN (1) CN107637074B (ja)
WO (1) WO2016154218A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10620316B2 (en) * 2017-05-05 2020-04-14 Qualcomm Incorporated Systems and methods for generating a structured light depth map with a non-uniform codeword pattern
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
US20190349569A1 (en) * 2018-05-10 2019-11-14 Samsung Electronics Co., Ltd. High-sensitivity low-power camera system for 3d structured light application
JP7114387B2 (ja) * 2018-07-30 2022-08-08 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
EP3803266A4 (en) 2018-06-06 2022-03-09 Magik Eye Inc. DISTANCE MEASUREMENT USING HIGH DENSITY PROJECTION PATTERNS
CN110855961A (zh) * 2018-08-20 2020-02-28 奇景光电股份有限公司 深度感测装置及其操作方法
US10909373B1 (en) * 2018-08-24 2021-02-02 Snap Inc. Augmented reality system using structured light
US10896516B1 (en) * 2018-10-02 2021-01-19 Facebook Technologies, Llc Low-power depth sensing using dynamic illumination
US11483503B2 (en) 2019-01-20 2022-10-25 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
EP3788545B1 (en) 2019-03-26 2022-12-07 Shenzhen Goodix Technology Co., Ltd. Multizone illumination for optical face identification
CN111566663B (zh) * 2019-03-26 2023-05-02 深圳市汇顶科技股份有限公司 用于光学脸部识别的多区域照明
CN112036222B (zh) * 2019-06-04 2023-12-29 星宸科技股份有限公司 脸部辨识系统及方法
US11422638B2 (en) 2019-07-08 2022-08-23 Apple Inc. Input devices that use self-mixing interferometry to determine movement within an enclosure
US20220290976A1 (en) * 2019-09-04 2022-09-15 ams Sensors Singapore Pte. Ltd Designing and constructing dot projectors for three-dimensional sensor modules
US11409365B2 (en) * 2019-09-06 2022-08-09 Apple Inc. Self-mixing interferometry-based gesture input system including a wearable or handheld device
US11419546B2 (en) 2019-09-24 2022-08-23 Apple Inc. Wearable self-mixing interferometry device used to sense physiological conditions
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
KR20220074957A (ko) 2019-10-07 2022-06-03 트리나미엑스 게엠베하 적어도 하나의 대상체를 조명하기 위한 프로젝터
CN111240009B (zh) 2019-12-31 2020-12-29 嘉兴驭光光电科技有限公司 可用于投射斜线的衍射光学元件、投射装置及其设计方法

Family Cites Families (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4115445C2 (de) 1990-07-05 1994-02-17 Reinhard Malz Verfahren zum Aufnehmen eines dreidimensionalen Bildes eines Objektes nach dem aktiven Triangulationsprinzip und Vorrichtung hierzu
US5212555A (en) * 1991-12-17 1993-05-18 Texas Instruments Incorporated Image capture with spatial light modulator and single-cell photosensor
US5335288A (en) 1992-02-10 1994-08-02 Faulkner Keith W Apparatus and method for biometric identification
JP3531014B2 (ja) 1994-06-22 2004-05-24 株式会社トプコン レーザ照準装置
US6102552A (en) 1996-10-18 2000-08-15 Hewlett-Packard Company Laser-array based digital illuminator
US6549288B1 (en) 1998-05-14 2003-04-15 Viewpoint Corp. Structured-light, triangulation-based three-dimensional digitizer
US6040910A (en) 1998-05-20 2000-03-21 The Penn State Research Foundation Optical phase-shift triangulation technique (PST) for non-contact surface profiling
JP2000267800A (ja) 1999-01-12 2000-09-29 Takenaka Komuten Co Ltd 動作認識装置
US7006236B2 (en) 2002-05-22 2006-02-28 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
JP2004523031A (ja) 2001-01-08 2004-07-29 ヴィーケービー インコーポレイテッド データ入力装置
US6841780B2 (en) 2001-01-19 2005-01-11 Honeywell International Inc. Method and apparatus for detecting objects
US7176440B2 (en) 2001-01-19 2007-02-13 Honeywell International Inc. Method and apparatus for detecting objects using structured light patterns
US6714234B1 (en) 2001-04-11 2004-03-30 Applied Minds, Inc. Maintaining eye-contact in teleconferencing using structured light
US6947575B2 (en) 2001-05-24 2005-09-20 Trw Inc. Apparatus and method for determining vehicle occupant characteristic utilizing imaging with provided light
US8300042B2 (en) 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
JP3975892B2 (ja) 2002-05-02 2007-09-12 富士ゼロックス株式会社 位置計測システム
US7440590B1 (en) 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
US20040119833A1 (en) 2002-07-25 2004-06-24 Duncan Donald D. Three-dimensional context sensitive scanner
CN1176351C (zh) 2002-10-09 2004-11-17 天津大学 动态多分辨率的三维数字成像的方法及装置
US7064810B2 (en) 2003-09-15 2006-06-20 Deere & Company Optical range finder with directed attention
US7834850B2 (en) 2005-11-29 2010-11-16 Navisense Method and system for object control
JP5201999B2 (ja) 2006-02-03 2013-06-05 パナソニック株式会社 入力装置、及びその方法
EP1980935A1 (en) 2006-02-03 2008-10-15 Matsushita Electric Industrial Co., Ltd. Information processing device
CN101957994B (zh) 2006-03-14 2014-03-19 普莱姆传感有限公司 三维传感的深度变化光场
JP5592070B2 (ja) 2006-03-14 2014-09-17 プライム センス リミティド 三次元検知のために深度変化させる光照射野
WO2008010024A1 (en) 2006-07-16 2008-01-24 Cherradi I Free fingers typing technology
US8144121B2 (en) 2006-10-11 2012-03-27 Victor Company Of Japan, Limited Method and apparatus for controlling electronic appliance
US20080256494A1 (en) 2007-04-16 2008-10-16 Greenfield Mfg Co Inc Touchless hand gesture device controller
US7907781B2 (en) 2007-06-21 2011-03-15 Mitsubishi Electric Research Laboraties, Inc. System and method for determining geometries of scenes
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US20090189858A1 (en) 2008-01-30 2009-07-30 Jeff Lev Gesture Identification Using A Structured Light Pattern
US8319832B2 (en) 2008-01-31 2012-11-27 Denso Corporation Input apparatus and imaging apparatus
US8107083B2 (en) * 2008-03-05 2012-01-31 General Electric Company System aspects for a probe system that utilizes structured-light
FR2932562B1 (fr) * 2008-06-12 2010-08-27 Univ Pasteur Dispositif de projection de lumiere structuree au moyen de vcsel et de composants optiques diffractifs de phase.
EP2166305B1 (de) 2008-09-23 2012-05-16 Sick Ag Beleuchtungseinheit und Verfahren zur Projektion eines Beleuchtungsmusters
CN101451826B (zh) 2008-12-17 2010-06-09 中国科学院上海光学精密机械研究所 物体三维轮廓测量装置及测量方法
TWI409502B (zh) 2009-01-23 2013-09-21 Univ Nat Taipei Technology 相位資訊擷取方法及其三維形貌量測系統
US20100309391A1 (en) * 2009-06-03 2010-12-09 Honeywood Technologies, Llc Multi-source projection-type display
JP2011018090A (ja) 2009-07-07 2011-01-27 Panasonic Corp 電子ペン及び電子ペンシステム
US8654234B2 (en) 2009-07-26 2014-02-18 Massachusetts Institute Of Technology Bi-directional screen
US20120194561A1 (en) * 2009-09-22 2012-08-02 Nadav Grossinger Remote control of computer devices
US9075184B2 (en) * 2012-04-17 2015-07-07 Milan Momcilo Popovich Compact edge illuminated diffractive display
JP2011127932A (ja) * 2009-12-15 2011-06-30 Nippon Telegr & Teleph Corp <Ntt> 三次元形状測定装置、三次元形状測定方法、三次元形状測定プログラム、および記録媒体
US8320621B2 (en) * 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
EP2378394A3 (en) 2010-04-15 2015-03-25 Electronics and Telecommunications Research Institute User interface device and method for recognizing user interaction using same
CN102985786A (zh) * 2010-07-16 2013-03-20 皇家飞利浦电子股份有限公司 投光器和用于距离测定的视觉系统
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US9870068B2 (en) * 2010-09-19 2018-01-16 Facebook, Inc. Depth mapping with a head mounted display using stereo cameras and structured light
US9008515B2 (en) * 2010-10-07 2015-04-14 Alcatel Lucent Direct laser modulation
KR20120071551A (ko) 2010-12-23 2012-07-03 한국전자통신연구원 구조 영상을 이용한 사용자 인터랙션 장치 및 방법
US20120200829A1 (en) 2011-02-09 2012-08-09 Alexander Bronstein Imaging and projecting devices and methods
EP2500687A3 (en) * 2011-03-14 2013-02-20 Heliotis SA Structured light projector
KR101446902B1 (ko) 2011-08-19 2014-10-07 한국전자통신연구원 사용자 인터랙션 장치 및 방법
KR101272573B1 (ko) * 2011-11-17 2013-06-10 재단법인대구경북과학기술원 구조광 패턴 기반의 깊이 정보 추정 장치 및 방법
KR101272574B1 (ko) * 2011-11-18 2013-06-10 재단법인대구경북과학기술원 구조광 패턴 기반의 3차원 영상 정보 추정 장치 및 방법
US9606237B2 (en) * 2012-03-01 2017-03-28 Iee International Electronics & Engineering S.A. Spatially coded structured light generator
CN107806826B (zh) * 2012-03-26 2021-10-26 螳螂慧视科技有限公司 三维照相机及其投影仪
WO2014083485A1 (en) * 2012-11-29 2014-06-05 Koninklijke Philips N.V. Laser device for projecting a structured light pattern onto a scene
JP6070274B2 (ja) * 2013-02-28 2017-02-01 旭硝子株式会社 拡散素子、照明光学系および計測装置
KR20140133093A (ko) 2013-05-09 2014-11-19 한국전자통신연구원 인식 장치 및 그 방법
US10019843B2 (en) 2013-08-08 2018-07-10 Facebook, Inc. Controlling a near eye display
AU2014338511B2 (en) * 2013-10-23 2018-08-09 Facebook Technologies, Llc Three dimensional depth mapping using dynamic structured light
US9749513B2 (en) 2014-04-29 2017-08-29 Facebook, Inc. System and method for generating a light pattern for object illumination
JP6417702B2 (ja) 2014-05-01 2018-11-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム

Similar Documents

Publication Publication Date Title
JP2018509632A5 (ja)
US11713962B2 (en) Nanostructured optical element, depth sensor, and electronic device
JP6386194B2 (ja) ステレオカメラと構造化光とを使用したヘッドマウントディスプレイでの深度マッピング
US11106179B2 (en) Holographic display panel, holographic display device and display method therefor
CN107850767A (zh) 用于使多个物面同时成像的光片显微镜
JP2013048235A5 (ja)
JP2020107356A5 (ja)
JP6484071B2 (ja) 物体検出装置
GB2576985A (en) Methods and systems for printing biological material
KR20200045549A (ko) 저해상도 픽셀 이미징을 갖는 비행 시간 깊이 카메라
JP2018525659A (ja) 動的ホログラフィ焦点深度プリンティング装置
US11563903B2 (en) Optical sensor, learning apparatus, and image processing system for selection and setting light-receving elements
US10509977B2 (en) Image sensing device and measuring system for providing image data and information on 3D-characteristics of an object
JP2016118547A5 (ja)
US10715718B2 (en) Phase detect auto-focus three dimensional image capture system
CN103246195A (zh) 三维激光打印方法与系统
US20180164156A1 (en) Hybrid Sensor with Enhanced Infrared Detection Capabilities
JP2017526533A5 (ja)
JP2013145980A5 (ja)
JP2015108838A5 (ja) マイクロレンズアレイ
JP2016212154A5 (ja)
US20190058871A1 (en) Nanostructured optical element, depth sensor, and electronic device
JP2019502277A5 (ja)
JP2013201787A5 (ja)
EP2619712B1 (de) Verfahren und vorrichtung zur erkennung und/oder beurteilung dreidimensionaler erhabener strukturen auf einer oberfläche eines dokuments