JP2019512678A - 深度感知システムおよび方法 - Google Patents
深度感知システムおよび方法 Download PDFInfo
- Publication number
- JP2019512678A JP2019512678A JP2018545442A JP2018545442A JP2019512678A JP 2019512678 A JP2019512678 A JP 2019512678A JP 2018545442 A JP2018545442 A JP 2018545442A JP 2018545442 A JP2018545442 A JP 2018545442A JP 2019512678 A JP2019512678 A JP 2019512678A
- Authority
- JP
- Japan
- Prior art keywords
- light
- sensor
- visible light
- projection device
- visible
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title description 34
- 238000001228 spectrum Methods 0.000 claims abstract description 55
- 230000005540 biological transmission Effects 0.000 claims abstract description 7
- 239000000835 fiber Substances 0.000 claims description 8
- 238000003708 edge detection Methods 0.000 claims description 5
- 230000033001 locomotion Effects 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 10
- 230000008901 benefit Effects 0.000 description 9
- 238000003672 processing method Methods 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 239000003795 chemical substances by application Substances 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 241000256837 Apidae Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 230000033458 reproduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/705—Pixels for depth measurement, e.g. RGBZ
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
- G02B27/1013—Beam splitting or combining systems for splitting or combining different wavelengths for colour or multispectral image sensors, e.g. splitting an image into monochromatic image components on respective sensors
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
- G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
- H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Power Engineering (AREA)
- Optics & Photonics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Electromagnetism (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Human Computer Interaction (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
Description
本願は、米国仮出願第62/301,847号,出願日2016年3月1日、代理人管理番号ML.30066.00、発明の名称“DEPTH SENSING SYSTEMS AND METHODS”に対する優先権を主張するものである。本願は、米国仮特許出願第62/012,273号,出願日2014年6月14日(代理人管理番号ML.30019.00)および米国特許出願第14/738,877号、出願日2013年6月13日(代理人管理番号ML.20019.00)に関連している。上記特許出願の内容は、完全に記載されているかのように、それらの全体が参照により本明細書中に明示的かつ完全に援用される。特許出願第62/012,273号および第14/738,877号に記載されているのは、仮想現実および拡張現実システムの実施形態であり、そこでは、投影された光が深度感知において用いられる。本明細書中に記載されているのは、投影光深度感知システムおよび深度感知のための光センサのさらなる実施形態である。
表面の深度(すなわち、3D空間内の既知の点と表面上の点との間の距離)を光学的に推定または感知するための種々の方法が、存在する。深度感知方法は、2つの主要モード、すなわち、受動および能動に分類されることができる。受動システムは、表面によって反射されたシステム外の光源(例えば、頭上光または太陽)からの周囲光を検出する。能動システムは、光を表面上に投影し、表面によって反射された投影された光を検出する。
ファイバ走査プロジェクタ(「FSP」)は、ファイバ光学先端を高周波数で選択的に振動させることによって、光を投影する。FSPは、ファイバ走査型ディスプレイ(「FSD(fiber scanned displays)」)、ファイバ走査式ディスプレイ(「FSD(fiber scanning displays)」)、走査型ファイバディスプレイ、および走査式ファイバディスプレイとしても知られる。FSPは、動的画像をヒト観察のための表示として投影することができる。その超小型サイズおよび低潜在的電力消費は、複合現実システム等のある用途に理想的である。例示的FSPは、米国特許出願第14/738,877号(代理人管理番号第ML.20019.00号)および第14/555,585号(代理人管理番号第ML.20011.00号)に説明されており、その内容は、参照することによって本明細書の前述で組み込まれている。
受動および能動深度感知システムは両方とも、少なくとも1つのセンサ(例えば、カメラ)を含み、表面から反射された光を検出する。上記に説明されるように、いくつかの深度感知システムは、可視光(例えば、周囲光)を検出する一方、その他は、投影された光パターン(例えば、投影された赤外線光)を検出する。
Claims (25)
- 深度感知システムであって、
光を表面から受信する第1および第2のセンサピクセルを有するセンサと、
赤外線光を前記第2のセンサピクセルに伝送することを防止しながら、フルスペクトル光を前記第1のセンサピクセルに伝送し、可視光を前記第2のセンサピクセルに伝送することを可能にするフィルタと、
前記フルスペクトル光および前記可視光を分析し、前記表面の深度を判定するプロセッサと
を備え、
前記フィルタは、前記センサと前記表面との間に配置される、システム。 - 前記センサは、前記第2のセンサピクセルを含む複数の第2のセンサピクセルを有し、
前記複数の第2のセンサピクセルのそれぞれは、前記第1のセンサピクセルに隣接し、
前記フィルタは、赤外線光を前記複数の第2のセンサピクセルのそれぞれに伝送することを防止しながら、可視光を前記複数の第2のセンサピクセルのそれぞれに伝送することを可能にする、請求項1に記載のシステム。 - 前記フルスペクトル光および前記可視光を分析することは、前記複数の第2のセンサピクセルに対応する複数の検出された可視光値に基づいて、前記第1のセンサピクセルに関して推定される可視光値を計算することを含む、請求項2に記載のシステム。
- 前記推定される可視光値を計算することは、前記複数の検出された可視光値を平均化することを含む、請求項3に記載のシステム。
- 前記推定される可視光値を計算することは、縁検出を前記複数の検出された可視光値に行うことを含む、請求項3に記載のシステム。
- 前記センサは、前記第1のセンサピクセルを含む複数の第1のセンサピクセルを有し、
前記複数の第1のセンサピクセルのそれぞれは、前記第1のセンサピクセルに隣接し、
前記フィルタは、赤外線光を前記複数の第2のセンサピクセルのそれぞれに伝送することを防止しながら、可視光を前記複数の第2のセンサピクセルのそれぞれに伝送することを可能にする、請求項2に記載のシステム。 - 前記フルスペクトル光および前記可視光を分析することは、
前記複数の第1のセンサピクセルの各々に対し、複数の推定される可視光値を計算することと、
前記複数の推定される可視光値の少なくともいくつかに基づいて、前記第1のセンサピクセルに関して推定される可視光値を計算することと
を含む、請求項6に記載のシステム。 - 前記光を前記表面に向かって投影する空間変調光投影デバイスをさらに備え、
前記光は、前記表面から前記センサに向かって反射される、請求項1に記載のシステム。 - 前記フルスペクトル光および前記可視光を分析することは、前記表面の赤外線光画像を生成することを含む、請求項1に記載のシステム。
- 前記フルスペクトル光および前記可視光を分析することは、前記表面の赤外線光画像内のPOIを三角測量することを含む、請求項9に記載のシステム。
- 深度感知システムであって、
光を表面に向かって投影する空間変調光投影デバイスと、
前記表面から反射された光を受信するセンサと、
前記光投影デバイスの空間変調を制御し、光情報を前記センサから受信するアクチュエータと、
前記表面から反射された光を分析し、前記表面の深度を判定するプロセッサと
を備え、
前記光は、波長約700nm〜約1mmを有する赤外線光を含む、システム。 - 前記光は、波長約390nm〜約700nmを有する可視光を含む、請求項11に記載のシステム。
- 前記アクチュエータは、前記光投影デバイスの空間変調を制御し、前記赤外線光および前記可視光を含むパターンを形成する、請求項12に記載のシステム。
- 前記アクチュエータは、前記光投影デバイスの空間変調を制御し、2つの交差する線セグメントを前記表面上に形成する、請求項11に記載のシステム。
- 前記アクチュエータは、前記光投影デバイスの空間変調を制御し、2つの交差する線セグメントを含む静的パターンを前記表面上に形成する、請求項14に記載のシステム。
- 前記アクチュエータは、前記光投影デバイスの空間変調を制御し、2つの交差する線セグメントを含む動的パターンを前記表面上に形成する、請求項14に記載のシステム。
- 前記アクチュエータは、前記光投影デバイスの空間変調を制御し、複数の離散交差線セグメントを含むパターンを前記表面上に形成する、請求項14に記載のシステム。
- 前記光投影デバイスの空間変調を制御することは、前記光投影デバイスの少なくとも一部の移動を制御することを含む、請求項11に記載のシステム。
- 前記光投影デバイスの空間変調を制御することは、前記光投影デバイスによって前記光の投影を制御することを含む、請求項18に記載のシステム。
- 前記空間変調光投影デバイスは、ファイバ走査ディスプレイを備える、請求項11に記載のシステム。
- 前記空間変調光投影デバイスは、レーザ光源を備える、請求項11に記載のシステム。
- 前記空間変調光投影デバイスは、レーザ走査ディスプレイを備える、請求項11に記載のシステム。
- 深度感知システムであって、
光を表面から受信する第1および第2のセンサピクセルを有するセンサと、
第1の割合の可視光および第2の割合の赤外線光を前記第1のセンサピクセルに伝送し、第3の割合の可視光および第4の割合の赤外線光を前記第2のセンサピクセルに伝送することを可能にするフィルタであって、
前記第1の割合の可視光および前記第2の割合の赤外線光は、第1の感知された値を前記第1のセンサピクセルにもたらし、
前記第3の割合の可視光および前記第4の割合の赤外線光は、第2の感知された値を前記第2のセンサピクセルにもたらす、
フィルタと、
前記第1および第2の感知された値を分析し、前記表面の深度を判定するプロセッサと
を備え、
前記フィルタは、前記センサと前記表面との間に配置される、システム。 - 前記第1および第2の感知された値を分析することは、前記表面の赤外線光画像を生成することを含む、請求項23に記載のシステム。
- 前記第1および第2の感知された値を分析することは、前記表面の赤外線光画像内のPOIを三角測量することを含む、請求項24に記載のシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020075247A JP6972224B2 (ja) | 2016-03-01 | 2020-04-21 | 深度感知システムおよび方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662301847P | 2016-03-01 | 2016-03-01 | |
US62/301,847 | 2016-03-01 | ||
PCT/US2017/020030 WO2017151671A1 (en) | 2016-03-01 | 2017-02-28 | Depth sensing systems and methods |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020075247A Division JP6972224B2 (ja) | 2016-03-01 | 2020-04-21 | 深度感知システムおよび方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019512678A true JP2019512678A (ja) | 2019-05-16 |
JP2019512678A5 JP2019512678A5 (ja) | 2020-04-09 |
JP6695440B2 JP6695440B2 (ja) | 2020-05-20 |
Family
ID=59724237
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018545442A Active JP6695440B2 (ja) | 2016-03-01 | 2017-02-28 | 深度感知システム |
JP2020075247A Active JP6972224B2 (ja) | 2016-03-01 | 2020-04-21 | 深度感知システムおよび方法 |
JP2021179296A Active JP7270702B2 (ja) | 2016-03-01 | 2021-11-02 | 深度感知システムおよび方法 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020075247A Active JP6972224B2 (ja) | 2016-03-01 | 2020-04-21 | 深度感知システムおよび方法 |
JP2021179296A Active JP7270702B2 (ja) | 2016-03-01 | 2021-11-02 | 深度感知システムおよび方法 |
Country Status (10)
Country | Link |
---|---|
US (3) | US10565717B2 (ja) |
EP (2) | EP3902249A1 (ja) |
JP (3) | JP6695440B2 (ja) |
KR (1) | KR20180118189A (ja) |
CN (2) | CN108779978B (ja) |
AU (2) | AU2017227599A1 (ja) |
CA (1) | CA3014766A1 (ja) |
IL (3) | IL288771B2 (ja) |
NZ (2) | NZ785500A (ja) |
WO (1) | WO2017151671A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2017227599A1 (en) | 2016-03-01 | 2018-08-30 | Magic Leap, Inc. | Depth sensing systems and methods |
US11109006B2 (en) * | 2017-09-14 | 2021-08-31 | Sony Corporation | Image processing apparatus and method |
WO2019127385A1 (en) | 2017-12-29 | 2019-07-04 | Shenzhen United Imaging Healthcare Co., Ltd. | Systems and methods for patient positioning |
WO2019127539A1 (en) * | 2017-12-29 | 2019-07-04 | Shenzhen United Imaging Healthcare Co., Ltd. | Systems and methods for determining region of interest in medical imaging |
US11176694B2 (en) * | 2018-10-19 | 2021-11-16 | Samsung Electronics Co., Ltd | Method and apparatus for active depth sensing and calibration method thereof |
TWI720602B (zh) * | 2019-08-27 | 2021-03-01 | 國立中央大學 | 重建物體表面的方法與光學系統 |
CN112532848A (zh) * | 2020-12-16 | 2021-03-19 | 歌尔光学科技有限公司 | 一种摄像机 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004126416A (ja) * | 2002-10-07 | 2004-04-22 | Fuji Photo Film Co Ltd | カメラ |
JP2011199798A (ja) * | 2010-03-24 | 2011-10-06 | Sony Corp | 物理情報取得装置、固体撮像装置、物理情報取得方法 |
US20120140099A1 (en) * | 2010-12-01 | 2012-06-07 | Samsung Electronics Co., Ltd | Color filter array, image sensor having the same, and image processing system having the same |
US20150256813A1 (en) * | 2014-03-07 | 2015-09-10 | Aquifi, Inc. | System and method for 3d reconstruction using multiple multi-channel cameras |
US20150296150A1 (en) * | 2014-04-09 | 2015-10-15 | Omnivision Technologies, Inc. | Combined visible and non-visible projection system |
Family Cites Families (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5621529A (en) * | 1995-04-05 | 1997-04-15 | Intelligent Automation Systems, Inc. | Apparatus and method for projecting laser pattern with reduced speckle noise |
AU712090B2 (en) * | 1996-06-13 | 1999-10-28 | K.U. Leuven Research & Development | Method and system for acquiring a three-dimensional shape description |
JPH10253330A (ja) * | 1997-03-06 | 1998-09-25 | Toshiba Corp | 表面形状測定装置 |
US6563105B2 (en) | 1999-06-08 | 2003-05-13 | University Of Washington | Image acquisition with depth enhancement |
JP2001194114A (ja) * | 2000-01-14 | 2001-07-19 | Sony Corp | 画像処理装置および画像処理方法、並びにプログラム提供媒体 |
US7061628B2 (en) * | 2001-06-27 | 2006-06-13 | Southwest Research Institute | Non-contact apparatus and method for measuring surface profile |
JP4035978B2 (ja) * | 2001-10-05 | 2008-01-23 | コニカミノルタホールディングス株式会社 | 3次元形状モデルの評価方法および生成方法並びに装置 |
JP2006528770A (ja) * | 2003-07-24 | 2006-12-21 | コグニテンス リミテッド | 対象物の3次元表面再構築の方法およびシステム |
US8494227B2 (en) * | 2007-04-17 | 2013-07-23 | Francine J. Prokoski | System and method for using three dimensional infrared imaging to identify individuals |
US8757812B2 (en) * | 2008-05-19 | 2014-06-24 | University of Washington UW TechTransfer—Invention Licensing | Scanning laser projection display devices and methods for projecting one or more images onto a surface with a light-scanning optical fiber |
CN102037717B (zh) * | 2008-05-20 | 2013-11-06 | 派力肯成像公司 | 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理 |
JP5874116B2 (ja) * | 2009-07-30 | 2016-03-02 | 国立研究開発法人産業技術総合研究所 | 画像撮影装置および画像撮影方法 |
US8723118B2 (en) * | 2009-10-01 | 2014-05-13 | Microsoft Corporation | Imager for constructing color and depth images |
KR20110040402A (ko) * | 2009-10-14 | 2011-04-20 | 삼성전자주식회사 | 필터 어레이, 이를 포함하는 이미지 센서, 및 신호 보간 방법 |
KR101648201B1 (ko) * | 2009-11-04 | 2016-08-12 | 삼성전자주식회사 | 영상 센서 및 이의 제조 방법. |
GB0921461D0 (en) | 2009-12-08 | 2010-01-20 | Qinetiq Ltd | Range based sensing |
US8456521B2 (en) * | 2009-12-14 | 2013-06-04 | Berliner Glas Kgaa Herbert Kubatz Gmbh & Co. | Triangulation camera device and triangulation imaging method |
SG184288A1 (en) | 2010-04-09 | 2012-11-29 | Univ Michigan | Biomarkers for mdm2 inhibitors for use in treating disease |
WO2011135848A1 (ja) * | 2010-04-28 | 2011-11-03 | パナソニック株式会社 | 走査型画像表示装置 |
CN103081128B (zh) * | 2010-06-18 | 2016-11-02 | 西奥尼克斯公司 | 高速光敏设备及相关方法 |
KR101680762B1 (ko) * | 2010-10-29 | 2016-11-29 | 삼성전자주식회사 | 3d 카메라용 빔스플리터 및 상기 빔스플리터를 채용한 3차원 영상 획득 장치 |
KR101861765B1 (ko) * | 2011-03-03 | 2018-05-29 | 삼성전자주식회사 | 마이크로 렌즈를 포함하는 깊이 픽셀 및 상기 깊이 픽셀을 포함하는 깊이 센서 |
KR20120105169A (ko) * | 2011-03-15 | 2012-09-25 | 삼성전자주식회사 | 복수의 거리 픽셀들을 포함하는 3차원 이미지 센서의 구동 방법 |
JP5761750B2 (ja) * | 2011-07-19 | 2015-08-12 | 国立研究開発法人産業技術総合研究所 | 画像処理方法および装置 |
US9248457B2 (en) | 2011-07-29 | 2016-02-02 | Homax Products, Inc. | Systems and methods for dispensing texture material using dual flow adjustment |
CN102663725B (zh) | 2012-03-05 | 2014-07-16 | 西北工业大学 | 基于线特征和控制点的可见光和sar图像配准方法 |
WO2013179538A1 (ja) * | 2012-05-28 | 2013-12-05 | パナソニック株式会社 | 奥行き推定撮像装置 |
WO2014020823A1 (ja) * | 2012-07-30 | 2014-02-06 | 独立行政法人産業技術総合研究所 | 画像処理システムおよび画像処理方法 |
CN104662589B (zh) * | 2012-08-21 | 2017-08-04 | 派力肯影像公司 | 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法 |
US10014335B2 (en) * | 2012-09-14 | 2018-07-03 | Panasonic Intellectual Property Management Co., Ltd. | Solid-state imaging device and camera module |
JP5971050B2 (ja) * | 2012-09-18 | 2016-08-17 | 富士通株式会社 | 形状計測装置及び形状計測方法 |
US9041914B2 (en) * | 2013-03-15 | 2015-05-26 | Faro Technologies, Inc. | Three-dimensional coordinate scanner and method of operation |
US9646384B2 (en) * | 2013-09-11 | 2017-05-09 | Google Technology Holdings LLC | 3D feature descriptors with camera pose information |
US8917327B1 (en) * | 2013-10-04 | 2014-12-23 | icClarity, Inc. | Method to use array sensors to measure multiple types of data at full resolution of the sensor |
KR102378457B1 (ko) | 2013-11-27 | 2022-03-23 | 매직 립, 인코포레이티드 | 가상 및 증강 현실 시스템들 및 방법들 |
US10051211B2 (en) * | 2013-12-05 | 2018-08-14 | Omnivision Technologies, Inc. | Image sensors for capturing both visible light images and infrared light images, and associated systems and methods |
US9325973B1 (en) * | 2014-07-08 | 2016-04-26 | Aquifi, Inc. | Dynamically reconfigurable optical pattern generator module useable with a system to rapidly reconstruct three-dimensional data |
WO2016147888A1 (ja) * | 2015-03-17 | 2016-09-22 | ソニー株式会社 | 情報処理装置および方法 |
US9694498B2 (en) * | 2015-03-30 | 2017-07-04 | X Development Llc | Imager for detecting visual light and projected patterns |
US10066933B2 (en) * | 2015-05-04 | 2018-09-04 | Facebook, Inc. | Camera depth mapping using structured light patterns |
CN105049829B (zh) * | 2015-07-10 | 2018-12-25 | 上海图漾信息科技有限公司 | 滤光片、图像传感器、成像装置以及三维成像系统 |
US10503265B2 (en) * | 2015-09-08 | 2019-12-10 | Microvision, Inc. | Mixed-mode depth detection |
US10453185B2 (en) * | 2015-11-12 | 2019-10-22 | Aquifi, Inc. | System and method for high dynamic range depth capture using multiple cameras |
JP2017112169A (ja) * | 2015-12-15 | 2017-06-22 | ソニー株式会社 | イメージセンサ、撮像システム及びイメージセンサの製造方法 |
AU2017227599A1 (en) | 2016-03-01 | 2018-08-30 | Magic Leap, Inc. | Depth sensing systems and methods |
US10616519B2 (en) * | 2016-12-20 | 2020-04-07 | Microsoft Technology Licensing, Llc | Global shutter pixel structures with shared transfer gates |
JP7418181B2 (ja) * | 2018-11-06 | 2024-01-19 | ミヨシ油脂株式会社 | 分散剤とそれを用いた分散液 |
-
2017
- 2017-02-28 AU AU2017227599A patent/AU2017227599A1/en not_active Abandoned
- 2017-02-28 EP EP21178691.8A patent/EP3902249A1/en active Pending
- 2017-02-28 JP JP2018545442A patent/JP6695440B2/ja active Active
- 2017-02-28 EP EP17760653.0A patent/EP3423784B1/en active Active
- 2017-02-28 US US15/445,818 patent/US10565717B2/en active Active
- 2017-02-28 NZ NZ785500A patent/NZ785500A/en unknown
- 2017-02-28 CA CA3014766A patent/CA3014766A1/en active Pending
- 2017-02-28 KR KR1020187028216A patent/KR20180118189A/ko not_active Application Discontinuation
- 2017-02-28 CN CN201780014934.2A patent/CN108779978B/zh active Active
- 2017-02-28 IL IL288771A patent/IL288771B2/en unknown
- 2017-02-28 CN CN202011337750.XA patent/CN112399028A/zh active Pending
- 2017-02-28 NZ NZ745309A patent/NZ745309A/en unknown
- 2017-02-28 WO PCT/US2017/020030 patent/WO2017151671A1/en active Application Filing
-
2018
- 2018-08-14 IL IL261149A patent/IL261149B/en active IP Right Grant
-
2020
- 2020-01-08 US US16/737,765 patent/US10964039B2/en active Active
- 2020-04-21 JP JP2020075247A patent/JP6972224B2/ja active Active
-
2021
- 2021-02-24 US US17/184,358 patent/US11475583B2/en active Active
- 2021-03-21 IL IL281676A patent/IL281676B/en unknown
- 2021-11-02 JP JP2021179296A patent/JP7270702B2/ja active Active
- 2021-11-10 AU AU2021266266A patent/AU2021266266A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004126416A (ja) * | 2002-10-07 | 2004-04-22 | Fuji Photo Film Co Ltd | カメラ |
JP2011199798A (ja) * | 2010-03-24 | 2011-10-06 | Sony Corp | 物理情報取得装置、固体撮像装置、物理情報取得方法 |
US20120140099A1 (en) * | 2010-12-01 | 2012-06-07 | Samsung Electronics Co., Ltd | Color filter array, image sensor having the same, and image processing system having the same |
US20150256813A1 (en) * | 2014-03-07 | 2015-09-10 | Aquifi, Inc. | System and method for 3d reconstruction using multiple multi-channel cameras |
US20150296150A1 (en) * | 2014-04-09 | 2015-10-15 | Omnivision Technologies, Inc. | Combined visible and non-visible projection system |
Also Published As
Publication number | Publication date |
---|---|
AU2021266266A1 (en) | 2021-12-09 |
CN112399028A (zh) | 2021-02-23 |
WO2017151671A1 (en) | 2017-09-08 |
IL261149A (en) | 2018-10-31 |
JP2020144136A (ja) | 2020-09-10 |
EP3423784A1 (en) | 2019-01-09 |
JP6972224B2 (ja) | 2021-11-24 |
CN108779978A (zh) | 2018-11-09 |
IL261149B (en) | 2021-04-29 |
NZ745309A (en) | 2023-03-31 |
CA3014766A1 (en) | 2017-09-08 |
JP2022009902A (ja) | 2022-01-14 |
US10964039B2 (en) | 2021-03-30 |
AU2017227599A1 (en) | 2018-08-30 |
IL288771A (en) | 2022-02-01 |
US10565717B2 (en) | 2020-02-18 |
IL281676A (en) | 2021-05-31 |
US20200143553A1 (en) | 2020-05-07 |
JP7270702B2 (ja) | 2023-05-10 |
IL288771B2 (en) | 2023-09-01 |
CN108779978B (zh) | 2020-12-11 |
US20170256069A1 (en) | 2017-09-07 |
IL288771B1 (en) | 2023-05-01 |
NZ785500A (en) | 2023-03-31 |
US11475583B2 (en) | 2022-10-18 |
IL281676B (en) | 2022-01-01 |
US20210183087A1 (en) | 2021-06-17 |
JP6695440B2 (ja) | 2020-05-20 |
EP3902249A1 (en) | 2021-10-27 |
KR20180118189A (ko) | 2018-10-30 |
EP3423784B1 (en) | 2021-07-28 |
EP3423784A4 (en) | 2019-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6972224B2 (ja) | 深度感知システムおよび方法 | |
Sarbolandi et al. | Kinect range sensing: Structured-light versus Time-of-Flight Kinect | |
US10401143B2 (en) | Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device | |
JP5486113B2 (ja) | パノラマ投影デバイスによって実施される投影方法 | |
JP2018514237A (ja) | 歯科用3dスキャナ用のテクスチャマッピングの装置及び方法 | |
TWI740237B (zh) | 光學相位輪廓測定系統 | |
Kitajima et al. | Simultaneous projection and positioning of laser projector pixels | |
JP2011075336A (ja) | 3次元形状計測装置、3次元形状計測方法 | |
EP4158447A1 (en) | Systems and methods for providing mixed-reality experiences under low light conditions | |
US20210400249A1 (en) | Systems and methods for temporal corrections for parallax reprojection | |
Kaminokado et al. | Augmented environment mapping for appearance editing of glossy surfaces | |
Bajzik et al. | Depth sensor selection for specific application | |
Zhu et al. | An intelligent projection system adapted to arbitrary surfaces | |
Hieda | Digital video projection for interactive entertainment | |
Epskamp | On the influence of stereographic 3D on user dependent direct projected augmented reality in the OR | |
WO2023086141A1 (en) | Rapid target acquisition using gravity and north vectors | |
Kamimigaki et al. | Real reproducing of 3D appearance with multi-projectors and cameras | |
Chen et al. | A View-Dependent Stereoscopic System Using Tiled Projection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200226 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200226 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200226 |
|
TRDD | Decision of grant or rejection written | ||
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200318 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200324 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200421 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6695440 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |