JP2009511897A - 対象物再構成方法およびシステム - Google Patents

対象物再構成方法およびシステム Download PDF

Info

Publication number
JP2009511897A
JP2009511897A JP2008535179A JP2008535179A JP2009511897A JP 2009511897 A JP2009511897 A JP 2009511897A JP 2008535179 A JP2008535179 A JP 2008535179A JP 2008535179 A JP2008535179 A JP 2008535179A JP 2009511897 A JP2009511897 A JP 2009511897A
Authority
JP
Japan
Prior art keywords
pattern
light
illumination
image
speckle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008535179A
Other languages
English (en)
Other versions
JP5001286B2 (ja
JP2009511897A5 (ja
Inventor
ザレブスキ，ゼーブ
シュプント，アレクサンダー
マイゼルズ，アビアド
ガルシア，ハビエール
Original Assignee
プライム センス リミティド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by プライム センス リミティド filed Critical プライム センス リミティド
Publication of JP2009511897A publication Critical patent/JP2009511897A/ja
Publication of JP2009511897A5 publication Critical patent/JP2009511897A5/ja
Application granted granted Critical
Publication of JP5001286B2 publication Critical patent/JP5001286B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10B—ELECTRONIC MEMORY DEVICES
    • H10B41/00—Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates
    • H10B41/30—Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates characterised by the memory core region
    • H10B41/35—Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates characterised by the memory core region with a cell select transistor, e.g. NAND
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G01B11/161—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge by interferometric means
    • G01B11/162—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge by interferometric means by speckle- or shearing interferometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2441—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using interferometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L23/00—Details of semiconductor or other solid state devices
    • H01L23/52—Arrangements for conducting electric current within the device in operation from one component to another, i.e. interconnections, e.g. wires, lead frames
    • H01L23/522—Arrangements for conducting electric current within the device in operation from one component to another, i.e. interconnections, e.g. wires, lead frames including external interconnections consisting of a multilayer structure of conductive and insulating layers inseparably formed on the semiconductor body
    • H01L23/528—Geometry or layout of the interconnection structure
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L23/00—Details of semiconductor or other solid state devices
    • H01L23/52—Arrangements for conducting electric current within the device in operation from one component to another, i.e. interconnections, e.g. wires, lead frames
    • H01L23/535—Arrangements for conducting electric current within the device in operation from one component to another, i.e. interconnections, e.g. wires, lead frames including internal interconnections, e.g. cross-under constructions
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices adapted for rectifying, amplifying, oscillating or switching, or capacitors or resistors with at least one potential-jump barrier or surface barrier, e.g. PN junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof  ; Multistep manufacturing processes therefor
    • H01L29/02—Semiconductor bodies ; Multistep manufacturing processes therefor
    • H01L29/06—Semiconductor bodies ; Multistep manufacturing processes therefor characterised by their shape; characterised by the shapes, relative sizes, or dispositions of the semiconductor regions ; characterised by the concentration or distribution of impurities within semiconductor regions
    • H01L29/0684—Semiconductor bodies ; Multistep manufacturing processes therefor characterised by their shape; characterised by the shapes, relative sizes, or dispositions of the semiconductor regions ; characterised by the concentration or distribution of impurities within semiconductor regions characterised by the shape, relative sizes or dispositions of the semiconductor regions or junctions between the regions
    • H01L29/0688—Semiconductor bodies ; Multistep manufacturing processes therefor characterised by their shape; characterised by the shapes, relative sizes, or dispositions of the semiconductor regions ; characterised by the concentration or distribution of impurities within semiconductor regions characterised by the shape, relative sizes or dispositions of the semiconductor regions or junctions between the regions characterised by the particular shape of a junction between semiconductor regions
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices adapted for rectifying, amplifying, oscillating or switching, or capacitors or resistors with at least one potential-jump barrier or surface barrier, e.g. PN junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof  ; Multistep manufacturing processes therefor
    • H01L29/40—Electrodes ; Multistep manufacturing processes therefor
    • H01L29/41—Electrodes ; Multistep manufacturing processes therefor characterised by their shape, relative sizes or dispositions
    • H01L29/423—Electrodes ; Multistep manufacturing processes therefor characterised by their shape, relative sizes or dispositions not carrying the current to be rectified, amplified or switched
    • H01L29/42312—Gate electrodes for field effect devices
    • H01L29/42316—Gate electrodes for field effect devices for field-effect transistors
    • H01L29/4232—Gate electrodes for field effect devices for field-effect transistors with insulated gate
    • H01L29/42324—Gate electrodes for transistors with a floating gate
    • H01L29/42328—Gate electrodes for transistors with a floating gate with at least one additional gate other than the floating gate and the control gate, e.g. program gate, erase gate or select gate
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices adapted for rectifying, amplifying, oscillating or switching, or capacitors or resistors with at least one potential-jump barrier or surface barrier, e.g. PN junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof  ; Multistep manufacturing processes therefor
    • H01L29/66—Types of semiconductor device ; Multistep manufacturing processes therefor
    • H01L29/68—Types of semiconductor device ; Multistep manufacturing processes therefor controllable by only the electric current supplied, or only the electric potential applied, to an electrode which does not carry the current to be rectified, amplified or switched
    • H01L29/76—Unipolar devices, e.g. field effect transistors
    • H01L29/772—Field effect transistors
    • H01L29/78—Field effect transistors with field effect produced by an insulated gate
    • H01L29/788—Field effect transistors with field effect produced by an insulated gate with floating gate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10B—ELECTRONIC MEMORY DEVICES
    • H10B41/00—Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates
    • H10B41/10—Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates characterised by the top-view layout
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/0001—Technical content checked by a classifier
    • H01L2924/0002—Not covered by any one of groups H01L24/00, H01L24/00 and H01L2224/00

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Ceramic Engineering (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

対象物の再構成で使用するシステムおよび方法が開示されている。システムは、照明ユニット、及び画像化ユニットを備える（図１参照）。照明ユニットは、コヒーレント光源および光源から対象物に伝播する照明光の光路内に収容されたランダムスペックルパターンの発生器を備え、それにより対象物上にコヒーレントランダムスペックルパターンを投影する。画像化ユニットは、照明領域の光応答を検出して画像データを発生するように構成される。画像データは、投影スペックルパターンを有する対象物を示し、パターンの参照画像に対する対象物の画像におけるパターンのずれを示す。これが対象物の３次元の実時間再構成を可能にする。

Description

関連出願に関するリファレンス
本出願は、２００５年３月３０日に出願された米国暫定出願第60/666,184号および２００５年１０月１１日に出願された米国暫定出願第60/724,903号の優先権を主張するものであり、ここに参考文献として組み込まれる。
発明の分野
本発明は、対象物の再構成の方法およびシステムに関し、高解像度で実時間の３次元情報を取り出すことを可能にする。
参考文献
１．S.Avidan and A.Shashua, "Trajectory triangulation: 3D reconstruction of
moving points from amonocular image sequence," PAMI, 22, 348-357 (2000).
２．Y.G.Leclerc and A.F.Bobick, "The direct computation of height from shading," CVPR, 552-558 (1991).
３．R.Zhang and M.Shah, "Shape from intensity gradient," SMC-A, 29, 318 (1999).
４．R.Zhang and M.Shah, "Height recovery from intensity gradients," CVPR, 508-513 (1994).
５．B.K.P.Horn, "Height and gradient from shading," IJCV, 5,37-76 (1990).
６．A.M.Bruckstein, "On shape from shading," CVGIP, 44, 139-154 (1988).
７．L.Zhang, B.Curless and S.M.Seitz, "Rapid shape acquisition using color
structured light and multi pass dynamic programming," 1st International
Symposium on 3D data processing visualization and transmission (3DPVT), July
2002, Padova, Italy.
８．P.Besl, "Active optical range imaging sensors," Machine vision and
applications, 1, 127-152 (1988).
９．E.Horn and N.Kiryati, "Toward optimal structured light patterns," Proc.
Int. Conf. On Recent advances in 3-D Digital Imaging and Modeling, 28-37, Ottawa Canada, May 1997.
１０．M.Asada, H.Ichikawa, S.Tjuli, "Determining of Surface Properties by
Projecting a Stripe Pattern," IEEE Proc. of ICPR, 86 (1986).
１１．M.Asada, H.Ichikawa, S.Tjuli, "Determining Surface Orientation by
Projecting a Stripe Pattern," IEEE Transact. on PAMI, vol.10, no.5 (1988).
１２．S.Winkelbach and F.M.Wahl "Shape from Single Stripe Pattern Illumination," Luc Van Gool (Editor), (DAGM 2002) Pattern Recognition, Lecture Notes in
Computer Science 2449, Springer 2002, page 240-247.
１３．T.P.Konickx and L.Van Gool "Efficient, Active 3D Acquisition, Based on a Pattern-Specific Snake," Luc Van Gool (Editor), (DAGM 2002) Pattern
Recognition, Lecture Notes in Computer Science 2449, Springer 2002, page 557-565.
１４．R.Kimmel, N.Kiryati, and A.M.Bruckstein, "Analyzing and synthesizing
images by evolving curves with the Osher-Sethian method," International Journal of Computer Vision, 24(1), 37-56 (1997); G.Zigelman, R.Kimmel, and N.Kiryati,
"Texure mapping using surface flattening via multi-dimensional scaling," IEEE
Trans. on Visualization and Computer Graphics, 8(2), 198-207(2002).
１５．J.C.Dainty, Laser Speckle and Related Phenomena, 2nd ed. (Springer-
Verlag, Berlin, 1989).
１６．D.Mendlovic, Z.Zalevsky, I.Kiryuschev and G.Lebreton, "Composite
harmonic filters for scale, projection and shift invariant pattern recognition," Appl. Opt. 34, 310-316 (1995).
発明の背景
対象物の再構成は、代表的には対象物の３次元テクスチャ（すなわち、３次元マップ）を評価することに基づく。この分野で各種の技術が開発されてきた。
そのようなアプローチの１つは、同一の対象物を観察する２個のカメラを使用する三角測量を利用する（参考文献１）。カメラにより取得された画像内の同一の事項の相対的なずれ（シフト）は、それらの事項に対する距離にそれぞれ関係する。この技術は、人間の視覚システムにおける３次元の評価に類似している。このアプローチの主たる欠点は、その低い３次元分解能であり、それは、両方のカメラにおける画像の個数、光景に存在する詳細（例えばテクスチャ）、およびカメラの相対的な方向（角度およびそれらの間の距離）に強く依存する。更に、このアプローチは、３次元情報の抽出が分類および合わせのような高レベルの処理動作を必要とするため、対象物の実時間マッピングを提供できない。このアプローチの更なる問題は、通常得られる３次元情報が対象物の深さの相対的にまばらな標本のみを有することである。
この種の特別な既知のほかの技術は、対象物の３次元マップを演算するために、単一の捕捉した画像内のエッジの影の利用に基づいた数値アルゴリズムを利用する（参考文献２−６）。しかしながら、この技術は、高レベルの処理を必要とし、エッジの影は画像のもっとも雑音のある領域であるため不正確である。更に、このアプローチは、最初の影が全体画像内の演算の基準として利用されるため、エラーが累積する。
３次元評価のさらにほかのアプローチは、パターンの投影に基づいている。このアプローチに基づくいくつかの技術は、対象物上への線（ライン）の投影および対象物をこのラインで走査することを利用する。ライン画像で発生される湾曲は、対象物の３次元マップを示す。しかしながら、この技術は、対象物の再構成の実時間処理を提供しない。それは対象物をラインで走査するのに時間を要し、対象物が移動する場合には評価は一層歪められたものになる。
この形式のいくつかのほかの技術は、特別なコードの投影を利用する（参考文献７−９）。取得された画像におけるコードの変化は、対象物の３次元マップの演算を可能にする。いくつかの投影が必要であるため、これらの技術も実時間ではない。さらに、良好な３次元分解能を得るためには、非常に大きく複雑なコードが必要であり、このために投影システムは非常に高価になり、現実的でなくなる。
パターンの投影に基づくさらにほかの技術は、２次元周期パターンの単一投影を含む（参考文献１０−１４）。この場合、対象物の３次元的な詳細は、捕捉した画像における周期的なパターンのラインをずらす。これらのラインの相対的なずれは、対象物の３次元情報に関係する。これらの技術では走査は必要でなく、３次元情報は実時間で得ることができるが、これらの技術は、投影パターンの周期より大きな相対移動を識別できないため、３次元情報が隠蔽されるということが問題で、このために得られたずれが実際に生じたのか周期サイズだけ拡大された整数が付加されたのか識別できない。このアプローチのほかの欠点は、投影パターンの焦点深度に関係する。パターンがある距離だけ焦点を外されると、周期の相対的なずれを数値的に抽出するは非常に難しい。
発明の要約
従って、従来技術においては、３次元対象物の実時間および高精度のマッピングを、非常に簡単な高価でない光装置で実現可能にする新規な技術を提供することにより、対象物の再構成を容易にすることが要望されていた。
本発明はこのようなマッピング技術を提供し、それは例えばゲームやフィットネスなどの３次元のマン・マシーン・インターフェース、（内視鏡のような）バイオ医療への応用、セルラー装置内のカメラ、車両と近接警報の間の距離評価、侵入警報などに入力されるデータを提供するのに有効に使用できる。
ここでは、用語「対象物再構成」は、対象物の外側表面の一部または全体の３次元情報の取得を指し、画像、レンジ（距離）またはほかの検出データからの３次元対象物モデル（対象物形状モデルを含む）の再構成をも含む。用語「実時間」は、仕事（タスク）の反応及び動作時間の組合せが動作外の状況から見て、許容される最大遅延より短い動作を指す。
用語のカメラ、画像化ユニット及び画像化装置は、相互に交換可能に使用され、すべて、光を検出してそれを示す画像データを発生させる同一機能を指す。用語の投影器、投影システム及び照明ユニットも相互に交換可能に使用される。
本発明の主たる着想は、３次元表面データが再構成される対象物上へのレーザランダムスペックルパターンの投影を利用することで構成される（参考文献１５）。好ましくは、パターンは一定であるが、区切られてもまたはＺ軸に沿って（すなわちスペックルの伝播軸に沿って）変化するほかのタイプでもよい。ここで使用される用語「一定スペックルパターン」は、３次元測定が行われる領域内では、パターンはＺ軸に沿って実質的に変化しないということを示す。さらに、このようなパターンの焦点深度は、相対的に大きく、例えば数メートルの程度であり、また特別な応用により必要とされるように、拡散器上のレーザスポットサイズおよびレーザ波長を変化させることにより制御可能である。これにより、レーザランダムスペックルパターンの使用は、マップ可能な大きな縦方向のレンジ（距離）を提供し、投影システムの設計における光的な複雑さおよび後処理の複雑さの両方を著しく低減することを可能にし、実時間の対象物再構成を可能にする。
一般的に、光システムでは、スペックルパターンは部分的にコヒーレントなビームの相互の部分的な干渉により生じる場強度パターンである。
本発明のアプローチによれば、対象物の３次元マップは、レーザランダムパターン（コード）の相対的なずれ（シフト）を調べることにより評価される。このパターンは、周期的でなく、従って隠蔽の問題は存在せず、参照平面からのレンジの決定および対象物の３次元マッピングの両方を可能にする。レーザパターンは焦点はずれにほとんど依存しないから、３次元情報は大きな体積に渡って得ることができる。
光装置（投影モジュール）は、非常に簡単で安価にできる。それは非常に小さなコヒーレント光源（レーザ）および光拡散器（例えば、ランダム移動を付加することにより入射した光を拡散するすりガラス片）の形をしたパターン発生器のみを有するが、または例えばレーザ光の光路内に収容され一定のおよびランダムスペックルパターンの形で対象物上に散乱するホログラフィックに記憶されたランダム化された表面凹凸構造の形でもよい。本発明は、投影されたランダムパターンを有する対象物の単一画像のみを取得し（いわゆる単一スナップショット解決法）、例えば画像処理アルゴリズムに基づいた相関のような単一画像マッチングアルゴリズムを使用することを可能にし、それが演算の複雑さを低くすることに注目することが重要である。さらに、本発明は、１つ以上の画像を利用する時でも、単一の安定して取り付けられた（一般に単一視野を有する）カメラでの動作が可能であることに注目するのが重要である。これらの特性は３次元マッピングの実時間処理の実現を可能にする。
本発明によれば、いわゆる「１次スペックル」はマップされる対象物上に投影されるスペックルであり、対象物の表面粗さおよび／または画像化レンズの開口に関係する典型的なスペックルである「２次スペックル」ではないと理解されるべきである。従って、画像化レンズは小さくてよい。
このように、本発明の１つの広い態様によれば、対象物の再構成で使用するシステムが提供され、システムは、コヒーレント光源と、光源から対象物へ伝播する照明光の光路内に収容されたランダムスペックルパターン発生器（例えば、拡散器ユニット）と、を備え、対象物上へコヒーレントなランダムスペックルパターンを照射する照明ユニット、および照明領域の光応答を検出して、画像データを発生する画像化ユニットを備え、画像データは、照射されたスペックルパターンを有する対象物を示し、それにより対象物の画像におけるパターンの参照画像に対するパターンのずれを示し、システムはそれにより対象物の三次元マップの実時間再構成を可能にする。
好ましくは、システムは、スペックルパターンの参照画像を示す参照データを記憶するように構成された制御ユニットを備える。参照データは、照明光の伝播光路に実質的に垂直である向きの参照平面で、パターン発生器および画像化ユニットから実質的に同一距離である位置で取得されたスペックルパターンの画像を示すことが望ましい。制御ユニットは、参照データを利用して対象物と参照の画像間の相関を決定するように、画像データを処理および解析するようにプログラムされている。制御ユニットは、画像を示すデータを、メリンおよび／または対数分解に分割するようにプログラムされ、それによりスペックルパターンのスケーリングおよび投影の歪に対して不変である相関を得る。
システムは、照明光の伝播と画像化ユニットの光収集の間の交差により形成される測定体積を規定するように構成され、拡散ユニットからレイリー距離より大きい距離で対象物の画像化を行う。測定体積内の各点は照明と収集された光伝播路の間の交差角度を定義する。三角測量技術を考えれば、これはあるゼロでない角度が選択され、三角測量の適当な精度を提供する。
好ましくは、システムの構成は、画像化ユニットの画素面上の平均スペックル特徴サイズの最小値Δｘｃａｍが、少なくとも２画素であるようにされる。
好ましくは、拡散器ユニットおよび画像化ユニットは、拡散器ユニットおよび画像化ユニットから対象物まで実質的に同一距離であるように向きが設定される。この場合、画像化ユニットの画素面上の平均スペックル特徴サイズの最小値Δｘｃａｍは、次の式で決定できる。
Figure 2009511897
 ここで、Ｆは画像化レンズの焦点長であり、φＤはパターン発生器の照明スポットサイズであり、λは照明光の波長である。
マッチングアルゴリズムは、平均スペックル特徴サイズΔｘｃａｍにおける所定の可視性を可能にし、すなわち、制御ユニットは、Δｘｃａｍが所定の範囲内にある場合に、異なる平均スペックル特徴サイズΔｘｃａｍの画像部分または画像の処理および解析のためにプログラムされている。Δｘｃａｍは対象物の異なる部分から反射されたスペックルパターンの部分で異なるので（Δｘｃａｍのスケーリングは後述の式（９ａ）−（９ｄ）の式で与えられる）、対象物の画像化が意味ある結果になる領域が決定される。
好ましくは、拡散器ユニット及び画像化ユニットは、レイリー距離の数分の一（例えば２０％）以内に互いに近接して配置される。
好ましくは、システムは、画像化ユニットの視野の異なる領域間の照明の明るさの変化を低減するように構成された調整器を有する。このような調整器は、回折光要素を有する。回折光要素は、拡散器内に一体化されるかまたはそれに付けられ、または拡散器に向かう照明光伝播の光路内に配置される。回折光要素は、拡散器と一緒に動作して、照明光の伝播光路に対する横平面内の明るさを調整する。
いくつかの構成では、調整器は、照明強度を調整して、例えば反射係数(albedo)、距離、および表面特性における差に起因する効果のような、画像化ユニットで受けられる明るさレベルにおけるマップされる対象物の効果を部分的に相殺または平滑化するように制御される。このような調整器は、画像化／制御ユニットから入力を受けて、照明光伝播光路に対して横方向の平面内に投影される強度分布を調整する。
ほかの例によれば、回折光要素は、照明光の伝播と実質的に平行な軸に沿って明るさ変化の低減を可能にするように構成されている。回折光要素は、照明光の伝播についてパターン発生器の下流に収容される位相のみの要素である。
照明ユニットは、４−Ｆフーリエ変換器として構成される。この場合、遠視野内の光視野は、最初に投影されるパターンの遠視野分布と２個の集束レンズの間に収容される回折光要素のフーリエ変換との間のコンボルーションである。例えば、回折光要素は、そのフーリエ変換が強度の楕円断面を生成し、２個の集束レンズの間に収容される位相のみの要素として構成されたものが使用される。
好ましくは、画像化ユニットは、安定視野を規定する単一光検出器を有する。
本発明のほかの広い態様によれば、対象物の実時間再構成に使用する方法が提供され、この方法は、照明コヒーレント光により形成されたランダムスペックルパターンを対象物に照射し、対象物からの光応答を検出して照射されたスペックルパターンを有する対象物の画像データを発生し、画像データを処理して、対象物の画像におけるパターンの参照画像に対するパターンのずれを決定し、それにより対象物の三次元マップを決定する。
発明を理解し、実際にどのように実行されるかが分かるように、好適な実施例を付属の図面を参照して説明するが、これらは範囲を限定するものではない。
図１を参照すると、対象物の３次元マッピングで使用する本発明のシステム１０の例の概略が示されている。システム１０は、対象物１３上にランダムスペックルパターン（望ましくは一定パターン）を投影するように構成された照明ユニット１２と、画像化装置１４と、を有する光マッピングシステムである。
照明ユニット１２は、コヒーレント光源１２Ａと、照明光の光路内に収容され、光源出力に非常に近接している（例えば物理的に接触している）ことが望ましい一定ランダムスペックルパターンの発生器１２Ｂと、を有している。光源１２Ａは、光放射アッセンブリ（レーザ）および／または遠隔光放射アッセンブリに関係する光ガイド配置（例えば、光ファイバ）により構成できる。パターン発生器１２Ｂは、例えばすりガラスのような光拡散器である。
画像化装置１４は、画像レンズ配置１４Ｂを備えた光検出器１４Ａ（ピクセルマトリクス、例えばＣＣＤ）を有する。画像レンズ配置１４Ｂは、光検出器の一部に統合された部分または検出器の前の別のユニットである。好ましくは、対象物からの光反射が検出される。
システム１０の構成的な一部であってもそうでなくてもよい制御システム１６が、画像化装置の出力に（配線または無線信号送信を介して）接続されている。制御システム１６は、メモリ部１６Ａ、データ処理および解析部１６Ｂ、および入力／出力部１６Ｃ（例えば表示装置のようなデータ提示部）を有するコンピュータシステムである。
本発明の装置は、携帯電話装置に関係するかまたはそれを含む。例えば、画像化ユニットは、携帯電話に組み込まれるか、携帯電話またはほかの携帯型コンピュータ装置に接続可能である。さらに、本発明は、侵入アラームと共に、車両と近辺のアラームとの間の距離評価のための３次元機能を使用することができる。
上記のように、スペックルは、散乱光の部分的な干渉により発生されるランダムパターンである。より明るいスポットは光が同位相で散乱されたところに位置し、暗いスポットは光が逆位相で散乱されたところに位置する。本発明の実施例によれば、投影スペックルパターンは、Ｚ方向（対象物を通過する軸方向の軸線）に一定であり、パターンはＺ軸方向には変化しない。しかしながら、パターン倍率はＺ軸に沿って変化すること、すなわち異なる画像面でのパターンの画像は異なる倍率であることが理解されるべきである。照明された３次元対象物は、横方向の面（検出面）内のランダムパターンの特徴のずれ（シフト）を生じる。パターンは非常にランダムであるから、隠蔽問題は存在しない。
本発明の方法における主ステップを示す図２を参照する。
スペックルパターンの画像を示す参照データ（すなわち、対象物の無いパターンの画像）が、制御システム１６のメモリ部内に提供されて記憶される（ステップＩ）。このため、スペックルパターンは（マップされる対象物が配置される）ある領域に投影され、スペックルパターンの参照画像が得られる。この参照画像は一度だけ捕らえられる。
その領域に位置している対象物の画像（単一画像）が取得され（ステップII）、それを示す測定データが発生される（ステップIII ）。このため、対象物はスペックルパターンを搬送する光により照明され、対象物からの光応答（反射）が画像化レンズにより収集され、光検出器により検出される。本発明が単一の画像データで動作し、対象物の３次元マップを再構成するための画像処理の複雑さが著しく低減されることに注目すべきである。
測定データは、参照データを使用して処理され（ステップIV）、参照画像内のパターンに対する対象物の画像内のランダムパターンの特徴の相対的なずれを決定する（ステップＶ）。これは、適当なマッチング（例えば相関）アルゴリズムを使用して実現される。相関アルゴリズムは、捕捉した画像を走査する小さな移動ウインドウに基づき、それを参照画像と相関させることに基づいている。相関のピークは、３次元情報に関係する相対的なずれを示す。
相関演算の複雑さは相対的に低く、高速フーリエ変換（ＦＦＴ）に基づいた例であればよい。さらに、投影パターンは投影器（レーザ）と対象物の間の距離に比例した倍率であるから、相関はメモリで投影は一定である。これは、相関を開始する前に、参照画像に対して適用される調和分解および／または適当な座標変換を使用して得ることができる（参考文献１６）。
重要なパラメータは、次のような横方向のスペックルの大きさ（サイズ）（すなわち、横平面内の平均スペックルサイズ）Δｘである。
Figure 2009511897
 ここで、Ｌは散乱器１２Ｂと対象物１３の間の距離であり、λは照明光の波長であり、φＤは散乱器１２Ｂの照明サイズである。平均のスペックル特徴サイズは、３次元分解能を決定するファクタの１つである。式（１）によれば、このサイズは、散乱器におけるレーザスポットの直径φＤおよび／またはレーザ波長λを変化させることにより制御可能である。
スペックルパターンの軸線サイズΔｚは、次の式で表される。
Figure 2009511897
 参照面に対するスペックルの横方向のずれのマッチングは、（光投影経路に対してほぼ垂直な）スペックルパターン投影の横平面にほぼ平行な面の対象物ではより容易である。従って、好適な構成では、スペックルパターン伝播の横平面は、対象物上に投影される。言い換えれば対象物に入射する光は、照明領域の大部分に対してほぼ垂直であることが好ましい。
一般的に、２つのスペックルパターンがＣＣＤ上に現れ、一方は散乱器から来る（すなわち対象物上に投影される）一次のスペックルであり、他方は画像化中に形成されたレンズ開口および／または対象物の材料の粗さによる二次のスペックルである。１つの一次スペックルパターンのみに集中するため、次に条件：φＬ＞＞φＤが考慮される。ここで、φＬは画像化レンズのサイズである。
制御システム１６は、測定データに数値アルゴリズムを適用することにより、測定データを処理するように動作して、３次元情報を抽出する。ここで説明するように、本発明のアルゴリズムは、既知の数学的な処理の新規の組合せを含む。本発明は、このアルゴリズムを特異な光装置と合わせて利用し、実時間の３次元マッピングを可能にする。
使用するアルゴリズムは、演算の複雑さが低く、実時間の動作が可能である。以下の説明は、本発明におけるデータ処理の一部として使用されるのに適したアルゴリズムのよい例である。
１つの特別な深さ点を得るために、参照パターンからのその近辺の横ずれを見つける必要がある。このマッチングの１つの可能な実現方法は、相関のピークを探すことであり、画像から１つ以上のウインドウを取り出し、検査点の統計／近辺を再現し、そして例えばそのウインドウと参照画像との相関などのマッチングを演算することにより、実現される。ウインドウは、重なり（オーバーラップ）の量で決められる。カメラの各画素について、深さのサンプルが得られる。達成可能な深さ（３次元）の分解能（Ｚ軸に沿ったδＺ）は、Ｚに応じて変化し、光装置（すなわち、レーザとカメラの相対配置）、スペックル特性（スペックルパターンの特徴）および（カメラの物理的なパラメータである）カメラの解像度にのみ依存する。
３次元再構成が画像マッチングアルゴリズムに基づく上でのアルゴリズムの進め方は、非常に基本的な無駄なラスタ調査から、より複雑な予測に基づく領域成長方法を経て、より高レベルの最大近似またはほかの複雑な画像マッチングアルゴリズムまで進む。各種の進め方は多くのファクタが互いに異なり、より複雑な進め方は、単純なものより正確で雑音の少ないデータを生成するが、演算の複雑さがより大きくなる。
予測に基づく領域の成長方法は、複雑さと性能の間の良好なトレードオフを提供し、次のようなことが分かる。１つの対象物上の２つの近接した点は通常はそれらの間の高さの差が小さいことが特徴であり、いわゆる「対象連続性の仮定」である。従って、ある点の同じ領域（対象物）上の近傍の点からのＺ値（深さ）は、近似的に予測可能である。予測は、検査されて改良され、それが適切であることが分かった場合に、その点は所定の領域に組み合わされる。もし予測／改良が参照との不適切な一致を示していれば、これはＺ差が無視できず検査中の点がその近傍（親）の点から異なる領域に属していることを示す。
さらに、相関のウインドウは部分的なスペックル／エッジ／対象物特性に従って一定であっても（例えば、１６×１６画素ウインドウ）、変化してもよいことに注目すべきである。
以下は、一定のウインドウサイズを有する予測に基づく領域成長アルゴリズムの１つの可能な実現方法の例である。アルゴリズムは次のステップを有する。
（１）関連性／影準備ステップ
ピクチャ（対象物の画像）に渡って（解像度を乗じたＭおよびＮに等しいサンプリング点で（ここでＭとＮは整数である））分解能ステップを行い、サンプリング点が影とマークされる「影」であるか、不明とマークされる関連スペックルウインドウであるかを決定する。さらに、各出力点の状態は維持され、この第１ステージでいくつかの点が不明状態に、ほかが影状態になる。
（２）「新しい領域アンカー（碇）を得る」ステップ
不明の点の個数が全体の出力点の所定の割合より大きい場合に、ランダムな点が現時点で不明状態を有するものとして選択され、参照画像に対するマッチングが実行され、例えば選択された点の回りのＷｘ×Ｗｙのウインドウ画素が参照画像と相関される。
ウインドウサイズＷｘ×Ｗｙは最適化されることに注目すべきであり、一方では「十分な統計／識別」、他方では複雑さと小さな対象物の損傷というトレードオフがある。さらに、幾何的な制約のため、適切な画像化ユニット／投影システムのキャリブレーションで（すなわち、画像化ユニットのＸ軸が画像化レンズの光学的中心と分散器上のレーザスポットの中心を結ぶ線に平行な時）、スペックルパターンの可能な側方ずれは、現在の点から上下に数画素、および現在の点から左右にピクチャの幅の既知の割合を覆う四角形に限定できる（図１に示した実験装置では、カメラはレーザの右側にあり、従ってスペックルずれは、もしマップされる対象物が参照画像より近ければ右に、そうでなければ左に生じる。）
さらに、上記の幾何的な制約内で、調査がある閾値より高い正規化された相関の値を有する点について実行される。もし調べた相関のいずれも閾値に達しないならば、最適な相関の値はそれがより低い閾値を通過するか調べるように選択され、もし通過するのであればこれはスペックルのずれであると判定され、もし通過しなければさらなる調査が必要であると理解され、説明するステップ（２ａ）以下が新しい領域を開始するための決定のために実行される。もし低い閾値より高い相関の点が見つかれば、そのような点が領域アンカーと称され、領域成長がその周りで試みられる。領域を成長させるため、以下のステップ（３）が実行される。
（２ａ）成長領域の決定
マッチに失敗したら、その領域は、この位置での成長可能な領域の存在／不在の十分な証拠を探す試みによりさらに調べられる。十分な証拠を収集することにより、領域成長ステップ（３）が試みられ、その領域内にアンカー（十分に強力な点）が見つかるか、または領域上にある量の一致した点が見つかる正当な領域を表す成長部分が決定される。このようにして、多数決が実行されて領域が残される。十分な証拠が得られない場合には、領域は除かれ、アンカー（第１）点は不良（ＢＡＤ）とマークされ、新しい領域を成長させるための正当なアンカー点を見つけるためにステップ（２）が繰り返される。
（３）領域成長
領域成長は、４接続（左／右／上／下）を使用して成される。現在の例では、領域成長の実現は、非常に単純である。複数のアクティブ点のＦＩＦＯ（先入れ先出し）が使用され、そのような点のそれぞれはすでに参照画像と相関されており、成功したことが証明されている相関である。それぞれに場合で、ＦＩＦＯの組みからの１点が取り込まれ、その４つの近傍が調べられる。不明とマークされた近傍のそれぞれについて、Ｗｘ×Ｗｙ（例えば１６×１６）の参照に対する相関が決定され、スペックルの予測されるずれ付近の小さな四角形（例えば、（０，０）、（−１，０）、（１，０）、（０，−１）および（０，１）のオフセットを有する５点）内について調べられる。予測されるずれは、その開始アクティブ点（「親」クラス点と称する）のずれである。もし良好な相関があれば、その点はアクティブとマークされ、ＦＩＦＯ組に加えられる。もし良好な相関がなければ、その点はエッジとマークされる（その高さは親点の高さに等しく設定される）。ＦＩＦＯが空の時には、領域のエッジがマークされ、処理はステップ（２）に戻り、新しい領域を成長させる。
（４）領域競合
領域競合は、領域エッジの品質を著しく改善するために実行できる。良好な結果をもたらし演算も高価にならない１つの可能な方法は、領域を不明点空間内に成長させるだけでなく、たとえば異なる領域に属する深さが不連続な点空間に成長させるように試みることである。競合の判定基準は相関値であり、点ごとの成功者全取り方法が良好な結果になることが分かっている。
予測および不良点の検出に基づく相関方法の即時停止に基づいて、領域成長アルゴリズムは、深さ回復のための実時間の信頼性の高いツール（道具）を提供するが、その複雑さと品質の間に明確なトレードオフ関係がある。
投影装置（照明ユニット）と投影面（対象物面）の間の距離が長くなると、投影面で得られるスペックルは大きくなることに注目することが重要である。一方、画像化装置の画素サイズは異なるルールの組みに応じて変化する。さらに、スペックルパターンは、傾いた対象物平面に投影されると歪む。スケーリングおよびスペックルパターンの投影歪が不変である相関を得るための方法（アルゴリズム）は、参照スペックルパターンのメリン(Mellin)および対数分解を含む（参考文献１６）。
メリン分解は、スケーリング（尺度）の式を提供する。
Figure 2009511897
 ここで、ｆ（ｒ，θ；ｘ０、ｙ０）は、ｘ０，ｙ０座標の回りで分解された対象物であり、ｆＮはメリン調和周波数であり、Ｎは調和の次数であり、ｒ０は分解対象物の最小半径であり、Ｒはその最大半径であり、Ｔ＝ｅｘｐ（ｒ０／Ｒ）である。もし１つの調和振動が選択されたら、相関の結果はスケーリング不変である。
対数分解が次に説明される。
Figure 2009511897
 対象物は、ｘの絶対値がｘ０より大きくかつＸより小さい範囲内ではゼロでなく、そしてＴ＝ｅｘｐ（ｘ０／Ｘ）である。１つの調和振動選択は、相関の時に投影歪を不変にする。
スペックルサイズは、投影システムに応じて変化し、画像化システムは光装置により相互に補償ことも可能である。これが実行される方法を理解するために、スペックルパターンのスケーリングの詳細についてここで検討する。
照明ビームをガウスビームとしてモデル化する場合、回折式は、距離Ｚにおけるビーム半径Ｗ（ｚ）の次の依存性を示す。
Figure 2009511897
 式（５）において、λはビームの波長であり、Ｗ０はビームウエストの半径であり（拡散器を照明するビームの直径の半分φＤ／２に等しく）、ＺＲはレイリー距離である。式（５）の近似で、Ｚ＞＞ＺＲであると仮定する。
対応するフレネル積分における２次位相ファクタは１より小さいので、レイリー距離は遠視野近似が有効である距離でもあることに注目すべきである。
さらに、本発明の技術では、対象物は各三期からレイリー距離より離れた距離Ｌに位置することが望ましいことにも注目すべきである。ビームウエストからそれぞれのレイリー距離において、（回折限界ビームについての）ビーム面積は２倍になる（この距離は、ウエスト半径、屈折率、および材料内の波長で決定され、空気中における画像化については屈折率はほぼ自由空間の屈折率、すなわち１．０である）。
カメラ１４における光強度Ｉは、（投影器（照明器）１２と対象物１３の間の距離）Ｌと（対象物１３とカメラ１４の間の距離）ｄに、１／Ｌ２ｄ２のように依存している。
Figure 2009511897
 式（６）の１／Ｌ２の部分は、スペックルパターンを搬送する投影ビームの発散による。
ガウスビームのモデルは、ビームを全体として表していることに注目すべきである。光ビームの半径Ｗ（ｚ）は、Ｚに比例して増加し、強度密度は１／Ｚ２に従って減少する。その結果、対象物に照射される光の強度は、１／Ｌ２に比例する。式（６）の１／ｄ２の部分は、対象物からカメラに向かって反射されるコヒーレントビームの分散による。
一方、スペックルパターンのより小さい部分は、対象物が光源ユニットからさらに遠い時には、対象物（または対象部分）の上に投影される。対象物のサイズにより定義される間隔に入るスペックルの暗と明のスポット（スペックルパターン特徴）の個数は、対象物のサイズｓの平均スペックルサイズΔｘに比率により次の式で決定される。
Figure 2009511897
 対象物からの光が光検出器に反射される時、それはサイズＳＬＤのスポットを形成する（すなわち、ＳＬＤはフォトディテクタ面上への対象物の投影のサイズである）。
Figure 2009511897
 ここで、Ｆは集束（画像化）レンズの焦点距離である。
フォトディテクタ上に投影される平均特徴サイズは、式（８）の式（７）に対する比率で決定される。
Figure 2009511897
 好適な構成では、拡散面および検出面（より正確には画像化レンズ１４Ｂの面）は、Ｌ（拡散器と対象物間の距離）とｄ（カメラと対象物間の距離）を実質的に等しくするように配置される。
一方、光装置は、主対物面へ入射する照明光の伝播軸とそこから光検出器へ戻る光の軸の間のゼロでないある角度αを保証し、三角測量を可能にするように構成される。３次元再構成の精度は、δＺ＝δｘＬＤｄ／（Ｆｔａｎα）である（δＺは３次元分解能であり、δｘＬＤは、相関アルゴリズムにより得られる画素面におけるずれの分解能であり、例えばカメラの画素である）。角度αは、Ｌ’／Ｌにほぼ等しく、ここでＬ’は投影器とカメラの間の距離である。
本願発明者による実験的な装置では、マッピングシステムは、次のパラメータを有していた。Ｌ’＝２０ｃｍ、Ｌ≒２ｍ、δｘＬＤ＝６μｍ、およびＦ＝８ｍｍであり、これによりδＺ＝１５ｍｍである。上記から、投影器とカメラの間の距離Ｌ’は、マッピングシステムが所望の分解能、たとえば数ミリメートルで動作するのを可能にするようにあらかじめ選択できることが分かる。
上記のように、実際には拡散器面とレンズ１４Ｂの面は、Ｌ（拡散器と対象物間の距離）とｄ（カメラと対象物間の距離）を実質的に等しくするように配置される。Ｌ＝ｄおよび投影器から画像化ユニットまでの最小距離Ｌ’の両方の要求を考慮するために、Ｌとｄの変化に伴う画像化ユニット（カメラ）上のスペックルサイズの変化を考慮すべきである。
Ｌがｄに等しくない場合のカメラ面上のスペックルサイズは、次の式で表される。
Figure 2009511897
好適な構成では、カメラ面上のスペックルサイズは、対象物のいろいろな部分から反射されるスペックルと同じである。可視の（すなわちカメラ面上での）スペックルの大きさスケーリングは、Ｌ＝ｄであれば抑制される。後者の条件は拡散器とカメラレンズを互いに非常に近接して配置することにより全３次元空間でほとんど保証されるが、実際にはカメラと投影器の間にはある距離Ｌ’が存在する。
Ｌとｄがレイリー距離ＺＲの端数だけ異なることを考慮すると、次の式になる。
Figure 2009511897
 ｄでのスペックルのスケーリングのサイズは、次の式になる。
Figure 2009511897
 使用するマッチングアルゴリズムは、最大スケーリングファクタγについて、次の式で表される最大可能な可視スペックルサイズと結び付けるのを可能にする。
Figure 2009511897
 ここで、Ｌとｄの差、およびそれによるεとＬ’が制限される。
Figure 2009511897
式（９ａ）−（９ｄ）から導かれるように、Ｌがｄに近い、すなわちＬ’が所定のγに対する式（９ｄ）により限界が定められるという事実は、画像化装置に記録されるスペックルの異なる部分に渡る最大でも１＋γのファクタだけ異なるスケーリング（平均特徴サイズ）を提供する。これらのスペックルパターン部分は、画像化装置に関係する異なる位置で対象物から反射され、３次元対象物表面の異なる部分すなわち異なる距離部分に照射された。いずれの場合も、これらの部分の画像は、フォトディテクタの画素で測定した時に、実質的に（１＋γのファクタまでの）同一の特徴サイズを有する。この平均特徴サイズは、参照画像の特徴サイズに実質的に等しい。
このように、対象物画像と参照画像をこれら両方の画像において同一のウインドウを使用して相関させることは正当である。これは、ほかのマッチング操作と同様に相関は、本質的に特定の歪部分に対して有効であり、スペックル特徴サイズ、この有効性に含まれるスケーリングの量に依存しているからである。許容される特別なパラメータγは、特別な装置パラメータおよびパターン特性が与えられるならば、（１＋γ）でスケール（縮尺）されたマッチング基準およびパターンのスケールでないバージョンを考慮することにより、当業者であれば容易に決定可能である。
相関は、対象物の３次元トポグラフィと（スペックル参照パターンを生成する）（平面）参照板の間の差に起因するスペックルパターン部分のずれの決定を可能にする。
Ｌとｄの必要な近似性は、システムの拡散器ユニットと画像化ユニットを、互いの距離が照明光のレイリー距離の係数ε（例えば、０．５）に等しい距離に配置することにより可能になる。
光装置の上で説明したマッチングは、例えばメリン変換などのほかの手段を配置する必要無しに、スケーリング不変にすることを可能にする。傾いた表面に入射するスペックルは、投影の形で最大限歪を生じる。光装置の好適な構成におけるスペックルの照射は、主対物面上の垂直光入射にもっとも近くなることを保証するようにされ、スペックルパターンは歪のある量に本来耐えることが可能であるから、好適な構成では例えば対数変換のようなほかの手段を設ける必要はない。
ほかの好適な構成では、拡散器１２Ｂ、レンズ１４Ｂおよび光検出器１４Ａは、必要な解像度にマッチする画像化スペックルパターンの平均特徴サイズを提供するように構成される。特別な手段を設ける必要無しに、平均スペックル特徴サイズは好ましい約２画素である。カメラ上での平均スペックル特徴サイズΔｘｃａｍは、上記の式（１）および（８）により決定され、ここでは式（８）におけるｓは式（１）のΔｘであり、次のようになることに、注目すべきである。
Figure 2009511897
 このような画像化装置は、最大情報が各画素信号で得られるので、最大分解能を得ることを可能にする。
さらに、本発明の光装置は、対象物までの距離の最大範囲を可能にすることに注目すべきである。最小可能距離は、レイリー距離であり（例えば、特別には０．５ｍであるが、本願発明者により使用された例ではこれに限定されない）、最大距離は対象物のサイズおよび対象物でのスペックルサイズで決定される。対象物上に投影されるスペックルの個数は、画素における平均スペックル特徴サイズにより除算された相関ウインドウのサイズより十分に小さくはない。
レーザスペックルに固有の特性の１つは、対象物上への投影が高いコントラストの画像を生じることである。これは、レーザスペックルパターンが高いコントラストで生成されるためであり、レーザスペックルパターンが自己再生により伝播するため、この高いコントラストがレーザスペックルパターンの焦点深度の間維持される。高コントラスト画像は、各画素に対して１または１の値を取る光強度により表すことができ、この高コントラストはほかの方法でも利用可能である。このように、レーザスペックルパターンの高コントラスト特性は、処理データの低減および画像再構成の高速化を可能にする。
式（２）から分かるように、スペックルパターンはＺ方向（縦軸）に沿って変化することに注目すべきである。このように、一定のランダム参照パターン（拡散器）により、参照画像の組みは、投影装置に対する投影面が異なる配置で行われ（これによりこれらの画像はスペックルパターンの縦の変化に従って異なる）、３次元相関が実行される。この場合、得られたアプローチは、無限の３次元マッピングレンジ（奥行き）を可能にする。
ここで、本発明の有利な特徴を確認するいくつかの実験結果を示す図３Ａと図３Ｂおよび図４Ａから図４Ｊを参照する。これらの実験では、画像再構成は図１の装置を使用してビデオレートの実時間で実行された。
図３Ａと図３Ｂは、コーヒーカップの画像再構成を示す。画像化ユニット（図１では１２）は、光源１２Ａとして緑色Ｎｄ：ＹＡＧレーザを利用し、一定ランダムスペックルパターンを投影するためにすりガラス（拡散器）の片（ピース）１２Ｂを利用した。制御システムは、１６×１６画素のスライドするウインドウを利用した相関アルゴリズムでプログラムした。図３Ａは、参照画像（例えば、対象物無しの投影されたスペックルパターン）を表し、図３Ｂは得られた３次元再構成のメッシュを示す。
図４Ａと図４Ｂは、手の３次元マッピングを示す。図４Ａは投影されたスペックルパターンを有する手を示し、図３Ｂは３次元再構成を示す。
図４Ｃと図４Ｄは傾いた平面の投影とマッピングを示す。図４Ｃは投影されたスペックルパターンを有する平面画像であり、図４Ｄは３次元再構成を示す。図４Ｅから図４Ｇはバスケットボールの３次元マッピングを示し、図４Ｅはボールの画像であり、図４Ｆは投影されたスペックルパターンを有するボールであり、図４Ｇは３次元再構成である。図４Ｈから図４Ｊは象のおもちゃの投影およびマッピングを示す。図４Ｈはおもちゃの画像であり、図４Ｉは投影されたスペックルパターンを有するおもちゃであり、図４Ｊは３次元再構成である。表示された再構成の異なる色は、３次元の得られた情報を示すことに注目すべきである。
このように、本発明は、３次元マッピングの新規な方法およびシステムを提供し、そこではランダムスペックルパターンが、対象物の３次元情報をマップするために、およびある参照平面に対するレンジを評価するために、使用される。この技術は、高分解能および実時間３次元情報を抽出することを可能にする。３次元情報は、捕捉した画像内のランダムパターンの参照画像との比較における部分的で相対的な横方向のずれを抽出することにより得られる。この技術は、演算の複雑さが低く、周期的なパターン投影を使用するほかの技術で現れる隠蔽問題がない。使用する光システムは非常に単純である。
本発明は、光検出の明るさを改善可能であることに注目すべきである。これに関連して、以下のことに注目すべきである。
明るさレベルは、光源および／または光検出器から異なる距離にある対象物および／または対象部分で異なる。光検出器アレイの各画素は、直径Δｘｚのスポットからの光を捕らえる。
Figure 2009511897
 ここで、δｘは画素サイズである。
検出されたスペックルパターンの明るさは、光検出器の単一画素に到達する信号強度により決定される。
Figure 2009511897
 ここで、Ｄは画像化レンズの直径であり、放射が対象物から反射される立体角Ｓｔｒに関係する。
式（１２）から分かるように、検出器で受光される明るさレベルは、１／Ｌ２に比例し、従って近対象物領域および遠対象物領域は、検出器により距離に応じて異なる明るさレベルで見られ、３次元再構成性能に影響する。付加的なファクタが、対象物の異なる領域の間の異なる反射係数(albedo)の差である。
制御システムは、所定の閾値で明るさレベルを比較することにより、スペックルパターンにおける光スポットを特定できる。しかしながら、このようなアルゴリズムは光源により近接して位置する対象物（または対象部分）のより明るいスポットを特定する。さらに、光スポットは、光源により近接して位置する対象物に対して、より大きな面積で異なる形状を有する。一方、この効果は３次元再構成およびレンジ（距離）決定に利用できる。他方では、この効果は相関方法の間またはその前に考慮することが望ましい。
図５を参照すると、そこにはブロック図で、本発明のマッピングシステム６０のほかの例が示されている。理解を容易にするために、同一の参照番号は本発明のすべての例で共通の要素を示すのに使用される。システム６０は、対象物１３上にレーザランダムスペックルパターンを照射するように構成された照明ユニット１２と、画像化装置１４と、明るさ制御器（調整器）２５と、を有する。調整器２５は、カメラの視野内の明るさ変化およびシステムによるこの変化の認識を制御するように構成されている。調整器２５は、マップ可能なレンジを増加させる機構を構成する。マッピングシステムでは１個以上の調整器が使用されるものと理解される。
図５の例では、調整器２５は制御ユニットのデータ処理および解析部１６Ｂ内のサブ部として実現される。このようなサブ部は上記のメリン変換を実行する。
いくつかの実施例では、明るさ調整器２５は、カメラの視野の異なる領域間の照明明るさの変化を低減するように構成され、光伝播経路内のどこかに配置される光ユニットとして実現される。例えば、調整器は光ユニットとして実現され、光源１２Ａまたは拡散器１２Ｂと一体にされるか、または拡散器１２Ｂの照明経路の下流または光源１２Ａと拡散器１２Ｂの間に配置される別のユニットでもよい。
同様に、調整器２５は、光検出器と制御ユニットの間に位置するアナログ処理ユニットとして、または光検出器１４Ａまたは制御システム１６の一部として実現できる。１つの例では、明るさレベルは、自動利得制御（ＡＧＣ）の部分調整により、すなわち各画素または画素群でのアナログ読み出しの増幅制御により制御される。これは、より一様の明るさレベルを有するデジタル画像を受けることを可能にする。これにより、ある固定ダイナミックレンジを有する光検出器でマップ可能なレンジを広げることを可能にする。
調整器２５は、明るさレベルを制御するように構成される（光プロセッサまたはデジタルプロセッサである）か、明るさレベルの再現を制御するように構成される（検出器出力に関係づけられる）。例えば、光プロセッサとして構成された調整器２５は、デジタルサンプリングの前に光座標変換を実行できる。このような光座標変換は、サドル点積分技術または多重面アプローチを使用して、直交座標（ｘ、ｙ）を極座標（ｌｏｇｒ，θ）に変換するステップを含む（例えば、Zeev Zalevsky, David Mendlovic "Optical implementation of the Bode transform", Applied Optics, Vol. 34, Issue 5, pp. 828-(February 1995)。
以下の説明は、本発明に従って構成され動作する光マッピングシステムのある特別な例を示すが、これに限定されるものではない。
図６Ａは、回折要素１２Ｄが対象物へのスペックルパターンの伝播光路内に収容されたマッピングシステム８０を示す。回折光要素は、光源から異なる距離にある平面に対するコントラスト（相対的な明るさ）を低減する調整器２５として構成できる。この例では、調整器２５は、拡散器と一緒にされるかまはたそれに付けられる。調整器２５は、減少するビーム発散の非回折ビーム（縦方向において）を生成する。これは、例えば放射軸に沿ってランダム分布を角度軸に沿って対称性を有する（リング構造を有する）特別な半ランダム化位相光要素と、それに付けられたランダムパターン発生器の広げた焦点深度を提供する円錐状要素であるＡｘｉｃｏｎ（図示せず）を組み合わせて実現される。Ａｘｉｃｏｎ無しのリングベースの拡散器のようなものでも焦点深度を広げられることに注目すべきである。
図６Ｂは、このような円錐状回折要素２５の動作原理の概略を示す。要素２５は、拡散器１２Ｂに近接して配置され（例えば拡散器に付けられ）、ビームスポットに対する非回折ビームを生成するように構成されて動作し、スペックルがスポット内に現れるようにする。要素２５を光が通過することにより、３つの異なる連続領域が生成される。その１つは一定の回折領域である光伝播領域Ｒ１であり、別の１つは目標が現れる対象の体積である光伝播領域Ｒ２であり、さらに別の１つはやはり一定の回折が得られる領域である光伝播領域Ｒ３である。典型的なＡｘｉｃｏｎ動作を考慮すると、対象物は領域Ｒ２に配置されるので、反射光は領域Ｒ３に現れるように一定の回折法則を満たす。断面は、裏面と裏面が合わされた２個のプリズムに類似していると考えることが可能であり、これにより断面領域を照明するビームは、干渉が発生し回折ビームが形成されない中心に向かって方向を変えられる。回折要素２５は、領域Ｒ２内にレーザスペックルパターンを搬送するビームのより小さい発散を行う。これにより、光強度は、光源から距離Ｌで、上記の式（１２）の強度よりさらにゆっくり変化する。これは、明るさレベルの光源からの距離への依存を小さくしてより一様にする。
図６Ａの例では、回折要素１２Ｄは、明るさ調整を含むまたは含まない各種の機能を実行するように構成されていることに注目すべきである。もし回折光要素（ＤＯＥ）が拡散器に（物理的に接触するまで）近接して配置されている場合、拡散器の後のレーザビームの光路内では、遠視野における光視野は、スペックル遠視野分布とＤＯＥのフーリエ変換の間のコンボルーションである。これにより、各種の機能（例えばスペックル整形）は、図６Ａの光装置で達成可能である。ほかのアプローチは、Ｚ軸に沿ったΔｚのセグメントの分離を可能にする３次元マッピング分解能を提供する。観察される対象物がマッピング分解能Δｚより大きなＺ軸に沿った変化を有する場合、歪（例えば、対象物として傾いた表面）が生じる。それらの歪は、主として参照探索のための領域が十分に横にずれているために生じる。歪は対象物の歪を刈り取ることにより特定できる。このため、スペックルの整形が使用できる。例えばスペックルが楕円形を有するならば、刈り取ったスペックルは元のスペックル形状における変化に従って検出できる。この装置で使用される回折光要素１２Ｄは、フーリエ変換が例えば強度の楕円形の断面（例えば傾いた線）を生成するような位相だけの要素である。このようなＤＯＥは、例えば以下の文献に開示された技術に基づいて設計できる。Z.Zalevsky, D.Mendlovic and R.G.Dorsch, "The Gerchberg-Saxton Algorithm Applied in the Fractional Fourier of the Fresnel Domains," Opt. Let. 21, 842-844 (1996); ほかの公知の方法が使用できる。
図７を参照すると、本発明のマッピングシステムで使用するのに適した投影モジュール９０のほかの例が示されている。装置９０は、レーザ源１２Ａ、拡散器１２Ｂ、第１集束レンズ１２Ｃ、回折光要素１２Ｄ、および第２集束レンズ１２Ｅを有する。これらの要素は、いわゆる４−Ｆフーリエ変換器として配置されている。拡散器１２Ｂは、レンズ１２Ｃの後方焦平面にあり、解説要素１２Ｄはレンズ１２Ｃの前方焦平面におよびレンズ１２Ｅの後方焦平面にあり、レンズの焦点長は等しい。レンズ１２Ｃは、拡散器１２Ｂにより発生されたスペックルパターンのフーリエ変換を印加する。回折要素では、その移送機能がスペックルパターンのフーリエ変換で拡大される。そして、レンズ１２Ｅは、拡大により得られる積関数の逆フーリエを生成する。これにより、対象物が配置される（Ｚがレイリー距離より大きい）遠視野近似では、スペックルランダム分布は要素１２Ｄで拡大される。
１つの例では、要素１２Ｄは、要素１２Ｄは強度等化マスクとして実現できる。強度マスクは、遠視野内に所定の光強度を提供するように、透明機能が選択される。例えば、要素１２Ｄは、その中心より周辺領域がより透明であるマスクである。投影光は、マスクの透明度およびスペックルパターンで決定される。この方法で、光強度分布は、横方向平面内で特により一様にすることができる。要するに、この要素は投影されたスペックルパターンのエネルギ分布の均質化に寄与できる。
このように、本発明は、３点測量の原理に基づいて、簡単で安価な光装置を使用して効果的な３次元対象物再構成技術を提供する。本発明は、単一画像のみを使用でき、単一の固定して取り付けられたカメラで動作可能で、対象物までの可能な距離の範囲を大きくすることが可能である。
図１は、３次元対象物を再構成するための、本発明の光システムの例を示す概略図である。 図２は、本発明の方法における主ステップのフロー図である。 図３Ａは、実験結果を示し、参照画像（例えば、投影スペックルパターン）を示す。 図３Ｂは、実験結果を示し、３次元再構成を示す。 図４Ａは、さらなる実験結果を示し、手の投影を示す。 図４Ｂは、さらなる実験結果を示し、手のマッピングを示す。 図４Ｃは、さらなる実験結果を示し、傾いた平面の投影を示す。 図４Ｄは、さらなる実験結果を示し、傾いた平面のマッピングを示す。 図４Ｅは、さらなる実験結果を示し、バスケットボールの投影を示す。 図４Ｆは、さらなる実験結果を示し、バスケットボールのマッピングを示す。 図４Ｇは、さらなる実験結果を示し、バスケットボールのマッピングを示す。 図４Ｈは、さらなる実験結果を示し、象のおもちゃの投影を示す。 図４Ｉは、さらなる実験結果を示し、象のおもちゃのマッピングを示す。 図４Ｊは、さらなる実験結果を示し、象のおもちゃのマッピングを示す。 図５は、明るさ調整器を利用する本発明のシステムの例の概略を示す。 図６Ａは、明るさ調整器を利用する本発明のシステムの例の概略を示す。 図６Ｂは、明るさ調整器を利用する本発明のシステムの例の概略を示す。 図７は、明るさ調整器を利用する本発明のシステムの例の概略を示す。

Claims (45)

  1. 対象物の再構成に使用するシステムであって、
    （ａ）コヒーレント光源と、前記光源から対象物へ伝播する照明光の光路内に収容されたランダムスペックルパターン発生器と、を備え、前記対象物上へコヒーレントなランダムスペックルパターンを照射する照明ユニット、および
    （ｂ）照明領域の光応答を検出して、画像データを発生する画像化ユニットを備え、
    前記画像データは、前記照射されたスペックルパターンを有する前記対象物を示し、それにより前記対象物の前記画像における前記パターンの参照画像に対する前記パターンのずれを示し、当該システムはそれにより前記対象物の三次元マップの実時間再構成を可能にするシステム。
  2. 前記パターン発生器は、ランダム位相を付加することにより入射する光を拡散する光拡散器を備える請求項１に記載のシステム。
  3. 前記光拡散器は、すりガラス片を備える請求項２に記載のシステム。
  4. 前記画像データは、投影された前記スペックルパターンを有する対象物の前記画像を示し、前記対象物の主平面に実質的に垂直である照明光の前記光路で、前記パターン発生器および前記画像化ユニットから前記対象物の主平面まで実質的に同一距離である位置で取得される請求項１に記載のシステム。
  5. 前記コヒーレントなランダムスペックルパターンの参照画像を示す参照データを記憶するように構成された制御ユニットを備える請求項１に記載のシステム。
  6. 前記参照データは、前記照明光の伝播光路に実質的に垂直である向きの参照平面で、前記パターン発生器および前記画像化ユニットから実質的に同一距離で取得された前記スペックルパターンの前記画像を示す請求項５に記載のシステム。
  7. 前記制御ユニットは、前記参照画像を示す前記データを利用して前記画像間の相関を決定するように、前記画像を処理および解析するようにプログラムされている請求項５に記載のシステム。
  8. 前記制御ユニットは、前記参照画像を示す前記データを利用して前記画像間の相関を決定するように、前記画像を処理および解析するようにプログラムされている請求項６に記載のシステム。
  9. 前記照明光の伝播と前記画像化ユニットの光収集の間の交差により形成される測定体積を規定するように構成され、前記パターン発生器からレイリー距離より遠い距離にある前記対象物の画像化を可能にし、前記測定体積内の各点は前記照明と収集の光伝播路の間の交差角度を定義する請求項１に記載のシステム。
  10. 前記パターン発生器および前記画像化ユニットは、前記パターン発生器および前記画像化ユニットから前記対象物までに実質的に等しい距離になるように向けられている請求項１に記載のシステム。
  11. 前記パターン発生器および前記画像化ユニットは、前記パターン発生器および前記画像化ユニットから前記対象物までに実質的に等しい距離になるように向けられている請求項９に記載のシステム。
  12. 前記パターン発生器および前記画像化ユニットは、互いに前記照明光のレイリー距離の数分の一以内に位置している請求項１０に記載のシステム。
  13. 前記制御ユニットは、前記画像を示す前記データを、メリンおよび対数分解に分割するようにプログラムされ、前記スペックルパターンのスケーリングおよび投影の歪に対して不変である前記相関を得る請求項１０に記載のシステム。
  14. 前記画像化ユニットの画素面上の平均スペックル特徴サイズの最小値Δｘｃａｍが、
    Figure 2009511897
     により決定されるように構成され、ここでＦは画像化レンズの焦点長であり、φＤは前記パターン発生器の照明スポットサイズであり、λは前記照明光の波長である請求項１０に記載のシステム。
  15. 前記画像化ユニットの視野の異なる領域間の照明明るさの変化を低減するように構成された調整器を備える請求項１に記載のシステム。
  16. 前記調整器は、回折光要素を備える請求項１５に記載のシステム。
  17. 前記回折光要素は、前記パターン発生器と一緒に動作して、前記照明光の伝播光路に対する横平面内の明るさを調整するように構成されている請求項１６に記載のシステム。
  18. 前記回折光要素は、前記照明光の伝播と実質的に平行な軸に沿って明るさ変化の低減を可能にするように構成されている請求項１６に記載のシステム。
  19. 前記回折光要素は、前記照明光の伝播に対して前記パターン発生器の下流に収容される位相のみの要素であり、前記照明光の伝播光路に対する横平面内の明るさを調整するように構成されている請求項１６に記載のシステム。
  20. 前記照明ユニットは、４−Ｆフーリエ変換器として構成される請求項１９に記載のシステム。
  21. 前記照明ユニットは、４−Ｆフーリエ変換器として構成され、
    位相のみの要素として構成された回折光要素を備え、前記回折光要素のフーリエ変換は楕円状の断面の強度を生成し、２個の集束レンズの間に収容される請求項１に記載のシステム。
  22. 前記画像化ユニットは、安定視野を規定する単一光検出器を備える請求項１に記載のシステム。
  23. 対象物の再構成に使用するシステムであって、
    （ａ）コヒーレント光源と、前記光源から対象物へ伝播する照明光の光路内に収容された光拡散器ユニットと、を備え、前記対象物上へコヒーレントなランダムスペックルパターンを照射する照明ユニット、および
    （ｂ）照明領域の光応答を検出して画像データを発生するために、安定視野を規定する単一光検出器を備える画像化ユニットを備え、
    前記画像データは、前記照射されたスペックルパターンを有する前記対象物を示し、それにより前記対象物の前記画像における前記パターンの参照画像に対する前記パターンのずれを示し、当該システムはそれにより前記対象物の三次元マップの実時間再構成を可能にするシステム。
  24. 対象物の再構成に使用するシステムであって、
    （ａ）コヒーレント光源と、前記光源から対象物へ伝播する照明光の光路内に収容された拡散器ユニットと、を備え、前記対象物上へコヒーレントなランダムスペックルパターンを照射する照明ユニット、および照明領域の光応答を検出して画像データを発生する画像化ユニットを備え、前記画像化ユニットおよび前記拡散器は、前記拡散器および前記画像化ユニットから前記対象物までを実質的に等しい距離にするように向けられており、
    前記画像データは、前記照射されたスペックルパターンを有する前記対象物を示し、それにより前記対象物の前記画像における前記パターンの参照画像に対する前記パターンのずれを示し、当該システムはそれにより前記対象物の三次元マップの実時間再構成を可能にするシステム。
  25. 対象物の再構成に使用するシステムであって、
    （ａ）コヒーレント光源と、前記光源から対象物へ伝播する照明光の光路内に収容された拡散器ユニットと、を備え、前記対象物上へコヒーレントなランダムスペックルパターンを照射する照明ユニット、および
    （Ｂ）照明領域の光応答を検出して画像データを発生し、前記画像データは、前記照射されたスペックルパターンを有する前記対象物を示し、それにより前記対象物の前記画像における前記パターンの参照画像に対する前記パターンのずれを示す画像化ユニット、
    （Ｃ）前記コヒーレントなランダムスペックルパターンの参照画像を示す参照データを記憶するように構成された制御ユニット、を備えるシステム。
  26. 対象物の再構成のためのシステムに使用する投影モジュールであって、コヒーレント光源と、入射する光にランダム位相を加えて拡散するように構成された光拡散器と、を備え、ランダムスペックルパターンを生成して対象物上へ投影することにより、前記投影されたパターンを有する前記対象物の画像化および前記対象物の三次元マップの再構成のための画像データの実時間処理を可能にするシステム。
  27. 対象物の実時間再構成に使用する方法であって、
    （ｉ）照明コヒーレント光により形成されたランダムスペックルパターンを前記対象物に照射し、
    （ii）前記対象物からの光応答を検出して前記照射されたスペックルパターンを有する前記対象物の画像データを発生し、
    （iii ）前記画像データを処理して、前記対象物の画像における前記パターンの参照画像に対する前記パターンのずれを決定し、それにより前記対象物の三次元マップを決定する方法。
  28. 前記対象物は、前記パターン発生器から、前記対象物と光検出器の間の距離に実質的に等しい距離に配置される請求項２７に記載の方法。
  29. 前記対象物の主平面は、照明光の伝播軸に対して実質的に垂直であるように向けられている請求項２８に記載の方法。
  30. 前記参照データは、照明光の伝播光路に実質的に垂直であるように向いており前記パターン発生器および前記画像化ユニットから実質的に同一距離である位置にある参照平面で取得された前記スペックルパターンの画像を示す請求項２７に記載の方法。
  31. 前記処理は、前記画像と前記参照画像の間の相関の決定を備える請求項２７に記載の方法。
  32. 前記照明光伝播と前記光の収集の間の交差は測定体積を規定し、前記体積はスペックルパターン発生器からレイリー距離以上離れた距離の前記測定体積内の前記対象物の画像化を可能にし、前記測定体積内の各点は照明および収集光伝播路の間の交差角度を規定する請求項２７に記載の方法。
  33. 前記制御は、前記画像を示す前記データを、メリンおよび対数分解に分割することを備え、前記スペックルパターンのスケーリングおよび投影の歪に対して不変である前記相関を得る請求項３１に記載の方法。
  34. 光検出器の画素面上の平均スペックル特徴サイズの最小値Δｘｃａｍが、
    Figure 2009511897
     により決定され、ここでＦは画像化レンズの焦点長であり、φＤは前記パターン発生器の照明スポットサイズであり、λは前記照明光の波長である請求項２７に記載の方法。
  35. 前記光検出器の視野の異なる領域間の照明明るさの変化を低減することを備える請求項２７に記載の方法。
  36. 回折光要素を通しての前記パターンを投影することを備える請求項３５に記載の方法。
  37. 前記光応答の前記検出は、安定視野を規定する単一光検出器により実行される請求項２７に記載の方法。
  38. 前記対象物の３次元マップを示すデータをマン・マシーン・インターフェースに入力することを備える請求項２７に記載の方法。
  39. ゲームのために前記マン・マシーン・インターフェースを使用することを備える請求項３８に記載の方法。
  40. フィットネスのために前記マン・マシーン・インターフェースを使用することを備える請求項３８に記載の方法。
  41. 前記対象物の３次元マップを示すデータをバイオ医療解析に使用することを備える請求項２７に記載の方法。
  42. 前記バイオ医療解析は内視鏡を備える請求項４１に記載の方法。
  43. 携帯電話装置で実行される請求項２７に記載の方法。
  44. 車両および／または近接警報の間の距離評価のために、前記対象物の前記３次元マップを利用することを備える請求項２７に記載の方法。
  45. 侵入警報の間の距離評価のために、前記対象物の前記３次元マップを利用することを備える請求項２７に記載の方法。
JP2008535179A 2005-10-11 2006-03-14 対象物再構成方法およびシステム Active JP5001286B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US72490305P 2005-10-11 2005-10-11
US60/724,903 2005-10-11
PCT/IL2006/000335 WO2007043036A1 (en) 2005-10-11 2006-03-14 Method and system for object reconstruction

Publications (3)

Publication Number Publication Date
JP2009511897A true JP2009511897A (ja) 2009-03-19
JP2009511897A5 JP2009511897A5 (ja) 2009-04-30
JP5001286B2 JP5001286B2 (ja) 2012-08-15

Family

ID=37942362

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008535179A Active JP5001286B2 (ja) 2005-10-11 2006-03-14 対象物再構成方法およびシステム

Country Status (6)

Country Link
US (6) US8400494B2 (ja)
EP (1) EP1934945A4 (ja)
JP (1) JP5001286B2 (ja)
KR (1) KR101264955B1 (ja)
CN (1) CN101288105B (ja)
WO (1) WO2007043036A1 (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012147702A1 (ja) * 2011-04-28 2012-11-01 シャープ株式会社 ヘッドマウントディスプレイ
JP2014518710A (ja) * 2011-05-16 2014-08-07 ユニヴェルシテ・リーブル・ドゥ・ブリュクセル 内視鏡検査における可視化と三次元復元のための装置
WO2014171418A1 (ja) 2013-04-19 2014-10-23 凸版印刷株式会社 ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
JP2014528569A (ja) * 2012-03-12 2014-10-27 株式会社積水インテグレーテッドリサーチ 三次元形状測定装置
WO2015068470A1 (ja) 2013-11-06 2015-05-14 凸版印刷株式会社 ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
JP2016007336A (ja) * 2014-06-24 2016-01-18 オリンパス株式会社 内視鏡装置
JP2016007335A (ja) * 2014-06-24 2016-01-18 オリンパス株式会社 内視鏡装置
JP2016031535A (ja) * 2014-07-28 2016-03-07 オーボテック リミテッド オートフォーカスシステム、距離測定システム、オートフォーカス方法及びオートフォーカスシステム較正方法
CN107085343A (zh) * 2017-03-10 2017-08-22 深圳奥比中光科技有限公司 结构光投影装置及深度相机
WO2018190111A1 (ja) * 2017-04-10 2018-10-18 浜松ホトニクス株式会社 擬似スペックルパターン生成装置、擬似スペックルパターン生成方法、観察装置および観察方法
WO2018190112A1 (ja) * 2017-04-10 2018-10-18 浜松ホトニクス株式会社 擬似スペックルパターン生成装置、擬似スペックルパターン生成方法、観察装置および観察方法
US10114452B2 (en) 2015-03-11 2018-10-30 Panasonic Intellectual Property Management Co., Ltd. Motion detection system
EP3492861A1 (en) 2017-12-01 2019-06-05 Omron Corporation Image processing system and image processing method
EP3506204A1 (en) 2017-12-27 2019-07-03 Omron Corporation Image processing apparatus, image processing system, and program therefor
US10664104B2 (en) 2016-03-30 2020-05-26 Seiko Epson Corporation Image recognition device, image recognition method, and image recognition unit
US10769401B2 (en) 2016-01-14 2020-09-08 Seiko Epson Corporation Image recognition device, image recognition method and image recognition unit
US10775936B2 (en) 2016-01-13 2020-09-15 Seiko Epson Corporation Image recognition device, image recognition method and image recognition unit
US11016613B2 (en) 2016-01-13 2021-05-25 Seiko Epson Corporation Image recognition device, image recognition method and image recognition unit

Families Citing this family (251)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110096182A1 (en) * 2009-10-25 2011-04-28 Prime Sense Ltd Error Compensation in Three-Dimensional Mapping
JP5001286B2 (ja) 2005-10-11 2012-08-15 プライム センス リミティド 対象物再構成方法およびシステム
US9330324B2 (en) 2005-10-11 2016-05-03 Apple Inc. Error compensation in three-dimensional mapping
JP4917615B2 (ja) 2006-02-27 2012-04-18 プライム センス リミティド スペックルの無相関を使用した距離マッピング（ｒａｎｇｅｍａｐｐｉｎｇ）
KR101408959B1 (ko) 2006-03-14 2014-07-02 프라임센스 엘티디. 삼차원 감지를 위한 깊이 가변 광 필드
CN101496033B (zh) 2006-03-14 2012-03-21 普莱姆森斯有限公司 利用散斑图案的三维传感
EP1994503B1 (en) 2006-03-14 2017-07-05 Apple Inc. Depth-varying light fields for three dimensional sensing
CN101657825B (zh) 2006-05-11 2014-02-19 普莱姆传感有限公司 根据深度图对人形进行建模
US8350847B2 (en) 2007-01-21 2013-01-08 Primesense Ltd Depth mapping using multi-beam illumination
US8150142B2 (en) 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
TWI433052B (zh) * 2007-04-02 2014-04-01 Primesense Ltd 使用投影圖案之深度製圖
WO2008155770A2 (en) * 2007-06-19 2008-12-24 Prime Sense Ltd. Distance-varying illumination and imaging techniques for depth mapping
FR2921719B1 (fr) 2007-09-28 2010-03-12 Noomeo Procede de construction d'une image de synthese d'une surface tridimensionnelle d'un objet physique
US7988297B2 (en) * 2007-10-19 2011-08-02 Look Dynamics, Inc. Non-rigidly coupled, overlapping, non-feedback, optical systems for spatial filtering of fourier transform optical patterns and image shape content characterization
WO2009062153A1 (en) 2007-11-09 2009-05-14 Wms Gaming Inc. Interaction with 3d space in a gaming system
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US8166421B2 (en) 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US8384997B2 (en) 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
CN101984767B (zh) 2008-01-21 2014-01-29 普莱姆森斯有限公司 用于使零级减少的光学设计
US8531650B2 (en) 2008-07-08 2013-09-10 Chiaro Technologies LLC Multiple channel locating
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
US20100064213A1 (en) * 2008-09-10 2010-03-11 Zhou Ye Operation device for a graphical user interface
EP2166304A1 (de) * 2008-09-23 2010-03-24 Sick Ag Beleuchtungseinheit und Verfahren zur Erzeugung eines selbstunähnlichen Musters
NZ592621A (en) 2008-12-22 2013-05-31 Delaval Holding Ab Determining whether the teats of a milking animal have been cleaned by measuring a teat related parameter
US8159493B2 (en) 2009-02-03 2012-04-17 Xerox Corporation Adaptive grand tour
US8462207B2 (en) 2009-02-12 2013-06-11 Primesense Ltd. Depth ranging with Moiré patterns
US8786682B2 (en) 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
US8717417B2 (en) 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
US8417385B2 (en) 2009-07-01 2013-04-09 Pixart Imaging Inc. Home appliance control device
US9582889B2 (en) 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
US8565479B2 (en) 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
KR100933466B1 (ko) * 2009-08-28 2009-12-23 주식회사 래보 입체 영상 처리 장치 및 방법
FR2950157A1 (fr) 2009-09-15 2011-03-18 Noomeo Procede de numerisation tridimensionnelle d'une surface comprenant laprojection d'un motif combine
FR2950140B1 (fr) 2009-09-15 2011-10-21 Noomeo Procede de numerisation tridimensionnelle comprenant une double mise en correspondance
WO2011039679A1 (en) * 2009-10-02 2011-04-07 Koninklijke Philips Electronics N.V. Selecting viewpoints for generating additional views in 3d video
JP5588310B2 (ja) 2009-11-15 2014-09-10 プライムセンス リミテッド ビームモニタ付き光学プロジェクタ
US8830227B2 (en) 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control
JP5440218B2 (ja) * 2010-01-29 2014-03-12 株式会社デンソー 地図データ及び電子機器
US8891067B2 (en) * 2010-02-01 2014-11-18 Microsoft Corporation Multiple synchronized optical sources for time-of-flight range finding systems
US20110187878A1 (en) 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
CN102762142B (zh) * 2010-02-12 2016-01-27 皇家飞利浦电子股份有限公司 3d表面的激光增强重建
US8982182B2 (en) * 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
US8787663B2 (en) 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8952959B2 (en) * 2010-04-13 2015-02-10 Disney Enterprises, Inc. Embedding images into a surface using occlusion
US9202310B2 (en) 2010-04-13 2015-12-01 Disney Enterprises, Inc. Physical reproduction of reflectance fields
US9014848B2 (en) 2010-05-20 2015-04-21 Irobot Corporation Mobile robot system
US8594425B2 (en) 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
WO2012011044A1 (en) 2010-07-20 2012-01-26 Primesense Ltd. Interactive reality augmentation for natural interaction
US9098931B2 (en) 2010-08-11 2015-08-04 Apple Inc. Scanning projectors and image capture modules for 3D mapping
US9036158B2 (en) 2010-08-11 2015-05-19 Apple Inc. Pattern projector
US9348111B2 (en) 2010-08-24 2016-05-24 Apple Inc. Automatic detection of lens deviations
US9232912B2 (en) 2010-08-26 2016-01-12 The Regents Of The University Of California System for evaluating infant movement using gesture recognition
TWI428568B (zh) * 2010-09-03 2014-03-01 Pixart Imaging Inc 測距方法、測距系統與其處理軟體
TWI428567B (zh) * 2010-09-03 2014-03-01 Pixart Imaging Inc 測距方法、測距系統與其處理軟體
US8582867B2 (en) 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
US10776635B2 (en) * 2010-09-21 2020-09-15 Mobileye Vision Technologies Ltd. Monocular cued detection of three-dimensional structures from depth images
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
IL208568B (en) * 2010-10-07 2018-06-28 Elbit Systems Ltd Mapping, discovering and tracking objects in an external arena by using active vision
TWI428558B (zh) * 2010-11-10 2014-03-01 Pixart Imaging Inc 測距方法、測距系統與其處理軟體
US9066087B2 (en) 2010-11-19 2015-06-23 Apple Inc. Depth mapping using time-coded illumination
US20130176399A1 (en) * 2010-11-29 2013-07-11 Hewlett-Packard Development Company, L.P. System and method for creating a three-dimensional image file
US9167138B2 (en) 2010-12-06 2015-10-20 Apple Inc. Pattern projection and imaging using lens arrays
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US8924150B2 (en) 2010-12-29 2014-12-30 GM Global Technology Operations LLC Vehicle operation and control system for autonomous vehicles on full windshield display
US8605011B2 (en) 2010-12-29 2013-12-10 GM Global Technology Operations LLC Virtual viewfinder on full windshield head-up display
US8633979B2 (en) 2010-12-29 2014-01-21 GM Global Technology Operations LLC Augmented road scene illustrator system on full windshield head-up display
US9008904B2 (en) 2010-12-30 2015-04-14 GM Global Technology Operations LLC Graphical vehicle command system for autonomous vehicles on full windshield head-up display
AU2011352997B2 (en) 2010-12-30 2015-06-18 Irobot Corporation Mobile human interface robot
US9057874B2 (en) 2010-12-30 2015-06-16 GM Global Technology Operations LLC Virtual cursor for road scene object selection on full windshield head-up display
US9285874B2 (en) 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
DE102011004663B4 (de) * 2011-02-24 2018-11-22 Robert Bosch Gmbh Vorrichtung zur Fahrzeugvermessung
US9052497B2 (en) 2011-03-10 2015-06-09 King Abdulaziz City For Science And Technology Computing imaging data using intensity correlation interferometry
US9030528B2 (en) 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
US9099214B2 (en) 2011-04-19 2015-08-04 King Abdulaziz City For Science And Technology Controlling microparticles through a light field having controllable intensity and periodicity of maxima thereof
CN102859320A (zh) * 2011-04-28 2013-01-02 三洋电机株式会社 信息取得装置以及物体检测装置
US9058714B2 (en) 2011-05-23 2015-06-16 Wms Gaming Inc. Wagering game systems, wagering gaming machines, and wagering gaming chairs having haptic and thermal feedback
US9142083B2 (en) 2011-06-13 2015-09-22 Bally Gaming, Inc. Convertible gaming chairs and wagering game systems and machines with a convertible gaming chair
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US8749796B2 (en) 2011-08-09 2014-06-10 Primesense Ltd. Projectors of structured light
GB201113683D0 (en) * 2011-08-09 2011-09-21 Imorphics Ltd Image processing method
US8908277B2 (en) 2011-08-09 2014-12-09 Apple Inc Lens array projector
US8971572B1 (en) 2011-08-12 2015-03-03 The Research Foundation For The State University Of New York Hand pointing estimation for human computer interaction
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9752869B2 (en) 2011-08-15 2017-09-05 The Trustees Of Columbia University In The City Of New York Systems and methods for performing machine vision using diffuse structured light
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
CN102954789A (zh) * 2011-08-25 2013-03-06 中国科学院西安光学精密机械研究所 基于图像判读的双激光束平面定位系统及其方法
US9002099B2 (en) 2011-09-11 2015-04-07 Apple Inc. Learning-based estimation of hand and finger pose
US8896688B2 (en) 2011-11-04 2014-11-25 Hewlett-Packard Development Company, L.P. Determining position in a projection capture system
LT2618316T (lt) 2012-01-23 2018-11-12 Novomatic Ag Gestais valdomas "laimės ratas"
AU2013219966B2 (en) 2012-02-15 2015-04-02 Apple Inc. Scanning depth engine
US10600235B2 (en) 2012-02-23 2020-03-24 Charles D. Huston System and method for capturing and sharing a location based experience
US10937239B2 (en) 2012-02-23 2021-03-02 Charles D. Huston System and method for creating an environment and for sharing an event
WO2013126784A2 (en) 2012-02-23 2013-08-29 Huston Charles D System and method for creating an environment and for sharing a location based experience in an environment
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
WO2013127974A1 (en) * 2012-03-01 2013-09-06 Iee International Electronics & Engineering S.A. Spatially coded structured light generator
WO2013140308A1 (en) 2012-03-22 2013-09-26 Primesense Ltd. Diffraction-based sensing of mirror position
CN102663741B (zh) * 2012-03-22 2014-09-24 侯克杰 对彩色数字图像进行视觉立体感知增强的方法及系统
AU2013239179B2 (en) 2012-03-26 2015-08-20 Apple Inc. Enhanced virtual touchpad and touchscreen
US9047507B2 (en) 2012-05-02 2015-06-02 Apple Inc. Upper-body skeleton extraction from depth maps
US9411042B2 (en) * 2012-05-09 2016-08-09 Duke University Multi-sensor compressive imaging
KR20150042746A (ko) 2012-05-09 2015-04-21 듀크 유니버시티 메타물질 디바이스들 및 이를 사용하는 방법들
US9367914B2 (en) * 2012-05-16 2016-06-14 The Johns Hopkins University Imaging system and method for use of same to determine metric scale of imaged bodily anatomy
US20130311461A1 (en) * 2012-05-16 2013-11-21 NerVve Technologies, Inc. System and method for searching raster data in the cloud
US9448064B2 (en) 2012-05-24 2016-09-20 Qualcomm Incorporated Reception of affine-invariant spatial mask for active depth sensing
US20130329012A1 (en) 2012-06-07 2013-12-12 Liberty Reach Inc. 3-d imaging and processing system including at least one 3-d or depth sensor which is continually calibrated during use
US8896594B2 (en) 2012-06-30 2014-11-25 Microsoft Corporation Depth sensing with depth-adaptive illumination
US8712873B2 (en) * 2012-07-17 2014-04-29 Zortag, Inc. System for and method of remotely auditing inventoried assets
SE1550114A1 (sv) 2012-07-20 2015-02-04 Lely Patent Nv Milking arrangement
US8823930B2 (en) * 2012-08-07 2014-09-02 Carl Zeiss Industrielle Messtechnik Gmbh Apparatus and method for inspecting an object
KR101311255B1 (ko) * 2012-08-20 2013-09-25 주식회사 고영테크놀러지 측정대상물 검사방법
BR112015003885A2 (pt) * 2012-08-27 2017-07-04 Koninklijke Philips Nv equipamento; método; sistema gerador de imagens; elemento de programa de computador para controlar um equipamento; e mídia de leitura por computador
US10008007B2 (en) * 2012-09-20 2018-06-26 Brown University Method for generating an array of 3-D points
CN102920437B (zh) * 2012-10-29 2015-03-11 广州市盛光微电子有限公司 一种近距离成像装置及其使用方法
US9019267B2 (en) 2012-10-30 2015-04-28 Apple Inc. Depth mapping with enhanced resolution
CN102973245B (zh) * 2012-11-30 2014-08-06 广州市盛光微电子有限公司 一种近距离成像装置
US9152234B2 (en) 2012-12-02 2015-10-06 Apple Inc. Detecting user intent to remove a pluggable peripheral device
US9323346B2 (en) 2012-12-31 2016-04-26 Futurewei Technologies, Inc. Accurate 3D finger tracking with a single camera
DE102013200657B4 (de) * 2013-01-17 2015-11-26 Sypro Optics Gmbh Vorrichtung zur Erzeugung eines optischen Punktmusters
NL2010213C2 (en) 2013-01-31 2014-08-04 Lely Patent Nv Camera system, animal related system therewith, and method to create 3d camera images.
KR101416649B1 (ko) * 2013-02-28 2014-07-09 주식회사 도담시스템스 회절 광학 소자 기반 3차원 영상 복원 시스템 및 방법
US20140307055A1 (en) 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
US9294758B2 (en) * 2013-04-18 2016-03-22 Microsoft Technology Licensing, Llc Determining depth data for a captured image
US10341611B2 (en) 2013-04-30 2019-07-02 Inuitive Ltd. System and method for video conferencing
US9759553B2 (en) * 2013-07-09 2017-09-12 Auburn University Determining geometric characteristics of reflective surfaces
CN105452834A (zh) * 2013-07-18 2016-03-30 埃西勒国际通用光学公司 用于确定眼镜片的视觉效果的方法
WO2015054601A2 (en) * 2013-10-11 2015-04-16 Duke University Multi-sensor compressive imaging
CN103528518A (zh) * 2013-10-18 2014-01-22 中国科学院西安光学精密机械研究所 一种闪频激光散斑三维目标获取系统及方法
DE102013020498A1 (de) * 2013-12-11 2015-06-11 Api International Ag Vorrichtung zur 3-D-Vermessung einer Oberfläche und Projektionseineit, sowie Verfahren zur 3-D-Vermessung
US9528906B1 (en) 2013-12-19 2016-12-27 Apple Inc. Monitoring DOE performance using total internal reflection
KR102277309B1 (ko) * 2014-01-29 2021-07-14 엘지이노텍 주식회사 깊이 정보 추출 장치 및 방법
CN103839258A (zh) * 2014-02-13 2014-06-04 西安交通大学 一种二值化激光散斑图像的深度感知方法
JP6237875B2 (ja) 2014-02-24 2017-11-29 日産自動車株式会社 自己位置算出装置及び自己位置算出方法
US9562760B2 (en) 2014-03-10 2017-02-07 Cognex Corporation Spatially self-similar patterned illumination for depth imaging
CN104918031B (zh) * 2014-03-10 2018-08-07 联想(北京)有限公司 深度恢复设备和方法
WO2015148604A1 (en) 2014-03-25 2015-10-01 Massachusetts Institute Of Technology Space-time modulated active 3d imager
US10349037B2 (en) 2014-04-03 2019-07-09 Ams Sensors Singapore Pte. Ltd. Structured-stereo imaging assembly including separate imagers for different wavelengths
JP6537332B2 (ja) * 2014-04-28 2019-07-03 キヤノン株式会社 画像処理方法および撮影装置
SI24755A (sl) 2014-05-30 2015-12-31 Univerza V Ljubljani Postopek in priprava za globinsko slikanje
CN105336005B (zh) 2014-06-27 2018-12-14 华为技术有限公司 一种获取目标物体体征数据的方法、装置及终端
US9922245B2 (en) * 2014-08-15 2018-03-20 Konica Minolta Laboratory U.S.A., Inc. Method and system for recognizing an object
NL2013355B1 (en) * 2014-08-22 2016-09-23 Handicare Stairlifts B V Method and system for designing a stair lift rail assembly.
USD733141S1 (en) 2014-09-10 2015-06-30 Faro Technologies, Inc. Laser scanner
JP2018503106A (ja) 2014-12-27 2018-02-01 ガーディアン オプティカル テクノロジーズ リミテッドＧｕａｒｄｉａｎ Ｏｐｔｉｃａｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｌｔｄ． 表面振動を検出するためのシステムおよび方法
US9797716B2 (en) * 2015-01-09 2017-10-24 Ricoh Company, Ltd. Estimating surface properties using a plenoptic camera
US9817159B2 (en) 2015-01-31 2017-11-14 Microsoft Technology Licensing, Llc Structured light pattern generation
DE102015202182A1 (de) 2015-02-06 2016-08-11 Siemens Aktiengesellschaft Vorrichtung und Verfahren zur sequentiellen, diffraktiven Musterprojektion
US11493634B2 (en) 2015-02-13 2022-11-08 Carnegie Mellon University Programmable light curtains
US11425357B2 (en) 2015-02-13 2022-08-23 Carnegie Mellon University Method for epipolar time of flight imaging
US11747135B2 (en) 2015-02-13 2023-09-05 Carnegie Mellon University Energy optimized imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor
US11972586B2 (en) 2015-02-13 2024-04-30 Carnegie Mellon University Agile depth sensing using triangulation light curtains
JP6484072B2 (ja) 2015-03-10 2019-03-13 アルプスアルパイン株式会社 物体検出装置
JP6484071B2 (ja) 2015-03-10 2019-03-13 アルプスアルパイン株式会社 物体検出装置
DE102015205187A1 (de) 2015-03-23 2016-09-29 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Projektion von Linienmustersequenzen
WO2016156149A1 (en) * 2015-03-31 2016-10-06 Sony Corporation Imaging system using structured light for depth recovery
US9525863B2 (en) 2015-04-29 2016-12-20 Apple Inc. Time-of-flight depth mapping with flexible scan pattern
US10571668B2 (en) 2015-05-09 2020-02-25 Cognex Corporation Catadioptric projector systems, devices, and methods
JP6754425B2 (ja) 2015-05-30 2020-09-09 レイア、インコーポレイテッドＬｅｉａ Ｉｎｃ． 車両監視システム
US11054664B2 (en) 2015-06-18 2021-07-06 Apple Inc. Monitoring DOE performance using software scene evaluation
US10524663B2 (en) * 2015-06-19 2020-01-07 The Board Of Trustees Of The University Of Illinois Phase measurement, analysis, and correction methods for coherent imaging systems
US20160377414A1 (en) * 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
CN107735714B (zh) 2015-06-25 2020-06-09 奥林巴斯株式会社 内窥镜装置
US10012831B2 (en) 2015-08-03 2018-07-03 Apple Inc. Optical monitoring of scan parameters
JP7058837B2 (ja) 2015-11-17 2022-04-25 韓國科學技術院 混沌波センサを利用した試料特性探知装置
FR3044148B1 (fr) * 2015-11-25 2017-12-01 Renault Sas Procede et dispositif de detection de la position des membres inferieurs d'un conducteur de vehicule automobile
US10043279B1 (en) 2015-12-07 2018-08-07 Apple Inc. Robust detection and classification of body parts in a depth map
US9755740B2 (en) 2015-12-30 2017-09-05 Surefire Llc Receivers for optical narrowcasting
US10489691B2 (en) * 2016-01-15 2019-11-26 Ford Global Technologies, Llc Fixation generation for machine learning
CN107454377B (zh) * 2016-05-31 2019-08-02 深圳市微付充科技有限公司 一种利用相机进行三维成像的算法和系统
US10634770B2 (en) 2016-06-29 2020-04-28 Apple Inc. Optical systems for remote sensing receivers
US9947099B2 (en) 2016-07-27 2018-04-17 Microsoft Technology Licensing, Llc Reflectivity map estimate from dot based structured light systems
US10241244B2 (en) 2016-07-29 2019-03-26 Lumentum Operations Llc Thin film total internal reflection diffraction grating for single polarization or dual polarization
US10557943B2 (en) 2016-08-22 2020-02-11 Apple Inc. Optical systems
WO2018039432A1 (en) * 2016-08-24 2018-03-01 Ouster, Inc. Optical system for collecting distance information within a field
US10073004B2 (en) 2016-09-19 2018-09-11 Apple Inc. DOE defect monitoring utilizing total internal reflection
US10366278B2 (en) 2016-09-20 2019-07-30 Apple Inc. Curvature-based face detector
CN106595859B (zh) * 2016-11-01 2019-10-29 清华大学 鬼成像方法和应用其的鬼成像装置
AU2016259442A1 (en) 2016-11-18 2018-06-07 Canon Kabushiki Kaisha Method and system for reproducing visual content
CN108227232A (zh) * 2016-12-14 2018-06-29 浙江舜宇智能光学技术有限公司 发散光式散斑投射器及其调焦方法以及三维重建系统
US10158845B2 (en) 2017-01-18 2018-12-18 Facebook Technologies, Llc Tileable structured light projection for wide field-of-view depth sensing
CN106802138B (zh) * 2017-02-24 2019-09-24 先临三维科技股份有限公司 一种三维扫描系统及其扫描方法
JP6875680B2 (ja) * 2017-04-10 2021-05-26 浜松ホトニクス株式会社 量子シミュレータおよび量子シミュレーション方法
US10359513B2 (en) 2017-05-03 2019-07-23 Elwha Llc Dynamic-metamaterial coded-aperture imaging
US9917652B1 (en) 2017-06-06 2018-03-13 Surefire Llc Adaptive communications focal plane array
US10527711B2 (en) 2017-07-10 2020-01-07 Aurora Flight Sciences Corporation Laser speckle system and method for an aircraft
US10695611B2 (en) 2017-08-14 2020-06-30 AssessLink LLC Physical education kinematic motor skills testing system
CN109635619B (zh) 2017-08-19 2021-08-31 康耐视公司 用于三维重建的结构化光图案的编码距离拓扑
EP3444782B1 (en) 2017-08-19 2022-03-30 Cognex Corporation Coding distance topologies for structured light patterns for 3d reconstruction
EP3673406B1 (en) * 2017-08-22 2023-10-04 Lumileds LLC Laser speckle analysis for biometric authentication
US10795168B2 (en) * 2017-08-31 2020-10-06 Metalenz, Inc. Transmissive metasurface lens integration
CN117236400A (zh) 2017-09-20 2023-12-15 视觉动力公司 数据处理阵列
FR3071715B1 (fr) 2017-10-03 2019-11-01 Proteor Procede d'imagerie radiographique, dispositif de traitement d'image radiographique et dispositif d'imagerie radiographique.
CN107861311A (zh) * 2017-10-10 2018-03-30 神画科技（深圳）有限公司 一种带监控装置的投影系统
US10345895B2 (en) 2017-11-07 2019-07-09 International Business Machines Corporation Hand and finger line grid for hand based interactions
EP3483780A1 (en) 2017-11-10 2019-05-15 Skidata Ag Classification and identification systems and methods
US10310281B1 (en) 2017-12-05 2019-06-04 K Laser Technology, Inc. Optical projector with off-axis diffractive element
US10545457B2 (en) 2017-12-05 2020-01-28 K Laser Technology, Inc. Optical projector with off-axis diffractive element and conjugate images
US10915782B2 (en) * 2017-12-14 2021-02-09 Pixart Imaging Inc. Image parameter calculating method, object tracking method, and image parameter calculating system
US10690533B2 (en) * 2017-12-29 2020-06-23 Symbol Technologies, Llc Illumination pattern system and methods for 3D-time of flight systems
US10250948B1 (en) 2018-01-05 2019-04-02 Aron Surefire, Llc Social media with optical narrowcasting
US10236986B1 (en) 2018-01-05 2019-03-19 Aron Surefire, Llc Systems and methods for tiling free space optical transmissions
US10317684B1 (en) 2018-01-24 2019-06-11 K Laser Technology, Inc. Optical projector with on axis hologram and multiple beam splitter
US10704904B2 (en) * 2018-03-20 2020-07-07 Pixart Imaging Inc. Distance detection device
WO2019191778A1 (en) * 2018-03-30 2019-10-03 The Regents Of The University Of California Photonic beam steering and applications for optical communications
US20190310374A1 (en) * 2018-04-05 2019-10-10 Wavefront Analysis, Inc. Machine vision method and system
FR3082037B1 (fr) 2018-06-05 2020-07-17 Proteor Procede pour produire une representation numerique pour fabriquer un appareil pour un corps vivant et dispositif correspondant
KR102513680B1 (ko) * 2018-06-08 2023-03-24 엘지이노텍 주식회사 카메라 모듈 및 그의 깊이 정보 추출 방법
US11422292B1 (en) 2018-06-10 2022-08-23 Apple Inc. Super-blazed diffractive optical elements with sub-wavelength structures
WO2019240010A1 (ja) 2018-06-11 2019-12-19 Ａｇｃ株式会社 回折光学素子、投影装置および計測装置
KR102546320B1 (ko) * 2018-06-18 2023-06-22 삼성전자주식회사 구조광 프로젝터 및 이를 포함하는 전자 장치
CA3106823A1 (en) 2018-07-19 2020-01-23 Activ Surgical, Inc. Systems and methods for multi-modal sensing of depth in vision systems for automated surgical robots
WO2020056722A1 (zh) * 2018-09-21 2020-03-26 深圳阜时科技有限公司 一种光源结构、光学投影模组、感测装置及设备
US11176694B2 (en) 2018-10-19 2021-11-16 Samsung Electronics Co., Ltd Method and apparatus for active depth sensing and calibration method thereof
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
CN109451106B (zh) * 2018-11-16 2020-06-12 Oppo广东移动通信有限公司 电子装置
CN109253696A (zh) * 2018-11-28 2019-01-22 信利光电股份有限公司 基于结构光测量物件尺寸的设备
WO2020149139A1 (ja) * 2019-01-16 2020-07-23 株式会社小糸製作所 イメージング装置、その演算処理装置、車両用灯具、車両、センシング方法
IL273248B2 (en) * 2019-03-19 2023-05-01 Continuse Biometrics Ltd System and method for optical monitoring based on symmetry conditions of the optical field
EP3952720A4 (en) 2019-04-08 2023-04-05 Activ Surgical, Inc. SYSTEMS AND METHODS FOR MEDICAL IMAGING
US10509128B1 (en) 2019-04-12 2019-12-17 K Laser Technology, Inc. Programmable pattern optical projector for depth detection
JP7403860B2 (ja) * 2019-04-17 2023-12-25 カーネギー メロン ユニバーシティ 三角測量ライトカーテンを使用したアジャイルな深度感知
US20200397239A1 (en) 2019-06-20 2020-12-24 Ethicon Llc Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11931009B2 (en) 2019-06-20 2024-03-19 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a hyperspectral imaging system
US11740448B2 (en) 2019-06-20 2023-08-29 Cilag Gmbh International Driving light emissions according to a jitter specification in a fluorescence imaging system
US11550057B2 (en) 2019-06-20 2023-01-10 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11903563B2 (en) 2019-06-20 2024-02-20 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
KR20220035971A (ko) 2019-07-26 2022-03-22 메탈렌츠 인코포레이티드 개구-메타 표면 및 하이브리드 굴절-메타 표면 이미징 시스템
CN114599263A (zh) 2019-08-21 2022-06-07 艾科缇弗外科公司 用于医疗成像的系统和方法
CN110360930A (zh) * 2019-08-29 2019-10-22 江苏集萃华科智能装备科技有限公司 一种激光位移法线传感器及其测量方法
US11681019B2 (en) 2019-09-18 2023-06-20 Apple Inc. Optical module with stray light baffle
TWI731414B (zh) * 2019-09-18 2021-06-21 正修學校財團法人正修科技大學 文物數位典藏及修復系統
US11506762B1 (en) 2019-09-24 2022-11-22 Apple Inc. Optical module comprising an optical waveguide with reference light path
US10890839B1 (en) * 2019-11-06 2021-01-12 Himax Technologies Limited Structured light imaging device
CN111650759A (zh) * 2019-12-31 2020-09-11 北京大学 近红外光斑投影的多焦距微透镜阵列遥感光场成像系统
CN111292421B (zh) * 2020-01-23 2022-08-05 深圳市易尚展示股份有限公司 复合编码的三维重建方法、装置、计算机设备和存储介质
US11477423B2 (en) * 2020-01-24 2022-10-18 Seiko Epson Corporation Method for controlling projector, projector, and display system
US11391563B2 (en) * 2020-02-06 2022-07-19 Purdue Research Foundation Ultra-sensitive speckle analyzing system
US11754767B1 (en) 2020-03-05 2023-09-12 Apple Inc. Display with overlaid waveguide
CN111540004B (zh) * 2020-04-16 2023-07-14 北京清微智能科技有限公司 单相机极线校正方法及装置
WO2021216528A1 (en) * 2020-04-21 2021-10-28 Magik Eye Inc. Diffractive optical element with collimator function
CN111721236B (zh) * 2020-05-24 2022-10-25 奥比中光科技集团股份有限公司 一种三维测量系统、方法及计算机设备
CN111536905B (zh) * 2020-06-03 2021-08-31 北京航空航天大学 一种基于参考图像的单目光栅结构光视觉测量方法及系统
CN112118438B (zh) * 2020-06-30 2022-04-05 中兴通讯股份有限公司 摄像系统、移动终端以及三维图像获取方法
US20220230335A1 (en) * 2021-01-20 2022-07-21 Nicolae Paul Teodorescu One-shot high-accuracy geometric modeling of three-dimensional scenes
CN113566734B (zh) * 2021-07-22 2023-08-29 四川川大智胜软件股份有限公司 一种基于同轴平移散斑投射器的高精度三维成像装置
US11927769B2 (en) 2022-03-31 2024-03-12 Metalenz, Inc. Polarization sorting metasurface microlens array device
TWI799345B (zh) * 2022-09-01 2023-04-11 國立清華大學 反射掃描式同調光繞射顯影方法及系統

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0329806A (ja) * 1989-06-28 1991-02-07 Furuno Electric Co Ltd 物体形状測定方法
JP2001506384A (ja) * 1996-12-15 2001-05-15 コグニテンス リミテッド ３次元表面形状再構築のための装置および方法
JP2001507133A (ja) * 1996-12-20 2001-05-29 ライフェフ／エックス・ネットワークス・インク 高速３ｄイメージパラメータ表示装置および方法
JP2002213931A (ja) * 2001-01-17 2002-07-31 Fuji Xerox Co Ltd ３次元形状計測装置および３次元形状計測方法
JP2002365023A (ja) * 2001-06-08 2002-12-18 Koji Okamoto 液面計測装置及び方法
WO2005010825A2 (en) * 2003-07-24 2005-02-03 Cognitens Ltd. Method and sytem for the three-dimensional surface reconstruction of an object
JP2007505313A (ja) * 2003-09-10 2007-03-08 シェアログラフィックス・エルエルシー タイヤ点検装置および方法

Family Cites Families (177)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2951207A1 (de) 1978-12-26 1980-07-10 Canon Kk Verfahren zur optischen herstellung einer streuplatte
US4542376A (en) 1983-11-03 1985-09-17 Burroughs Corporation System for electronically displaying portions of several different images on a CRT screen through respective prioritized viewports
JPH0762869B2 (ja) 1986-03-07 1995-07-05 日本電信電話株式会社 パタ−ン投影による位置形状計測方法
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
JPH0615968B2 (ja) 1986-08-11 1994-03-02 伍良 松本 立体形状測定装置
JPH0340591A (ja) 1989-07-06 1991-02-21 Katsuji Okino 立体像の撮影・表示方法及び装置
JPH0743683Y2 (ja) 1989-07-28 1995-10-09 日本電気株式会社 光ファイバの余長処理構造
US5075562A (en) 1990-09-20 1991-12-24 Eastman Kodak Company Method and apparatus for absolute Moire distance measurements using a grating printed on or attached to a surface
GB9116151D0 (en) 1991-07-26 1991-09-11 Isis Innovation Three-dimensional vision system
US5483261A (en) 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
DE69226512T2 (de) 1992-03-12 1999-04-22 Ibm Verfahren zur Bildverarbeitung
US5636025A (en) 1992-04-23 1997-06-03 Medar, Inc. System for optically measuring the surface contour of a part using more fringe techniques
US5856871A (en) 1993-08-18 1999-01-05 Applied Spectral Imaging Ltd. Film thickness mapping using interferometric spectral imaging
CN1174611A (zh) 1994-09-05 1998-02-25 米高技术有限公司 衍射表面及其制造方法
US6041140A (en) 1994-10-04 2000-03-21 Synthonics, Incorporated Apparatus for interactive image correlation for three dimensional image production
JPH08186845A (ja) 1994-12-27 1996-07-16 Nobuaki Yanagisawa 焦点距離制御式立体テレビ
US5630043A (en) 1995-05-11 1997-05-13 Cirrus Logic, Inc. Animated texture map apparatus and method for 3-D image displays
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
JPH11510248A (ja) 1995-07-18 1999-09-07 ザ バッド カンパニー 像の深度が拡張されたモアレ干渉測定のシステム及び方法
JPH09261535A (ja) 1996-03-25 1997-10-03 Sharp Corp 撮像装置
US5614948A (en) 1996-04-26 1997-03-25 Intel Corporation Camera having an adaptive gain control
DE19638727A1 (de) 1996-09-12 1998-03-19 Ruedger Dipl Ing Rubbert Verfahren zur Erhöhung der Signifikanz der dreidimensionalen Vermessung von Objekten
JP3402138B2 (ja) 1996-09-27 2003-04-28 株式会社日立製作所 液晶表示装置
IL119341A (en) 1996-10-02 1999-09-22 Univ Ramot Phase-only filter for generating an arbitrary illumination pattern
US5838428A (en) 1997-02-28 1998-11-17 United States Of America As Represented By The Secretary Of The Navy System and method for high resolution range imaging with split light source and pattern mask
JPH10327433A (ja) 1997-05-23 1998-12-08 Minolta Co Ltd 合成画像の表示装置
US6008813A (en) 1997-08-01 1999-12-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Real-time PC based volume rendering system
DE19736169A1 (de) 1997-08-20 1999-04-15 Fhu Hochschule Fuer Technik Verfahren zur Verformungs- oder Schwingungsmessung mittels elektronischer Speckle-Pattern-Interferometrie
US6101269A (en) 1997-12-19 2000-08-08 Lifef/X Networks, Inc. Apparatus and method for rapid 3D image parametrization
US6438272B1 (en) 1997-12-31 2002-08-20 The Research Foundation Of State University Of Ny Method and apparatus for three dimensional surface contouring using a digital video projection system
DE19815201A1 (de) 1998-04-04 1999-10-07 Link Johann & Ernst Gmbh & Co Meßanordnung zur Erfassung von Dimensionen von Prüflingen, vorzugsweise von Hohlkörpern, insbesondere von Bohrungen in Werkstücken, sowie Verfahren zur Messung solcher Dimensionen
US6750906B1 (en) 1998-05-08 2004-06-15 Cirrus Logic, Inc. Histogram-based automatic gain control method and system for video applications
US6731391B1 (en) 1998-05-13 2004-05-04 The Research Foundation Of State University Of New York Shadow moire surface measurement using Talbot effect
DE19821611A1 (de) 1998-05-14 1999-11-18 Syrinx Med Tech Gmbh Verfahren zur Erfassung der räumlichen Struktur einer dreidimensionalen Oberfläche
GB2352901A (en) 1999-05-12 2001-02-07 Tricorder Technology Plc Rendering three dimensional representations utilising projected light patterns
US6377700B1 (en) 1998-06-30 2002-04-23 Intel Corporation Method and apparatus for capturing stereoscopic images using image sensors
US5986758A (en) * 1998-08-18 1999-11-16 The United States Of America As Represented By The Secretary Of The Air Force Diffractive optic image spectrometer (DOIS)
JP3678022B2 (ja) 1998-10-23 2005-08-03 コニカミノルタセンシング株式会社 ３次元入力装置
US6084712A (en) 1998-11-03 2000-07-04 Dynamic Measurement And Inspection,Llc Three dimensional imaging using a refractive optic design
US8965898B2 (en) 1998-11-20 2015-02-24 Intheplay, Inc. Optimizations for live event, real-time, 3D object tracking
US6759646B1 (en) 1998-11-24 2004-07-06 Intel Corporation Color interpolation for a four color mosaic pattern
JP2001166810A (ja) 1999-02-19 2001-06-22 Sanyo Electric Co Ltd 立体モデル提供装置及び方法
US6259561B1 (en) 1999-03-26 2001-07-10 The University Of Rochester Optical system for diffusing light
US6751344B1 (en) 1999-05-28 2004-06-15 Champion Orthotic Investments, Inc. Enhanced projector system for machine vision
US6512385B1 (en) * 1999-07-26 2003-01-28 Paul Pfaff Method for testing a device under test including the interference of two beams
US6268923B1 (en) 1999-10-07 2001-07-31 Integral Vision, Inc. Optical method and system for measuring three-dimensional surface topography of an object having a surface contour
JP2001141430A (ja) 1999-11-16 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
LT4842B (lt) 1999-12-10 2001-09-25 Uab "Geola" Hologramų spausdinimo būdas ir įrenginys
US6301059B1 (en) 2000-01-07 2001-10-09 Lucent Technologies Inc. Astigmatic compensation for an anamorphic optical system
US6700669B1 (en) 2000-01-28 2004-03-02 Zheng J. Geng Method and system for three-dimensional imaging using light pattern having multiple sub-patterns
US6937348B2 (en) 2000-01-28 2005-08-30 Genex Technologies, Inc. Method and apparatus for generating structural pattern illumination
JP4560869B2 (ja) 2000-02-07 2010-10-13 ソニー株式会社 メガネなし表示システムおよびバックライトシステム
JP4265076B2 (ja) 2000-03-31 2009-05-20 沖電気工業株式会社 多画角カメラ、及び自動撮影装置
KR100355718B1 (ko) 2000-06-10 2002-10-11 주식회사 메디슨 스티어링이 가능한 프로브를 사용한 3차원 초음파 영상시스템 및 영상 형성 방법
US6810135B1 (en) 2000-06-29 2004-10-26 Trw Inc. Optimized human presence detection through elimination of background interference
TW527518B (en) 2000-07-14 2003-04-11 Massachusetts Inst Technology Method and system for high resolution, ultra fast, 3-D imaging
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6686921B1 (en) 2000-08-01 2004-02-03 International Business Machines Corporation Method and apparatus for acquiring a set of consistent image maps to represent the color of the surface of an object
US6754370B1 (en) 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
US6639684B1 (en) 2000-09-13 2003-10-28 Nextengine, Inc. Digitizer using intensity gradient to image features of three-dimensional objects
US6813440B1 (en) 2000-10-10 2004-11-02 The Hong Kong Polytechnic University Body scanner
JP3689720B2 (ja) 2000-10-16 2005-08-31 住友大阪セメント株式会社 三次元形状測定装置
JP2002152776A (ja) 2000-11-09 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> 距離画像符号化方法及び装置、並びに、距離画像復号化方法及び装置
JP2002191058A (ja) 2000-12-20 2002-07-05 Olympus Optical Co Ltd ３次元画像取得装置および３次元画像取得方法
US6841780B2 (en) 2001-01-19 2005-01-11 Honeywell International Inc. Method and apparatus for detecting objects
US6825985B2 (en) 2001-07-13 2004-11-30 Mems Optical, Inc. Autostereoscopic display with rotated microlens and method of displaying multidimensional images, especially color images
US6741251B2 (en) 2001-08-16 2004-05-25 Hewlett-Packard Development Company, L.P. Method and apparatus for varying focus in a scene
US7340077B2 (en) 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7369685B2 (en) 2002-04-05 2008-05-06 Identix Corporation Vision-based operating method and system
US7811825B2 (en) 2002-04-19 2010-10-12 University Of Washington System and method for processing specimens and images for optical tomography
US7385708B2 (en) 2002-06-07 2008-06-10 The University Of North Carolina At Chapel Hill Methods and systems for laser based real-time structured light depth extraction
US7006709B2 (en) 2002-06-15 2006-02-28 Microsoft Corporation System and method deghosting mosaics using multiperspective plane sweep
US20040001145A1 (en) 2002-06-27 2004-01-01 Abbate Jeffrey A. Method and apparatus for multifield image generation and processing
US6859326B2 (en) 2002-09-20 2005-02-22 Corning Incorporated Random microlens array for optical beam shaping and homogenization
KR100624405B1 (ko) 2002-10-01 2006-09-18 삼성전자주식회사 광부품 실장용 기판 및 그 제조방법
US7194105B2 (en) 2002-10-16 2007-03-20 Hersch Roger D Authentication of documents and articles by moiré patterns
WO2004046645A2 (en) 2002-11-21 2004-06-03 Solvision Fast 3d height measurement method and system
US7103212B2 (en) 2002-11-22 2006-09-05 Strider Labs, Inc. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
US20040174770A1 (en) 2002-11-27 2004-09-09 Rees Frank L. Gauss-Rees parametric ultrawideband system
US7639419B2 (en) 2003-02-21 2009-12-29 Kla-Tencor Technologies, Inc. Inspection system using small catadioptric objective
US7127101B2 (en) 2003-03-10 2006-10-24 Cranul Technologies, Inc. Automatic selection of cranial remodeling device trim lines
US20040213463A1 (en) 2003-04-22 2004-10-28 Morrison Rick Lee Multiplexed, spatially encoded illumination system for determining imaging and range estimation
US7539340B2 (en) 2003-04-25 2009-05-26 Topcon Corporation Apparatus and method for three-dimensional coordinate measurement
CA2435935A1 (en) 2003-07-24 2005-01-24 Guylain Lemelin Optical 3d digitizer with enlarged non-ambiguity zone
US20050111705A1 (en) 2003-08-26 2005-05-26 Roman Waupotitsch Passive stereo sensing for 3D facial shape biometrics
US7187437B2 (en) 2003-09-10 2007-03-06 Shearographics, Llc Plurality of light sources for inspection apparatus and method
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7112774B2 (en) 2003-10-09 2006-09-26 Avago Technologies Sensor Ip (Singapore) Pte. Ltd CMOS stereo imaging system and method
US7250949B2 (en) 2003-12-23 2007-07-31 General Electric Company Method and system for visualizing three-dimensional data
US20050135555A1 (en) 2003-12-23 2005-06-23 Claus Bernhard Erich H. Method and system for simultaneously viewing rendered volumes
US8134637B2 (en) 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
WO2005076198A1 (en) 2004-02-09 2005-08-18 Cheol-Gwon Kang Device for measuring 3d shape using irregular pattern and method for the same
US7427981B2 (en) 2004-04-15 2008-09-23 Avago Technologies General Ip (Singapore) Pte. Ltd. Optical device that measures distance between the device and a surface
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7042575B2 (en) * 2004-05-21 2006-05-09 Silicon Light Machines Corporation Speckle sizing and sensor dimensions in optical positioning device
US7773070B2 (en) * 2004-05-21 2010-08-10 Cypress Semiconductor Corporation Optical positioning device using telecentric imaging
JP2008507719A (ja) 2004-07-23 2008-03-13 ジーイー・ヘルスケア・ナイアガラ・インク 共焦点蛍光顕微鏡法及び装置
US20060017656A1 (en) 2004-07-26 2006-01-26 Visteon Global Technologies, Inc. Image intensity control in overland night vision systems
KR101183000B1 (ko) 2004-07-30 2012-09-18 익스트림 리얼리티 엘티디. 이미지 프로세싱을 기반으로 한 3ｄ 공간 차원용 시스템 및방법
US7120228B2 (en) 2004-09-21 2006-10-10 Jordan Valley Applied Radiation Ltd. Combined X-ray reflectometer and diffractometer
JP2006128818A (ja) 2004-10-26 2006-05-18 Victor Co Of Japan Ltd 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア
IL165212A (en) 2004-11-15 2012-05-31 Elbit Systems Electro Optics Elop Ltd Device for scanning light
US7076024B2 (en) 2004-12-01 2006-07-11 Jordan Valley Applied Radiation, Ltd. X-ray apparatus with dual monochromators
US20060156756A1 (en) 2005-01-20 2006-07-20 Becke Paul E Phase change and insulating properties container and method of use
US20060221218A1 (en) 2005-04-05 2006-10-05 Doron Adler Image sensor with improved color filter
EP1875162B1 (en) 2005-04-06 2014-06-11 Dimensional Photonics International, Inc. Determining positional error of an optical component using structured light patterns
US7560679B1 (en) 2005-05-10 2009-07-14 Siimpel, Inc. 3D camera
US7609875B2 (en) 2005-05-27 2009-10-27 Orametrix, Inc. Scanner system and method for mapping surface of three-dimensional object
JP5001286B2 (ja) * 2005-10-11 2012-08-15 プライム センス リミティド 対象物再構成方法およびシステム
US9330324B2 (en) 2005-10-11 2016-05-03 Apple Inc. Error compensation in three-dimensional mapping
US20110096182A1 (en) 2009-10-25 2011-04-28 Prime Sense Ltd Error Compensation in Three-Dimensional Mapping
US8018579B1 (en) 2005-10-21 2011-09-13 Apple Inc. Three-dimensional imaging and display system
US20070133840A1 (en) 2005-11-04 2007-06-14 Clean Earth Technologies, Llc Tracking Using An Elastic Cluster of Trackers
US7856125B2 (en) 2006-01-31 2010-12-21 University Of Southern California 3D face reconstruction from 2D images
JP4917615B2 (ja) 2006-02-27 2012-04-18 プライム センス リミティド スペックルの無相関を使用した距離マッピング（ｒａｎｇｅｍａｐｐｉｎｇ）
CN101496033B (zh) 2006-03-14 2012-03-21 普莱姆森斯有限公司 利用散斑图案的三维传感
KR101408959B1 (ko) 2006-03-14 2014-07-02 프라임센스 엘티디. 삼차원 감지를 위한 깊이 가변 광 필드
EP1994503B1 (en) 2006-03-14 2017-07-05 Apple Inc. Depth-varying light fields for three dimensional sensing
US7869649B2 (en) 2006-05-08 2011-01-11 Panasonic Corporation Image processing device, image processing method, program, storage medium and integrated circuit
US8488895B2 (en) 2006-05-31 2013-07-16 Indiana University Research And Technology Corp. Laser scanning digital camera with pupil periphery illumination and potential for multiply scattered light imaging
US8139142B2 (en) 2006-06-01 2012-03-20 Microsoft Corporation Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
EP2050067A1 (en) 2006-08-03 2009-04-22 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
WO2008020449A2 (en) * 2006-08-16 2008-02-21 Xceed Imaging Ltd. Method and system for imaging with a zoom
US7737394B2 (en) 2006-08-31 2010-06-15 Micron Technology, Inc. Ambient infrared detection in solid state sensors
US8326025B2 (en) 2006-09-04 2012-12-04 Koninklijke Philips Electronics N.V. Method for determining a depth map from images, device for determining a depth map
US7256899B1 (en) 2006-10-04 2007-08-14 Ivan Faul Wireless methods and systems for three-dimensional non-contact shape sensing
WO2008061259A2 (en) 2006-11-17 2008-05-22 Celloptic, Inc. System, apparatus and method for extracting three-dimensional information of an object from received electromagnetic radiation
US8090194B2 (en) 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
US7990545B2 (en) 2006-12-27 2011-08-02 Cambridge Research & Instrumentation, Inc. Surface measurement of in-vivo subjects using spot projector
US7840031B2 (en) 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
US8350847B2 (en) 2007-01-21 2013-01-08 Primesense Ltd Depth mapping using multi-beam illumination
US20080212835A1 (en) 2007-03-01 2008-09-04 Amon Tavor Object Tracking by 3-Dimensional Modeling
US8150142B2 (en) 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
TWI433052B (zh) 2007-04-02 2014-04-01 Primesense Ltd 使用投影圖案之深度製圖
CA2627999C (en) 2007-04-03 2011-11-15 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
WO2008133959A1 (en) 2007-04-23 2008-11-06 California Institute Of Technology Single-lens 3-d imaging device using a polarization-coded aperture maks combined with a polarization-sensitive sensor
US7835561B2 (en) 2007-05-18 2010-11-16 Visiongate, Inc. Method for image processing and reconstruction of images for optical tomography
WO2008155770A2 (en) 2007-06-19 2008-12-24 Prime Sense Ltd. Distance-varying illumination and imaging techniques for depth mapping
WO2009008864A1 (en) 2007-07-12 2009-01-15 Thomson Licensing System and method for three-dimensional object reconstruction from two-dimensional images
JP4412362B2 (ja) 2007-07-18 2010-02-10 船井電機株式会社 複眼撮像装置
US20090060307A1 (en) 2007-08-27 2009-03-05 Siemens Medical Solutions Usa, Inc. Tensor Voting System and Method
DE102007045332B4 (de) 2007-09-17 2019-01-17 Seereal Technologies S.A. Holographisches Display zum Rekonstruieren einer Szene
KR100858034B1 (ko) 2007-10-18 2008-09-10 (주)실리콘화일 단일 칩 활력 이미지 센서
US8166421B2 (en) 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8176497B2 (en) 2008-01-16 2012-05-08 Dell Products, Lp Method to dynamically provision additional computer resources to handle peak database workloads
CN101984767B (zh) 2008-01-21 2014-01-29 普莱姆森斯有限公司 用于使零级减少的光学设计
US8384997B2 (en) 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
DE102008011350A1 (de) 2008-02-27 2009-09-03 Loeffler Technology Gmbh Vorrichtung und Verfahren zur Echtzeiterfassung von elektromagnetischer THz-Strahlung
US8121351B2 (en) 2008-03-09 2012-02-21 Microsoft International Holdings B.V. Identification of objects in a 3D video using non/over reflective clothing
US8035806B2 (en) 2008-05-13 2011-10-11 Samsung Electronics Co., Ltd. Distance measuring sensor including double transfer gate and three dimensional color image sensor including the distance measuring sensor
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
US8462207B2 (en) 2009-02-12 2013-06-11 Primesense Ltd. Depth ranging with Moiré patterns
US8786682B2 (en) 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
US8717417B2 (en) 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
EP2275990B1 (de) 2009-07-06 2012-09-26 Sick Ag 3D-Sensor
US9582889B2 (en) 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
WO2011031538A2 (en) 2009-08-27 2011-03-17 California Institute Of Technology Accurate 3d object reconstruction using a handheld device with a projected light pattern
US8830227B2 (en) 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control
US8320621B2 (en) 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US20110187878A1 (en) 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
US20110188054A1 (en) 2010-02-02 2011-08-04 Primesense Ltd Integrated photonics module for optical projection
US8982182B2 (en) 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
US20120044320A1 (en) * 2010-03-11 2012-02-23 Trex Enterprises Corp. High resolution 3-D holographic camera
US8330804B2 (en) 2010-05-12 2012-12-11 Microsoft Corporation Scanned-beam depth mapping to 2D image
US8654152B2 (en) 2010-06-21 2014-02-18 Microsoft Corporation Compartmentalizing focus area within field of view
US9036158B2 (en) * 2010-08-11 2015-05-19 Apple Inc. Pattern projector
US9098931B2 (en) * 2010-08-11 2015-08-04 Apple Inc. Scanning projectors and image capture modules for 3D mapping
US9066087B2 (en) * 2010-11-19 2015-06-23 Apple Inc. Depth mapping using time-coded illumination
US9167138B2 (en) * 2010-12-06 2015-10-20 Apple Inc. Pattern projection and imaging using lens arrays
US8682932B2 (en) * 2012-02-16 2014-03-25 Oracle International Corporation Mechanisms for searching enterprise data graphs
US8484208B1 (en) * 2012-02-16 2013-07-09 Oracle International Corporation Displaying results of keyword search over enterprise data
US9846960B2 (en) * 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
US9964402B2 (en) * 2015-04-24 2018-05-08 Faro Technologies, Inc. Two-camera triangulation scanner with detachable coupling mechanism
US10574947B2 (en) * 2016-07-15 2020-02-25 Qualcomm Incorporated Object reconstruction in disparity maps using displaced shadow outlines

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0329806A (ja) * 1989-06-28 1991-02-07 Furuno Electric Co Ltd 物体形状測定方法
JP2001506384A (ja) * 1996-12-15 2001-05-15 コグニテンス リミテッド ３次元表面形状再構築のための装置および方法
JP2001507133A (ja) * 1996-12-20 2001-05-29 ライフェフ／エックス・ネットワークス・インク 高速３ｄイメージパラメータ表示装置および方法
JP2002213931A (ja) * 2001-01-17 2002-07-31 Fuji Xerox Co Ltd ３次元形状計測装置および３次元形状計測方法
JP2002365023A (ja) * 2001-06-08 2002-12-18 Koji Okamoto 液面計測装置及び方法
WO2005010825A2 (en) * 2003-07-24 2005-02-03 Cognitens Ltd. Method and sytem for the three-dimensional surface reconstruction of an object
JP2006528770A (ja) * 2003-07-24 2006-12-21 コグニテンス リミテッド 対象物の３次元表面再構築の方法およびシステム
JP2007505313A (ja) * 2003-09-10 2007-03-08 シェアログラフィックス・エルエルシー タイヤ点検装置および方法

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012147702A1 (ja) * 2011-04-28 2012-11-01 シャープ株式会社 ヘッドマウントディスプレイ
US9024872B2 (en) 2011-04-28 2015-05-05 Sharp Kabushiki Kaisha Head-mounted display
JP2014518710A (ja) * 2011-05-16 2014-08-07 ユニヴェルシテ・リーブル・ドゥ・ブリュクセル 内視鏡検査における可視化と三次元復元のための装置
JP2014528569A (ja) * 2012-03-12 2014-10-27 株式会社積水インテグレーテッドリサーチ 三次元形状測定装置
WO2014171418A1 (ja) 2013-04-19 2014-10-23 凸版印刷株式会社 ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
US9704255B2 (en) 2013-04-19 2017-07-11 Toppan Printing Co., Ltd. Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program
WO2015068470A1 (ja) 2013-11-06 2015-05-14 凸版印刷株式会社 ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
US10347029B2 (en) 2013-11-06 2019-07-09 Toppan Printing Co., Ltd. Apparatus for measuring three dimensional shape, method for measuring three dimensional shape and three dimensional shape measurement program
JP2016007336A (ja) * 2014-06-24 2016-01-18 オリンパス株式会社 内視鏡装置
JP2016007335A (ja) * 2014-06-24 2016-01-18 オリンパス株式会社 内視鏡装置
JP2016031535A (ja) * 2014-07-28 2016-03-07 オーボテック リミテッド オートフォーカスシステム、距離測定システム、オートフォーカス方法及びオートフォーカスシステム較正方法
US10114452B2 (en) 2015-03-11 2018-10-30 Panasonic Intellectual Property Management Co., Ltd. Motion detection system
US11016613B2 (en) 2016-01-13 2021-05-25 Seiko Epson Corporation Image recognition device, image recognition method and image recognition unit
US10775936B2 (en) 2016-01-13 2020-09-15 Seiko Epson Corporation Image recognition device, image recognition method and image recognition unit
US10769401B2 (en) 2016-01-14 2020-09-08 Seiko Epson Corporation Image recognition device, image recognition method and image recognition unit
US10664104B2 (en) 2016-03-30 2020-05-26 Seiko Epson Corporation Image recognition device, image recognition method, and image recognition unit
CN107085343A (zh) * 2017-03-10 2017-08-22 深圳奥比中光科技有限公司 结构光投影装置及深度相机
CN107085343B (zh) * 2017-03-10 2019-07-12 深圳奥比中光科技有限公司 结构光投影装置及深度相机
JP2018180177A (ja) * 2017-04-10 2018-11-15 浜松ホトニクス株式会社 擬似スペックルパターン生成装置、擬似スペックルパターン生成方法、観察装置および観察方法
JP2018180178A (ja) * 2017-04-10 2018-11-15 浜松ホトニクス株式会社 擬似スペックルパターン生成装置、擬似スペックルパターン生成方法、観察装置および観察方法
WO2018190112A1 (ja) * 2017-04-10 2018-10-18 浜松ホトニクス株式会社 擬似スペックルパターン生成装置、擬似スペックルパターン生成方法、観察装置および観察方法
WO2018190111A1 (ja) * 2017-04-10 2018-10-18 浜松ホトニクス株式会社 擬似スペックルパターン生成装置、擬似スペックルパターン生成方法、観察装置および観察方法
US11300800B2 (en) 2017-04-10 2022-04-12 Hamamatsu Photonics K.K. Pseudo speckle pattern generation device, pseudo speckle pattern generation method, observation device, and observation method
US11567732B2 (en) 2017-04-10 2023-01-31 Hamamatsu Photonics K.K. Pseudo speckle pattern generation device, pseudo speckle pattern generation method, observation device, and observation method
EP3492861A1 (en) 2017-12-01 2019-06-05 Omron Corporation Image processing system and image processing method
US11118901B2 (en) 2017-12-01 2021-09-14 Omron Corporation Image processing system and image processing method
EP3506204A1 (en) 2017-12-27 2019-07-03 Omron Corporation Image processing apparatus, image processing system, and program therefor
US10697765B2 (en) 2017-12-27 2020-06-30 Omron Corporation Image processing apparatus, image processing system, and program therefor

Also Published As

Publication number Publication date
US9704249B2 (en) 2017-07-11
WO2007043036A1 (en) 2007-04-19
EP1934945A1 (en) 2008-06-25
CN101288105A (zh) 2008-10-15
US20170004623A1 (en) 2017-01-05
US8400494B2 (en) 2013-03-19
US10340280B2 (en) 2019-07-02
US20100177164A1 (en) 2010-07-15
US10608002B2 (en) 2020-03-31
KR101264955B1 (ko) 2013-05-15
JP5001286B2 (ja) 2012-08-15
US9066084B2 (en) 2015-06-23
US9437006B2 (en) 2016-09-06
CN101288105B (zh) 2016-05-25
US20130155195A1 (en) 2013-06-20
KR20080056721A (ko) 2008-06-23
EP1934945A4 (en) 2016-01-20
US20150287205A1 (en) 2015-10-08
US20190319036A1 (en) 2019-10-17
US20170287923A1 (en) 2017-10-05

Similar Documents

Publication Publication Date Title
JP5001286B2 (ja) 対象物再構成方法およびシステム
JP5592070B2 (ja) 三次元検知のために深度変化させる光照射野
Ma et al. Numerical reconstruction of digital holograms for three-dimensional shape measurement
JP2009511897A5 (ja)
US6868194B2 (en) Method for the extraction of image features caused by structure light using image reconstruction
KR20090006825A (ko) 삼차원 감지를 위한 깊이 가변 광 필드
EP2719160A2 (en) Dual-resolution 3d scanner
JP4771797B2 (ja) 距離計測装置及び距離計測方法
JP3965894B2 (ja) 画像処理装置および画像処理方法
EP3918405A1 (en) System and method for imaging via scattering medium
KR102129069B1 (ko) 스캐닝 홀로그램 기반 자동광학검사 장치 및 방법
KR102578312B1 (ko) 홀로그램 기반 대상체 3차원 계측 장치 및 방법
LY et al. i (75) Inventors/Applicants (/or US only): ZALEVSKY, Zeev GN, GQ, GW, ML, MR, NE, SN, TD, TGl
KR102499494B1 (ko) 서로 다른 파장을 갖는 레이저 광원을 이용하여 3차원 영상을 재구성하기 위한 회절 격자 이미징 시스템
JP6460944B2 (ja) 被測定物の位置姿勢測定方法
JP7279882B2 (ja) 画像計測システム、画像計測方法、画像計測プログラムおよび記録媒体
EP3504524B1 (en) Optical detection of vibrations
JP2007199089A (ja) 表面検査装置
CN116320355A (zh) 散射成像系统和散射成像方法
US20150264254A1 (en) Characterization of a physical item
JP2024043331A (ja) 光学検査プログラム、光学検査システム、光学検査システムのための処理装置、及び、光学検査方法
JP2005309991A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090203

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110705

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120309

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120417

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120517

R150 Certificate of patent or registration of utility model

Ref document number: 5001286

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150525

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250