JP2009528514A - スペックルの無相関を使用した距離マッピング(rangemapping) - Google Patents

スペックルの無相関を使用した距離マッピング(rangemapping) Download PDF

Info

Publication number
JP2009528514A
JP2009528514A JP2008555949A JP2008555949A JP2009528514A JP 2009528514 A JP2009528514 A JP 2009528514A JP 2008555949 A JP2008555949 A JP 2008555949A JP 2008555949 A JP2008555949 A JP 2008555949A JP 2009528514 A JP2009528514 A JP 2009528514A
Authority
JP
Japan
Prior art keywords
speckle pattern
image
primary speckle
reference image
target area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008555949A
Other languages
English (en)
Other versions
JP4917615B2 (ja
Inventor
ガルシア,ハビエル
ザレフスキ,ジーブ
Original Assignee
プライム センス リミティド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by プライム センス リミティド filed Critical プライム センス リミティド
Publication of JP2009528514A publication Critical patent/JP2009528514A/ja
Application granted granted Critical
Publication of JP4917615B2 publication Critical patent/JP4917615B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Position Input By Displaying (AREA)

Abstract

マッピング法は、照明アセンブリ(30)からの一次スペックルパターンをターゲット領域(46)内に投射する段階を含んでいる。ターゲット領域内において照明アセンブリからの異なる個々の距離において一次スペックルパターンの複数の基準画像をキャプチャしている。一次スペックルパターンが試験画像内の一次スペックルパターンと最も密接にマッチングしている基準画像を識別するべく、ターゲット領域内において物体(28)の表面上に投射された一次スペックルパターンの試験画像をキャプチャし、基準画像と比較している。照明アセンブリからの識別された基準画像の距離に基づいて物体の位置を推定している。
【選択図】図1

Description

本発明は、一般に、三次元(3D)物体をマッピングする方法及びシステムに関するものであり、更に詳しくは、スペックルパターンを使用した光学測距に関するものである。
コヒーレントな光ビームが拡散器を通過して表面上に投射された際には、表面上に一次スペックルパターンが観察可能である。一次スペックルは、拡散ビームの異なる成分の間における干渉によって発生する。尚、この「一次スペックル」という用語は、本特許出願及び請求項においては、物体の粗い表面からのコヒーレント光の拡散反射によって発生する二次スペックルと区別する意味において使用されている。
ハート(Hart)は、中華民国特許第527528号(TW527528B)及び米国特許出願第09/616,606号(US09/616,606)において高速3D撮像システムにおけるスペックルパターンの使用法について記述しており、この開示内容は、本引用により、本明細書に包含される。スペックルパターンを物体上に投射し、この結果得られたパターンの画像を複数の角度から取得している。これらの画像を画像相関法を使用して局所的に相互相関させ、且つ、相対的なカメラの位置情報を使用して表面を解像することにより、それぞれの局所相関領域の三次元座標を算出している。
別のスペックルに基づいた3D撮像法は、ハンター(Hunter)他によって米国特許第6,101,269号(US6,101,269)に記述されており、この開示内容は、本引用により、本明細書に包含される。ランダムスペックルパターンを3D表面上に投射し、これを複数のカメラによって撮像することにより、複数の二次元デジタル画像を取得している。これらの二次元画像を処理して表面の三次元の特徴を取得している。
当技術分野において既知のスペックルに基づいた3Dマッピング法は、一般に、物体上に投射されたスペックルパターンの画像と基準表面上の同一のスペックルパターンの画像の間における相互相関の演算に基づいている。局所的な相互相関のピークの位置が、基準表面に対する物体表面上の地点の変位を示している。従って、これらの方法は、スペックルパターンが、照明源から一定範囲の距離にわたって相対的に不変であることを必要としており、従って、これらの方法は、十分に強力な相互相関のピークを検出可能であるこの範囲内においてのみ、有効な3Dマッピング能力を有することができる。
一方、本発明の実施例は、供給源からの距離との間におけるスペックルパターンの無相関を使用することにより、測距を実行している。スペックルパターンの基準画像を基準表面上において照明源からの異なる距離の範囲においてキャプチャしている。次いで、物体上のスペックルパターンと最も強力に相関している基準パターンを識別するべく、且つ、従って、その範囲内における物体の位置を推定するべく、物体上に投射されたスペックルパターンの画像を様々な基準画像と比較している。次いで、必要に応じて、物体上のスペックルパターンと識別された基準パターンの間の局所的な相互相関を使用することにより、物体表面の正確な3Dマッピングを実行している。
従って、本発明の一実施例によれば、マッピング法が提供されており、この方法は、照明アセンブリからの一次スペックルパターンをターゲット領域内に投射する段階と、ターゲット領域内において照明アセンブリからの異なる個々の距離において一次スペックルパターンの複数の基準画像をキャプチャする段階と、ターゲット領域内において物体の表面上に投射された一次スペックルパターンの試験画像をキャプチャする段階と、一次スペックルパターンが試験画像内の一次スペックルパターンに最も密接にマッチングしている基準画像を識別するべく、試験画像を基準画像と比較する段階と、照明アセンブリからの識別された基準画像の距離に基づいて物体の位置を推定する段階と、を含んでいる。
開示されている一実施例においては、本方法は、物体の三次元(3D)マップを導出するべく、試験画像内の物体の複数のエリア上の一次スペックルパターンと識別された基準画像内の一次スペックルパターンの間の個々のオフセットを見出す段階を含んでいる。
通常、照明アセンブリからの異なる個々の距離の少なくともいくつかは、個々の距離において一次スペックルパターンの軸方向の長さを上回る距離だけ軸方向において離隔している。
いくつかの実施例においては、試験画像を基準画像と比較する段階は、試験画像と、基準画像の少なくともいくつかの画像のそれぞれとの間における個々の相互相関を演算する段階と、試験画像との個々の相互相関において最大の相互相関を具備する基準画像を選択する段階と、を含んでいる。
開示されている一実施例においては、試験画像をキャプチャする段階は、物体が移動する際に一連の試験画像をキャプチャする段階を含んでおり、物体の位置を推定する段階は、ターゲット領域内の物体の移動を追跡する段階を含んでおり、この場合に、物体は、人体の一部であり、且つ、この場合に、移動を追跡する段階は、人体の一部によって実行されたジェスチャを識別する段階と、このジェスチャーに応答してコンピュータアプリケーションに対して入力を提供する段階を含んでいる。
又、本発明の一実施例によれば、マッピング装置が提供されており、この装置は、一次スペックルパターンをターゲット領域内に投射するべく構成された照明アセンブリと、ターゲット領域内において照明アセンブリから異なる個々の距離において一次スペックルパターンの複数の基準画像をキャプチャすると共に、ターゲット領域内において物体の表面上に投射された一次スペックルパターンの試験画像をキャプチャするべく構成された撮像アセンブリと、一次スペックルパターンが試験領域内の一次スペックルパターンと最も密接にマッチングしている基準画像を識別するために試験画像を基準画像と比較すると共に、照明アセンブリからの識別された基準画像の距離に基づいて物体の位置を推定するべく結合されている画像プロセッサと、を含んでいる。
本発明の一実施例によれば、プログラム命令が保存されているコンピュータ可読媒体を含むコンピュータソフトウェアプロダクトが更に提供されており、これらの命令は、コンピュータによって判読された際に、照明アセンブリによってターゲット領域内に投射された一次スペックルパターンの複数の基準画像を受け取る段階であって、この場合に、基準画像は、ターゲット領域内において照明アセンブリからの異なる個々の距離においてキャプチャされている、受取段階と、ターゲット領域内において物体の表面上に投射された一次スペックルパターンの試験画像を受け取る段階と、一次スペックルパターンが試験画像内の一次スペックルパターンと最も密接にマッチングする基準画像を識別するべく試験画像を基準画像と比較する段階と、照明アセンブリからの識別された基準画像の距離に基づいて物体の位置を推定する段階と、をコンピュータに実行させている。
本発明については、添付の図面との関連において、その実施例に関する以下の詳細な説明を参照することにより、更に十分に理解することができよう。
図1は、本発明の一実施例による3D測距及びマッピングシステム20を絵で示した概略図である。システム20は、スペックル撮像装置22を有しており、これは、一次スペックルパターンを生成して物体28上に投射すると共に、物体上に出現した一次スペックルパターンの画像をキャプチャしている。装置22の設計及び動作の詳細については、以下の図面に示されており、これらの図面を参照して後述することとする。システム20の理論及び動作のその他の側面については、本特許出願の譲受人に譲渡された2006年3月14日付けで出願された国際特許出願第IL2006/000335号(PCT/IL2006/000335)に記述されており、この開示内容は、本引用により、本明細書に包含される。
画像プロセッサ24は、物体28の位置を判定すると共に、物体の3D測距及びマッピングを実行するべく、装置22によって生成された画像データを処理している。尚、本特許出願及び請求項において使用されている「3D測距」という用語は、3D座標フレーム内において所与の座標の原点から物体の位置までの距離を測定又は推定することを意味している。「3Dマップ」という用語は、物体の表面を表す3D座標の組を意味している。画像データに基づいたこのようなマップの導出を「3D再構築」と呼ぶことも可能である。
物体の位置を判定すると共に、このような再構築を実行している画像プロセッサ24は、汎用コンピュータプロセッサから構成可能であり、これは、後述する機能を実行するべくソフトウェアにおいてプログラムされている。このソフトウェアは、例えば、ネットワーク上において電子的な形態でプロセッサ24にダウンロード可能であり、或いは、この代わりに、光学的、磁気的、又は電子的なメモリ媒体などの実体のある媒体上において提供することも可能である。或いは、この代わりに、又は、これに加えて、画像プロセッサの機能のいくつか又はすべてをカスタム又はセミカスタム集積回路又はプログラム可能なデジタル信号プロセッサ(DSP)などの専用のハードウェアにおいて実装することも可能である。尚、図1には、プロセッサ24が、一例として、撮像装置22とは別個のユニットとして示されているが、プロセッサ24の処理機能のいくつか又はすべては、撮像装置のハウジング内又はさもなければ撮像装置と関連付けられた適切な専用の回路によって実行することも可能である。
プロセッサ24によって生成された3D情報は、様々な異なる目的に使用可能である。例えば、3Dマップをディスプレイ26などの出力装置に送信し、この出力装置より、物体の擬似3D画像を表示可能である。図1に示されている例においては、物体28は、対象物の本体のすべて又は(手などの)一部から構成されている。この場合には、システム20を使用することにより、ジェスチャーに基づいたユーザーインターフェイスを提供可能であり、この場合には、装置22によって検出されたユーザーの動きにより、マウス、ジョイスティック、又はその他のアクセサリなどの触覚的なインターフェイス要素の代わりに、ゲームなどの対話型のコンピュータアプリケーションを制御している。或いは、この代わりに、システム20は、3D座標プロファイルを必要としている実質的にあらゆるアプリケーションにおけるその他のタイプの物体の測距及びマッピングに使用することも可能である。
図2は、本発明の一実施例による装置22の概略平面図である。照明アセンブリ30は、通常はレーザーであるコヒーレントな光源34と、拡散器36と、を有している(本特許出願の文脈における「光」という用語は、赤外線及び紫外線、並びに、可視光を含むあらゆる種類の光学放射を意味している)。供給源34によって放射された光のビームは、拡散器を通過し、ビームスプリッタ44によって反射された後に、物体28が配置されているターゲット領域46を照射している。画像キャプチャアセンブリ32は、物体28上に投射されたスペックルパターンの画像をキャプチャしている。画像キャプチャアセンブリ32は、対物オプティクス38を有しており、これは、画像を画像センサ40上に合焦している。通常、センサ40は、CCD又はCMOSに基づいた画像センサアレイなどの検出器要素42のアレイから構成されている。
説明の簡潔性及び利便を考慮し、図2には、照明アセンブリ及び画像キャプチャアセンブリ32の光学軸が同一直線上にあるものとして示されている。この種の構成は、後述するスペックルの無相関に基づいた種類の測距に好適である。一方、スペックルの相互相関に基づいた3D再構築は、一般に、三角測量を使用しており、この場合、撮像の軸は、通常、照明軸との関係において変位している。この種の構成は、例えば、前述の国際特許出願第IL2006/000335号(PCT/IL2006/000335)に示されている。無相関に基づいた測距の原理は、この種の同一直線上にないシステムにおいても同様に適用可能である。
以下の説明においては、z軸は、画像キャプチャアセンブリ32の光軸によって定義されるものと仮定している。原点は、図2に示されているように、オプティクス38の入射瞳孔、又は、等価的に、拡散器36の表面に位置するものとしている。レーリー(Rayleigh)距離を上回る物体の距離zobjにおいては、スペックルパターンは、軸方向における平均長Δz=(zobj/w02λを具備しており、ここで、λは、波長であり、w0は、供給源34によって拡散器36上に形成されるスポットのサイズである(画像キャプチャアセンブリ32に起因した二次スペックルを無視することができるように、オプティクスの瞳孔直径は、w0よりも格段に大きいものと仮定されている)。Δzを下回る距離だけ軸方向において隔離した位置の場合には、z軸に対する角度の関数としての一次スペックルパターンは、zとの関係において実質的に不変である。換言すれば、Δzを下回る距離だけ互いに軸方向に変位した領域46内の表面上に投射されたスペックルパターンは、(必要な横方向のシフト及びスケーリング動作が適用された状態において)大きな相互相関を具備することになる。これらのスペックルパターンを検知及び処理するべく、画像キャプチャアセンブリ32は、少なくともΔzの深さにわたって合焦する能力を有する必要がある。
一方、Δzを上回る領域46内の軸方向の距離においては、スペックルの角度形状は、ランダムに変化している。従って、Δzを上回る距離だけ軸方向において隔離した表面上の個々のスペックルパターンは、相関しないことになる。換言すれば、照明アセンブリ30から様々な距離におけるスペックルパターンは、Δzを下回る短い距離においては、高度に相関しており、Δzを上回る大きな距離においては、無相関状態となる。
図3は、本発明の一実施例による照明アセンブリ30からの様々な距離におけるスペックルパターンの間における相互相関を概略的に示すプロットである。このプロットの場合には、投射されたスペックルパターンの基準画像を、図2のz1、z2、z3、…、とマーキングされた基準位置におけるものなどのように、原点からの様々な個々の距離における一連のプレーンにおいてキャプチャしている(Δzを意図的に小さな値に設定している図3の根拠となった実験においては、基準プレーンは、5mmだけ離隔していた)。次いで、スペックルパターンの試験画像を原点からの様々な距離において(この実験の場合には、平坦であってもよい)物体上においてキャプチャし、それぞれの試験画像と基準画像のそれぞれのものとの間において相互相関を演算している。
図3に示されているように、試験画像内及び基準画像内のスペックルバターンの間における大きな相関は、対角線に沿ってのみ、即ち、略等しい試験プレーン及び基準プレーンの距離において見出されている。対角線から外れた試験/基準画像ペアは、非常に小さな値の相互相関を示している。従って、ターゲット領域46内の未知の位置における物体の試験画像と基準画像のそれぞれの画像間の相互相関を演算することにより、照明アセンブリからの物体の距離の範囲を判定可能である。この距離計測の分解能は、スペックルの長さΔzに略等しくなっている。計測誤差は、ε=Δz/zobj=(zobj/w0 2)λによって付与される。
図2に示されている例を再度参照すれば、Δzが、隣接する基準距離z1、z2、z3、…、の間の距離に略等しいと仮定した場合には、位置zAにおける物体28上のスペックルパターンは、z2においてキャプチャされたスペックルパターンの基準画像と相関することになる。一方、zBにおける物体上のスペックルパターンは、z3における基準画像と相関することになる。これらの相関計測値は、原点からの物体の概略的な距離を付与している。次いで、物体を三次元においてマッピングするべく、プロセッサ24は、最も密接なマッチングを付与する基準画像との間における局所的な相互相関を使用可能である。
図4は、本発明の一実施例による3D測距及びマッピング法を概略的に示すフローチャートである。以下においては、わかりやすくするべく、図1及び図2に示されているシステム20を参照し、この方法について説明することとする。但し、この方法は、「背景技術」の節において引用した参考文献又は前述の国際特許出願第IL2006/000355号(PCT/IL2006/000355)に記述されているものなどのその他の種類のスペックルに基づいた撮像システムにも同様に適用可能である。
物体の測距及び撮像の準備作業の際には、基準キャプチャ段階50において、撮像装置22を作動させることにより、一連の基準スペックル画像をキャプチャしている。このためには、例えば、z1、z2、z3、…、などのz軸に沿った原点からの一連の異なる既知の基準距離に平坦な表面を配置可能であり、この結果、撮像アセンブリ32により、それぞれの距離において照明アセンブリ30によって表面上に投射されたスペックルパターンの対応する画像をキャプチャしている。通常、基準距離の間の離隔幅は、軸方向のスペックルの長さ以下になっている。尚、図2においては、z1、z2、z3、...は、略等しく離隔しているが、この代わりに、離隔幅を距離に伴って増大させることも可能である。
試験キャプチャ段階52において、物体28をターゲット領域46内に導入し、装置22により、物体の表面上に投射されたスペックルパターンの試験画像をキャプチャしている。次いで、測距段階54において、プロセッサ24は、試験画像と基準画像のそれぞれの画像間における相互相関を演算している。図2に示されている同軸型の構成においては、基準画像に対する試験画像内のスペックルパターンの相対的なシフト又はスケーリングの調節を伴うことなしに相互相関を演算可能であろう。一方、前述のPCT特許出願に示されているものなどの非同軸型の構成においては、それぞれの基準画像に対する試験画像のいくつかの異なる横断方向(Y方向)のシフトについて、且つ、恐らくは、複数の異なるスケーリングファクタについて、相互相関を演算することが望ましいであろう。これらの調節は、その測距及びマッピングシステムの特定の構成に依存しており、且つ、当業者には、明らかであろう。
プロセッサ24は、試験画像との間に最大の相互相関を具備しており、且つ、従って、装置22の照明アセンブリ30からの物体28の距離が、その特定の基準画像の基準距離に略等しい基準画像を識別している。物体の概略的な位置のみを必要としている場合には、本方法は、この時点において終了可能である。
この代わりに、プロセッサ24は、再構築段階56において、物体28の3Dマップを再構築することも可能である。このために、プロセッサは、通常、試験画像内の物体表面上の異なる地点におけるスペックルパターンと、試験画像との間において最大の相互相関を具備していると段階54において識別された基準画像内のスペックルパターンの対応するエリアの間の局所的なオフセットを計測している。次いで、プロセッサは、これらのオフセットに基づいて三角測量を使用し、これらの物体の地点のz座標を判定している。これらの目的に使用可能である方法については、前述のPCT特許出願及び先程引用したその他の参照文献に記述されている。但し、段階54における測距と段階56における3D再構築を組み合わせることにより、システム20は、スペックルに基づいた三角測量のみによって一般的に実現可能であるものよりもz方向における格段に大きな範囲にわたって正確な3D再構築を実行可能である。
ターゲット領域46内における物体28の動きを追跡するべく、段階52〜段階56を継続的に反復可能である。このために、装置22は、物体が移動している際に一連の試験画像をキャプチャしており、プロセッサ24は、物体の3D移動を追跡するべく、段階54を反復しており、また任意選択により段階56も反復している。物体が以前の繰り返しから過剰に遠くに移動していないと仮定することにより、段階54において、基準画像のいくつかの画像の関係において相関を演算することも可能である。
以上において説明した実施例には、特定の構成における特定のタイプの光学及び撮像装置を使用しているが、本発明の原理は、同様に、一次スペックルパターンを投射及び撮像するその他の構成において同様に適用することも可能である。例えば、(図示されてはいない)本発明の別の実施例においては、図2の構成のように物体表面から反射したスペックルパターンではなく、物体を透過したスペックルパターンを撮像することにより、透明な物体の厚さを計測している。
従って、前述の実施例は、一例として引用されたものであり、本発明は、本明細書に具体的に図示及び説明されているものに限定されないことを理解されたい。むしろ、本発明の範囲は、以上の説明を参照することによって当業者が想起し、且つ、従来技術に開示されてはいない前述の様々な特徴の組み合わせ及びサブ組み合わせの両方と、その変形及び変更をも含んでいる。
本発明の一実施例による3D測距及びマッピングシステムを絵で示す概略図である。 本発明の一実施例によるスペックル撮像装置の概略平面図である。 本発明の一実施例による照明アセンブリからの異なる距離におけるスペックルパターンの間の相互相関を概略的に示すプロットである。 本発明の一実施例による3D測距及びマッピング法を概略的に示すフローチャートである。

Claims (14)

  1. 照明アセンブリからの一次スペックルパターンをターゲット領域内に投射する段階と、
    前記ターゲット領域内において前記照明アセンブリからの異なる個々の距離において前記一次スペックルパターンの複数の基準画像をキャプチャする段階と、
    前記ターゲット領域内において物体の表面上に投射された前記一次スペックルパターンの試験画像をキャプチャする段階と、
    前記一次スペックルパターンが前記試験画像内の前記一次スペックルパターンと最も密接にマッチングしている基準画像を識別するべく、前記試験画像を前記基準画像と比較する段階と、
    前記照明アセンブリからの前記識別された基準画像の距離に基づいて前記物体の位置を推定する段階と、を有するマッピング法。
  2. 前記物体の三次元(3D)マップを導出するべく、前記試験画像内の前記物体の複数のエリア上の前記一次スペックルパターンと前記識別された基準画像内の前記一次スペックルパターンとの間の個々のオフセットを見出す段階を有する請求項1に記載の方法。
  3. 前記照明アセンブリからの異なる個々の距離の少なくともいくつかは、前記個々の距離において前記一次スペックルパターンの軸方向の長さを上回る距離だけ軸方向に離隔している請求項1又は2に記載の方法。
  4. 前記試験画像を前記基準画像と比較する段階は、前記試験画像と、前記基準画像の少なくともいくつかの画像のそれぞれとの間における個々の相互相関を演算する段階と、前記試験画像との個々の相互相関において最大の相互相関を具備する前記基準画像を選択する段階と、を有する請求項1又は2に記載の方法。
  5. 前記試験画像をキャプチャする段階は、前記物体が移動している際に一連の試験画像をキャプチャする段階を有しており、この場合、前記物体の位置を推定する段階は、前記ターゲット領域内における前記物体の移動を追跡する段階を有する請求項1又は2に記載の方法。
  6. 前記物体は、人体の一部であり、この場合に、前記移動を追跡する段階は、前記人体の一部によって実行されたジェスチャーを識別する段階と、前記ジェスチャーに応答してコンピュータアプリケーションに対して入力を提供する段階と、を有する請求項5に記載の方法。
  7. 一次スペックルパターンをターゲット領域内に投射するべく構成された照明アセンブリと、
    前記ターゲット領域内において前記照明アセンブリからの異なる個々の距離における前記一次スペックルパターンの複数の基準画像をキャプチャすると共に、前記ターゲット領域内において物体の表面上に投射された前記一次スペックルパターンの試験画像をキャプチャするべく構成された撮像アセンブリと、
    前記一次スペックルパターンが前記試験画像内の前記一次スペックルパターンと最も密接にマッチングしている基準画像を識別するために前記試験画像を前記基準画像と比較すると共に、前記照明アセンブリからの前記識別された基準画像の距離に基づいて前記物体の位置を推定するべく結合されている画像プロセッサと、を有するマッピング装置。
  8. 前記画像プロセッサは、前記物体の三次元(3D)マップを導出するべく、前記試験画像内の前記物体の複数のエリア上の前記一次スペックルパターンと前記識別された基準画像内の前記一次スペックルパターンとの間の個々のオフセットを見出すべく構成されている請求項7に記載の装置。
  9. 前記照明アセンブリからの異なる個々の距離の少なくともいくつかは、前記個々の距離において前記一次スペックルパターンの軸方向の長さを上回る距離だけ軸方向において離隔している請求項7又は8に記載の装置。
  10. 前記画像プロセッサは、前記試験画像と、前記基準画像の少なくともいくつかの画像のそれぞれとの間における個々の相互相関を演算すると共に、前記試験画像との個々の相関において最大の相互相関を具備する前記基準画像を選択するべく構成されている請求項7又は8に記載の装置。
  11. 前記撮像アセンブリは、前記物体が移動している際に一連の試験画像をキャプチャするべく構成されており、この場合に、前記画像プロセッサは、前記ターゲット領域内における前記物体の移動を追跡するために前記試験画像を処理するべく構成されている請求項7又は8に記載の装置。
  12. 前記物体は、人体の一部であり、この場合に、前記画像プロセッサは、前記人体の一部によって実行されたジェスチャーを識別すると共に、前記ジャスチャーに応答してコンピュータアプリケーションに対して入力を提供するべく構成されている請求項11に記載の装置。
  13. プログラム命令が保存されているコンピュータ可読媒体を有するコンピュータソフトウェアプロダクトにおいて、
    前記命令は、コンピュータによって読み取られた際に、
    照明アセンブリによってターゲット領域内に投射された一次スペックルパターンの複数の基準画像を受け取る段階であって、この場合に、前記基準画像は、前記ターゲット領域内において前記照明アセンブリからの異なる個々の距離においてキャプチャされる、受取段階と、
    前記ターゲット領域内において物体の表面上に投射された前記一次スペックルパターンの試験画像を受け取る段階と、
    前記一次スペックルパターンが前記試験画像内の前記一次スペックルパターンと最も密接にマッチングする基準画像を識別するべく、前記試験画像を前記基準画像と比較する段階と、
    前記照明アセンブリからの前記識別された基準画像の距離に基づいて前記物体の位置を推定する段階と、を前記コンピュータに実行させる、コンピュータソフトウェアプロダクト。
  14. 前記命令は、前記物体の三次元(3D)マップを導出するべく、前記試験画像内の前記物体の複数のエリア上の前記一次スペックルパターンと前記識別された基準画像内の前記一次スペックルパターンの間の個々のオフセットを見出す段階を前記コンピュータに実行させる請求項13に記載のプロダクト。
JP2008555949A 2006-02-27 2007-02-27 スペックルの無相関を使用した距離マッピング(rangemapping) Active JP4917615B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US77665506P 2006-02-27 2006-02-27
US60/776,655 2006-02-27
PCT/IL2007/000262 WO2007096893A2 (en) 2006-02-27 2007-02-27 Range mapping using speckle decorrelation

Publications (2)

Publication Number Publication Date
JP2009528514A true JP2009528514A (ja) 2009-08-06
JP4917615B2 JP4917615B2 (ja) 2012-04-18

Family

ID=38437779

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008555949A Active JP4917615B2 (ja) 2006-02-27 2007-02-27 スペックルの無相関を使用した距離マッピング(rangemapping)

Country Status (4)

Country Link
US (1) US7433024B2 (ja)
JP (1) JP4917615B2 (ja)
CN (1) CN101496032B (ja)
WO (1) WO2007096893A2 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2405403A1 (en) 2010-07-08 2012-01-11 Sony Corporation Three Dimensional User Interface
JP2012053557A (ja) * 2010-08-31 2012-03-15 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2013513179A (ja) * 2009-12-08 2013-04-18 キネテイツク・リミテツド 距離に基づく検知
JP2013537651A (ja) * 2010-05-20 2013-10-03 アイロボット コーポレイション 移動式ヒューマンインターフェースロボット
JP2013537487A (ja) * 2010-05-20 2013-10-03 アイロボット コーポレイション 移動式ヒューマンインターフェースロボット
JP2014209381A (ja) * 2010-12-30 2014-11-06 アイロボットコーポレイション 可動式ロボットシステム
US9030529B2 (en) 2011-04-14 2015-05-12 Industrial Technology Research Institute Depth image acquiring device, system and method
JP2015092348A (ja) * 2010-12-30 2015-05-14 アイロボット コーポレイション 可動式ヒューマンインターフェースロボット
JP2016031535A (ja) * 2014-07-28 2016-03-07 オーボテック リミテッド オートフォーカスシステム、距離測定システム、オートフォーカス方法及びオートフォーカスシステム較正方法
US9411410B2 (en) 2010-08-19 2016-08-09 Sony Corporation Information processing device, method, and program for arranging virtual objects on a curved plane for operation in a 3D space
US9507414B2 (en) 2010-08-19 2016-11-29 Sony Corporation Information processing device, information processing method, and program
JP2017507430A (ja) * 2014-03-03 2017-03-16 ノキア テクノロジーズ オーユー 装置と別装置との間の入力軸
US9709387B2 (en) 2012-11-21 2017-07-18 Mitsubishi Electric Corporation Image generation device for acquiring distances of objects present in image space
US10533846B2 (en) 2015-06-09 2020-01-14 Mitsubishi Electric Corporation Image generation device, image generating method, and pattern light generation device

Families Citing this family (177)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8797260B2 (en) * 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US10086282B2 (en) 2002-07-27 2018-10-02 Sony Interactive Entertainment Inc. Tracking device for use in obtaining information for controlling game program execution
WO2007043036A1 (en) 2005-10-11 2007-04-19 Prime Sense Ltd. Method and system for object reconstruction
US20110096182A1 (en) * 2009-10-25 2011-04-28 Prime Sense Ltd Error Compensation in Three-Dimensional Mapping
WO2007105205A2 (en) 2006-03-14 2007-09-20 Prime Sense Ltd. Three-dimensional sensing using speckle patterns
US9330324B2 (en) 2005-10-11 2016-05-03 Apple Inc. Error compensation in three-dimensional mapping
WO2007105215A2 (en) * 2006-03-14 2007-09-20 Prime Sense Ltd. Depth-varying light fields for three dimensional sensing
CN101957994B (zh) 2006-03-14 2014-03-19 普莱姆传感有限公司 三维传感的深度变化光场
US8090194B2 (en) 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
CA2670214A1 (en) * 2006-11-21 2008-05-29 Mantisvision Ltd. 3d geometric modeling and 3d video content creation
US8350847B2 (en) 2007-01-21 2013-01-08 Primesense Ltd Depth mapping using multi-beam illumination
US8265793B2 (en) 2007-03-20 2012-09-11 Irobot Corporation Mobile robot for telecommunication
US8150142B2 (en) * 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
US8493496B2 (en) 2007-04-02 2013-07-23 Primesense Ltd. Depth mapping using projected patterns
WO2008155770A2 (en) * 2007-06-19 2008-12-24 Prime Sense Ltd. Distance-varying illumination and imaging techniques for depth mapping
FR2921732B1 (fr) * 2007-09-28 2010-04-30 Noomeo Dispositif de construction d'une image de synthese d'une sur face tridimensionnelle d'un objet physique
FR2921719B1 (fr) * 2007-09-28 2010-03-12 Noomeo Procede de construction d'une image de synthese d'une surface tridimensionnelle d'un objet physique
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US8531650B2 (en) 2008-07-08 2013-09-10 Chiaro Technologies LLC Multiple channel locating
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
US8133119B2 (en) * 2008-10-01 2012-03-13 Microsoft Corporation Adaptation for alternate gaming input devices
CN103090819A (zh) 2008-10-06 2013-05-08 曼蒂斯影像有限公司 用于提供三维和距离面间判定的方法和系统
US8866821B2 (en) 2009-01-30 2014-10-21 Microsoft Corporation Depth map movement tracking via optical flow and velocity prediction
US8294767B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Body scan
US9652030B2 (en) 2009-01-30 2017-05-16 Microsoft Technology Licensing, Llc Navigation of a virtual plane using a zone of restriction for canceling noise
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US8462207B2 (en) 2009-02-12 2013-06-11 Primesense Ltd. Depth ranging with Moiré patterns
US8786682B2 (en) 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
US8773355B2 (en) * 2009-03-16 2014-07-08 Microsoft Corporation Adaptive cursor sizing
US8988437B2 (en) 2009-03-20 2015-03-24 Microsoft Technology Licensing, Llc Chaining animations
US9256282B2 (en) 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US8717417B2 (en) 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
US8942428B2 (en) 2009-05-01 2015-01-27 Microsoft Corporation Isolate extraneous motions
US9015638B2 (en) * 2009-05-01 2015-04-21 Microsoft Technology Licensing, Llc Binding users to a gesture based system and providing feedback to the users
US8649554B2 (en) 2009-05-01 2014-02-11 Microsoft Corporation Method to control perspective for a camera-controlled computer
US8340432B2 (en) 2009-05-01 2012-12-25 Microsoft Corporation Systems and methods for detecting a tilt angle from a depth image
US8253746B2 (en) 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8181123B2 (en) * 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
US9498718B2 (en) * 2009-05-01 2016-11-22 Microsoft Technology Licensing, Llc Altering a view perspective within a display environment
US20100277470A1 (en) * 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture
US8638985B2 (en) 2009-05-01 2014-01-28 Microsoft Corporation Human body pose estimation
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US9898675B2 (en) 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US20100295771A1 (en) * 2009-05-20 2010-11-25 Microsoft Corporation Control of display objects
US9182814B2 (en) * 2009-05-29 2015-11-10 Microsoft Technology Licensing, Llc Systems and methods for estimating a non-visible or occluded body part
US9383823B2 (en) * 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
US8379101B2 (en) * 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US9400559B2 (en) 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
US20100302138A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
US8542252B2 (en) * 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US8176442B2 (en) * 2009-05-29 2012-05-08 Microsoft Corporation Living cursor control mechanics
US20100306685A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation User movement feedback via on-screen avatars
US8856691B2 (en) * 2009-05-29 2014-10-07 Microsoft Corporation Gesture tool
US8320619B2 (en) * 2009-05-29 2012-11-27 Microsoft Corporation Systems and methods for tracking a model
US8418085B2 (en) * 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
US20100306716A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Extending standard gestures
US8509479B2 (en) 2009-05-29 2013-08-13 Microsoft Corporation Virtual object
US8803889B2 (en) 2009-05-29 2014-08-12 Microsoft Corporation Systems and methods for applying animations or motions to a character
US8145594B2 (en) * 2009-05-29 2012-03-27 Microsoft Corporation Localized gesture aggregation
US8625837B2 (en) 2009-05-29 2014-01-07 Microsoft Corporation Protocol and format for communicating an image from a camera to a computing environment
US7914344B2 (en) * 2009-06-03 2011-03-29 Microsoft Corporation Dual-barrel, connector jack and plug assemblies
US8417385B2 (en) * 2009-07-01 2013-04-09 Pixart Imaging Inc. Home appliance control device
US8390680B2 (en) * 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
US9159151B2 (en) * 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
US9582889B2 (en) 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
US9141193B2 (en) * 2009-08-31 2015-09-22 Microsoft Technology Licensing, Llc Techniques for using human gestures to control gesture unaware programs
US20110109617A1 (en) * 2009-11-12 2011-05-12 Microsoft Corporation Visualizing Depth
US8935003B2 (en) 2010-09-21 2015-01-13 Intuitive Surgical Operations Method and system for hand presence detection in a minimally invasive surgical system
US8521331B2 (en) * 2009-11-13 2013-08-27 Intuitive Surgical Operations, Inc. Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument
US8996173B2 (en) 2010-09-21 2015-03-31 Intuitive Surgical Operations, Inc. Method and apparatus for hand gesture control in a minimally invasive surgical system
US8830227B2 (en) 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control
JP4783456B2 (ja) * 2009-12-22 2011-09-28 株式会社東芝 映像再生装置及び映像再生方法
US20110187878A1 (en) * 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
US8982182B2 (en) 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
GB2494081B (en) 2010-05-20 2015-11-11 Irobot Corp Mobile human interface robot
US8918209B2 (en) 2010-05-20 2014-12-23 Irobot Corporation Mobile human interface robot
US8935005B2 (en) 2010-05-20 2015-01-13 Irobot Corporation Operating a mobile robot
US20110310010A1 (en) 2010-06-17 2011-12-22 Primesense Ltd. Gesture based user interface
AT510176B1 (de) * 2010-07-07 2012-02-15 Roman Eugenio Mag Anderl Verfahren zur steuerung einer interaktiven anzeige
WO2012020380A1 (en) 2010-08-11 2012-02-16 Primesense Ltd. Scanning projectors and image capture modules for 3d mapping
TWI428568B (zh) * 2010-09-03 2014-03-01 Pixart Imaging Inc 測距方法、測距系統與其處理軟體
TWI428567B (zh) 2010-09-03 2014-03-01 Pixart Imaging Inc 測距方法、測距系統與其處理軟體
TWI428569B (zh) 2010-09-06 2014-03-01 Pixart Imaging Inc 測距方法、測距系統與其處理軟體
TWI428558B (zh) * 2010-11-10 2014-03-01 Pixart Imaging Inc 測距方法、測距系統與其處理軟體
CN102466479B (zh) * 2010-11-16 2013-08-21 深圳泰山在线科技有限公司 一种运动物体的抗干扰距离测量系统及方法
US9066087B2 (en) 2010-11-19 2015-06-23 Apple Inc. Depth mapping using time-coded illumination
US9131136B2 (en) 2010-12-06 2015-09-08 Apple Inc. Lens arrays for pattern projection and imaging
US8930019B2 (en) 2010-12-30 2015-01-06 Irobot Corporation Mobile human interface robot
CN103338699A (zh) 2011-01-25 2013-10-02 诺华股份有限公司 医学用动作成像和捕捉系统及方法
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US9030528B2 (en) 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
US8620113B2 (en) 2011-04-25 2013-12-31 Microsoft Corporation Laser diode modes
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
US8881051B2 (en) * 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9459758B2 (en) * 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US8869073B2 (en) * 2011-07-28 2014-10-21 Hewlett-Packard Development Company, L.P. Hand pose interaction
US11133096B2 (en) 2011-08-08 2021-09-28 Smith & Nephew, Inc. Method for non-invasive motion tracking to augment patient administered physical rehabilitation
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
FR2980292B1 (fr) 2011-09-16 2013-10-11 Prynel Procede et systeme d'acquisition et de traitement d'images pour la detection du mouvement
US9142025B2 (en) 2011-10-05 2015-09-22 Electronics And Telecommunications Research Institute Method and apparatus for obtaining depth information using optical pattern
DE202011110543U1 (de) 2011-11-07 2014-07-21 Sick Ag Sensor, insbesondere Kamera, zum Bestimmen von Entfernungen
EP2589981A1 (de) 2011-11-07 2013-05-08 Sick Ag Verfahren und Sensor, insbesondere Kamera, zum Bestimmen von Entfernungen
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US9651417B2 (en) 2012-02-15 2017-05-16 Apple Inc. Scanning depth engine
CA2864003C (en) 2012-02-23 2021-06-15 Charles D. Huston System and method for creating an environment and for sharing a location based experience in an environment
US10600235B2 (en) 2012-02-23 2020-03-24 Charles D. Huston System and method for capturing and sharing a location based experience
US10937239B2 (en) 2012-02-23 2021-03-02 Charles D. Huston System and method for creating an environment and for sharing an event
US8958911B2 (en) 2012-02-29 2015-02-17 Irobot Corporation Mobile robot
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
US20140082520A1 (en) * 2012-05-24 2014-03-20 Monir Mamoun Method and System for Gesture- and Animation-Enhanced Instant Messaging
EP2753896B1 (de) * 2012-06-29 2020-09-30 INB Vision AG Verfahren zur bilderfassung einer vorzugsweise strukturierten oberfläche eines objekts und vorrichtung zur bilderfassung
DE202012102541U1 (de) 2012-07-10 2013-10-18 Sick Ag 3D-Kamera
TWI461995B (zh) * 2012-09-28 2014-11-21 Pixart Imaging Inc 手持式指向裝置及其操作方法
CN103729092A (zh) * 2012-10-12 2014-04-16 原相科技股份有限公司 手持式指向装置及其控制方法
US9131118B2 (en) * 2012-11-14 2015-09-08 Massachusetts Institute Of Technology Laser speckle photography for surface tampering detection
TWI591584B (zh) 2012-12-26 2017-07-11 財團法人工業技術研究院 三維感測方法與三維感測裝置
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
WO2014101955A1 (en) 2012-12-28 2014-07-03 Metaio Gmbh Method of and system for projecting digital information on a real object in a real environment
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
US9804576B2 (en) 2013-02-27 2017-10-31 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with position and derivative decision reference
US9393695B2 (en) 2013-02-27 2016-07-19 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with person and object discrimination
US9798302B2 (en) 2013-02-27 2017-10-24 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with redundant system input support
US9498885B2 (en) 2013-02-27 2016-11-22 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with confidence-based decision support
US10474793B2 (en) 2013-06-13 2019-11-12 Northeastern University Systems, apparatus and methods for delivery and augmentation of behavior modification therapy and teaching
DK2816536T3 (en) 2013-06-18 2016-08-29 Wincor Nixdorf Int Gmbh Returnable Packaging Machine
DK2835973T3 (da) 2013-08-06 2015-11-30 Sick Ag 3D-kamera og fremgangsmåde til registrering af tredimensionale billededata
CN105723300B (zh) 2013-09-24 2020-10-27 惠普发展公司,有限责任合伙企业 基于表示对象的图像确定分割边界
US10324563B2 (en) 2013-09-24 2019-06-18 Hewlett-Packard Development Company, L.P. Identifying a target touch region of a touch-sensitive surface based on an image
US10152136B2 (en) * 2013-10-16 2018-12-11 Leap Motion, Inc. Velocity field interaction for free space gesture interface and control
US9891712B2 (en) 2013-12-16 2018-02-13 Leap Motion, Inc. User-defined virtual interaction space and manipulation of virtual cameras with vectors
EP3084719B1 (en) 2013-12-19 2019-11-20 Apple Inc. Slam on a mobile device
CN103778643B (zh) * 2014-01-10 2016-08-17 深圳奥比中光科技有限公司 一种实时生成目标深度信息的方法及其装置
JP6287360B2 (ja) * 2014-03-06 2018-03-07 オムロン株式会社 検査装置
US9562760B2 (en) 2014-03-10 2017-02-07 Cognex Corporation Spatially self-similar patterned illumination for depth imaging
WO2015148676A1 (en) 2014-03-26 2015-10-01 Reflexion Health, Inc. Systems and methods for teaching and instructing in a virtual world including multiple views
DE202014101550U1 (de) 2014-04-02 2015-07-07 Sick Ag 3D-Kamera zur Erfassung von dreidimensionalen Bildern
CN103903011A (zh) * 2014-04-02 2014-07-02 重庆邮电大学 基于图像深度信息的智能轮椅手势识别控制方法
US10349037B2 (en) 2014-04-03 2019-07-09 Ams Sensors Singapore Pte. Ltd. Structured-stereo imaging assembly including separate imagers for different wavelengths
DE102014107799A1 (de) 2014-06-03 2015-12-03 Sick Ag 3D-Kamera nach dem Stereoskopieprinzip und Verfahren zur Erfassung von dreidimensionalen Bilddaten
USD733141S1 (en) 2014-09-10 2015-06-30 Faro Technologies, Inc. Laser scanner
US9886769B1 (en) * 2014-12-09 2018-02-06 Jamie Douglas Tremaine Use of 3D depth map with low and high resolution 2D images for gesture recognition and object tracking systems
US9671218B2 (en) * 2014-12-22 2017-06-06 National Chung Shan Institute Of Science And Technology Device and method of quick subpixel absolute positioning
US9958758B2 (en) * 2015-01-21 2018-05-01 Microsoft Technology Licensing, Llc Multiple exposure structured light pattern
DE102015202182A1 (de) 2015-02-06 2016-08-11 Siemens Aktiengesellschaft Vorrichtung und Verfahren zur sequentiellen, diffraktiven Musterprojektion
US20160245641A1 (en) * 2015-02-19 2016-08-25 Microsoft Technology Licensing, Llc Projection transformations for depth estimation
DE102015205187A1 (de) 2015-03-23 2016-09-29 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Projektion von Linienmustersequenzen
DE202015101865U1 (de) 2015-04-16 2016-07-22 Sick Ag Kamera
DE202015102019U1 (de) 2015-04-23 2016-07-27 Sick Ag Kamera zur Aufnahme von Bildern eines Erfassungsbereichs
DE102015106305A1 (de) 2015-04-24 2016-10-27 Sick Ag Beleuchtungsvorrichtung und Verfahren zur Versorgung
US10571668B2 (en) 2015-05-09 2020-02-25 Cognex Corporation Catadioptric projector systems, devices, and methods
DE202015105376U1 (de) 2015-10-12 2015-10-19 Sick Ag 3D-Kamera zur Aufnahme von dreidimensionalen Bildern
EP3420376A1 (en) * 2016-02-22 2019-01-02 Lasermotive, Inc. Remote power safety system
EP3430486B1 (en) * 2016-03-18 2020-09-16 Teknologian Tutkimuskeskus VTT OY Method and apparatus for monitoring a position
CN117028910A (zh) 2016-06-10 2023-11-10 奇跃公司 纹理投射灯泡的积分点光源
US9959455B2 (en) 2016-06-30 2018-05-01 The United States Of America As Represented By The Secretary Of The Army System and method for face recognition using three dimensions
DE202016103603U1 (de) 2016-07-06 2017-10-09 Sick Ag 3D-Kamera
TWI651513B (zh) 2016-11-15 2019-02-21 財團法人工業技術研究院 三維量測系統及其方法
US10499039B2 (en) 2016-12-15 2019-12-03 Egismos Technology Corporation Path detection system and path detection method generating laser pattern by diffractive optical element
DE102017103660B4 (de) 2017-02-22 2021-11-11 OSRAM Opto Semiconductors Gesellschaft mit beschränkter Haftung Verfahren zum betrieb einer lichtquelle für eine kamera, lichtquelle, kamera
US10152798B2 (en) 2017-04-10 2018-12-11 Wisconsin Alumni Research Foundation Systems, methods and, media for determining object motion in three dimensions using speckle images
CA3059373A1 (en) * 2017-04-24 2018-11-01 Magic Leap, Inc. Tracking optical flow of backscattered laser speckle patterns
US10527711B2 (en) * 2017-07-10 2020-01-07 Aurora Flight Sciences Corporation Laser speckle system and method for an aircraft
CN109635619B (zh) 2017-08-19 2021-08-31 康耐视公司 用于三维重建的结构化光图案的编码距离拓扑
US10699429B2 (en) 2017-08-19 2020-06-30 Cognex Corporation Coding distance topologies for structured light patterns for 3D reconstruction
CN108874120A (zh) * 2018-03-29 2018-11-23 北京字节跳动网络技术有限公司 人机交互系统、方法、计算机可读存储介质及交互装置
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
FI128523B (en) 2018-06-07 2020-07-15 Ladimo Oy Modeling of topography of a 3D surface
WO2021082018A1 (zh) * 2019-11-01 2021-05-06 深圳市汇顶科技股份有限公司 散斑图匹配方法、散斑图匹配装置、电子设备和存储介质
CN113168681A (zh) * 2019-11-04 2021-07-23 深圳市汇顶科技股份有限公司 散斑图像匹配方法、装置及存储介质
FR3106485A1 (fr) 2020-01-23 2021-07-30 Anatoscope Dispositif et procede de mesure d’une force exercee sur un corps, et caracterisation de la rigidite d’un corps employant un tel dispositif
CN111986154A (zh) * 2020-07-20 2020-11-24 深圳奥比中光科技有限公司 一种光学信息检测方法、装置及设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6079108A (ja) * 1983-10-07 1985-05-04 Toshiba Corp 循環水ポンプ制御装置
JPH02297006A (ja) * 1989-05-11 1990-12-07 Keyence Corp 物体の変位測定方法及び装置
JPH0329806A (ja) * 1989-06-28 1991-02-07 Furuno Electric Co Ltd 物体形状測定方法
JPH0914914A (ja) * 1994-06-06 1997-01-17 Kishimoto Sangyo Kk レーザスペックルパターンによる移動量の測定装置におけるレーザ光の照射方法ならびにその装置
JP2001141430A (ja) * 1999-11-16 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
JP2001507133A (ja) * 1996-12-20 2001-05-29 ライフェフ/エックス・ネットワークス・インク 高速3dイメージパラメータ表示装置および方法
JP2002365023A (ja) * 2001-06-08 2002-12-18 Koji Okamoto 液面計測装置及び方法
JP2003196656A (ja) * 2001-12-28 2003-07-11 Matsushita Electric Works Ltd 距離画像処理装置
JP2005061899A (ja) * 2003-08-08 2005-03-10 Nec Saitama Ltd 携帯電話機による距離測定方式
JP2007505313A (ja) * 2003-09-10 2007-03-08 シェアログラフィックス・エルエルシー タイヤ点検装置および方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0762869B2 (ja) 1986-03-07 1995-07-05 日本電信電話株式会社 パタ−ン投影による位置形状計測方法
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
JPH0615968B2 (ja) 1986-08-11 1994-03-02 伍良 松本 立体形状測定装置
US5020904A (en) * 1989-09-06 1991-06-04 Mcmahan Jr Robert K Dynamic laser speckle profilometer and method
US5075562A (en) 1990-09-20 1991-12-24 Eastman Kodak Company Method and apparatus for absolute Moire distance measurements using a grating printed on or attached to a surface
GB9116151D0 (en) 1991-07-26 1991-09-11 Isis Innovation Three-dimensional vision system
US5212667A (en) * 1992-02-03 1993-05-18 General Electric Company Light imaging in a scattering medium, using ultrasonic probing and speckle image differencing
DE19638727A1 (de) 1996-09-12 1998-03-19 Ruedger Dipl Ing Rubbert Verfahren zur Erhöhung der Signifikanz der dreidimensionalen Vermessung von Objekten
IL119831A (en) 1996-12-15 2002-12-01 Cognitens Ltd A device and method for three-dimensional reconstruction of the surface geometry of an object
US5838428A (en) 1997-02-28 1998-11-17 United States Of America As Represented By The Secretary Of The Navy System and method for high resolution range imaging with split light source and pattern mask
US6008813A (en) 1997-08-01 1999-12-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Real-time PC based volume rendering system
DE19736169A1 (de) 1997-08-20 1999-04-15 Fhu Hochschule Fuer Technik Verfahren zur Verformungs- oder Schwingungsmessung mittels elektronischer Speckle-Pattern-Interferometrie
US6101269A (en) * 1997-12-19 2000-08-08 Lifef/X Networks, Inc. Apparatus and method for rapid 3D image parametrization
GB2352901A (en) 1999-05-12 2001-02-07 Tricorder Technology Plc Rendering three dimensional representations utilising projected light patterns
US6128082A (en) * 1998-09-18 2000-10-03 Board Of Trustees Operating Michigan State University Technique and apparatus for performing electronic speckle pattern interferometry
US6751344B1 (en) 1999-05-28 2004-06-15 Champion Orthotic Investments, Inc. Enhanced projector system for machine vision
US6512385B1 (en) 1999-07-26 2003-01-28 Paul Pfaff Method for testing a device under test including the interference of two beams
SG84619A1 (en) 1999-12-28 2001-11-20 Mitsubishi Gas Chemical Co Edge bead remover
US6686921B1 (en) * 2000-08-01 2004-02-03 International Business Machines Corporation Method and apparatus for acquiring a set of consistent image maps to represent the color of the surface of an object
US6754370B1 (en) 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
JP2002191058A (ja) 2000-12-20 2002-07-05 Olympus Optical Co Ltd 3次元画像取得装置および3次元画像取得方法
US6741251B2 (en) 2001-08-16 2004-05-25 Hewlett-Packard Development Company, L.P. Method and apparatus for varying focus in a scene
US7369685B2 (en) * 2002-04-05 2008-05-06 Identix Corporation Vision-based operating method and system
WO2003093760A1 (en) * 2002-04-11 2003-11-13 Gintic Institute Of Manufacturing Technology Systems and methods for deformation measurement
AU2003287803A1 (en) 2002-11-21 2004-06-15 Solvision Fast 3d height measurement method and system
US20040174770A1 (en) 2002-11-27 2004-09-09 Rees Frank L. Gauss-Rees parametric ultrawideband system
KR100533033B1 (ko) * 2003-07-28 2005-12-02 엘지전자 주식회사 디지털 영상 처리 기술을 이용한 위치 추적 시스템 및 방법
US7292232B2 (en) * 2004-04-30 2007-11-06 Microsoft Corporation Data input devices and methods for detecting movement of a tracking surface by a laser speckle pattern
WO2007043036A1 (en) 2005-10-11 2007-04-19 Prime Sense Ltd. Method and system for object reconstruction
CN101957994B (zh) * 2006-03-14 2014-03-19 普莱姆传感有限公司 三维传感的深度变化光场

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6079108A (ja) * 1983-10-07 1985-05-04 Toshiba Corp 循環水ポンプ制御装置
JPH02297006A (ja) * 1989-05-11 1990-12-07 Keyence Corp 物体の変位測定方法及び装置
JPH0329806A (ja) * 1989-06-28 1991-02-07 Furuno Electric Co Ltd 物体形状測定方法
JPH0914914A (ja) * 1994-06-06 1997-01-17 Kishimoto Sangyo Kk レーザスペックルパターンによる移動量の測定装置におけるレーザ光の照射方法ならびにその装置
JP2001507133A (ja) * 1996-12-20 2001-05-29 ライフェフ/エックス・ネットワークス・インク 高速3dイメージパラメータ表示装置および方法
JP2001141430A (ja) * 1999-11-16 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
JP2002365023A (ja) * 2001-06-08 2002-12-18 Koji Okamoto 液面計測装置及び方法
JP2003196656A (ja) * 2001-12-28 2003-07-11 Matsushita Electric Works Ltd 距離画像処理装置
JP2005061899A (ja) * 2003-08-08 2005-03-10 Nec Saitama Ltd 携帯電話機による距離測定方式
JP2007505313A (ja) * 2003-09-10 2007-03-08 シェアログラフィックス・エルエルシー タイヤ点検装置および方法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013513179A (ja) * 2009-12-08 2013-04-18 キネテイツク・リミテツド 距離に基づく検知
JP2014176966A (ja) * 2010-05-20 2014-09-25 Irobot Corp 移動式ヒューマンインターフェースロボット
JP2013537651A (ja) * 2010-05-20 2013-10-03 アイロボット コーポレイション 移動式ヒューマンインターフェースロボット
JP2013537487A (ja) * 2010-05-20 2013-10-03 アイロボット コーポレイション 移動式ヒューマンインターフェースロボット
JP2014195868A (ja) * 2010-05-20 2014-10-16 アイロボット コーポレイション 移動式ロボットを作動させて人について行くようにする方法
US8791962B2 (en) 2010-07-08 2014-07-29 Sony Corporation Information processing device, information processing method, and program for 3D object selection and interaction
EP2405403A1 (en) 2010-07-08 2012-01-11 Sony Corporation Three Dimensional User Interface
US9411410B2 (en) 2010-08-19 2016-08-09 Sony Corporation Information processing device, method, and program for arranging virtual objects on a curved plane for operation in a 3D space
US10241582B2 (en) 2010-08-19 2019-03-26 Sony Corporation Information processing device, information processing method, and program for graphical user interface
US9507414B2 (en) 2010-08-19 2016-11-29 Sony Corporation Information processing device, information processing method, and program
JP2012053557A (ja) * 2010-08-31 2012-03-15 Sony Corp 情報処理装置、情報処理方法およびプログラム
US10216356B2 (en) 2010-08-31 2019-02-26 Sony Corporation Information processing device, information processing method, and program
US9274605B2 (en) 2010-08-31 2016-03-01 Sony Corporation Information processing device, information processing method, and program
JP2015092348A (ja) * 2010-12-30 2015-05-14 アイロボット コーポレイション 可動式ヒューマンインターフェースロボット
JP2014209381A (ja) * 2010-12-30 2014-11-06 アイロボットコーポレイション 可動式ロボットシステム
US9030529B2 (en) 2011-04-14 2015-05-12 Industrial Technology Research Institute Depth image acquiring device, system and method
US9709387B2 (en) 2012-11-21 2017-07-18 Mitsubishi Electric Corporation Image generation device for acquiring distances of objects present in image space
DE112013005574B4 (de) 2012-11-21 2018-10-31 Mitsubishi Electric Corporation Bilderzeugungsvorrichtung
JP2017507430A (ja) * 2014-03-03 2017-03-16 ノキア テクノロジーズ オーユー 装置と別装置との間の入力軸
JP2016031535A (ja) * 2014-07-28 2016-03-07 オーボテック リミテッド オートフォーカスシステム、距離測定システム、オートフォーカス方法及びオートフォーカスシステム較正方法
US10533846B2 (en) 2015-06-09 2020-01-14 Mitsubishi Electric Corporation Image generation device, image generating method, and pattern light generation device

Also Published As

Publication number Publication date
US20070216894A1 (en) 2007-09-20
WO2007096893A2 (en) 2007-08-30
CN101496032A (zh) 2009-07-29
WO2007096893A3 (en) 2009-04-09
JP4917615B2 (ja) 2012-04-18
US7433024B2 (en) 2008-10-07
CN101496032B (zh) 2011-08-17

Similar Documents

Publication Publication Date Title
JP4917615B2 (ja) スペックルの無相関を使用した距離マッピング(rangemapping)
JP5592070B2 (ja) 三次元検知のために深度変化させる光照射野
JP5174684B2 (ja) スペックル・パターンを用いた三次元検出
JP6690041B2 (ja) 三次元物体上の注視点決定方法及び装置
JP2009531655A5 (ja)
TWI433052B (zh) 使用投影圖案之深度製圖
EP3262439B1 (en) Using intensity variations in a light pattern for depth mapping of objects in a volume
US10613228B2 (en) Time-of-flight augmented structured light range-sensor
KR20090006825A (ko) 삼차원 감지를 위한 깊이 가변 광 필드
JP6377863B2 (ja) 反射マップ表現による奥行きマップ表現の増補
WO2008087652A2 (en) Depth mapping using multi-beam illumination
JP7093915B2 (ja) 表面形状測定方法
JP2017531258A (ja) カメラ画像で投影構造パターンの構造要素を特定する方法および装置
JP2021182011A (ja) 表面形状測定装置及びそのスティッチング測定方法
JP2007093412A (ja) 3次元形状測定装置
JP2023176026A (ja) 走査範囲決定方法
KR101296365B1 (ko) 카메라를 이용한 홀로그램 터치 인식방법
JP6820516B2 (ja) 表面形状測定方法
GB2536604A (en) Touch sensing systems
TWI588508B (zh) 立體深度量測裝置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120110

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120126

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150203

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4917615

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250