JP2009531655A

JP2009531655A - Three-dimensional detection using speckle patterns

Info

Publication number: JP2009531655A
Application number: JP2008558981A
Authority: JP
Inventors: シュプント、アレクサンダー; ザレフスキー、ジーフ
Original assignee: プライム・センス・リミテッド
Priority date: 2006-03-14
Filing date: 2007-03-08
Publication date: 2009-09-03
Anticipated expiration: 2027-03-08
Also published as: CN101496033A; KR20080111474A; US8390821B2; US9063283B2; JP5174684B2; KR101331543B1; WO2007105205A3; US20130136305A1; US20090096783A1; WO2007105205A2; CN101496033B

Abstract

被写体（２８）の三次元マッピング装置（２０）は、被写体（２８）上に第１次スペックルパターンを投影するよう配されたコヒーレント光源（３２）と拡散板（３３）とを有する照明アセンブリ（３０）を有する。単一の画像獲得アセンブリ（３８）は、照明アセンブリに対して相対的に、単一かつ固定の位置および角度から、被写体上の第１次スペックルパターン画像を獲得するように配されている。プロセッサ（２４）は、被写体の三次元マップを導き出すために、単一かつ固定角度で獲得された第１次スペックルパターンの画像を処理するために接続されている。
【選択図】図１The three-dimensional mapping device (20) of the subject (28) includes an illumination assembly (30) having a coherent light source (32) and a diffuser plate (33) arranged to project a primary speckle pattern onto the subject (28). 30). A single image acquisition assembly (38) is arranged to acquire a primary speckle pattern image on the subject from a single, fixed position and angle relative to the illumination assembly. The processor (24) is connected to process a single speckle pattern image acquired at a single fixed angle to derive a three-dimensional map of the subject.
[Selection] Figure 1

Description

関連出願への相互参照
本出願は、２００６年３月２４日出願の米国仮特許出願６０／７８５，１８７号の恩典を申し立てる。本出願は、２００６年３月１４日出願のＰＣＴ特許出願ＰＣＴ／ＩＬ２００６／０００３３５号の一部継続出願であり、これは、２００５年１０月１１日出願の米国仮特許出願６０／７２４，９０３号の恩典を申し立てる。これら全ての関連出願は、本特許出願の譲渡人に譲渡され、これらの開示は、本願中に参照することにより盛り込まれている。 This application claims the benefit of US Provisional Patent Application No. 60 / 785,187, filed Mar. 24, 2006. This application is a continuation-in-part of PCT patent application PCT / IL2006 / 000335 filed March 14, 2006, which is a US provisional patent application 60 / 724,903 filed October 11, 2005. I claim the benefit. All of these related applications are assigned to the assignee of the present patent application, the disclosures of which are incorporated herein by reference.

（技術分野）
本発明は、全般として、三次元（３Ｄ）被写体をマッピングする方法およびシステムに関し、特にスペックルパターンを用いた三次元光学撮像に関する。 (Technical field)
The present invention relates generally to methods and systems for mapping three-dimensional (3D) objects, and more particularly to three-dimensional optical imaging using speckle patterns.

コヒーレントな光ビームが拡散板を通過し、表面に投影されると、その表面上に第１次スペックルパターンが観察されうる。この第１次スペックルは、拡散されたビームの様々な成分中で、干渉により引き起こされる。本特許出願および請求項中では、「第１次スペックル」とはこの意味で用いられ、被写体の粗い表面からのコヒーレント光の拡散反射により引き起こされる第２次スペックルとは区別されている。 As the coherent light beam passes through the diffuser and is projected onto the surface, a primary speckle pattern can be observed on the surface. This primary speckle is caused by interference in various components of the diffused beam. In this patent application and in the claims, “first order speckle” is used in this sense and is distinguished from second order speckle caused by diffuse reflection of coherent light from the rough surface of the subject.

Ｈａｒｔは、特許文献１および特許文献２（これらの開示は、本願中に参照することにより盛り込まれている）中で、高速三次元撮像システムにおけるスペックルパターンの使用について説明している。このシステムは、アクティブ撮像素子およびＣＣＤ素子を備えた単レンズカメラのサブシステムと、相関処理サブシステムとを有する。このアクティブ撮像素子は回転絞りでありえ、これにより、被写界深度をより大きくし、副画素の変位精度を高めるために、デフォーカス画像間で調節可能な非等辺間隔が可能になる。スペックルパターンは被写体上に投影され、結果として得られるパターンの画像は、複数の角度から得られる。これらの画像は、画像相関技術を用いて、局所的に相互相関され、各局所的に相関された領域の三次元座標を計算するために、その表面は、相対的なカメラの位置情報を用いて解像される。 Hart describes the use of speckle patterns in a high-speed three-dimensional imaging system in US Pat. This system has a single lens camera subsystem with an active imaging device and a CCD device, and a correlation processing subsystem. The active imaging element can be a rotary stop, which allows for adjustable non-equal spacing between defocused images to increase depth of field and increase subpixel displacement accuracy. The speckle pattern is projected onto the subject, and the resulting pattern image is obtained from multiple angles. These images are locally cross-correlated using image correlation techniques, and the surface uses relative camera position information to calculate the three-dimensional coordinates of each locally correlated region. To be resolved.

Ｈｕｎｔｅｒ他による特許文献３（この開示は、本願中に参照することにより盛り込まれている）には、別のスペックルベースの三次元撮像技術が記載されている。ランダムなスペックルパターンが、三次元面に投影され、複数のカメラにより撮像され、複数の二次元デジタル画像が得られる。二次元画像は処理され、面の三次元特徴が得られる。
台湾特許ＴＷ５２７５２８Ｂ号米国特許出願０９／６１６，６０６号米国特許６，１０１，２６９号 U.S. Pat. No. 6,057,017 by Hunter et al. (The disclosure of which is incorporated herein by reference) describes another speckle-based three-dimensional imaging technique. A random speckle pattern is projected onto a three-dimensional surface and captured by a plurality of cameras to obtain a plurality of two-dimensional digital images. The 2D image is processed to obtain 3D features of the surface.
Taiwan patent TW527528 B US patent application 09 / 616,606 US Pat. No. 6,101,269

本発明の実施形態は、第１次スペックルパターンを用いて実時間で、三次元被写体のマッピングを精確に行う。上記ＰＣＴ特許出願および下記の実施形態中に記載された方法とシステムでは、単一のコヒーレント光源と、この光源に対して相対的に静止しかつ固定角度で保持された単一の画像センサーとを用いてこのような三次元マッピングを行うことができる。 Embodiments of the present invention accurately map a three-dimensional subject in real time using a primary speckle pattern. In the methods and systems described in the above PCT patent application and the following embodiments, a single coherent light source and a single image sensor that is stationary relative to the light source and held at a fixed angle. Such a three-dimensional mapping can be performed.

本発明の１つの観点は、スペックルパターンの参照画像が、最初に既知の輪郭の参照面上で獲得されるという点である。次に、被写体上に投影されたスペックルパターンの画像を獲得し、この画像と参照画像とを比較することにより、被写体の三次元輪郭が決められる。 One aspect of the present invention is that a speckle pattern reference image is first acquired on a known contour reference plane. Next, an image of a speckle pattern projected on the subject is acquired, and the three-dimensional contour of the subject is determined by comparing this image with a reference image.

本発明の別の観点は、被写体が動くと共に、被写体上のスペックルパターンの連続画像が獲得されるという点である。三次元で被写体の動きを追跡するために、各画像は、先行する画像の１つまたは複数と比較される。以下で説明する１つの実施形態では、光源と画像センサーは、１つの直線上に配され、連続する画像間で１次元の相関係数を演算することにより、迅速でかつ精確に動きを追跡することができる。 Another aspect of the present invention is that a continuous image of a speckle pattern on the subject is acquired as the subject moves. Each image is compared to one or more of the preceding images in order to track the movement of the subject in three dimensions. In one embodiment described below, the light source and the image sensor are placed on a single line and track motion quickly and accurately by computing a one-dimensional correlation coefficient between successive images. be able to.

精度、被写界深度および三次元マッピングシステムの演算速度を高めるために、新規の照明および画像処理スキームを用いている実施形態もある。 Some embodiments use novel illumination and image processing schemes to increase accuracy, depth of field, and computational speed of the three-dimensional mapping system.

したがって、本発明の１実施形態によれば、被写体上に第１次スペックルパターンを投影するよう配されたコヒーレント光源と拡散板とを有する照明アセンブリと、照明アセンブリに対して相対的に、単一かつ固定の位置および角度から、被写体上の第１次スペックルパターン画像を獲得するように配された単一の画像獲得アセンブリと、被写体の三次元マップを導き出すために、単一かつ固定角度で獲得された第１次スペックルパターンの画像を処理するために接続されたプロセッサとを有する被写体の三次元マッピング装置が提供されている。 Therefore, according to one embodiment of the present invention, an illumination assembly having a coherent light source and a diffuser arranged to project a primary speckle pattern onto a subject, and a relative to the illumination assembly. A single image acquisition assembly arranged to acquire a first speckle pattern image on a subject from a single fixed location and angle, and a single fixed angle to derive a three-dimensional map of the subject There is provided a three-dimensional mapping apparatus for a subject having a processor connected to process an image of a primary speckle pattern obtained in step (1).

ある実施形態では、装置は、照明アセンブリに対して画像獲得アセンブリを空間的に固定させるために、照明アセンブリおよび画像獲得アセンブリに取り付けられているマウントを有する。ある実施形態では、画像獲得アセンブリは、第１および第２の互いに直交する軸を規定する直線パターン中に配された、検出素子アレイと、対物光学系とを有し、この対物光学系は、入射瞳を有し、画像をアレイ上にフォーカシングするために配され、ここで、第１軸に平行である装置の軸であって、かつ、入射瞳とコヒーレント光源により生成されるビームが拡散板を通過するスポットとを通る装置の軸を規定するように、照明アセンブリと画像獲得アセンブリとがマウントによって配されている。このように、第１軸上のみで、１つまたは複数の画像中で獲得された第１次スペックルパターンと、第１次スペックルパターンの参照画像との間でのオフセット値を見つけることにより、三次元マップを導き出すために、プロセッサが配されている。 In certain embodiments, the apparatus has a mount attached to the illumination assembly and the image acquisition assembly to spatially secure the image acquisition assembly relative to the illumination assembly. In some embodiments, the image acquisition assembly includes a detector array and objective optics arranged in a linear pattern defining first and second mutually orthogonal axes, the objective optics comprising: A beam having an entrance pupil and arranged for focusing the image on the array, wherein the beam is generated by the entrance pupil and the coherent light source and is parallel to the first axis. The illumination assembly and the image acquisition assembly are arranged by a mount so as to define an axis of the device through a spot passing through the device. Thus, by finding an offset value between the primary speckle pattern acquired in one or more images and the reference image of the primary speckle pattern only on the first axis. In order to derive a three-dimensional map, a processor is arranged.

１つまたは複数の画像中で獲得された被写体上の複数領域の第１次スペックルパターンと、第１次スペックルパターンの参照画像との間で、各オフセット値を見つけることにより三次元マップを導き出すために、プロセッサが配されており、各オフセットが、領域と画像獲得アセンブリとの間の各距離を示している実施形態もある。通常、画像獲得アセンブリは照明アセンブリから所定の間隔を隔てて位置づけられ、各オフセットは、この間隔により決められる割合で、各距離に比例している。開示された実施形態では、照明アセンブリにより投影される第１次スペックルパターンは、特徴的なサイズのスペックルを有し、画像中のスペックルのサイズは、間隔に依存する許容誤差により像全域で変動し、間隔は、許容誤差が所定の範囲内に収まるように選択される。 A three-dimensional map is obtained by finding each offset value between a primary speckle pattern of a plurality of regions on a subject acquired in one or a plurality of images and a reference image of the primary speckle pattern. In some embodiments, a processor is provided for deriving and each offset indicates a respective distance between the region and the image acquisition assembly. Typically, the image acquisition assembly is positioned at a predetermined distance from the illumination assembly, and each offset is proportional to each distance at a rate determined by this distance. In the disclosed embodiment, the primary speckle pattern projected by the illumination assembly has a characteristic size of speckle, and the size of the speckle in the image depends on the tolerance depending on the spacing. The interval is selected such that the tolerance is within a predetermined range.

追加的に、または、これに代えて、画像獲得アセンブリ中の歪曲のパラメータモデルを用いて、各オフセットを三次元マップの各座標に関連付けるように、プロセッサが配されている。さらに追加的に、または、これに代えて被写体の第１領域中の第１次スペックルパターンと、第１領域に対して相対的に第１オフセット値における参照画像のこれに対応する領域との間で、最初のマッチングを見つけることにより、各オフセットを見つけ、かつ第１の領域に隣接する画素の各オフセット値を見つけるために、第１オフセットに基づいて範囲拡張法を用いるように、プロセッサが配されている。 Additionally or alternatively, a processor is arranged to associate each offset with each coordinate of the three-dimensional map using a parametric model of distortion in the image acquisition assembly. Additionally or alternatively, a first speckle pattern in the first area of the subject and a corresponding area of the reference image at the first offset value relative to the first area. Between the processor to use a range expansion method based on the first offset to find each offset and find each offset value of a pixel adjacent to the first region by finding an initial match. It is arranged.

開示されたある実施形態では、被写体の三次元の動きのマッピングを行うために、被写体が動いている間に連続する獲得画像を処理するように、プロセッサが配されており、被写体は、人間の体の一部分であり、三次元の動きは、人間の体の一部分により行われるジェスチャーであり、ジェスチャーに応答して、コンピュータアプリケーションに入力を提供するために、プロセッサが接続されている。 In certain disclosed embodiments, a processor is arranged to process successive acquired images while the subject is moving in order to map the three-dimensional motion of the subject, A body part, a three-dimensional movement, is a gesture made by a part of the human body, to which a processor is connected to provide input to a computer application in response to the gesture.

照明アセンブリが、ビーム形成装置を有し、これは、装置の検出ボリュームの全域で、拡散板により作られるスペックルパターンのコントラストの変動を減らすように配されている実施形態もある。ある実施形態では、ビーム形成装置は、回折光学素子（ＤＯＥ）と、拡散板のフーリエ面を規定するように配されたレンズとを有し、ＤＯＥは、フーリエ面中に位置づけられている。ビーム形成装置は、拡散板から発せられる光の発散を減らすために配されてもよく、あるいは、拡散板から発せられる光の強度を、照明アセンブリの光軸に横断する面全面で等しくするために配されてもよい。 In some embodiments, the illumination assembly has a beam shaping device that is arranged to reduce the variation in the contrast of the speckle pattern created by the diffuser across the detection volume of the device. In one embodiment, the beam former has a diffractive optical element (DOE) and a lens arranged to define a Fourier plane of the diffuser, the DOE being positioned in the Fourier plane. The beam shaping device may be arranged to reduce the divergence of the light emitted from the diffuser, or to equalize the intensity of the light emitted from the diffuser across the entire plane transverse to the optical axis of the illumination assembly. It may be arranged.

ある実施形態では、プロセッサは、光学相関器を有し、この光学相関器は、参照スペックルパターンを含む回折光学素子（ＤＯＥ）を有し、また、画像獲得アセンブリは、被写体の複数の副画像をＤＯＥ上に投影し、被写体の三次元座標を示す各相関ピークを発生させるように配されたレンズレットアレイを有する。 In some embodiments, the processor includes an optical correlator, the optical correlator includes a diffractive optical element (DOE) that includes a reference speckle pattern, and the image acquisition assembly includes a plurality of sub-images of the subject. Is projected onto the DOE and has a lenslet array arranged to generate each correlation peak indicating the three-dimensional coordinates of the subject.

コヒーレント光源のコヒーレンス長が、１ｃｍ未満である実施形態もある。追加的に、または、これに代えて第１次スペックルパターンは、特徴的なサイズを有するスペックルを有し、コヒーレント光源と拡散板との間の距離を変えることにより、スペックルの特徴的なサイズを調節することができるように、照明アセンブリが構成されている。 In some embodiments, the coherence length of the coherent light source is less than 1 cm. Additionally or alternatively, the primary speckle pattern has speckles having a characteristic size and is characterized by changing the distance between the coherent light source and the diffuser. The lighting assembly is configured so that the correct size can be adjusted.

本発明の１実施形態によれば、被写体上に第１次スペックルパターンを投影するようために、光源から拡散されたコヒーレント光のビームで、被写体を照明する工程と、光源に対して相対的に、単一かつ固定の位置および角度から、被写体上の第１次スペックルパターンの画像を獲得する工程と、被写体の三次元マップを導き出すために、単一かつ固定角度で獲得された第１次スペックルパターンの画像を処理する工程とを有する被写体の三次元マッピング方法が提供される。 According to an embodiment of the present invention, in order to project a primary speckle pattern onto a subject, the step of illuminating the subject with a beam of coherent light diffused from the light source and relative to the light source And obtaining a first speckle pattern image on the subject from a single and fixed position and angle, and a first obtained at a single and fixed angle to derive a three-dimensional map of the subject. And a method of processing a next speckle pattern image.

さらに追加して、本発明の１実施形態によれば、コヒーレンス長が１ｃｍ未満であるコヒーレント光源と拡散板とを有し、これらが被写体上に第１次スペックルパターンを投影するよう配された、照明アセンブリと、被写体上の第１次スペックルパターン画像を獲得するように配された画像獲得アセンブリと、被写体の三次元マップを導き出すために、第１次スペックルパターンの画像を処理するために接続されたプロセッサとを有する被写体の三次元マッピング装置が提供される。 In addition, according to one embodiment of the present invention, a coherent light source having a coherence length of less than 1 cm and a diffuser plate are arranged to project a primary speckle pattern on a subject. A lighting assembly, an image acquisition assembly arranged to acquire a primary speckle pattern image on a subject, and a first speckle pattern image to derive a three-dimensional map of the subject. A three-dimensional mapping apparatus for a subject having a processor connected to the computer.

ある実施形態では、コヒーレント光源のコヒーレンス長は０．５ｍｍ未満である。追加的に、または、これに代えて、コヒーレント光源の発散は５°より大きい。 In certain embodiments, the coherence length of the coherent light source is less than 0.5 mm. Additionally or alternatively, the divergence of the coherent light source is greater than 5 °.

本発明は、以下の本発明の実施形態の詳細な説明を図面と共に参照すると、より完全に理解されるであろう。 The present invention will be more fully understood by reference to the following detailed description of embodiments of the invention in conjunction with the drawings.

（図面の簡単な説明）
図１は、本発明の１実施形態による三次元マッピングシステムを絵で示した概略図である。

図２は、本発明の１実施形態によるスペックル撮像装置の概略上面図である。

図３は、本発明の１実施形態による三次元マッピング方法を概略的に示したフローチャートである。

図４は、本発明の別の実施形態による、三次元マッピングシステムで用いられる照明アセンブリの概略側面図である。

図５は、本発明の１実施形態によるビーム形成装置の概略側面図である。

図６は、本発明のさらに別の実施形態によるビーム形成装置の概略側面図である。

図７は、本発明のさらに別の１実施形態による、三次元マッピングシステムで用いられる光学相関器の概略側面図である。 (Brief description of the drawings)
FIG. 1 is a schematic diagram illustrating a three-dimensional mapping system according to an embodiment of the present invention.

FIG. 2 is a schematic top view of a speckle imaging device according to an embodiment of the present invention.

FIG. 3 is a flowchart schematically illustrating a 3D mapping method according to an exemplary embodiment of the present invention.

FIG. 4 is a schematic side view of a lighting assembly used in a three-dimensional mapping system according to another embodiment of the present invention.

FIG. 5 is a schematic side view of a beam forming apparatus according to an embodiment of the present invention.

FIG. 6 is a schematic side view of a beam forming apparatus according to still another embodiment of the present invention.

FIG. 7 is a schematic side view of an optical correlator used in a three-dimensional mapping system according to yet another embodiment of the present invention.

図１は、本発明の１実施形態による三次元マッピングシステム２０を絵で示した概略図である。システム２０は、スペックル撮像装置２２を有し、この装置は、第１次スペックルパターンを生成し、被写体２８に投影し、この被写体上に現れた第１次スペックルパターンの像を獲得する。装置２２の詳細な設計および作用は以下の図面に示し、これに関連して以下に説明する。 FIG. 1 is a schematic diagram illustrating a three-dimensional mapping system 20 according to an embodiment of the present invention. The system 20 includes a speckle imaging device 22, which generates a primary speckle pattern, projects it on a subject 28, and acquires an image of the primary speckle pattern that appears on the subject. . The detailed design and operation of the device 22 is shown in the following drawings and will be described below in connection therewith.

画像プロセッサ２４は、被写体２８の三次元マップを得るために、装置２２により生成された画像データを処理する。本特許出願および請求項で用いられる「三次元マップ」という用語は、被写体面を表す三次元座標群を指す。画像データに基づいてこのようなマップを導き出すことは、「三次元再構成」と呼ぶこともできる。このような再構成を行う画像プロセッサ２４は、汎用コンピュータプロセッサを有することができ、ソフトウェア中で、以下に説明する機能を実施するためのプログラミングがされている。このソフトウェアは、例えばネットワークを介して電子的な形態で、プロセッサ２４にダウンロードされてもよいし、あるいは、光学、磁力または電子メモリ媒体などの有形メディア上で提供されていてもよい。あるいはまたはこれに加えて、この画像プロセッサのいくつかのまたは全ての機能は、特注または半特注の集積回路またはプログラム可能なデジタル信号プロセッサ（ＤＳＰ）などの、専用ハードウェア中に実装されてもよい。プロセッサ２４は、図１には、例として撮像装置２２とは別体のユニットとして示すが、プロセッサ２４のいくつかのまたは全ての処理機能は、撮像装置の筐体内で適切な専用の回路によって、または別の方法で撮像装置と関連付けて実施されてもよい。 The image processor 24 processes the image data generated by the device 22 to obtain a three-dimensional map of the subject 28. The term “three-dimensional map” used in the present patent application and claims refers to a group of three-dimensional coordinates representing a subject surface. Deriving such a map based on image data can also be referred to as “three-dimensional reconstruction”. The image processor 24 that performs such reconstruction can have a general-purpose computer processor, and is programmed in software to perform the functions described below. This software may be downloaded to the processor 24 in electronic form, for example via a network, or may be provided on tangible media such as optical, magnetic or electronic memory media. Alternatively or in addition, some or all of the functionality of the image processor may be implemented in dedicated hardware, such as a custom or semi-custom integrated circuit or a programmable digital signal processor (DSP). . Although the processor 24 is shown in FIG. 1 as an example separate unit from the imaging device 22, some or all of the processing functions of the processor 24 are performed by appropriate dedicated circuitry within the housing of the imaging device. Alternatively, it may be performed in association with the imaging apparatus by another method.

プロセッサ２４により生成された三次元マップは、広範囲の様々な目的に用いられることができる。例えば、このマップは、被写体の擬似三次元像を示すディスプレイ２６のような出力装置に送ることができる。図１の例では、被写体２８は、題材となる体の全部分またはその一部（例えば、手）を有する。この場合、システム２０は、ジェスチャーベースのユーザインタフェースを提供するために用いられることができ、装置２２により検出されたユーザの動きが、マウス、ジョイスティックやその他のアクセサリなどの触知型インタフェース部材に代わって、ゲームなどの対話型のコンピュータアプリケーションを制御する。あるいは、システム２０を用いて、三次元座標の輪郭が必要となる実質的にいかなるアプリケーションのために、これ以外の種類の被写体の三次元マップを作ってもよい。 The three-dimensional map generated by the processor 24 can be used for a wide variety of purposes. For example, the map can be sent to an output device such as a display 26 showing a pseudo 3D image of the subject. In the example of FIG. 1, the subject 28 has the whole body part or a part thereof (for example, a hand) as a subject. In this case, the system 20 can be used to provide a gesture-based user interface, where user movement detected by the device 22 is substituted for a tactile interface member such as a mouse, joystick or other accessory. Control interactive computer applications such as games. Alternatively, the system 20 may be used to create a 3D map of other types of subjects for virtually any application where 3D coordinate contours are required.

図２は、本発明の１実施形態による装置２２の概略上面図である。照明アセンブリ３０は、コヒーレント光源３２を有する。これは通常レーザおよび拡散板３３である。（本特許出願の分脈中では、「光」という用語は、いずれの種類の光学線をも指し、例えば、赤外線、紫外線および可視光線を含む。）光源３２より発せられた光のビームは、半径ｗ_０のスポット３４で、拡散板３３を通過し、発散ビーム３６を発生させる。上述のＰＣＴ特許出願ＰＣＴ／ＩＬ２００６／０００３３５号で説明したように、拡散板３４によりＺ_ｏｂｊ１およびＺ_ｏｂｊ２の距離に作られた第１次スペックルパターンは、Ｚ_ｏｂｊ１およびＺ_ｏｂｊ２の距離が、被写体距離Ｚ_ｏｂｊにおけるスペックルパターンの軸上サイズΔＺが、ΔＺ＝（Ｚ_ｏｂｊ／ｗ_０）^２・λにより与えられた距離の範囲にある場合は、互いの線型でスケーリングされたバージョンの近似値である。 FIG. 2 is a schematic top view of an apparatus 22 according to one embodiment of the present invention. The illumination assembly 30 has a coherent light source 32. This is usually a laser and diffuser plate 33. (In the branch of this patent application, the term “light” refers to any kind of optical line, including, for example, infrared, ultraviolet and visible light.) The beam of light emitted from the light source 32 has a radius A spot 34 of w ₀ passes through the diffuser plate 33 and generates a divergent beam 36. As described in the above-mentioned PCT patent application PCT / IL2006 / 000335, the first speckle pattern created by the diffuser plate 34 at a distance of Z _obj1 and Z _{obj2 has} a distance of Z _obj1 and Z _obj2 of If the on-axis size ΔZ of the speckle pattern at the distance Z _obj is in the distance range given by ΔZ = (Z _obj / w ₀ ) ² · λ, it is an approximation of a linearly scaled version of each other is there.

画像獲得アセンブリ３８は、被写体２８上に投影されたスペックルパターンの画像を獲得する。アセンブリ３８は、画像を画像センサー４０上にフォーカシングする対物光学系３９を有する。通常、センサー４０は、ＣＣＤまたはＣＭＯＳベースの画像センサーアレイなどの、検出素子４１の直線アレイを有する。対物光学系３９は、画像センサーの寸法と共に画像獲得アセンブリの視野４４を規定する入射瞳４２を有する。この装置２２の検出ボリュームは、ビーム３６と視野４４との間で重複領域４６を有する。 The image acquisition assembly 38 acquires an image of a speckle pattern projected on the subject 28. The assembly 38 has an objective optical system 39 that focuses an image on the image sensor 40. Typically, sensor 40 has a linear array of detector elements 41, such as a CCD or CMOS based image sensor array. The objective optics 39 has an entrance pupil 42 that defines the field of view 44 of the image acquisition assembly along with the dimensions of the image sensor. The detection volume of this device 22 has an overlap region 46 between the beam 36 and the field of view 44.

Ｚ_ｏｂｊの距離において照明アセンブリ３０により投影された特徴的な横断方向のスペックルサイズ（これは、スペックルパターンの二次的な統計により規定される）は、ΔＸ＝（Ｚ_ｏｂｊ／Ｗ_０）・λである。発明者らは、光学像処理の効率のためには、センサー４０上に結像されるスペックルサイズは、範囲要求および解像度要求に応じて、１〜１０画素であるべきで、すなわち、光学系３９によりセンサー４０上に結像される各スペックルは、水平方向に１〜１０個の検出素子４１上に伸びていると見出した。通常のアプリケーションでは、スペックルサイズは、２〜３画素で、よい結果をもたらす。 The characteristic transverse speckle size projected by the lighting assembly 30 at a distance of Z _obj (which is defined by the secondary statistics of the speckle pattern) is ΔX = (Z _obj / W ₀ ) • λ. The inventors have found that for the efficiency of optical image processing, the speckle size imaged on the sensor 40 should be between 1 and 10 pixels depending on the range and resolution requirements, i.e. the optical system. It was found that each speckle imaged on the sensor 40 by 39 extends on 1 to 10 detection elements 41 in the horizontal direction. In normal applications, the speckle size is 2-3 pixels and gives good results.

上のΔＸに関する式から、スペックルサイズは、光源３２と拡散板３３との間の距離を変えることにより調節可能であることがわかるが、これはスポット３４の半径ｗ_０が、光源からの距離が長くなるにつれ、大きくなるからである。このように、照明アセンブリ３０のスペックルパラメータは、レンズやその他の光学系を用いずとも、単に光源を横方向に移動させることによって、制御可能である。照明アセンブリ３０は、このように、異なるサイズと解像度の画像センサーと連携することにより、および異なる倍率の対物光学系と連携することにより調節可能である。上述のパラメータの要求によりスペックルサイズを小さくすることにより、レーザダイオードのような安価な光源を、発散を大きくして（５°以上）かつコヒーレンス長を短くすることにより（１ｃｍ未満、および場合によっては、０．５ｍｍ未満）、システム２０中で用いて、よい効果を出すことができる。 From the above equation for ΔX, it can be seen that the speckle size can be adjusted by changing the distance between the light source 32 and the diffuser plate 33. This is because the radius w _{0 of the} spot 34 is the distance from the light source. This is because as the length increases, the length increases. Thus, the speckle parameters of the illumination assembly 30 can be controlled by simply moving the light source laterally without using a lens or other optical system. The illumination assembly 30 can thus be adjusted by working with different size and resolution image sensors and by working with different magnification objective optics. By reducing the speckle size according to the requirements of the above parameters, an inexpensive light source such as a laser diode can be produced by increasing the divergence (more than 5 °) and shortening the coherence length (less than 1 cm, and in some cases Can be used in the system 20 to produce good effects.

照明アセンブリ３０および画像獲得アセンブリ３８は、マウント４３により空間中、固定関係で保持されている。図２に図示する実施形態では、このマウントは、これらのアセンブリを保持する筐体を有する。あるいは、これ以外の適切な機械的なマウントを用いて、照明アセンブリと画像獲得アセンブリとの間の所望の空間的関係を維持することができる。装置２２の構成および以下に示す処理技術により、照明アセンブリと画像獲得アセンブリとの間を相対的に動かさずとも、また、パーツを動かさずとも、単一の画像獲得アセンブリを用いて三次元マッピングを行うことができる。画像獲得アセンブリ３８は、このように、照明アセンブリ３０に対して相対的に単一かつ固定的な角度において、画像を獲得することができる。 The illumination assembly 30 and the image acquisition assembly 38 are held in a fixed relationship in space by a mount 43. In the embodiment illustrated in FIG. 2, the mount has a housing that holds these assemblies. Alternatively, other suitable mechanical mounts can be used to maintain the desired spatial relationship between the illumination assembly and the image acquisition assembly. The configuration of the apparatus 22 and the processing techniques described below allow for a three-dimensional mapping using a single image acquisition assembly without relative movement between the illumination assembly and the image acquisition assembly and without moving parts. It can be carried out. The image acquisition assembly 38 can thus acquire an image at a single and fixed angle relative to the illumination assembly 30.

三次元マップの演算を単純にし、被写体２８の移動によるマップの変化を単純化するために、以下に示すように、入射瞳４２の中心とスポット３４とを通る軸が、センサー４０の軸のうちの１つに対して平行になるように、マウント４３が２つのアセンブリ３０・３８を保持することが好ましい。すなわち、（対物光学系３０の光軸を原点にして）互いに直交するＸ軸とＹ軸を規定するために、検出素子４１のアレイの列および行を取ると、瞳４２とスポット３４を通る軸は、アレイの軸のうちの１つ（便宜上、Ｘ軸とする）と平行であるべきである。この配置の利点は、以下にさらに説明する。 In order to simplify the calculation of the three-dimensional map and simplify the change of the map due to the movement of the subject 28, the axis passing through the center of the entrance pupil 42 and the spot 34 is the axis of the sensor 40 as shown below. Preferably, the mount 43 holds the two assemblies 30 and 38 so that they are parallel to one of the two. In other words, in order to define an X axis and a Y axis that are orthogonal to each other (with the optical axis of the objective optical system 30 as the origin), taking the columns and rows of the array of detection elements 41, the axis passing through the pupil 42 and the spot 34 Should be parallel to one of the axes of the array (for convenience, the X axis). The advantages of this arrangement are further explained below.

（スポット３４と瞳４２の中心をそれぞれ通る）アセンブリ３０・３８の各光軸は、距離Ｓだけ離れている。これゆえに、Ｚ_ｏｂｊが変わると、画像獲得アセンブリ３８により獲得された被写体画像中に、スペックルパターンの歪曲が生じる。特に、三角測距では、図２からわかるように、被写体上の点がＺ軸方向にδＺだけシフトすると、画像中に観察されるスペックルパターン中に付随して生じる横断方向のシフトδＸが、δＸ≡δＺ・Ｓ／Ｚ_ｏｂｊのように引き起こされる。 The optical axes of the assemblies 30 and 38 (passing through the centers of the spot 34 and the pupil 42, respectively) are separated by a distance S. Therefore, when Z _obj changes, the speckle pattern is distorted in the subject image acquired by the image acquisition assembly 38. In particular, in triangulation, as can be seen from FIG. 2, when a point on the subject is shifted by δZ in the Z-axis direction, a transverse shift δX that accompanies the speckle pattern observed in the image is Triggered as δX≡δZ · S / Z _obj .

被写体上の点のＺ座標および時間経過によるＺ座標のシフトは、既知の距離Ｚで得られた参照画像に対して相対的に生じた、アセンブリ３８により獲得された像中のスペックルのＸ座標のシフトを測定することにより、算出可能である。すなわち、参照画像中で最もマッチングするスペックル群を見つけるために、獲得された画像の各領域におけるスペックル群は、参照画像と比較される。画像中のスペックルのマッチングする群間で相対的なシフトをすることにより、参照画像に対して相対的である、獲得画像の領域のＺ方向のシフトがわかる。スペックルパターンのシフトは、画像相関法またはこれ以外の当該技術分野で公知である画像マッチング演算方法を用いて測定されうる。この方法のいくつかは、上述のＰＣＴ特許出願に記載されている。装置２２と共に適用される特に有用な別の方法は、２００６年３月２４日出願の米国仮特許出願６０／７８５，２０２号（本件特許出願の譲渡人に譲渡され、その開示は本願中に参照することにより盛り込まれている。）に記載されている。 The Z coordinate of the point on the subject and the Z coordinate shift over time occurred relative to the reference image obtained at a known distance Z, and the X coordinate of the speckle in the image acquired by the assembly 38. Can be calculated by measuring the shift. That is, the speckle group in each region of the acquired image is compared with the reference image to find the most matched speckle group in the reference image. By shifting relative between the groups of speckle matching in the image, a shift in the Z direction of the area of the acquired image relative to the reference image is known. The shift of the speckle pattern can be measured using an image correlation method or an image matching calculation method known in the technical field. Some of these methods are described in the above-mentioned PCT patent application. Another particularly useful method applied with apparatus 22 is U.S. Provisional Patent Application 60 / 785,202, filed Mar. 24, 2006 (assigned to the assignee of the present patent application, the disclosure of which is hereby incorporated by reference). It is included by doing.)

さらに、図２に図示したような、瞳４２とスポット３４とを通るＸ軸が、センサー４０のＸ軸に平行である配置では、スペックルパターンのシフトδＺが、（光学系３９による歪曲が無視できる限り）、厳密にＸ方向に限られ、シフトのＹ成分は存在しない。したがって、画像マッチング演算は、単純化され、Ｘシフトによるスペックルの最も近いマッチング群を探す必要があるだけである。すなわち、現在の画像中、参照画像（スペックルパターンの先行するいずれの画像でありうる）に対して相対的に、エリアのδＺを算出するために、参照画像に対してＸ軸方向にシフトさせた現在画像の領域のコピーをチェックするだけで、参照画像に最もよくマッチするシフトδＸの値を見つけることができる。 Furthermore, in an arrangement in which the X axis passing through the pupil 42 and the spot 34 is parallel to the X axis of the sensor 40 as shown in FIG. 2, the speckle pattern shift δZ is (ignoring distortion caused by the optical system 39). As far as possible) it is strictly limited to the X direction and there is no Y component of the shift. Therefore, the image matching operation is simplified and it is only necessary to search for the closest matching group of speckles due to X shift. That is, in order to calculate δZ of the area relative to the reference image (which can be any image preceding the speckle pattern) in the current image, the reference image is shifted in the X-axis direction. By simply checking a copy of the current image area, the value of the shift δX that best matches the reference image can be found.

あるいは、装置２２の部材の幾何学的配置が、上述の基準からずれている場合、またはレンズ歪曲が重大である場合は、プロセッサは、このずれを補償するためのパラメータモデルを用いることができる。すなわち、既知のずれを測定し、またはその他の方法でモデリングし、プロセッサは、被写体面の実際の三次元座標を見つけるために、ずれのパラメータモデルに応じて、参照画像に対して相対的に適切な（Ｘ，Ｙ）方向でのシフトさせた現在の画像のエリアのコピーをチェックすることができる。 Alternatively, if the geometry of the components of the device 22 deviates from the above criteria, or if lens distortion is significant, the processor can use a parametric model to compensate for this deviation. That is, a known displacement is measured or otherwise modeled, and the processor is appropriate relative to the reference image, depending on the displacement parameter model, to find the actual 3D coordinates of the object plane A copy of the current image area shifted in the (X, Y) direction can be checked.

通常、構成および演算面での便宜上、システム２０の作動パラメータは、Ｓ＜＜Ｚ_ｏｂｊになるように選択される。（一方、システム２０のＺ方向の解像度は、Ｓ／Ｚ_ｏｂｊの割合に依存するので、所望の解像度を得るためには、Ｓはシステムの意図する作動距離に対して相対的に十分大きくなくてはならず、）Ｓ＜＜Ｚ_ｏｂｊである限り、照明アセンブリおよび画像獲得アセンブリから、各被写体点までの各距離の値は、近い値となるが、しかし一般的には完全に等しくはならない。したがって、アセンブリ３８により獲得されたスペックルパターンの像中のスペックルのスケールは、エリア４６全域で、いくらかの誤差γを持って変動する。当該分野で公知の演算方法のいくつかを上述のＰＣＴ特許出願中で記載したが、これらを用いて、現在の画像のマッチング領域中のこれらのスケールの変動を、参照画像の対応する領域に対して補償することができる。 Usually, for operational convenience and configuration, the operating parameters of the system 20 are selected to be S << Z _obj . (On the other hand, since the resolution in the Z direction of the system 20 depends on the ratio of S / Z _obj , S is not sufficiently large relative to the intended working distance of the system to obtain the desired resolution. As long as S) << Z _obj , the value of each distance from the illumination assembly and the image acquisition assembly to each subject point will be close, but generally not completely equal. Accordingly, the speckle scale in the speckle pattern image acquired by the assembly 38 varies with some error γ across the area 46. Some of the computation methods known in the art have been described in the above-mentioned PCT patent application, and these are used to account for these scale variations in the matching region of the current image relative to the corresponding region of the reference image. Can be compensated.

しかし、一般的には、プロセッサ２４に過剰な演算負荷をかけないようにするため、マッチングさせるウィンドウのサイズに応じて、および、特徴的なスペックルサイズに応じて、γをある所定の限界範囲内に維持することが望まれる。発明者らは、全般的に、特徴的なウィンドウのスケーリングの変動が、１つのスペックルサイズの３０％を上回らない範囲に、γを限定すべきであると見出した。画像獲得アセンブリ３８の視野の対角θを用いると、γ≡１±（Ｓ・ｓｉｎ（θ）／２・Ｚ_ｏｂｊ）である。したがって、サイズＮのウィンドウの局所的なスペックルパターンの実質的なスケール普遍性は、（Ｓ・ｓｉｎ（θ）・Ｎ／２・Ｚ_ｏｂｊ）＜０．３（λ・Ｚ_ｏｂｊ／ｗ_０・ｐｓｉｚｅ（Ｚ_ｏｂｊ））であり、ここで、ｐｓｉｚｅ（Ｚ_ｏｂｊ）は、Ｚ_ｏｂｊにおける画素のサイズである。これらの条件の下で、アセンブリ３８により獲得された連続する像フレーム中での被写体のＺ軸方向のシフトは、一般に、スペックルスケーリングを明らかに考慮することなく演算されうる。 However, in general, in order not to put an excessive calculation load on the processor 24, γ is set to a predetermined limit range according to the size of a window to be matched and according to a characteristic speckle size. It is desirable to maintain within. The inventors have generally found that γ should be limited to a range where the characteristic window scaling variation does not exceed 30% of one speckle size. Using the diagonal θ of the field of view of the image acquisition assembly 38, γ≡1 ± (S · sin (θ) / 2 · Z _obj ). Therefore, the substantial scale universality of the local speckle pattern of the window of size N is (S · sin (θ) · N / 2 · Z _obj ) <0.3 (λ · Z _obj / w ₀ · psize (Z _obj )), where psize (Z _obj ) is the size of the pixel in Z _obj . Under these conditions, the Z-axis shift of the subject in successive image frames acquired by the assembly 38 can generally be computed without explicitly considering speckle scaling.

図３は、システム２０を用いた、本発明の１実施形態による三次元マッピング方法を概略的に示したフローチャートである。この方法は、とりわけ、照明アセンブリ３０により投影されたスペックルパターンが、時間の経過に応じて実質的に変化しない場合の実施に基づいている。これゆえに、アセンブリに対して相対的に固定位置かつ固定角度にある画像獲得アセンブリ３８により獲得された、被写体上に投影されたスペックルパターンの各像を用いて、被写体の三次元マップを精確に演算することができる。 FIG. 3 is a flowchart schematically illustrating a three-dimensional mapping method using the system 20 according to an embodiment of the present invention. This method is based, inter alia, on implementations where the speckle pattern projected by the lighting assembly 30 does not substantially change over time. Therefore, the speckle pattern images projected on the subject acquired by the image acquisition assembly 38 at a fixed position and at a fixed angle relative to the assembly are used to accurately determine the three-dimensional map of the subject. It can be calculated.

被写体をマッピングする前に、既知の空間輪郭を有しかつ装置２２から既知の距離だけ離れたある被写体へ、アセンブリ３０からスペックルパターンを投影することにより、装置２２の較正を行う。（較正ステップ５０）通常、このために、既知の距離Ｚ_ｏｂｊにおいて、領域４６全域に伸びている平坦な被写体を、較正目標として用いる。画像獲得アセンブリ３８は、被写体の参照画像を獲得し、これがプロセッサ２４のメモリ中に保存される。この較正ステップは、製造時に行われてもよく、メモリ中に保存された参照画像は、装置２２の様々な部品間での相対的な移動が制御なしに行われない限り、このフィールドにおいて用いることができる。メモリを節約し、続く演算を単純化するために、参照画像は、用いるマッチングアルゴリズムにとって適切であるような、閾値に基づいたバイナリ画像などの、データ量を減らした形式で保存することもできる。 Prior to mapping the subject, the device 22 is calibrated by projecting a speckle pattern from the assembly 30 onto a subject having a known spatial contour and a known distance away from the device 22. (Calibration step 50) Typically, for this purpose, a flat object extending across the region 46 at a known distance Z _obj is used as the calibration target. The image acquisition assembly 38 acquires a reference image of the subject, which is stored in the memory of the processor 24. This calibration step may be performed at the time of manufacture, and the reference image stored in memory should be used in this field unless relative movement between the various parts of the device 22 is performed without control. Can do. To save memory and simplify subsequent operations, the reference image can also be stored in a reduced amount of data, such as a binary image based on a threshold, as appropriate for the matching algorithm used.

システム２０が使用可能な状態になると、装置２２を用いて興味のある被写体（この場合、被写体２８）の画像を獲得するために、システム２０は活性化される（最初の画像獲得ステップ５２）。プロセッサ２４は、この画像を、保存された較正画像中のスペックルパターンと比較する（マップ演算ステップ５４）。画素値が、所定の閾値未満である（あるいは、重要なスペックル情報を含まない）画像の暗い領域は、通常、影領域として分類され、ここからは深さ（Ｚ）情報は、取り出されえない。画像のこれ以外の部分は、おそらくは当該分野において公知の適応的閾値を用いて２値化されることができるか、またはこれ以外の方法でデータ量を減らすことができ、参照画像に対して効率的にマッチングできるようにする。 When the system 20 is ready for use, the system 20 is activated (first image acquisition step 52) to acquire an image of the subject of interest (in this case, the subject 28) using the device 22. The processor 24 compares this image with the speckle pattern in the stored calibration image (map calculation step 54). Dark regions of an image whose pixel value is less than a predetermined threshold (or does not contain important speckle information) are usually classified as shadow regions from which depth (Z) information can be extracted. Absent. The rest of the image can be binarized, possibly using adaptive thresholds known in the art, or can be reduced in other ways to reduce the amount of data and be efficient relative to the reference image. To be able to match.

プロセッサ２４は、画像の非影部分内の、あるウィンドウを選択し、このウィンドウ内の副画像を、参照画像の部分と比較し、この副画像が最もよくマッチングする参照画像の部分が見つかるまでこれを続ける。上述し、図２に図示したように、アセンブリ３０・３８が、Ｘ軸に沿って配されている場合、プロセッサは、副画像を、副画像に対して相対的にＸ方向で変位している参照画像の部分（上述のように、倍率γまでの倍率でスペックルパターンのスケーリングがされている）と比較するので十分である。プロセッサは、参照画像のマッチング部分に対して相対的な、副画像の横断方向でのオフセットを用いて、上述の三角測距の原理に基づいて、副画像内の被写体２８面の領域のＺ座標を決める。被写体面のこの領域がＸ−Ｙ面方向にあるのではなく、傾いていたら、副画像内のスペックルパターンは、歪曲を示す。プロセッサ２４は、任意であるがスペックル歪曲を分析し、傾斜角度を見積り、これにより三次元マッピングの精度を改善することもできる。 The processor 24 selects a window in the non-shadow part of the image, compares the sub-image in this window with the part of the reference image, and finds it until the part of the reference image that best matches the sub-image is found. Continue. As described above and illustrated in FIG. 2, when the assemblies 30 and 38 are arranged along the X axis, the processor displaces the sub-image in the X direction relative to the sub-image. It is sufficient to compare with the reference image portion (the speckle pattern is scaled at a magnification up to the magnification γ as described above). The processor uses the offset in the transverse direction of the sub-image relative to the matching portion of the reference image, and based on the principle of triangulation described above, the Z coordinate of the area of the subject 28 plane in the sub-image Decide. If this area of the object plane is not in the XY plane direction but is tilted, the speckle pattern in the sub-image shows distortion. The processor 24 can optionally analyze speckle distortion and estimate the tilt angle, thereby improving the accuracy of the three-dimensional mapping.

プロセッサ２４は、この第１ウィンドウのマップ座標を出発点として用いて、画像の隣接する領域の座標を算出してもよい。とりわけ、プロセッサが、画像内のある領域と、参照画像内の対応する領域との間に高い相関を見つけると、この領域の参照画像に対する相対的なオフセットは、画像内の隣接する画素のオフセットをうまく予測するのに役立ちうる。プロセッサは、これらの隣接する画素を、初めにマッチングした領域のオフセットに等しいオフセット、またはこれに近い範囲内でのオフセットでもって、参照画像にマッチングさせようとする。このようにして、プロセッサは、マッチング領域の範囲を拡大し、この範囲が端に達するまで、これを続ける。プロセッサは、このようにして、被写体２８の三次元輪郭が完成するまで、像の非影領域のＺ座標を算出する。この手法は、小さいウィンドウおよび信号雑音比が悪い画像を用いても、迅速にかつ頑健なマッチングができるという利点がある。この目的のために使用可能な演算方法の詳細は、上述のＰＣＴ特許出願中に記載されている。 The processor 24 may calculate the coordinates of adjacent areas of the image using the map coordinates of the first window as a starting point. In particular, when the processor finds a high correlation between a region in the image and the corresponding region in the reference image, the relative offset of this region with respect to the reference image is the offset of adjacent pixels in the image. Can help predict well. The processor attempts to match these adjacent pixels to the reference image with an offset equal to or close to the offset of the initially matched region. In this way, the processor expands the range of the matching region and continues this until it reaches the end. In this way, the processor calculates the Z coordinate of the non-shadow region of the image until the three-dimensional contour of the subject 28 is completed. This approach has the advantage of being able to perform fast and robust matching even with small windows and images with a poor signal-to-noise ratio. Details of the computing methods that can be used for this purpose are described in the aforementioned PCT patent application.

上述のステップの結果、プロセッサ２４は、最初の画像中で見ることができる被写体面の部分の完全な三次元マップを演算した。しかし、被写体の三次元の動きを追跡するために、この方法を拡張し、連続画像を獲得し、分析することも容易に可能である（次の画像ステップ５６）。装置２２は、所定のフレーム速度で連続画像を獲得し、プロセッサ２４は、各連続画像に基づいて三次元マップを更新する。三次元マップは、望ましい場合、保存されかつ較正された参照画像に対して演算されてもよい。あるいは、被写体は、通常１つの画像フレームから次の画像フレームへとそれほど移動しないので、各連続画像を次のフレーム用の参照画像として用いるのが、しばしばより効率的である。 As a result of the above steps, the processor 24 has computed a complete three-dimensional map of the portion of the object plane that can be seen in the first image. However, it is also possible to easily extend this method to acquire and analyze successive images to track the three-dimensional movement of the subject (next image step 56). The device 22 acquires successive images at a predetermined frame rate, and the processor 24 updates the three-dimensional map based on each successive image. The three-dimensional map may be computed on a stored and calibrated reference image if desired. Alternatively, the subject typically does not move much from one image frame to the next, so it is often more efficient to use each successive image as a reference image for the next frame.

このようにして、プロセッサ２４は、各副画像のスペックルの、先行する画像中の同じスペックルに対するＸ方向の相対的なシフトを演算するために、各連続画像を先行する画像に比較することができる（シフト演算ステップ５８）。通常、このシフトは数画素以上にはならないので、演算を迅速に、かつ効率的に行うことができる。各新しい画像がこのように処理された後、プロセッサ２４は、更新した三次元マップを出力する（新しいマップ出力ステップ６０）。この画像獲得および更新のプロセスは、このようにして無限に行われうる。連続三次元マップの演算が容易であるので、システム２０は、単純で、低コストの画像ハードウェアおよび処理ハードウェアを使用しつつ、３０フレーム／秒あるいはより速い実時間ビデオ速度で、マップ座標を操作し、出力することができる。さらに、上述したような効率的な画像マッチング演算と範囲拡張法とにより、先行する画像から局所的なシフトが演算できない場合にも、ビデオ速度でシステム２０を作動させることができる。 In this way, the processor 24 compares each successive image to the preceding image to compute the relative shift in the X direction of each sub-image speckle relative to the same speckle in the preceding image. (Shift operation step 58). Usually, this shift does not exceed several pixels, so that the calculation can be performed quickly and efficiently. After each new image is processed in this way, the processor 24 outputs an updated three-dimensional map (new map output step 60). This image acquisition and update process can thus be performed indefinitely. Due to the ease of computing continuous 3D maps, the system 20 can map map coordinates at 30 frames per second or faster real-time video speeds using simple, low-cost image and processing hardware. Can be manipulated and output. Furthermore, the efficient image matching computation and range expansion method as described above allows the system 20 to operate at video speed even when a local shift cannot be computed from the preceding image.

システム２０のこのような能力のゆえに、広い範囲のアプリケーションにおいて、システム２０を適切に使用することができ、特に人間のジェスチャーに基づくマシンインタフェースにこれを実装することができる。このようなインタフェースでは、（プロセッサ２４を有し、またはプロセッサにより三次元マップ出力を受け取ることができる）コンピュータが、ユーザの体の部分（例えば、腕、手および／または指、そしておそらく、頭、胴体およびこれ以外の四肢部分など）に対応する三次元マップ中の、１つまたは複数のボリュームを特定する。このコンピュータは、これらの体の部分のある動きに対応するジェスチャーを特定し、これらのジェスチャーに応答して、コンピュータアプリケーションを制御するようにプログラムされている。このようなジェスチャーおよびアプリケーションの一例には、以下のようなものがある。
・マウス解釈およびクリック−コンピュータは、ユーザがテーブル上でマウスを動かし、マウスボタンをクリックしているように、ユーザの手と指の動きを解釈する。
・コンピュータ画面上で、フリーハンドで被写体を指差し、選択し、解釈する。
・ユーザのジェスチャーにより、ゲームで用いられる実際のまたはバーチャルな被写体を打ち、つかみ、動かし、開放するようなコンピュータゲーム。
・ユーザが行うことができる限定された動きを検知することに基づいた、障害者ユーザ用のコンピュータインタフェース。
・バーチャルキーボード上でのタイプ
これ以外のアプリケーションも、当業者には自明であろう。 Because of this capability of the system 20, the system 20 can be used appropriately in a wide range of applications, and can be implemented especially in machine interfaces based on human gestures. In such an interface, a computer (having a processor 24 or capable of receiving a three-dimensional map output by the processor) allows a user's body part (eg, arm, hand and / or finger, and possibly the head, Identify one or more volumes in the 3D map corresponding to the torso and other extremities. The computer is programmed to identify gestures corresponding to certain movements of these body parts and to control computer applications in response to these gestures. Examples of such gestures and applications include:
Mouse Interpretation and Click—The computer interprets the movement of the user's hand and fingers as if the user moved the mouse on the table and clicked the mouse button.
-Point, select, and interpret the subject freehand on the computer screen.
A computer game in which a user's gesture hits, grabs, moves, and releases an actual or virtual subject used in the game.
A computer interface for the disabled user based on detecting limited movement that the user can perform.
Other types of applications on the virtual keyboard will be obvious to those skilled in the art.

図２に戻って、ビーム３６が、レイリー距離を越えて広がると、被写体２８上に落とされる照明の強度は、Ｚ^２にほぼ比例して低下する。被写体上に投影されるスペックルパターンのコントラストも、これに応じて低下する。これは特に、光源３２の波長の強い周辺光があるときに低下する。したがって、システム２０が有用な結果を出すことができる深さの範囲（Ｚ座標）は、Ｚが大きくて照明が弱いために限定されうる。この点は、当該技術分野で公知であるし、適応制御法および画像制御法により緩和されうる。この種の適切な方法の数例は、上述のＰＣＴ特許出願ＰＣＴ／ＩＬ２００６／０００３３５号に記載されている。あるいは、または、これに加えて、以下に説明するように、光学ビーム形成装置を用いて、照明の輪郭を改善することができる。 Returning to FIG. 2, the beam 36 and extends beyond the Rayleigh distance, intensity of illumination to be dropped on the subject 28 is reduced substantially in proportion to the Z ^2. The contrast of the speckle pattern projected on the subject also decreases accordingly. This particularly decreases when there is ambient light having a strong wavelength of the light source 32. Thus, the depth range (Z coordinate) over which the system 20 can produce useful results can be limited due to the large Z and weak illumination. This point is known in the art and can be mitigated by adaptive control methods and image control methods. Some examples of such suitable methods are described in the above-mentioned PCT patent application PCT / IL2006 / 000335. Alternatively or in addition, an optical beam former can be used to improve the illumination profile, as described below.

図４は、システムの有用な深さ範囲を広くするために、本発明の１実施形態によるシステム２０で用いられる照明アセンブリ７０の概略側面図である。アセンブリ７０は、光源３２と拡散板３３と共に、ビーム形成装置７２を有する。このビーム形成装置は、中間領域７６で発散を減らしつつ、この領域で軸上長さＺのスペックルパターンの線型スケールを維持するビーム７４を発生させるように設計されている。その結果、領域７６に渡って被写体２８の画像中で、高いスペックルコントラストが維持され、その結果、三次元マッピングシステムにより網羅される深さ範囲が広くなる。領域７６中での性能を向上させるために用いられうる光学設計を、以下にいくつか説明する。 FIG. 4 is a schematic side view of a lighting assembly 70 used in the system 20 according to one embodiment of the present invention to increase the useful depth range of the system. The assembly 70 includes a beam forming device 72 together with the light source 32 and the diffusion plate 33. The beam shaping device is designed to generate a beam 74 that reduces the divergence in the intermediate region 76 while maintaining a linear scale of the on-axis length Z speckle pattern in this region. As a result, high speckle contrast is maintained in the image of the subject 28 over the region 76, and as a result, the depth range covered by the three-dimensional mapping system is widened. Several optical designs that can be used to improve performance in region 76 are described below.

図５は、本発明の１実施形態によるビーム形成装置７２の概略側面図である。このビーム形成装置は、回折光学素子（ＤＯＥ）８０と、アキシコン８２とを有する。ＤＯＥ８０は、拡散板３３に当接していてもよいし、あるいは拡散板の表面上でのエッチング層または堆積層として組み込まれてもよい。領域７６中でのビーム発散を減らすために、様々な回折設計を用いることができる。例えば、ＤＯＥ８０は、光源３２の光軸上に中心を有する同心円あって、かつ円の半径がランダムに分布しているパターンを有しても良い。アキシコン８２は、光軸上に中心を置く円錐形の輪郭を有し、すなわち、一種の回転対称プリズムである。ＤＯＥ８０もアキシコン８２も、光軸に沿って長い焦点領域を作る効果を有し、その結果、これらの部材のいずれか１つを用いて、ビーム発散を減らした領域を作ることができる。この発散の減少は、２つの部材を共に用いることにより、さらに強化される。 FIG. 5 is a schematic side view of a beam forming device 72 according to one embodiment of the present invention. The beam forming apparatus includes a diffractive optical element (DOE) 80 and an axicon 82. The DOE 80 may be in contact with the diffusion plate 33 or may be incorporated as an etching layer or a deposition layer on the surface of the diffusion plate. Various diffraction designs can be used to reduce beam divergence in region 76. For example, the DOE 80 may have a pattern that is concentric with the center on the optical axis of the light source 32 and that the radius of the circle is randomly distributed. The axicon 82 has a conical outline centered on the optical axis, that is, a kind of rotationally symmetric prism. Both DOE 80 and axicon 82 have the effect of creating a long focal region along the optical axis, so that any one of these members can be used to create a region with reduced beam divergence. This reduction in divergence is further enhanced by using two members together.

図６は、本発明の別の実施形態によるビーム形成装置９０の概略側面図である。ビーム形成装置９０は、ＤＯＥ９２と、焦点距離がＦであるレンズ９４・９６とを有する。図示したように、これらのレンズは、拡散板３３とＤＯＥ９２とから、焦点距離に等しい距離だけ離れ、したがってＤＯＥは、拡散板のフーリエ平面に位置づけられている。したがって、ＤＯＥの透過機能により、拡散板のフーリエ変換は、乗算される。遠い領域では、スペックルパターンは、ＤＯＥ上のパターンのフーリエ変換により乗算される。 FIG. 6 is a schematic side view of a beam forming apparatus 90 according to another embodiment of the present invention. The beam forming apparatus 90 includes a DOE 92 and lenses 94 and 96 having a focal length F. As shown, these lenses are separated from the diffuser plate 33 and the DOE 92 by a distance equal to the focal length, so that the DOE is located in the Fourier plane of the diffuser plate. Therefore, the Fourier transform of the diffuser is multiplied by the transmission function of the DOE. In the far region, the speckle pattern is multiplied by the Fourier transform of the pattern on the DOE.

図４に示すように、フーリエ変換が発散を減らすように、ＤＯＥパターンは選択されうる。および／または、ＤＯＥパターンは、照明ビームに渡ってより均一な照明を提供するように選択されうる。後者の課題は、（拡散板３３からのビームの角度の強度分布は、中央では明るく、かつ光軸から角度が増えるにつれ低下する傾向にあるが、これとは逆に）中央領域において周辺領域よりも透過を低下させるように部材９２を設計することにより達成されうる。興味のあるボリュームに渡って、より均一なスペックルコントラストを与えるためのＤＯＥ９２またはＤＯＥ８０（図５）の他の設計も、当業者には自明であり、本発明の枠内にあると考えられる。 As shown in FIG. 4, the DOE pattern can be selected such that the Fourier transform reduces divergence. And / or the DOE pattern can be selected to provide more uniform illumination across the illumination beam. The latter problem is that the intensity distribution of the beam angle from the diffuser plate 33 is brighter in the center and tends to decrease as the angle increases from the optical axis. Can also be achieved by designing member 92 to reduce permeation. Other designs of DOE 92 or DOE 80 (FIG. 5) to provide more uniform speckle contrast across the volume of interest will be obvious to those skilled in the art and are considered within the framework of the present invention.

図７は、システム２０で用いられうる、被写体２８領域のＺ座標を決めるための、本発明のさらに別の１実施形態による光学相関器１１０の概略側面図である。すなわち、相関器１１０は、上述したプロセッサ２４の機能の一部分を実行する光学技術である。相関器は、非常に高速で、ほぼ同時に、平行して被写体の複数の領域の座標を決めることができる。したがって、迅速に被写体が動くことが特徴的であるアプリケーションには、非常に有用である。 FIG. 7 is a schematic side view of an optical correlator 110 according to yet another embodiment of the present invention for determining the Z coordinate of a subject 28 region that may be used in the system 20. That is, the correlator 110 is an optical technique that performs a part of the functions of the processor 24 described above. The correlator is very fast and can determine the coordinates of multiple regions of the subject in parallel at approximately the same time. Therefore, it is very useful for an application that is characterized by a rapid movement of a subject.

レンズレットアレイ１１６は、アセンブリ３０によるスペックル照明の下、被写体２８の複数の副画像を形成する。絞りアレイ１１８が、アレイ中のレンズレット１１６の視野を限定し、その結果各副画像は、狭い角度領域からのみの光を含む。第２のレンズレットアレイ１２０は、副画像をＤＯＥ１２２上に投影する。アレイ１２０は、アレイ中のレンズレットの焦点距離に等しい距離分だけ、副画像の面からはなれ、等しい距離分だけＤＯＥ１２２面から離れている。後方のレンズレットアレイ１２４は、ＤＯＥ１２２とセンサー４０との間に位置し、それぞれレンズレットの焦点距離に等しい距離だけこの各々から離れている。 The lenslet array 116 forms a plurality of sub-images of the subject 28 under speckle illumination by the assembly 30. Aperture array 118 limits the field of view of lenslet 116 in the array so that each sub-image contains light only from a narrow angular region. The second lenslet array 120 projects the sub image on the DOE 122. The array 120 is separated from the sub-image plane by a distance equal to the focal length of the lenslets in the array, and is separated from the DOE 122 plane by an equal distance. The rear lenslet array 124 is located between the DOE 122 and the sensor 40 and is separated from each by a distance equal to the focal length of each lenslet.

ＤＯＥ１２２は、被写体１２８のスペックル像が比較されるべき参照スペックルパターンの空間フーリエ変換である、参照回折パターンを含んでいる。例えば、この参照回折パターンは、光源から既知の距離を隔てた平面を使用して、ステップ５０で形成された較正スペックル像のフーリエ変換でありうる。この場合、参照回折パターンは、ＤＯＥ表面上にエッチングまたは堆積されうる。あるいは、ＤＯＥ１２２は、参照回折パターンを動的に投影するように駆動される、空間変調器（ＳＬＭ）を有しうる。 The DOE 122 includes a reference diffraction pattern that is a spatial Fourier transform of a reference speckle pattern to which the speckle image of the subject 128 is to be compared. For example, the reference diffraction pattern can be a Fourier transform of the calibration speckle image formed in step 50 using a plane that is a known distance from the light source. In this case, the reference diffraction pattern can be etched or deposited on the DOE surface. Alternatively, the DOE 122 can have a spatial modulator (SLM) that is driven to dynamically project the reference diffraction pattern.

いずれの場合も、相関器１１０は（アレイ中のレンズレット１１６により形成される）被写体の副画像を、フーリエ空間中の参照スペックルパターンで乗算する。したがって、レンズレットアレイ１２４によりセンサー４０上に投影された強度分布は、参照スペックルパターンと各副画像の相互相関に一致している。一般に、センサー上の強度分布は、複数の相関ピークを有し、各ピークは、副画像の１つに対応している。（アレイ１１８中の対応する絞りで規定された）対応する副画像の軸に対する各ピークの横断方向でのオフセット値は、被写体２８の対応する領域上のスペックルパターンの横断方向での変位に比例している。この変位は、さらに、上述のように、参照スペックルパターン面に対して相対的である領域のＺ方向の変位に比例している。このように、センサー４０の出力を処理することにより、各副画像の領域のＺ座標を決めるために、そして、被写体の三次元マップを演算することができる。 In either case, correlator 110 multiplies the sub-image of the subject (formed by lenslet 116 in the array) with a reference speckle pattern in Fourier space. Therefore, the intensity distribution projected on the sensor 40 by the lenslet array 124 matches the cross-correlation between the reference speckle pattern and each sub-image. In general, the intensity distribution on the sensor has a plurality of correlation peaks, each peak corresponding to one of the sub-images. The offset value in the transverse direction of each peak relative to the axis of the corresponding sub-image (defined by the corresponding aperture in array 118) is proportional to the transverse displacement of the speckle pattern on the corresponding region of the subject 28. is doing. This displacement is further proportional to the displacement in the Z direction of the region that is relative to the reference speckle pattern surface, as described above. In this way, by processing the output of the sensor 40, it is possible to calculate the three-dimensional map of the subject in order to determine the Z coordinate of the area of each sub-image.

上述の実施形態は、システム２０の特定の構成と、上述の装置２２の設計に関連するが、本発明のある原理は、これ以外の種類のスペックルベースの三次元マッピングのシステムおよび装置にも同様に応用可能である。例えば、上述の実施形態の観点は、複数の画像獲得アセンブリを用いたシステムに応用してもよいし、あるいは画像獲得アセンブリと照明アセンブリとが互いに相対的に可動であるシステムにも応用してもよい。 Although the embodiments described above relate to the specific configuration of the system 20 and the design of the apparatus 22 described above, certain principles of the invention are also applicable to other types of speckle-based three-dimensional mapping systems and apparatuses. It can be applied to. For example, aspects of the above-described embodiments may be applied to a system using a plurality of image acquisition assemblies, or may be applied to a system in which the image acquisition assembly and the illumination assembly are movable relative to each other. Good.

上述の実施形態は例として示したが、本発明は、本願中上で特定的に示し説明した内容に限定されないと理解される。むしろ、本発明の範囲は、上述の記載を読んだ当業者が思いつくであろう、かつ先行技術に開示されていない、本願中の上述の様々な特徴の組み合わせや、一部組み合わせや、これらの変更や修正をも含む。 Although the above embodiments have been shown by way of example, it is understood that the present invention is not limited to what has been particularly shown and described herein. Rather, the scope of the present invention is the combination of the various features described above in this application, any combination thereof, or any combination thereof, as would be conceived by one of ordinary skill in the art upon reading the above description and not disclosed in the prior art. Includes changes and modifications.

本発明の１実施形態による三次元マッピングシステムを絵で示した概略図である。1 is a schematic diagram illustrating a three-dimensional mapping system according to an embodiment of the present invention. 本発明の１実施形態によるスペックル撮像装置の概略上面図である。1 is a schematic top view of a speckle imaging device according to an embodiment of the present invention. 本発明の１実施形態による三次元マッピング方法を概略的に示したフローチャートである。3 is a flowchart schematically illustrating a 3D mapping method according to an exemplary embodiment of the present invention. 本発明の別の実施形態による、三次元マッピングシステムで用いられる照明アセンブリの概略側面図である。FIG. 6 is a schematic side view of a lighting assembly used in a three-dimensional mapping system according to another embodiment of the present invention. 本発明の１実施形態によるビーム形成装置の概略側面図である。1 is a schematic side view of a beam forming apparatus according to an embodiment of the present invention. 本発明のさらに別の実施形態によるビーム形成装置の概略側面図である。It is a schematic side view of the beam forming apparatus by further another embodiment of this invention. 本発明のさらに別の１実施形態による、三次元マッピングシステムで用いられる光学相関器の概略側面図である。FIG. 6 is a schematic side view of an optical correlator used in a three-dimensional mapping system according to yet another embodiment of the present invention.

Explanation of symbols

２０三次元マッピングシステム
２２スペックル撮像装置
２４画像プロセッサ
２８被写体
３０照明アセンブリ
３２コヒーレント光源
３３拡散板
３８画像獲得アセンブリ
３９対物光学系
４０画像センサー
20 three-dimensional mapping system 22 speckle imaging device 24 image processor 28 subject 30 illumination assembly 32 coherent light source 33 diffuser plate 38 image acquisition assembly 39 objective optical system 40 image sensor

Claims

An illumination assembly having a coherent light source and a diffuser arranged to project a primary speckle pattern onto a subject;
A single image acquisition assembly arranged to acquire the first speckle pattern image on the subject from a single and fixed position and angle relative to the illumination assembly;
A three-dimensional mapping apparatus for a subject comprising a processor connected to process an image of the first speckle pattern acquired at a single fixed angle to derive a three-dimensional map of the subject.

The apparatus of claim 1, comprising a mount attached to the illumination assembly and the image acquisition assembly for spatially securing the image acquisition assembly relative to the illumination assembly.

The image acquisition assembly includes:
A detector element array disposed in a linear pattern defining first and second mutually orthogonal axes;
An objective optical system having an entrance pupil and arranged to focus the image on the array;
The illumination axis so as to define an axis of the device parallel to the first axis and passing through the entrance pupil and a spot through which the beam generated by the coherent light source passes through the diffuser. The apparatus of claim 2, wherein the assembly and the image acquisition assembly are arranged by a mount.

Finding an offset value between the primary speckle pattern acquired in one or more images and a reference image of the primary speckle pattern only on the first axis, The apparatus of claim 3, wherein a processor is arranged to derive a three-dimensional map.

3D by finding each offset between the first speckle pattern of the plurality of regions on the subject acquired in one or more images and the reference image of the first speckle pattern The apparatus of claim 1, wherein a processor is arranged to derive a map, and each offset indicates a respective distance between the region and the image acquisition assembly.

6. The apparatus of claim 5, wherein the image acquisition assembly is positioned at a predetermined distance from the lighting assembly, and each offset is proportional to each distance at a rate determined by the distance.

The first speckle pattern projected by the lighting assembly has a speckle of a characteristic size, and the size of the speckle in the image varies across the image due to tolerances that depend on the spacing. 7. The apparatus of claim 6, wherein the interval is selected such that the tolerance is within a predetermined range.

6. The apparatus of claim 5, wherein the processor is arranged to associate each offset with each coordinate of a three-dimensional map using a parametric model of distortion in the image acquisition assembly.

Finding an initial match between the primary speckle pattern in the first region of the subject and the region corresponding to this of the reference image at a first offset value relative to the first region; The processor is arranged to use a range expansion method based on the first offset to find each offset and to find each offset of a pixel adjacent to the first region. 5. The apparatus according to 5.

10. The processor according to any of claims 1 to 9, wherein the processor is arranged to process successive acquired images while the subject is moving in order to perform a mapping of the three-dimensional movement of the subject. apparatus.

The subject is a part of a human body, and the three-dimensional movement is a gesture performed by the part of the human body, in order to provide input to a computer application in response to the gesture The apparatus of claim 10, to which a processor is connected.

10. The illumination assembly comprises a beam shaping device, which is arranged to reduce the variation in the contrast of the speckle pattern created by the diffuser throughout the detection volume of the device. The apparatus in any one of.

The apparatus according to claim 12, wherein the beam shaping device comprises a diffractive optical element (DOE).

The apparatus of claim 13, wherein the beam former has a lens arranged to define a Fourier plane of the diffuser, and the DOE is positioned in the Fourier plane.

The apparatus according to claim 12, wherein the beam forming device is arranged to reduce divergence of light emitted from the diffuser.

The apparatus according to claim 12, wherein the beam shaping device is arranged to equalize the intensity of light emitted from the diffuser across the entire surface transverse to the optical axis of the illumination assembly.

The apparatus according to claim 1, wherein the processor comprises an optical correlator.

The optical correlator has a diffractive optical element (DOE) that includes a reference speckle pattern, and the image acquisition assembly projects a plurality of sub-images of the subject onto the DOE, each correlation indicating the three-dimensional coordinates of the subject. The apparatus of claim 17, comprising a lenslet array that generates peaks.

The apparatus according to claim 1, wherein a coherence length of the coherent light source is less than 1 cm.

The first speckle pattern has a speckle having a characteristic size, and the characteristic size of the speckle can be adjusted by changing a distance between the coherent light source and the diffusion plate. 10. An apparatus according to any preceding claim, wherein the lighting assembly is configured.

Illuminating the subject with a beam of coherent light diffused from a light source to project a primary speckle pattern onto the subject;
Obtaining an image of the first speckle pattern on the subject from a single and fixed position and angle relative to the light source;
Processing a first speckle pattern image acquired at a single fixed angle to derive a three-dimensional map of the subject.

The method of claim 21, wherein acquiring the image comprises acquiring an image using an image acquisition assembly spatially fixed to the light source while acquiring the image.

The image acquisition assembly has an array of detector elements arranged in a linear pattern defining first and second mutually orthogonal axes, the light source has a diffuser plate,
Acquiring the image comprises aligning an entrance pupil of the image acquisition assembly and a spot through which the beam passes through the diffuser plate along an axis of the device that is parallel to the first axis. Item 23. The method according to Item 22.

The step of processing the image is between the first speckle pattern acquired in one or more images and the reference image of the first speckle pattern only on the first axis. 24. The method of claim 23, comprising the step of finding an offset.

The step of processing the image includes between the first speckle pattern on the plurality of areas of the subject acquired in one or more images and a reference image of the first speckle pattern, The method of claim 21, comprising finding each offset, wherein each offset indicates a distance between the region and the image acquisition assembly.

26. The method of claim 25, wherein each offset is proportional to each distance at a rate determined by a fixed position spacing from the light source.

The primary speckle pattern has speckles having a characteristic size, and the size of speckles in the image varies in the entire image due to an allowable error depending on the interval, thereby acquiring the image. 27. The method of claim 26, comprising selecting the interval such that the tolerance is within a predetermined range.

26. The method of claim 25, wherein finding each offset comprises associating each offset value with a coordinate of a three-dimensional map using a parametric model of distortion in the image acquisition assembly.

The step of finding each offset is between a first speckle pattern in the first region of the subject and a region corresponding to this of the reference image at a first offset value relative to the first region. The method of claim 25, comprising: finding an initial match; and using a range extension method based on the first offset, thereby finding each offset of a pixel adjacent to the first region. Equipment.

30. The process according to any one of claims 21 to 29, wherein the step of processing the image includes a step of processing consecutive acquired images while the subject is moving in order to perform mapping of a three-dimensional movement of the subject. the method of.

The subject is a part of a human body, the three-dimensional movement is a gesture performed by the part of the human body, and the step of processing the image is performed on a computer application in response to the gesture. 32. The method of claim 30, comprising providing an input.

30. The step of illuminating the subject includes a step of forming a beam so as to reduce a variation in a contrast of a speckle pattern created by the light source over an entire predetermined detection volume. the method of.

33. The method of claim 32, wherein forming the beam comprises passing the beam through a diffractive optical element (DOE).

34. The method of claim 33, wherein the light source comprises a diffuser and the step of passing the beam comprises disposing the DOE in a Fourier plane of the diffuser.

The method of claim 32, wherein forming the beam comprises reducing beam divergence.

The method of claim 32, wherein forming the beam comprises equalizing the intensity of the beam over an entire surface transverse to the optical axis of the light source.

30. A method according to any of claims 21 to 29, wherein processing the image comprises applying the image to an optical correlator.

The optical correlator includes a diffractive optical element (DOE) including a reference speckle pattern, and the step of acquiring the image includes generating a plurality of correlation peaks indicating a three-dimensional coordinate of the subject. 38. The method of claim 37, comprising projecting the sub-image onto the DOE.

30. A method according to claims 21 to 29, wherein the coherence length of the coherent light source is less than 1 cm.

The step of illuminating the subject includes the step of passing light from the coherent light source through a diffuser to produce the primary speckle pattern, wherein the primary speckle pattern is characterized by 30. A speckle having a size, the method comprising adjusting the characteristic size of the speckle by changing the distance between the coherent light source and the diffuser. The method described in 1.

An illumination assembly having a coherent light source and a diffuser having a coherence length of less than 1 cm, and arranged to project a primary speckle pattern on the subject;
An image acquisition assembly arranged to acquire the first speckle pattern image on the subject;
A three-dimensional mapping apparatus for a subject having a processor connected to process an image of the first speckle pattern to derive a three-dimensional map of the subject.

42. The apparatus according to claim 41, wherein the coherence length of the coherent light source is less than 0.5 mm.

43. Apparatus according to any of claims 41 or 42, wherein the divergence of the coherent light source is greater than 5 [deg.].

The first speckle pattern has a speckle having a characteristic size, and the characteristic size of the speckle can be adjusted by changing a distance between the coherent light source and the diffusion plate. 43. An apparatus according to any of claims 41 or 42, wherein the illumination assembly is configured.