JP2022165078A - Three-dimensional measuring device, system, and manufacturing method for article - Google Patents

Three-dimensional measuring device, system, and manufacturing method for article Download PDF

Info

Publication number
JP2022165078A
JP2022165078A JP2021070262A JP2021070262A JP2022165078A JP 2022165078 A JP2022165078 A JP 2022165078A JP 2021070262 A JP2021070262 A JP 2021070262A JP 2021070262 A JP2021070262 A JP 2021070262A JP 2022165078 A JP2022165078 A JP 2022165078A
Authority
JP
Japan
Prior art keywords
diffractive optical
pattern
dot
dimensional
projected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021070262A
Other languages
Japanese (ja)
Inventor
顕宏 山田
Akihiro Yamada
洋志 奥田
Hiroshi Okuda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021070262A priority Critical patent/JP2022165078A/en
Priority to PCT/JP2022/015698 priority patent/WO2022224760A1/en
Publication of JP2022165078A publication Critical patent/JP2022165078A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

To achieve a three-dimensional measuring device capable of measuring a distance with high accuracy using a projector including a plurality of diffractive optical elements.SOLUTION: The three-dimensional measuring device includes a projection unit including a plurality of diffractive optical elements for projecting dot patterns that differ from each other on an object to be measured, a first imaging unit and a second imaging unit for capturing images of the object to be measured, and a calculation unit for generating three-dimensional data of the object to be measured by matching a plurality of images obtained by capturing images with the first imaging unit with a plurality of images obtained by capturing images with the second imaging unit for the object to be measured on which different dot patterns are sequentially projected by switching the diffractive optical elements that project the dot patterns onto the object to be measured. A pattern filling ratio, which is the ratio of an area of the dot pattern to an area of a rectangular region with the pitch of the dot pattern formed by each diffractive optical element as a side is 0.64 or less in the wavenumber space of the diffracted light from the diffractive optical elements. The number of diffractive optical elements is 4 or more.SELECTED DRAWING: Figure 6

Description

本発明は、プロジェクタを搭載した3次元計測装置等に関する。 TECHNICAL FIELD The present invention relates to a three-dimensional measuring apparatus and the like equipped with a projector.

従来、ステレオカメラにより撮影された2枚の画像上で各領域の対応をブロックマッチングなどの方法により計算し、求めた対応関係を用いて三角測量の原理に基づき計測対象物表面までの距離を計測する技術が知られている。一般にブロックマッチングでは画像上の各部位を平面のブロックに近似してマッチングを行う。或いは、パターンを計測対象物の表面に投影して表面に2次元的な特徴を付与し、ステレオカメラで当該計測対象物を撮影した画像を使用したブロックマッチングを行う。しかし、細い形状や小さな形状など、凹凸の激しい形状の場合は平面のブロックに近似することが難しくなり、距離計測の精度が低下することがある。 Conventionally, the correspondence between each area on two images taken by a stereo camera is calculated by a method such as block matching, and the obtained correspondence is used to measure the distance to the surface of the measurement object based on the principle of triangulation. There are known techniques for Generally, in block matching, matching is performed by approximating each part on an image to a plane block. Alternatively, a pattern is projected onto the surface of the object to be measured to give a two-dimensional feature to the surface, and block matching is performed using images of the object to be measured taken by a stereo camera. However, in the case of a shape with severe unevenness such as a thin shape or a small shape, it becomes difficult to approximate a flat block, and the accuracy of distance measurement may decrease.

これに対し、特許文献1では、パターンを時間的に切り替えて投影し、画像上の画素の時間的な輝度変化の情報を加えてマッチングを行うことで、ブロックの空間的なサイズを小さく設定することを可能としている。それにより、細い形状や小さい形状を計測する技術が開示されている。そして投影パターンを時間的に切り替える構成としては、レーザーと回折光学素子で構成されるプロジェクタを複数配置して切り替えて使用することが提案されている。 On the other hand, in Patent Literature 1, patterns are switched temporally for projection, and matching is performed by adding information on temporal luminance changes of pixels on the image, thereby setting the spatial size of the block to be small. making it possible. Accordingly, techniques for measuring thin shapes and small shapes are disclosed. As a configuration for temporally switching projection patterns, it has been proposed to arrange and switch between a plurality of projectors composed of lasers and diffraction optical elements.

一方、特許文献2では、計測対象物までの距離に応じて投影パターンサイズが変わってしまう課題に対して、パターンを投影する回折光学素子を切り替えることで、近接距離に対して遠方距離の投影パターン密度を上げるようにしている。それにより正確な距離値を取得することが提案されている。 On the other hand, in Patent Document 2, in order to solve the problem that the projection pattern size changes according to the distance to the measurement object, by switching the diffractive optical element that projects the pattern, the projection pattern of the long distance is changed from the short distance. I am trying to increase the density. It is proposed to obtain an accurate distance value thereby.

特許第6735615号公報Japanese Patent No. 6735615 特開2014-9997号公報JP 2014-9997 A

一般的に、レーザーと回折光学素子(DOE)で構成されるプロジェクタ(DOEプロジェクタ)の場合、投影できるパターン密度が周期的かつ疎のパターンになってしまう。特許文献1のように、投影パターンを時間的に切り替え、画素の時間的な輝度変化の情報を加えてマッチングを行っても、投影パターン密度が疎な場合、適切なパターンを設定しないとブロックの空間的なサイズを小さくする効果は限定的になってしまう。又、特許文献2のように、近接距離に対して遠方距離の投影パターン密度を向上させることにも限界がある。 Generally, in the case of a projector (DOE projector) composed of a laser and a diffractive optical element (DOE), the pattern density that can be projected is a periodic and sparse pattern. As in Patent Document 1, even if the projection pattern is switched temporally and matching is performed by adding information on the temporal luminance change of pixels, if the projection pattern density is sparse, an appropriate pattern must be set to block the block. The effect of reducing the spatial size is limited. Moreover, as in Patent Document 2, there is a limit to improving the projection pattern density at a long distance with respect to the short distance.

本特許では、複数の回折光学素子を含むプロジェクタにより、高精度な測距が可能な3次元計測装置を得ることを目的としている。 An object of this patent is to obtain a three-dimensional measuring apparatus capable of highly accurate distance measurement by a projector including a plurality of diffractive optical elements.

3次元計測装置において、
計測対象物に互いに異なるドットパターンを投影するための複数の回折光学素子を含む投影部と、
前記ドットパターンが投影された前記計測対象物を撮像する第1撮像部と第2撮像部と、
前記計測対象物に前記ドットパターンを投影する前記回折光学素子を切り替えることで互いに異なるドットパターンが順次投影された前記計測対象物について、前記第1撮像部により撮像して得られる複数の画像と前記第2撮像部により撮像して得られる複数の画像とのマッチングを行うことにより、前記計測対象物の3次元データを生成する計算部と、を有し、
前記回折光学素子からの回折光の波数空間において、夫々の前記回折光学素子が形成する前記ドットパターンのピッチを一辺とする矩形領域の面積に対する前記ドットパターンの面積の比であるパターン充填率が0.64以下であり、前記回折光学素子の個数が4以上であることを特徴とする。
In a three-dimensional measuring device,
a projection unit including a plurality of diffractive optical elements for projecting mutually different dot patterns onto a measurement object;
a first imaging unit and a second imaging unit for imaging the measurement target on which the dot pattern is projected;
By switching the diffractive optical element for projecting the dot pattern onto the measurement object, a plurality of images obtained by imaging the measurement object on which dot patterns different from each other are successively projected by the first imaging unit; a calculation unit that generates three-dimensional data of the measurement object by matching with a plurality of images obtained by imaging with a second imaging unit;
In the wavenumber space of the diffracted light from the diffractive optical element, the pattern filling factor, which is the ratio of the area of the dot pattern to the area of a rectangular area having a side equal to the pitch of the dot pattern formed by each of the diffractive optical elements, is 0. 0.64 or less, and the number of the diffractive optical elements is 4 or more.

本発明によれば、複数の回折光学素子を含むプロジェクタにより、高精度な測距が可能な3次元計測装置を実現することができる。 According to the present invention, it is possible to realize a three-dimensional measurement apparatus capable of highly accurate distance measurement using a projector including a plurality of diffractive optical elements.

実施例1の3次元計測装置を示した図である。1 is a diagram showing a three-dimensional measuring device of Example 1. FIG. 複数画像同士の、時間方向の強度情報を用いたパターンマッチングの概念を示した図である。FIG. 10 is a diagram showing the concept of pattern matching using intensity information in the time direction between multiple images; DOEプロジェクタの構成概略図及び投影パターンのイメージ図である。1A and 1B are schematic diagrams of the configuration of a DOE projector and image diagrams of projection patterns; FIG. ビーム径内の回折光学素子の構造周期と投影パターンの関係図である。FIG. 4 is a relational diagram between the structural period of the diffractive optical element within the beam diameter and the projection pattern. 実施例1の1つのDOEプロジェクタから投影される投影ドットパターンの概略図である。4 is a schematic diagram of a projected dot pattern projected from one DOE projector of Example 1; FIG. 実施例1の各DOEプロジェクタからの投影パターンの概略図である。4A and 4B are schematic diagrams of projection patterns from each DOE projector of Example 1; 実施例2におけるシミュレーション条件を示す図である。FIG. 10 is a diagram showing simulation conditions in Example 2; 実施例2におけるシミュレーションの結果を示す図である。FIG. 10 is a diagram showing the results of simulation in Example 2; 実施例3の各DOEプロジェクタからの投影パターンの概略図である。FIG. 11 is a schematic diagram of projection patterns from each DOE projector of Example 3; 第2の実施形態の構成例を示す図である。It is a figure which shows the structural example of 2nd Embodiment.

以下、添付図面を参照して、本発明の好適な実施の形態について実施例を用いて説明する。尚、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。
<第1実施形態>
BEST MODE FOR CARRYING OUT THE INVENTION Preferred embodiments of the present invention will be described below using examples with reference to the accompanying drawings. In each drawing, the same members or elements are denoted by the same reference numerals, and overlapping descriptions are omitted or simplified.
<First embodiment>

本実施形態の実施例1に係る3次元計測装置100の構成例について図1を用いて説明する。図1は、実施例1の3次元計測装置を示したブロック図である。
図1の3次元計測装置100は、計測対象物200の3次元データを取得するためのシステムであり、投影部110、2つの撮像部121(右カメラ、第1撮像部)、撮像部122(左カメラ、第2撮像部)、計測制御部130と計算部140で構成されている。投影部110と撮像部121、122は計測対象物200を向いて配置されている。
A configuration example of a three-dimensional measurement apparatus 100 according to Example 1 of the present embodiment will be described with reference to FIG. FIG. 1 is a block diagram showing a three-dimensional measuring device of Example 1. FIG.
The three-dimensional measurement apparatus 100 in FIG. 1 is a system for acquiring three-dimensional data of a measurement object 200, and includes a projection unit 110, two imaging units 121 (right camera, first imaging unit), and an imaging unit 122 ( left camera, second imaging unit), measurement control unit 130 and calculation unit 140 . The projection unit 110 and imaging units 121 and 122 are arranged facing the measurement object 200 .

投影部110は、4つのDOEプロジェクタ(111、112、113、114)で構成されており、各プロジェクタは夫々光源としてのシングルモード半導体レーザーと、コリメータレンズと、回折光学素子(DOE)を含んでいる。即ち、投影部は、計測対象物に互いに異なるドットパターンを投影するための複数の回折光学素子を含む。撮像部121、122は夫々不図示の結像光学系と撮像センサで構成されている。計測制御部130は、投影制御部131と画像取得部132を備えている。尚、本実施例においては、DOEプロジェクタの個数は4に限定されず、4以上有していればよい。 The projection unit 110 is composed of four DOE projectors (111, 112, 113, 114), each of which includes a single-mode semiconductor laser as a light source, a collimator lens, and a diffractive optical element (DOE). there is That is, the projection unit includes a plurality of diffractive optical elements for projecting different dot patterns onto the measurement object. The image capturing units 121 and 122 are each composed of an image forming optical system and an image sensor (not shown). The measurement control unit 130 has a projection control unit 131 and an image acquisition unit 132 . Incidentally, in this embodiment, the number of DOE projectors is not limited to four, and may be four or more.

投影制御部131は、計測対象物と撮像部の相対位置関係がほぼ一定の状態のもとに、4つのDOEプロジェクタ111~114を順次切り替えて変更し計測対象物200に対して異なる複数のドットパターンを投影する。投影するドットパターンに関しては後述する。更に、投影制御部131は各DOEプロジェクタの点灯開始に同期して画像取得部に撮像指示信号を送る。尚、計測制御部130は、コンピュータとしてのCPUを内蔵しており、CPUは、メモリに記憶されたコンピュータプログラムを実行することにより3次元計測装置100全体の各部の動作を制御する制御手段として機能している。 The projection control unit 131 sequentially switches and changes the four DOE projectors 111 to 114 under the condition that the relative positional relationship between the object to be measured and the imaging unit is substantially constant, and projects a plurality of different dots on the object to be measured 200. Project a pattern. A dot pattern to be projected will be described later. Furthermore, the projection control unit 131 sends an image pickup instruction signal to the image acquisition unit in synchronization with the start of lighting of each DOE projector. The measurement control unit 130 incorporates a CPU as a computer, and the CPU functions as control means for controlling the operation of each unit of the overall three-dimensional measurement apparatus 100 by executing a computer program stored in a memory. is doing.

画像取得部132は、投影制御部131からの撮像指示信号に基づき、ドットパターンが投影された計測対象物200の複数の画像(ステレオ画像)を、撮像部121、122により撮像(取得)する。本実施例では、4つのDOEプロジェクタ111~114を切り替える毎に撮像を行い、左カメラ、右カメラで各4枚、計8枚の画像を取得する。画像取得部132で撮像した計8枚のステレオ画像は計算部140に送られる。 The image acquisition unit 132 captures (acquires) a plurality of images (stereo images) of the measurement object 200 on which the dot pattern is projected by the imaging units 121 and 122 based on the imaging instruction signal from the projection control unit 131 . In this embodiment, an image is captured each time the four DOE projectors 111 to 114 are switched, and a total of eight images, four images each with the left camera and the right camera, are acquired. A total of eight stereo images captured by the image acquisition unit 132 are sent to the calculation unit 140 .

計算部140は、複数の撮像装置により夫々撮像され、画像取得部132により取得した画像群から、マッチングによって3次元データとしての距離マップを算出する。本実施例の場合は、左カメラの画像4枚と、右カメラの画像4枚から、左カメラと右カメラの同位置の画素の強度情報を時間軸方向に並べたデータ、即ち画素値の時間軸変化の情報を用いてマッチングを実施する。即ち、計測対象物にドットパターンを投影する回折光学素子を切り替えることで互いに異なるドットパターンが順次投影された計測対象物について、第1撮像部と第2撮像部で画像を取得する。そして、計算部140は、第1撮像部により撮像して得られる複数の画像と第2撮像部により撮像して得られる複数の画像とのマッチングを行うことにより、計測対象物の3次元データを生成する。 The calculation unit 140 calculates a distance map as three-dimensional data by matching from a group of images captured by a plurality of imaging devices and acquired by the image acquisition unit 132 . In the case of this embodiment, from four images of the left camera and four images of the right camera, intensity information of pixels at the same position of the left camera and the right camera are arranged in the direction of the time axis. Matching is performed using the axis change information. That is, by switching the diffractive optical element that projects the dot patterns onto the measurement object, the first imaging unit and the second imaging unit acquire images of the measurement object onto which mutually different dot patterns are sequentially projected. Then, the calculation unit 140 performs matching between a plurality of images obtained by imaging by the first imaging unit and a plurality of images obtained by imaging by the second imaging unit, thereby obtaining three-dimensional data of the object to be measured. Generate.

図2は、複数画像同士の、時間軸方向の強度情報を用いたパターンマッチングの概念を示した図である。図2に示すように、右カメラ121の4枚の画像1211~1214と左カメラ122の4枚の画像1221~1224を時間軸方向に並べる。そして、計算部140は、時間軸方向の(時系列の)画素単位のデータが、右カメラと左カメラで同一となる部位をパターンマッチングで抽出する。 FIG. 2 is a diagram showing the concept of pattern matching using intensity information in the direction of the time axis between multiple images. As shown in FIG. 2, four images 1211 to 1214 from the right camera 121 and four images 1221 to 1224 from the left camera 122 are arranged along the time axis. Then, the calculation unit 140 extracts, by pattern matching, a region where the pixel-by-pixel data in the time axis direction (time series) is the same between the right camera and the left camera.

マッチングの結果から、左カメラと右カメラの各画素からの時系列パターンが一致した画素同士の位置の差を、画素毎の視差として演算し、画素毎の視差マップを算出する。更に視差マップから距離マップを算出することで計測対象物の3次元データを生成する。
以上のような動作を、計測制御部130内のコンピュータとしてのCPUが、メモリに記憶されたコンピュータプログラムに基づき各部を制御することで実行する。
From the matching result, the difference between the positions of the pixels with matching time series patterns from each pixel of the left camera and the right camera is calculated as the parallax for each pixel, and the parallax map for each pixel is calculated. Furthermore, three-dimensional data of the object to be measured is generated by calculating a distance map from the parallax map.
The above operations are executed by the CPU as a computer in the measurement control section 130 controlling each section based on the computer program stored in the memory.

次に、本実施例における、DOEプロジェクタの投影パターン条件に関して詳述する。
図3は、DOEプロジェクタの構成概略図及び投影パターンのイメージ図であり、DOEプロジェクタ111(又は112~114)は、夫々レーザー光源としての半導体レーザー300と、コリメータレンズ301とDOE302で構成されている。半導体レーザー300から射出した発散光をコリメータレンズ301で平行光とした後にDOE302に入射させ、0次回折光310、1次回折光311、2次回折光312等の回折パターンを生成する。
Next, the projection pattern conditions of the DOE projector in this embodiment will be described in detail.
FIG. 3 is a schematic diagram of the structure of a DOE projector and an image diagram of a projection pattern. A DOE projector 111 (or 112 to 114) is composed of a semiconductor laser 300 as a laser light source, a collimator lens 301, and a DOE 302, respectively. Divergent light emitted from a semiconductor laser 300 is collimated by a collimator lens 301 and then made incident on a DOE 302 to generate diffraction patterns such as zero-order diffracted light 310, first-order diffracted light 311, second-order diffracted light 312, and the like.

半導体レーザーとしてはシングルモード半導体レーザーを用いる。半導体レーザーから射出されるビームは、光の進行方向に対する垂直面の強度分布がガウス分布となるガウスビームとなる。ここで、ガウスビームの、最大強度に対して13.5%以上の強度を有するビームの幅をドット径Dkとする。 A single mode semiconductor laser is used as the semiconductor laser. A beam emitted from a semiconductor laser is a Gaussian beam having a Gaussian intensity distribution in a plane perpendicular to the traveling direction of light. Here, the width of a Gaussian beam having an intensity of 13.5% or more of the maximum intensity is assumed to be the dot diameter Dk.

次に、光源としての半導体レーザー300からの光がDOE302で回折したときの波数空間313における投影パターンの充填率に関して説明する。簡単のために、投影パターンは水平及び垂直方向に格子配列となるドットパターンとして説明する。波数空間313における、投影ドットパターンの縦方向のドットピッチをk0h、横方向のドットピッチをk0wとする矩形について考える。そして前記矩形の面積(k0hk0wに対する、各投影ドットパターンの、ドット径Dkの面積の比率を投影パターンの充填率と定義する。 Next, the filling factor of the projected pattern in the wavenumber space 313 when the light from the semiconductor laser 300 as the light source is diffracted by the DOE 302 will be described. For the sake of simplicity, the projected pattern will be described as a dot pattern that is grid-arranged in the horizontal and vertical directions. Consider a rectangle in the wavenumber space 313, with the dot pitch in the vertical direction of the projected dot pattern being k0h and the dot pitch in the horizontal direction being k0w. The ratio of the area of the dot diameter Dk of each projected dot pattern to the area of the rectangle (k0h * k0w ) is defined as the filling rate of the projected pattern.

即ち、パターン充填率は、回折光学素子からの回折光の波数空間において、夫々の前記回折光学素子が形成するドットパターンのピッチを一辺とする矩形領域の面積に対するドットパターンの面積の比である。概念的には、計測領域の面積に対する計測領域内の投影ドットパターンの総和面積の比を表した量である。 That is, the pattern filling factor is the ratio of the area of the dot pattern to the area of the rectangular area having the pitch of the dot pattern formed by each diffractive optical element as one side in the wavenumber space of the diffracted light from the diffractive optical element. Conceptually, it is a quantity representing the ratio of the total area of the projected dot patterns within the measurement area to the area of the measurement area.

図3では、投影パターンは規格化されたパターン投影面(波数空間313)におけるパターンとして示している。ここで、実空間におけるDOEに入射するビーム径DxをDx=2√2a(変数a)とすると、波数空間313におけるビームのドット径Dk(投影パターンのドットサイズ)は数1で表される。 In FIG. 3, the projected pattern is shown as a pattern on a normalized pattern projection plane (wavenumber space 313). Here, if the beam diameter Dx incident on the DOE in real space is Dx=2√2a (variable a), the beam dot diameter Dk (projection pattern dot size) in the wavenumber space 313 is expressed by Equation (1).

Figure 2022165078000002
又、波数空間313におけるドットピッチをk0とすると、回折光学素子の構造周期の1周期の長さDdoeは数2となる。
Figure 2022165078000002
Further, when the dot pitch in the wave number space 313 is k0, the length Ddoe of one structural period of the diffractive optical element is given by Equation (2).

Figure 2022165078000003
ここで、波数空間313におけるドット径Dkに対するドットピッチ(k0)の比を数3のようにnとする。
Figure 2022165078000003
Here, let the ratio of the dot pitch (k0) to the dot diameter Dk in the wave number space 313 be n as shown in Equation (3).

Figure 2022165078000004
以上の関係式から、DOEの周期Ddoeと実空間におけるDOEに入射するビーム径Dxは次の数4のような関係になる。
Figure 2022165078000004
From the above relational expression, the relationship between the period Ddoe of the DOE and the beam diameter Dx incident on the DOE in the real space is given by the following equation (4).

Figure 2022165078000005
ここで、ビーム径Dx内の回折光学素子の構造周期の数をLとすると、LDdoe=Dxとなる。
従って波数空間313におけるドット径Dkに対するパターンピッチ(k0)の比nは数5の条件を満たす必要がある。
Figure 2022165078000005
Here, if the number of structural periods of the diffractive optical element within the beam diameter Dx is L, then LDdoe=Dx.
Therefore, the ratio n of the pattern pitch (k0) to the dot diameter Dk in the wave number space 313 must satisfy the condition of Equation (5).

Figure 2022165078000006
Figure 2022165078000006

図4は、ビーム径内の回折光学素子の構造周期と投影パターンの関係図であり、図4(A),(B),(C)は入射ビーム直径内に含まれる回折光学素子の構造周期の数が異なる場合の投影パターンを示している。本実施例では、DOEへの入射ビームは波長850nm,直径300μm、投影面は、DOEから100mm先の正対平面としている。図4(A)、(B)は夫々、入射ビーム直径内に含まれる回折光学素子の構造周期の数が3、2、1.5の場合を示している。 4A, 4B, and 4C are diagrams showing the relationship between the structural period of the diffractive optical element within the beam diameter and the projection pattern, and FIGS. 2 shows projection patterns when the number of is different. In this embodiment, the incident beam to the DOE has a wavelength of 850 nm and a diameter of 300 μm, and the projection plane is a straight plane 100 mm ahead of the DOE. FIGS. 4A and 4B show cases where the number of structural periods of the diffractive optical element contained within the incident beam diameter is 3, 2, and 1.5, respectively.

ここで、ビーム径内の回折光学素子の構造周期の数Lを2以上とし、図4(A)、(B)のように隣接パターンが十分に分離されたパターンを投影した状態で左右カメラの画素単位の強度時間変動情報を元にステレオマッチングを行って距離測定を行った。その結果、精度の高いステレオマッチングが可能であることが確認された。更に、隣接する投影パターンが接近した、 Here, the number L of the structural periods of the diffractive optical element within the beam diameter is set to 2 or more, and the left and right cameras project the patterns in which the adjacent patterns are sufficiently separated as shown in FIGS. Distance measurement was performed by performing stereo matching based on the intensity time variation information for each pixel. As a result, it was confirmed that highly accurate stereo matching is possible. Furthermore, when adjacent projection patterns are close together,

図4(C)のようなパターンであっても、左右カメラの画素単位の強度時間変動情報を元に距離測定のためのステレオマッチングが可能であることがシミュレーションにより確認された。一方、ビーム径内の回折光学素子の構造周期の数が1.5より小さい場合には、左右カメラの画素単位の強度時間変動情報を元に距離測定のためのステレオマッチングの精度が低下した。 It was confirmed by simulation that even with the pattern shown in FIG. 4C, stereo matching for distance measurement is possible based on the intensity temporal variation information for each pixel of the left and right cameras. On the other hand, when the number of structural periods of the diffractive optical element within the beam diameter was less than 1.5, the accuracy of stereo matching for distance measurement decreased based on the intensity temporal variation information for each pixel of the left and right cameras.

図4(C)の場合、ビーム径内の回折光学素子の構造周期の数が1.5、投影パターンピッチk0h=k0w=1.1Dkとなる。そしてピッチk0h、k0wにより形成される矩形領域の面積1.21Dkに対する投影ドットパターンの面積πDk/4の比率である、投影パターンの充填率はπ/4.84≒0.64となる。従ってパターン充填率が0.64以下であれば、左右カメラの画素単位の強度時間変動情報を元に距離測定のためのステレオマッチングが可能であるといえる。 In the case of FIG. 4C, the number of structural periods of the diffractive optical element within the beam diameter is 1.5, and the projection pattern pitch k 0h =k 0w =1.1Dk. The filling factor of the projected pattern, which is the ratio of the area πDk 2 /4 of the projected dot pattern to the area 1.21Dk 2 of the rectangular region formed by the pitches k 0h and k 0w , is π/4.84≈0.64. Become. Therefore, if the pattern filling rate is 0.64 or less, it can be said that stereo matching for distance measurement is possible based on the intensity temporal variation information for each pixel of the left and right cameras.

図3、図4では、説明を簡単とする為に、1次元方向の回折投影パターンの説明としたが、2次元の回折投影パターンでも同じことが言える。
次に、具体的な投影パターンについて詳述する。
実施例1における投影パターンに関して詳述する。
図5は1つのDOEプロジェクタから投影される投影ドットパターンの概略図である。図5は投影パターン全体から9点のドットパターンを抜き出した図であり、9点以外は同じパターンの繰り返しのパターンになっている。
In FIGS. 3 and 4, for the sake of simplification, the diffraction projection pattern in one-dimensional direction has been described, but the same can be said for the two-dimensional diffraction projection pattern.
Next, specific projection patterns will be described in detail.
The projection pattern in Example 1 will be described in detail.
FIG. 5 is a schematic diagram of a projected dot pattern projected from one DOE projector. FIG. 5 is a diagram showing nine dot patterns extracted from the entire projection pattern, and the pattern other than the nine dots is a repeated pattern of the same pattern.

図5における格子形状211は実際に投影されるパターンではなく、説明を簡単にするために、波数空間を幅0.7w及び高さ0.7wで矩形領域に分割したことを示したものである。各回折パターン(ドットパターン)の強度分布はガウス分布をしており、各ドット210の径wはガウス分布のピーク強度に対して13.5%の強度における径である。ドットパターンピッチは1.4wで投影しており、投影パターン充填率は0.4である。 The lattice shape 211 in FIG. 5 is not an actual projected pattern, but rather shows the wavenumber space divided into rectangular regions with a width of 0.7w and a height of 0.7w for ease of explanation. . The intensity distribution of each diffraction pattern (dot pattern) has a Gaussian distribution, and the diameter w of each dot 210 is the diameter at an intensity of 13.5% of the peak intensity of the Gaussian distribution. The dot pattern pitch is projected at 1.4w, and the projection pattern filling factor is 0.4.

図6は、実施例1の各DOEプロジェクタからの投影パターンの概略図である。
図6では、各DOEプロジェクタ(111~114)から夫々投影される4つの格子配列の投影ドットパターンを示している。
又、各DOEプロジェクタの投影ドットパターンは、互いに計測空間において図6(A)~(D)のように、左右又は上下に半ピッチシフトした関係にあり、互いに重なりが少なくなるような配置としている。
FIG. 6 is a schematic diagram of projection patterns from each DOE projector of Example 1. FIG.
FIG. 6 shows projected dot patterns of four grid arrays projected from the respective DOE projectors (111 to 114).
Also, the projected dot patterns of the respective DOE projectors are shifted in the measurement space by half a pitch horizontally or vertically as shown in FIGS. .

この結果、図6(A)~(D)の投影パターンによって投影空間をほぼ占める構成となっており、実空間の計測対象物200上に投影ドットパターンがほぼ充填するようになっている。 As a result, the projected patterns shown in FIGS. 6A to 6D almost occupy the projected space, and the projected dot pattern almost fills the measurement object 200 in the real space.

結果として、ドットパターンが投影された計測対象物200の撮像画像の多くの画素で輝度の時間変化情報が得られ、左右のカメラの画像からステレオマッチング計算を行う際の情報量が増える為に高精度な測距が実現できる。 As a result, luminance time change information can be obtained from many pixels of the captured image of the measurement object 200 on which the dot pattern is projected, and the amount of information when performing stereo matching calculation from the images of the left and right cameras increases. Accurate distance measurement can be realized.

本実施例では、4個のDOEプロジェクタ搭載を前提として説明を行ったが、必ずしも4個に限定されない。例えば、変形例として、投影パターン充填率が例えば0.10のDOEプロジェクタを8個搭載して、互いの投影ドットパターンの重なりが少なくなるように配置しても構わない。この時、8個のDOEプロジェクタを順次8回切り替えて計測対象物200に対してドットパターンを投影する。あるいは、DOEプロジェクタ2個同時点灯しながら順次4回切り替えて計測対象物200に対してドットパターンを投影しても良い。 In this embodiment, the description has been given on the assumption that four DOE projectors are installed, but the number is not necessarily limited to four. For example, as a modification, eight DOE projectors having a projection pattern filling factor of, for example, 0.10 may be installed and arranged so as to reduce mutual overlapping of projected dot patterns. At this time, the eight DOE projectors are sequentially switched eight times to project the dot pattern onto the measurement object 200 . Alternatively, the dot pattern may be projected onto the measurement object 200 by sequentially switching four times while two DOE projectors are turned on at the same time.

実施例1では、DOEプロジェクタからの投影ドットパターンが、図6で示したような理想的な配置を前提として説明を行った。実施例2では、設置誤差等により、各DOEプロジェクタの投影ドットパターン位置が、理想状態に対して誤差がある場合について説明する。
図7は、実施例2におけるシミュレーション条件を示す図であり、本実施例では、図7に示した条件下で測距シミュレーションを行った。
In the first embodiment, the description has been given on the premise that the dot pattern projected from the DOE projector is ideally arranged as shown in FIG. In the second embodiment, the case where the projected dot pattern position of each DOE projector has an error with respect to the ideal state due to an installation error or the like will be described.
FIG. 7 is a diagram showing simulation conditions in Example 2. In this example, distance measurement simulation was performed under the conditions shown in FIG.

図8は、実施例2におけるシミュレーションの結果を示す図であり、DOEプロジェクタの数を変数に距離有効画像比率を評価量とした図である。ここで、左カメラと右カメラのステレオ画像において、視野が重なる領域の画素数に対するステレオマッチングに成功し距離値を出力した画素の数の比のことを距離有効画像比率と定義する。本シミュレーションでは、各DOEプロジェクタは、投影ドットサイズであるドット径wに対してドットパターンのピッチは2w、つまり、投影パターンの充填率は制約条件0.64以下を満たす0.2となるドットパターンを投影している。 FIG. 8 is a diagram showing the results of the simulation in Example 2, in which the number of DOE projectors is used as a variable and the distance effective image ratio is used as an evaluation amount. Here, in the stereo images of the left camera and the right camera, the ratio of the number of pixels for which stereo matching is successful and the distance value is output to the number of pixels in the overlapping field of view is defined as the distance effective image ratio. In this simulation, each DOE projector has a dot pattern pitch of 2w with respect to the dot diameter w, which is the projected dot size. is projected.

図8において、DOEプロジェクタの数が増える程、距離有効画素比率は増加し、測距距離に依らずDOEプロジェクタの個数が4以上あればほぼすべての画素で測距値の算出に成功していることがわかる。 In FIG. 8, the distance effective pixel ratio increases as the number of DOE projectors increases. Regardless of the distance measurement distance, if the number of DOE projectors is 4 or more, the distance measurement value can be successfully calculated for almost all pixels. I understand.

この結果から、投影パターンの充填率0.2となる各DOEプロジェクタにおいて、互いの投影ドットパターンが実施例1のような理想的な配置でなくても、DOEプロジェクタの数が4個以上を満たせば良いことがわかる。即ち、DOEプロジェクタの数が4個以上であれば、計測対象物200の撮像画像の多くの画素で輝度の時間変化情報が得られ、左右のカメラの画像からステレオマッチング計算を行う際の情報量が増える為に高精度な測距が実現できることが確認された。 From this result, in each DOE projector with a projected pattern filling rate of 0.2, even if the projected dot patterns are not ideally arranged as in Example 1, the number of DOE projectors can satisfy four or more. I know it's fine. That is, if the number of DOE projectors is 4 or more, luminance time change information can be obtained from many pixels of the captured image of the measurement object 200, and the amount of information when stereo matching calculation is performed from the images of the left and right cameras. It was confirmed that high-precision distance measurement can be realized because of the increase in

言い換えると、高精度な測距計測を行う為に多くの画素で輝度の時間変化情報を得る為に高密度なパターンを投影することが望ましいが、DOEプロジェクタではドットパターンの高密度化には限界がある。又、各DOEプロジェクタからの投影パターンの重なりが大きいと多くの画素で輝度の時間変化情報を得られない。これらの制約下において、投影パターン充填率0.64以下かつDOEプロジェクタの数が4つ以上の条件を満たすことで高精度な測距が実現できることがシミュレーションにより確認された。
In other words, it is desirable to project a high-density pattern in order to obtain time-varying luminance information from many pixels in order to perform highly accurate distance measurement, but there is a limit to how high-density a dot pattern can be projected with a DOE projector. There is Also, if the overlap of projection patterns from each DOE projector is large, luminance time change information cannot be obtained from many pixels. Under these constraints, it was confirmed by simulation that highly accurate distance measurement can be realized by satisfying the conditions that the projection pattern filling factor is 0.64 or less and the number of DOE projectors is 4 or more.

図9は、実施例3の各DOEプロジェクタからの投影パターンの概略図である。実施例1では、各プロジェクタ(111~114)の投影ドットパターンは互いに空間的に水平方向及び/又は垂直方向にシフトした関係とした。それに対し、実施例3では各プロジェクタの投影ドットパターンが互いにシフト及び/又は回転した関係にあることが特徴である。 FIG. 9 is a schematic diagram of projection patterns from each DOE projector of Example 3. FIG. In Example 1, the projected dot patterns of the respective projectors (111 to 114) are spatially shifted horizontally and/or vertically. In contrast, the third embodiment is characterized in that the projected dot patterns of the respective projectors are in a mutually shifted and/or rotated relationship.

図9(A)の投影ドットパターンは図6(A)の投影パターンと同じ、図9(B)は図6(B)の投影ドットパターンを-10°回転させたパターンとしている。又、図9(C)は図6(C)と同じパターン、図9(D)は図6(D)の投影ドットパターンを+10°回転させたパターンとしている。 The projected dot pattern of FIG. 9(A) is the same as the projected pattern of FIG. 6(A), and FIG. 9(B) is a pattern obtained by rotating the projected dot pattern of FIG. 6(B) by −10°. 9(C) is the same pattern as FIG. 6(C), and FIG. 9(D) is a pattern obtained by rotating the projected dot pattern of FIG. 6(D) by +10°.

このような投影ドットパターンはDOEプロジェクタを構成するDOEの組み込み角を変えるだけで実現できる。ここで、図6、図9の紙面に水平方向を、左カメラと右カメラで構成されるステレオカメラの基線長方向とする。実施例1では、各DOEプロジェクタから投影されるドットパターンは互いにシフトした関係にある為、基線長方向の投影ドットパターンピッチはすべて1.4wで同じになっている。 Such a projected dot pattern can be realized only by changing the mounting angle of the DOE that constitutes the DOE projector. Here, the horizontal direction of the planes of FIGS. 6 and 9 is defined as the baseline length direction of the stereo camera composed of the left camera and the right camera. In Example 1, since the dot patterns projected from the respective DOE projectors are in a mutually shifted relationship, the projected dot pattern pitch in the base line length direction is all the same, ie, 1.4w.

計測対象物200の測距時の行うステレオマッチングにおいて、左カメラと右カメラの画像からマッチングする画素を探索するときに、マッチング結果は投影パターンピッチ毎に同じ結果となってしまう。結果として、投影ドットパターンピッチ1.4wで決まる周期で測距が不定となってしまう。通常は、左右のカメラ画像のマッチング探索において、探索の視差範囲を限定することで測距値が不定となること避ける為、投影ドットパターンのピッチが計測可能な視差範囲を決定する。 When searching for matching pixels from the images of the left camera and the right camera in the stereo matching performed when measuring the distance of the measurement object 200, the matching result is the same for each projection pattern pitch. As a result, distance measurement becomes unstable at a period determined by the projected dot pattern pitch of 1.4w. Normally, in the matching search of the left and right camera images, a parallax range in which the pitch of the projected dot pattern can be measured is determined in order to avoid indefinite distance measurement values caused by limiting the search parallax range.

本実施例では、各DOEプロジェクタの投影ドットパターンを波数空間において互いに同じパターンを所定角度だけ回転又は所定ピッチだけシフトさせた関係とすることで、各DOEプロジェクタの投影ドットパターンの基線長方向のピッチを変えている。言い換えれば、各DOEプロジェクタの投影ドットパターン同士が基線長方向に異なるパターン周期をもつように設定している。具体的には、基線長方向の投影ドットパターンピッチは、図9(A)及び図9(C)で1.4w、図9(B)と図9(D)で1.4wcos(10°)となり、4つのDOEプロジェクタを使って、2種のピッチのドットパターンを投影する。 In this embodiment, the dot pattern projected by each DOE projector is the same pattern in the wave number space, but is rotated by a predetermined angle or shifted by a predetermined pitch. is changing In other words, the dot patterns projected by the respective DOE projectors are set to have different pattern periods in the baseline length direction. Specifically, the projected dot pattern pitch in the baseline length direction is 1.4w in FIGS. 9A and 9C, and 1.4wcos (10°) in FIGS. 9B and 9D. Using four DOE projectors, dot patterns with two pitches are projected.

この結果、左右のカメラ画像のマッチング探索において、測距不定となる周期が、基線長方向に対して1.4wピッチと1.4wcos(10°)ピッチの2つのピッチで決まる合成周波数の周期に拡大する。実施例1に対して測距不定となる周期が拡大することから、左右カメラのマッチング処理時の視差探索の範囲を拡大することが可能となり、測距範囲を拡大することができる。同時に、実施例1と同様に、4つのDOEプロジェクタからの投影ドットパターンを互いにシフトもさせており、実施例1と同様の効果も得られる。 As a result, in the search for matching between the left and right camera images, the period in which the distance measurement becomes unstable is the period of the synthetic frequency determined by two pitches of 1.4w pitch and 1.4wcos (10°) pitch with respect to the baseline length direction. Expanding. Since the period of indefinite distance measurement is extended compared to the first embodiment, it is possible to expand the range of parallax search during the matching processing of the left and right cameras, and the distance measurement range can be expanded. At the same time, as in the first embodiment, the projected dot patterns from the four DOE projectors are also shifted relative to each other, and the same effect as in the first embodiment can be obtained.

本実施例では、説明を簡単にするために、4個のDOEプロジェクタにうち2個単位のプロジェクタの投影ドットパターンピッチを同じとしたが、これに限定されるものではない。例えば、すべてのDOEプロジェクタの投影ドットパターンピッチを変えても良い。この場合、より測距範囲の拡大が可能となる。
<第2実施形態>
In this embodiment, for the sake of simplicity of explanation, the projected dot pattern pitches of the two projectors out of the four DOE projectors are set to be the same, but this is not restrictive. For example, all DOE projectors may have different projected dot pattern pitches. In this case, it is possible to further expand the distance measurement range.
<Second embodiment>

図10は第2実施形態の製造システムの構成例を示す図である。3次元計測装置100はロボットとしてのロボットアーム150(把持装置)の先端に取り付けられて使用される。そして、3次元計測装置100は、部品を組み立てることによって物品を製造するシステムの一部として機能する。3次元計測装置100の投影部110は、支持台220に置かれた計測対象物200に4個のDOEプロジェクタからのドットパターンを順次投影して撮像部121、121で撮像し画像を取得する。 FIG. 10 is a diagram showing a configuration example of a manufacturing system according to the second embodiment. The three-dimensional measuring device 100 is used by being attached to the tip of a robot arm 150 (grasping device) as a robot. The three-dimensional measurement apparatus 100 functions as part of a system that manufactures articles by assembling parts. The projection unit 110 of the three-dimensional measurement apparatus 100 sequentially projects dot patterns from the four DOE projectors onto the measurement object 200 placed on the support base 220, and captures the images with the imaging units 121 and 121 to acquire images.

そして、3次元計測装置100は図2に示すような時系列的な(時間軸方向の)パターンマッチングを行って計測対象物200の3次元データを算出し、制御部160に出力する。
制御部160は、3次元計測装置100から取得した計測対象物の3次元データに基づき計測対象物200の位置や形状や姿勢を求める。そして、求められた位置、形状及び姿勢に基づきロボットアーム150に駆動指令を送ってロボットアーム150のアームや先端のロボットハンドを多軸で制御する。
Then, the three-dimensional measurement apparatus 100 performs time-series (in the direction of the time axis) pattern matching as shown in FIG.
The control unit 160 obtains the position, shape, and orientation of the measurement object 200 based on the three-dimensional data of the measurement object obtained from the three-dimensional measurement device 100 . Then, based on the obtained position, shape, and posture, a drive command is sent to the robot arm 150 to control the arm of the robot arm 150 and the robot hand at the tip in multiple axes.

ロボットアーム150は先端のロボットハンドなど(把持部)で計測対象物200を保持(把持)して、並進や回転などの移動制御処理や姿勢制御処理を行う。更に、ロボットアーム150によって計測対象物200を他の部品に組み付ける組み付け処理(組み立て処理)をすることにより、複数の部品で構成された物品、例えば電子回路基板や機械などの物品を製造することができる。又、移動された計測対象物200を加工処理することにより、物品を製造することができる。 The robot arm 150 holds (grips) the measurement object 200 with a robot hand or the like (gripping portion) at its tip, and performs movement control processing such as translation and rotation and attitude control processing. Furthermore, by performing an assembly process (assembly process) for assembling the measurement object 200 to other parts by the robot arm 150, it is possible to manufacture an article composed of a plurality of parts, such as an electronic circuit board or a machine. can. Also, by processing the moved measurement object 200, an article can be manufactured.

制御部160は、コンピュータとしてのCPUなどの演算装置や計測対象物200の位置姿勢を制御するためのコンピュータプログラムを記憶したメモリなどの記憶装置を有する。尚、ロボットアーム150を制御するための制御部160は、図10の組み立て製造システムの外部に設けても良い。又、3次元計測装置100により計測された計測データや得られた画像を表示部170に表示してもよい。 The control unit 160 has an arithmetic device such as a CPU as a computer and a storage device such as a memory storing a computer program for controlling the position and orientation of the measurement object 200 . Note that the control unit 160 for controlling the robot arm 150 may be provided outside the assembly manufacturing system of FIG. In addition, the measurement data measured by the three-dimensional measurement device 100 and the obtained image may be displayed on the display unit 170 .

以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明は上記実施例に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。
例えば、本実施例では、光源に半導体レーザーの採用を記載しているが、端面発光レーザーでも、面発光レーザー(VCSEL)Vertical Cavity Surface Emitting LASERでも構わない。
The present invention has been described in detail above based on its preferred embodiments, but the present invention is not limited to the above embodiments, and various modifications are possible based on the gist of the present invention. They are not excluded from the scope of the invention.
For example, in this embodiment, a semiconductor laser is used as a light source, but an edge emitting laser or a vertical cavity surface emitting laser (VCSEL) may be used.

或いは、VCSELアレイ光源でも構わない。又、本実施例では、投影パターンは垂直方向と水平方向で同じサイズとしたが、一般的な端面発光レーザーを光源に使用すると、投影パターンの垂直方向と水平方向が違うサイズとなる。このような場合においても、本特許の構成条件を満たすことで同じ効果が得られる。 Alternatively, a VCSEL array light source may be used. In this embodiment, the projection pattern has the same size in the vertical direction and the horizontal direction. However, if a general edge-emitting laser is used as the light source, the projection pattern has different sizes in the vertical direction and the horizontal direction. Even in such a case, the same effect can be obtained by satisfying the constitutional conditions of this patent.

尚、本実施例における制御の一部又は全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して3次元計測装置等に供給するようにしてもよい。そしてその3次元計測装置等におけるコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。 It should be noted that a computer program that implements the functions of the above-described embodiments may be supplied to a three-dimensional measurement apparatus or the like via a network or various storage media for part or all of the control in this embodiment. Then, the computer (or CPU, MPU, etc.) in the three-dimensional measuring device or the like may read and execute the program. In that case, the program and the storage medium storing the program constitute the present invention.

100 3次元計測装置
110 投影部
111~114 DOEプロジェクタ
121、122 撮像部
130 計測制御部
131 投影制御部
132 画像取得部
140 計算部

100 Three-dimensional measurement device 110 Projection units 111 to 114 DOE projectors 121 and 122 Imaging unit 130 Measurement control unit 131 Projection control unit 132 Image acquisition unit 140 Calculation unit

Claims (6)

計測対象物に互いに異なるドットパターンを投影するための複数の回折光学素子を含む投影部と、
前記ドットパターンが投影された前記計測対象物を撮像する第1撮像部と第2撮像部と、
前記計測対象物に前記ドットパターンを投影する前記回折光学素子を切り替えることで互いに異なるドットパターンが順次投影された前記計測対象物について、前記第1撮像部により撮像して得られる複数の画像と前記第2撮像部により撮像して得られる複数の画像とのマッチングを行うことにより、前記計測対象物の3次元データを生成する計算部と、を有し、
前記回折光学素子からの回折光の波数空間において、夫々の前記回折光学素子が形成する前記ドットパターンのピッチを一辺とする矩形領域の面積に対する前記ドットパターンの面積の比であるパターン充填率が0.64以下であり、前記回折光学素子の個数が4以上であることを特徴とする3次元計測装置。
a projection unit including a plurality of diffractive optical elements for projecting mutually different dot patterns onto a measurement object;
a first imaging unit and a second imaging unit for imaging the measurement target on which the dot pattern is projected;
By switching the diffractive optical element for projecting the dot pattern onto the measurement object, a plurality of images obtained by imaging the measurement object on which dot patterns different from each other are successively projected by the first imaging unit; a calculation unit that generates three-dimensional data of the measurement object by matching with a plurality of images obtained by imaging with a second imaging unit;
In the wavenumber space of the diffracted light from the diffractive optical element, the pattern filling factor, which is the ratio of the area of the dot pattern to the area of a rectangular area having a side equal to the pitch of the dot pattern formed by each of the diffractive optical elements, is 0. .64 or less, and the number of said diffractive optical elements is 4 or more.
前記投影部は、光源と前記回折光学素子を有するプロジェクタを4以上有し、
前記計測対象物に前記ドットパターンを投影する前記プロジェクタを切り替えることで互いに異なるドットパターンを前記計測対象物に順次投影することを特徴とする請求項1に記載の3次元計測装置。
The projection unit has four or more projectors each having a light source and the diffractive optical element,
2. The three-dimensional measurement apparatus according to claim 1, wherein different dot patterns are sequentially projected onto the measurement object by switching the projector that projects the dot patterns onto the measurement object.
前記ドットパターンは格子配列であることを特徴とする請求項1に記載の3次元計測装置。 2. The three-dimensional measuring apparatus according to claim 1, wherein said dot pattern is a grid arrangement. 前記互いに異なるドットパターン同士は基線長方向に異なる周期をもつことを特徴とする請求項1に記載の3次元計測装置。 2. The three-dimensional measuring apparatus according to claim 1, wherein the dot patterns different from each other have different periods in the base line length direction. 請求項1~4のいずれか1項に記載の3次元計測装置と、
前記3次元計測装置により得られた前記計測対象物の前記3次元データに基づいて前記計測対象物を保持して移動制御又は姿勢制御させるロボットと、を有することを特徴とするシステム。
A three-dimensional measurement device according to any one of claims 1 to 4;
and a robot that holds the object to be measured and performs movement control or attitude control based on the three-dimensional data of the object to be measured obtained by the three-dimensional measurement device.
請求項1~4のいずれか1項に記載の3次元計測装置を用いて前記計測対象物の前記3次元データを生成する工程と、
前記3次元データに基づいて前記計測対象物を処理することにより物品を製造する工程と、を有することを特徴とする物品の製造方法。
generating the three-dimensional data of the measurement object using the three-dimensional measurement device according to any one of claims 1 to 4;
and a step of manufacturing an article by processing the object to be measured based on the three-dimensional data.
JP2021070262A 2021-04-19 2021-04-19 Three-dimensional measuring device, system, and manufacturing method for article Pending JP2022165078A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021070262A JP2022165078A (en) 2021-04-19 2021-04-19 Three-dimensional measuring device, system, and manufacturing method for article
PCT/JP2022/015698 WO2022224760A1 (en) 2021-04-19 2022-03-29 Three-dimensional measurement device, system, and article manufacturing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021070262A JP2022165078A (en) 2021-04-19 2021-04-19 Three-dimensional measuring device, system, and manufacturing method for article

Publications (1)

Publication Number Publication Date
JP2022165078A true JP2022165078A (en) 2022-10-31

Family

ID=83722192

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021070262A Pending JP2022165078A (en) 2021-04-19 2021-04-19 Three-dimensional measuring device, system, and manufacturing method for article

Country Status (2)

Country Link
JP (1) JP2022165078A (en)
WO (1) WO2022224760A1 (en)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6735615B2 (en) * 2016-06-29 2020-08-05 キヤノン株式会社 Information processing apparatus, information processing apparatus control method, and program
CN111145342B (en) * 2019-12-27 2024-04-12 山东中科先进技术研究院有限公司 Binocular speckle structured light three-dimensional reconstruction method and system

Also Published As

Publication number Publication date
WO2022224760A1 (en) 2022-10-27

Similar Documents

Publication Publication Date Title
US10809056B2 (en) Structured light projector
US11302022B2 (en) Three-dimensional measurement system and three-dimensional measurement method
US7684052B2 (en) Three-dimensional shape measuring apparatus, program, computer-readable recording medium, and three-dimensional shape measuring method
JP4480488B2 (en) Measuring device, computer numerical control device, and program
JP4290733B2 (en) Three-dimensional shape measuring method and apparatus
JP5485889B2 (en) Apparatus and method for performing phase analysis measurement
JP6484072B2 (en) Object detection device
CN110133853B (en) Method for adjusting adjustable speckle pattern and projection method thereof
CN110612428B (en) Three-dimensional measurement method using characteristic quantity and apparatus therefor
WO2021238214A1 (en) Three-dimensional measurement system and method, and computer device
US10869020B2 (en) Method for capturing images of a preferably structured surface of an object and device for image capture
WO2018076705A1 (en) Design method for optical pattern, surface array projection device, and depth camera
JP2008145431A (en) Apparatus and method for 3-dimensional surface geometry reconstruction
JP2021518535A (en) Distance measurement using projection patterns of various densities
CN108362228B (en) Double-optical-machine-based optical knife grating hybrid three-dimensional measurement device and measurement method
US10713810B2 (en) Information processing apparatus, method of controlling information processing apparatus, and storage medium
US20200336673A1 (en) Phase detect auto-focus three dimensional image capture system
TWI672481B (en) Structured light projector and three-dimensional image sensing module
CN114782632A (en) Image reconstruction method, device and equipment
JP2014059164A (en) Shape measurement device and shape measurement method
WO2022224760A1 (en) Three-dimensional measurement device, system, and article manufacturing method
JP2017125707A (en) Measurement method and measurement device
JP5853284B2 (en) Shape measuring apparatus and shape measuring method
JPWO2008056427A1 (en) Three-dimensional shape measuring method and apparatus
US10068350B2 (en) Measurement apparatus, system, measurement method, determination method, and non-transitory computer-readable storage medium