JP2021143841A - Three-dimensional shape measuring device - Google Patents
Three-dimensional shape measuring device Download PDFInfo
- Publication number
- JP2021143841A JP2021143841A JP2020040620A JP2020040620A JP2021143841A JP 2021143841 A JP2021143841 A JP 2021143841A JP 2020040620 A JP2020040620 A JP 2020040620A JP 2020040620 A JP2020040620 A JP 2020040620A JP 2021143841 A JP2021143841 A JP 2021143841A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional shape
- measurement target
- measuring device
- projection means
- measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005259 measurement Methods 0.000 claims abstract description 78
- 238000012545 processing Methods 0.000 claims abstract description 8
- 230000007246 mechanism Effects 0.000 claims description 27
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 description 53
- 230000008569 process Effects 0.000 description 39
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
Abstract
Description
本発明は、三次元形状計測装置に関する。 The present invention relates to a three-dimensional shape measuring device.
従来から、画像を用いて物体の三次元形状を計測する技術として、計測対象にプロジェクタ等の投影手段から周期性を有するパターンを投影し、パターンが投影された状態の計測対象をカメラ等の撮影手段により撮影して、撮影された二次元画像におけるパターンの歪と計測対象の高さとの関係を用いて計測対象の立体的形状を求める、位相シフト法が知られている。具体的には、撮影された画像において計測対象表面の形状(凹凸など)に依存して生じるパターンの歪みを解析することで、計測対象の三次元形状を計測する。 Conventionally, as a technique for measuring the three-dimensional shape of an object using an image, a pattern having periodicity is projected on the measurement target from a projection means such as a projector, and the measurement target in the state where the pattern is projected is photographed by a camera or the like. A phase shift method is known in which an image is taken by means and the three-dimensional shape of the object to be measured is obtained by using the relationship between the distortion of the pattern in the photographed two-dimensional image and the height of the object to be measured. Specifically, the three-dimensional shape of the measurement target is measured by analyzing the distortion of the pattern that occurs depending on the shape (unevenness, etc.) of the surface of the measurement target in the captured image.
上記方法において、計測対象の表面の形状に起因して、パターンが遮られて影が生じ、そのために立体的形状を計測できない場合があるという問題がある。このような問題に対し、特許文献1では、計測対象に対して異なる方向からパターンを投影するように複数の投影手段を配置し、影になる領域を減少させる技術が提案されている。特許文献2では、投影手段を移動させることで影となる領域が生じることを抑止する技術が提案されている。 In the above method, there is a problem that the pattern is blocked and a shadow is generated due to the shape of the surface of the measurement target, and therefore the three-dimensional shape may not be measured. In response to such a problem, Patent Document 1 proposes a technique of arranging a plurality of projection means so as to project patterns from different directions on a measurement target to reduce a shadowed area. Patent Document 2 proposes a technique for suppressing the formation of a shadow region by moving the projection means.
しかしながら、複数の投影手段を配置する方法では、影になる領域を十分に減少させるには多数の投影手段を配置する必要があり、これによって計測装置全体が大型化し、コストも増大してしまう恐れがある。また、投影手段を移動させる方法では、撮影する二次元画像におけるパターンの歪と計測対象の高さとの関係のキャリブレーションを行うことになる。キャリブレーションには数分から数十分の時間がかかるため、三次元形状の計測時間が増大する虞がある。 However, in the method of arranging a plurality of projection means, it is necessary to arrange a large number of projection means in order to sufficiently reduce the shadow area, which may increase the size of the entire measuring device and increase the cost. There is. Further, in the method of moving the projection means, the relationship between the distortion of the pattern in the two-dimensional image to be captured and the height of the measurement target is calibrated. Since the calibration takes several minutes to several tens of minutes, the measurement time of the three-dimensional shape may increase.
開示の技術の1つの側面は、計測時間の長時間化を抑制しつつ、影となる領域が生じることを抑制できる三次元形状計測装置を提供することを目的とする。 One aspect of the disclosed technique is to provide a three-dimensional shape measuring device capable of suppressing the occurrence of a shadow region while suppressing a long measurement time.
開示の技術の1つの側面は、次のような三次元形状計測装置によって例示される。本三次元形状計測装置は、計測対象に対して、互いに位相が異なる複数のパターンを投影する投影手段と、前記投影手段を移動させる移動手段と、前記複数のパターン夫々が投影された前記計測対象を撮影する撮影手段と、前記投影手段が第1位置に存在する場合における、前記計測対象の高さと前記計測対象の撮像から取得される位相との対応関係を記憶する記憶部と、前記撮影手段により取得された画像を処理することで、前記計測対象の三次元形状を計測する計測手段と、前記投影手段が前記移動手段によって第2位置に移動されると、前記第1位置と前記第2位置の位置関係に応じて、前記対応関係を更新する更新手段と、を備える。 One aspect of the disclosed technique is illustrated by the following three-dimensional shape measuring device. In this three-dimensional shape measuring device, a projection means for projecting a plurality of patterns having different phases to a measurement target, a moving means for moving the projection means, and the measurement target on which each of the plurality of patterns is projected. A storage unit that stores the correspondence between the height of the measurement target and the phase acquired from the imaging of the measurement target when the projection means is present at the first position, and the shooting means. When the measuring means for measuring the three-dimensional shape of the measurement target and the projection means are moved to the second position by the moving means by processing the image acquired by the above, the first position and the second position. An update means for updating the correspondence relationship according to the positional relationship of the positions is provided.
このような構成により、所定の位置からのパターンの投影で影になる領域が生じた場合
であっても、当該影の領域にパターンが投影されるように投影手段を移動させることによって、当該領域にもパターンが投影された状態で計測対象を撮影することが可能になる。そのために、前記移動手段は、前記撮影手段が、前記計測手段が前記計測対象の三次元形状を計測することが可能なパターンを撮影し得る位置まで、前記投影手段を移動させるものであるとよい。
With such a configuration, even if a shadow region is generated by projecting the pattern from a predetermined position, the projection means is moved so that the pattern is projected on the shadow region. It is possible to take a picture of the measurement target with the pattern projected on it. Therefore, the moving means may move the projection means to a position where the photographing means can shoot a pattern in which the measuring means can measure the three-dimensional shape of the measurement target. ..
従来の技術では、投影手段を移動させると、検査対象にパターンを投影する角度が変動することから、記憶部に記憶する対応関係を改めて取得する(初期キャリブレーション)ことになる。開示の技術では、投影手段の第1位置と第2位置の位置関係に応じて対応関係を更新することができるため、投影手段を移動させても初期キャリブレーションを行わなくて済む。そのため、開示の技術は、初期キャリブレーションによる計測時間の長時間化を抑制することができる。 In the conventional technique, when the projection means is moved, the angle at which the pattern is projected on the inspection target changes, so that the correspondence relationship stored in the storage unit is acquired again (initial calibration). In the disclosed technique, since the correspondence can be updated according to the positional relationship between the first position and the second position of the projection means, it is not necessary to perform the initial calibration even if the projection means is moved. Therefore, the disclosed technique can suppress a long measurement time due to the initial calibration.
ここで、前記移動手段は、前記投影手段を、前記計測対象を中心とした円周上において回転移動させるものであってもよい。そして、このような場合、前記更新手段は、前記第1位置と前記円周の中心とを結ぶ第1線分と、前記第2位置から前記中心とを結ぶ第2線分とがなす角度に応じて、前記対応関係を更新してもよい。 Here, the moving means may rotate the projection means on a circumference centered on the measurement target. Then, in such a case, the updating means makes an angle formed by a first line segment connecting the first position and the center of the circumference and a second line segment connecting the second position to the center. The correspondence may be updated accordingly.
また、開示の技術は、前記三次元形状計測装置は前記画像投影手段を複数有していてもよい。このような構成であると、同時に複数のパターンを前記計測対象に投影することが可能となり、より効率的に計測対象の三次元形状を計測することができる。 Further, according to the disclosed technique, the three-dimensional shape measuring device may have a plurality of the image projection means. With such a configuration, a plurality of patterns can be projected onto the measurement target at the same time, and the three-dimensional shape of the measurement target can be measured more efficiently.
また、前記移動手段は、軸方向に開口する中空部を有する円筒状の回転機構であって、前記計測対象の上方に前記開口が位置するように配置され、前記撮影手段は、前記計測対象に対して垂直な方向から、前記回転機構の開口を通じて、前記計測対象を撮影するものであってもよい。このような構成であると、装置全体の小型化を図りつつ、前記計測対象を直上から撮影することが可能になる。 Further, the moving means is a cylindrical rotation mechanism having a hollow portion that opens in the axial direction, and is arranged so that the opening is located above the measurement target, and the photographing means is placed on the measurement target. The measurement target may be photographed from a direction perpendicular to the measurement object through the opening of the rotation mechanism. With such a configuration, it is possible to photograph the measurement target from directly above while reducing the size of the entire device.
本三次元形状計測装置は、計測時間の長時間化を抑制しつつ、影となる領域が生じることを抑制することができる。 This three-dimensional shape measuring device can suppress the occurrence of a shadow region while suppressing a long measurement time.
<実施形態>
以下、図面を参照して実施形態について説明する。以下に示す実施形態の構成は例示であり、開示の技術は実施形態の構成に限定されない。
<Embodiment>
Hereinafter, embodiments will be described with reference to the drawings. The configurations of the embodiments shown below are examples, and the disclosed technology is not limited to the configurations of the embodiments.
(三次元形状計測装置の構成)
まず、図1から図3を参照して、実施形態に係る三次元形状計測装置1の構成例を説明する。図1は、実施形態に係る三次元形状計測装置のハードウェア構成を示す模式図である。図2は、実施形態に係る三次元形状計測装置の撮影手段、投影手段および移動手段と、計測対象物との配置関係を例示する概略図である。図3は、実施形態において、移動手段の内部構造を例示する概略図である。
(Configuration of 3D shape measuring device)
First, a configuration example of the three-dimensional shape measuring device 1 according to the embodiment will be described with reference to FIGS. 1 to 3. FIG. 1 is a schematic view showing a hardware configuration of a three-dimensional shape measuring device according to an embodiment. FIG. 2 is a schematic view illustrating the arrangement relationship between the photographing means, the projection means, and the moving means of the three-dimensional shape measuring device according to the embodiment and the measurement target. FIG. 3 is a schematic view illustrating the internal structure of the moving means in the embodiment.
図1に例示するように、実施形態に係る三次元形状計測装置1は、プロジェクタ10、カメラ11、制御装置12(例えばコンピュータ)、移動機構13を備える。
As illustrated in FIG. 1, the three-dimensional shape measuring device 1 according to the embodiment includes a
プロジェクタ10は、計測対象に対してパターンを投影する手段である。ここで、パターンとは、例えば輝度の変化が周期性を示す縞模様であり、時間的に位相を変化させることが可能なものである。このパターンにより、計測対象の三次元形状を計測する処理については公知であるので詳細な説明は割愛する。なお、プロジェクタ10の数は実施形態のように1つであってもよいし、2つ以上であってもよい。プロジェクタ10は、「投影手段」の一例である。
The
カメラ11は、パターンが投影された状態の計測対象を撮影し、デジタル画像を出力する手段である。カメラ11は、例えば、光学系とイメージセンサを有する。カメラ11は、三次元形状の計測を行う際は、プロジェクタ10から投影するパターンの位相を変えながら、複数枚の画像を撮影する。カメラ11は、「撮影手段」の一例である。
The
図2及び図3に示すように、実施形態においては、カメラ11は、移動機構13の一部である中空円筒状の回転機構131の中空部分に収まっており、同じく移動機構13の一部である基準板132の中央部に設けられた円形の開口を通して、計測対象物Oを撮影する。すなわち、実施形態では、計測時には計測対象物Oがカメラ11の真下に位置するように配置される。計測対象物Oは、例えば、電子部品を実装したプリント基板である。なお、本明細書では、撮影手段によって撮影された画像を「観測画像」という。計測対象物Oは、「計測対象」の一例である。
As shown in FIGS. 2 and 3, in the embodiment, the
制御装置12は、プロジェクタ10、カメラ11及び後述する移動機構13の制御、カメラ11から取り込まれた画像に対する処理、三次元形状の計測などを実行する。制御装置12は、CPU(プロセッサ)、メモリ、不揮発性の記憶装置(例えば、ハードディスクやフラッシュメモリ)、入力装置(例えば、キーボード、マウス、タッチパネルなど)、表示装置(例えば、液晶ディスプレイなど)を備えるコンピュータを含む。後述する制御装置12の機能は、不揮発性の記憶装置に格納されたプログラムをメモリにロードし、CPUが当該プログラムを実行することにより実現することができる。ただし、制御装置
12の機能の全部又は一部を、専用のハードウェアで代替しても構わない。また、分散コンピューティングやクラウドコンピューティングの技術を利用し、制御装置12の機能を複数のコンピュータの協働により実現しても構わない。
The
移動機構13は、計測対象物Oに対して相対的にプロジェクタ10を移動させる手段である。図2及び図3に例示するように、実施形態における移動機構13は、モータ(図示せず)によって駆動される中空円筒状の回転機構131と、該回転機構131に組み付けられてプロジェクタ10を支持する基準板132と、を備える。回転機構131は、筐体131aと回転体131bとを含む。筐体131aの上部は、三次元形状計測装置1のフレーム15に固定される。移動機構13は、「移動手段」の一例である。
The moving
回転機構131は、例えばギアによってモータの回転が伝達されることにより、Z軸方向に延びる回転軸を中心として2π(ラジアン)の範囲内で回転体131bが回転するように構成される。この回転体131bが回転すると、回転機構131に組み付けられた基準板132も回転し、これによって基準板132に係止されるプロジェクタ10は、円筒状の回転機構131の回転軸を中心とした円周上を回転移動することになる。すなわち、回転機構131の回転軸と同軸上に計測対象物Oが配置されている場合、プロジェクタ10は計測対象物Oを中心として、XY軸により定義される平面上を回転移動する。
The
(制御装置12の機能)
続いて、図4に基づいて制御装置12の機能を説明する。制御装置12は、画像取得部20、三次元形状計測部21、投影手段位置制御部22、影領域判定部23、初期パラメータ生成部24、軌道中心取得部25、パラメータ更新部26及びパラメータ記憶部27を有する。
(Function of control device 12)
Subsequently, the function of the
画像取得部20は、カメラ11から三次元形状計測に用いる複数の観測画像を取り込む。画像取得部20は、例えば、計測対象物Oに投影されるパターンの位相がπ/4(ラジアン)ずつ異なる画像4枚を取得する。
The
三次元形状計測部21は、取得された複数の観測画像に基づいて、計測対象物Oの三次元形状を算出する。実施形態では、取得した4枚の画像間における計測対象物Oの表面上の一点の位置を表す1ピクセルの位相角を算出する。三次元形状計測部21は、算出した位相角とパラメータ記憶部27が記憶するパラメータとを用いて、当該一点の高さを算出する。三次元形状計測部21は、このような処理を全ピクセルに対して実行することで、観測画像から計測対象物Oの三次元形状を計測する。三次元形状計測部21は、「計測手段」の一例である。
The three-dimensional
投影手段位置制御部22は、入力された投影手段位置情報に基づいて、当該位置に投影手段を移動させるように移動機構13を制御するための信号を出力する。投影手段位置制御部22は、例えば、入力装置を介して任意の投影手段位置情報が入力されると、プロジェクタ10を当該位置に移動させるように回転機構131を駆動させるための信号を出力する。なお、投影手段位置情報は、特定の位置を基準点とした絶対値であってもよいし、位置情報入力時点のプロジェクタ10の位置を基準として、相対的な位置を示す値であってもよい。
The projection means
影領域判定部23は、画像取得部20によって取得された観測画像にパターンの投影されていない影の領域が存在するか否かを判定する。判定のための基準は特に限定されず、例えば、観測画像の輝度値に対して所定の閾値を基準として設定しておき、観測画像の輝度値が該閾値を下回る部分があればそれを影の領域であると判定するようにしてもよい。また、投影されるパターンと観測画像のパターンを対比して、観測画像においてパターン
の欠落部分を検出できた場合には、影の領域が存在すると判断してもよい。
The shadow
初期パラメータ生成部24は、あらかじめ高さが判明しているターゲット部材に対してプロジェクタ10からパターンを投影した状態で撮影した場合における、当該撮像の各ピクセルと位相角との対応関係(初期位相情報)を生成する。図5は、実施形態において、初期パラメータ生成で用いるターゲット部材の一例を示す図である。図5(A)は、ターゲット部材100の平面図である。図5(B)は、ターゲット部材100の側面図である。図5を参照すると理解できるように、ターゲット部材100は、互いに高さの異なる領域R1、R2、R3、R4、R5が設けられる。領域R1、R2、R3、R4、R5の夫々は、カメラ11の撮影範囲全体に相当する広さを有する。ターゲット部材100の各領域の高さは、例えば、領域R1>領域R2>領域R3>領域R4>領域R5となっている。本明細書において、ターゲット部材100の各領域の高さは、撮影台14を基準として、領域R1の高さをX1、領域R2の高さをX2、領域R3の高さをX3、領域R4の高さをX4、領域R5の高さをX5であるものとする。
The initial
初期パラメータ生成部24は、例えば、領域R5を撮影した撮像を基に、初期位相情報を生成する。また、初期パラメータ生成部24は、位相角を基に高さを算出する近似式を生成する。初期パラメータ生成部24は、生成した初期位相情報と近似式を含むパラメータを、パラメータ記憶部27に記憶させる。
The initial
図4に戻り、軌道中心取得部25は、プロジェクタ10の移動する軌跡を基に、プロジェクタ10が移動する軌跡の中心位置を取得する。中心位置は、例えば、座標で示される軌道中心取得部25は、取得した中心位置をパラメータ記憶部27に記憶させる。本実施形態では、プロジェクタ10は、円筒状の回転機構131の回転軸を中心とした円周上を回転移動する。そのため、プロジェクタ10の軌跡の中心があらかじめ判明している場合には、当該中心位置を不揮発性の記憶部に記憶しておくことで、軌道中心取得部25が省略されてもよい。
Returning to FIG. 4, the orbit
パラメータ更新部26は、プロジェクタ10の移動を検知すると、パラメータ記憶部27が記憶するパラメータを更新する。パラメータの更新の詳細については、後述する。パラメータ更新部26は、「更新手段」の一例である。
When the
パラメータ記憶部27は、初期パラメータ生成部24が生成するパラメータを記憶する。パラメータ記憶部27は、例えば、不揮発性の記憶装置である。パラメータ記憶部27は、「記憶部」の一例である。
The
(三次元形状計測処理の流れ)
図6は、実施形態における三次元形状計測処理の流れを例示するフローチャートである。以下、図6を参照して、実施形態における三次元形状計測処理の流れについて説明する。
(Flow of 3D shape measurement processing)
FIG. 6 is a flowchart illustrating the flow of the three-dimensional shape measurement process in the embodiment. Hereinafter, the flow of the three-dimensional shape measurement process in the embodiment will be described with reference to FIG.
S1では、初期パラメータ生成部24は、初期パラメータを生成する。初期パラメータ生成部24は、生成した初期パラメータをパラメータ記憶部27に記憶させる。S1の処理は、例えば、三次元形状計測装置1が設置されたときに実行される。初期パラメータを生成する処理の詳細は、図7を参照して後述する。
In S1, the initial
S2では、画像取得部20は、計測対象物Oにプロジェクタ10から投影されるパターンの位相がπ/2(ラジアン)ずつ異なる画像4枚を取得する。三次元形状計測部21は、画像取得部20が取得した複数の観測画像に基づいて、観測画像の各ピクセルにおける位相を算出する。
In S2, the
パラメータ更新部26は、プロジェクタ10が移動したか否かを判定する。プロジェクタ10が移動した場合(S3でYES)、処理はS6に進められる。プロジェクタ10が移動していない場合(S3でNO)、処理はS4に進められる。
The
S4では、三次元形状計測部21は、観測画像から算出される位相と初期位相との位相差を各ピクセルについて算出する。
In S4, the three-dimensional
S5では、三次元形状計測部21は、パラメータ記憶部27が記憶する近似式を用いて、S4で算出した位相差を基に、観測画像の各ピクセルにおける高さを算出する。
In S5, the three-dimensional
S6では、プロジェクタ10の移動を検知したパラメータ更新部26は、パラメータ記憶部27が記憶する初期位相情報と近似式を更新する。移動後のプロジェクタ10の位置は、「第2位置」の一例である。S6の処理の詳細は、図9を参照して後述する。
In S6, the
(初期パラメータ生成処理の流れ)
図7は、実施形態における、初期パラメータ生成処理の流れを例示するフローチャートである。図7が例示する処理は、図6のS1の処理に対応する。以下、図7を参照して、初期パラメータ生成部24による初期パラメータ生成処理の流れについて説明する。
(Flow of initial parameter generation process)
FIG. 7 is a flowchart illustrating the flow of the initial parameter generation process in the embodiment. The process illustrated in FIG. 7 corresponds to the process in S1 of FIG. Hereinafter, the flow of the initial parameter generation process by the initial
S11では、軌道中心取得部25は、プロジェクタ10を初期位置、初期位置から+π/2(ラジアン)、初期位置から−π/2(ラジアン)の各位置においてプロジェクタ10に投光させた状態で、カメラ11に撮影させる。このように撮影すると、図8の「×」印によって例示するように、プロジェクタ10の位置夫々において、異なる位置に投光したパターンが生じる。軌道中心取得部25は、+π/2(ラジアン)の位置におけるパターンと、−π/2(ラジアン)の位置におけるパターンを結ぶ直線L1の式を、カメラ11が撮影した撮像を基に決定する。続いて、軌道中心取得部25は、0の位置におけるパターンから、直線L1への垂線L2の式を決定する。軌道中心取得部25は、直線L1と垂線L2との交点を算出することで、プロジェクタ10の円軌道の中心Pの位置を取得する。軌道中心取得部25は、取得した中心Pの位置をパラメータ記憶部27に記憶させる。
In S11, the orbit
S12では、初期パラメータ生成部24は、プロジェクタ10を初期位置に配置した状態で、ターゲット部材100の各領域R1、R2、R3、R4、R5の夫々について、投影されるパターンの位相がπ/2(ラジアン)ずつ異なる画像4枚を取得する。初期位置は、「第1位置」の一例である。
In S12, in the initial
S13では、初期パラメータ生成部24は、領域R5を撮影した画像を基に、カメラ11が撮影する撮像の各ピクセルと位相角との対応関係を生成する。本明細書において、領域R5を撮影した画像を基に生成した対応関係を初期位相情報と称する。初期位相情報は、ピクセル夫々に位相の値を配置した2次元の数値配列として示すことができる。
In S13, the initial
S14では、初期パラメータ生成部24は、領域R1、R2、R3、R4の夫々について、各ピクセルと位相角との対応関係を生成する。初期パラメータ生成部24は、S13で生成した初期位相情報と、各ピクセルと位相角との対応関係とを基に、領域R5との相対的な高さと位相角との対応関係をピクセル夫々について生成する。
In S14, the initial
例えば、初期パラメータ生成部24は、以下のような位相角の差φをピクセル夫々について算出する。領域R4について、領域R5との高さの差がX4−X5であり、領域R5との位相角の差がφ1であることを算出する。また、初期パラメータ生成部24は、領域
R3について、領域R5との高さの差がX3−X5であり、領域R5との位相角の差がφ2であることを算出する。初期パラメータ生成部24は、領域R2について、領域R5との高さの差がX2−X5であり、領域R5との位相角の差がφ3であることを算出する。初期パラメータ生成部24は、領域R1について、領域R5との高さの差がX1−X5であり、位相角の差がφ4であることを算出する。
For example, the initial
初期パラメータ生成部24は、このように取得した高さと位相角φとの関係から、高さと位相角との対応関係を示す近似式を算出する。近似式は、例えば、以下の式(1)のような形で示すことができ、各ピクセルに対応する式(1)が生成される。
式(1)において、zは求める高さである。また、式(1)において、係数a、b、c、dは、ピクセル夫々で定まる実数の定数である。本明細書において、ピクセル夫々の近似式の係数a、b、c、dを示す情報をパラメータ係数とも称する。パラメータ係数は、ピクセル夫々について係数aの値を配置した2次元の数値配列、ピクセル夫々について係数bの値を配置した2次元の数値配列、ピクセル夫々について係数cの値を配置した2次元の数値配列、及び、ピクセル夫々について係数dの値を配置した2次元の数値配列として示すことができる。 In equation (1), z is the desired height. Further, in the equation (1), the coefficients a, b, c, and d are real number constants determined by each pixel. In the present specification, the information indicating the coefficients a, b, c, and d of the approximate expression for each pixel is also referred to as a parameter coefficient. The parameter coefficients are a two-dimensional numerical array in which the value of the coefficient a is arranged for each pixel, a two-dimensional numerical array in which the value of the coefficient b is arranged for each pixel, and a two-dimensional numerical value in which the value of the coefficient c is arranged for each pixel. It can be shown as an array and a two-dimensional numerical array in which the value of the coefficient d is arranged for each pixel.
式(1)において、φdの「d」には1から4までの数字が入る。例えば、「φ1」であれば、高さzを算出する対象とするピクセルの、領域R5と領域R4における位相差である。なお、上記式(1)に例示される近似式は3次式であるが、近似式は4次以上の式であってもよいし、2次以下の式であってもよい。 In the formula (1), a number from 1 to 4 is entered in "d" of φ d. For example, if it is "φ 1 ", it is the phase difference between the region R5 and the region R4 of the pixel for which the height z is to be calculated. The approximate expression exemplified in the above equation (1) is a cubic expression, but the approximate expression may be a fourth-order or higher-order formula or a second-order or lower-order formula.
(パラメータ更新処理の流れ)
図9は、実施形態における、パラメータ更新処理の流れを例示するフローチャートである。図9が例示する処理は、図6のS6の処理に対応する。以下、図9を参照して、パラメータ更新処理の流れについて説明する。
(Flow of parameter update process)
FIG. 9 is a flowchart illustrating the flow of the parameter update process in the embodiment. The process illustrated in FIG. 9 corresponds to the process in S6 of FIG. Hereinafter, the flow of the parameter update process will be described with reference to FIG.
S61では、パラメータ更新部26は、パラメータ記憶部27が記憶する初期位相情報を、プロジェクタ10の移動前の位置と移動後の位置の位置関係に応じて更新する。S61の処理の詳細は、図10を参照して後述する。
In S61, the
S62では、パラメータ更新部26は、パラメータ記憶部27が記憶するパラメータ係数、プロジェクタ10の移動前の位置と移動後の位置の位置関係に応じて更新する。S62の処理の詳細は、図11を参照して後述する。
In S62, the
(初期位相情報の更新処理の流れ)
図10は、実施形態における初期位相情報の更新処理の流れを例示するフローチャートである。図10が例示する処理は、図9のS61の処理に対応する。以下、図10を参照して、初期位相情報の更新処理の流れについて説明する。
(Flow of initial phase information update process)
FIG. 10 is a flowchart illustrating the flow of the initial phase information update process in the embodiment. The process illustrated in FIG. 10 corresponds to the process in S61 in FIG. Hereinafter, the flow of the initial phase information update process will be described with reference to FIG.
S611では、パラメータ更新部26は、パラメータ記憶部27が記憶する初期位相情報をアンラップ(位相接続)する。初期位相情報は、各ピクセル夫々の位相が0(ラジアン)から2π(ラジアン)の変域で示される。このように各ピクセルの位相が0から2πの変域で変化すると、2πの次の値が0となるように位相が連続的に変化しない。そのため、2次元の数値配列で示される初期位相情報を曲面で近似するS612の処理が困難になる。アンラップによって、初期位相情報における位相は連続的に変化するようになり、
曲面での近似が容易になる。
In S611, the
Approximation on a curved surface becomes easy.
S612では、パラメータ更新部26は、S611でアンラップした初期位相情報を曲面で近似する。パラメータ更新部26は、例えば、2次式で曲面による近似を行うことができる。なお、曲面の近似が2次式に限定されるわけではなく、3次以上の式によって近似されてもよい。
In S612, the
S613では、パラメータ更新部26は、図6のS3で検知したプロジェクタ10の移動前の位置と移動後の位置の位置関係(角度)を取得する。移動前の位置と移動後の位置の位置関係を示す角度は、例えば、プロジェクタ10の初期位置とパラメータ記憶部27に記憶した中心位置を結ぶ第1線分と、移動後におけるプロジェクタ10の位置とパラメータ記憶部27に記憶した中心位置とを結ぶ第2線分とのなす角であってよい。S612で曲面近似した初期位相情報を、パラメータ記憶部27に記憶した中心位置を中心として、プロジェクタ10が移動した角度だけ回転させる。
In S613, the
S614では、パラメータ更新部26は、S613で回転させた初期位相情報をラップする。S614の処理によって、初期位相情報の各ピクセル夫々の位相が0(ラジアン)から2π(ラジアン)の変域で示されるようになる。
In S614, the
パラメータ更新部26は、図10の処理によって、移動したプロジェクタ10の位置に応じて、初期位相情報を更新できる。
The
(パラメータ係数の更新処理の流れ)
図11は、実施形態におけるパラメータ係数の更新処理の流れを例示するフローチャートである。図11が例示する処理は、図9のS62の処理に対応する。以下、図11を参照して、パラメータ係数の更新処理の流れについて説明する。
(Flow of parameter coefficient update process)
FIG. 11 is a flowchart illustrating the flow of the parameter coefficient update process in the embodiment. The process illustrated in FIG. 11 corresponds to the process in S62 of FIG. Hereinafter, the flow of the parameter coefficient update process will be described with reference to FIG.
S621では、パラメータ更新部26は、係数a、b、c、d夫々についての2次元の数値配列を曲面で近似する。パラメータ更新部26は、図10のS612の処理と同様に、例えば、2次式で曲面による近似を行うことができる。なお、曲面の近似が2次式に限定されるわけではなく、3次以上の式によって近似されてもよい。
In S621, the
S622では、パラメータ更新部26は、S621で曲面近似したパラメータ係数の2次元の数値配列を、パラメータ記憶部27に記憶した中心位置を中心として、プロジェクタ10の移動した角度だけ回転させる。
In S622, the
パラメータ更新部26は、図11の処理によって、移動したプロジェクタ10の位置に応じて、パラメータ係数を更新できる。
The
<実施形態の作用効果>
実施形態では、プロジェクタ10が移動すると、プロジェクタ10の移動前の位置と移動後の位置の位置関係に応じて、初期位相情報及びパラメータ係数が更新される。そのため、プロジェクタ10を移動させた場合でも、初期位相情報及びパラメータ係数の初期キャリブレーションを実行しなくともよい。そのため、実施形態に係る三次元形状計測装置1は、プロジェクタ10を移動させても初期キャリブレーションの時間を節約でき、計測時間の長時間化を抑制できる。
<Action and effect of the embodiment>
In the embodiment, when the
実施形態では、初期位相情報及びパラメータ係数をプロジェクタ10の移動前の位置と移動後の位置の位置関係に応じて回転させる際に、曲面で近似してから回転を実行する。2次元の数値配列で示される初期位相情報及びパラメータ係数を2次元の数値配列として
回転させてしまうと、図13に例示するように、情報が欠損する欠損領域U1が生じる。本実施形態では、曲面で近似してから回転を実行することで、このような欠損領域U1が生じることを抑制できる。
In the embodiment, when the initial phase information and the parameter coefficient are rotated according to the positional relationship between the position before the movement and the position after the movement of the
また、実施形態に係る三次元形状計測装置1は、プロジェクタ10の移動前の位置と移動後の位置の位置関係に応じて初期位相情報及びパラメータ係数が更新することで、プロジェクタ10を移動させても計測対象物Oの形状を高精度に計測することができる。
Further, the three-dimensional shape measuring device 1 according to the embodiment moves the
以上のような実施形態に係る三次元形状計測装置1の構成により、一つのプロジェクタ10によって、計測対象物Oを中心とした円周上のいずれの位置からでも計測対象物Oに対してパターンを投影することが可能になる。このため、多数の投影手段を配置することなく、精度の高い三次元形状計測ができ、装置の大型化、高コスト化を抑えることができる。
With the configuration of the three-dimensional shape measuring device 1 according to the above embodiment, one
<変形例>
なお、実施形態に係る三次元形状計測装置1では、プロジェクタ10を1つのみ配置していたが、必ずしもこのようにする必要はなく、2つ以上の投影手段を設けてもよい。例えば、図12に例示するように、2つのプロジェクタ10a、10bを、基準板132の対向する位置に配置し、計測対象物Oに同時にパターンを投影するようにしてもよい。この場合には、回転機構131の駆動(回転)角度は2π(ラジアン)とすることができる。
<Modification example>
In the three-dimensional shape measuring device 1 according to the embodiment, only one
複数の投影手段によりパターンを投影すると、それだけ計測対象物Oに影の領域が生じにくくなるため、計測の効率を高めることができる。また、投影手段を移動させる場合にも、移動手段の回転角度を小さくすることができ、移動のための時間を短縮することが可能になる。このため、計測の効率化とコスト低減等のバランスを勘案して、任意の数の投影手段を配置することができる。 When a pattern is projected by a plurality of projection means, a shadow region is less likely to be generated on the measurement object O, so that the measurement efficiency can be improved. Further, when the projection means is moved, the rotation angle of the moving means can be reduced, and the time for moving can be shortened. Therefore, any number of projection means can be arranged in consideration of the balance between the efficiency of measurement and the cost reduction.
影領域判定部23は、観測画像に影の領域が存在する場合には、投影手段位置制御部22に位置情報を入力することで、プロジェクタ10を移動させて観測画像から影が無くなるようにしてもよい。入力する位置情報は、プロジェクタ10の現在位置から所定角度回転させるものであってもよい。影領域判定部23がプロジェクタ10を移動させた場合、プロジェクタ10の移動前の位置と移動後の位置の位置関係に応じて、図6のS6に例示されるパラメータ更新処理が実行されればよい。
When the shadow area exists in the observation image, the shadow
<その他>
上記実施形態は、例示的な説明に過ぎず、開示の技術は上記の具体的な形態には限定されない。開示の技術はその技術的思想の範囲内で種々の変形が可能である。例えば、上記実施形態においては、移動機構13はモータとモータの回転により駆動する円筒状の回転機構及び基準板による構成であったが、必ずしもこのような構成に限る必要はない。例えば、モータとしては、回転モータの他リニアモータを使用してもよい。また、モータの代わりに他の手段(例えば空圧や油圧を用いたアクチュエータ)を用いてもよい。さらに、回転機構は円筒状でなくてもよいし、基準板を用いない構成であってもよい。
<Others>
The above-described embodiment is merely an exemplary description, and the disclosed technique is not limited to the above-mentioned specific embodiment. The disclosed technology can be variously modified within the scope of its technical idea. For example, in the above embodiment, the moving
また、プロジェクタ10の移動についても、上記実施例ではXY軸により定義される平面上で回転移動するものであったが、これに限る必要はなく、例えば、ZX軸により定義される平面上を回転移動するものであってもよいし、これらを組み合わせたものであってもよい。また、移動の方法も回転移動のみに限定されず、直線状や円弧以外の曲線状に移動するものであってもよい。
Further, the movement of the
以上で開示した実施形態や変形例はそれぞれ組み合わせることができる。 The embodiments and modifications disclosed above can be combined with each other.
1・・・三次元形状計測装置
10・・・プロジェクタ
11・・・カメラ
12・・・制御装置
13・・・移動機構
14・・・撮影台
15・・・フレーム
20・・・画像取得部
21・・・三次元計測部
22・・・投影手段位置制御部
23・・・影領域判定部
24・・・初期パラメータ生成部
25・・・軌道中心取得部
26・・・パラメータ更新部
27・・・パラメータ記憶部
O・・・計測対象物
1 ... 3D
Claims (5)
前記投影手段を移動させる移動手段と、
前記複数のパターン夫々が投影された前記計測対象を撮影する撮影手段と、
前記投影手段が第1位置に存在する場合における、前記計測対象の高さと前記計測対象の撮像から取得される位相との対応関係を記憶する記憶部と、
前記撮影手段により取得された画像を処理することで、前記計測対象の三次元形状を計測する計測手段と、
前記投影手段が前記移動手段によって第2位置に移動されると、前記第1位置と前記第2位置の位置関係とに応じて、前記対応関係を更新する更新手段と、を備える、
三次元形状計測装置。 A projection means that projects multiple patterns with different phases to the measurement target,
A moving means for moving the projection means and
An imaging means for photographing the measurement target on which the plurality of patterns are projected, and an imaging means.
A storage unit that stores the correspondence between the height of the measurement target and the phase acquired from the imaging of the measurement target when the projection means is present at the first position.
A measuring means for measuring the three-dimensional shape of the measurement target by processing the image acquired by the photographing means, and a measuring means for measuring the three-dimensional shape of the measurement target.
When the projection means is moved to the second position by the moving means, the projection means includes an updating means for updating the correspondence relationship according to the positional relationship between the first position and the second position.
Three-dimensional shape measuring device.
前記更新手段は、前記第1位置と前記円周の中心とを結ぶ第1線分と、前記第2位置から前記中心とを結ぶ第2線分とがなす角度に応じて、前記対応関係を更新する、
請求項1に記載の三次元形状計測装置。 The moving means rotates and moves the projection means on a circumference centered on the measurement target.
The updating means establishes the corresponding relationship according to the angle formed by the first line segment connecting the first position and the center of the circumference and the second line segment connecting the second position to the center. Update,
The three-dimensional shape measuring device according to claim 1.
請求項1または2に記載の三次元形状計測装置。 The moving means moves the projection means to a position where the photographing means can shoot a pattern in which the measuring means can measure the three-dimensional shape of the measurement target.
The three-dimensional shape measuring device according to claim 1 or 2.
請求項1から3のいずれか一項に記載の三次元形状計測装置。 A plurality of the projection means are provided.
The three-dimensional shape measuring device according to any one of claims 1 to 3.
前記撮影手段は、前記計測対象に対して垂直な方向から、前記回転機構の開口を通じて、前記計測対象を撮影する、
請求項1から4のいずれか一項に記載の三次元形状計測装置。 The moving means is a cylindrical rotating mechanism having a hollow portion that opens in the axial direction, and is arranged so that the opening is located above the measurement target.
The photographing means photographs the measurement object from a direction perpendicular to the measurement object through the opening of the rotation mechanism.
The three-dimensional shape measuring device according to any one of claims 1 to 4.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020040620A JP7404941B2 (en) | 2020-03-10 | 2020-03-10 | 3D shape measuring device |
PCT/JP2020/046861 WO2021181786A1 (en) | 2020-03-10 | 2020-12-16 | Three-dimensional shape measurement device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020040620A JP7404941B2 (en) | 2020-03-10 | 2020-03-10 | 3D shape measuring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021143841A true JP2021143841A (en) | 2021-09-24 |
JP7404941B2 JP7404941B2 (en) | 2023-12-26 |
Family
ID=77671540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020040620A Active JP7404941B2 (en) | 2020-03-10 | 2020-03-10 | 3D shape measuring device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7404941B2 (en) |
WO (1) | WO2021181786A1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001012925A (en) * | 1999-04-30 | 2001-01-19 | Nec Corp | Three-dimensional shape measurement method and device and record medium |
US20050174579A1 (en) * | 2002-04-24 | 2005-08-11 | Gunther Notni | Method and device for determining the spatial co-ordinates of an object |
JP2008170279A (en) * | 2007-01-11 | 2008-07-24 | Omron Corp | Three-dimensional shape measuring device, method for correction therefor, program, and computer-readable recording medium |
JP2010164424A (en) * | 2009-01-15 | 2010-07-29 | Kurabo Ind Ltd | Non-contact shape measuring apparatus and non-contact shape measuring method |
JP2018081048A (en) * | 2016-11-18 | 2018-05-24 | オムロン株式会社 | Three-dimensional shape measurement device |
-
2020
- 2020-03-10 JP JP2020040620A patent/JP7404941B2/en active Active
- 2020-12-16 WO PCT/JP2020/046861 patent/WO2021181786A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001012925A (en) * | 1999-04-30 | 2001-01-19 | Nec Corp | Three-dimensional shape measurement method and device and record medium |
US20050174579A1 (en) * | 2002-04-24 | 2005-08-11 | Gunther Notni | Method and device for determining the spatial co-ordinates of an object |
JP2008170279A (en) * | 2007-01-11 | 2008-07-24 | Omron Corp | Three-dimensional shape measuring device, method for correction therefor, program, and computer-readable recording medium |
JP2010164424A (en) * | 2009-01-15 | 2010-07-29 | Kurabo Ind Ltd | Non-contact shape measuring apparatus and non-contact shape measuring method |
JP2018081048A (en) * | 2016-11-18 | 2018-05-24 | オムロン株式会社 | Three-dimensional shape measurement device |
Also Published As
Publication number | Publication date |
---|---|
JP7404941B2 (en) | 2023-12-26 |
WO2021181786A1 (en) | 2021-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9683837B2 (en) | Optical measurement method and measurement system for determining 3D coordinates on a measurement object surface | |
JP6848385B2 (en) | 3D shape measuring device | |
US8662676B1 (en) | Automatic projector calibration | |
EP3421930B1 (en) | Three-dimensional shape data and texture information generation system, photographing control program, and three-dimensional shape data and texture information generation method | |
JP2005039558A (en) | Projector, method for acquiring tilt angle of projector, and projected image correction method | |
JP2010164605A (en) | Projector and control method | |
CN110612428B (en) | Three-dimensional measurement method using characteristic quantity and apparatus therefor | |
US11451755B2 (en) | Method for controlling electronic instrument and electronic instrument | |
WO2017098090A1 (en) | Calibration technique for capturing panoramic images | |
WO2021181786A1 (en) | Three-dimensional shape measurement device | |
JP6411191B2 (en) | Tilt detection device and rotating laser device | |
JP2009053002A (en) | Measuring system | |
JP2006115346A (en) | Imaging apparatus and camera shake correction method | |
JP6966229B2 (en) | Runout correction characteristic evaluation device for optical equipment with runout correction function | |
JP2005331542A (en) | Exposure apparatus, exposure method and method for manufacturing substrate | |
JP4670194B2 (en) | Microscope system | |
JP2019161278A (en) | Calibration reference point acquisition system and calibration reference point acquisition method | |
JP2014077858A (en) | Back projection type video display device | |
JP2009264898A (en) | Workpiece position/attitude measurement method and measuring device | |
JP2008177763A (en) | Method and device for calibrating lens and method and device for calibrating image sensing device | |
JPH06160054A (en) | Image processing device | |
JP2002142146A (en) | Method for adjusting image pickup unit | |
US11754389B2 (en) | Estimation method, measurement method, and estimation apparatus | |
JP2016008838A (en) | Shape measuring device, structure manufacturing system, shape measuring method, and structure manufacturing method | |
US20240112321A1 (en) | Three-dimensional shape data generation apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231127 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7404941 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |