JP2021143841A - Three-dimensional shape measuring device - Google Patents

Three-dimensional shape measuring device Download PDF

Info

Publication number
JP2021143841A
JP2021143841A JP2020040620A JP2020040620A JP2021143841A JP 2021143841 A JP2021143841 A JP 2021143841A JP 2020040620 A JP2020040620 A JP 2020040620A JP 2020040620 A JP2020040620 A JP 2020040620A JP 2021143841 A JP2021143841 A JP 2021143841A
Authority
JP
Japan
Prior art keywords
dimensional shape
measurement target
measuring device
projection means
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020040620A
Other languages
Japanese (ja)
Other versions
JP7404941B2 (en
Inventor
貴行 西
Takayuki Nishi
貴行 西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2020040620A priority Critical patent/JP7404941B2/en
Priority to PCT/JP2020/046861 priority patent/WO2021181786A1/en
Publication of JP2021143841A publication Critical patent/JP2021143841A/en
Application granted granted Critical
Publication of JP7404941B2 publication Critical patent/JP7404941B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object

Abstract

To provide a three-dimensional shape measuring device with which it is possible to suppress the occurrence of a region that constitutes a shade while suppressing the measurement time from becoming extended.SOLUTION: This three-dimensional shape measuring device comprises: projection means for projecting a plurality of patterns mutually different in phase to a measurement object; movement means for moving the projection means; photographing means for photographing the measurement object with each of the plurality of patterns projected thereto; a storage unit for storing a correspondence relation between the height of the measurement object and the phase acquired from the photographed image of the measurement object in cases when the projection means exists at a first position; measurement means for processing the image acquired by the photographing means and thereby measuring the three-dimensional shape of the measurement object; and update means which, when the projection means is moved to a second position by the movement means, updates the correspondence relation in accordance with a physical relationship between the first position and the second position.SELECTED DRAWING: Figure 4

Description

本発明は、三次元形状計測装置に関する。 The present invention relates to a three-dimensional shape measuring device.

従来から、画像を用いて物体の三次元形状を計測する技術として、計測対象にプロジェクタ等の投影手段から周期性を有するパターンを投影し、パターンが投影された状態の計測対象をカメラ等の撮影手段により撮影して、撮影された二次元画像におけるパターンの歪と計測対象の高さとの関係を用いて計測対象の立体的形状を求める、位相シフト法が知られている。具体的には、撮影された画像において計測対象表面の形状(凹凸など)に依存して生じるパターンの歪みを解析することで、計測対象の三次元形状を計測する。 Conventionally, as a technique for measuring the three-dimensional shape of an object using an image, a pattern having periodicity is projected on the measurement target from a projection means such as a projector, and the measurement target in the state where the pattern is projected is photographed by a camera or the like. A phase shift method is known in which an image is taken by means and the three-dimensional shape of the object to be measured is obtained by using the relationship between the distortion of the pattern in the photographed two-dimensional image and the height of the object to be measured. Specifically, the three-dimensional shape of the measurement target is measured by analyzing the distortion of the pattern that occurs depending on the shape (unevenness, etc.) of the surface of the measurement target in the captured image.

上記方法において、計測対象の表面の形状に起因して、パターンが遮られて影が生じ、そのために立体的形状を計測できない場合があるという問題がある。このような問題に対し、特許文献1では、計測対象に対して異なる方向からパターンを投影するように複数の投影手段を配置し、影になる領域を減少させる技術が提案されている。特許文献2では、投影手段を移動させることで影となる領域が生じることを抑止する技術が提案されている。 In the above method, there is a problem that the pattern is blocked and a shadow is generated due to the shape of the surface of the measurement target, and therefore the three-dimensional shape may not be measured. In response to such a problem, Patent Document 1 proposes a technique of arranging a plurality of projection means so as to project patterns from different directions on a measurement target to reduce a shadowed area. Patent Document 2 proposes a technique for suppressing the formation of a shadow region by moving the projection means.

特開2018−077251号公報JP-A-2018-077251 特開2018−081048号公報JP-A-2018-081048

しかしながら、複数の投影手段を配置する方法では、影になる領域を十分に減少させるには多数の投影手段を配置する必要があり、これによって計測装置全体が大型化し、コストも増大してしまう恐れがある。また、投影手段を移動させる方法では、撮影する二次元画像におけるパターンの歪と計測対象の高さとの関係のキャリブレーションを行うことになる。キャリブレーションには数分から数十分の時間がかかるため、三次元形状の計測時間が増大する虞がある。 However, in the method of arranging a plurality of projection means, it is necessary to arrange a large number of projection means in order to sufficiently reduce the shadow area, which may increase the size of the entire measuring device and increase the cost. There is. Further, in the method of moving the projection means, the relationship between the distortion of the pattern in the two-dimensional image to be captured and the height of the measurement target is calibrated. Since the calibration takes several minutes to several tens of minutes, the measurement time of the three-dimensional shape may increase.

開示の技術の1つの側面は、計測時間の長時間化を抑制しつつ、影となる領域が生じることを抑制できる三次元形状計測装置を提供することを目的とする。 One aspect of the disclosed technique is to provide a three-dimensional shape measuring device capable of suppressing the occurrence of a shadow region while suppressing a long measurement time.

開示の技術の1つの側面は、次のような三次元形状計測装置によって例示される。本三次元形状計測装置は、計測対象に対して、互いに位相が異なる複数のパターンを投影する投影手段と、前記投影手段を移動させる移動手段と、前記複数のパターン夫々が投影された前記計測対象を撮影する撮影手段と、前記投影手段が第1位置に存在する場合における、前記計測対象の高さと前記計測対象の撮像から取得される位相との対応関係を記憶する記憶部と、前記撮影手段により取得された画像を処理することで、前記計測対象の三次元形状を計測する計測手段と、前記投影手段が前記移動手段によって第2位置に移動されると、前記第1位置と前記第2位置の位置関係に応じて、前記対応関係を更新する更新手段と、を備える。 One aspect of the disclosed technique is illustrated by the following three-dimensional shape measuring device. In this three-dimensional shape measuring device, a projection means for projecting a plurality of patterns having different phases to a measurement target, a moving means for moving the projection means, and the measurement target on which each of the plurality of patterns is projected. A storage unit that stores the correspondence between the height of the measurement target and the phase acquired from the imaging of the measurement target when the projection means is present at the first position, and the shooting means. When the measuring means for measuring the three-dimensional shape of the measurement target and the projection means are moved to the second position by the moving means by processing the image acquired by the above, the first position and the second position. An update means for updating the correspondence relationship according to the positional relationship of the positions is provided.

このような構成により、所定の位置からのパターンの投影で影になる領域が生じた場合
であっても、当該影の領域にパターンが投影されるように投影手段を移動させることによって、当該領域にもパターンが投影された状態で計測対象を撮影することが可能になる。そのために、前記移動手段は、前記撮影手段が、前記計測手段が前記計測対象の三次元形状を計測することが可能なパターンを撮影し得る位置まで、前記投影手段を移動させるものであるとよい。
With such a configuration, even if a shadow region is generated by projecting the pattern from a predetermined position, the projection means is moved so that the pattern is projected on the shadow region. It is possible to take a picture of the measurement target with the pattern projected on it. Therefore, the moving means may move the projection means to a position where the photographing means can shoot a pattern in which the measuring means can measure the three-dimensional shape of the measurement target. ..

従来の技術では、投影手段を移動させると、検査対象にパターンを投影する角度が変動することから、記憶部に記憶する対応関係を改めて取得する(初期キャリブレーション)ことになる。開示の技術では、投影手段の第1位置と第2位置の位置関係に応じて対応関係を更新することができるため、投影手段を移動させても初期キャリブレーションを行わなくて済む。そのため、開示の技術は、初期キャリブレーションによる計測時間の長時間化を抑制することができる。 In the conventional technique, when the projection means is moved, the angle at which the pattern is projected on the inspection target changes, so that the correspondence relationship stored in the storage unit is acquired again (initial calibration). In the disclosed technique, since the correspondence can be updated according to the positional relationship between the first position and the second position of the projection means, it is not necessary to perform the initial calibration even if the projection means is moved. Therefore, the disclosed technique can suppress a long measurement time due to the initial calibration.

ここで、前記移動手段は、前記投影手段を、前記計測対象を中心とした円周上において回転移動させるものであってもよい。そして、このような場合、前記更新手段は、前記第1位置と前記円周の中心とを結ぶ第1線分と、前記第2位置から前記中心とを結ぶ第2線分とがなす角度に応じて、前記対応関係を更新してもよい。 Here, the moving means may rotate the projection means on a circumference centered on the measurement target. Then, in such a case, the updating means makes an angle formed by a first line segment connecting the first position and the center of the circumference and a second line segment connecting the second position to the center. The correspondence may be updated accordingly.

また、開示の技術は、前記三次元形状計測装置は前記画像投影手段を複数有していてもよい。このような構成であると、同時に複数のパターンを前記計測対象に投影することが可能となり、より効率的に計測対象の三次元形状を計測することができる。 Further, according to the disclosed technique, the three-dimensional shape measuring device may have a plurality of the image projection means. With such a configuration, a plurality of patterns can be projected onto the measurement target at the same time, and the three-dimensional shape of the measurement target can be measured more efficiently.

また、前記移動手段は、軸方向に開口する中空部を有する円筒状の回転機構であって、前記計測対象の上方に前記開口が位置するように配置され、前記撮影手段は、前記計測対象に対して垂直な方向から、前記回転機構の開口を通じて、前記計測対象を撮影するものであってもよい。このような構成であると、装置全体の小型化を図りつつ、前記計測対象を直上から撮影することが可能になる。 Further, the moving means is a cylindrical rotation mechanism having a hollow portion that opens in the axial direction, and is arranged so that the opening is located above the measurement target, and the photographing means is placed on the measurement target. The measurement target may be photographed from a direction perpendicular to the measurement object through the opening of the rotation mechanism. With such a configuration, it is possible to photograph the measurement target from directly above while reducing the size of the entire device.

本三次元形状計測装置は、計測時間の長時間化を抑制しつつ、影となる領域が生じることを抑制することができる。 This three-dimensional shape measuring device can suppress the occurrence of a shadow region while suppressing a long measurement time.

図1は、実施形態に係る三次元形状計測装置のハードウェア構成を示す模式図である。FIG. 1 is a schematic view showing a hardware configuration of a three-dimensional shape measuring device according to an embodiment. 図2は、実施形態に係る三次元形状計測装置の撮影手段、投影手段および移動手段と、計測対象物との配置関係を例示する概略図である。FIG. 2 is a schematic view illustrating the arrangement relationship between the photographing means, the projection means, and the moving means of the three-dimensional shape measuring device according to the embodiment and the measurement target. 図3は、実施形態において、移動手段の内部構造を例示する概略図である。FIG. 3 is a schematic view illustrating the internal structure of the moving means in the embodiment. 図4は、実施形態に係る三次元形状計測装置の機能ブロックを例示する図である。FIG. 4 is a diagram illustrating a functional block of the three-dimensional shape measuring device according to the embodiment. 図5は、実施形態において、初期パラメータ生成で用いるターゲット部材の一例を示す図である。FIG. 5 is a diagram showing an example of a target member used in initial parameter generation in the embodiment. 図6は、実施形態における三次元形状計測処理の流れを例示するフローチャートである。FIG. 6 is a flowchart illustrating the flow of the three-dimensional shape measurement process in the embodiment. 図7は、実施形態における、初期パラメータ生成処理の流れを例示するフローチャートである。FIG. 7 is a flowchart illustrating the flow of the initial parameter generation process in the embodiment. 図8は、プロジェクタの軌跡を模式的に示す図である。FIG. 8 is a diagram schematically showing a trajectory of the projector. 図9は、実施形態における、パラメータ更新処理の流れを例示するフローチャートである。FIG. 9 is a flowchart illustrating the flow of the parameter update process in the embodiment. 図10は、実施形態における初期位相情報の更新処理の流れを例示するフローチャートである。FIG. 10 is a flowchart illustrating the flow of the initial phase information update process in the embodiment. 図11は、実施形態におけるパラメータ係数の更新処理の流れを例示するフローチャートである。FIG. 11 is a flowchart illustrating the flow of the parameter coefficient update process in the embodiment. 図12は、2つのプロジェクタを備える三次元形状計測装置の構成の一例を示す図である。FIG. 12 is a diagram showing an example of the configuration of a three-dimensional shape measuring device including two projectors. 2次元の数値配列で示される情報を回転したときに生じる欠損領域を例示する図である。It is a figure which illustrates the defective region which occurs when the information shown by a two-dimensional numerical array is rotated.

<実施形態>
以下、図面を参照して実施形態について説明する。以下に示す実施形態の構成は例示であり、開示の技術は実施形態の構成に限定されない。
<Embodiment>
Hereinafter, embodiments will be described with reference to the drawings. The configurations of the embodiments shown below are examples, and the disclosed technology is not limited to the configurations of the embodiments.

(三次元形状計測装置の構成)
まず、図1から図3を参照して、実施形態に係る三次元形状計測装置1の構成例を説明する。図1は、実施形態に係る三次元形状計測装置のハードウェア構成を示す模式図である。図2は、実施形態に係る三次元形状計測装置の撮影手段、投影手段および移動手段と、計測対象物との配置関係を例示する概略図である。図3は、実施形態において、移動手段の内部構造を例示する概略図である。
(Configuration of 3D shape measuring device)
First, a configuration example of the three-dimensional shape measuring device 1 according to the embodiment will be described with reference to FIGS. 1 to 3. FIG. 1 is a schematic view showing a hardware configuration of a three-dimensional shape measuring device according to an embodiment. FIG. 2 is a schematic view illustrating the arrangement relationship between the photographing means, the projection means, and the moving means of the three-dimensional shape measuring device according to the embodiment and the measurement target. FIG. 3 is a schematic view illustrating the internal structure of the moving means in the embodiment.

図1に例示するように、実施形態に係る三次元形状計測装置1は、プロジェクタ10、カメラ11、制御装置12(例えばコンピュータ)、移動機構13を備える。 As illustrated in FIG. 1, the three-dimensional shape measuring device 1 according to the embodiment includes a projector 10, a camera 11, a control device 12 (for example, a computer), and a moving mechanism 13.

プロジェクタ10は、計測対象に対してパターンを投影する手段である。ここで、パターンとは、例えば輝度の変化が周期性を示す縞模様であり、時間的に位相を変化させることが可能なものである。このパターンにより、計測対象の三次元形状を計測する処理については公知であるので詳細な説明は割愛する。なお、プロジェクタ10の数は実施形態のように1つであってもよいし、2つ以上であってもよい。プロジェクタ10は、「投影手段」の一例である。 The projector 10 is a means for projecting a pattern onto a measurement target. Here, the pattern is, for example, a striped pattern in which the change in brightness shows periodicity, and the phase can be changed in time. Since the process of measuring the three-dimensional shape of the measurement target by this pattern is known, detailed description thereof will be omitted. The number of projectors 10 may be one or two or more as in the embodiment. The projector 10 is an example of a “projection means”.

カメラ11は、パターンが投影された状態の計測対象を撮影し、デジタル画像を出力する手段である。カメラ11は、例えば、光学系とイメージセンサを有する。カメラ11は、三次元形状の計測を行う際は、プロジェクタ10から投影するパターンの位相を変えながら、複数枚の画像を撮影する。カメラ11は、「撮影手段」の一例である。 The camera 11 is a means for photographing a measurement target in a state where a pattern is projected and outputting a digital image. The camera 11 has, for example, an optical system and an image sensor. When measuring the three-dimensional shape, the camera 11 captures a plurality of images while changing the phase of the pattern projected from the projector 10. The camera 11 is an example of "shooting means".

図2及び図3に示すように、実施形態においては、カメラ11は、移動機構13の一部である中空円筒状の回転機構131の中空部分に収まっており、同じく移動機構13の一部である基準板132の中央部に設けられた円形の開口を通して、計測対象物Oを撮影する。すなわち、実施形態では、計測時には計測対象物Oがカメラ11の真下に位置するように配置される。計測対象物Oは、例えば、電子部品を実装したプリント基板である。なお、本明細書では、撮影手段によって撮影された画像を「観測画像」という。計測対象物Oは、「計測対象」の一例である。 As shown in FIGS. 2 and 3, in the embodiment, the camera 11 is housed in the hollow portion of the hollow cylindrical rotating mechanism 131 which is a part of the moving mechanism 13, and is also a part of the moving mechanism 13. The object O to be measured is photographed through a circular opening provided in the center of a reference plate 132. That is, in the embodiment, the measurement object O is arranged so as to be located directly below the camera 11 at the time of measurement. The measurement object O is, for example, a printed circuit board on which electronic components are mounted. In this specification, an image taken by a photographing means is referred to as an "observed image". The measurement target O is an example of a “measurement target”.

制御装置12は、プロジェクタ10、カメラ11及び後述する移動機構13の制御、カメラ11から取り込まれた画像に対する処理、三次元形状の計測などを実行する。制御装置12は、CPU(プロセッサ)、メモリ、不揮発性の記憶装置(例えば、ハードディスクやフラッシュメモリ)、入力装置(例えば、キーボード、マウス、タッチパネルなど)、表示装置(例えば、液晶ディスプレイなど)を備えるコンピュータを含む。後述する制御装置12の機能は、不揮発性の記憶装置に格納されたプログラムをメモリにロードし、CPUが当該プログラムを実行することにより実現することができる。ただし、制御装置
12の機能の全部又は一部を、専用のハードウェアで代替しても構わない。また、分散コンピューティングやクラウドコンピューティングの技術を利用し、制御装置12の機能を複数のコンピュータの協働により実現しても構わない。
The control device 12 controls the projector 10, the camera 11, and the moving mechanism 13 described later, processes the image captured from the camera 11, measures the three-dimensional shape, and the like. The control device 12 includes a CPU (processor), a memory, a non-volatile storage device (for example, a hard disk or a flash memory), an input device (for example, a keyboard, a mouse, a touch panel, etc.), and a display device (for example, a liquid crystal display). Including computer. The function of the control device 12, which will be described later, can be realized by loading the program stored in the non-volatile storage device into the memory and executing the program by the CPU. However, all or part of the functions of the control device 12 may be replaced with dedicated hardware. Further, the functions of the control device 12 may be realized by the collaboration of a plurality of computers by utilizing the technologies of distributed computing and cloud computing.

移動機構13は、計測対象物Oに対して相対的にプロジェクタ10を移動させる手段である。図2及び図3に例示するように、実施形態における移動機構13は、モータ(図示せず)によって駆動される中空円筒状の回転機構131と、該回転機構131に組み付けられてプロジェクタ10を支持する基準板132と、を備える。回転機構131は、筐体131aと回転体131bとを含む。筐体131aの上部は、三次元形状計測装置1のフレーム15に固定される。移動機構13は、「移動手段」の一例である。 The moving mechanism 13 is a means for moving the projector 10 relative to the measurement object O. As illustrated in FIGS. 2 and 3, the moving mechanism 13 in the embodiment has a hollow cylindrical rotating mechanism 131 driven by a motor (not shown) and is assembled to the rotating mechanism 131 to support the projector 10. The reference plate 132 and the reference plate 132 are provided. The rotating mechanism 131 includes a housing 131a and a rotating body 131b. The upper portion of the housing 131a is fixed to the frame 15 of the three-dimensional shape measuring device 1. The moving mechanism 13 is an example of a “moving means”.

回転機構131は、例えばギアによってモータの回転が伝達されることにより、Z軸方向に延びる回転軸を中心として2π(ラジアン)の範囲内で回転体131bが回転するように構成される。この回転体131bが回転すると、回転機構131に組み付けられた基準板132も回転し、これによって基準板132に係止されるプロジェクタ10は、円筒状の回転機構131の回転軸を中心とした円周上を回転移動することになる。すなわち、回転機構131の回転軸と同軸上に計測対象物Oが配置されている場合、プロジェクタ10は計測対象物Oを中心として、XY軸により定義される平面上を回転移動する。 The rotation mechanism 131 is configured such that the rotating body 131b rotates within a range of 2π (radians) about a rotation axis extending in the Z-axis direction by transmitting the rotation of the motor by, for example, a gear. When the rotating body 131b rotates, the reference plate 132 assembled to the rotating mechanism 131 also rotates, and the projector 10 locked to the reference plate 132 is a circle centered on the rotation axis of the cylindrical rotating mechanism 131. It will rotate around the circumference. That is, when the measurement object O is arranged coaxially with the rotation axis of the rotation mechanism 131, the projector 10 rotates around the measurement object O on a plane defined by the XY axes.

(制御装置12の機能)
続いて、図4に基づいて制御装置12の機能を説明する。制御装置12は、画像取得部20、三次元形状計測部21、投影手段位置制御部22、影領域判定部23、初期パラメータ生成部24、軌道中心取得部25、パラメータ更新部26及びパラメータ記憶部27を有する。
(Function of control device 12)
Subsequently, the function of the control device 12 will be described with reference to FIG. The control device 12 includes an image acquisition unit 20, a three-dimensional shape measurement unit 21, a projection means position control unit 22, a shadow area determination unit 23, an initial parameter generation unit 24, an orbit center acquisition unit 25, a parameter update unit 26, and a parameter storage unit. Has 27.

画像取得部20は、カメラ11から三次元形状計測に用いる複数の観測画像を取り込む。画像取得部20は、例えば、計測対象物Oに投影されるパターンの位相がπ/4(ラジアン)ずつ異なる画像4枚を取得する。 The image acquisition unit 20 captures a plurality of observation images used for three-dimensional shape measurement from the camera 11. The image acquisition unit 20 acquires, for example, four images in which the phases of the patterns projected on the measurement object O differ by π / 4 (radians).

三次元形状計測部21は、取得された複数の観測画像に基づいて、計測対象物Oの三次元形状を算出する。実施形態では、取得した4枚の画像間における計測対象物Oの表面上の一点の位置を表す1ピクセルの位相角を算出する。三次元形状計測部21は、算出した位相角とパラメータ記憶部27が記憶するパラメータとを用いて、当該一点の高さを算出する。三次元形状計測部21は、このような処理を全ピクセルに対して実行することで、観測画像から計測対象物Oの三次元形状を計測する。三次元形状計測部21は、「計測手段」の一例である。 The three-dimensional shape measuring unit 21 calculates the three-dimensional shape of the measurement object O based on the acquired plurality of observed images. In the embodiment, the phase angle of 1 pixel representing the position of one point on the surface of the measurement object O between the four acquired images is calculated. The three-dimensional shape measuring unit 21 calculates the height of the one point using the calculated phase angle and the parameters stored in the parameter storage unit 27. The three-dimensional shape measuring unit 21 measures the three-dimensional shape of the measurement object O from the observed image by executing such a process for all pixels. The three-dimensional shape measuring unit 21 is an example of a “measuring means”.

投影手段位置制御部22は、入力された投影手段位置情報に基づいて、当該位置に投影手段を移動させるように移動機構13を制御するための信号を出力する。投影手段位置制御部22は、例えば、入力装置を介して任意の投影手段位置情報が入力されると、プロジェクタ10を当該位置に移動させるように回転機構131を駆動させるための信号を出力する。なお、投影手段位置情報は、特定の位置を基準点とした絶対値であってもよいし、位置情報入力時点のプロジェクタ10の位置を基準として、相対的な位置を示す値であってもよい。 The projection means position control unit 22 outputs a signal for controlling the moving mechanism 13 so as to move the projection means to the position based on the input projection means position information. For example, when arbitrary projection means position information is input via an input device, the projection means position control unit 22 outputs a signal for driving the rotation mechanism 131 so as to move the projector 10 to the position. The projection means position information may be an absolute value with a specific position as a reference point, or may be a value indicating a relative position with respect to the position of the projector 10 at the time of inputting the position information. ..

影領域判定部23は、画像取得部20によって取得された観測画像にパターンの投影されていない影の領域が存在するか否かを判定する。判定のための基準は特に限定されず、例えば、観測画像の輝度値に対して所定の閾値を基準として設定しておき、観測画像の輝度値が該閾値を下回る部分があればそれを影の領域であると判定するようにしてもよい。また、投影されるパターンと観測画像のパターンを対比して、観測画像においてパターン
の欠落部分を検出できた場合には、影の領域が存在すると判断してもよい。
The shadow area determination unit 23 determines whether or not there is a shadow area in which the pattern is not projected in the observation image acquired by the image acquisition unit 20. The criteria for determination are not particularly limited. For example, a predetermined threshold value is set as a reference for the brightness value of the observed image, and if there is a portion where the brightness value of the observed image is lower than the threshold value, it is used as a shadow. It may be determined that it is an area. Further, when the projected pattern is compared with the pattern of the observed image and a missing portion of the pattern can be detected in the observed image, it may be determined that a shadow region exists.

初期パラメータ生成部24は、あらかじめ高さが判明しているターゲット部材に対してプロジェクタ10からパターンを投影した状態で撮影した場合における、当該撮像の各ピクセルと位相角との対応関係(初期位相情報)を生成する。図5は、実施形態において、初期パラメータ生成で用いるターゲット部材の一例を示す図である。図5(A)は、ターゲット部材100の平面図である。図5(B)は、ターゲット部材100の側面図である。図5を参照すると理解できるように、ターゲット部材100は、互いに高さの異なる領域R1、R2、R3、R4、R5が設けられる。領域R1、R2、R3、R4、R5の夫々は、カメラ11の撮影範囲全体に相当する広さを有する。ターゲット部材100の各領域の高さは、例えば、領域R1>領域R2>領域R3>領域R4>領域R5となっている。本明細書において、ターゲット部材100の各領域の高さは、撮影台14を基準として、領域R1の高さをX、領域R2の高さをX、領域R3の高さをX、領域R4の高さをX、領域R5の高さをXであるものとする。 The initial parameter generation unit 24 has a correspondence relationship (initial phase information) between each pixel of the imaging and the phase angle when the pattern is projected from the projector 10 onto the target member whose height is known in advance. ) Is generated. FIG. 5 is a diagram showing an example of a target member used in initial parameter generation in the embodiment. FIG. 5A is a plan view of the target member 100. FIG. 5B is a side view of the target member 100. As can be understood with reference to FIG. 5, the target member 100 is provided with regions R1, R2, R3, R4, and R5 having different heights from each other. Each of the regions R1, R2, R3, R4, and R5 has an area corresponding to the entire shooting range of the camera 11. The height of each region of the target member 100 is, for example, region R1> region R2> region R3> region R4> region R5. In the present specification, the height of each region of the target member 100, based on the imaging table 14, X 1 the height of the region R1, the height X 2 region R2, the height of the region R3 X 3, the height of the region R4 X 4, the height of the region R5 assumed to be X 5.

初期パラメータ生成部24は、例えば、領域R5を撮影した撮像を基に、初期位相情報を生成する。また、初期パラメータ生成部24は、位相角を基に高さを算出する近似式を生成する。初期パラメータ生成部24は、生成した初期位相情報と近似式を含むパラメータを、パラメータ記憶部27に記憶させる。 The initial parameter generation unit 24 generates initial phase information, for example, based on an image taken of the region R5. Further, the initial parameter generation unit 24 generates an approximate expression for calculating the height based on the phase angle. The initial parameter generation unit 24 stores the generated parameters including the initial phase information and the approximate expression in the parameter storage unit 27.

図4に戻り、軌道中心取得部25は、プロジェクタ10の移動する軌跡を基に、プロジェクタ10が移動する軌跡の中心位置を取得する。中心位置は、例えば、座標で示される軌道中心取得部25は、取得した中心位置をパラメータ記憶部27に記憶させる。本実施形態では、プロジェクタ10は、円筒状の回転機構131の回転軸を中心とした円周上を回転移動する。そのため、プロジェクタ10の軌跡の中心があらかじめ判明している場合には、当該中心位置を不揮発性の記憶部に記憶しておくことで、軌道中心取得部25が省略されてもよい。 Returning to FIG. 4, the orbit center acquisition unit 25 acquires the center position of the locus in which the projector 10 moves, based on the locus in which the projector 10 moves. As for the center position, for example, the track center acquisition unit 25 indicated by coordinates stores the acquired center position in the parameter storage unit 27. In the present embodiment, the projector 10 rotates around the rotation axis of the cylindrical rotation mechanism 131. Therefore, when the center of the trajectory of the projector 10 is known in advance, the trajectory center acquisition unit 25 may be omitted by storing the center position in the non-volatile storage unit.

パラメータ更新部26は、プロジェクタ10の移動を検知すると、パラメータ記憶部27が記憶するパラメータを更新する。パラメータの更新の詳細については、後述する。パラメータ更新部26は、「更新手段」の一例である。 When the parameter update unit 26 detects the movement of the projector 10, the parameter update unit 26 updates the parameters stored in the parameter storage unit 27. Details of updating the parameters will be described later. The parameter update unit 26 is an example of the “update means”.

パラメータ記憶部27は、初期パラメータ生成部24が生成するパラメータを記憶する。パラメータ記憶部27は、例えば、不揮発性の記憶装置である。パラメータ記憶部27は、「記憶部」の一例である。 The parameter storage unit 27 stores the parameters generated by the initial parameter generation unit 24. The parameter storage unit 27 is, for example, a non-volatile storage device. The parameter storage unit 27 is an example of a “storage unit”.

(三次元形状計測処理の流れ)
図6は、実施形態における三次元形状計測処理の流れを例示するフローチャートである。以下、図6を参照して、実施形態における三次元形状計測処理の流れについて説明する。
(Flow of 3D shape measurement processing)
FIG. 6 is a flowchart illustrating the flow of the three-dimensional shape measurement process in the embodiment. Hereinafter, the flow of the three-dimensional shape measurement process in the embodiment will be described with reference to FIG.

S1では、初期パラメータ生成部24は、初期パラメータを生成する。初期パラメータ生成部24は、生成した初期パラメータをパラメータ記憶部27に記憶させる。S1の処理は、例えば、三次元形状計測装置1が設置されたときに実行される。初期パラメータを生成する処理の詳細は、図7を参照して後述する。 In S1, the initial parameter generation unit 24 generates initial parameters. The initial parameter generation unit 24 stores the generated initial parameters in the parameter storage unit 27. The process of S1 is executed, for example, when the three-dimensional shape measuring device 1 is installed. Details of the process of generating the initial parameters will be described later with reference to FIG. 7.

S2では、画像取得部20は、計測対象物Oにプロジェクタ10から投影されるパターンの位相がπ/2(ラジアン)ずつ異なる画像4枚を取得する。三次元形状計測部21は、画像取得部20が取得した複数の観測画像に基づいて、観測画像の各ピクセルにおける位相を算出する。 In S2, the image acquisition unit 20 acquires four images in which the phases of the patterns projected from the projector 10 on the measurement object O differ by π / 2 (radians). The three-dimensional shape measurement unit 21 calculates the phase of each pixel of the observation image based on the plurality of observation images acquired by the image acquisition unit 20.

パラメータ更新部26は、プロジェクタ10が移動したか否かを判定する。プロジェクタ10が移動した場合(S3でYES)、処理はS6に進められる。プロジェクタ10が移動していない場合(S3でNO)、処理はS4に進められる。 The parameter update unit 26 determines whether or not the projector 10 has moved. If the projector 10 has moved (YES in S3), the process proceeds to S6. If the projector 10 is not moving (NO in S3), the process proceeds to S4.

S4では、三次元形状計測部21は、観測画像から算出される位相と初期位相との位相差を各ピクセルについて算出する。 In S4, the three-dimensional shape measuring unit 21 calculates the phase difference between the phase calculated from the observed image and the initial phase for each pixel.

S5では、三次元形状計測部21は、パラメータ記憶部27が記憶する近似式を用いて、S4で算出した位相差を基に、観測画像の各ピクセルにおける高さを算出する。 In S5, the three-dimensional shape measuring unit 21 calculates the height of the observed image at each pixel based on the phase difference calculated in S4 by using the approximate expression stored in the parameter storage unit 27.

S6では、プロジェクタ10の移動を検知したパラメータ更新部26は、パラメータ記憶部27が記憶する初期位相情報と近似式を更新する。移動後のプロジェクタ10の位置は、「第2位置」の一例である。S6の処理の詳細は、図9を参照して後述する。 In S6, the parameter updating unit 26 that has detected the movement of the projector 10 updates the initial phase information and the approximate expression stored in the parameter storage unit 27. The position of the projector 10 after the movement is an example of the “second position”. Details of the processing of S6 will be described later with reference to FIG.

(初期パラメータ生成処理の流れ)
図7は、実施形態における、初期パラメータ生成処理の流れを例示するフローチャートである。図7が例示する処理は、図6のS1の処理に対応する。以下、図7を参照して、初期パラメータ生成部24による初期パラメータ生成処理の流れについて説明する。
(Flow of initial parameter generation process)
FIG. 7 is a flowchart illustrating the flow of the initial parameter generation process in the embodiment. The process illustrated in FIG. 7 corresponds to the process in S1 of FIG. Hereinafter, the flow of the initial parameter generation process by the initial parameter generation unit 24 will be described with reference to FIG. 7.

S11では、軌道中心取得部25は、プロジェクタ10を初期位置、初期位置から+π/2(ラジアン)、初期位置から−π/2(ラジアン)の各位置においてプロジェクタ10に投光させた状態で、カメラ11に撮影させる。このように撮影すると、図8の「×」印によって例示するように、プロジェクタ10の位置夫々において、異なる位置に投光したパターンが生じる。軌道中心取得部25は、+π/2(ラジアン)の位置におけるパターンと、−π/2(ラジアン)の位置におけるパターンを結ぶ直線L1の式を、カメラ11が撮影した撮像を基に決定する。続いて、軌道中心取得部25は、0の位置におけるパターンから、直線L1への垂線L2の式を決定する。軌道中心取得部25は、直線L1と垂線L2との交点を算出することで、プロジェクタ10の円軌道の中心Pの位置を取得する。軌道中心取得部25は、取得した中心Pの位置をパラメータ記憶部27に記憶させる。 In S11, the orbit center acquisition unit 25 causes the projector 10 to project light at the initial position, + π / 2 (radian) from the initial position, and −π / 2 (radian) from the initial position. Let the camera 11 take a picture. When the image is taken in this way, as illustrated by the “x” mark in FIG. 8, patterns are generated in which light is projected at different positions at each position of the projector 10. The orbit center acquisition unit 25 determines the equation of the straight line L1 connecting the pattern at the + π / 2 (radian) position and the pattern at the −π / 2 (radian) position based on the image taken by the camera 11. Subsequently, the track center acquisition unit 25 determines the equation of the perpendicular line L2 to the straight line L1 from the pattern at the position of 0. The orbit center acquisition unit 25 acquires the position of the center P of the circular orbit of the projector 10 by calculating the intersection of the straight line L1 and the perpendicular line L2. The orbit center acquisition unit 25 stores the acquired position of the center P in the parameter storage unit 27.

S12では、初期パラメータ生成部24は、プロジェクタ10を初期位置に配置した状態で、ターゲット部材100の各領域R1、R2、R3、R4、R5の夫々について、投影されるパターンの位相がπ/2(ラジアン)ずつ異なる画像4枚を取得する。初期位置は、「第1位置」の一例である。 In S12, in the initial parameter generation unit 24, with the projector 10 arranged at the initial position, the phase of the projected pattern is π / 2 for each of the regions R1, R2, R3, R4, and R5 of the target member 100. (Radian) Acquires four different images. The initial position is an example of the "first position".

S13では、初期パラメータ生成部24は、領域R5を撮影した画像を基に、カメラ11が撮影する撮像の各ピクセルと位相角との対応関係を生成する。本明細書において、領域R5を撮影した画像を基に生成した対応関係を初期位相情報と称する。初期位相情報は、ピクセル夫々に位相の値を配置した2次元の数値配列として示すことができる。 In S13, the initial parameter generation unit 24 generates the correspondence between each pixel of the image captured by the camera 11 and the phase angle based on the image captured in the region R5. In the present specification, the correspondence generated based on the image obtained by capturing the region R5 is referred to as initial phase information. The initial phase information can be shown as a two-dimensional numerical array in which phase values are arranged for each pixel.

S14では、初期パラメータ生成部24は、領域R1、R2、R3、R4の夫々について、各ピクセルと位相角との対応関係を生成する。初期パラメータ生成部24は、S13で生成した初期位相情報と、各ピクセルと位相角との対応関係とを基に、領域R5との相対的な高さと位相角との対応関係をピクセル夫々について生成する。 In S14, the initial parameter generation unit 24 generates the correspondence between each pixel and the phase angle for each of the regions R1, R2, R3, and R4. The initial parameter generation unit 24 generates a correspondence between the relative height with the region R5 and the phase angle for each pixel based on the initial phase information generated in S13 and the correspondence between each pixel and the phase angle. do.

例えば、初期パラメータ生成部24は、以下のような位相角の差φをピクセル夫々について算出する。領域R4について、領域R5との高さの差がX−Xであり、領域R5との位相角の差がφであることを算出する。また、初期パラメータ生成部24は、領域
R3について、領域R5との高さの差がX−Xであり、領域R5との位相角の差がφであることを算出する。初期パラメータ生成部24は、領域R2について、領域R5との高さの差がX−Xであり、領域R5との位相角の差がφであることを算出する。初期パラメータ生成部24は、領域R1について、領域R5との高さの差がX−Xであり、位相角の差がφであることを算出する。
For example, the initial parameter generation unit 24 calculates the following phase angle difference φ for each pixel. The region R4, the difference in height between the region R5 is X 4 -X 5, the phase angle difference between the region R5 is calculated to be the phi 1. The initial parameter generating unit 24, the region R3, the difference in height between the region R5 is X 3 -X 5, the phase angle difference between the region R5 is calculated that the phi 2. The initial parameter generating unit 24, the region R2, the difference in height between the region R5 is X 2 -X 5, calculates the phase angle difference between the region R5 is phi 3. The initial parameter generating unit 24, the region R1, the difference in height between the region R5 is X 1 -X 5, the phase angle difference is calculated to be a phi 4.

初期パラメータ生成部24は、このように取得した高さと位相角φとの関係から、高さと位相角との対応関係を示す近似式を算出する。近似式は、例えば、以下の式(1)のような形で示すことができ、各ピクセルに対応する式(1)が生成される。

Figure 2021143841
The initial parameter generation unit 24 calculates an approximate expression showing the correspondence between the height and the phase angle from the relationship between the height and the phase angle φ thus acquired. The approximate expression can be shown, for example, in the form of the following expression (1), and the expression (1) corresponding to each pixel is generated.
Figure 2021143841

式(1)において、zは求める高さである。また、式(1)において、係数a、b、c、dは、ピクセル夫々で定まる実数の定数である。本明細書において、ピクセル夫々の近似式の係数a、b、c、dを示す情報をパラメータ係数とも称する。パラメータ係数は、ピクセル夫々について係数aの値を配置した2次元の数値配列、ピクセル夫々について係数bの値を配置した2次元の数値配列、ピクセル夫々について係数cの値を配置した2次元の数値配列、及び、ピクセル夫々について係数dの値を配置した2次元の数値配列として示すことができる。 In equation (1), z is the desired height. Further, in the equation (1), the coefficients a, b, c, and d are real number constants determined by each pixel. In the present specification, the information indicating the coefficients a, b, c, and d of the approximate expression for each pixel is also referred to as a parameter coefficient. The parameter coefficients are a two-dimensional numerical array in which the value of the coefficient a is arranged for each pixel, a two-dimensional numerical array in which the value of the coefficient b is arranged for each pixel, and a two-dimensional numerical value in which the value of the coefficient c is arranged for each pixel. It can be shown as an array and a two-dimensional numerical array in which the value of the coefficient d is arranged for each pixel.

式(1)において、φの「d」には1から4までの数字が入る。例えば、「φ」であれば、高さzを算出する対象とするピクセルの、領域R5と領域R4における位相差である。なお、上記式(1)に例示される近似式は3次式であるが、近似式は4次以上の式であってもよいし、2次以下の式であってもよい。 In the formula (1), a number from 1 to 4 is entered in "d" of φ d. For example, if it is "φ 1 ", it is the phase difference between the region R5 and the region R4 of the pixel for which the height z is to be calculated. The approximate expression exemplified in the above equation (1) is a cubic expression, but the approximate expression may be a fourth-order or higher-order formula or a second-order or lower-order formula.

(パラメータ更新処理の流れ)
図9は、実施形態における、パラメータ更新処理の流れを例示するフローチャートである。図9が例示する処理は、図6のS6の処理に対応する。以下、図9を参照して、パラメータ更新処理の流れについて説明する。
(Flow of parameter update process)
FIG. 9 is a flowchart illustrating the flow of the parameter update process in the embodiment. The process illustrated in FIG. 9 corresponds to the process in S6 of FIG. Hereinafter, the flow of the parameter update process will be described with reference to FIG.

S61では、パラメータ更新部26は、パラメータ記憶部27が記憶する初期位相情報を、プロジェクタ10の移動前の位置と移動後の位置の位置関係に応じて更新する。S61の処理の詳細は、図10を参照して後述する。 In S61, the parameter updating unit 26 updates the initial phase information stored in the parameter storage unit 27 according to the positional relationship between the position before the movement and the position after the movement of the projector 10. Details of the processing of S61 will be described later with reference to FIG.

S62では、パラメータ更新部26は、パラメータ記憶部27が記憶するパラメータ係数、プロジェクタ10の移動前の位置と移動後の位置の位置関係に応じて更新する。S62の処理の詳細は、図11を参照して後述する。 In S62, the parameter updating unit 26 updates according to the parameter coefficient stored in the parameter storage unit 27 and the positional relationship between the position before the movement and the position after the movement of the projector 10. Details of the processing of S62 will be described later with reference to FIG.

(初期位相情報の更新処理の流れ)
図10は、実施形態における初期位相情報の更新処理の流れを例示するフローチャートである。図10が例示する処理は、図9のS61の処理に対応する。以下、図10を参照して、初期位相情報の更新処理の流れについて説明する。
(Flow of initial phase information update process)
FIG. 10 is a flowchart illustrating the flow of the initial phase information update process in the embodiment. The process illustrated in FIG. 10 corresponds to the process in S61 in FIG. Hereinafter, the flow of the initial phase information update process will be described with reference to FIG.

S611では、パラメータ更新部26は、パラメータ記憶部27が記憶する初期位相情報をアンラップ(位相接続)する。初期位相情報は、各ピクセル夫々の位相が0(ラジアン)から2π(ラジアン)の変域で示される。このように各ピクセルの位相が0から2πの変域で変化すると、2πの次の値が0となるように位相が連続的に変化しない。そのため、2次元の数値配列で示される初期位相情報を曲面で近似するS612の処理が困難になる。アンラップによって、初期位相情報における位相は連続的に変化するようになり、
曲面での近似が容易になる。
In S611, the parameter update unit 26 unwraps (phase connection) the initial phase information stored in the parameter storage unit 27. The initial phase information is shown in the range where the phase of each pixel is from 0 (radians) to 2π (radians). When the phase of each pixel changes in the range from 0 to 2π in this way, the phase does not change continuously so that the value next to 2π becomes 0. Therefore, it becomes difficult to process S612 that approximates the initial phase information represented by the two-dimensional numerical array with a curved surface. Unwrap causes the phase in the initial phase information to change continuously,
Approximation on a curved surface becomes easy.

S612では、パラメータ更新部26は、S611でアンラップした初期位相情報を曲面で近似する。パラメータ更新部26は、例えば、2次式で曲面による近似を行うことができる。なお、曲面の近似が2次式に限定されるわけではなく、3次以上の式によって近似されてもよい。 In S612, the parameter update unit 26 approximates the initial phase information unwrapped in S611 with a curved surface. The parameter update unit 26 can perform approximation by a curved surface with a quadratic expression, for example. The approximation of the curved surface is not limited to the quadratic equation, and may be approximated by a cubic or higher-order equation.

S613では、パラメータ更新部26は、図6のS3で検知したプロジェクタ10の移動前の位置と移動後の位置の位置関係(角度)を取得する。移動前の位置と移動後の位置の位置関係を示す角度は、例えば、プロジェクタ10の初期位置とパラメータ記憶部27に記憶した中心位置を結ぶ第1線分と、移動後におけるプロジェクタ10の位置とパラメータ記憶部27に記憶した中心位置とを結ぶ第2線分とのなす角であってよい。S612で曲面近似した初期位相情報を、パラメータ記憶部27に記憶した中心位置を中心として、プロジェクタ10が移動した角度だけ回転させる。 In S613, the parameter updating unit 26 acquires the positional relationship (angle) between the position before the movement and the position after the movement of the projector 10 detected in S3 of FIG. The angles indicating the positional relationship between the position before the movement and the position after the movement are, for example, the first line segment connecting the initial position of the projector 10 and the center position stored in the parameter storage unit 27, and the position of the projector 10 after the movement. It may be an angle formed by a second line segment connecting the center position stored in the parameter storage unit 27. The initial phase information approximated by the curved surface in S612 is rotated about the center position stored in the parameter storage unit 27 by the angle at which the projector 10 has moved.

S614では、パラメータ更新部26は、S613で回転させた初期位相情報をラップする。S614の処理によって、初期位相情報の各ピクセル夫々の位相が0(ラジアン)から2π(ラジアン)の変域で示されるようになる。 In S614, the parameter update unit 26 wraps the initial phase information rotated in S613. By the processing of S614, the phase of each pixel of the initial phase information is shown in the range of 0 (radian) to 2π (radian).

パラメータ更新部26は、図10の処理によって、移動したプロジェクタ10の位置に応じて、初期位相情報を更新できる。 The parameter update unit 26 can update the initial phase information according to the position of the moved projector 10 by the process of FIG.

(パラメータ係数の更新処理の流れ)
図11は、実施形態におけるパラメータ係数の更新処理の流れを例示するフローチャートである。図11が例示する処理は、図9のS62の処理に対応する。以下、図11を参照して、パラメータ係数の更新処理の流れについて説明する。
(Flow of parameter coefficient update process)
FIG. 11 is a flowchart illustrating the flow of the parameter coefficient update process in the embodiment. The process illustrated in FIG. 11 corresponds to the process in S62 of FIG. Hereinafter, the flow of the parameter coefficient update process will be described with reference to FIG.

S621では、パラメータ更新部26は、係数a、b、c、d夫々についての2次元の数値配列を曲面で近似する。パラメータ更新部26は、図10のS612の処理と同様に、例えば、2次式で曲面による近似を行うことができる。なお、曲面の近似が2次式に限定されるわけではなく、3次以上の式によって近似されてもよい。 In S621, the parameter update unit 26 approximates a two-dimensional numerical array for each of the coefficients a, b, c, and d with a curved surface. The parameter update unit 26 can perform approximation by a curved surface by, for example, a quadratic expression, as in the process of S612 in FIG. The approximation of the curved surface is not limited to the quadratic equation, and may be approximated by a cubic or higher-order equation.

S622では、パラメータ更新部26は、S621で曲面近似したパラメータ係数の2次元の数値配列を、パラメータ記憶部27に記憶した中心位置を中心として、プロジェクタ10の移動した角度だけ回転させる。 In S622, the parameter updating unit 26 rotates the two-dimensional numerical array of the parameter coefficients approximated by the curved surface in S621 by the moved angle of the projector 10 around the center position stored in the parameter storage unit 27.

パラメータ更新部26は、図11の処理によって、移動したプロジェクタ10の位置に応じて、パラメータ係数を更新できる。 The parameter update unit 26 can update the parameter coefficient according to the position of the moved projector 10 by the process of FIG.

<実施形態の作用効果>
実施形態では、プロジェクタ10が移動すると、プロジェクタ10の移動前の位置と移動後の位置の位置関係に応じて、初期位相情報及びパラメータ係数が更新される。そのため、プロジェクタ10を移動させた場合でも、初期位相情報及びパラメータ係数の初期キャリブレーションを実行しなくともよい。そのため、実施形態に係る三次元形状計測装置1は、プロジェクタ10を移動させても初期キャリブレーションの時間を節約でき、計測時間の長時間化を抑制できる。
<Action and effect of the embodiment>
In the embodiment, when the projector 10 moves, the initial phase information and the parameter coefficient are updated according to the positional relationship between the position before the movement and the position after the movement of the projector 10. Therefore, even when the projector 10 is moved, it is not necessary to perform the initial calibration of the initial phase information and the parameter coefficient. Therefore, the three-dimensional shape measuring device 1 according to the embodiment can save the time for initial calibration even if the projector 10 is moved, and can suppress the lengthening of the measuring time.

実施形態では、初期位相情報及びパラメータ係数をプロジェクタ10の移動前の位置と移動後の位置の位置関係に応じて回転させる際に、曲面で近似してから回転を実行する。2次元の数値配列で示される初期位相情報及びパラメータ係数を2次元の数値配列として
回転させてしまうと、図13に例示するように、情報が欠損する欠損領域U1が生じる。本実施形態では、曲面で近似してから回転を実行することで、このような欠損領域U1が生じることを抑制できる。
In the embodiment, when the initial phase information and the parameter coefficient are rotated according to the positional relationship between the position before the movement and the position after the movement of the projector 10, the rotation is executed after approximating with a curved surface. When the initial phase information and the parameter coefficients shown in the two-dimensional numerical array are rotated as the two-dimensional numerical array, a defective region U1 in which the information is missing occurs, as illustrated in FIG. In the present embodiment, it is possible to suppress the occurrence of such a defective region U1 by executing rotation after approximating with a curved surface.

また、実施形態に係る三次元形状計測装置1は、プロジェクタ10の移動前の位置と移動後の位置の位置関係に応じて初期位相情報及びパラメータ係数が更新することで、プロジェクタ10を移動させても計測対象物Oの形状を高精度に計測することができる。 Further, the three-dimensional shape measuring device 1 according to the embodiment moves the projector 10 by updating the initial phase information and the parameter coefficient according to the positional relationship between the position before the movement of the projector 10 and the position after the movement. Can also measure the shape of the object O to be measured with high accuracy.

以上のような実施形態に係る三次元形状計測装置1の構成により、一つのプロジェクタ10によって、計測対象物Oを中心とした円周上のいずれの位置からでも計測対象物Oに対してパターンを投影することが可能になる。このため、多数の投影手段を配置することなく、精度の高い三次元形状計測ができ、装置の大型化、高コスト化を抑えることができる。 With the configuration of the three-dimensional shape measuring device 1 according to the above embodiment, one projector 10 can generate a pattern for the measurement object O from any position on the circumference centered on the measurement object O. It becomes possible to project. Therefore, highly accurate three-dimensional shape measurement can be performed without arranging a large number of projection means, and it is possible to suppress an increase in size and cost of the apparatus.

<変形例>
なお、実施形態に係る三次元形状計測装置1では、プロジェクタ10を1つのみ配置していたが、必ずしもこのようにする必要はなく、2つ以上の投影手段を設けてもよい。例えば、図12に例示するように、2つのプロジェクタ10a、10bを、基準板132の対向する位置に配置し、計測対象物Oに同時にパターンを投影するようにしてもよい。この場合には、回転機構131の駆動(回転)角度は2π(ラジアン)とすることができる。
<Modification example>
In the three-dimensional shape measuring device 1 according to the embodiment, only one projector 10 is arranged, but it is not always necessary to do so, and two or more projection means may be provided. For example, as illustrated in FIG. 12, two projectors 10a and 10b may be arranged at opposite positions of the reference plate 132, and the pattern may be projected onto the measurement object O at the same time. In this case, the drive (rotation) angle of the rotation mechanism 131 can be 2π (radians).

複数の投影手段によりパターンを投影すると、それだけ計測対象物Oに影の領域が生じにくくなるため、計測の効率を高めることができる。また、投影手段を移動させる場合にも、移動手段の回転角度を小さくすることができ、移動のための時間を短縮することが可能になる。このため、計測の効率化とコスト低減等のバランスを勘案して、任意の数の投影手段を配置することができる。 When a pattern is projected by a plurality of projection means, a shadow region is less likely to be generated on the measurement object O, so that the measurement efficiency can be improved. Further, when the projection means is moved, the rotation angle of the moving means can be reduced, and the time for moving can be shortened. Therefore, any number of projection means can be arranged in consideration of the balance between the efficiency of measurement and the cost reduction.

影領域判定部23は、観測画像に影の領域が存在する場合には、投影手段位置制御部22に位置情報を入力することで、プロジェクタ10を移動させて観測画像から影が無くなるようにしてもよい。入力する位置情報は、プロジェクタ10の現在位置から所定角度回転させるものであってもよい。影領域判定部23がプロジェクタ10を移動させた場合、プロジェクタ10の移動前の位置と移動後の位置の位置関係に応じて、図6のS6に例示されるパラメータ更新処理が実行されればよい。 When the shadow area exists in the observation image, the shadow area determination unit 23 inputs the position information to the projection means position control unit 22 to move the projector 10 so that the shadow disappears from the observation image. May be good. The position information to be input may be rotated by a predetermined angle from the current position of the projector 10. When the shadow area determination unit 23 moves the projector 10, the parameter update process illustrated in S6 of FIG. 6 may be executed according to the positional relationship between the position before the movement and the position after the movement of the projector 10. ..

<その他>
上記実施形態は、例示的な説明に過ぎず、開示の技術は上記の具体的な形態には限定されない。開示の技術はその技術的思想の範囲内で種々の変形が可能である。例えば、上記実施形態においては、移動機構13はモータとモータの回転により駆動する円筒状の回転機構及び基準板による構成であったが、必ずしもこのような構成に限る必要はない。例えば、モータとしては、回転モータの他リニアモータを使用してもよい。また、モータの代わりに他の手段(例えば空圧や油圧を用いたアクチュエータ)を用いてもよい。さらに、回転機構は円筒状でなくてもよいし、基準板を用いない構成であってもよい。
<Others>
The above-described embodiment is merely an exemplary description, and the disclosed technique is not limited to the above-mentioned specific embodiment. The disclosed technology can be variously modified within the scope of its technical idea. For example, in the above embodiment, the moving mechanism 13 has a configuration of a motor, a cylindrical rotating mechanism driven by the rotation of the motor, and a reference plate, but the configuration is not necessarily limited to such a configuration. For example, as the motor, a linear motor may be used in addition to the rotary motor. Further, other means (for example, an actuator using pneumatic pressure or hydraulic pressure) may be used instead of the motor. Further, the rotation mechanism does not have to be cylindrical, and may have a configuration that does not use a reference plate.

また、プロジェクタ10の移動についても、上記実施例ではXY軸により定義される平面上で回転移動するものであったが、これに限る必要はなく、例えば、ZX軸により定義される平面上を回転移動するものであってもよいし、これらを組み合わせたものであってもよい。また、移動の方法も回転移動のみに限定されず、直線状や円弧以外の曲線状に移動するものであってもよい。 Further, the movement of the projector 10 is also rotationally moved on the plane defined by the XY axes in the above embodiment, but it is not limited to this, and for example, it is rotated on the plane defined by the ZX axis. It may be a moving one, or it may be a combination of these. Further, the method of movement is not limited to rotational movement, and may move in a curved shape other than a straight line or an arc.

以上で開示した実施形態や変形例はそれぞれ組み合わせることができる。 The embodiments and modifications disclosed above can be combined with each other.

1・・・三次元形状計測装置
10・・・プロジェクタ
11・・・カメラ
12・・・制御装置
13・・・移動機構
14・・・撮影台
15・・・フレーム
20・・・画像取得部
21・・・三次元計測部
22・・・投影手段位置制御部
23・・・影領域判定部
24・・・初期パラメータ生成部
25・・・軌道中心取得部
26・・・パラメータ更新部
27・・・パラメータ記憶部
O・・・計測対象物
1 ... 3D shape measuring device 10 ... Projector 11 ... Camera 12 ... Control device 13 ... Moving mechanism 14 ... Shooting table 15 ... Frame 20 ... Image acquisition unit 21・ ・ ・ Three-dimensional measurement unit 22 ・ ・ ・ Projection means position control unit 23 ・ ・ ・ Shadow area determination unit 24 ・ ・ ・ Initial parameter generation unit 25 ・ ・ ・ Orbit center acquisition unit 26 ・ ・ ・ Parameter update unit 27 ・ ・・ Parameter storage unit O ・ ・ ・ Measurement target

Claims (5)

計測対象に対して、互いに位相が異なる複数のパターンを投影する投影手段と、
前記投影手段を移動させる移動手段と、
前記複数のパターン夫々が投影された前記計測対象を撮影する撮影手段と、
前記投影手段が第1位置に存在する場合における、前記計測対象の高さと前記計測対象の撮像から取得される位相との対応関係を記憶する記憶部と、
前記撮影手段により取得された画像を処理することで、前記計測対象の三次元形状を計測する計測手段と、
前記投影手段が前記移動手段によって第2位置に移動されると、前記第1位置と前記第2位置の位置関係とに応じて、前記対応関係を更新する更新手段と、を備える、
三次元形状計測装置。
A projection means that projects multiple patterns with different phases to the measurement target,
A moving means for moving the projection means and
An imaging means for photographing the measurement target on which the plurality of patterns are projected, and an imaging means.
A storage unit that stores the correspondence between the height of the measurement target and the phase acquired from the imaging of the measurement target when the projection means is present at the first position.
A measuring means for measuring the three-dimensional shape of the measurement target by processing the image acquired by the photographing means, and a measuring means for measuring the three-dimensional shape of the measurement target.
When the projection means is moved to the second position by the moving means, the projection means includes an updating means for updating the correspondence relationship according to the positional relationship between the first position and the second position.
Three-dimensional shape measuring device.
前記移動手段は、前記投影手段を、前記計測対象を中心とした円周上において回転移動させ、
前記更新手段は、前記第1位置と前記円周の中心とを結ぶ第1線分と、前記第2位置から前記中心とを結ぶ第2線分とがなす角度に応じて、前記対応関係を更新する、
請求項1に記載の三次元形状計測装置。
The moving means rotates and moves the projection means on a circumference centered on the measurement target.
The updating means establishes the corresponding relationship according to the angle formed by the first line segment connecting the first position and the center of the circumference and the second line segment connecting the second position to the center. Update,
The three-dimensional shape measuring device according to claim 1.
前記移動手段は、前記撮影手段が、前記計測手段が前記計測対象の三次元形状を計測することが可能なパターンを撮影し得る位置に、前記投影手段を移動させる、
請求項1または2に記載の三次元形状計測装置。
The moving means moves the projection means to a position where the photographing means can shoot a pattern in which the measuring means can measure the three-dimensional shape of the measurement target.
The three-dimensional shape measuring device according to claim 1 or 2.
前記投影手段を複数備える、
請求項1から3のいずれか一項に記載の三次元形状計測装置。
A plurality of the projection means are provided.
The three-dimensional shape measuring device according to any one of claims 1 to 3.
前記移動手段は、軸方向に開口する中空部を有する円筒状の回転機構であって、前記計測対象の上方に前記開口が位置するように配置され、
前記撮影手段は、前記計測対象に対して垂直な方向から、前記回転機構の開口を通じて、前記計測対象を撮影する、
請求項1から4のいずれか一項に記載の三次元形状計測装置。
The moving means is a cylindrical rotating mechanism having a hollow portion that opens in the axial direction, and is arranged so that the opening is located above the measurement target.
The photographing means photographs the measurement object from a direction perpendicular to the measurement object through the opening of the rotation mechanism.
The three-dimensional shape measuring device according to any one of claims 1 to 4.
JP2020040620A 2020-03-10 2020-03-10 3D shape measuring device Active JP7404941B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020040620A JP7404941B2 (en) 2020-03-10 2020-03-10 3D shape measuring device
PCT/JP2020/046861 WO2021181786A1 (en) 2020-03-10 2020-12-16 Three-dimensional shape measurement device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020040620A JP7404941B2 (en) 2020-03-10 2020-03-10 3D shape measuring device

Publications (2)

Publication Number Publication Date
JP2021143841A true JP2021143841A (en) 2021-09-24
JP7404941B2 JP7404941B2 (en) 2023-12-26

Family

ID=77671540

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020040620A Active JP7404941B2 (en) 2020-03-10 2020-03-10 3D shape measuring device

Country Status (2)

Country Link
JP (1) JP7404941B2 (en)
WO (1) WO2021181786A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001012925A (en) * 1999-04-30 2001-01-19 Nec Corp Three-dimensional shape measurement method and device and record medium
US20050174579A1 (en) * 2002-04-24 2005-08-11 Gunther Notni Method and device for determining the spatial co-ordinates of an object
JP2008170279A (en) * 2007-01-11 2008-07-24 Omron Corp Three-dimensional shape measuring device, method for correction therefor, program, and computer-readable recording medium
JP2010164424A (en) * 2009-01-15 2010-07-29 Kurabo Ind Ltd Non-contact shape measuring apparatus and non-contact shape measuring method
JP2018081048A (en) * 2016-11-18 2018-05-24 オムロン株式会社 Three-dimensional shape measurement device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001012925A (en) * 1999-04-30 2001-01-19 Nec Corp Three-dimensional shape measurement method and device and record medium
US20050174579A1 (en) * 2002-04-24 2005-08-11 Gunther Notni Method and device for determining the spatial co-ordinates of an object
JP2008170279A (en) * 2007-01-11 2008-07-24 Omron Corp Three-dimensional shape measuring device, method for correction therefor, program, and computer-readable recording medium
JP2010164424A (en) * 2009-01-15 2010-07-29 Kurabo Ind Ltd Non-contact shape measuring apparatus and non-contact shape measuring method
JP2018081048A (en) * 2016-11-18 2018-05-24 オムロン株式会社 Three-dimensional shape measurement device

Also Published As

Publication number Publication date
JP7404941B2 (en) 2023-12-26
WO2021181786A1 (en) 2021-09-16

Similar Documents

Publication Publication Date Title
US9683837B2 (en) Optical measurement method and measurement system for determining 3D coordinates on a measurement object surface
JP6848385B2 (en) 3D shape measuring device
US8662676B1 (en) Automatic projector calibration
EP3421930B1 (en) Three-dimensional shape data and texture information generation system, photographing control program, and three-dimensional shape data and texture information generation method
JP2005039558A (en) Projector, method for acquiring tilt angle of projector, and projected image correction method
JP2010164605A (en) Projector and control method
CN110612428B (en) Three-dimensional measurement method using characteristic quantity and apparatus therefor
US11451755B2 (en) Method for controlling electronic instrument and electronic instrument
WO2017098090A1 (en) Calibration technique for capturing panoramic images
WO2021181786A1 (en) Three-dimensional shape measurement device
JP6411191B2 (en) Tilt detection device and rotating laser device
JP2009053002A (en) Measuring system
JP2006115346A (en) Imaging apparatus and camera shake correction method
JP6966229B2 (en) Runout correction characteristic evaluation device for optical equipment with runout correction function
JP2005331542A (en) Exposure apparatus, exposure method and method for manufacturing substrate
JP4670194B2 (en) Microscope system
JP2019161278A (en) Calibration reference point acquisition system and calibration reference point acquisition method
JP2014077858A (en) Back projection type video display device
JP2009264898A (en) Workpiece position/attitude measurement method and measuring device
JP2008177763A (en) Method and device for calibrating lens and method and device for calibrating image sensing device
JPH06160054A (en) Image processing device
JP2002142146A (en) Method for adjusting image pickup unit
US11754389B2 (en) Estimation method, measurement method, and estimation apparatus
JP2016008838A (en) Shape measuring device, structure manufacturing system, shape measuring method, and structure manufacturing method
US20240112321A1 (en) Three-dimensional shape data generation apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231127

R150 Certificate of patent or registration of utility model

Ref document number: 7404941

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150