JP2016008837A - Shape measuring method, shape measuring device, structure manufacturing system, structure manufacturing method, and shape measuring program - Google Patents

Shape measuring method, shape measuring device, structure manufacturing system, structure manufacturing method, and shape measuring program Download PDF

Info

Publication number
JP2016008837A
JP2016008837A JP2014128144A JP2014128144A JP2016008837A JP 2016008837 A JP2016008837 A JP 2016008837A JP 2014128144 A JP2014128144 A JP 2014128144A JP 2014128144 A JP2014128144 A JP 2014128144A JP 2016008837 A JP2016008837 A JP 2016008837A
Authority
JP
Japan
Prior art keywords
pixel
shape
information
image
measured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014128144A
Other languages
Japanese (ja)
Inventor
青木 洋
Hiroshi Aoki
洋 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2014128144A priority Critical patent/JP2016008837A/en
Publication of JP2016008837A publication Critical patent/JP2016008837A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide a shape measuring method that can give highly accurate three-dimensional shape.SOLUTION: A device for implementing a shape measuring method comprises: a first arithmetic unit that acquires first three-dimensional information by combining information on a first pixel of a first image with information on a second pixel near a pixel matching the first pixel in a second image on which a pattern different from the first image is projected, and calculates the shape of part of a measurement object 2 from the first three-dimensional information; a second arithmetic unit that acquires second three-dimensional information by combining information on the first pixel of the first image with information on a third pixel different from the second pixel near a pixel matching the first pixel in the second image, and calculates the shape of part of the measurement object 2 from the second three-dimensional information; a selector that compares the partial shape figured out from the first three-dimensional information and the partial shape figured out from the second three-dimensional information, and chooses acquisition of three-dimensional information having a smoothly continuous shape; and a third arithmetic unit that figures out the shape of the measurement object 2 on the basis of the combination of pixels used for acquisition of the three-dimensional information.

Description

本発明は、形状測定方法、形状測定装置、構造物製造システム、構造物製造方法、及び形状測定プログラムに関する。   The present invention relates to a shape measuring method, a shape measuring device, a structure manufacturing system, a structure manufacturing method, and a shape measuring program.

被測定物の3次元形状を測定する手法として位相シフト法が知られている。この位相シフト法を用いた形状測定装置は、投影部、撮像部、及び演算部を備えている。この投影部は、正弦波状の光強度の分布を有する縞状の光(以下、パターン光という。)を被測定物に投影するとともに、初期位相を例えばπ/2ずつ3回シフトさせる。撮像部は投影部の位置と異なる位置に配置されている。この撮像部は、縞の初期位相が0、π/2、π、3π/2のパターン光が投影された状態で、それぞれ被測定物を撮像する。演算部は、撮像部が撮像した4つの画像における各画素の輝度データを所定の演算式に当てはめ、被測定物の面形状に応じた各画素における初期位相0の縞の位相を求める。そして、演算部は、三角測量の原理を利用して、各画素における縞の位相から被測定物の3次元座標データを算出する。   A phase shift method is known as a method for measuring the three-dimensional shape of an object to be measured. A shape measuring apparatus using this phase shift method includes a projection unit, an imaging unit, and a calculation unit. The projection unit projects striped light (hereinafter referred to as pattern light) having a sinusoidal light intensity distribution onto the object to be measured, and shifts the initial phase by, for example, π / 2 three times. The imaging unit is arranged at a position different from the position of the projection unit. The imaging unit images the object to be measured in a state in which pattern light having an initial phase of 0, π / 2, π, and 3π / 2 is projected. The calculation unit applies the luminance data of each pixel in the four images captured by the imaging unit to a predetermined calculation formula, and obtains the phase of the fringe having the initial phase 0 in each pixel according to the surface shape of the object to be measured. Then, the calculation unit calculates the three-dimensional coordinate data of the object to be measured from the phase of the stripes in each pixel using the principle of triangulation.

この位相シフト法を利用した装置は、例えば、特許文献1に開示されている。この装置は、位相シフト法を用いて被測定物の3次元形状を測定する。そして、この装置は、被測定物の3次元形状に基づいて被測定物の欠陥検査を行う。   An apparatus using this phase shift method is disclosed in Patent Document 1, for example. This apparatus measures a three-dimensional shape of an object to be measured using a phase shift method. And this apparatus performs the defect inspection of the measured object based on the three-dimensional shape of the measured object.

米国特許出願公開第2012/0236318号明細書US Patent Application Publication No. 2012/0236318

撮像部が被測定物にある初期位相のパターン光投影して撮像した時と、異なる初期位相のパターンを投影して撮像する時の間にぶれが生じた場合、演算部により算出される被測定物の3次元座標データの精度が低下する。   When blur occurs between the time when the imaging unit projects the pattern light of the initial phase on the object to be measured and the time when the image of the initial phase pattern is projected and projected, the object to be measured calculated by the arithmetic unit The accuracy of the three-dimensional coordinate data decreases.

本発明の態様では、ぶれが生じた場合においても精度の高い3次元形状を得ることを目的とする。   An object of an aspect of the present invention is to obtain a highly accurate three-dimensional shape even when blurring occurs.

本発明の第1態様によれば、異なる複数のパターンを被測定物に投影し、複数のパターンが投影された被測定物をそれぞれ撮像し、撮像されたパターンが投影された被測定物を含む第1の画像の第1の画素の情報と、撮像され第1の画像とは異なるパターンが投影された被測定物を含む第2の画像中で第1の画素に対応する画素の近傍の第2の画素の情報とを組み合わせて第1の3次元情報を取得し、該第1の3次元情報の取得を繰り返し被測定物の一部の形状を演算し、第1の画像の第1の画素の情報と、第2の画像の第1の画素に対応する画素の近傍で第2の画素とは異なる第3の画素の情報とを組み合わせて第2の3次元情報を取得し、該第2の3次元情報の取得を繰り返し被測定物の一部の形状を演算し、第1の3次元情報から求めた被測定物の一部の形状と、第2の3次元情報から求めた被測定物の一部の形状とを比較し、滑らかに連なる形状の演算に用いた3次元情報の取得を選択し、選択された3次元情報の取得に用いた画素の組合せに基づいて被測定物の形状を求める形状測定方法が提供される。   According to the first aspect of the present invention, a plurality of different patterns are projected onto the object to be measured, the objects to be measured on which the plurality of patterns are projected are each captured, and the object to be measured on which the captured pattern is projected is included. The information of the first pixel of the first image and the second pixel in the vicinity of the pixel corresponding to the first pixel in the second image including the object to be measured and projected with a pattern different from the first image. The first three-dimensional information is acquired in combination with the information of the two pixels, the first three-dimensional information is repeatedly acquired, the shape of a part of the object to be measured is calculated, and the first image of the first image is calculated. The second three-dimensional information is obtained by combining the pixel information and the third pixel information different from the second pixel in the vicinity of the pixel corresponding to the first pixel of the second image, and 2) Obtaining the three-dimensional information repeatedly, calculating the shape of a part of the object to be measured, and obtaining from the first three-dimensional information Comparing the shape of a part of the object to be measured with the shape of a part of the object to be measured obtained from the second three-dimensional information, and selecting the acquisition of the three-dimensional information used for the calculation of smoothly connected shapes, A shape measuring method for obtaining the shape of an object to be measured based on a combination of pixels used to acquire selected three-dimensional information is provided.

本発明の第2態様によれば、異なる複数のパターンを被測定物に投影する投影部と、複数のパターンが投影された被測定物をそれぞれ撮像する撮像部と、撮像されたパターンが投影された被測定物を含む第1の画像の第1の画素の情報と、撮像され第1の画像とは異なるパターンが投影された被測定物を含む第2の画像中で第1の画素に対応する画素の近傍の第2の画素の情報とを組み合わせて第1の3次元情報を取得し、該第1の3次元情報の取得を繰り返し被測定物の一部の形状を演算する第1の演算部と、第1の画像の第1の画素の情報と、第2の画像の第1の画素に対応する画素の近傍で第2の画素とは異なる第3の画素の情報とを組み合わせて第2の3次元情報を取得し、該第2の3次元情報の取得を繰り返し被測定物の一部の形状を演算する第2の演算部と、第1の3次元情報から求めた被測定物の一部の形状と、第2の3次元情報から求めた被測定物の一部の形状とを比較し、滑らかに連なる形状の演算に用いた3次元情報の取得を選択する選択部と、選択された3次元情報の取得に用いた画素の組合せに基づいて被測定物の形状を求める第3の演算部と、を含む形状測定装置が提供される。   According to the second aspect of the present invention, a projection unit that projects a plurality of different patterns onto the measurement object, an imaging unit that images each of the measurement objects on which the plurality of patterns are projected, and the captured pattern are projected. The first pixel information of the first image including the measured object corresponds to the first pixel in the second image including the measured object that is captured and projected with a pattern different from the first image. The first three-dimensional information is acquired by combining with the information of the second pixel in the vicinity of the pixel to be processed, and the first three-dimensional information is repeatedly acquired to calculate the shape of a part of the object to be measured. Combining the calculation unit, the information of the first pixel of the first image, and the information of the third pixel different from the second pixel in the vicinity of the pixel corresponding to the first pixel of the second image The second three-dimensional information is acquired, and the second three-dimensional information is repeatedly acquired. The second computing unit that computes the part of the shape of the object to be measured obtained from the first three-dimensional information and the shape of the part of the object to be obtained obtained from the second three-dimensional information are compared. A third calculation for obtaining the shape of the object to be measured based on a combination of a selection unit that selects acquisition of three-dimensional information used for calculation of smoothly connected shapes and a pixel used for acquisition of the selected three-dimensional information And a shape measuring device including the unit.

本発明の第3態様によれば、構造物の形状に関する設計情報を作製する設計装置と、設計情報に基づいて構造物を作製する成形装置と、作製された構造物の形状を測定する請求項6記載の形状測定装置と、形状測定装置によって得られた構造物の形状に関する形状情報と設計情報とを比較する検査装置と、を含む構造物製造システムが提供される。   According to the third aspect of the present invention, there is provided a design apparatus for producing design information related to the shape of the structure, a molding apparatus for producing the structure based on the design information, and a shape of the produced structure. 6. A structure manufacturing system including the shape measuring apparatus according to 6, and an inspection apparatus that compares shape information related to the shape of the structure obtained by the shape measuring apparatus with design information.

本発明の第4態様によれば、構造物の形状に関する設計情報を作製することと、設計情報に基づいて構造物を作製することと、作製された構造物の形状を請求項1から請求項5のいずれか一項に記載の形状測定方法で測定することと、形状測定方法によって得られた構造物の形状に関する形状情報と設計情報とを比較することと、を含む構造物製造方法が提供される。   According to the fourth aspect of the present invention, the design information relating to the shape of the structure is produced, the structure is produced based on the design information, and the shape of the produced structure is claimed in claims 1 to 4. 5. A structure manufacturing method comprising: measuring with the shape measuring method according to any one of 5; and comparing shape information and design information regarding the shape of the structure obtained by the shape measuring method is provided. Is done.

本発明の第5態様によれば、異なる複数のパターンを被測定物に投影する投影部と、複数のパターンが投影された被測定物をそれぞれ撮像する撮像部とを備えた形状測定装置のコンピュータに、撮像されたパターンが投影された被測定物を含む第1の画像の第1の画素の情報と、撮像され第1の画像とは異なるパターンが投影された被測定物を含む第2の画像中で第1の画素に対応する画素の近傍の第2の画素の情報とを組み合わせて第1の3次元情報を取得し、該第1の3次元情報の取得を繰り返し被測定物の一部の形状を演算する第1の演算処理と、第1の画像の第1の画素の情報と、第2の画像の第1の画素に対応する画素の近傍で第2の画素とは異なる第3の画素の情報とを組み合わせて第2の3次元情報を取得し、該第2の3次元情報の取得を繰り返し被測定物の一部の形状を演算する第2の演算処理と、第1の3次元情報から求めた被測定物の一部の形状と、第2の3次元情報から求めた被測定物の一部の形状とを比較し、滑らかに連なる形状の演算に用いた3次元情報の取得を選択する選択処理と、選択された3次元情報の取得に用いた画素の組合せに基づいて被測定物の形状を求める第3の演算処理とを実行させる形状測定プログラムが提供される。   According to the fifth aspect of the present invention, the computer of the shape measuring apparatus includes: a projection unit that projects a plurality of different patterns onto the measurement object; and an imaging unit that images each of the measurement objects on which the plurality of patterns are projected. In addition, information on the first pixel of the first image including the object to be measured on which the captured pattern is projected, and a second object including the object to be measured on which the pattern different from the first image is projected. The first three-dimensional information is acquired by combining the information of the second pixel in the vicinity of the pixel corresponding to the first pixel in the image, and the first three-dimensional information is repeatedly acquired. A first calculation process for calculating the shape of the part, information on the first pixel of the first image, and a second pixel different from the second pixel in the vicinity of the pixel corresponding to the first pixel of the second image. The second three-dimensional information is obtained by combining the information of the three pixels, and the second three-dimensional information is obtained. It is obtained from the second calculation process for repeatedly obtaining information and calculating the shape of a part of the object to be measured, the shape of the part of the object to be obtained obtained from the first three-dimensional information, and the second three-dimensional information. A combination of a selection process for selecting the acquisition of three-dimensional information used to calculate a smooth series of shapes, and a combination of pixels used to acquire the selected three-dimensional information. A shape measurement program for executing a third calculation process for obtaining the shape of the object to be measured based on the third calculation process is provided.

本発明の態様によれば、ぶれが生じた場合においても精度の高い3次元形状を得ることができる。   According to the aspect of the present invention, a highly accurate three-dimensional shape can be obtained even when blurring occurs.

形状測定装置の構成を示す図である。It is a figure which shows the structure of a shape measuring apparatus. 投影領域における縞パターン(パターン)の強度分布を示す図である。It is a figure which shows intensity distribution of the fringe pattern (pattern) in a projection area | region. 図1に示す形状測定装置の構成を示すブロック図である。It is a block diagram which shows the structure of the shape measuring apparatus shown in FIG. 図3に示す演算部の構成を示すブロック図である。It is a block diagram which shows the structure of the calculating part shown in FIG. 所定画素の輝度値から求められる正弦波を示す波形図である。It is a wave form diagram which shows the sine wave calculated | required from the luminance value of a predetermined pixel. 投影領域における空間コードパターン(パターン)の強度分布を示す図である。It is a figure which shows intensity distribution of the space code pattern (pattern) in a projection area | region. 標準パターン、4つの空間コードパターン、及び白黒参照パターンを示す図である。It is a figure which shows a standard pattern, four space code patterns, and a monochrome reference pattern. 空間コードと領域番号との関係を示す図である。It is a figure which shows the relationship between a space code and an area number. 形状測定方法の一例を説明するためのフローチャートである。It is a flowchart for demonstrating an example of a shape measuring method. ぶれによって生じるうねりの周期を示す波形図である。It is a wave form diagram which shows the period of the wave | undulation produced by shaking. 各縞パターン画像の画像データにおける近隣の画素の組合せを示す図である。It is a figure which shows the combination of the neighboring pixel in the image data of each fringe pattern image. 近隣の画素の組合せと平面測定誤差との関係を示す図である。It is a figure which shows the relationship between the combination of a neighboring pixel, and a plane measurement error. 平面測定誤差が小さい画素の組み合わせを求める一部の領域を示す図である。It is a figure which shows the one part area | region which calculates | requires the combination of a pixel with a small plane measurement error. 構造物製造システムの構成を示すブロック図である。It is a block diagram which shows the structure of a structure manufacturing system. 構造物製造方法の一例を示すフローチャートである。It is a flowchart which shows an example of a structure manufacturing method.

以下、本発明の実施形態について図面を参照して説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現している。   Embodiments of the present invention will be described below with reference to the drawings. However, the present invention is not limited to this. Further, in the drawings, in order to describe the embodiment, the scale is appropriately changed and expressed, for example, partly enlarged or emphasized.

<第1実施形態>
図1は、形状測定装置1の構成を示す図である。また、図2は、投影領域200における縞パターンの強度分布を示す図である。なお、図1において、紙面の右方向をX1軸とし、X1軸と直交し紙面を貫通する方向をY1軸とし、X1軸及びY1軸と直交する方向をZ1軸としている。また、図1に示すように3軸座標系を設定した場合、図2においては、紙面の右方向がX1軸となり、紙面の下方向がY1軸となり、紙面の裏から表に向かう方向がZ1軸となる。
<First Embodiment>
FIG. 1 is a diagram showing the configuration of the shape measuring apparatus 1. FIG. 2 is a diagram showing the intensity distribution of the fringe pattern in the projection region 200. In FIG. 1, the right direction of the paper surface is the X1 axis, the direction orthogonal to the X1 axis and penetrating through the paper surface is the Y1 axis, and the direction orthogonal to the X1 axis and the Y1 axis is the Z1 axis. Further, when a three-axis coordinate system is set as shown in FIG. 1, in FIG. 2, the right direction of the paper surface is the X1 axis, the downward direction of the paper surface is the Y1 axis, and the direction from the back of the paper surface to the front is Z1 It becomes an axis.

形状測定装置1は、被測定物(測定対象、被検物)2の3次元形状を測定する装置である。形状測定装置1は、図1に示すように、投影部10と、撮像部50と、演算処理部60とを備える。   The shape measuring device 1 is a device that measures the three-dimensional shape of an object to be measured (measuring object, object to be measured) 2. As shown in FIG. 1, the shape measuring apparatus 1 includes a projection unit 10, an imaging unit 50, and an arithmetic processing unit 60.

投影部10は、ライン状の光、すなわち、一次元の光(以下、ライン光100という。)を投影領域200に対して投影(投光)する。この投影部10は、図1に示すように、光生成部20と、投影光学系30と、走査部40とを有する。光生成部20は、レーザ光源・集光レンズ・シリンドリカルレンズなどを備え第2の方向に無変調な一次像であるライン光100を生成する。投影光学系30は、光生成部20で生成されたライン光100を投影領域200の所定の位置に結像させる。投影光学系30は、一つまたは複数の集光レンズなどの透過光学素子または反射光学素子によって構成される。投影光学系30から出射されたライン光100は、走査部40を介して投影領域200に対して投影される。投影領域200において、ライン光100の一次元の方向が第2の方向D2である。投影領域200における第2の方向D2の長さは、投影部10がライン光100を投影する際の視野角θと、投影部10(つまり走査部40)から被測定物2までの距離とによって決定される。図1に示す例では、被測定物2は投影領域200内に配置されている。   The projection unit 10 projects (projects) linear light, that is, one-dimensional light (hereinafter, referred to as line light 100) onto the projection region 200. As illustrated in FIG. 1, the projection unit 10 includes a light generation unit 20, a projection optical system 30, and a scanning unit 40. The light generation unit 20 includes a laser light source, a condensing lens, a cylindrical lens, and the like, and generates the line light 100 that is a primary image that is not modulated in the second direction. The projection optical system 30 forms an image of the line light 100 generated by the light generation unit 20 at a predetermined position in the projection area 200. The projection optical system 30 includes a transmission optical element or a reflection optical element such as one or a plurality of condenser lenses. The line light 100 emitted from the projection optical system 30 is projected onto the projection region 200 via the scanning unit 40. In the projection region 200, the one-dimensional direction of the line light 100 is the second direction D2. The length in the second direction D2 in the projection region 200 depends on the viewing angle θ when the projection unit 10 projects the line light 100 and the distance from the projection unit 10 (that is, the scanning unit 40) to the DUT 2. It is determined. In the example shown in FIG. 1, the DUT 2 is arranged in the projection area 200.

走査部40は、投影領域200においてライン光100を第1の方向D1に走査(スキャン)する。走査部40は、例えばMEMSミラーで構成される。MEMSミラーは、一定の回動周期で振動する微小反射鏡である。このMEMSミラーは、所定の振幅角及び所定の振動周波数で振動しつつ一次元のライン光100を反射する。これにより、一次元のライン光100は、投影領域200においてMEMSミラーの振動周期(振動周期=1/振動周波数)で走査される。走査方向である第1の方向D1は、図1及び図2に示すように、第2の方向D2と直交する方向である。走査方向が第1の方向D1となるように、MEMSミラーの振動方向が設定される。また、投影領域200における第1の方向D1の長さは、MEMSミラーの振幅角と、投影部10(つまり走査部40)から被測定物2までの距離とによって決定される。   The scanning unit 40 scans (scans) the line light 100 in the first direction D1 in the projection region 200. The scanning unit 40 is configured by, for example, a MEMS mirror. The MEMS mirror is a micro-reflecting mirror that vibrates at a constant rotation period. The MEMS mirror reflects the one-dimensional line light 100 while vibrating at a predetermined amplitude angle and a predetermined vibration frequency. As a result, the one-dimensional line light 100 is scanned in the projection region 200 at the vibration period of the MEMS mirror (vibration period = 1 / vibration frequency). The first direction D1, which is the scanning direction, is a direction orthogonal to the second direction D2, as shown in FIGS. The vibration direction of the MEMS mirror is set so that the scanning direction is the first direction D1. The length in the first direction D1 in the projection region 200 is determined by the amplitude angle of the MEMS mirror and the distance from the projection unit 10 (that is, the scanning unit 40) to the DUT 2.

図2に示すように、光生成部20からのライン光100は走査に応じて光強度が正弦波状に変化する。従って、走査部40がライン光100を第1の方向D1に走査することにより、投影領域200において、第1の方向D1に沿って正弦波状の周期的な光強度の分布を有する縞パターンが現れる。この縞パターンのことを単に「パターン」という。位相シフト法では、このような縞パターンが3次元形状の測定に用いられる。縞パターンは、明るい部分(図2の白い部分)と暗い部分(図2の黒い部分)との明暗パターンを有する。また、縞パターンは、縦縞状のパターンであるから縦縞パターンとも表現される。また、第1の方向D1を明暗の方向または濃淡の方向ともいう。図2に示す縞パターンは、第2の方向D2に所定の長さを有しており、第1の方向D1に所定の長さにわたって走査されることで、矩形状の投影領域200が空間上に形成される。   As shown in FIG. 2, the light intensity of the line light 100 from the light generation unit 20 changes in a sine wave shape in accordance with scanning. Therefore, when the scanning unit 40 scans the line light 100 in the first direction D1, a fringe pattern having a sinusoidal periodic light intensity distribution appears in the projection region 200 along the first direction D1. . This stripe pattern is simply referred to as a “pattern”. In the phase shift method, such a fringe pattern is used for measuring a three-dimensional shape. The fringe pattern has a light-dark pattern with a bright part (white part in FIG. 2) and a dark part (black part in FIG. 2). Further, since the stripe pattern is a vertical stripe pattern, it is also expressed as a vertical stripe pattern. The first direction D1 is also referred to as a light / dark direction or a light / dark direction. The stripe pattern shown in FIG. 2 has a predetermined length in the second direction D2, and is scanned in the first direction D1 over a predetermined length, so that the rectangular projection region 200 is in space. Formed.

投影領域200において、縞パターンの各部分における位相は所定時間毎にπ/2ずつ3回シフトされる。投影部10は、演算処理部60からの指令信号に基づいて、ライン光100の正弦波の周期と走査部40の振動とを同期させるタイミングを変化させることにより、縞パターンの位相をシフトさせる。ここで、同期とは例えば走査部40の振動の角速度が変化する場合は、その角速度の変化にライン光100の正弦波の位相を合わせることを含む。   In the projection area 200, the phase in each part of the fringe pattern is shifted three times by π / 2 every predetermined time. The projection unit 10 shifts the phase of the fringe pattern by changing the timing for synchronizing the cycle of the sine wave of the line light 100 and the vibration of the scanning unit 40 based on the command signal from the arithmetic processing unit 60. Here, for example, when the angular velocity of vibration of the scanning unit 40 changes, the synchronization includes adjusting the phase of the sine wave of the line light 100 to the change in the angular velocity.

撮像部50は投影部10の位置と異なる位置に配置されている。この撮像部50は、ライン光100が投影された被測定物2を、投影部10による投影方向とは異なる方向から撮像する。1回に撮像される撮像領域は、投影領域200の領域内であって、この投影領域200よりも狭い領域とされている。ただし、撮像領域は、少なくとも投影領域200の領域外にはみ出さなければよい。例えば、撮像領域は投影領域200と同じ領域であってもよい。なお、撮像領域とは後述の処理に用いる領域であり、実際に撮像される領域は投影領域200より大きくてもよい。   The imaging unit 50 is disposed at a position different from the position of the projection unit 10. The imaging unit 50 images the device under test 2 onto which the line light 100 is projected from a direction different from the projection direction by the projection unit 10. The imaging area captured at a time is within the area of the projection area 200 and is narrower than the projection area 200. However, it is sufficient that the imaging area does not protrude at least outside the projection area 200. For example, the imaging area may be the same area as the projection area 200. The imaging area is an area used for processing described later, and the area actually captured may be larger than the projection area 200.

撮像部50は、受光光学系(撮影レンズ)51及び撮像装置52を有している。受光光学系51は、撮像領域上の被測定物2の表面より反射された縞パターンを受光し、受光した縞パターンを撮像装置52に導く。撮像装置52は、受光光学系51からの縞パターンに基づいて被測定物2の画像データを生成するとともに、生成した画像データを記憶する。上述したように、投影領域200における縞パターンの位相は所定時間毎にπ/2ずつ3回シフトされる。撮像装置52は、縞パターンの初期位相が0、π/2、π、3π/2のタイミングにおいて、それぞれ被測定物2を撮像して画像データを生成する。ここで初期位相とは、左から右へ走査される縞パターンの左端の位相を意味する。   The imaging unit 50 includes a light receiving optical system (photographing lens) 51 and an imaging device 52. The light receiving optical system 51 receives the fringe pattern reflected from the surface of the DUT 2 on the imaging region, and guides the received fringe pattern to the imaging device 52. The imaging device 52 generates image data of the DUT 2 based on the fringe pattern from the light receiving optical system 51 and stores the generated image data. As described above, the phase of the fringe pattern in the projection region 200 is shifted three times by π / 2 every predetermined time. The imaging device 52 images the device under test 2 and generates image data at timings when the initial phase of the fringe pattern is 0, π / 2, π, and 3π / 2. Here, the initial phase means the left end phase of the fringe pattern scanned from left to right.

演算処理部60は、光生成部20によるライン光100の生成を制御する。また、演算処理部60は、光生成部20で生成されるライン光100の正弦波の周期と走査部40の振動周期とを同期させるように、光生成部20と走査部40とを制御する。また、演算処理部60は、縞パターンの初期位相が0、π/2、π、3π/2のタイミングにおいて撮像部50に被測定物2を撮像させるように、撮像部50の撮像タイミングを制御する。また、演算処理部60は、撮像部50が撮像した4つの画像データ(縞パターンの初期位相が0、π/2、π、3π/2のときの画像データ)における各画素の輝度データ(信号強度)に基づいて、被測定物2の3次元形状を算出する。   The arithmetic processing unit 60 controls the generation of the line light 100 by the light generation unit 20. Further, the arithmetic processing unit 60 controls the light generation unit 20 and the scanning unit 40 so as to synchronize the cycle of the sine wave of the line light 100 generated by the light generation unit 20 and the vibration cycle of the scanning unit 40. . Further, the arithmetic processing unit 60 controls the imaging timing of the imaging unit 50 so that the imaging unit 50 images the device under test 2 at the timing when the initial phase of the fringe pattern is 0, π / 2, π, 3π / 2. To do. In addition, the arithmetic processing unit 60 outputs luminance data (signals) of each pixel in the four image data captured by the imaging unit 50 (image data when the initial phase of the fringe pattern is 0, π / 2, π, 3π / 2). Based on (strength), the three-dimensional shape of the DUT 2 is calculated.

次に、図3及び図4を参照して形状測定装置1に含まれる投影部10、撮像部50、及び演算処理部60の詳細な構成について説明する。図3は、図1に示す形状測定装置1の構成を示すブロック図である。また、図4は、図3に示す演算部65の構成を示すブロック図である。図3に示すように、投影部10は、レーザコントローラ21、レーザダイオード(光源)22、ライン生成部23、投影光学系30、及び走査部40を有している。すなわち、図1に示す光生成部20は、レーザコントローラ21、レーザダイオード22、及びライン生成部23を有している。   Next, detailed configurations of the projection unit 10, the imaging unit 50, and the arithmetic processing unit 60 included in the shape measuring apparatus 1 will be described with reference to FIGS. 3 and 4. FIG. 3 is a block diagram showing a configuration of the shape measuring apparatus 1 shown in FIG. FIG. 4 is a block diagram showing a configuration of the calculation unit 65 shown in FIG. As illustrated in FIG. 3, the projection unit 10 includes a laser controller 21, a laser diode (light source) 22, a line generation unit 23, a projection optical system 30, and a scanning unit 40. That is, the light generation unit 20 illustrated in FIG. 1 includes a laser controller 21, a laser diode 22, and a line generation unit 23.

レーザコントローラ21は、制御部62からの指令信号に基づいてレーザダイオード22によるレーザ光の照射を制御する。レーザダイオード22は、レーザコントローラ21からの制御信号に基づいてライン生成部23に対してレーザ光を照射する光源である。このレーザダイオード22は、走査部40の動きに応じた電圧信号が入力されることにより、時間の経過とともに光強度が正弦波状に変化するレーザ光を照射する。また、このレーザダイオード22は、レーザコントローラ21からの制御信号に基づいて、レーザ光の光強度を段階的に変化させつつレーザ光を照射することが可能である。ライン生成部23は、レーザダイオード22が照射したレーザ光から一次元のライン光100を生成する。   The laser controller 21 controls irradiation of the laser light by the laser diode 22 based on a command signal from the control unit 62. The laser diode 22 is a light source that irradiates the line generation unit 23 with laser light based on a control signal from the laser controller 21. The laser diode 22 irradiates a laser beam whose light intensity changes in a sine wave shape with the passage of time when a voltage signal corresponding to the movement of the scanning unit 40 is input. Further, the laser diode 22 can irradiate the laser beam while changing the light intensity of the laser beam stepwise based on a control signal from the laser controller 21. The line generator 23 generates the one-dimensional line light 100 from the laser light irradiated by the laser diode 22.

投影光学系30は、図1において説明したように、ライン生成部23が生成したライン光100を投影する。走査部40は、図1において説明したように、ライン生成部23が生成した一次元のライン光100を走査方向(投影領域200における第1の方向D1)に沿って走査する。なお、図3において、第1の方向D1は紙面と垂直な方向とし、第2の方向D2は紙面内における左右方向(横方向)としている。   As described with reference to FIG. 1, the projection optical system 30 projects the line light 100 generated by the line generation unit 23. As described in FIG. 1, the scanning unit 40 scans the one-dimensional line light 100 generated by the line generation unit 23 along the scanning direction (the first direction D1 in the projection region 200). In FIG. 3, the first direction D1 is a direction perpendicular to the paper surface, and the second direction D2 is the left-right direction (lateral direction) in the paper surface.

撮像部50は、受光光学系51、CCD撮像素子52a(電荷結合素子(Charge Coupled Device)を用いたカメラ)、及び画像メモリ52bを有している。すなわち、図1に示す撮像装置52は、CCD撮像素子52a及び画像メモリ52bを有している。受光光学系51は、図1において説明したように、撮像領域210上の被測定物2の表面より反射された縞パターンを受光し、被測定物2の表面に投影された縞パターンをCCD撮像素子52aの受光面に結像させる。   The imaging unit 50 includes a light receiving optical system 51, a CCD imaging device 52a (a camera using a charge coupled device), and an image memory 52b. That is, the imaging device 52 shown in FIG. 1 includes a CCD imaging device 52a and an image memory 52b. As described with reference to FIG. 1, the light receiving optical system 51 receives the fringe pattern reflected from the surface of the object to be measured 2 on the imaging region 210 and performs CCD imaging of the fringe pattern projected on the surface of the object to be measured 2. An image is formed on the light receiving surface of the element 52a.

CCD撮像素子52aは、受光面における像の光の強度を強度に応じた電荷量に光電変換し、その電荷量を順次読み出して電気信号に変換する。これにより、縞パターンが投影された被測定物2の画像データが生成される。画像データは画素毎の輝度データ(輝度値)によって構成される。例えば、画像データは512×512=262144画素とされている。また、1枚の撮像範囲は基準位置において23cm角とされている。CCD撮像素子52aは、縞パターンの初期位相が0、π/2、π、3π/2の縞パターンが投影されているタイミングにおいて、それぞれ被測定物2を撮像して画像データを生成する。画像メモリ52bは、CCD撮像素子52aが生成した画像データを記憶する。   The CCD image sensor 52a photoelectrically converts the intensity of the image light on the light receiving surface into a charge amount corresponding to the intensity, and sequentially reads out the charge amount and converts it into an electrical signal. Thereby, image data of the DUT 2 on which the fringe pattern is projected is generated. The image data is composed of luminance data (luminance value) for each pixel. For example, the image data is 512 × 512 = 262144 pixels. In addition, one imaging range is a 23 cm square at the reference position. The CCD image sensor 52a captures the object to be measured 2 and generates image data at the timing when the fringe pattern whose initial phase is 0, π / 2, π, 3π / 2 is projected. The image memory 52b stores image data generated by the CCD image sensor 52a.

演算処理部60は、操作部61、制御部62、設定情報記憶部63、取込メモリ64、演算部65、画像記憶部66、及び表示制御部67を有している。なお、演算処理部60における制御部62、演算部65、及び表示制御部67は、CPU(Central Processing Unit)などの演算処理装置が制御プログラム(形状測定プログラム)に従って実行する処理に相当する。   The arithmetic processing unit 60 includes an operation unit 61, a control unit 62, a setting information storage unit 63, a capture memory 64, a calculation unit 65, an image storage unit 66, and a display control unit 67. The control unit 62, the calculation unit 65, and the display control unit 67 in the calculation processing unit 60 correspond to processing executed by a calculation processing device such as a CPU (Central Processing Unit) according to a control program (shape measurement program).

操作部61は、使用者の操作に応じた操作信号を制御部62に出力する。この操作部61は、例えば、使用者によって操作されるボタン、スイッチ、表示装置70の表示画面上のタッチパネルなどにより構成される。   The operation unit 61 outputs an operation signal corresponding to a user operation to the control unit 62. The operation unit 61 includes, for example, buttons and switches operated by the user, a touch panel on the display screen of the display device 70, and the like.

制御部62は、設定情報記憶部63に記憶されている制御プログラムに従って以下の制御を実行する。制御部62は、レーザコントローラ21に指令信号を出力することにより、レーザダイオード22からレーザ光を照射させる。このとき、制御部62は、指令信号において、レーザ光の照射の開始及び終了だけでなく、レーザ光の光強度(レーザ出力)についても指令する。レーザコントローラ21は、制御部62からの指令信号で指令された光強度のレーザ光を照射させるように、レーザダイオード22を制御する。   The control unit 62 executes the following control according to the control program stored in the setting information storage unit 63. The control unit 62 causes the laser diode 22 to emit laser light by outputting a command signal to the laser controller 21. At this time, the control unit 62 instructs not only the start and end of laser light irradiation but also the light intensity (laser output) of the laser light in the command signal. The laser controller 21 controls the laser diode 22 so as to irradiate the laser beam having the light intensity commanded by the command signal from the control unit 62.

また、制御部62は、レーザコントローラ21及び走査部40に指令信号を出力することにより、レーザダイオード22における光強度と走査部(MEMSミラー)40の振動とを投影される縞パターンの強度変化が正弦波となるように、レーザコントローラ21及び走査部40を制御する。なお、レーザダイオード22における光強度の正弦波の周期と走査部40の振動との同期がとれていない場合、走査部40が往復振動する毎に縞パターンにおける縞の位置がずれてしまう。また、制御部62は、レーザコントローラ21及び走査部40に指令信号を出力することにより、縞パターンの位相が所定時間毎にπ/2ずつ順にシフトしていくように、レーザコントローラ21及び走査部40を制御する。なお、走査部40が左から右に走査する場合の左端の位相を初期位相と呼ぶ。   Further, the control unit 62 outputs a command signal to the laser controller 21 and the scanning unit 40, so that the intensity change of the fringe pattern on which the light intensity in the laser diode 22 and the vibration of the scanning unit (MEMS mirror) 40 are projected is changed. The laser controller 21 and the scanning unit 40 are controlled so as to be a sine wave. In addition, when the period of the sine wave of the light intensity in the laser diode 22 and the vibration of the scanning unit 40 are not synchronized, the position of the stripe in the stripe pattern is shifted every time the scanning unit 40 reciprocates. Further, the control unit 62 outputs a command signal to the laser controller 21 and the scanning unit 40, so that the phase of the fringe pattern is sequentially shifted by π / 2 every predetermined time. 40 is controlled. Note that the left end phase when the scanning unit 40 scans from left to right is referred to as an initial phase.

また、制御部62は、走査部40及びCCD撮像素子52aに指令信号を出力することにより、CCD撮像素子52aによる被測定物2の撮像を、走査部40による縞パターンの複数回の走査に同期するように制御する。具体的には、走査部40の振動周波数は500Hz(すなわち、走査部40の振動周期は往復2ms)とされ、CCD撮像素子52aのシャッター速度(すなわち、CCD撮像素子52aの撮像時間)は40msとされているものとする。この場合、CCD撮像素子52aが1枚の画像を撮像する間に、走査部40はライン光100を20往復走査する。このように、制御部62は、CCD撮像素子52aによる1回の被測定物2の撮像を、走査部40によるライン光100の20往復の走査に同期させる。また、制御部62は、CCD撮像素子52aに指令信号を出力することにより、CCD撮像素子52aによる被測定物2の撮像を、縞パターンの位相がシフトされるタイミングと同期させる。   Further, the control unit 62 outputs a command signal to the scanning unit 40 and the CCD imaging device 52a, thereby synchronizing the imaging of the DUT 2 by the CCD imaging device 52a with a plurality of scanning of the fringe pattern by the scanning unit 40. Control to do. Specifically, the vibration frequency of the scanning unit 40 is 500 Hz (that is, the vibration period of the scanning unit 40 is 2 ms reciprocating), and the shutter speed of the CCD image sensor 52a (that is, the imaging time of the CCD image sensor 52a) is 40 ms. It is assumed that In this case, the scanning unit 40 scans the line light 100 for 20 reciprocations while the CCD imaging device 52a captures one image. As described above, the control unit 62 synchronizes the one-time imaging of the DUT 2 by the CCD imaging device 52 a with the 20 reciprocating scans of the line light 100 by the scanning unit 40. Further, the control unit 62 outputs a command signal to the CCD image sensor 52a to synchronize the imaging of the DUT 2 by the CCD image sensor 52a with the timing at which the phase of the fringe pattern is shifted.

設定情報記憶部63は、制御部62に制御を実行させるための制御プログラムを記憶する。また、設定情報記憶部63は、演算部65に3次元形状の演算処理を実行させるための制御プログラムを記憶する。また、設定情報記憶部63は、演算部65の演算処理において縞パターンの位相から被測定物2の実座標値を算出する際に用いるキャリブレーション情報なども記憶する。   The setting information storage unit 63 stores a control program for causing the control unit 62 to execute control. In addition, the setting information storage unit 63 stores a control program for causing the calculation unit 65 to execute calculation processing of a three-dimensional shape. The setting information storage unit 63 also stores calibration information and the like used when calculating the actual coordinate value of the DUT 2 from the phase of the fringe pattern in the calculation process of the calculation unit 65.

取込メモリ64は、画像メモリ52bに記憶された画像データを取り込んで記憶する。この取込メモリ64は、縞パターンの初期位相が0、π/2、π、3π/2のときの4つの画像データそれぞれに対応した記憶領域が設けられている。例えば、縞パターンの初期位相が0のときの画像データが画像メモリ52bに記憶され、その画像データが取込メモリ64の第1記憶領域に転送される。また、縞パターンの初期位相がπ/2のときの画像データが画像メモリ52bに記憶され、その画像データが取込メモリ64の第2記憶領域に転送される。また、縞パターンの初期位相がπのときの画像データが画像メモリ52bに記憶され、その画像データが取込メモリ64の第3記憶領域に転送される。また、縞パターンの初期位相が3π/2のときの画像データが画像メモリ52bに記憶され、その画像データが取込メモリ64の第4記憶領域に転送される。   The capture memory 64 captures and stores the image data stored in the image memory 52b. The capture memory 64 is provided with storage areas corresponding to four image data when the initial phase of the fringe pattern is 0, π / 2, π, 3π / 2. For example, image data when the initial phase of the fringe pattern is 0 is stored in the image memory 52 b, and the image data is transferred to the first storage area of the capture memory 64. Further, the image data when the initial phase of the fringe pattern is π / 2 is stored in the image memory 52 b and the image data is transferred to the second storage area of the capture memory 64. Further, the image data when the initial phase of the fringe pattern is π is stored in the image memory 52 b and the image data is transferred to the third storage area of the capture memory 64. Further, the image data when the initial phase of the fringe pattern is 3π / 2 is stored in the image memory 52 b, and the image data is transferred to the fourth storage area of the capture memory 64.

演算部65は、設定情報記憶部63に記憶されている制御プログラムやキャリブレーション情報に従って、取込メモリ64の4つの記憶領域に記憶された画像データから被測定物2の3次元形状データ(3次元形状の座標データ)を算出する。   The computing unit 65 is configured to obtain the three-dimensional shape data (3) of the DUT 2 from the image data stored in the four storage areas of the acquisition memory 64 according to the control program and calibration information stored in the setting information storage unit 63. (Dimensional coordinate data) is calculated.

投影部10と一体の撮像部50が初期位相の異なる縞パターンが投影された被測定物2の撮像間にぶれが生じた場合、演算部65により算出される被測定物2の3次元形状データの精度が低下する。そこで、本発明の態様では、ぶれが生じた場合においても精度の高い3次元形状を得るために、演算部65は次に示す処理によって被測定物2の3次元形状データを算出する。まず、演算部65は、各縞パターン画像中の被測定物2の一部の領域において、縞パターン画像毎に同一又は異なる近隣の画素を抽出して4つの画素の組合せ(縞パターンの初期位相が0、π/2、π、3π/2のときの画素の組合せ)をすべての組み合わせについて取得する。そして、演算部65は、取得したすべての組合せについて、組合せ毎に輝度データに基づき3次元形状データを算出する。演算部65は、算出した複数の3次元形状データを比較して、最も測定誤差が小さい組合せを選択する。そして、演算部65は、選択した組合せに基づいて被測定物2の3次元形状データを算出する。このような処理を行う処理部として、図4に示すように、演算部65は、第1の演算部65a、第2の演算部65b、選択部65c、及び第3の演算部65dを備えている。   The three-dimensional shape data of the DUT 2 calculated by the calculation unit 65 when the imaging unit 50 integrated with the projection unit 10 is shaken during imaging of the DUT 2 on which the fringe patterns having different initial phases are projected. The accuracy of is reduced. Therefore, in the aspect of the present invention, in order to obtain a highly accurate three-dimensional shape even when blurring occurs, the calculation unit 65 calculates the three-dimensional shape data of the DUT 2 by the following process. First, in the partial area of the DUT 2 in each striped pattern image, the calculation unit 65 extracts the same or different neighboring pixels for each striped pattern image and combines four pixels (the initial phase of the striped pattern). For all combinations, the pixel combinations when 0 is π / 2, π, and 3π / 2). And the calculating part 65 calculates three-dimensional shape data based on brightness | luminance data for every combination about all the acquired combinations. The arithmetic unit 65 compares the calculated three-dimensional shape data and selects the combination with the smallest measurement error. Then, the calculation unit 65 calculates the three-dimensional shape data of the DUT 2 based on the selected combination. As a processing unit that performs such processing, as shown in FIG. 4, the calculation unit 65 includes a first calculation unit 65a, a second calculation unit 65b, a selection unit 65c, and a third calculation unit 65d. Yes.

第1の演算部65aは、縞パターンの初期位相が0のときの画像データ中の所定画素の輝度データと、縞パターンの初期位相がπ/2のときの画像データ中の所定画素の近隣の画素(以下、画素m−1という。)の輝度データと、縞パターンの初期位相がπのときの画像データ中の画素m−1の近隣の画素(以下、画素m−2という。)の輝度データと、縞パターンの初期位相が3π/2のときの画像データ中の画素m−2の近隣の画素(以下、画素m−3という。)の輝度データとの組合せに基づいて、所定画素に対応する被測定物2の3次元座標を算出する。この3次元座標の算出を所定の画素を中心とする例えば10×10画素について行い、被測定物2の一部の3次元形状データ(dataM)を算出する。   The first calculation unit 65a is configured to detect luminance data of a predetermined pixel in the image data when the initial phase of the fringe pattern is 0 and the vicinity of the predetermined pixel in the image data when the initial phase of the fringe pattern is π / 2. The luminance data of the pixel (hereinafter referred to as pixel m-1) and the luminance of the pixel adjacent to pixel m-1 (hereinafter referred to as pixel m-2) in the image data when the initial phase of the fringe pattern is π. Based on a combination of the data and luminance data of a pixel adjacent to pixel m-2 (hereinafter referred to as pixel m-3) in the image data when the initial phase of the fringe pattern is 3π / 2, The three-dimensional coordinates of the corresponding device under test 2 are calculated. The calculation of the three-dimensional coordinates is performed for, for example, 10 × 10 pixels centered on a predetermined pixel, and a part of the three-dimensional shape data (dataM) of the DUT 2 is calculated.

第2の演算部65bは、縞パターンの初期位相が0のときの画像データ中の所定画素の輝度データと、縞パターンの初期位相がπ/2のときの画像データ中の所定画素の近隣の画素であって画素m−1とは異なる画素(以下、画素n−1という。)の輝度データと、縞パターンの初期位相がπのときの画像データ中の画素n−1の近隣の画素(以下、画素n−2という。)の輝度データと、縞パターンの初期位相が3π/2のときの画像データ中の画素n−2の近隣の画素(以下、画素n−3という。)の輝度データとの組合せに基づいて、所定画素に対応する被測定物2の3次元座標を算出する。この3次元座標の算出を所定の画素を中心とする例えば10×10画素について行い、被測定物2の一部の3次元形状データ(dataN)を算出する。   The second calculation unit 65b is configured to detect luminance data of a predetermined pixel in the image data when the initial phase of the fringe pattern is 0 and a neighborhood of the predetermined pixel in the image data when the initial phase of the fringe pattern is π / 2. Luminance data of a pixel that is different from the pixel m-1 (hereinafter referred to as pixel n-1), and a pixel adjacent to the pixel n-1 in the image data when the initial phase of the fringe pattern is π ( Hereinafter, the luminance data of the pixel n-2) and the luminance of the pixel adjacent to the pixel n-2 in the image data when the initial phase of the fringe pattern is 3π / 2 (hereinafter referred to as the pixel n-3). Based on the combination with the data, the three-dimensional coordinates of the DUT 2 corresponding to the predetermined pixel are calculated. The calculation of the three-dimensional coordinates is performed for, for example, 10 × 10 pixels centering on a predetermined pixel, and a part of the three-dimensional shape data (dataN) of the DUT 2 is calculated.

選択部65cは、第1の演算部65aが算出した3次元形状データ(dataM)から得られる被測定物2の一部の3次元形状と、第2の演算部65bが算出した3次元形状データ(dataN)から得られる被測定物2の一部の3次元形状とを比較し、滑らかに連なる3次元形状の演算に用いた3次元形状データ(dataM又はdataN)を選択する。なお、ここでは2つの3次元形状データの比較で説明したが、実際には全ても組み合わせで3次元形状を求め、最も滑らかに連なる3次元形状の演算に用いた3次元形状データを選択する。第3の演算部65dは、選択部65cで選択された3次元形状データにおいて用いられた画素の組合せに基づいて被測定物2の3次元形状データを求める。なお、演算部65が被測定物2の3次元形状データを求める処理の詳細については後述する(図11及び16参照)。   The selection unit 65c includes a part of the three-dimensional shape of the DUT 2 obtained from the three-dimensional shape data (dataM) calculated by the first calculation unit 65a and the three-dimensional shape data calculated by the second calculation unit 65b. The three-dimensional shape of a part of the object 2 to be measured obtained from (dataN) is compared, and the three-dimensional shape data (dataM or dataN) used for the calculation of smoothly connected three-dimensional shapes is selected. Although the description has been made here by comparing two pieces of three-dimensional shape data, in practice, a three-dimensional shape is obtained by combining all the three-dimensional shape data, and the three-dimensional shape data used for the calculation of the three-dimensional shape connected most smoothly is selected. The third calculation unit 65d obtains the three-dimensional shape data of the DUT 2 based on the combination of pixels used in the three-dimensional shape data selected by the selection unit 65c. The details of the processing for the calculation unit 65 to obtain the three-dimensional shape data of the DUT 2 will be described later (see FIGS. 11 and 16).

画像記憶部66は、演算部65が算出した被測定物2の3次元形状データを記憶する。表示制御部67は、使用者による操作部61の操作に応じて、又は自動的に、画像記憶部66に記憶された3次元形状データを読み出す。そして、表示制御部67は、読み出した3次元形状データに基づいて表示装置70の表示画面に被測定物2の3次元形状の疑似画像を表示させる制御を実行する。   The image storage unit 66 stores the three-dimensional shape data of the DUT 2 calculated by the calculation unit 65. The display control unit 67 reads the three-dimensional shape data stored in the image storage unit 66 in accordance with the operation of the operation unit 61 by the user or automatically. Then, the display control unit 67 performs control to display a three-dimensional pseudo image of the DUT 2 on the display screen of the display device 70 based on the read three-dimensional shape data.

表示装置70は、被測定物2の3次元形状の疑似画像を表示する装置である。この表示装置70は、例えば液晶ディスプレイなどで構成される。なお、図1においては、表示装置70は形状測定装置1に含まれていなかったが、形状測定装置1に含まれてもよい。   The display device 70 is a device that displays a three-dimensional pseudo image of the DUT 2. The display device 70 is composed of, for example, a liquid crystal display. In FIG. 1, the display device 70 is not included in the shape measuring device 1, but may be included in the shape measuring device 1.

本実施形態において、形状測定装置1は、例えば持ち運び可能な小型の装置として構成される。このような装置の場合、投影部10、撮像部50、演算処理部60、及び表示装置70は、持ち運び可能な大きさの筐体内に収容される。かかる構成によれば、測定者は、形状測定装置1を被測定物2がある現場まで容易に持ち運ぶことができる。また、例えば大型装置の裏面や背面など、定置型の形状測定装置では測定が難しい被測定物2に対して、容易に形状を測定することができる。反面、測定者が形状測定装置1を用いて測定を行う際に手ぶれが生じやすくなる。
In the present embodiment, the shape measuring device 1 is configured as a small portable device, for example. In the case of such an apparatus, the projection unit 10, the imaging unit 50, the arithmetic processing unit 60, and the display device 70 are accommodated in a portable casing. According to such a configuration, the measurer can easily carry the shape measuring apparatus 1 to the site where the object to be measured 2 is located. Further, for example, the shape can be easily measured with respect to the object 2 to be measured which is difficult to measure with a stationary shape measuring apparatus such as a back surface or a back surface of a large-sized device. On the other hand, camera shake tends to occur when the measurer performs measurement using the shape measuring apparatus 1.

次に、図5を参照して位相シフト法の原理について説明する。位相シフト法は、三角測量の原理を利用して距離を計測する方法である。位相シフト法は光切断法と計測原理は同じである。光切断法においては、レーザが物体に対してライン状のレーザ光を投影する。また、撮像部が物体表面で反射されたライン光を撮像する。そして、演算部が撮像部50と走査部40の距離とスリット光の投影方向と撮像方向に基づいて物体の3次元形状を復元する。光切断法の場合、1回に1ライン分の計測しか行うことができない。従って、撮像部の画面全体の計測値を得るためには、レーザによるレーザ光の投影と撮像部による撮像とを、求められる分解能に応じた分レーザ光をずらしながら必要回数分行う必要がある。   Next, the principle of the phase shift method will be described with reference to FIG. The phase shift method is a method of measuring a distance using the principle of triangulation. The phase shift method has the same measurement principle as the light section method. In the light cutting method, a laser projects a line-shaped laser beam onto an object. Further, the imaging unit images the line light reflected from the object surface. Then, the arithmetic unit restores the three-dimensional shape of the object based on the distance between the imaging unit 50 and the scanning unit 40, the projection direction of the slit light, and the imaging direction. In the case of the light cutting method, only one line can be measured at a time. Therefore, in order to obtain a measurement value of the entire screen of the imaging unit, it is necessary to perform the projection of the laser beam by the laser and the imaging by the imaging unit as many times as necessary while shifting the laser beam according to the required resolution.

これに対して、位相シフト法においては、正弦波状の縞パターンの位相をシフトさせて撮像した縞画像を解析することにより距離を計測する。このときに投影部から投影される縞パターンは、上述したように、位相をπ/2ずつシフトさせた4種類の画像となる。   On the other hand, in the phase shift method, the distance is measured by analyzing the fringe image picked up by shifting the phase of the sinusoidal fringe pattern. At this time, the fringe pattern projected from the projection unit becomes four types of images with the phase shifted by π / 2 as described above.

縞パターンの初期位相が0、π/2、π、3π/2とシフトする毎に、縞の濃淡が位相差に対応する分だけずれて投影される。被測定物2が撮像領域210内に位置している場合は、被測定物2の表面に縞パターンが現れる。撮像部50(すなわちCCD撮像素子52a)は、表面に縞パターンが現れた被測定物2を、縞パターンの初期位相が0、π/2、π、3π/2のタイミングにおいてそれぞれ撮像する。これにより、縞パターンの初期位相が0、π/2、π、3π/2のときの4つの画像が得られる。これらの画像を「縞パターン画像」という。   Each time the initial phase of the fringe pattern shifts to 0, π / 2, π, 3π / 2, the shading of the fringe is projected with a shift corresponding to the phase difference. When the DUT 2 is located within the imaging region 210, a stripe pattern appears on the surface of the DUT 2. The imaging unit 50 (that is, the CCD imaging device 52a) images the DUT 2 on which the fringe pattern appears on the surface at timings when the initial phase of the fringe pattern is 0, π / 2, π, and 3π / 2. Thereby, four images when the initial phase of the fringe pattern is 0, π / 2, π, 3π / 2 are obtained. These images are called “stripe pattern images”.

輝度値I(x,y)(n=0,1,2,3)は各位相の縞パターンが投影されたときに撮像された各画像の所定画素(x,y)の輝度値である。すなわち、Iは初期位相0の縞パターンが投影されたときに撮像された画像の輝度値である。Iは初期位相π/2の縞パターンが投影されたときに撮像された画像の輝度値である。Iは初期位相πの縞パターンが投影されたときに撮像された画像の輝度値である。Iは初期位相3π/2の縞パターンが投影されたときに撮像された画像の輝度値である。この輝度値I(x,y)(n=0,1,2,3)は下記の式(1)で表される。 The luminance value I n (x, y) (n = 0, 1, 2, 3) is a luminance value of a predetermined pixel (x, y) of each image captured when the fringe pattern of each phase is projected. . That is, I 0 is the luminance value of the image captured when the fringe pattern with the initial phase 0 is projected. I 1 is a luminance value of an image captured when a fringe pattern having an initial phase π / 2 is projected. I 2 is the luminance value of the image captured when the fringe pattern of the initial phase π is projected. I 3 is a luminance value of an image captured when a fringe pattern having an initial phase of 3π / 2 is projected. The luminance value I n (x, y) (n = 0, 1, 2, 3) is expressed by the following equation (1).

(x,y)=A(x,y)cos(φ(x,y)+nπ/2)+B(x,y)・・・(1) I n (x, y) = A (x, y) cos (φ (x, y) + nπ / 2) + B (x, y) (1)

図5は、所定画素の輝度値から求められる正弦波を示す波形図である。図5に示すように、式(1)において、B(x,y)はバイアス成分を示す。また、A(x,y)は撮像時の正弦波のコントラストの強さを示す。また、φ(x,y)は所定画素(x,y)における正弦波の位相である。4つの画像上の同一画素(同一位置)での輝度値I〜Iは、図5に示すように、物体の表面性状や色などにより絶対的な値は変化する。しかし、相対的な輝度値の差は、常に縞パターンの位相差分だけの変化を示す。従って、所定画素(x,y)おける縞パターンの位相φ(x,y)は、4つの画像の同一画素における輝度値から下記の式(2)で求められる。 FIG. 5 is a waveform diagram showing a sine wave obtained from the luminance value of a predetermined pixel. As shown in FIG. 5, in equation (1), B (x, y) represents a bias component. A (x, y) indicates the contrast strength of the sine wave at the time of imaging. Φ (x, y) is a phase of a sine wave at a predetermined pixel (x, y). As shown in FIG. 5, the absolute values of the luminance values I 0 to I 3 at the same pixel (same position) on the four images vary depending on the surface property and color of the object. However, the relative luminance value difference always shows a change by the phase difference of the fringe pattern. Therefore, the phase φ (x, y) of the stripe pattern in the predetermined pixel (x, y) is obtained from the luminance value at the same pixel of the four images by the following equation (2).

φ(x,y)=tan−1{(I(x,y)−I(x,y))/(I(x,y)−I(x,y))}・・・(2) φ (x, y) = tan −1 {(I 3 (x, y) −I 1 (x, y)) / (I 0 (x, y) −I 2 (x, y))}... (2)

このように、画像の画素毎に正弦波の初期位相0の時の位相を求めることができる。位相φ(x,y)が等しい点を連結して得られる線(等位相線)が、光切断法における切断線と同じく物体をある平面で切断した断面の形状を表す。従って、この位相φ(x,y)に基づいて三角測量の原理により3次元形状(画像の各点での高さ情報)が求められる。   In this way, the phase at the initial phase 0 of the sine wave can be obtained for each pixel of the image. A line (equal phase line) obtained by connecting points having the same phase φ (x, y) represents the shape of a cross section obtained by cutting an object at a certain plane in the same manner as the cutting line in the optical cutting method. Therefore, a three-dimensional shape (height information at each point of the image) is obtained by the principle of triangulation based on this phase φ (x, y).

次に、空間コード法で用いる空間コードパターンやその他のパターンについて説明する。上記した位相シフト法における位相接続において、被測定物2の面形状が滑らかに変化する連続的な面形状であるときは、1本の縞に相当する2πの位相を−π〜π〜3π〜5π・・・と単純につなげることが可能である。しかし、被測定物2の面形状が急な段差変化があるような不連続な面形状であるときは、その位相がどの縞の位相であるかがわからなくなる。例えば、ある縞の位相が−π〜πの位相であるか、π〜3πの位相であるかがわからなくなる。この場合、位相が連続して接続されない、いわゆる位相飛び現象が生じる。このような位相飛び現象を防止するため、本実施形態では、位相シフト法と空間コード法を組み合わせて被測定物2の3次元形状を測定する。従って、本実施形態においては、投影部10は、投影領域200において、位相シフト法で用いる縞パターンを投影するとともに、空間コード法で用いる空間コードパターンを投影する。なお、この空間コードパターンのことも単に「パターン」という。   Next, a spatial code pattern and other patterns used in the spatial code method will be described. In the phase connection in the above-described phase shift method, when the surface shape of the DUT 2 is a continuous surface shape that smoothly changes, the phase of 2π corresponding to one stripe is −π to π to 3π to It is possible to simply connect 5π. However, when the surface shape of the DUT 2 is a discontinuous surface shape with a sudden step change, it is impossible to know which fringe phase the phase is. For example, it is not clear whether the phase of a certain stripe is a phase of −π to π or a phase of π to 3π. In this case, a so-called phase skip phenomenon occurs in which phases are not continuously connected. In order to prevent such a phase jump phenomenon, in this embodiment, the three-dimensional shape of the DUT 2 is measured by combining the phase shift method and the spatial code method. Therefore, in the present embodiment, the projection unit 10 projects the fringe pattern used in the phase shift method and the spatial code pattern used in the spatial code method in the projection region 200. This spatial code pattern is also simply referred to as a “pattern”.

図6は、投影領域200における空間コードパターンの強度分布を示す図である。なお、空間コードパターンとして複数のパターンが使用されるが、そのうちの1つのパターンを図6に示している。図6に示すように、空間コードパターンは、投影領域200における第1の方向D1に沿って光強度のプロファイルが矩形波状となっている。この空間コードパターンにおいては、明るい部分(図6の白い部分)と暗い部分(図6の黒い部分)が交互に現れる。すなわち、図6に示す空間コードパターンでは、第2の方向D2の8本の白のラインと、第2の方向D2の8本の黒のラインとが交互に配置されている。   FIG. 6 is a diagram showing the intensity distribution of the spatial code pattern in the projection area 200. As shown in FIG. A plurality of patterns are used as the spatial code pattern, and one of them is shown in FIG. As shown in FIG. 6, the spatial code pattern has a rectangular wave shape in the light intensity profile along the first direction D <b> 1 in the projection region 200. In this spatial code pattern, bright portions (white portions in FIG. 6) and dark portions (black portions in FIG. 6) appear alternately. That is, in the spatial code pattern shown in FIG. 6, eight white lines in the second direction D2 and eight black lines in the second direction D2 are alternately arranged.

図1に示すように、一次元のライン光100は、第2の方向に生成される。ここで、レーザダイオード22は、矩形波状に変化する電圧信号が入力されることにより、時間の経過とともに光強度が矩形波状に変化するレーザ光を出力する。従って、ライン生成部23により生成された第2の方向のライン光100は、第1の方向に沿って矩形波状の周期的な光強度の分布を有する光となる。   As shown in FIG. 1, the one-dimensional line light 100 is generated in the second direction. Here, the laser diode 22 outputs a laser beam whose light intensity changes in a rectangular wave shape with the passage of time when a voltage signal changing in a rectangular wave shape is input. Therefore, the line light 100 in the second direction generated by the line generation unit 23 becomes light having a periodic light intensity distribution in the form of a rectangular wave along the first direction.

ライン生成部23により生成されたライン光100は、投影光学系30を通過した後、走査部40としてのMEMSミラーに導かれる。MEMSミラーは、投影領域200においてライン光100が第1の方向D1に走査されるような方向に、所定の振幅角及び振動周波数で振動している。このMEMSミラーがライン光100を反射することにより、ライン光100が投影領域200における第2の方向D2に投影されるとともに、第1の方向D1において走査される。これにより、投影領域200の全面にわたって白黒のストライプの空間コードパターンが投影される。   The line light 100 generated by the line generation unit 23 passes through the projection optical system 30 and is then guided to a MEMS mirror as the scanning unit 40. The MEMS mirror vibrates at a predetermined amplitude angle and vibration frequency in a direction in which the line light 100 is scanned in the first direction D1 in the projection region 200. The MEMS mirror reflects the line light 100, whereby the line light 100 is projected in the second direction D2 in the projection region 200 and scanned in the first direction D1. As a result, a spatial code pattern of black and white stripes is projected over the entire projection area 200.

図7は、標準パターン、4つの空間コードパターン、及び白黒参照パターンを示す図である。図7(A)は標準パターンを示す。図7(B)は空間コードパターンを示す。図7(C)は白黒参照パターンを示す。表示制御部67が表示装置70の表示画面に被測定物2の3次元形状の疑似画像を表示させるときに、3次元形状の表面に色を張り付ける処理(テクスチャ)を行う。図7(A)に示す標準パターンは、3次元形状の表面に張り付けられる標準の色を取得するために撮像される。なお、標準パターンが投影されているときの被測定物2の画像を「標準画像」という。   FIG. 7 is a diagram showing a standard pattern, four spatial code patterns, and a monochrome reference pattern. FIG. 7A shows a standard pattern. FIG. 7B shows a spatial code pattern. FIG. 7C shows a black and white reference pattern. When the display control unit 67 displays a three-dimensional pseudo image of the DUT 2 on the display screen of the display device 70, a process (texture) for attaching a color to the surface of the three-dimensional shape is performed. The standard pattern shown in FIG. 7A is imaged to acquire a standard color that is pasted on the surface of the three-dimensional shape. Note that an image of the DUT 2 when the standard pattern is projected is referred to as a “standard image”.

図7(B)に示す空間コードパターンは、投影領域200内の複数の領域に空間コードと呼ばれる番号を割り当てるためのパターンである。図7(B)に示す例では、(a)の空間コードパターンは、左半分が白で右半分が黒となっている。(b)の空間コードパターンは、2本の白のラインと2本の黒のラインが交互に配置されている。(c)の空間コードパターンは、4本の白のラインと4本の黒のラインが交互に配置されている。(d)の空間コードパターンは、8本の白のラインと8本の黒のラインが交互に配置されている。なお、空間コードパターンが投影されているときの被測定物2の画像を「空間コード画像」という。   The spatial code pattern shown in FIG. 7B is a pattern for assigning numbers called spatial codes to a plurality of areas in the projection area 200. In the example shown in FIG. 7B, the left half of the spatial code pattern of (a) is white and the right half is black. In the spatial code pattern (b), two white lines and two black lines are alternately arranged. In the spatial code pattern (c), four white lines and four black lines are alternately arranged. In the spatial code pattern (d), eight white lines and eight black lines are alternately arranged. Note that the image of the DUT 2 when the spatial code pattern is projected is referred to as a “spatial code image”.

図7(C)に示す白黒参照パターンは、投影領域200における各領域に付される空間コードの「1」と「0」、すなわち白と黒を判別するときに参照されるパターンである。演算部65において、空間コードの「1」を判別するときに、白黒参照パターンの白パターンが参照される。また、空間コードの「0」を判別するときに、白黒参照パターンの黒パターンが参照される。なお、白黒参照パターンが投影されているときの被測定物2の画像を「白黒参照画像」という。また、白パターンが投影されているときの被測定物2の画像を「白画像」という。また、黒パターンが投影されているときの被測定物2の画像を「黒画像」という。本実施形態においては、図7(A)に示す標準パターンと図7(C)に示す白黒参照パターンの白パターンとは同じパターンとされている。ここで、黒色とは一般には明度が0を示すが、ここでは識別できる最低限の明るさを黒色と称する。ここで黒色を識別できる最低限の明るさとするのは、黒色で照射されている部分と無照射の部分を識別するためである。   The monochrome reference pattern shown in FIG. 7C is a pattern that is referenced when discriminating between “1” and “0” of the spatial code assigned to each area in the projection area 200, that is, white and black. When the calculation unit 65 determines “1” of the space code, the white pattern of the monochrome reference pattern is referred to. Further, when determining “0” of the space code, the black pattern of the monochrome reference pattern is referred to. Note that an image of the DUT 2 when the black and white reference pattern is projected is referred to as a “black and white reference image”. An image of the DUT 2 when a white pattern is projected is referred to as a “white image”. An image of the DUT 2 when the black pattern is projected is referred to as a “black image”. In the present embodiment, the standard pattern shown in FIG. 7A and the white pattern of the monochrome reference pattern shown in FIG. 7C are the same pattern. Here, black generally indicates a lightness of 0, but here, the minimum brightness that can be identified is referred to as black. Here, the minimum brightness that can identify black is to identify a portion irradiated with black and a non-irradiated portion.

図8は、空間コードと領域番号との関係を示す図である。図8に示す「空間コード」において、「0」が黒に対応し、「1」が白に対応する。「空間コード」の1段目は図7(B)における(a)の空間コードパターンに対応する。「空間コード」の2段目は図7(B)における(b)の空間コードパターンに対応する。「空間コード」の3段目は図7(B)における(c)の空間コードパターンに対応する。「空間コード」の4段目は図7(B)における(d)の空間コードパターンに対応する。図8に示す「領域番号」は、空間コードによって識別される16分割された領域に付された番号である。例えば、「領域番号」の「0」は、上から「0000」となっている。つまり、4つの空間コードパーターン投影時にいずれのおいても黒パターンが投影された部分である。また、「領域番号」の「10」は、上から「1010」となっている。このような番号によって投影領域200内の16分割された領域が演算部65により識別される。   FIG. 8 is a diagram showing the relationship between the space code and the region number. In the “space code” shown in FIG. 8, “0” corresponds to black and “1” corresponds to white. The first level of the “space code” corresponds to the space code pattern (a) in FIG. The second level of the “space code” corresponds to the space code pattern (b) in FIG. The third level of the “space code” corresponds to the space code pattern (c) in FIG. The fourth level of the “space code” corresponds to the space code pattern (d) in FIG. The “area number” shown in FIG. 8 is a number assigned to the 16-divided area identified by the spatial code. For example, “0” of “area number” is “0000” from the top. That is, the black pattern is projected on any of the four spatial code patterns. Further, “10” of “area number” is “1010” from the top. The 16 divisions in the projection area 200 are identified by the arithmetic unit 65 based on such numbers.

次に、第1実施形態に係る形状測定装置1の動作について説明する。   Next, the operation of the shape measuring apparatus 1 according to the first embodiment will be described.

図9は、形状測定方法の一例を説明するフローチャートである。図9に示すように、制御部62は、レーザダイオード22をオンにするようにレーザコントローラ21に指令信号を出力する。レーザコントローラ21は、制御部62からの指令信号に基づいてレーザダイオード22をオンにする(ステップS1)。また、制御部62は、走査部40に指令信号を出力することにより、走査部40による走査を開始させる(ステップS2)。そして、制御部62は、使用者によるシャッター操作が行われたか否かを判定する(ステップS3)。   FIG. 9 is a flowchart for explaining an example of the shape measuring method. As shown in FIG. 9, the control unit 62 outputs a command signal to the laser controller 21 so as to turn on the laser diode 22. The laser controller 21 turns on the laser diode 22 based on the command signal from the control unit 62 (step S1). Moreover, the control part 62 starts the scanning by the scanning part 40 by outputting a command signal to the scanning part 40 (step S2). And the control part 62 determines whether the shutter operation by the user was performed (step S3).

使用者によりシャッター操作が行われると(ステップS3:YES)、すなわち、制御部62は操作部61からシャッター操作が行われたことを表す信号を入力すると、制御部62は標準パターンを撮像する(ステップS4)。この処理において、レーザダイオード22は、図7(A)に示す無変調の光強度(ハイレベル一定の光強度)のレーザ光を出力する。ライン生成部23が、レーザダイオード22から出力されたレーザ光から一次元のライン光100を生成する。そして、走査部40が一次元のライン光100を走査することにより、図7(A)に示すような標準パターンが投影領域200に投影される。CCD撮像素子52aは、図7(A)に示す標準パターンを撮像して標準画像の画像データを生成する。標準画像の画像データは、一旦、画像メモリ52bに格納された後、取込メモリ64に設けられた記憶領域(標準画像領域)に記憶される。   When the shutter operation is performed by the user (step S3: YES), that is, when the control unit 62 inputs a signal indicating that the shutter operation has been performed from the operation unit 61, the control unit 62 images the standard pattern ( Step S4). In this process, the laser diode 22 outputs laser light having unmodulated light intensity (high light intensity constant) shown in FIG. The line generation unit 23 generates the one-dimensional line light 100 from the laser light output from the laser diode 22. Then, when the scanning unit 40 scans the one-dimensional line light 100, a standard pattern as shown in FIG. The CCD image sensor 52a captures the standard pattern shown in FIG. 7A and generates image data of a standard image. The image data of the standard image is temporarily stored in the image memory 52 b and then stored in a storage area (standard image area) provided in the capture memory 64.

次に、制御部62は、図7(B)に示す走査方向(第1の方向)において明暗2分割された空間コードパターンを撮像する(ステップS5)。この処理において、図7(B)の(a)〜(d)に示す4つの空間コードパターンがそれぞれ所定時間毎に投影部10により投影されるように、レーザダイオード22は光強度の矩形波状の周期を所定時間毎に切り替える。   Next, the control unit 62 captures an image of the spatial code pattern that is divided into two in the scanning direction (first direction) shown in FIG. 7B (step S5). In this process, the laser diode 22 has a rectangular wave shape with light intensity so that the four spatial code patterns shown in FIGS. 7A to 7D are projected by the projection unit 10 at predetermined time intervals. The cycle is switched every predetermined time.

具体的には、レーザダイオード22は、図7(B)の(a)に示す空間コードパターンとなるような矩形波状の周期のレーザ光(すなわち、図8の「空間コード」の1段目「1111111100000000」を表すパルス状のレーザ光)を出力する。また、所定時間経過後に、レーザダイオード22は、図7(B)の(b)に示す空間コードパターンとなるような矩形波状の周期のレーザ光(すなわち、図8の「空間コード」の2段目「1111000011110000」を表すパルス状のレーザ光)を出力する。また、所定時間経過後に、レーザダイオード22は、図7(B)の(c)に示す空間コードパターンとなるような矩形波状の周期のレーザ光(すなわち、図8の「空間コード」の3段目「1100110011001100」を表すパルス状のレーザ光)を出力する。さらに、所定時間経過後に、レーザダイオード22は、図7(B)の(d)に示す空間コードパターンとなるような矩形波状の周期のレーザ光(すなわち、図8の「空間コード」の1段目「1010101010101010」を表すパルス状のレーザ光)を出力する。なお、空間コードパターンの切り替えは所定時間経過ではなく、後述の撮影完了を検出して切り替えてもよい。   Specifically, the laser diode 22 has a rectangular wave-shaped laser beam (that is, the first stage “spatial code” in FIG. 8) such that the spatial code pattern shown in FIG. 1111111100000000 "pulsed laser light) is output. In addition, after a predetermined time has elapsed, the laser diode 22 has a rectangular wave-shaped laser beam (that is, two stages of “spatial code” in FIG. 8) such that the spatial code pattern shown in (b) of FIG. A pulsed laser beam representing the eye "1111000011110000"). Further, after a predetermined time has elapsed, the laser diode 22 has a rectangular wave-shaped period of laser light (that is, three stages of “spatial code” in FIG. 8) such that the spatial code pattern shown in FIG. The pulsed laser beam representing the eye “1100110011001100” is output. Further, after a lapse of a predetermined time, the laser diode 22 is a laser beam having a rectangular wave-like period so as to form the spatial code pattern shown in FIG. 7B (d) (that is, one stage of the “spatial code” in FIG. The pulsed laser beam representing the eyes “10101010101010110” is output. It should be noted that the switching of the spatial code pattern may be performed by detecting the completion of photographing, which will be described later, instead of elapse of a predetermined time.

そして、ライン生成部23がレーザダイオード22により出力されたレーザ光から一次元のライン光100を生成する。その後、走査部40が一次元のライン光100を走査することにより、図7(B)の(a)〜(d)に示すような各空間コードパターンが所定時間毎に投影領域200に投影される。CCD撮像素子52aは、図7(B)の(a)〜(d)に示す空間コードパターンをそれぞれ撮像して空間コード画像の画像データを生成する。空間コード画像の画像データは、一旦、画像メモリ52bに格納された後、それぞれ、取込メモリ64に設けられた各記憶領域(第1空間コード領域、第2空間コード領域、第3空間コード領域、第4空間コード領域)に順に記憶される。   Then, the line generation unit 23 generates the one-dimensional line light 100 from the laser light output from the laser diode 22. Thereafter, the scanning unit 40 scans the one-dimensional line light 100, whereby each spatial code pattern as shown in (a) to (d) of FIG. 7B is projected onto the projection region 200 at predetermined time intervals. The The CCD image sensor 52a captures the spatial code patterns shown in (a) to (d) of FIG. 7B to generate image data of a spatial code image. The image data of the spatial code image is once stored in the image memory 52b, and then each storage area (first spatial code area, second spatial code area, third spatial code area) provided in the capture memory 64, respectively. , The fourth spatial code area).

次に、制御部62は、図7(C)に示す白黒参照パターンを撮像する(ステップS6)。この処理において、レーザダイオード22は、図7(C)に示す無変調の光強度(ハイレベル一定の光強度)のレーザ光を出力する。ライン生成部23が、レーザダイオード22から出力されたレーザ光から一次元のライン光100を生成する。そして、走査部40が一次元のライン光100を走査することにより、図7(C)に示すような白黒参照パターンの白パターンが投影領域200に投影される。また、レーザダイオード22は、図7(C)に示す無変調の光強度(ロウレベル一定の光強度)のレーザ光を出力する。ライン生成部23が、レーザダイオード22から出力されたレーザ光から一次元のライン光100を生成する。そして、走査部40が一次元のライン光100を走査することにより、図7(C)に示すような白黒参照パターンの黒パターンが投影領域200に投影される。CCD撮像素子52aは、図7(C)に示す白黒参照パターンをそれぞれ撮像して白黒参照画像の画像データを生成する。白黒参照画像の画像データは、一旦、画像メモリ52bに格納された後、それぞれ、取込メモリ64に設けられた各記憶領域(白画像領域、黒画像領域)に順に記憶される。   Next, the control unit 62 images the monochrome reference pattern shown in FIG. 7C (step S6). In this process, the laser diode 22 outputs laser light having unmodulated light intensity (constant light intensity at a high level) shown in FIG. The line generation unit 23 generates the one-dimensional line light 100 from the laser light output from the laser diode 22. Then, when the scanning unit 40 scans the one-dimensional line light 100, a white pattern of a monochrome reference pattern as shown in FIG. Further, the laser diode 22 outputs laser light having unmodulated light intensity (constant light intensity at a low level) shown in FIG. The line generation unit 23 generates the one-dimensional line light 100 from the laser light output from the laser diode 22. Then, when the scanning unit 40 scans the one-dimensional line light 100, the black pattern of the monochrome reference pattern as shown in FIG. The CCD image sensor 52a captures the monochrome reference pattern shown in FIG. 7C and generates image data of the monochrome reference image. The image data of the black and white reference image is temporarily stored in the image memory 52b and then stored in order in each storage area (white image area and black image area) provided in the capture memory 64.

次に、制御部62は、位相がπ/2ずつシフトされた4つの縞パターンを撮像する(ステップS7)。CCD撮像素子52aは、制御部62からの指令信号に基づいて、縞パターンの初期位相が0、π/2、π、3π/2のタイミングにおいて、それぞれ被測定物2を撮像して4つの縞パターン画像の画像データを生成する。CCD撮像素子52aが撮像した各位相の縞パターン画像の画像データは、一旦、画像メモリ52bに格納された後、それぞれ、取込メモリ64に設けられた各記憶領域(第1記憶領域、第2記憶領域、第3記憶領域、第4記憶領域)に順に記憶される。   Next, the control unit 62 images four fringe patterns whose phases are shifted by π / 2 (step S7). Based on the command signal from the control unit 62, the CCD image pickup device 52a images the object to be measured 2 at the timing when the initial phase of the fringe pattern is 0, π / 2, π, and 3π / 2, and four fringes are obtained. Image data of a pattern image is generated. The image data of the fringe pattern image of each phase captured by the CCD image sensor 52a is temporarily stored in the image memory 52b, and then each storage area (first storage area, second storage area) provided in the capture memory 64, respectively. Storage area, third storage area, and fourth storage area).

次に、演算部65は、ぶれによる3次元形状の測定誤差が最も小さくなるような縞パターン画像毎の画素の組合せを求める処理を実行する(ステップS8〜S10)。撮像部50が4つの縞パターンを撮像している期間中において形状測定装置1のぶれが発生することがある。特に形状測定装置1が持ち運び可能な小型の装置である場合は、測定者の手ぶれが生じる可能性が高くなる。この場合、演算部65により算出される3次元形状データに測定誤差が発生する。つまり、各位相の縞パターン画像を取得した時のCCD撮像素子52aの同一画素に対応する被測定物2の部分が異なることにより測定誤差が発生する。   Next, the calculation unit 65 performs a process of obtaining a pixel combination for each fringe pattern image that minimizes the measurement error of the three-dimensional shape due to the shake (steps S8 to S10). During the period in which the imaging unit 50 is imaging four stripe patterns, the shape measuring apparatus 1 may be shaken. In particular, when the shape measuring device 1 is a small portable device, there is a high possibility that the shake of the measurer will occur. In this case, a measurement error occurs in the three-dimensional shape data calculated by the calculation unit 65. That is, a measurement error occurs due to a difference in the portion of the DUT 2 corresponding to the same pixel of the CCD image pickup element 52a when the fringe pattern image of each phase is acquired.

図10は、ぶれによって生じるうねりの周期を示す波形図である。図10において、点線の波形は、縞パターンにおける正弦波状の周期的な光強度の分布を示している。また、図10において、実線の波形は、演算部65により算出される被測定物2の3次元形状データ上に発生する平面測定誤差を示している。この平面測定誤差は被測定物2の平面部分に発生する測定誤差であり、図10に示すように縞パターンにおける正弦波状の光強度の周期の2倍周期のうねりとして現れる。このような平面測定誤差が発生することにより、3次元形状データにおける被測定物2の平面部分の平面度が悪化する。   FIG. 10 is a waveform diagram showing the period of undulation caused by shaking. In FIG. 10, the dotted waveform indicates a sinusoidal periodic light intensity distribution in the fringe pattern. In FIG. 10, the solid line waveform indicates a planar measurement error that occurs on the three-dimensional shape data of the DUT 2 calculated by the calculation unit 65. This plane measurement error is a measurement error generated in the plane portion of the DUT 2 and appears as a waviness having a period twice as long as the period of the sinusoidal light intensity in the stripe pattern as shown in FIG. When such a plane measurement error occurs, the flatness of the plane portion of the DUT 2 in the three-dimensional shape data deteriorates.

演算部65は、例えば被測定物2の特徴点(例えば被測定物2上の角や突起など)に基づいてぶれの量(移動量)及びぶれの方向がわかる場合は、そのぶれの量及びぶれの方向に基づいて縞パターン画像の画像データを補正することができる。しかし、被測定物2に特徴点が無い場合には、演算部65はぶれの量及びぶれの方向がわからない。そこで、本実施形態では、演算部65は、ぶれの量及びぶれの方向に応じた縞パターン画像毎の画素の組合せを求め、その組合せの画素の輝度値に基づいて被測定物2の3次元形状データを算出する。以下、ぶれの量及びぶれの方向に応じた縞パターン画像毎の画素の組合せを求める処理の具体例について説明する。   For example, when the amount of movement (movement amount) and the direction of the shake are known based on the feature points of the device under test 2 (for example, corners or protrusions on the device under test 2), The image data of the fringe pattern image can be corrected based on the blur direction. However, when there is no feature point in the DUT 2, the calculation unit 65 does not know the amount of blur and the direction of blur. Therefore, in the present embodiment, the calculation unit 65 obtains a pixel combination for each stripe pattern image corresponding to the amount of blur and the direction of blur, and based on the luminance value of the pixel of the combination, the three-dimensional of the DUT 2 Calculate shape data. Hereinafter, a specific example of processing for obtaining a pixel combination for each stripe pattern image according to the amount of blur and the direction of blur will be described.

図11は、各縞パターン画像の画像データにおける近隣の画素の組合せを示す図である。図11(a)〜(d)において、1つのマス目が1つの画素に対応する。従って、図11(a)〜(d)においては、それぞれ、3画素×3画素(=9画素)が示されている。図11(a)は、縞パターンの初期位相が0度の画像データにおける所定箇所(例えば中央部分)に設けられた一部の領域内の9画素を示している。9画素の真ん中の画素を画素「0」としている。また、図11(b)は、縞パターンの初期位相が90度(π/2)の画像データにおける9画素(画素「1」〜画素「9」)を示している。9画素(画素「1」〜画素「9」)の真ん中の画素「5」が図11(a)の画素「0」に対応する画素である。画素「1」「2」「3」「4」「6」「7」「8」「9」が画素「5」の近隣の画素である。ここで、近隣の画素とは互いに隣り合う画素のことをいう。   FIG. 11 is a diagram illustrating combinations of neighboring pixels in the image data of each stripe pattern image. In FIGS. 11A to 11D, one square corresponds to one pixel. Accordingly, in FIGS. 11A to 11D, 3 pixels × 3 pixels (= 9 pixels) are shown. FIG. 11A shows nine pixels in a partial area provided at a predetermined location (for example, the central portion) in the image data in which the initial phase of the fringe pattern is 0 degrees. The middle pixel of the nine pixels is set to pixel “0”. FIG. 11B shows nine pixels (pixel “1” to pixel “9”) in the image data in which the initial phase of the stripe pattern is 90 degrees (π / 2). The middle pixel “5” of the nine pixels (pixel “1” to pixel “9”) is a pixel corresponding to the pixel “0” in FIG. Pixels “1”, “2”, “3”, “4”, “6”, “7”, “8”, and “9” are neighboring pixels of pixel “5”. Here, the neighboring pixels are pixels adjacent to each other.

また、図11(c)は、縞パターンの初期位相が180度(π)の画像データにおける9画素(画素「11」〜画素「19」)を示している。図11(b)及び(c)に示す例では、9画素(画素「11」〜画素「19」)の真ん中の画素「15」が図11(b)の画素「6」に対応する画素である。画素「11」「12」「13」「14」「16」「17」「18」「19」が画素「15」の近隣の画素である。また、図11(d)は、縞パターンの初期位相が270度(3π/2)の画像データにおける9画素(画素「21」〜画素「29」)を示している。図11(c)及び(d)に示す例では、9画素(画素「21」〜画素「29」)の真ん中の画素「25」が図11(c)の画素「13」に対応する画素である。画素「21」「22」「23」「24」「26」「27」「28」「29」が画素「25」の近隣の画素である。   FIG. 11C shows nine pixels (pixel “11” to pixel “19”) in the image data in which the initial phase of the fringe pattern is 180 degrees (π). In the example shown in FIGS. 11B and 11C, the middle pixel “15” of 9 pixels (pixel “11” to pixel “19”) is a pixel corresponding to the pixel “6” in FIG. is there. Pixels “11”, “12”, “13”, “14”, “16”, “17”, “18”, and “19” are neighboring pixels of the pixel “15”. FIG. 11D shows nine pixels (pixel “21” to pixel “29”) in the image data in which the initial phase of the stripe pattern is 270 degrees (3π / 2). In the example shown in FIGS. 11C and 11D, the middle pixel “25” of nine pixels (pixel “21” to pixel “29”) is a pixel corresponding to the pixel “13” in FIG. is there. Pixels “21”, “22”, “23”, “24”, “26”, “27”, “28”, and “29” are neighboring pixels of pixel “25”.

演算部65は、まず、図11(a)に示す画像データ中の9画素の真ん中の画素「0」を抽出する。次に、演算部65は、抽出した画素「0」と組み合わせる画素として、図11(b)に示す画像データ中の画素であって画素「0」に対応する画素「5」と、その画素「5」の近隣の画素「1」「2」「3」「4」「6」「7」「8」「9」とを抽出する。次に、演算部65は、抽出した9画素「1」〜「9」それぞれと組み合わせる画素として、図11(c)に示す画像データ中の画素であって9画素「1」〜「9」それぞれに対応する9画素と、それら9画素それぞれの近隣の画素とを抽出する。さらに、演算部65は、抽出した複数の画素それぞれと組み合わせる画素として、図11(d)に示す画像データ中の画素であって複数の画素それぞれに対応する複数の画素と、それら複数の画素それぞれの近隣の画素とを抽出する。   First, the computing unit 65 extracts the middle pixel “0” of the nine pixels in the image data shown in FIG. Next, the calculation unit 65 combines the extracted pixel “0” with a pixel “5” corresponding to the pixel “0” in the image data shown in FIG. The neighboring pixels “1”, “2”, “3”, “4”, “6”, “7”, “8”, and “9” of “5” are extracted. Next, the calculation unit 65 is a pixel in the image data shown in FIG. 11C as a pixel combined with each of the extracted 9 pixels “1” to “9”, and each of the 9 pixels “1” to “9”. 9 pixels corresponding to, and neighboring pixels of these 9 pixels are extracted. Further, the arithmetic unit 65 combines a plurality of pixels corresponding to each of the plurality of pixels in the image data shown in FIG. 11D as pixels to be combined with each of the plurality of extracted pixels, and each of the plurality of pixels. And neighboring pixels.

このような処理により、演算部65は、各縞パターン画像の画像データにおける近隣の画素の組合せとして、729通り(9×9×9通り)の画素の組合せを抽出する。図11に示す例では、画素「0」と画素「6」と画素「13」と画素「27」との組合せが抽出されている。演算部65は、上記したような画像データ毎の画素の組合せを抽出する処理を、縞パターンの初期位相が0度の画像データにおける一部の領域内のすべての画素について行う。   By such processing, the arithmetic unit 65 extracts 729 (9 × 9 × 9) pixel combinations as combinations of neighboring pixels in the image data of each stripe pattern image. In the example illustrated in FIG. 11, a combination of the pixel “0”, the pixel “6”, the pixel “13”, and the pixel “27” is extracted. The arithmetic unit 65 performs the process of extracting the pixel combinations for each image data as described above for all the pixels in a partial area in the image data in which the initial phase of the fringe pattern is 0 degrees.

そして、演算部65は、一部の領域内のすべての画素に対する組合せの画素の輝度値(輝度データ)に基づいて、組合せ毎の位相φ(x,y)を算出する(ステップS8)。また、演算部65は、算出した組合せ毎の位相φ(x,y)から一部の領域の3次元形状データ(3次元座標データ)を組合せ毎に算出する(ステップS9)。さらに、演算部65は、算出した一部の領域の3次元形状データにおいて平面測定誤差が最も小さい画素の組合せを選択する(ステップS10)。なお、面を形成するためには複数の画素が必要である。そこで、例えば10×10の画素について同じぶれが発生していると仮定して、それぞれの画素に同じ組み合わせを適用して平面を求めることができる。   Then, the computing unit 65 calculates the phase φ (x, y) for each combination based on the luminance values (luminance data) of the combination pixels with respect to all the pixels in the partial area (step S8). In addition, the calculation unit 65 calculates, for each combination, three-dimensional shape data (three-dimensional coordinate data) of a partial region from the calculated phase φ (x, y) for each combination (step S9). Further, the calculation unit 65 selects a combination of pixels having the smallest plane measurement error in the calculated three-dimensional shape data of a partial region (step S10). Note that a plurality of pixels are required to form the surface. Therefore, for example, assuming that the same blur occurs for 10 × 10 pixels, the plane can be obtained by applying the same combination to each pixel.

図12は、近隣の画素の組合せと平面測定誤差との関係を示す図である。図12において、横軸は画素の組合せを示し、縦軸は平面測定誤差を示している。また、図12中の二重丸(◎)は、各組合せにおける平面測定誤差の値を示している。上述したように、縞パターン画像の撮像間にぶれが生じた場合、演算部65により算出される一部の領域の3次元形状データ上に平面測定誤差が発生する。一方、図12に示すように、画素の組合せによって平面測定誤差の値は変化する。そこで、演算部65は、平面測定誤差の値が最も小さい画素の組合せを選択する。すなわち、演算部65は、3次元形状データにおいて被測定物2の平面部分における平面度が最も高い画素の組合せを選択する。   FIG. 12 is a diagram illustrating a relationship between a combination of neighboring pixels and a plane measurement error. In FIG. 12, the horizontal axis indicates a combination of pixels, and the vertical axis indicates a plane measurement error. In addition, double circles ()) in FIG. 12 indicate the values of the plane measurement error in each combination. As described above, when blurring occurs during the imaging of the fringe pattern image, a plane measurement error occurs on the three-dimensional shape data of a partial region calculated by the calculation unit 65. On the other hand, as shown in FIG. 12, the value of the plane measurement error changes depending on the combination of pixels. Therefore, the calculation unit 65 selects a combination of pixels having the smallest plane measurement error value. That is, the calculation unit 65 selects a combination of pixels having the highest flatness in the planar portion of the DUT 2 in the three-dimensional shape data.

具体的には、演算部65は、被測定物2の一部の領域における組合せ毎の3次元形状データの平面度を比較する。このとき、演算部65は、3次元形状データの凹凸具合の周波数成分で平面度を評価する。上述したように、平面測定誤差は、縞パターンにおける正弦波状の光強度の周期の2倍周期のうねりとして現れる。従って、演算部65は、3次元形状データの凹凸具合の周波数成分のうち、縞パターンにおける正弦波状の光強度の周期の2倍周期の高周波成分が最も少ない画素の組合せを選択する。なお、うねりが縞パターンにおける正弦波状の光強度の周期の2倍周期であるので、被測定物2の一部の領域は、少なくとも縞パターンにおける1組の明暗の縞が入るような幅の領域とされる。   Specifically, the calculation unit 65 compares the flatness of the three-dimensional shape data for each combination in a partial region of the DUT 2. At this time, the calculation unit 65 evaluates the flatness with the frequency component of the unevenness of the three-dimensional shape data. As described above, the plane measurement error appears as a waviness having a period twice the period of the sinusoidal light intensity in the fringe pattern. Accordingly, the calculation unit 65 selects a pixel combination having the least number of high-frequency components that are twice the period of the sinusoidal light intensity in the fringe pattern among the frequency components of the unevenness of the three-dimensional shape data. Since the swell is twice the period of the sinusoidal light intensity in the fringe pattern, a partial area of the DUT 2 is an area having a width that allows at least one set of bright and dark stripes in the fringe pattern to enter. It is said.

例えば、演算部65は、平面測定誤差の値が最も小さい画素の組合せとして、図11に示すような画素の組合せ(画素「0」と画素「6」と画素「13」と画素「27」)を選択する。この場合、撮像部50が初期位相0度の画像を撮像してから初期位相90度の画像を撮像するまでの期間中に、形状測定装置1が画素「6」から画素「5」の方向(左方向)にぶれたことを示している。また、撮像部50が初期位相90度の画像を撮像してから初期位相180度の画像を撮像するまでの期間中に、形状測定装置1が画素「13」から画素「15」の方向(左斜め下方向)にぶれたことを示している。また、撮像部50が初期位相180度の画像を撮像してから初期位相270度の画像を撮像するまでの期間中に、形状測定装置1が画素「27」から画素「25」の方向(右斜め上方向)にぶれたことを示している。   For example, the calculation unit 65 may use a combination of pixels as illustrated in FIG. 11 (pixel “0”, pixel “6”, pixel “13”, and pixel “27”) as a combination of pixels having the smallest plane measurement error value. Select. In this case, during the period from when the imaging unit 50 captures an image with an initial phase of 0 degrees to when an image with an initial phase of 90 degrees is captured, the shape measuring apparatus 1 moves in the direction from pixel “6” to pixel “5” ( It shows that it has moved to the left. In addition, during the period from when the imaging unit 50 captures an image with an initial phase of 90 degrees until it captures an image with an initial phase of 180 degrees, the shape measuring apparatus 1 moves in the direction from the pixel “13” to the pixel “15” (left It shows that the camera shakes in the diagonally downward direction. In addition, during the period from when the imaging unit 50 captures an image with an initial phase of 180 degrees to when an image with an initial phase of 270 degrees is captured, the shape measuring apparatus 1 moves in the direction from the pixel “27” to the pixel “25” (right It shows that the camera shakes in the diagonally upward direction.

図9の説明に戻り、演算部65は、ステップS10で選択した画素の組合せに基づいて、4つの縞パターン画像の画像データから各画素の初期位相0における位相分布φ(i,j)を求める。すなわち、位相回復処理を実行する(ステップS11)。具体的には、演算部65は、選択した画素の組合せが図11に示す画素「0」と画素「6」と画素「13」と画素「27」との組合せである場合、ぶれの方向が左方向、左斜め下方向、及び右斜め上方向であり、ぶれの量が1画素であると判定する。そして、演算部65は、判定したぶれの方向及びぶれの量に応じて各縞パターン画像の画像データをずらした上で、各画素の初期位相0における位相分布φ(i,j)を求める。   Returning to the description of FIG. 9, the arithmetic unit 65 obtains the phase distribution φ (i, j) at the initial phase 0 of each pixel from the image data of the four stripe pattern images based on the combination of the pixels selected in step S <b> 10. . That is, the phase recovery process is executed (step S11). Specifically, when the combination of the selected pixels is a combination of the pixel “0”, the pixel “6”, the pixel “13”, and the pixel “27” illustrated in FIG. It is determined that the amount of blur is one pixel in the left direction, the left diagonally downward direction, and the right diagonally upward direction. Then, the calculation unit 65 obtains the phase distribution φ (i, j) at the initial phase 0 of each pixel after shifting the image data of each stripe pattern image in accordance with the determined blur direction and blur amount.

次に、演算部65は、取込メモリ64の空間コード領域に記憶された4つの空間コード画像の画像データに基づいて、投影領域200において16分割された領域の空間コードを認識する。そして、演算部65は、認識した各領域の空間コードに基づいて縞パターン画像の縞の次数を検出する(ステップS12)。   Next, the arithmetic unit 65 recognizes the spatial code of the region divided into 16 in the projection region 200 based on the image data of the four spatial code images stored in the spatial code region of the capture memory 64. And the calculating part 65 detects the order of the fringe of a fringe pattern image based on the recognized space code of each area | region (step S12).

演算部65は、ステップS12の処理において特定した各縞の次数を用いて位相接続処理(アンラッピング処理)を行う(ステップS13)。すなわち、演算部65は、縞の次数に基づいて、n本目の縞が画像上においてどの位置にあるのかを特定する。そして、演算部65は、−π〜πの間で求めたn本目の縞の位相回復値を正しく接続する。これにより、連続した初期位相分布φ’(i,j)が求められる。その後、演算部65は、上述した三角測量の原理を用いて、ステップS13において求めた初期位相0における位相分布φ’(i,j)から、被測定物2の3次元形状の座標データX(x,y,z)を算出する(ステップS14)。なお、座標データXはCCD撮像素子52を基準とする座標として求められる。   The computing unit 65 performs a phase connection process (unwrapping process) using the order of each fringe specified in the process of step S12 (step S13). That is, the computing unit 65 specifies the position of the nth stripe on the image based on the stripe order. Then, the calculation unit 65 correctly connects the phase recovery values of the nth fringe obtained between −π and π. Thereby, a continuous initial phase distribution φ ′ (i, j) is obtained. Thereafter, the calculation unit 65 uses the above-described triangulation principle to calculate the coordinate data X (3) of the three-dimensional shape of the DUT 2 from the phase distribution φ ′ (i, j) at the initial phase 0 obtained in step S13. x, y, z) is calculated (step S14). The coordinate data X is obtained as coordinates based on the CCD image sensor 52.

その後、3次元形状算出部65は、算出した被測定物2の3次元形状の座標データを画像記憶部66に記憶する。そして、表示制御部67は、使用者による操作部61の操作に応じて、又は自動的に、画像記憶部66に記憶された3次元形状の座標データを読み出す。表示制御部67は、読み出した3次元形状の座標データに基づいて表示装置70の表示画面に被測定物2の3次元形状を表示させる。3次元形状は、3次元空間内の点の集合である点群を疑似的な立体画像として表示される。なお、点群データである3次元座標を、たとえば(x、y、z)の形式で表示することもできる。   Thereafter, the three-dimensional shape calculation unit 65 stores the calculated coordinate data of the three-dimensional shape of the DUT 2 in the image storage unit 66. Then, the display control unit 67 reads the coordinate data of the three-dimensional shape stored in the image storage unit 66 according to the operation of the operation unit 61 by the user or automatically. The display control unit 67 displays the three-dimensional shape of the DUT 2 on the display screen of the display device 70 based on the read coordinate data of the three-dimensional shape. In the three-dimensional shape, a point group that is a set of points in a three-dimensional space is displayed as a pseudo three-dimensional image. The three-dimensional coordinates that are point group data can also be displayed in the form of (x, y, z), for example.

表示装置70は、被測定物2の3次元形状を表示するだけでなく、撮像部50により撮像された画像を表示する。すなわち、表示制御部67は、取込メモリ64に記憶された画像データに基づいて、撮像部50が撮像した画像を表示装置70に表示させる。このような構成によれば、使用者が撮像部50により撮像された画像に基づいて、撮像現場で被測定物2が正確に撮像されたか否かを確認することができる。   The display device 70 not only displays the three-dimensional shape of the DUT 2, but also displays the image captured by the imaging unit 50. That is, the display control unit 67 causes the display device 70 to display an image captured by the imaging unit 50 based on the image data stored in the capture memory 64. According to such a configuration, the user can confirm whether or not the device under test 2 has been accurately imaged at the imaging site based on the image captured by the imaging unit 50.

また、表示装置70は、撮像部50により撮像された画像、及び3次元形状算出部(演算部)65により算出された3次元形状、のうち少なくとも一方を表示する構成であってもよい。この場合、撮像部50により撮像された画像、及び3次元形状算出部65により算出された3次元形状、のうち少なくとも一方に基づいて、使用者は撮像現場で被測定物2が正確に撮像されたか否かを確認することができる。その後、使用者は、形状測定装置1をコンピュータなどに接続して、画像や3次元形状をコンピュータなどに取り込む。そして、使用者は、コンピュータなどの表示部に画像や3次元形状を表示させる。   The display device 70 may be configured to display at least one of the image captured by the imaging unit 50 and the three-dimensional shape calculated by the three-dimensional shape calculation unit (calculation unit) 65. In this case, based on at least one of the image picked up by the image pickup unit 50 and the three-dimensional shape calculated by the three-dimensional shape calculation unit 65, the user can accurately pick up the object to be measured 2 at the image pickup site. It can be confirmed whether or not. Thereafter, the user connects the shape measuring apparatus 1 to a computer or the like, and captures an image or a three-dimensional shape into the computer or the like. Then, the user displays an image or a three-dimensional shape on a display unit such as a computer.

なお、演算部65が3次元形状の点群データの算出に失敗した失敗部分や、被測定物2の形状によって影となったオルクージョン部分については、使用者が確認可能な態様で表示する。例えば、表示制御部67は、失敗部分を赤色で点滅表示し、オルクージョン部分を青色で点滅表示する。また、演算部65が算出した3次元形状の点群データは、使用者が持ち運び可能なSDカードなどの不揮発性の記憶媒体に記憶されてもよい。   In addition, about the failure part which the calculating part 65 failed in calculation of the point cloud data of a three-dimensional shape, and the occlusion part which became a shadow by the shape of the to-be-measured object 2, it displays in the aspect which a user can confirm. For example, the display control unit 67 blinks the failed part in red and blinks the occlusion part in blue. The three-dimensional shape point cloud data calculated by the calculation unit 65 may be stored in a non-volatile storage medium such as an SD card that can be carried by the user.

なお、上記した第1実施形態では、近隣の画素の組合せは、隣り合う画素の組合せとされていたが、このような組合せに限定されず、近傍の画素の組合せでもよい。例えば、所定画素と、その所定画素から2画素以上(例えば2画素や3画素など)離れた近傍の画素と、その近傍の画素から2画素以上離れた近傍の画素と、その画素から2画素以上離れた近傍の画素との組合せでもよい。なお、近傍の画素の範囲は、想定されるぶれの量に基づいて予め決定される。   In the first embodiment described above, the combination of neighboring pixels is a combination of neighboring pixels, but is not limited to such a combination, and may be a combination of neighboring pixels. For example, a predetermined pixel, a neighboring pixel that is two or more pixels away from the predetermined pixel (for example, two or three pixels), a neighboring pixel that is two or more pixels away from the neighboring pixel, and two or more pixels from the neighboring pixel A combination with a pixel in the vicinity is also possible. Note that the range of neighboring pixels is determined in advance based on the assumed amount of blur.

以上に説明したように、第1実施形態では、異なる複数のパターン100を被測定物2に投影する投影部10と、複数のパターン100が投影された被測定物2をそれぞれ撮像する撮像部50と、撮像されたパターン100が投影された被測定物2を含む第1の画像(例えば縞パターンの初期位相が0の画像)の第1の画素(例えば図11(a)の画素「0」)の情報と、撮像され第1の画像とは異なるパターン100が投影された被測定物2を含む第2の画像(例えば縞パターンの初期位相がπ/2の画像)中で第1の画素に対応する画素の近傍の第2の画素(例えば図11(b)の画素「6」)の情報とを組み合わせて第1の3次元情報を取得し、この第1の3次元情報の取得を繰り返し被測定物2の一部の形状を演算する第1の演算部65aと、第1の画像の第1の画素の情報と、第2の画像の第1の画素に対応する画素の近傍で第2の画素とは異なる第3の画素(例えば図11(b)の画素「2」)の情報とを組み合わせて第2の3次元情報を取得し、この第2の3次元情報の取得を繰り返し被測定物2の一部の形状を演算する第2の演算部65bと、第1の3次元情報から求めた被測定物2の一部の形状と、第2の3次元情報から求めた被測定物2の一部の形状とを比較し、滑らかに連なる形状の演算に用いた3次元情報の取得を選択する選択部65cと、選択された3次元情報の取得に用いた画素の組合せに基づいて被測定物2の形状を求める第3の演算部65dとを含む。   As described above, in the first embodiment, the projection unit 10 that projects a plurality of different patterns 100 onto the DUT 2 and the imaging unit 50 that images each DUT 2 on which the plurality of patterns 100 are projected. And the first pixel (for example, pixel “0” in FIG. 11A) of the first image (for example, the image whose initial phase of the fringe pattern is 0) including the DUT 2 onto which the captured pattern 100 is projected. ) And the first pixel in the second image (for example, the image whose initial phase of the fringe pattern is π / 2) including the DUT 2 on which the pattern 100 different from the first image is projected. The first three-dimensional information is acquired by combining the information of the second pixel in the vicinity of the pixel corresponding to (for example, the pixel “6” in FIG. 11B), and the first three-dimensional information is acquired. A first calculation unit that repeatedly calculates a part of the shape of the DUT 2 5a, information on the first pixel of the first image, and a third pixel different from the second pixel in the vicinity of the pixel corresponding to the first pixel of the second image (for example, FIG. 11B) The second calculation unit that acquires the second three-dimensional information in combination with the information of the pixel “2”) and repeats the acquisition of the second three-dimensional information to calculate the shape of a part of the DUT 2. 65b and the shape of a part of the DUT 2 obtained from the first three-dimensional information and the shape of a part of the DUT 2 obtained from the second three-dimensional information are compared, and the shape is smoothly connected. A selection unit 65c that selects acquisition of the three-dimensional information used for the calculation, and a third calculation unit 65d that obtains the shape of the DUT 2 based on the combination of pixels used to acquire the selected three-dimensional information; including.

このような構成によれば、演算部65がぶれの量及び方向に応じた画素の組合せに基づいて形状データ(3次元形状データ)を算出することができるので、ぶれが生じた場合においても精度の高い形状データを得ることができる。また、被測定物2に特徴点が無い場合においても演算部65が精度の高い形状データを得ることができる。また、演算部65が一部の領域においてぶれの影響が少ない画素の組合せを選択するので、演算量が膨大とならず、形状データの演算結果(測定結果)を得るまでにかかる時間も短縮される。   According to such a configuration, the calculation unit 65 can calculate shape data (three-dimensional shape data) based on a combination of pixels corresponding to the amount and direction of blur, so that even when blur occurs, accuracy is increased. High shape data can be obtained. Further, even when there is no feature point in the DUT 2, the calculation unit 65 can obtain highly accurate shape data. In addition, since the calculation unit 65 selects a combination of pixels that is less affected by blurring in some areas, the calculation amount does not become enormous, and the time taken to obtain the calculation result (measurement result) of the shape data is shortened. The

また、第1実施形態では、第2の画像中で第1の画素に対応する画素と第2の画素とが隣り合う画素であり、第1の画素に対応する画素と第3の画素とが隣り合う画素である。このような構成によれば、演算量を増大するのを回避することができる。また、第1実施形態では、選択部65cは、被測定物2の一部の形状の比較において、形状の凹凸具合の周波数成分で滑らかさを評価し、高周波成分が少ない3次元情報の取得を選択する。このような構成によれば、演算部65が形状データの測定誤差の大小を確実に評価することができる。なお、滑らかな曲面もローカルで見た場合には平面とみなすことができるので、演算部65は被測定物2の滑らかさで平面測定誤差の大小を評価することができる。   In the first embodiment, the pixel corresponding to the first pixel and the second pixel are adjacent to each other in the second image, and the pixel corresponding to the first pixel and the third pixel are It is an adjacent pixel. According to such a configuration, it is possible to avoid increasing the amount of calculation. In the first embodiment, the selection unit 65c evaluates the smoothness by the frequency component of the shape unevenness in the comparison of a part of the shape of the DUT 2, and acquires three-dimensional information with a small number of high-frequency components. select. According to such a configuration, the calculation unit 65 can reliably evaluate the magnitude of the measurement error of the shape data. In addition, since a smooth curved surface can be regarded as a plane when viewed locally, the calculation unit 65 can evaluate the magnitude of the plane measurement error based on the smoothness of the DUT 2.

<第2実施形態>
上記した第1実施形態では、一部の領域の位置について特定していなかったが、第2実施形態では、演算部65が被測定物2の平らな1つ又は複数の部分を一部の領域として選択する。
Second Embodiment
In the first embodiment described above, the position of a part of the area is not specified. However, in the second embodiment, the calculation unit 65 replaces one or more flat parts of the DUT 2 with a part of the area. Choose as.

図13は、平面測定誤差が小さい画素の組み合わせを求める一部の領域を示す図である。図13に示すように、演算部65は、被測定物2の平らな1つの領域221を一部の領域として選択する。または、演算部65は、被測定物2の平らな複数の領域221,222,223を一部の領域として選択する。演算部65による平らな領域を選択する仕方としては、例えば次に示す方法が考えられる。すなわち、演算部65は、4つの縞パターン画像の画像データに基づいて、うねりが生じた3次元形状データを算出する。演算部65は、算出した3次元形状データ上にうねりが生じていたとしても、大雑把な被測定物2の3次元形状を認識することができる。従って、演算部65は、算出した3次元形状データから被測定物2の平らな部分を認識し、認識した平らな部分を一部の領域として選択する。   FIG. 13 is a diagram illustrating a partial region for obtaining a combination of pixels with a small planar measurement error. As illustrated in FIG. 13, the calculation unit 65 selects one flat area 221 of the DUT 2 as a partial area. Alternatively, the calculation unit 65 selects a plurality of flat regions 221, 222, 223 of the DUT 2 as a partial region. As a method of selecting a flat region by the calculation unit 65, for example, the following method can be considered. That is, the calculation unit 65 calculates the three-dimensional shape data in which undulation has occurred based on the image data of the four stripe pattern images. The calculation unit 65 can recognize the rough three-dimensional shape of the DUT 2 even if undulation occurs on the calculated three-dimensional shape data. Accordingly, the calculation unit 65 recognizes a flat portion of the DUT 2 from the calculated three-dimensional shape data, and selects the recognized flat portion as a partial region.

以上に説明したように、第2実施形態では、演算部65(第1の演算部65a、第2の演算部65b)は、被測定物2の一部の領域として被測定物2の平らな部分を選択する。このような構成によれば、測定誤差の評価の精度が向上する。また、第2実施形態では、演算部65(選択部65c)は、被測定物2を含む画像の複数の部分について、一部の形状の比較及び滑らかに連なる一部の形状の選択を行う。このような構成によれば、形状測定装置1に対して様々な角度で傾斜した平面や曲面を有する被測定物2に対しても、ぶれの影響が少ない画素の組合せを選択することができる。   As described above, in the second embodiment, the calculation unit 65 (the first calculation unit 65 a and the second calculation unit 65 b) is a flat area of the DUT 2 as a partial area of the DUT 2. Select a part. According to such a configuration, the accuracy of measurement error evaluation is improved. Moreover, in 2nd Embodiment, the calculating part 65 (selection part 65c) performs the comparison of a one part shape and the selection of the one part shape connected smoothly about several parts of the image containing the to-be-measured object 2. FIG. According to such a configuration, it is possible to select a pixel combination that is less affected by blurring even for the DUT 2 having a plane or a curved surface inclined at various angles with respect to the shape measuring apparatus 1.

<構造物製造システム及び構造物製造方法>
図14は、構造物製造システムの実施形態の一例を示すブロック図である。図14に示す構造物製造システムSYSは、上記した形状測定装置1、設計装置710、成形装置720、制御装置(検査装置)730、及びリペア装置740を有している。
<Structure manufacturing system and structure manufacturing method>
FIG. 14 is a block diagram illustrating an example of an embodiment of a structure manufacturing system. The structure manufacturing system SYS illustrated in FIG. 14 includes the shape measuring device 1, the design device 710, the molding device 720, the control device (inspection device) 730, and the repair device 740.

設計装置710は、構造物の形状に関する設計情報を作製する。そして、設計装置710は、作製した設計情報を成形装置720及び制御装置730に送信する。ここで、設計情報とは、たとえば複数の2次元設計情報から求められた構造物の各位置の座標を示す情報である。また、被測定物は、構造物である。   The design apparatus 710 creates design information related to the shape of the structure. Then, the design device 710 transmits the produced design information to the molding device 720 and the control device 730. Here, the design information is information indicating the coordinates of each position of the structure obtained from a plurality of two-dimensional design information, for example. The object to be measured is a structure.

成形装置720は、設計装置710から送信された設計情報に基づいて構造物を成形する。この成形装置720の成形工程は、鋳造、鍛造、または切削などが含まれる。形状測定装置1は、成形装置720により作製された構造物(被測定物2)の3次元形状、すなわち構造物の座標を測定する。そして、形状測定装置1は、測定した座標を示す情報(以下、形状情報という。)を制御装置730に送信する。   The forming device 720 forms a structure based on the design information transmitted from the design device 710. The molding process of the molding apparatus 720 includes casting, forging, cutting, or the like. The shape measuring device 1 measures the three-dimensional shape of the structure (measurement object 2) produced by the forming device 720, that is, the coordinates of the structure. Then, the shape measuring device 1 transmits information indicating the measured coordinates (hereinafter referred to as shape information) to the control device 730.

制御装置730は、座標記憶部731及び検査部732を有している。座標記憶部731は、設計装置710から送信される設計情報を記憶する。検査部732は、座標記憶部731から設計情報を読み出す。また、検査部732は、座標記憶部731から読み出した設計情報と、形状測定装置1から送信される形状情報とを比較する。そして、検査部732は、比較結果に基づき、構造物が設計情報の通りに成形されたか否かを検査する。   The control device 730 includes a coordinate storage unit 731 and an inspection unit 732. The coordinate storage unit 731 stores design information transmitted from the design device 710. The inspection unit 732 reads design information from the coordinate storage unit 731. Further, the inspection unit 732 compares the design information read from the coordinate storage unit 731 with the shape information transmitted from the shape measuring device 1. And the test | inspection part 732 test | inspects whether the structure was shape | molded according to design information based on the comparison result.

また、検査部732は、成形装置720により成形された構造物が良品であるか否かを判定する。構造物が良品であるか否かは、例えば、設計情報と形状情報との誤差が所定の閾値の範囲内であるか否かにより判定する。そして、検査部732は、構造物が設計情報の通りに成形されていない場合は、その構造物を設計情報の通りに修復することができるか否かを判定する。修復することができると判定した場合は、検査部732は、比較結果に基づき、不良部位と修復量を算出する。そして、検査部732は、不良部位を示す情報(以下、不良部位情報という。)と、修復量を示す情報(以下、修復量情報という。)と、をリペア装置740に送信する。   Further, the inspection unit 732 determines whether or not the structure molded by the molding device 720 is a non-defective product. Whether or not the structure is a non-defective product is determined based on, for example, whether or not the error between the design information and the shape information is within a predetermined threshold range. If the structure is not molded according to the design information, the inspection unit 732 determines whether the structure can be repaired according to the design information. If it is determined that it can be repaired, the inspection unit 732 calculates a defective portion and a repair amount based on the comparison result. Then, the inspection unit 732 transmits information indicating a defective portion (hereinafter referred to as defective portion information) and information indicating a repair amount (hereinafter referred to as repair amount information) to the repair device 740.

リペア装置740は、制御装置730から送信された不良部位情報と修復量情報とに基づいて、構造物の不良部位を加工する。   The repair device 740 processes the defective portion of the structure based on the defective portion information and the repair amount information transmitted from the control device 730.

図15は、構造物製造システムSYSによる処理を示すフローチャートであり、構造物製造方法の実施形態の一例を示している。図15に示すように、設計装置710は、構造物の形状に関する設計情報を作製する(ステップS31)。設計装置710は、作製した設計情報を成形装置720及び制御装置730に送信する。制御装置730は、設計装置710から送信された設計情報を受信する。そして、制御装置730は、受信した設計情報を座標記憶部731に記憶する。   FIG. 15 is a flowchart showing processing by the structure manufacturing system SYS, and shows an example of an embodiment of a structure manufacturing method. As shown in FIG. 15, the design device 710 creates design information related to the shape of the structure (step S31). The design device 710 transmits the produced design information to the molding device 720 and the control device 730. The control device 730 receives the design information transmitted from the design device 710. Then, the control device 730 stores the received design information in the coordinate storage unit 731.

次に、成形装置720は、設計装置710が作製した設計情報に基づいて構造物を成形する(ステップS32)。そして、形状測定装置1は、成形装置720が成形した構造物の3次元形状を測定する(ステップS33)。その後、形状測定装置1は、構造物の測定結果である形状情報を制御装置730に送信する。次に、検査部732は、形状測定装置1から送信された形状情報と、座標記憶部731に記憶されている設計情報とを比較して、構造物が設計情報の通りに成形されたか否か検査する(ステップS34)。   Next, the molding apparatus 720 molds the structure based on the design information created by the design apparatus 710 (step S32). Then, the shape measuring device 1 measures the three-dimensional shape of the structure formed by the forming device 720 (step S33). Thereafter, the shape measuring apparatus 1 transmits shape information that is a measurement result of the structure to the control device 730. Next, the inspection unit 732 compares the shape information transmitted from the shape measuring device 1 with the design information stored in the coordinate storage unit 731 to determine whether or not the structure has been molded according to the design information. Inspect (step S34).

次に、検査部732は、構造物が良品であるか否かを判定する(ステップS35)。構造物が良品であると判定した場合は(ステップS35:YES)、構造物製造システムSYSによる処理を終了する。一方、検査部732は、構造物が良品でないと判定した場合は(ステップS35:NO)、検査部732は、構造物を修復することができるか否かを判定する(ステップS36)。   Next, the inspection unit 732 determines whether or not the structure is a good product (step S35). If it is determined that the structure is a non-defective product (step S35: YES), the process by the structure manufacturing system SYS is terminated. On the other hand, when the inspection unit 732 determines that the structure is not a non-defective product (step S35: NO), the inspection unit 732 determines whether the structure can be repaired (step S36).

検査部732が構造物を修復することができると判定した場合は(ステップS36:YES)、検査部732は、ステップS34の比較結果に基づいて、構造物の不良部位と修復量を算出する。そして、検査部732は、不良部位情報と修復量情報とをリペア装置740に送信する。リペア装置740は、不良部位情報と修復量情報とに基づいて構造物のリペア(再加工)を実行する(ステップS37)。そして、ステップS33の処理に移行する。すなわち、リペア装置740がリペアを実行した構造物に対してステップS33以降の処理が再度実行される。一方、検査部732が構造物を修復することができないと判定した場合は(ステップS36:NO)、構造物製造システムSYSによる処理を終了する。   When the inspection unit 732 determines that the structure can be repaired (step S36: YES), the inspection unit 732 calculates the defective portion of the structure and the repair amount based on the comparison result of step S34. Then, the inspection unit 732 transmits the defective part information and the repair amount information to the repair device 740. The repair device 740 performs repair (rework) of the structure based on the defective part information and the repair amount information (step S37). Then, the process proceeds to step S33. That is, the process after step S33 is performed again with respect to the structure which the repair apparatus 740 performed repair. On the other hand, when the inspection unit 732 determines that the structure cannot be repaired (step S36: NO), the process by the structure manufacturing system SYS is terminated.

このように、構造物製造システムSYS及び構造物製造方法では、形状測定装置1による構造物の測定結果に基づいて、検査部732が設計情報の通りに構造物が作製されたか否かを判定する。これにより、成形装置720により作製された構造物が良品であるか否か精度よく判定することができるとともに、その判定の時間を短縮することができる。また、上記した構造物製造システムSYSでは、検査部732により構造物が良品でないと判定された場合に、直ちに構造物のリペアを実行することができる。   As described above, in the structure manufacturing system SYS and the structure manufacturing method, based on the measurement result of the structure by the shape measuring apparatus 1, the inspection unit 732 determines whether the structure is manufactured according to the design information. . Accordingly, it can be accurately determined whether or not the structure manufactured by the molding apparatus 720 is a non-defective product, and the determination time can be shortened. Further, in the structure manufacturing system SYS described above, when the inspection unit 732 determines that the structure is not a non-defective product, the structure can be repaired immediately.

なお、上記した構造物製造システムSYS及び構造物製造方法において、リペア装置740が加工を実行することに代えて、成形装置720が再度加工を実行するように構成してもよい。   In the structure manufacturing system SYS and the structure manufacturing method described above, the forming device 720 may be configured to execute the processing again instead of the repair device 740 executing the processing.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した要件の1つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態を適宜組み合わせて適用することも可能である。   As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. Various modifications or improvements can be added to the above-described embodiment without departing from the spirit of the present invention. In addition, one or more of the requirements described in the above embodiments may be omitted. Such modifications, improvements, and omitted forms are also included in the technical scope of the present invention. In addition, the above-described embodiments can be applied in appropriate combination.

上記した各実施形態において、第1の方向D1と第2の方向D2とが直交していたが、第1の方向D1と第2の方向D2とが異なる方向であれば直交していなくてもよい。例えば、第2の方向D2は、第1の方向D1に対して60度や80度の角度に設定されてもよい。   In each of the above-described embodiments, the first direction D1 and the second direction D2 are orthogonal to each other. However, as long as the first direction D1 and the second direction D2 are different directions, they may not be orthogonal to each other. Good. For example, the second direction D2 may be set to an angle of 60 degrees or 80 degrees with respect to the first direction D1.

また、上記した各実施形態において、各図面では光学素子を一つまたは複数で表しているが、特に使用する数を指定しない限り、同様の光学性能を発揮させるものであれば、使用する光学素子の数は任意である。   In each of the above-described embodiments, one or a plurality of optical elements are shown in each drawing. Unless the number to be used is specified, an optical element to be used is used as long as the same optical performance is exhibited. The number of is arbitrary.

また、上記した各実施形態において、走査部40は、パターン光を反射または回折する光学素子を用いているがこれに限定されない。例えば、屈折光学素子や、平行平板ガラス等が用いられてもよい。レンズ等の屈折光学素子を光軸に対して振動させることでパターン光を走査させてもよい。なお、この屈折光学素子としては、投影光学系30の一部の光学素子が用いられてもよい。   Further, in each of the above-described embodiments, the scanning unit 40 uses an optical element that reflects or diffracts pattern light, but is not limited thereto. For example, a refractive optical element or parallel flat glass may be used. The pattern light may be scanned by vibrating a refractive optical element such as a lens with respect to the optical axis. As this refractive optical element, a part of the optical elements of the projection optical system 30 may be used.

また、上記した各実施形態において、撮像部50としてCCD撮像素子52aが用いられるがこれに限定されない。例えば、CCD撮像素子に代えて、CMOSイメージセンサ(CMOS:Complementary Metal Oxide Semiconductor:相補性金属酸化膜半導体)などのイメージセンサが用いられてもよい。   In each of the above-described embodiments, the CCD imaging device 52a is used as the imaging unit 50, but is not limited thereto. For example, an image sensor such as a CMOS image sensor (CMOS: Complementary Metal Oxide Semiconductor) may be used instead of the CCD image sensor.

また、上記した各実施形態において、位相シフト法に用いる縞パターンの位相を一周期の間に3回シフトさせる4バケット法が用いられるが、これに限定されない。例えば、0・π/2・πの縞パターンを投影した後に再び0位相の縞パターンを投影する3パケット法や、0・π/2・π・3π/2の縞パターンを投影した後に再び0位相の縞パターンを投影する5バケット法や、さらにπ/2位相の縞パターンを投影する6バケット法などが用いられてもよい。   Further, in each of the above-described embodiments, the 4-bucket method is used in which the phase of the fringe pattern used in the phase shift method is shifted three times during one period, but is not limited thereto. For example, a 3-packet method in which a 0 · π / 2 · π stripe pattern is projected and then a 0 phase stripe pattern is projected again, or a 0 · π / 2 · π · 3π / 2 stripe pattern is projected again. A 5-bucket method for projecting a phase fringe pattern or a 6-bucket method for projecting a π / 2 phase fringe pattern may be used.

また、上記した各実施形態において、いずれも位相シフト法と空間コード法とを組み合わせて用いていたが、位相シフト法のみを用いて被測定物2の3次元形状を測定するものでもよい。また、上記した第1実施形態においては、縞パターンの撮像や空間コードパターンの撮像、その他のパターンの撮像の順序は問わない。   In each of the embodiments described above, the phase shift method and the spatial code method are used in combination. However, the three-dimensional shape of the DUT 2 may be measured using only the phase shift method. Further, in the first embodiment described above, the order of imaging of the stripe pattern, imaging of the spatial code pattern, and imaging of other patterns does not matter.

また、上記した各実施形態において、縞パターンや空間コードパターンを白色及び黒色で表していたが、これに限定されず、いずれか一方または双方が着色されたものでもよい。例えば、縞パターンや空間コードパターンは、白色と赤色とで生成されるものでもよい。   Moreover, in each above-mentioned embodiment, although the fringe pattern and the space code pattern were represented by white and black, it is not limited to this, Either one or both may be colored. For example, the stripe pattern and the spatial code pattern may be generated in white and red.

また、上記した各実施形態において、図8に示す空間コードはバイナリコードを用いているが、グレイコードが用いられてもよい。グレイコードは、バイナリコードと符号の付け方が異なる。このため、図7(B)に示す空間コードパターンのストライプのパターンも異なるパターンが用いられる。   In each of the above-described embodiments, the spatial code shown in FIG. 8 uses a binary code, but a gray code may be used. Gray code is different from binary code in the way of signing. For this reason, a different pattern is used as the stripe pattern of the spatial code pattern shown in FIG.

また、上記した各実施形態において、標準画像を取得しているが、この標準画像は取得しなくてもよい。   In each of the above-described embodiments, the standard image is acquired. However, this standard image may not be acquired.

また、走査部40としてMEMSミラー等の振動ミラーが用いられる場合、角速度の不均一に対応して、レーザダイオード121からの光の強度を変更させてもよい。例えば、MEMSミラーが回動方向が反転する手前で角速度が落ちる場合は、投影領域200における走査方向の端部付近では光強度を強くし、中央付近では光強度を低下させるように、レーザダイオード121を制御してもよい。これにより、投影領域200の端部と中央部とで生じる明るさの不均一を抑制できる。   Further, when a vibrating mirror such as a MEMS mirror is used as the scanning unit 40, the intensity of light from the laser diode 121 may be changed corresponding to the nonuniform angular velocity. For example, when the angular velocity decreases before the MEMS mirror rotates in the reverse direction, the laser diode 121 is configured so that the light intensity is increased near the end of the projection region 200 in the scanning direction and the light intensity is decreased near the center. May be controlled. Thereby, the nonuniformity of the brightness which arises in the edge part and center part of the projection area | region 200 can be suppressed.

また、形状測定装置1の一部の構成をコンピュータにより実現してもよい。例えば、演算部処理部60をコンピュータにより実現してもよい。この場合、コンピュータは、記憶部に記憶された形状測定プログラムに従って、第1の方向D1に沿って異なる強度の分布を有するパターン光を生成する光生成処理と、パターン光を第1の方向D1とは異なる被測定物2上の第2の方向D2に沿って走査する走査処理と、パターン光が投光された被測定物2を撮像する撮像処理と、撮像処理で得られた被測定物2の像に応じた信号強度に基づいて、被測定物2の形状を算出する演算処理と、を実行する。なお、上述の各実施形態の要件は、適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。また、法令で許容される限りにおいて、上述の各実施形態及び変形例で引用した装置などに関する全ての公開公報及び米国特許の開示を援用して本文の記載の一部とする。   Moreover, you may implement | achieve the one part structure of the shape measuring apparatus 1 with a computer. For example, the calculation unit processing unit 60 may be realized by a computer. In this case, the computer generates a pattern light having a distribution of different intensities along the first direction D1 according to the shape measurement program stored in the storage unit, and outputs the pattern light to the first direction D1. Is a scanning process that scans along a second direction D2 on different objects to be measured 2, an imaging process that images the object to be measured 2 on which the pattern light is projected, and an object to be measured 2 obtained by the imaging process. And an arithmetic process for calculating the shape of the DUT 2 based on the signal intensity corresponding to the image. Note that the requirements of the above-described embodiments can be combined as appropriate. Some components may not be used. In addition, as long as it is permitted by law, the disclosure of all publications and US patents relating to the devices cited in the above embodiments and modifications are incorporated herein by reference.

D1…第1の方向、D2…第2の方向、SYS…構造物製造システム、1…形状測定装置、2…被測定物、10…投影部、20…光生成部、40…走査部、50…撮像部、52a…CCD撮像素子、60…演算処理部、62…制御部、65…演算部、65a…第1の演算部、65b…第2の演算部、65c…選択部、65d…第3の演算部、100…ライン光(パターン)、200…投影領域   D1 ... first direction, D2 ... second direction, SYS ... structure manufacturing system, 1 ... shape measuring device, 2 ... object to be measured, 10 ... projection unit, 20 ... light generation unit, 40 ... scanning unit, 50 ... Imaging unit, 52a ... CCD image sensor, 60 ... Calculation processing unit, 62 ... Control unit, 65 ... Calculation unit, 65a ... First calculation unit, 65b ... Second calculation unit, 65c ... Selection unit, 65d ... First 3 computing units, 100 ... line light (pattern), 200 ... projection area

Claims (9)

異なる複数のパターンを被測定物に投影し、
前記複数のパターンが投影された被測定物をそれぞれ撮像し、
前記撮像された前記パターンが投影された前記被測定物を含む第1の画像の第1の画素の情報と、前記撮像され前記第1の画像とは異なる前記パターンが投影された前記被測定物を含む第2の画像中で前記第1の画素に対応する画素の近傍の第2の画素の情報とを組み合わせて第1の3次元情報を取得し、該第1の3次元情報の取得を繰り返し前記被測定物の一部の形状を演算し、
前記第1の画像の第1の画素の情報と、前記第2の画像の前記第1の画素に対応する画素の近傍で前記第2の画素とは異なる第3の画素の情報とを組み合わせて第2の3次元情報を取得し、該第2の3次元情報の取得を繰り返し前記被測定物の前記一部の形状を演算し、
前記第1の3次元情報から求めた前記被測定物の前記一部の形状と、前記第2の3次元情報から求めた前記被測定物の前記一部の形状とを比較し、滑らかに連なる形状の演算に用いた3次元情報の取得を選択し、
選択された3次元情報の取得に用いた前記画素の組合せに基づいて前記被測定物の形状を求める形状測定方法。
Project multiple different patterns onto the measurement object,
Each of the objects to be measured on which the plurality of patterns are projected is imaged,
Information on the first pixel of the first image including the object to be measured on which the imaged pattern is projected, and the object to be measured on which the pattern different from the imaged first image is projected The first three-dimensional information is obtained by combining the information of the second pixel in the vicinity of the pixel corresponding to the first pixel in the second image including the first image, and acquiring the first three-dimensional information. Repeatedly calculating the shape of a part of the object to be measured,
Combining the information of the first pixel of the first image with the information of the third pixel different from the second pixel in the vicinity of the pixel corresponding to the first pixel of the second image. Acquiring second three-dimensional information, repeating the acquisition of the second three-dimensional information, calculating the shape of the part of the object to be measured,
The partial shape of the object to be measured obtained from the first three-dimensional information is compared with the partial shape of the object to be measured obtained from the second three-dimensional information, and the parts are smoothly connected. Select acquisition of 3D information used for shape calculation,
A shape measuring method for obtaining a shape of the object to be measured based on a combination of the pixels used for acquiring the selected three-dimensional information.
前記第2の画像中で前記第1の画素に対応する前記画素と前記第2の画素とが隣り合う画素であり、前記第1の画素に対応する前記画素と前記第3の画素とが隣り合う画素である請求項1に記載の形状測定方法。   In the second image, the pixel corresponding to the first pixel and the second pixel are adjacent to each other, and the pixel corresponding to the first pixel and the third pixel are adjacent to each other. The shape measuring method according to claim 1, wherein the pixels are matched pixels. 前記被測定物の前記一部として、前記被測定物の平らな部分を選択する請求項1または請求項2に記載の形状測定方法。   The shape measuring method according to claim 1, wherein a flat portion of the device under test is selected as the part of the device under test. 前記被測定物を含む画像の複数の部分について、前記比較及び選択を行う請求項1から請求項3のいずれか一項に記載の形状測定方法。   The shape measuring method according to any one of claims 1 to 3, wherein the comparison and selection are performed on a plurality of portions of an image including the object to be measured. 前記被測定物の前記一部の形状の比較において、形状の凹凸具合の周波数成分で滑らかさを評価し、高周波成分が少ない3次元情報の取得を選択する請求項1から請求項4のいずれか一項に記載の形状測定方法。   5. The comparison of the partial shapes of the object to be measured, wherein the smoothness is evaluated by the frequency component of the shape unevenness, and acquisition of three-dimensional information with a small number of high frequency components is selected. The shape measuring method according to one item. 異なる複数のパターンを被測定物に投影する投影部と、
前記複数のパターンが投影された被測定物をそれぞれ撮像する撮像部と、
前記撮像された前記パターンが投影された前記被測定物を含む第1の画像の第1の画素の情報と、前記撮像され前記第1の画像とは異なる前記パターンが投影された前記被測定物を含む第2の画像中で前記第1の画素に対応する画素の近傍の第2の画素の情報とを組み合わせて第1の3次元情報を取得し、該第1の3次元情報の取得を繰り返し前記被測定物の一部の形状を演算する第1の演算部と、
前記第1の画像の第1の画素の情報と、前記第2の画像の前記第1の画素に対応する画素の近傍で前記第2の画素とは異なる第3の画素の情報とを組み合わせて第2の3次元情報を取得し、該第2の3次元情報の取得を繰り返し前記被測定物の前記一部の形状を演算する第2の演算部と、
前記第1の3次元情報から求めた前記被測定物の前記一部の形状と、前記第2の3次元情報から求めた前記被測定物の前記一部の形状とを比較し、滑らかに連なる形状の演算に用いた3次元情報の取得を選択する選択部と、
選択された3次元情報の取得に用いた前記画素の組合せに基づいて前記被測定物の形状を求める第3の演算部と、を含む形状測定装置。
A projection unit that projects a plurality of different patterns onto the object to be measured;
An imaging unit that images each object to be measured on which the plurality of patterns are projected;
Information on the first pixel of the first image including the object to be measured on which the imaged pattern is projected, and the object to be measured on which the pattern different from the imaged first image is projected The first three-dimensional information is obtained by combining the information of the second pixel in the vicinity of the pixel corresponding to the first pixel in the second image including the first image, and acquiring the first three-dimensional information. A first calculation unit that repeatedly calculates the shape of a part of the object to be measured;
Combining the information of the first pixel of the first image with the information of the third pixel different from the second pixel in the vicinity of the pixel corresponding to the first pixel of the second image. A second calculation unit that acquires second three-dimensional information, repeats the acquisition of the second three-dimensional information, and calculates the shape of the part of the object to be measured;
The partial shape of the object to be measured obtained from the first three-dimensional information is compared with the partial shape of the object to be measured obtained from the second three-dimensional information, and the parts are smoothly connected. A selection unit that selects acquisition of the three-dimensional information used in the calculation of the shape;
A shape measuring apparatus including: a third computing unit that obtains the shape of the object to be measured based on the combination of the pixels used for acquiring the selected three-dimensional information.
構造物の形状に関する設計情報を作製する設計装置と、
前記設計情報に基づいて前記構造物を作製する成形装置と、
作製された前記構造物の形状を測定する請求項6記載の形状測定装置と、
前記形状測定装置によって得られた前記構造物の形状に関する形状情報と前記設計情報とを比較する検査装置と、を含む構造物製造システム。
A design device for creating design information on the shape of the structure;
A molding apparatus for producing the structure based on the design information;
The shape measuring apparatus according to claim 6, which measures the shape of the manufactured structure,
A structure manufacturing system comprising: an inspection device for comparing shape information relating to the shape of the structure obtained by the shape measuring device with the design information.
構造物の形状に関する設計情報を作製することと、
前記設計情報に基づいて前記構造物を作製することと、
作製された前記構造物の形状を請求項1から請求項5のいずれか一項に記載の形状測定方法で測定することと、
前記形状測定方法によって得られた前記構造物の形状に関する形状情報と前記設計情報とを比較することと、を含む構造物製造方法。
Creating design information on the shape of the structure;
Producing the structure based on the design information;
Measuring the shape of the produced structure by the shape measuring method according to any one of claims 1 to 5,
Comparing shape information on the shape of the structure obtained by the shape measurement method with the design information.
異なる複数のパターンを被測定物に投影する投影部と、前記複数のパターンが投影された被測定物をそれぞれ撮像する撮像部とを備えた形状測定装置のコンピュータに、
前記撮像された前記パターンが投影された前記被測定物を含む第1の画像の第1の画素の情報と、前記撮像され前記第1の画像とは異なる前記パターンが投影された前記被測定物を含む第2の画像中で前記第1の画素に対応する画素の近傍の第2の画素の情報とを組み合わせて第1の3次元情報を取得し、該第1の3次元情報の取得を繰り返し前記被測定物の一部の形状を演算する第1の演算処理と、
前記第1の画像の第1の画素の情報と、前記第2の画像の前記第1の画素に対応する画素の近傍で前記第2の画素とは異なる第3の画素の情報とを組み合わせて第2の3次元情報を取得し、該第2の3次元情報の取得を繰り返し前記被測定物の前記一部の形状を演算する第2の演算処理と、
前記第1の3次元情報から求めた前記被測定物の前記一部の形状と、前記第2の3次元情報から求めた前記被測定物の前記一部の形状とを比較し、滑らかに連なる形状の演算に用いた3次元情報の取得を選択する選択処理と、
選択された3次元情報の取得に用いた前記画素の組合せに基づいて前記被測定物の形状を求める第3の演算処理とを実行させる形状測定プログラム。
In a computer of a shape measuring apparatus comprising: a projection unit that projects a plurality of different patterns onto a measurement object; and an imaging unit that images each of the measurement objects on which the plurality of patterns are projected.
Information on the first pixel of the first image including the object to be measured on which the imaged pattern is projected, and the object to be measured on which the pattern different from the imaged first image is projected The first three-dimensional information is obtained by combining the information of the second pixel in the vicinity of the pixel corresponding to the first pixel in the second image including the first image, and acquiring the first three-dimensional information. A first calculation process for repeatedly calculating a shape of a part of the device under test;
Combining the information of the first pixel of the first image with the information of the third pixel different from the second pixel in the vicinity of the pixel corresponding to the first pixel of the second image. Second calculation processing for acquiring second three-dimensional information, repeating the acquisition of the second three-dimensional information, and calculating the partial shape of the object to be measured;
The partial shape of the object to be measured obtained from the first three-dimensional information is compared with the partial shape of the object to be measured obtained from the second three-dimensional information, and the parts are smoothly connected. A selection process for selecting acquisition of three-dimensional information used for shape calculation;
A shape measurement program for executing a third calculation process for obtaining the shape of the object to be measured based on the combination of the pixels used for acquiring the selected three-dimensional information.
JP2014128144A 2014-06-23 2014-06-23 Shape measuring method, shape measuring device, structure manufacturing system, structure manufacturing method, and shape measuring program Pending JP2016008837A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014128144A JP2016008837A (en) 2014-06-23 2014-06-23 Shape measuring method, shape measuring device, structure manufacturing system, structure manufacturing method, and shape measuring program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014128144A JP2016008837A (en) 2014-06-23 2014-06-23 Shape measuring method, shape measuring device, structure manufacturing system, structure manufacturing method, and shape measuring program

Publications (1)

Publication Number Publication Date
JP2016008837A true JP2016008837A (en) 2016-01-18

Family

ID=55226494

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014128144A Pending JP2016008837A (en) 2014-06-23 2014-06-23 Shape measuring method, shape measuring device, structure manufacturing system, structure manufacturing method, and shape measuring program

Country Status (1)

Country Link
JP (1) JP2016008837A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101865338B1 (en) * 2016-09-08 2018-06-08 에스엔유 프리시젼 주식회사 Apparatus for measuring critical dimension of Pattern and method thereof
US20210041231A1 (en) * 2019-08-06 2021-02-11 Keyence Corporation Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, three-dimensional shape measuring computer-readable storage medium, and three-dimensional shape measuring computer-readable storage device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101865338B1 (en) * 2016-09-08 2018-06-08 에스엔유 프리시젼 주식회사 Apparatus for measuring critical dimension of Pattern and method thereof
US20210041231A1 (en) * 2019-08-06 2021-02-11 Keyence Corporation Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, three-dimensional shape measuring computer-readable storage medium, and three-dimensional shape measuring computer-readable storage device
US11493331B2 (en) * 2019-08-06 2022-11-08 Keyence Corporation Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, three-dimensional shape measuring computer-readable storage medium, and three-dimensional shape measuring computer-readable storage device

Similar Documents

Publication Publication Date Title
US10724960B2 (en) Inspection system and inspection method
JP5576726B2 (en) Three-dimensional measuring apparatus, three-dimensional measuring method, and program
JP5994787B2 (en) Shape measuring device, structure manufacturing system, shape measuring method, structure manufacturing method, shape measuring program
JP6184289B2 (en) 3D image processing apparatus, 3D image processing method, 3D image processing program, computer-readable recording medium, and recorded apparatus
JP2017110991A (en) Measurement system, measurement method, robot control method, robot, robot system, and picking device
JP4830871B2 (en) 3D shape measuring apparatus and 3D shape measuring method
JP5385703B2 (en) Inspection device, inspection method, and inspection program
JP2009115612A (en) Three-dimensional shape measuring device and three-dimensional shape measurement method
JP2017075887A (en) Vibration detection device, inspection device, vibration detection method, and vibration detection program
US10803623B2 (en) Image processing apparatus
JP2019158351A (en) Object recognition method, height measurement method, and three-dimensional measurement method
JP2009036589A (en) Target for calibration and device, method and program for supporting calibration
KR101766468B1 (en) Method for 3D shape measuring using of Triple Frequency Pattern
JP2008145139A (en) Shape measuring device
KR20230164248A (en) Three-dimensional sensor with counterposed channels
JP2018179665A (en) Inspection method and inspection device
JP2011075336A (en) Three-dimensional shape measuring instrument and method
JP2012514192A (en) 3D measurement method of object surface especially for dentistry
JP4797109B2 (en) Three-dimensional shape measuring apparatus and three-dimensional shape measuring method
JP6701745B2 (en) Three-dimensional shape measuring method, displacement measuring method, three-dimensional shape measuring apparatus, displacement measuring apparatus, structure manufacturing method, structure manufacturing system, and three-dimensional shape measuring program
JP2016008837A (en) Shape measuring method, shape measuring device, structure manufacturing system, structure manufacturing method, and shape measuring program
JP2011021970A (en) Three-dimensional shape measuring device and three-dimensional shape measuring method
JP2010175554A (en) Device and method for measuring three-dimensional shape
JP2016011930A (en) Connection method of three-dimensional data, measurement method, measurement device, structure manufacturing method, structure manufacturing system, and shape measurement program
WO2013035847A1 (en) Shape measurement device, structure manufacturing system, shape measurement method, structure manufacturing method, shape measurement program, and computer-readable recording medium