JP2009079934A - Three-dimensional measuring method - Google Patents
Three-dimensional measuring method Download PDFInfo
- Publication number
- JP2009079934A JP2009079934A JP2007247909A JP2007247909A JP2009079934A JP 2009079934 A JP2009079934 A JP 2009079934A JP 2007247909 A JP2007247909 A JP 2007247909A JP 2007247909 A JP2007247909 A JP 2007247909A JP 2009079934 A JP2009079934 A JP 2009079934A
- Authority
- JP
- Japan
- Prior art keywords
- phase
- region
- discontinuous
- image
- stripe pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は三次元計測方法に関し、詳しくは対象物に投影した縞パターンを撮影するとともに、撮影した縞パターン画像から対象物の形状を測定する三次元計測方法に関する。 The present invention relates to a three-dimensional measurement method, and more particularly to a three-dimensional measurement method for photographing a stripe pattern projected onto an object and measuring the shape of the object from the photographed stripe pattern image.
従来、立体的な対象物の形状を測定するため、対象物に縞パターンを投影するとともに該縞パターンを位相シフトさせながら撮影し、撮影した各縞パターン画像に基づいて対象物の形状を認識する三次元計測方法が知られている。
このような三次元計測方法として、縞パターンを１ピッチ（１周期分）位相シフトさせる間に当該縞パターンを４回撮影し、この４枚の縞パターン画像における同一位置での明度の変化から当該位置での位相を算出し、さらにこの位相に基づいて対象物の形状を認識することが行われている（位相シフト法：特許文献１〜３）。
ここで、上記特許文献１〜３では以下の式を用いて位相を算出し、該位相からなる図３のような位相復元画像を作成している。
φ＝ｔａｎ−１{（Ｉ４−Ｉ２）／（Ｉ１−Ｉ３）}
Ｉ１〜Ｉ４・・・４枚の縞パターン画像における同一位置での明度
この式は逆正接関数であるため、位相復元画像における全ての画素の位相は−π〜πの値をとる。このため縞パターンが１ピッチ位相シフトする度に位相の値が不連続となり、図３のように位相復元画像には複数の領域が現れることとなる。
そして位相の値が不連続なままでは正確に対象物の形状を認識することができないため、位相復元画像に対して特許文献１に記載されるような位相接続を行い、不連続な領域を連続させて図８のような位相接続画像を得るようになっている。
As such a three-dimensional measurement method, the fringe pattern is photographed four times while the fringe pattern is phase-shifted by one pitch (for one cycle), and the change in brightness at the same position in the four fringe pattern images The phase at the position is calculated, and the shape of the object is recognized based on this phase (phase shift method: Patent Documents 1 to 3).
Here, in Patent Documents 1 to 3, the phase is calculated using the following equation, and a phase restored image as shown in FIG.
φ = tan −1 {(I 4 −I 2 ) / (I 1 −I 3 )}
I 1 to I 4 ... Lightness at the same position in the four striped pattern images Since this equation is an arctangent function, the phases of all the pixels in the phase restored image take values of −π to π. For this reason, every time the fringe pattern is shifted by one pitch, the phase value becomes discontinuous, and a plurality of regions appear in the phase restored image as shown in FIG.
If the phase value remains discontinuous, the shape of the object cannot be accurately recognized. Therefore, phase connection as described in Patent Document 1 is performed on the phase-reconstructed image, and the discontinuous region is continuously connected. Thus, a phase connection image as shown in FIG. 8 is obtained.
ここで、上記特許文献１〜３における三次元測定方法の対象物は、人体の表皮等であり、これらの対象物は高低差が少ない、もしくは高さが急激に変化しないことから、撮影手段は表面全体を撮影することが可能となっている。
一方、基板に半田ボールを整列させた場合のように、対象物の表面に高さが急激に変化する突起が形成されている場合、撮影手段によって当該対象物を撮影すると突起の裏側の部分が撮影されない場合がある。
この撮影されない部分については位相が算出されないため、上記縞パターン画像から位相復元画像を作成すると、隣接する画素で明度の変化が異なり、周囲とは位相が不連続な不連続位相部分が発生する。
そしてこのような不連続位相部分のある位相復元画像に対して位相接続を行うと、図１０に示すように位相接続画像に筋が入り、これがノイズとなって対象物の形状を正確に測定できないという問題が発生していた。
このような問題に鑑み、表面に突起の形成された対象物であっても、正確にその形状を測定することが可能な三次元測定方法を提供するものである。
Here, the object of the three-dimensional measurement method in Patent Documents 1 to 3 described above is the human epidermis and the like, and these objects have little height difference or the height does not change abruptly. The entire surface can be photographed.
On the other hand, when a protrusion whose height changes abruptly is formed on the surface of the object as in the case where the solder balls are aligned on the substrate, when the object is photographed by the photographing means, the part on the back side of the protrusion is It may not be taken.
Since the phase is not calculated for the non-photographed portion, when a phase restoration image is created from the striped pattern image, the change in brightness differs between adjacent pixels, and a discontinuous phase portion in which the phase is discontinuous from the surroundings occurs.
When phase connection is performed on a phase-reconstructed image having such a discontinuous phase portion, a streak enters the phase connection image as shown in FIG. 10, and this becomes noise and the shape of the object cannot be measured accurately. The problem that occurred.
In view of such problems, it is an object of the present invention to provide a three-dimensional measurement method capable of accurately measuring the shape of an object having protrusions formed on the surface.
すなわち、本発明にかかるする三次元計測方法は、対象物に縞パターンを投影するとともに該縞パターンを位相シフトさせながら複数回撮影し、撮影した複数の縞パターン画像から各画素における位相を算出して、該位相に基づく位相復元画像を作成し、
上記位相復元画像から、縞パターンの１周期毎に位相の値が不連続となる領域を認識し、さらに各領域の位相が連続するように位相接続を行って位相接続画像を作成する三次元計測方法において、
上記位相復元画像から上記領域を認識する際、各領域内で周囲の部分と位相が不連続な不連続位相部分を検出し、
上記縞パターンのシフト方向に対して、該不連続位相部分が当該領域の前側部分に位置する場合、当該不連続位相部分を該領域の前方に隣接する領域に属するとみなすとともに、不連続位相部分が領域の後側部分に位置する場合、当該不連続位相部分を該領域の後方に隣接する領域に属するとみなして、上記位相接続を行うことを特徴としている。
That is, the three-dimensional measurement method according to the present invention projects a fringe pattern onto an object and captures a plurality of times while shifting the phase of the fringe pattern, and calculates the phase at each pixel from the captured plurality of fringe pattern images. A phase restoration image based on the phase,
A three-dimensional measurement that recognizes a region where the phase value is discontinuous for each period of the fringe pattern from the phase-restored image and creates a phase-connected image by connecting the phases so that the phases of each region are continuous. In the method
When recognizing the region from the phase-reconstructed image, the discontinuous phase portion in which the phase is discontinuous with the surrounding portion in each region is detected,
When the discontinuous phase portion is located in the front portion of the region with respect to the shift direction of the fringe pattern, the discontinuous phase portion is regarded as belonging to a region adjacent to the front of the region, and the discontinuous phase portion Is located at the rear side of the region, the discontinuous phase portion is regarded as belonging to a region adjacent to the rear of the region, and the phase connection is performed.
上記発明によれば、撮影手段によって撮影された縞パターン画像から作成した位相復元画像に上記不連続位相部分が表示されても、この不連続位相部分を隣接する領域の位相とみなして位相接続を行うので、位相接続画像からノイズを除去することができ、正確に対象物の形状を認識することができる。 According to the above invention, even if the discontinuous phase portion is displayed in the phase restoration image created from the fringe pattern image photographed by the photographing means, the discontinuous phase portion is regarded as the phase of the adjacent region and the phase connection is made. As a result, noise can be removed from the phase connection image, and the shape of the object can be accurately recognized.
以下図示実施例について説明すると、図１は対象物１を検査する検査装置２を示し、対象物１は検査装置２の上工程に設けられた図示しないボールマウンタから供給されるようになっている。
上記対象物１は半導体デバイス又はその製造工程途中の構成部品であって、板状の基板１ａと、該基板１ａに縦横に整列した状態で載置された複数の半田ボール１ｂとから構成されている。
そして上記検査装置２は上記半田ボール１ｂが基板１ａの所要の位置に載置されているかを検査するとともに、半田ボール１ｂの高さからその半田ボール１ｂが所定の径を有しているかを検査するようになっている。
The illustrated embodiment will be described below. FIG. 1 shows an inspection apparatus 2 for inspecting an object 1, and the object 1 is supplied from a ball mounter (not shown) provided in the upper process of the inspection apparatus 2. .
The object 1 is a semiconductor device or a component in the course of its manufacturing process, and is composed of a plate-like substrate 1a and a plurality of solder balls 1b placed on the substrate 1a in a state of being aligned vertically and horizontally. Yes.
The inspection device 2 inspects whether the solder ball 1b is placed at a required position on the substrate 1a, and inspects whether the solder ball 1b has a predetermined diameter from the height of the solder ball 1b. It is supposed to be.
上記検査装置２は、基板１ａを搬送する搬送テーブル３と、対象物１に後述する縞パターンを投影する縞パターン照射手段４と、対象物１に投影された縞パターンを撮影する撮影手段５と、撮影手段５が撮影した縞パターン画像を画像処理する画像処理手段６とを備えている。
上記搬送テーブル３は対象物１を図示左方から右方に搬送し、検査装置２によって対象物１を検査する間は対象物１を縞パターン照射手段４の下方に停止させるようになっている。
縞パターン照射手段４は、搬送テーブル３の上方に設置された照明手段４ａと、照明手段４ａの下方に設けられた液晶格子４ｂと、液晶格子４ｂの下方に設けられたレンズ４ｃとから構成されている。
上記液晶格子４ｂは、光を透過させない黒色部分と光を透過させる透明部分とがそれぞれ同じ幅で等ピッチに整列した格子を表示させるようになっており、また当該格子を該格子と直交する方向に一定速度で移動させる位相シフトが可能となっている。
撮影手段５には従来公知のＣＣＤカメラを用い、この撮影手段５は照明手段４ａの光軸とは異なる方向から対象物１を撮影するように設けられ、上記対象物１に投影された縞パターンを断続的に撮影するようになっている。
画像処理手段６にはパーソナルコンピュータを用いることが可能であり、撮影手段５が撮影した縞パターン画像を記憶する記憶部６ａと、縞パターン画像から各画素の位相を算出して位相復元画像を合成する合成部６ｂと、位相復元画像から領域および不連続位相部分を判定する判定部６ｃと、判定部６ｃが判定した領域を位相接続して各領域を接続する位相接続部６ｄと、位相接続により得られた位相接続画像から対象物１の各部の高さを算出する高さ算出部６ｅと、対象物１の各部の高さから対象物１の良否判定を行う良否判定部６ｆとを備えている。
The inspection apparatus 2 includes a transport table 3 that transports the substrate 1a, a fringe pattern irradiation unit 4 that projects a fringe pattern, which will be described later, onto the object 1, and an imaging unit 5 that photographs the fringe pattern projected onto the object 1. The image processing means 6 performs image processing on the fringe pattern image photographed by the photographing means 5.
The conveyance table 3 conveys the object 1 from the left to the right in the drawing, and stops the object 1 below the fringe pattern irradiation means 4 while inspecting the object 1 by the inspection apparatus 2. .
The fringe pattern irradiating unit 4 includes an illuminating unit 4a installed above the transport table 3, a liquid crystal lattice 4b provided below the illuminating unit 4a, and a lens 4c provided below the liquid crystal lattice 4b. ing.
The liquid crystal lattice 4b displays a lattice in which a black portion that does not transmit light and a transparent portion that transmits light are arranged at equal pitches with the same width, and the lattice is orthogonal to the lattice. Can be shifted at a constant speed.
A known CCD camera is used as the photographing means 5, and the photographing means 5 is provided so as to photograph the object 1 from a direction different from the optical axis of the illumination means 4 a, and the fringe pattern projected onto the object 1. Is supposed to shoot intermittently.
A personal computer can be used as the image processing means 6, and a storage unit 6 a that stores the fringe pattern image photographed by the photographing means 5, and the phase restoration image is synthesized by calculating the phase of each pixel from the fringe pattern image. A synthesizing unit 6b, a determining unit 6c that determines a region and a discontinuous phase portion from the phase-restored image, a phase connecting unit 6d that connects the regions by connecting the regions determined by the determining unit 6c, and a phase connection A height calculation unit 6e that calculates the height of each part of the target 1 from the obtained phase connection image, and a quality determination unit 6f that performs quality determination of the target 1 from the height of each part of the target 1 are provided. Yes.
以下、上記構成を有する検査装置２を用いた対象物１の三次元測定方法について、検査装置２の各部の動作とともに説明する。
最初に、縞パターン照射手段４が対象物１に縞パターンを投影し、この縞パターンを縞と直交する方向に一定速度で位相シフトさせる。一方、撮影手段５はこの対象物１に投影された縞パターンを複数回撮影する。
具体的には、撮影手段５は縞パターンが１周期移動する間に、等間隔に縞パターンを４回撮影する。これを換言すると図２（ａ）〜（ｄ）に示すように縞パターンが１／４周期ずつ移動する度に、撮影手段５が４回撮影を行うようになっている。
そして撮影手段５が撮影した４枚の縞パターン画像は上記画像処理手段６の記憶部６ａに送信され、記憶部６ａは４枚の縞パターン画像を撮影された順に記憶する。
Hereinafter, a three-dimensional measurement method of the object 1 using the inspection apparatus 2 having the above configuration will be described along with the operation of each part of the inspection apparatus 2.
First, the fringe pattern irradiating means 4 projects a fringe pattern onto the object 1 and phase-shifts the fringe pattern at a constant speed in a direction orthogonal to the fringes. On the other hand, the photographing means 5 photographs the stripe pattern projected on the object 1 a plurality of times.
Specifically, the imaging unit 5 captures the stripe pattern four times at regular intervals while the stripe pattern moves for one period. In other words, as shown in FIGS. 2 (a) to 2 (d), every time the fringe pattern moves by a quarter period, the photographing means 5 performs photographing four times.
The four striped pattern images photographed by the photographing unit 5 are transmitted to the storage unit 6a of the image processing unit 6, and the storage unit 6a stores the four striped pattern images in the order of photographing.
次に、記憶部６ａに記憶された４枚の縞パターン画像は上記画像処理手段６の合成部６ｂによって処理され、該合成部６ｂは図３に示すような１枚の位相復元画像を作成する。
記憶部６ａに記憶された上記４枚の縞パターン画像における各画素の明度は、対象物１に投影された縞パターンの位相シフトに伴って撮影の度に変化するようになっている。
ここで縞パターン画像における所定の画素に着目すると、この明度の変化は図４に示すように縞パターンの位相シフトに伴って周期的に変化し、これを正弦関数として表示することができる。なお図４においてＩ１〜Ｉ４は各縞パターン画像より得られた画素の明度を示している。
そして合成部６ｂはこの各縞パターン画像における明度変化に基づき、以下の式を用いて位相を算出し、縞パターン画像の全ての画素について位相（φ）を算出する。
φ＝ｔａｎ−１{（Ｉ４−Ｉ２）／（Ｉ１−Ｉ３）}・・・（式１）
この式１は逆正接関数であることから、位相の値は−π〜πの範囲となり、−πを黒色、πを白色として、その間をグレースケール表示すると、縞パターンの位相シフト方向に向けてグラデーションのかかった複数の領域１１からなる図３のような位相復元画像が得られることとなる。
Next, the four striped pattern images stored in the storage unit 6a are processed by the synthesis unit 6b of the image processing means 6, and the synthesis unit 6b creates one phase restoration image as shown in FIG. .
The brightness of each pixel in the four striped pattern images stored in the storage unit 6a is changed every time photographing is performed with the phase shift of the striped pattern projected on the object 1.
When attention is paid to predetermined pixels in the stripe pattern image, the change in brightness changes periodically with the phase shift of the stripe pattern as shown in FIG. 4 and can be displayed as a sine function. In FIG. 4, I 1 to I 4 indicate the lightness of the pixels obtained from each stripe pattern image.
The synthesizing unit 6b calculates the phase using the following formula based on the brightness change in each stripe pattern image, and calculates the phase (φ) for all the pixels of the stripe pattern image.
φ = tan −1 {(I 4 −I 2 ) / (I 1 −I 3 )} (Formula 1)
Since Equation 1 is an arctangent function, the phase value is in the range of −π to π, and when −π is black and π is white, and when the gray scale is displayed between them, the phase shift direction toward the phase shift direction of the fringe pattern A phase restored image as shown in FIG. 3 consisting of a plurality of areas 11 with gradation is obtained.
図５（ａ）はある縞パターン画像の一部を拡大して示したものであり、また図５（ｂ）はこの縞パターン画像を撮影する際の半田ボール１ｂと撮影手段５との位置関係を示したものである。なお、図５に示す縞パターンのピッチは説明のため図２に示す縞パターンのピッチとは異なっている。
図５（ｂ）に示すように、半田ボール１ｂは基板１ａに対して急激に高さが変化しているため、撮影手段５で対象物１を撮影すると、基板１ａの一部および半田ボール１ｂの一部は撮影されず、その結果縞パターン画像に現れない部分が発生する。
そして、半田ボール１ｂの頂部近傍（Ａ部）およびその背景となる基板１ａとの境界となる部分（Ｂ部）は、縞パターン画像では隣接した位置に表示されるが実際には高さが異なるため離隔しており、これらＡ部およびＢ部に投影される縞パターンが異なることから両位置の明度は大きく異なっている。
このため、Ａ部およびＢ部について上記式１による位相を算出すると、その値は大きく異なってしまい、この位相に基づいて位相復元画像を作成すると、Ａ部およびＢ部に該当する部分のグラデーションが不連続となってしまう。
一方、半田ボール１ｂの載置されていないＣ部のような場所では、撮影手段５によって撮影されない部分がないため、上記位相復元画像を作成するとＣ部に該当する部分のグラデーションは連続して表示される。
そして図３に示す位相復元画像では、半田ボールの位置や撮影手段による撮影角度に応じ、位相が大きく異なることでグラデーションが不連続となる不連続位相部分１２が発生することとなる。
FIG. 5A is an enlarged view of a part of a certain stripe pattern image, and FIG. 5B is a positional relationship between the solder ball 1b and the photographing means 5 when photographing the stripe pattern image. Is shown. The pitch of the stripe pattern shown in FIG. 5 is different from the pitch of the stripe pattern shown in FIG. 2 for explanation.
As shown in FIG. 5B, since the height of the solder ball 1b is abruptly changed with respect to the substrate 1a, when the object 1 is photographed by the photographing means 5, a part of the substrate 1a and the solder ball 1b. Is not photographed, and as a result, a portion that does not appear in the stripe pattern image occurs.
Then, the vicinity of the top portion (A portion) of the solder ball 1b and the portion (B portion) that becomes the boundary with the substrate 1a that is the background are displayed at adjacent positions in the stripe pattern image, but actually have different heights. Therefore, they are separated from each other, and since the fringe patterns projected on these A and B portions are different, the brightness at both positions is greatly different.
For this reason, when the phase according to the above equation 1 is calculated for the A part and the B part, the values are greatly different. When the phase restoration image is created based on this phase, the gradation of the part corresponding to the A part and the B part is changed. It becomes discontinuous.
On the other hand, in a place such as part C where the solder ball 1b is not placed, there is no part that is not photographed by the photographing means 5, so when the phase restoration image is created, the gradation corresponding to the part C is continuously displayed. Is done.
In the phase restoration image shown in FIG. 3, a discontinuous phase portion 12 in which gradation is discontinuous is generated due to a large difference in phase depending on the position of the solder ball and the photographing angle by the photographing means.
次に、判定部６ｃは上記位相復元画像の各領域１１間の境界線１３を検出することで、位相復元画像を各領域１１に分割した状態で認識する。
具体的には、判定部６ｃは位相復元画像において位相の値が図示左から右（縞パターンのシフト方向において後方から前方）にπから−πへと急激に変化する画素を検出し、該当する画素を図示上下方向（縞パターンのシフト方向と直交する方向）につなぎ合わせて境界線１３を認識する。
さらに、判定部６ｃはこの境界線１３で区画された部分をそれぞれ領域１１として認識し、本実施例では図示左方（縞パターンのシフト方向後方）に位置する領域１１から順に８つの領域１１が認識されるようになっている。
Next, the determination unit 6 c detects the boundary line 13 between the regions 11 of the phase restoration image, thereby recognizing the phase restoration image in a state of being divided into the regions 11.
Specifically, the determination unit 6c detects a pixel whose phase value changes rapidly from π to −π from the left to the right in the drawing (from the rear to the front in the stripe pattern shift direction) in the phase-reconstructed image. The boundary line 13 is recognized by connecting the pixels in the vertical direction in the figure (a direction orthogonal to the shift direction of the stripe pattern).
Further, the determination unit 6c recognizes each portion partitioned by the boundary line 13 as a region 11, and in the present embodiment, the eight regions 11 are sequentially arranged from the region 11 located on the left side in the drawing (backward in the stripe pattern shift direction). It has come to be recognized.
続いて、判定部６ｃは各領域１１の中間に中間線１４を設定するとともに、各領域１１から不連続位相部分１２の検出を行い、該不連続位相部分１２がどの領域１１に属するのかを判定する。
まず、判定部６ｃは各領域１１から位相の値が０である画素を検出し、当該位相の値が０である画素を上下方向（縞パターンのシフト方向と直交する方向）に連続させて中間線１４を設定する。
これにより各領域１１における中間線１４よりも図示左方となる縞パターンのシフト方向後方部分では、位相の値が−π〜０の負の範囲となり、中間線１４よりも図示右方となる縞パターンのシフト方向前方の部分では、位相の値が０〜πの正の範囲となる。
次に、上記不連続位相部分１２が存在する４番目の領域１１を例にして説明すると、判定部６ｃは４番目の中間線１４よりもシフト方向後方の領域１１から、位相が０〜πとなる正の値である画素を検出し、これを不連続位相部分１２として認識する。
そして判定部６ｃはこの中間線１４よりもシフト方向後方に位置する不連続位相部分１２を、４番目の領域１１のシフト方向後方に位置する３番目の領域１１に属するものとみなすようになっている。
すなわち、上記縞パターンのシフト方向に対して、不連続位相部分１２が当該４番目の領域１１の後側部分に位置する場合、上記不連続位相部分１２を該４番目の領域１１の後方に隣接する３番目の領域１１に属するとみなしている。
図６は上記判定部６ｃによって認識された３番目と４番目の領域１１を抜き出して表示したものであり、図６（ａ）が３番目の領域１１を、図６（ｂ）が４番目の領域１１をそれぞれ示している。
これらの図に示すように、３番目の領域１１は最初に３番目の領域１１として認識された部分と、４番目の領域１１の中間線１４に対して後方部分に位置していた不連続位相部分１２とから構成され、４番目の領域１１は最初に４番目の領域１１として認識されていた部分から上記不連続位相部分１２を除いた部分で構成されている。
なお上記の例において、４番目の領域１１の中間線１４よりも縞パターンのシフト方向前方となる前側部分に、位相が負の値の画素を検出した場合には、この不連続位相部分１２を前方に隣接する５番目の領域１１に属するものとみなすようになっている。
Subsequently, the determination unit 6c sets an intermediate line 14 in the middle of each region 11 and detects the discontinuous phase portion 12 from each region 11 to determine which region 11 the discontinuous phase portion 12 belongs to. To do.
First, the determination unit 6c detects pixels having a phase value of 0 from each region 11, and continues the pixels having the phase value of 0 in the vertical direction (a direction orthogonal to the shift direction of the fringe pattern). Line 14 is set.
As a result, the phase value is in the negative range of −π to 0 at the rear portion in the shift direction of the stripe pattern that is to the left of the intermediate line 14 in each region 11, and the stripe that is to the right of the intermediate line 14 in the drawing. In the front part of the pattern in the shift direction, the phase value is in a positive range of 0 to π.
Next, the fourth region 11 in which the discontinuous phase portion 12 is present will be described as an example. The determination unit 6c has a phase of 0 to π from the region 11 behind the fourth intermediate line 14 in the shift direction. A pixel having a positive value is detected and recognized as a discontinuous phase portion 12.
Then, the determination unit 6c regards the discontinuous phase portion 12 located behind the intermediate line 14 in the shift direction as belonging to the third region 11 located behind the fourth region 11 in the shift direction. Yes.
That is, when the discontinuous phase portion 12 is located in the rear portion of the fourth region 11 with respect to the shift direction of the fringe pattern, the discontinuous phase portion 12 is adjacent to the rear of the fourth region 11. It belongs to the 3rd area | region 11 to do.
FIG. 6 shows the third and fourth areas 11 recognized by the determination unit 6c. FIG. 6 (a) shows the third area 11 and FIG. 6 (b) shows the fourth area. Each region 11 is shown.
As shown in these figures, the third region 11 is a discontinuous phase that is located in the rear portion with respect to the portion initially recognized as the third region 11 and the intermediate line 14 of the fourth region 11. The fourth region 11 is composed of a portion obtained by removing the discontinuous phase portion 12 from a portion initially recognized as the fourth region 11.
In the above example, when a pixel having a negative phase is detected in the front side portion that is ahead of the intermediate line 14 of the fourth region 11 in the stripe pattern shift direction, the discontinuous phase portion 12 is It is assumed that it belongs to the fifth area 11 adjacent to the front.
次に、位相接続部６ｄは上記位相復元画像に対して位相接続を行い、位相接続画像を作成する。
具体的には、位相復元画像における全ての領域１１の位相の値は−π〜πの範囲であることから、図７に示すように２番目の領域１１の位相の値には２πを、その後３番目以降の領域１１についてはその位相の値に順次４π、６π・・・をそれぞれ加算する。
ここで、位相接続部６ｄは上記判定部６ｃによって認識された領域１１に基づいて位相接続を行うようになっている。
例えば、図６（ａ）に示す上記判定部６ｃが３番目の領域１１として判定した不連続位相部分１２に該当する画素の位相の値には、３番目の領域１１の位相の値に加算した４πを加算して位相接続を行うようになっている。
そして、上記位相接続部６ｄによる位相接続により、図８に示す位相接続画像が得られることとなる。
Next, the phase connection unit 6d performs phase connection on the phase restoration image to create a phase connection image.
Specifically, since the phase values of all the regions 11 in the phase-restored image are in the range of −π to π, the phase value of the second region 11 is 2π as shown in FIG. For the third and subsequent regions 11, 4π, 6π... Are sequentially added to the phase values.
Here, the phase connection unit 6d performs phase connection based on the region 11 recognized by the determination unit 6c.
For example, the phase value of the pixel corresponding to the discontinuous phase portion 12 determined as the third region 11 by the determination unit 6c shown in FIG. 6A is added to the phase value of the third region 11. The phase connection is performed by adding 4π.
And the phase connection image shown in FIG. 8 will be obtained by the phase connection by the said phase connection part 6d.
次に、高さ算出部６ｅは位相接続画像における各画素の位相値から、対象物１の各部の高さを算出する。
具体的には、高さ算出部６ｅが上記位相接続画像における各画素の位相値と、予め高さ算出部６ｅに登録された対象物１と撮影手段５との位置関係とから、三角測量の原理により算出するようになっている。
なお、このような高さの算出方法については上記特許文献２等により公知となっているので、詳細な説明は省略する。
そして高さ算出部６ｅはこの対象物１の各部の高さを算出したら、この計算結果に基づいて、図９に示すような対象物の三次元画像を作成することができる。
Next, the height calculation unit 6e calculates the height of each part of the object 1 from the phase value of each pixel in the phase connection image.
Specifically, the height calculation unit 6e calculates the triangulation from the phase value of each pixel in the phase connection image and the positional relationship between the object 1 and the photographing unit 5 registered in the height calculation unit 6e in advance. Calculation is based on the principle.
In addition, since such a calculation method of height is known by the said patent document 2 etc., detailed description is abbreviate | omitted.
Then, after calculating the height of each part of the object 1, the height calculation unit 6e can create a three-dimensional image of the object as shown in FIG. 9 based on the calculation result.
良否判定部６ｆは、対象物１の各部の高さから、半田ボール１ｂが基板１ａに所定の位置に配列されているか、また半田ボール１ｂが所定の径となっているかを判定する。
具体的には、平板な基板１ａより突出した高い部分の頂点を半田ボール１ｂの載置されている部分として認識するとともに、また上記頂点の高さから、半田ボール１ｂの径を認識するようになっている。
そして、半田ボール１ｂが所定の位置に載置されており、また各半田ボール１ｂの径が所定の径であることが判定されたら、良否判定部６ｆは当該対象物１を良品として判断し、上記要件が満たされない対象物１は不良品として判断する。
The quality determination unit 6f determines whether the solder balls 1b are arranged at predetermined positions on the substrate 1a or whether the solder balls 1b have a predetermined diameter based on the height of each part of the object 1.
Specifically, the apex of the high portion protruding from the flat substrate 1a is recognized as the portion where the solder ball 1b is placed, and the diameter of the solder ball 1b is recognized from the height of the apex. It has become.
When it is determined that the solder ball 1b is placed at a predetermined position and the diameter of each solder ball 1b is a predetermined diameter, the pass / fail determination unit 6f determines the target object 1 as a non-defective product, The object 1 that does not satisfy the above requirements is determined as a defective product.
上記実施例のように、基板１ａに半田ボール１ｂを載置したような対象物１であって、上記撮影手段５によって対象物１を撮影すると半田ボール１ｂの背後に隠れて撮影されない部分が発生しても、図８のような位相分布画像を得ることができ、ひいては対象物１の高さ分布から該対象物１の良否を正確に判断することができる。
なお、仮に上記判定部６ｃによって不連続位相部分１２を検出しないまま位相接続を行うと、図１０に示すように位相分布画像に横方向に筋が入り、当該筋の部分で対象物１の高さを正確に認識することができなくなってしまう問題があった。
As in the above embodiment, the object 1 is such that the solder ball 1b is placed on the substrate 1a, and when the object 1 is photographed by the photographing means 5, a portion hidden behind the solder ball 1b is not photographed. Even in this case, a phase distribution image as shown in FIG. 8 can be obtained, and as a result, the quality of the object 1 can be accurately determined from the height distribution of the object 1.
If the phase connection is performed without detecting the discontinuous phase portion 12 by the determination unit 6c, a streak enters the phase distribution image in the horizontal direction as shown in FIG. 10, and the height of the object 1 is increased at the streak portion. There is a problem that it becomes impossible to accurately recognize this.
１ 対象物 １ａ 基板
１ｂ 半田ボール ２ 検査装置
４ 縞パターン照射装置 ５ 撮影手段
６ 画像処理装置 １１ 領域
１２ 不連続位相部分 １４ 中間線
DESCRIPTION OF SYMBOLS 1 Target object 1a Board | substrate 1b Solder ball 2 Inspection apparatus 4 Stripe pattern irradiation apparatus 5 Imaging | photography means 6 Image processing apparatus 11 Area | region 12 Discontinuous phase part 14 Intermediate line
Claims (2)
上記位相復元画像から、縞パターンの１周期毎に位相の値が不連続となる領域を認識し、さらに各領域の位相が連続するように位相接続を行って位相接続画像を作成する三次元計測方法において、
上記位相復元画像から上記領域を認識する際、各領域内で周囲の部分と位相が不連続な不連続位相部分を検出し、
上記縞パターンのシフト方向に対して、該不連続位相部分が当該領域の前側部分に位置する場合、当該不連続位相部分を該領域の前方に隣接する領域に属するとみなすとともに、不連続位相部分が領域の後側部分に位置する場合、当該不連続位相部分を該領域の後方に隣接する領域に属するとみなして、上記位相接続を行うことを特徴とする三次元計測方法。 Projecting a stripe pattern onto the object and photographing the plurality of times while shifting the phase of the stripe pattern, calculating a phase at each pixel from the plurality of photographed stripe pattern images, creating a phase restoration image based on the phase,
A three-dimensional measurement that recognizes a region where the phase value is discontinuous for each period of the fringe pattern from the phase-restored image and creates a phase-connected image by connecting the phases so that the phases of each region are continuous. In the method
When recognizing the region from the phase-reconstructed image, the discontinuous phase portion in which the phase is discontinuous with the surrounding portion in each region is detected,
When the discontinuous phase portion is located in the front portion of the region with respect to the shift direction of the fringe pattern, the discontinuous phase portion is regarded as belonging to a region adjacent to the front of the region, and the discontinuous phase portion Is located in the rear portion of the region, the discontinuous phase portion is regarded as belonging to a region adjacent to the rear of the region, and the phase connection is performed.
上記中間線よりも前方で位相が負の値である画素、および、中間線よりも後方で位相が正の値である画素を上記不連続位相部分として認識することを特徴とする請求項１に記載の三次元計測方法。 An intermediate line is set with reference to a pixel having a phase value of 0 in each region, and the forward direction is a positive range and the backward direction is a negative range with respect to the stripe pattern shift direction from the intermediate line.
2. The pixel having a negative value in front of the intermediate line and a pixel having a positive value behind the intermediate line are recognized as the discontinuous phase portion. The three-dimensional measurement method described.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007247909A JP2009079934A (en) | 2007-09-25 | 2007-09-25 | Three-dimensional measuring method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007247909A JP2009079934A (en) | 2007-09-25 | 2007-09-25 | Three-dimensional measuring method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009079934A true JP2009079934A (en) | 2009-04-16 |
Family
ID=40654801
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007247909A Pending JP2009079934A (en) | 2007-09-25 | 2007-09-25 | Three-dimensional measuring method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009079934A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012527610A (en) * | 2009-05-20 | 2012-11-08 | エスエヌユー プレシジョン カンパニー，リミテッド | 3D shape measurement method |
| JP2019045360A (en) * | 2017-09-04 | 2019-03-22 | 株式会社ミツトヨ | Image processing apparatus, image processing system, and program |
| JP2019124543A (en) * | 2018-01-16 | 2019-07-25 | 株式会社サキコーポレーション | Method for acquiring inspection device height information and inspection device |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002162215A (en) * | 2000-11-27 | 2002-06-07 | Matsushita Electric Works Ltd | Three-dimensional shape measuring method and its system |
| JP2006177781A (en) * | 2004-12-22 | 2006-07-06 | Matsushita Electric Works Ltd | Three-dimensional shape measurement method, three-dimensional measurement apparatus, and three-dimensional measurement program |
-
2007
- 2007-09-25 JP JP2007247909A patent/JP2009079934A/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002162215A (en) * | 2000-11-27 | 2002-06-07 | Matsushita Electric Works Ltd | Three-dimensional shape measuring method and its system |
| JP2006177781A (en) * | 2004-12-22 | 2006-07-06 | Matsushita Electric Works Ltd | Three-dimensional shape measurement method, three-dimensional measurement apparatus, and three-dimensional measurement program |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012527610A (en) * | 2009-05-20 | 2012-11-08 | エスエヌユー プレシジョン カンパニー，リミテッド | 3D shape measurement method |
| JP2019045360A (en) * | 2017-09-04 | 2019-03-22 | 株式会社ミツトヨ | Image processing apparatus, image processing system, and program |
| JP7080610B2 (en) | 2017-09-04 | 2022-06-06 | 株式会社ミツトヨ | Image processing equipment, image processing systems and programs |
| JP2019124543A (en) * | 2018-01-16 | 2019-07-25 | 株式会社サキコーポレーション | Method for acquiring inspection device height information and inspection device |
| JP7156794B2 (en) | 2018-01-16 | 2022-10-19 | 株式会社サキコーポレーション | Inspection device height information acquisition method and inspection device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100902170B1 (en) | Apparatus for measurement of surface profile | |
| TW201020511A (en) | Method of measuring a three-dimensional shape | |
| US10430940B2 (en) | Inspection system and inspection method | |
| JP5385703B2 (en) | Inspection device, inspection method, and inspection program | |
| JP5438475B2 (en) | Gap step measurement device, gap step measurement method, and program thereof | |
| JP2008292430A (en) | Appearance inspecting method and appearance inspecting device | |
| JP2009019941A (en) | Shape measuring method | |
| JP2008185514A (en) | Substrate visual inspection apparatus | |
| JP2015021862A (en) | Three-dimensional measurement instrument and three-dimensional measurement method | |
| WO2020065850A1 (en) | Three-dimensional measuring device | |
| TW201042236A (en) | Method for measuring three-dimensional shape | |
| KR101144749B1 (en) | Method for inspecting joint error of an element formed on a printed circuit board | |
| CN107271445B (en) | Defect detection method and device | |
| JP2006023178A (en) | 3-dimensional measuring method and device | |
| JP5545932B2 (en) | 3D shape measuring device | |
| JP2009079934A (en) | Three-dimensional measuring method | |
| JP2003121115A (en) | Visual inspection apparatus and method therefor | |
| KR101017300B1 (en) | Apparatus for measurement of surface profile | |
| KR101465996B1 (en) | Method for measurement of high speed 3d shape using selective long period | |
| JP4784396B2 (en) | 3D shape measurement method and 3D shape measurement apparatus using the same | |
| JP2006170744A (en) | Three-dimensional distance measuring instrument | |
| JP2019045346A (en) | Inspection device | |
| KR101750883B1 (en) | Method for 3D Shape Measuring OF Vision Inspection System | |
| JP2008170282A (en) | Shape measuring device | |
| JP7452121B2 (en) | Inspection equipment and inspection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100831 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120214 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120613 |