JP2022042975A - Height measurement system and method for sphere - Google Patents
Height measurement system and method for sphere Download PDFInfo
- Publication number
- JP2022042975A JP2022042975A JP2021134576A JP2021134576A JP2022042975A JP 2022042975 A JP2022042975 A JP 2022042975A JP 2021134576 A JP2021134576 A JP 2021134576A JP 2021134576 A JP2021134576 A JP 2021134576A JP 2022042975 A JP2022042975 A JP 2022042975A
- Authority
- JP
- Japan
- Prior art keywords
- sphere
- height
- projection
- bird
- eye view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
- G01B11/0608—Height gauges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
本発明は、球体の高さ計測システムに関し、特に、二次元画像から球体の高さを取得する球体の高さ計測システムに関する。 The present invention relates to a sphere height measurement system, and more particularly to a sphere height measurement system that acquires the height of a sphere from a two-dimensional image.
現在の市場では、主に四種の基本的な方法によりボールグリッドアレイ(Ball Grid Array)におけるはんだボールのはんだの品質を検査している。前記四種の方法とは、共焦点クロマティックセンサによる計測、X線検査、浸透探傷試験、クロスセクションポリッシャー法である。 In the current market, the solder quality of solder balls in a ball grid array is inspected mainly by four basic methods. The four methods are measurement with a confocal chromatic sensor, X-ray inspection, penetrant inspection, and cross-section polisher method.
上記にある四種の計測法の中で、共焦点クロマティックセンサによる計測及びX線検査は非破壊検査であり、ボールグリッドアレイにおけるはんだボールのはんだを分析する際、はんだボールを破壊せずに検査を完了できる。共焦点クロマティックセンサによる計測は、反射光の波長により検査対象物からレンズまでの距離を精密に測り、はんだボールの構造及びはんだの品質を分析する。X線検査機は、検査対象物上にX線を照射し、検査対象物が吸収したX線の容量の差異に基づいて、検査機に異なるグレイスケールが表示される。 Of the above four measurement methods, measurement with a confocal chromatic sensor and X-ray inspection are non-destructive inspections, and when analyzing the solder of solder balls in a ball grid array, the inspection is performed without destroying the solder balls. Can be completed. The measurement by the confocal chromatic sensor measures the distance from the inspection object to the lens precisely by the wavelength of the reflected light, and analyzes the structure of the solder ball and the quality of the solder. The X-ray inspection machine irradiates the inspection object with X-rays, and the inspection machine displays a different gray scale based on the difference in the capacity of the X-rays absorbed by the inspection object.
浸透探傷試験とクロスセクションポリッシャー法は破壊性を伴い、通常は非破壊性の検査では解決できない不良基板に用いられ、不良品に対し最終検査を行い、検査結果を以て歩留り率を改善する。浸透探傷試験は、検査液をボールグリッドアレイが装着されたモジュール底部に流し込み、検査液が細かな亀裂に浸み込む特性を利用して、ボールグリッドアレイが装着されたモジュールを基板から外した後、はんだ上の浸透液の分布を検査する。クロスセクションポリッシャー法は、まず電気器具を用いてはんだボールに問題があるか確認し、問題のあったはんだボールのみをスライスし断面構造の詳細検査を行う。 The penetrant inspection test and the cross-section polisher method are destructive and are usually used for defective substrates that cannot be solved by non-destructive inspection. The final inspection is performed on defective products, and the yield rate is improved based on the inspection results. In the penetrant inspection, the test liquid is poured into the bottom of the module equipped with the ball grid array, and after removing the module equipped with the ball grid array from the board by utilizing the characteristic that the test liquid penetrates into small cracks. , Inspect the distribution of penetrants on the solder. In the cross-section polisher method, first, an electric appliance is used to check if there is a problem with the solder balls, and then only the problematic solder balls are sliced and a detailed inspection of the cross-sectional structure is performed.
本発明の主な目的は、球体検査対象物を計測するための球体の高さ計測方法の提供である。前記球体の高さ計測方法は、球体俯瞰画像と球体側面画像上に球体頂上部特徴と球体投影の境界線を定めること、前記球体俯瞰画像上の前記球体頂上部特徴と前記球体投影の境界線の間を第一参考幅と定め、前記球体側面画像上の前記球体頂上部特徴と前記球体投影の境界線の間を第二参考幅と定めることで前記第一参考幅と前記第二参考幅から前記球体検査対象物の球体の高さを取得することを含む。 A main object of the present invention is to provide a method for measuring the height of a sphere for measuring a sphere inspection object. The height measurement method of the sphere is to determine the boundary line between the sphere top feature and the sphere projection on the sphere bird's-eye view image and the sphere side image, and the boundary line between the sphere top feature and the sphere projection on the sphere bird's-eye view image. The first reference width and the second reference width are defined by defining the space between the first reference width and the boundary line between the sphere top feature on the sphere side image and the sphere projection as the second reference width. Includes obtaining the height of the sphere of the sphere inspection object from.
本発明のもう一つの目的は、処理装置またはコンピュータに読み込まれ実行された後、上述の球体の高さ計測方法が完了されるコンピュータプログラムを保存したコンピュータ読み取り可能な記録媒体を提供することにある。 Another object of the present invention is to provide a computer-readable recording medium containing a computer program in which the above-mentioned method for measuring the height of a sphere is completed after being read and executed by a processing device or a computer. ..
本発明のもう一つの目的は、コンピュータで読み取り可能な記録媒体に保存することができ、処理装置またはコンピュータに読み込まれ実行された後、上述の球体の高さ計測方法が完了されるコンピュータプログラム製品を提供することにある。 Another object of the present invention is a computer program product that can be stored in a computer-readable recording medium, and after being read and executed by a processing device or a computer, the above-mentioned method for measuring the height of a sphere is completed. Is to provide.
本発明のもう一つの目的は、球体の高さ計測システムの提供である。前記球体の高さ計測システムは、俯瞰撮像装置と、側面撮像装置と、処理装置とを備える。前記俯瞰撮像装置は球体検査対象物の俯瞰画像を撮影し、球体の俯瞰画像を取得する。前記側面撮像装置は球体検査対象物の側面画像を撮影し、球体の側面画像を取得する。前記処理装置は前記俯瞰撮像装置と前記側面撮像装置に電気的に接続され、前記球体の俯瞰画像及び前記球体の側面画像上に球体頂上部特徴と球体投影の境界線を定める。この中で、前記処理装置は前記球体俯瞰画像上の前記球体頂上部特徴と前記球体投影の境界線の間を第一参考幅と定め、また前記球体俯側面画像上の前記球体頂上部特徴と前記球体投影の境界線の間を第二参考幅と定めることで、球体検査対象物の高さを取得する。 Another object of the present invention is to provide a height measuring system for a sphere. The height measurement system for the sphere includes a bird's-eye view image pickup device, a side view image pickup device, and a processing device. The bird's-eye view image pickup device captures a bird's-eye view image of a sphere inspection object and acquires a bird's-eye view image of the sphere. The side image pickup device captures a side image of the object to be inspected by the sphere and acquires a side image of the sphere. The processing device is electrically connected to the bird's-eye view image pickup device and the side image pickup device, and defines a sphere top feature and a boundary line of sphere projection on the bird's-eye view image of the sphere and the side image of the sphere. Among them, the processing device defines the distance between the sphere top feature on the sphere bird's-eye view image and the boundary line of the sphere projection as the first reference width, and also defines the sphere top feature on the sphere top image. By defining the space between the boundaries of the sphere projection as the second reference width, the height of the sphere inspection object is obtained.
以上に述べたとおり、本発明は現有の自動光学検査設備の撮影機を用いて、球体検査対象物または検査対象物上にある球体部品に対し検査を行い、球体の高さ及びその他の参考データを計測することができる。 As described above, the present invention uses a camera of an existing automatic optical inspection facility to inspect a sphere inspection object or a sphere component on the inspection object, and the height of the sphere and other reference data. Can be measured.
本発明の詳細な技術内容を図面に基づいて説明する。なお、これら図面は説明のためのものであるため、実際の比率に従い描かれたものではなく、本発明の技術的範囲を限定するものではない。 The detailed technical contents of the present invention will be described with reference to the drawings. Since these drawings are for illustration purposes, they are not drawn according to actual ratios and do not limit the technical scope of the present invention.
図1は本発明の球体の高さ計測システムの実施例を示す説明図である。図2は本発明の球体の高さ計測システムの実施例の簡易的な外観を示す図である。 FIG. 1 is an explanatory diagram showing an embodiment of the height measurement system for a sphere of the present invention. FIG. 2 is a diagram showing a simplified appearance of an embodiment of the height measuring system for a sphere of the present invention.
本実施例は、球体検査対象物BTを測定するための球体の高さ計測システム100である。球体の高さ計測システム100は独立した検査台として設置、または光学式自動外観検査装置(Automatic Optical Inspection Apparatus)上に直接設置し、検査対象物に光学検査を行い、同時に検査対象物の画像から球体部品の各データを取得することもできるが、これら配置方法に関しては本発明では限定しない。
This embodiment is a sphere
球体の高さ計測システム100は、検査台10と、俯瞰撮像装置20と、側面撮像装置30と、俯瞰撮像装置20及び側面撮像装置30と電気的に接続される処理装置40とを備える。
The
検査台10は、主に球体検査対象物BTの設置と、球体検査対象物BT、俯瞰撮像装置20、側面撮像装置30間の相対的な位置関係の調整に用いられる。本発明の実施例において、検査台10は治具でもよく、治具で球体検査対象物BTを台の上に固定し、検査対象物の特定の角度を撮影位置に合わせる。他の実施例において、検査台10は検査対象物を吸着する真空ポンプ装置を用いてもよく、これにより検査対象物表面の塵、破片などを除去することもできる。他の実施例において、検査台10は移動装置(例えば移動式の荷台やロボットアーム)でもよく、移動装置により球体検査対象物BTを集荷ポイントまたは集荷パレットから撮影位置に移動させてもよい。これらの実施例以外にも、検査台は球体検査対象物BTを設置できる任意の台でかまわず、本発明ではこれらに限定しない。
The inspection table 10 is mainly used for installing the sphere inspection object BT and adjusting the relative positional relationship between the sphere inspection object BT, the bird's-eye view
球体検査対象物BTは検査対象物本体が球状であることに限定しない。球体検査対象物BTは、対象物の構造上、または部分的な構造上に球状部分を有しているということである。実務上では、球体検査対象物BTまたは球体検査対象物BT上の球体は複数個でもよく、一度撮影を行った後に複数個に対し計測を行う。これら球体検査対象物BT及び球体の数量の配置に関しては本発明では限定しない。 The sphere inspection object BT is not limited to the spherical shape of the inspection object body. The sphere inspection object BT has a spherical portion on the structure or a partial structure of the object. In practice, there may be a plurality of spheres on the sphere inspection object BT or the sphere inspection object BT, and measurement is performed on a plurality of spheres after taking a picture once. The present invention does not limit the arrangement of the quantity of these sphere inspection objects BT and spheres.
本発明の実施例においては、検査台10は更に撮影機移動装置50(例えばXYステージやロボットアームなど)を備える。俯瞰撮像装置20及び/または側面撮像装置30を設置し移動するために用いられる他、俯瞰撮像装置20及び側面撮像装置30を同じ台に設置し、台上で俯瞰撮像装置20及び側面撮像装置30の撮影方向を調整することで、俯瞰撮像装置20及び側面撮像装置30のピントを同じ位置に合わせる。
In the embodiment of the present invention, the inspection table 10 further includes a camera moving device 50 (for example, an XY stage, a robot arm, etc.). In addition to being used to install and move the bird's-eye view
俯瞰撮像装置20は検査台10の俯瞰方向側に設置し、球体検査対象物BTを俯瞰撮影することで球体の俯瞰画像を取得する。前記俯瞰方向側とは、検査台の真上付近の位置のことであり、俯瞰撮像装置20の撮影方向と検査台10または球体の検査対象物がある平面とは垂直である(誤差±5度)。俯瞰撮像装置20は検査台10上の球体検査対象物BTを撮影する。俯瞰撮像装置20はカラー撮影機などを含むが、これに限定しない。本発明の実施例においては、俯瞰撮像装置20は平面スキャンカメラまたはラインスキャンカメラであるが、本発明ではこれらに限定しない。
The bird's-eye view
側面撮像装置30は検査台10の側面方向側に設置し、球体検査対象物BTを側面撮影することで球体の側面画像を取得する。前記側面方向側とは、検査台の斜め上側の位置のことであり、側面撮像装置30が斜め方向から前記球体検査対象物を撮影することで球体の側面画像を取得する。前記側面撮像装置の撮影方向と、前記検査台の垂直方向または球体検査対象物がある平面の垂直角度は0度から180度の間であり、本発明ではこれを限定しない。側面撮像装置30は検査台10上の球体検査対象物BTを撮影する。側面撮像装置30はカラー撮影機などを含むが、これに限定しない。本発明の実施例においては、側面撮像装置30は平面スキャンカメラまたはラインスキャンカメラであるが、本発明ではこれらに限定しない。
The side
処理装置40は、コンピュータ、サーバ、自動コントロールデバイスまたはその他画像処理機能を備える装置または設備などでもよく、本発明ではこれらに限定しない。本発明の実施例において、処理装置40は、CPU41と、CPU41に合わせて設置されるストレージ42とを備える。本発明の実施例において、CPU41とストレージ42は共同でコンピュータまたは処理機として構成でき、例えばパーソナルコンピュータ、ワークステーション、またはその他の形式のコンピュータやCPUでもよく、ここではそれらの種類を限定しない。CPU41は例えばCPU(Central Processing Unit, CPU)、またはその他のプログラミングされた一般用もしくは特殊用途のマイクロプロセッサ(Microprocessor)、デジタルシグナルプロセッサ(Digital Signal Processor, DSP)、プログラマブルコントローラー、特殊用途向け集積回路(Application Specific Integrated Circuits, ASIC)、プログラマブルロジックデバイス(Programmable Logic Device, PLD)やこれらに類似する装置、もしくはそれらの組合せでもよい。
The
処理装置40は俯瞰撮像装置20及び側面撮像装置30から球体検査対象物BTの球体俯瞰画像及び球体側面画像を取得し、球体俯瞰画像と球体側面画像の画像特徴から球体頂上部特徴及び球体投影の境界線を定める。そして、前記球体頂上部特徴から球体のデータを取得し、そこから球体検査対象物BTの球体の高さを算出する。
The
本発明の実施例において、処理装置40は球体検査対象物BTの視覚的特徴を基準に前記球体頂上部特徴を設定する。例えば、球体投影の境界線を基準に被覆面積の比率に基づき球体頂上部特徴の位置、サイズ及び被覆範囲を設定し、または直接球体上にある印刷やインク跡、縞模様等を球体頂上部特徴とすることもできるが、本発明ではこれらに限定しない。
In the embodiment of the present invention, the
図3は本発明の球体の高さ計測システムの他の実施例の簡易的な外観を示す図である。この実施例に置いて、本発明は更に光源出力装置60を備える。光源出力装置60が球体検査対象物BTの頂上部に照射することで前記球体頂上部特徴を形成する。ここで述べる光源出力装置60は、本実施例においては俯瞰撮像装置に合わせて設置される同軸光源である。また同軸光源以外に、光源出力装置60は点光源または環形光源でもよく、光源の形態に関して本発明ではこれらに限定しない。また、光源が球体検査対象物BT上に照射する球体頂上部特徴の面積が小さいほど、球体の高さをより精密に求めることができる。
FIG. 3 is a diagram showing a simplified appearance of another embodiment of the height measuring system for a sphere of the present invention. In this embodiment, the present invention further comprises a light
上記に述べた方法により、球体俯瞰画像A1及び球体側面画像A2にそれぞれ球体頂上部特徴S1及び球体頂上部特徴S2を形成することができる。球体の高さを求める計算方式については、図4及び図5の本発明の球体俯瞰画像を示す図(一)及び本発明の球体側面画像を示す図(一)を併せて参照されたい。 By the method described above, the sphere top feature S1 and the sphere top feature S2 can be formed on the sphere bird's-eye view image A1 and the sphere side image A2, respectively. For the calculation method for determining the height of the sphere, refer to FIG. 4 and FIG. 5 showing a bird's-eye view image of the sphere and FIG. 5 showing a side image of the sphere of the present invention.
処理装置40は球体俯瞰画像A1及び球体側面画像A2から球体頂上部特徴を取得した後、球体俯瞰画像A1から球体頂上部特徴の幅Tと球体投影エリアBの幅を取得し、また球体側面画像A2から球体側面幅Sを取得して、これらの数値から球体の高さHを算出する。
The
球体俯瞰画像A1に関しては図4に示すように、処理装置40が球体俯瞰画像A1を取得した後、球体俯瞰画像A1上の球体頂上部特徴S1と球体投影の境界線E1の間を第一参考幅W1と定める。本発明の実施例においては、球体頂上部特徴S1の境界線と球体投影の境界線E1を通る線M1上に球体頂上部特徴S1境界線のサンプリングポイントSP1と球体投影の境界線E1のサンプリングポイントSP2を設定し、第一参考幅W1を取得する。同軸光源が出力されている状況において、球体検査対象物BTの底部に投影陰影エリアSH1が形成され、球体投影の境界線E1は球体の淵となる。
As for the sphere bird's-eye view image A1, as shown in FIG. 4, after the
球体側面画像A2に関しては図5に示すように、処理装置40が球体側面画像A2を取得した後、球体側面画像A2上の球体頂上部特徴S2と球体投影の境界線E2の間を第二参考幅W2と定める(図6に示す)。本発明の実施例においては、球体頂上部特徴S2と球体投影の境界線E2を通る線M2上に球体頂上部特徴S2境界線のサンプリングポイントSP3と球体投影の境界線E2のサンプリングポイントSP4を設定し、球体側面幅Sを取得し、更に球体側面幅Sから第二参考幅W2を取得する。本実施例において、球体投影の境界線E2は投影陰影エリアSH1を含む球体検査対象物BTの画像であり、サンプリングポイントSP4は投影陰影エリアSH1の境界線上でサンプルをとる。合理的な光学配置の状況においては、投影陰影エリアSH1で出る誤差を極めて小さくでき、または直接球体検査対象物BTの淵を球体投影の境界線E2とすることもできるが、本発明ではこれを限定しない。
As for the sphere side image A2, as shown in FIG. 5, after the
ここで特に説明しておくべきは、第一参考幅W1と第二参考幅W2は、俯瞰撮像装置20及び側面撮像装置30の撮影角度及び距離に基づき、公式及び変数に当てはめて修正を行なわなければならないが、この部分に関しては本発明が限定する範囲ではなく、ここでは詳しく言及しない。俯瞰撮像装置20は必ずしも完全に検査台10の表面と垂直にできるわけではなく、合理的な誤差の範囲内においてはこれを無視、もしくは公式及び変数による修正を行ってもよく、この部分に関しては本発明が限定する範囲ではなく、ここでは詳しく言及しない。
It should be particularly explained here that the first reference width W1 and the second reference width W2 should be modified by applying them to formulas and variables based on the shooting angles and distances of the bird's-eye view
球体の高さの計算方式については、図6の本発明の球体検査対象物の断面を示す図(一)を併せて参照されたい。本実施例において、側面撮像装置30の光軸方向OXと、球体検査対象物の球体頂上部特徴から球体投影の境界線を断面図上で連結した線CLがほぼ垂直にある状況下で、球体側面の幅S(図5に示す)の距離と比率を掛け合わせて第二参考幅W2を算出することができる。続いて第一参考幅W1及び第二参考幅W2から、球体の高さHを取得することができる。
For the calculation method of the height of the sphere, also refer to FIG. 6 (1) showing a cross section of the sphere inspection object of the present invention. In this embodiment, the sphere is in a situation where the optical axis direction OX of the side
処理装置40は球体俯瞰画像及び球体側面画像から球体検査対象物BTの第一参考幅W1及び第二参考幅W2を取得した後、ここから球体検査対象物BTの球体の高さHを取得することができる。処理装置40は第一参考幅W1、第二参考幅W2、球体の高さH間におけるピタゴラスの定理または三角関数に基づいて、球体検査対象物BTの球体の高さHを取得する。具体的に説明すると、処理装置40は以下の式から前記球体検査対象物の高さを得られる。
The
W22=W12+H2 W2 2 = W1 2 + H 2
球体頂上部特徴エリアS3の被覆面積が充分小さい状況においては、出てくる誤差を無視できる。 In the situation where the covering area of the feature area S3 on the top of the sphere is sufficiently small, the error that appears can be ignored.
図7は、本発明の球体検査対象物の断面を示す図(二)である。他の実施例において、側面撮像装置30の光軸方向OXと、球体検査対象物の球体頂上部特徴から球体投影の境界線を断面図上で連結した線が垂直にならない状況においては、側面撮像装置30の角度に基づき球体側面の幅PWを修正することで実際の第二参考幅W2を取得することができる。具体的に説明すると、処理装置40は第一参考幅、側面撮像装置30の撮影角度α、及び前記球体側面画像における球体頂上部特徴から球体投影の境界線の投影幅(すなわち前記球体側面の幅PW)に基づいて、球体検査対象物BTの球体の高さHを取得する。実際の計算過程においては球体側面画像の撮影角度αから投影角度Aを取得し、投影角度A、球体側面の幅S及び第一参考幅W1を利用して第二参考幅W2を算出し、最終的に第一参考幅W1と第二参考幅W2から球体の高さHを取得する。注意すべきなのは、球体検査対象物BTは対称又は非対称な形状なので、正確な数値を取得するため、第一参考幅W1及び第二参考幅W2は同一断面上の同じ側にある2つのデータに基づき計算をする(例えばサンプリングポイントSP2、サンプリングポイントSP4は球体検査対象物BTの同一の位置上にある)。本発明では球体検査対象物BTがほぼ対称である状況、または許容できる誤差内で実施することも排除せず、これらの実施例もまた本発明の範囲内であることをここに述べておく。
FIG. 7 is a diagram (2) showing a cross section of the sphere inspection object of the present invention. In another embodiment, in a situation where the optical axis direction OX of the side
本発明の他の実施例において、球体頂上部特徴の中心をサンプリングポイントに直接設定し球体の高さを計算することができる。図8及び図9、本発明の球体俯瞰画像を示す図(二)及び本発明の球体側面画像を示す図(二)を併せて参照されたい。 In another embodiment of the invention, the height of the sphere can be calculated by directly setting the center of the sphere top feature at the sampling point. Please also refer to FIGS. 8 and 9, a diagram (2) showing a bird's-eye view of the sphere of the present invention, and a diagram (2) showing a side image of the sphere of the present invention.
図8に示すように、処理装置40は球体俯瞰画像A1を取得した後、球体俯瞰画像A1上の球体頂上部特徴S1の中心と球体投影の境界線E1の間である第一参考幅W3を取得する。球体頂上部特徴S1の中心にサンプリングポイントSP5を設置し、球体投影の境界線E1上のサンプリングポイントSP6を球体投影の境界線E1上の任意の位置に設置し、サンプリングポイントSP5、SP6間の距離を計算することにより第一参考幅W3を取得する。同軸光源がある状況において、球体検査対象物BTの底部に投影陰影エリアSH2が形成され、球体投影の境界線E1が球体の淵となる。
As shown in FIG. 8, after acquiring the sphere bird's-eye view image A1, the
図9に示すように、処理装置40は球体俯瞰画像A2を取得した後、球体俯瞰画像A2上の球体頂上部特徴S2の中心と球体投影の境界線E2の間である第二参考幅W4を取得する。本発明の実施例においては、球体頂上部特徴S2の中心にサンプリングポイントSP7を設置し、球体俯瞰画像A2の球体の中央と球体頂上部特徴S2中央を通る線M3と、球体投影の境界線E2が交差する点をサンプリングポイントSP8とし、サンプリングポイントSP7、SP8間の距離を計算することにより球体側面の幅S’を取得する。更に球体側面の幅S’から第二参考幅W4を取得する。本実施例において、球体投影の境界線E2は投影陰影エリアSH2を含む球体検査対象物BTの画像であり、サンプリングポイントSP8は投影陰影エリアSH2の境界線上でサンプルをとる。合理的な光学配置の状況においては、投影陰影エリアSH2で出る誤差を極めて小さくでき、または直接球体検査対象物BTの淵を球体投影の境界線E2とすることもできるが、本発明ではこれを限定しない。
As shown in FIG. 9, after the
球体の高さの計算方法については、図10の本発明の球体検査対象物の断面を示す図(三)を併せて参照されたい。処理装置40が球体俯瞰画像及び球体側面画像から球体検査対象物BTの第一参考幅W3、第二参考幅W4を取得した後、ここから球体検査対象物BTの球体の高さHを取得することができる。処理装置40は以下の式から球体検査対象物BTの球体の高さを得られる。
For the method of calculating the height of the sphere, also refer to FIG. 10 (3) showing a cross section of the sphere inspection object of the present invention. After the
W42=W32+H2 W4 2 = W3 2 + H 2
この式のうち、W3は第一参考幅、W4は第二参考幅、Hは球体の高さを示す。 In this equation, W3 indicates the first reference width, W4 indicates the second reference width, and H indicates the height of the sphere.
ひとつ前の実施例同様、球体検査対象物BTは完全な対称形状だとは限らないので、正確な数値を取得するため、第一参考幅W3及び第二参考幅W4は同一断面上の同じ側にある2つのデータに基づき計算をする(例えばサンプリングポイントSP6、サンプリングポイントSP8は球体検査対象物BTの同一の位置上にある)。本発明では球体検査対象物BTがほぼ対称である状況、または許容できる誤差内で実施することも排除せず、これらの実施例もまた本発明の範囲内であることをここに述べておく。 As in the previous example, the sphere inspection object BT does not always have a perfectly symmetrical shape, so in order to obtain accurate values, the first reference width W3 and the second reference width W4 are on the same side on the same cross section. Calculation is performed based on the two data in (for example, sampling point SP6 and sampling point SP8 are on the same position of the sphere inspection object BT). It is noted here that the present invention does not rule out situations where the sphere test object BT is approximately symmetric or within acceptable error, and these examples are also within the scope of the present invention.
本発明の他の実施例は更に、球体の高さの計測方法を提供する。図11は本発明の球体の高さ計測方法の実施例を示すフローチャートである。前記計測方法は以下のステップを含む。 Other embodiments of the present invention further provide a method for measuring the height of a sphere. FIG. 11 is a flowchart showing an embodiment of the height measuring method for a sphere of the present invention. The measurement method includes the following steps.
球体俯瞰画像及び球体側面画像を処理装置が受信した後、球体俯瞰画像及び球体側面画像上に、球体頂上部特徴と球体投影の境界線を定める(ステップS21)。この実施例において、ステップS21では更に光源を利用し前記球体検査対象物の頂上部を照射することで前記球体頂上部特徴を形成することができる。他の実施例においては、ステップS21は更に球体検査対象物の視覚的特徴を基準とし、前記球体俯瞰画像及び前記球体側面画像に前記球体頂上部特徴を生成することができる。 After the processing device receives the sphere bird's-eye view image and the sphere side view image, the boundary line between the sphere top top feature and the sphere projection is determined on the sphere bird's-eye view image and the sphere side view image (step S21). In this embodiment, in step S21, the sphere top feature can be formed by irradiating the top of the sphere inspection object with a light source. In another embodiment, step S21 can further generate the sphere top feature in the sphere bird's-eye view image and the sphere side image based on the visual feature of the sphere inspection object.
続いて、処理装置は前記球体俯瞰画像上に前記球体頂上部特徴から球体投影の境界線までの間の第一参考幅を定める(ステップS22)。一方で、処理装置は前記球体側面画像上に前記球体頂上部特徴から球体投影の境界線までの間の第二参考幅を定める(ステップS23)。本発明における実施例においては、前記第一参考幅は球体俯瞰画像中における前記球体頂上部特徴の境界線から前記球体投影の境界線までの距離であり、前記第二参考幅は球体側面画像中における前記球体頂上部特徴の境界線から前記球体投影の境界線までの距離である。また他の実施例においては、前記第一参考幅は前記球体俯瞰画像中における前記球体頂上部特徴の中心から前記球体投影の境界線までの距離であり、前記第二参考幅は前記球体側面画像中における前記球体頂上部特徴の中心から前記球体投影の境界線までの距離である。 Subsequently, the processing device determines a first reference width between the feature on the top of the sphere and the boundary line of the projection of the sphere on the bird's-eye view image of the sphere (step S22). On the other hand, the processing apparatus determines a second reference width between the feature on the top of the sphere and the boundary line of the projection of the sphere on the side image of the sphere (step S23). In the embodiment of the present invention, the first reference width is the distance from the boundary line of the top feature of the sphere to the boundary line of the projection of the sphere in the bird's-eye view image of the sphere, and the second reference width is in the side image of the sphere. Is the distance from the boundary line of the sphere top feature in the above to the boundary line of the sphere projection. In another embodiment, the first reference width is the distance from the center of the sphere top feature in the sphere bird's-eye view image to the boundary line of the sphere projection, and the second reference width is the sphere side image. It is the distance from the center of the sphere top feature in the inside to the boundary line of the sphere projection.
上記に述べたステップS22及びステップS23には前後の順序の決まりはなく、先にステップS22を実行しその後ステップS23を実行してもよく、またステップS22、ステップS23を同時に実行してもよく、本発明ではこれを限定しない。 The order of steps S22 and S23 described above is not determined before and after, and step S22 may be executed first and then step S23 may be executed, or steps S22 and S23 may be executed at the same time. The present invention does not limit this.
最後に、処理装置は前記第一参考幅及び前記第二参考幅から前記球体検査対象物の球体の高さを取得する(ステップS24)。この実施例において、前記処理装置は前記第一参考幅と前記球体側面画像の撮影角度、及び前記球体側面画像中の球体頂上部特徴から球体投影の境界線の投影幅に基づいて、前記球体検査対象物の球体の高さを取得する。この中で、前記球体検査対象物の球体の高さは、前記第一参考幅、前記第二参考幅と前記球体の高さ間におけるピタゴラスの定理または三角関数によって取得される。具体的に説明すると、前記球体検査対象物の高さは以下の式から算出することができる。 Finally, the processing apparatus acquires the height of the sphere of the sphere inspection object from the first reference width and the second reference width (step S24). In this embodiment, the processing apparatus inspects the sphere based on the first reference width, the shooting angle of the side image of the sphere, and the projection width of the boundary line of the projection of the sphere from the feature of the top of the sphere in the side image of the sphere. Get the height of the sphere of the object. Among them, the height of the sphere of the object to be inspected by the sphere is obtained by the Pythagorean theorem or trigonometric function between the first reference width, the second reference width and the height of the sphere. Specifically, the height of the sphere inspection object can be calculated from the following formula.
W22=W12+H2 W2 2 = W1 2 + H 2
この式のうち、W1は前記第一参考幅、W2は前記第二参考幅、Hは前記球体の高さである。本発明の実施例において、第二参考幅W2は、前記球体側面画像における球体頂上の特徴から球体投影の境界線の投影までの幅を、前記球体側面画像の角度及び第一参考幅W1に基づき修正することで取得できる。 In this formula, W1 is the first reference width, W2 is the second reference width, and H is the height of the sphere. In the embodiment of the present invention, the second reference width W2 is the width from the feature of the sphere top in the sphere side image to the projection of the boundary line of the sphere projection based on the angle of the sphere side image and the first reference width W1. It can be obtained by modifying it.
上述の方法は、コンピュータで読み取り可能な記録媒体により実施が可能である。ここで述べるコンピュータで読み取り可能な記録媒体とは、例えば読み出し専用メモリ(リードオンリーメモリー、ROM)、フラッシュメモリ、ハードディスクドライブ(HDD)、フロッピーディスク、光ディスク、USBメモリ、磁気テープ、ネットワークアクセスが可能なデータベース、または当業者が容易に想到できる同等の機能を持ったストレージ媒体である。処理装置またはコンピュータがプログラムを読み込み実行した後、上述のステップS21からステップS24を経て球体の高さの計測方法を完了することができる。 The above method can be carried out using a computer-readable recording medium. The computer-readable recording medium described here includes, for example, read-only memory (read-only memory, ROM), flash memory, hard disk drive (HDD), floppy disk, optical disk, USB memory, magnetic tape, and network access. It is a database or a storage medium with equivalent functions that can be easily conceived by those skilled in the art. After the processing device or the computer reads and executes the program, the method of measuring the height of the sphere can be completed from step S21 to step S24 described above.
上述の方法は、コンピュータ読み取り可能な記録媒体以外に、ネットワークサーバ上のHDDやストレージデバイス、例えばapp store、google play、windowsストアまたはその他類似のプログラムリリースプラットフォームに発行されるコンピュータプログラム製品としても実施が可能であり、コンピュータプログラムがサーバにアップロードされた後、使用者が購入し処理装置またはコンピュータにダウンロードすることで実行可能である。 In addition to computer-readable recording media, the methods described above can also be implemented as computer program products published to HDDs and storage devices on network servers, such as appstore, group play, windows stores or other similar program release platforms. It is possible, and after the computer program is uploaded to the server, it can be executed by the user purchasing it and downloading it to the processing device or computer.
以上に述べたとおり、本発明は現有の自動光学計測設備にある撮影機を用いて、球体検査対象物または検査対象物上の球体部分の検査を行い、球体の高さ及びその他の参考データを計測することができる。 As described above, the present invention uses a camera in an existing automatic optical measurement facility to inspect a sphere to be inspected or a sphere on the inspected object, and obtains the height of the sphere and other reference data. Can be measured.
以上が本発明における詳細の説明である。ここに述べられたものは、本発明における好ましい実施例であり、本発明の範囲を限定するものではなく、本発明の請求の範囲に対し行われる変更や内容の追加もまた本発明の請求の範囲内である。 The above is a detailed description of the present invention. What is described herein is a preferred embodiment of the invention, which does not limit the scope of the invention, and any changes or additions made to the claims of the invention are also claims of the invention. It is within the range.
100 球体の高さ計測システム
10 検査台
20 俯瞰撮像装置
30 側面撮像装置
40 処理装置
41 CPU
42 ストレージ
50 撮影機移動装置
60 光源出力装置
BT 球体検査対象物
A1 球体俯瞰画像
S1 球体頂上部特徴
E1 球体投影の境界線
SH1 投影陰影エリア
W1 第一参考幅
M1 線
SP1 サンプリングポイント
SP2 サンプリングポイント
W3 第一参考幅
SP5 サンプリングポイント
SP6 サンプリングポイント
A2 球体側面画像
S2 球体頂上部特徴
E2 球体投影の境界線
SH2 投影陰影エリア
W2 第二参考幅
M2 線
SP3 サンプリングポイント
SP4 サンプリングポイント
W4 第二参考幅
SP7 サンプリングポイント
SP8 サンプリングポイント
M3 線
OX 光軸方向
CL 線
S 球体側面の幅
PW 球体側面の幅
α 撮影角度
A 投影角度
H 球体の高さ
S11-S16 ステップ
S21―S24 ステップ
100 Sphere
42
Claims (15)
球体俯瞰画像と球体側面画像上に球体頂上部特徴と球体投影の境界線を定めることと、
前記球体俯瞰画像上の前記球体頂上部特徴と前記球体投影の境界線の間を第一参考幅と定めることと、
前記球体側面画像上の前記球体頂上部特徴と前記球体投影の境界線の間を第二参考幅と定めることと、
前記第一参考幅と前記第二参考幅から前記球体検査対象物の球体の高さを取得すること
を含むことを特徴とする球体の高さ計測方法。 Sphere inspection A method for measuring the height of a sphere for measuring an object.
To define the boundary line between the sphere top feature and the sphere projection on the sphere bird's-eye view image and the sphere side image,
The first reference width is defined between the feature of the top of the sphere on the bird's-eye view image of the sphere and the boundary line of the projection of the sphere.
The second reference width is defined between the feature of the top of the sphere on the side image of the sphere and the boundary line of the projection of the sphere.
A method for measuring a height of a sphere, which comprises acquiring the height of the sphere of the sphere inspection object from the first reference width and the second reference width.
球体検査対象物の俯瞰画像を撮影し、球体の俯瞰画像を取得する俯瞰撮像装置と、
球体検査対象物の側面画像を撮影し、球体の側面画像を取得する側面撮像装置と、
前記俯瞰撮像装置と前記側面撮像装置に電気的に接続され、前記球体の俯瞰画像及び前記球体の側面画像上に球体頂上部特徴と球体投影の境界線を定める処理装置とを備え、
前記処理装置は前記球体俯瞰画像上の前記球体頂上部特徴と前記球体投影の境界線の間を第一参考幅と定め、また前記球体俯側面画像上の前記球体頂上部特徴と前記球体投影の境界線の間を第二参考幅と定めることで、球体検査対象物の高さを取得することを特徴とする球体の高さ計測システム。 It is a height measurement system for spheres.
A bird's-eye view imager that takes a bird's-eye view of an object to be inspected and acquires a bird's-eye view of the sphere.
A side imager that takes a side image of an object to be inspected and acquires a side image of the sphere,
It is electrically connected to the bird's-eye view image pickup device and the side view image pickup device, and is provided with a processing device that defines a boundary line between a sphere top feature and a sphere projection on the bird's-eye view image of the sphere and the side view image of the sphere.
The processing device defines a first reference width between the sphere top feature on the sphere bird's-eye view image and the boundary line of the sphere projection, and the sphere top feature and the sphere projection on the sphere side image. A sphere height measurement system characterized by acquiring the height of a sphere inspection object by defining the space between the boundary lines as the second reference width.
The first reference width is the distance from the center of the sphere top feature in the sphere bird's-eye view image to the boundary line of the sphere projection, and the second reference width is the distance of the sphere top feature in the sphere side image. The height measuring system for a sphere according to claim 9, wherein the distance is from the center to the boundary line of the sphere projection.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW109130168A TWI735330B (en) | 2020-09-03 | 2020-09-03 | Sphere height measurement system and method |
TW109130168 | 2020-09-03 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022042975A true JP2022042975A (en) | 2022-03-15 |
JP7116230B2 JP7116230B2 (en) | 2022-08-09 |
Family
ID=78283084
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021134576A Active JP7116230B2 (en) | 2020-09-03 | 2021-08-20 | Spherical height measurement system and method |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP7116230B2 (en) |
KR (1) | KR102558069B1 (en) |
CN (1) | CN114140372A (en) |
TW (1) | TWI735330B (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09304030A (en) * | 1996-05-20 | 1997-11-28 | Komatsu Ltd | Instrument for inspecting terminal of semiconductor package |
JPH1123234A (en) * | 1997-06-30 | 1999-01-29 | Just:Kk | Method and instrument for measuring height of solder ball of bga |
JPH11230718A (en) * | 1998-02-10 | 1999-08-27 | Techno Horon:Kk | Ball height measuring method of ball grid array |
JP2002267415A (en) * | 2001-03-08 | 2002-09-18 | Nec Corp | Semiconductor measuring instrument |
JP2002333308A (en) * | 2001-05-09 | 2002-11-22 | Ibiden Co Ltd | Bump height inspection method and inspection apparatus |
US20090123060A1 (en) * | 2004-07-29 | 2009-05-14 | Agency For Science, Technology And Research | inspection system |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2277855A1 (en) | 1999-07-14 | 2001-01-14 | Solvision | Method and system of measuring the height of weld beads in a printed circuit |
JP2010237189A (en) * | 2009-03-11 | 2010-10-21 | Fujifilm Corp | Three-dimensional shape measuring method and device |
KR101097716B1 (en) * | 2009-05-20 | 2011-12-22 | 에스엔유 프리시젼 주식회사 | Method for measuring three-dimensional shape |
-
2020
- 2020-09-03 TW TW109130168A patent/TWI735330B/en active
-
2021
- 2021-06-09 CN CN202110642042.5A patent/CN114140372A/en active Pending
- 2021-08-20 JP JP2021134576A patent/JP7116230B2/en active Active
- 2021-08-24 KR KR1020210111948A patent/KR102558069B1/en active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09304030A (en) * | 1996-05-20 | 1997-11-28 | Komatsu Ltd | Instrument for inspecting terminal of semiconductor package |
JPH1123234A (en) * | 1997-06-30 | 1999-01-29 | Just:Kk | Method and instrument for measuring height of solder ball of bga |
JPH11230718A (en) * | 1998-02-10 | 1999-08-27 | Techno Horon:Kk | Ball height measuring method of ball grid array |
JP2002267415A (en) * | 2001-03-08 | 2002-09-18 | Nec Corp | Semiconductor measuring instrument |
JP2002333308A (en) * | 2001-05-09 | 2002-11-22 | Ibiden Co Ltd | Bump height inspection method and inspection apparatus |
US20090123060A1 (en) * | 2004-07-29 | 2009-05-14 | Agency For Science, Technology And Research | inspection system |
Also Published As
Publication number | Publication date |
---|---|
TW202210785A (en) | 2022-03-16 |
JP7116230B2 (en) | 2022-08-09 |
KR20220030886A (en) | 2022-03-11 |
KR102558069B1 (en) | 2023-07-20 |
CN114140372A (en) | 2022-03-04 |
TWI735330B (en) | 2021-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6307367B2 (en) | Mask inspection apparatus, mask evaluation method and mask evaluation system | |
JP6251647B2 (en) | Mask inspection apparatus and mask inspection method | |
JP5109633B2 (en) | Measuring method and inspection method, measuring device and inspection device | |
JP7135418B2 (en) | FLATNESS DETECTION METHOD, FLATNESS DETECTION APPARATUS AND FLATNESS DETECTION PROGRAM | |
CN113474618B (en) | System and method for object inspection using multispectral 3D laser scanning | |
JP4610590B2 (en) | X-ray inspection apparatus, X-ray inspection method, and X-ray inspection program | |
US9530202B2 (en) | Inspection apparatus and inspection method | |
JP4834373B2 (en) | X-ray inspection apparatus, X-ray inspection method, and X-ray inspection program | |
JP4580266B2 (en) | X-ray inspection apparatus, X-ray inspection method, and X-ray inspection program | |
JP2006276454A (en) | Image correcting method and pattern defect inspecting method using same | |
JP2011075470A (en) | Image processing program, image processing method, and image processing device | |
TWI663392B (en) | System and method for wafer edge inspection with trajectory following edge profile | |
KR101344817B1 (en) | Apparatus for reticle having function for inspecting pellicle frame | |
JP2006162335A (en) | X-ray inspection device, x-ray inspection method and x-ray inspection program | |
JP2022042975A (en) | Height measurement system and method for sphere | |
JP2009222516A (en) | Edge inspection apparatus and edge inspection method | |
TW201317587A (en) | Dimension measuring device and method thereof | |
JP2005274256A (en) | Surface inspection method | |
KR102059139B1 (en) | Vision inspection method | |
JP4636500B2 (en) | X-ray inspection apparatus, X-ray inspection method, and X-ray inspection program | |
KR101028335B1 (en) | Inspecting apparatus for wire | |
TWI740266B (en) | Apparatus and method for inspecting bonded semiconductor dice | |
TWM445688U (en) | Up and down alignment inspection system | |
JP2006177760A (en) | X-ray inspection device, x-ray inspection method, and x-ray inspection program | |
JP2000124697A (en) | Electrode height inspection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210820 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220712 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220719 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220728 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7116230 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |