JP2021117157A - 三次元形状計測装置、三次元形状計測方法及びプログラム - Google Patents
三次元形状計測装置、三次元形状計測方法及びプログラム Download PDFInfo
- Publication number
- JP2021117157A JP2021117157A JP2020011895A JP2020011895A JP2021117157A JP 2021117157 A JP2021117157 A JP 2021117157A JP 2020011895 A JP2020011895 A JP 2020011895A JP 2020011895 A JP2020011895 A JP 2020011895A JP 2021117157 A JP2021117157 A JP 2021117157A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional shape
- measurement target
- pattern
- image
- shape measuring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000005259 measurement Methods 0.000 claims abstract description 131
- 238000005286 illumination Methods 0.000 claims description 33
- 239000003086 colorant Substances 0.000 claims description 7
- 230000001678 irradiating effect Effects 0.000 claims description 6
- 238000000691 measurement method Methods 0.000 claims description 2
- 229910000679 solder Inorganic materials 0.000 description 41
- 238000007689 inspection Methods 0.000 description 34
- 239000000758 substrate Substances 0.000 description 33
- 230000010365 information processing Effects 0.000 description 28
- 230000010363 phase shift Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 239000002131 composite material Substances 0.000 description 8
- 238000000605 extraction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002950 deficient Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 238000009736 wetting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2518—Projection by scanning of the object
- G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
Abstract
Description
特徴とする。
と、前記複数のパターン投影画像を構成する各画素の特徴量の差に基づいて得られる前記傾斜の方向が、異なる色及び/又は模様により識別可能に表示分けされた画像であってもよい。
(適用例の構成)
本発明は例えば、図1に示すような三次元形状測定装置に適用することができる。図1は本適用例に係る三次元形状測定装置9の構成を示す模式図である。三次元形状測定装置9は、計測対象Oの三次元形状を測定する装置であり、図1に示すように主な構成として投影手段としてのプロジェクタ91aおよび91b、撮影手段としてのカメラ92、測定手段としての情報処理装置93(例えばコンピュータ)、を有している。計測対象Oには、傾斜を有する立体的な部位OPが含まれる。
ィスクドライブ、フラッシュメモリなど)、入力装置(例えば、キーボード、マウス、タッチパネルなど)、表示装置(例えば、液晶ディスプレイなど)を備えるコンピュータにより構成することができる。
数枚の画像をカメラ92によって撮影し、撮影された画像を情報処理装置93が、例えば位相シフト法などによって処理することで、計測対象Oの三次元形状を計測する。
続いて、情報処理装置93の三次元形状計測に関わる機能を説明する。情報処理装置93は、三次元形状計測に関わる機能モジュールとして、画像取得部931、高さデータ算出部932、特徴量抽出部933、特徴量比較部934、合成データ作成部935、三次元形状計測部936、を有している。
次に、図2を参照して、本適用例における三次元形状計測の手順について説明する。ま
ず、情報処理装置93はプロジェクタ91aを制御し、計測対象Oを中心とする円周上の第一の方向から、計測対象Oに対してパターンaを投影する(ステップS901)。次に、情報処理装置93は、カメラ92を制御して、第一の方向からパターンa光が照射されている状態の計測対象Oを撮影し、観測画像aを取得する(ステップS902)。
次に、本発明を実施するための形態の他の例である基板検査装置1について説明する。ただし、この実施形態に記載されている構成部品の寸法、材質、形状、その相対配置などは、特に記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。
図3を参照して、本発明の実施形態に係る基板検査装置の全体構成について説明する。図3は基板検査装置のハードウェア構成を示す模式図である。この基板検査装置1は、表面実装ラインにおける基板外観検査(例えば、リフロー後のはんだ接合状態の検査など)に利用される。
の照明光を照射する照明手段である。図3は照明装置111のXZ断面を模式的に示したものであり、実際には、同じ色の光を全方位(Z軸回りの全方向)から照明可能なように照明装置111は円環状又はドーム形状を呈している。プロジェクタ112a,bは、基板Kに対し所定のパターンをもつパターン光を投影するパターン投影手段である。プロジェクタ112は、照明装置111の中腹に設けられた開口を通してパターン光を投射する。本実施形態では、基板Kを挟んで対角の位置に2つのプロジェクタ112を配置しているが、これ以上のプロジェクタを設けてもよい。照明装置111とプロジェクタ112はいずれもカメラ110で基板Kを撮影するときに用いられる照明系であるが、照明装置111ははんだなどの鏡面物体の表面形状を計測する目的で用いられ、プロジェクタ112は部品などの拡散物体の表面形状を計測する目的で用いられる。
図4は、情報処理装置13が提供する検査処理に関わる機能モジュールの構成を示すブロック図である。これらの機能モジュールは、情報処理装置13のCPUが補助記憶装置に格納されたプログラムを読み込み実行することにより実現されるものである。ただし、全部又は一部の機能をASICやFPGAなどの回路で構成してもよい。
はんだKHの三次元形状の計測には、いわゆるカラーハイライト方式で得られる画像を利用する。カラーハイライト方式とは、複数の色(即ち、波長)の光を互いに異なる入射角で基板に照射し、はんだ表面にその法線方向に応じた色特徴(即ち、カメラから見て正反射方向にある光源の色)が現れるようにした状態で撮影を行うことにより、はんだ表面の三次元形状を二次元の色相情報として捉える方法である。画像の中から、R、G、Bの光源色が現れている領域のみを抽出して、R、G、Bの各領域の形状、幅、順番に基づいて、はんだ三次元形状を復元することができる。なお、三次元形状の復元には公知の手法を用いることができるため、ここでは詳しい説明を省略する。
一方、拡散物体である部品KBの三次元形状の計測には、位相シフト法を利用する。位相シフト法とは、パターン光を物体表面に投影したときのパターンの歪みを解析することにより物体表面の三次元形状を復元する手法の一つである。具体的には、プロジェクタ112a,bを用いて、所定のパターン(例えば、輝度が正弦波状に変化する縞状パターン)を基板に投影した状態でカメラ110で撮影を行う。そうすると基板Kの表面には、その凹凸に応じたパターンの歪みが現れる。この処理を、パターン光の輝度変化の位相を変化させながら複数回繰り返すことで、輝度特徴の異なる複数枚の画像(以下、パターン解析画像という)が得られる。各画像の同一画素の輝度は縞状パターンの変化と同一の周期で変化するはずであるから、各画素の輝度の変化に対して正弦波を当てはめることで、各画素の位相が分かる。そして、所定の基準位置(テーブル表面、基板表面など)の位相に
対する位相差を求めることで、その基準位置からの距離(即ち、高さ)を算出することができる。なお、プロジェクタ112aで投影したパターンをパターンa、プロジェクタ112bで投影したパターンをパターンbといい、それぞれのパターンを撮影した画像を観測画像a,観測画像bという。
次に、図7を用いて、基板検査装置1で行われる検査処理の流れを説明する。図7は、検査処理の流れを示すフローチャートである。
上記実施形態は、本発明を例示的に説明するものに過ぎず、本発明は上記の具体的な形態には限定されない。本発明はその技術的思想の範囲内で種々の変形が可能である。例えば、上記の実施形態1においてはカラーハイライト画像に基づいて鏡面物体の三次元形状を、パターン投影画像に基づいて拡散物体の三次元形状をそれぞれ計測するようにしていたが、必ずしもこのようにする必要はなく、各画像に基づいて計測対象全体の形状を計測するためのプロファイルデータ2つを作成したうえで、これらのデータを合成するようにしてもよい。また、実施形態1においては、プロジェクタは固定されていたが、プロジェクタを鉛直軸回りに回転可能に構成するようにしてもよい。また、このような場合には、プロジェクタの数を一つとすることができる。
本発明の一の態様は、計測対象(O)に対して、前記計測対象に対する鉛直軸回りの角度が異なる複数の方向からパターン光を投影する投影手段(91a,91b)と、前記計
測対象を撮影する撮影手段(92)と、前記撮影手段によって撮影された画像に基づいて、前記計測対象の三次元形状を計測する計測手段(93)と、を有する三次元形状計測装置であって、
前記撮影手段は、前記複数の方向からパターン光が投影された複数の画像であって、前記計測対象において傾斜を有する部位における前記パターン光の強度を含む反射の態様が異なる複数のパターン投影画像を取得し、
前記計測手段は、前記複数のパターン投影画像を構成する各画素における所定の特徴量の各画像間の相違に基づいて、前記傾斜の方向を計測する、ことを特徴とする、三次元形状計測装置である。
9・・・三次元形状計測装置
10・・・ステージ
11・・・検査ユニット
110、92・・・カメラ
111、91・・・照明装置
12・・・制御装置
13、93・・・情報処理装置
14・・・表示装置
K・・・基板
O・・・計測対象物
Claims (11)
- 計測対象に対して、前記計測対象に対する鉛直軸回りの角度が異なる複数の方向からパターン光を投影する投影手段と、
前記計測対象を撮影する撮影手段と、
前記撮影手段によって撮影された画像に基づいて、前記計測対象の三次元形状を計測する計測手段と、を有する三次元形状計測装置であって、
前記撮影手段は、前記複数の方向からパターン光が投影された複数の画像であって、前記計測対象において傾斜を有する部位における前記パターン光の強度を含む反射の態様が異なる複数のパターン投影画像を取得し、
前記計測手段は、前記複数のパターン投影画像を構成する各画素における所定の特徴量の各画像間の相違に基づいて、前記傾斜の方向を計測する、
ことを特徴とする、三次元形状計測装置。 - 前記投影手段は、前記計測対象を中心とする一の円周上において、少なくとも前記計測対象を中心として対向する複数の異なる位置から、前記計測対象に対して前記パターン光を投影することによって、前記複数の方向からパターン光を投影する、
ことを特徴とする、請求項1に記載の三次元形状計測装置。 - 前記投影手段は、前記計測対象を中心とする円周方向に回動可能に配置されて、前記計測対象を中心とする一の円周上の複数の異なる位置から前記計測対象に対してパターン光を投影することによって、前記複数の方向からパターン光を投影する、
ことを特徴とする、請求項1又は2に記載の三次元形状計測装置。 - 前記投影手段は、前記計測対象を中心として一の円周上の複数の異なる位置に、複数配置され、それぞれが前記計測対象にパターン光を投影することによって、前記複数の方向からパターン光を投影する、
ことを特徴とする、請求項1又は2に記載の三次元形状計測装置。 - 前記計測対象に対して、鉛直方向から水平方向の間における複数の異なる角度から、それぞれ異なる波長の照明光を照射する照明手段をさらに有しており、
前記撮影手段は、前記照明光が照射された前記計測対象の照明光照射画像をさらに取得し、
前記計測手段は、前記照明光照射画像における前記照明光の強度又は波長のいずれかを含む反射の態様から前記傾斜の程度をさらに計測する、
ことを特徴とする、請求項1から4のいずれか一項に記載の三次元形状計測装置。 - 前記撮影手段が取得した前記照明光照射画像、及び、前記複数のパターン投影画像から作成される特殊画像を表示する画像表示手段をさらに有しており、
前記特殊画像は、前記照明光照射画像から得られる前記傾斜の有無及び程度と、前記複数のパターン投影画像を構成する各画素の特徴量の差に基づいて得られる前記傾斜の方向が、異なる色及び/又は模様により識別可能に表示分けされた画像である、
ことを特徴とする、請求項5に記載の三次元形状計測装置。 - 計測対象に対して、前記計測対象に対する鉛直軸回りの角度が異なる複数の方向からパターン光を投影する投影ステップと、
前記計測対象を撮影する撮影ステップと、
前記撮影ステップで撮影された画像に基づいて、前記計測対象の三次元形状を計測する計測ステップと、を有する三次元形状計測方法であって、
前記撮影ステップでは、前記複数の方向からパターン光が投影された複数の画像であっ
て、前記計測対象において傾斜を有する部位における前記パターン光の強度を含む反射の態様が異なる複数のパターン投影画像を取得し、
前記計測ステップでは、前記複数のパターン投影画像を構成する各画素における所定の特徴量の各画像間の相違に基づいて、前記傾斜の方向を計測する、
ことを特徴とする、三次元形状計測方法。 - 前記投影ステップでは、少なくとも前記計測対象を中心として対向する複数の異なる位置から、前記計測対象に対して前記パターン光を投影することによって、前記複数の方向からパターン光を投影する、
ことを特徴とする、請求項7に記載の三次元形状計測方法。 - 前記計測対象に対して、鉛直方向から水平方向の間における複数の異なる角度から、それぞれ異なる波長の照明光を照射する照明ステップをさらに有しており、
前記撮影ステップでは、前記照明光が照射された前記計測対象の照明光照射画像をさらに取得し、
前記計測ステップでは、前記照明光照射画像における前記照明光の強度又は波長のいずれかを含む反射の態様から前記傾斜の程度をさらに計測する、
ことを特徴とする、請求項7又は8に記載の三次元形状計測方法。 - 前記撮影ステップで取得した前記照明光照射画像、及び、前記複数のパターン投影画像から作成される特殊画像を表示する画像表示ステップをさらに有しており、
前記特殊画像は、前記照明光照射画像から得られる前記傾斜の有無及び程度と、前記複数のパターン投影画像を構成する各画素の特徴量の差に基づいて得られる前記傾斜の方向が、異なる色及び/又は模様により識別可能に表示分けされた画像である、
ことを特徴とする、請求項9に記載の三次元形状計測方法。 - 請求項7から10のいずれか一項に記載の各ステップを、三次元形状計測装置に実行させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020011895A JP7459525B2 (ja) | 2020-01-28 | 2020-01-28 | 三次元形状計測装置、三次元形状計測方法及びプログラム |
PCT/JP2020/046679 WO2021153057A1 (ja) | 2020-01-28 | 2020-12-15 | 三次元形状計測装置、三次元形状計測方法及びプログラム |
DE112020006612.6T DE112020006612T5 (de) | 2020-01-28 | 2020-12-15 | Vorrichtung zur messung dreidimensionaler form, verfahren zur messung dreidimensionaler form und programm |
CN202080090621.7A CN114867985A (zh) | 2020-01-28 | 2020-12-15 | 三维形状计测装置、三维形状计测方法及程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020011895A JP7459525B2 (ja) | 2020-01-28 | 2020-01-28 | 三次元形状計測装置、三次元形状計測方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021117157A true JP2021117157A (ja) | 2021-08-10 |
JP7459525B2 JP7459525B2 (ja) | 2024-04-02 |
Family
ID=77079296
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020011895A Active JP7459525B2 (ja) | 2020-01-28 | 2020-01-28 | 三次元形状計測装置、三次元形状計測方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP7459525B2 (ja) |
CN (1) | CN114867985A (ja) |
DE (1) | DE112020006612T5 (ja) |
WO (1) | WO2021153057A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003172709A (ja) * | 2001-12-06 | 2003-06-20 | Asia Electronics Inc | 検査装置 |
US20050238237A1 (en) * | 2004-04-23 | 2005-10-27 | 3D-Shape Gmbh | Method and apparatus for determining the shape and the local surface normals of specular surfaces |
JP2008216180A (ja) * | 2007-03-07 | 2008-09-18 | Omron Corp | 表面状態検査方法および表面状態検査装置 |
JP2016011857A (ja) * | 2014-06-27 | 2016-01-21 | オムロン株式会社 | 基板検査装置及びその制御方法 |
JP2018046679A (ja) * | 2016-09-15 | 2018-03-22 | トヨタ自動車株式会社 | 車載電池システムの制御方法 |
JP2019120643A (ja) * | 2018-01-10 | 2019-07-22 | オムロン株式会社 | 画像処理システム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6848385B2 (ja) | 2016-11-18 | 2021-03-24 | オムロン株式会社 | 三次元形状計測装置 |
-
2020
- 2020-01-28 JP JP2020011895A patent/JP7459525B2/ja active Active
- 2020-12-15 WO PCT/JP2020/046679 patent/WO2021153057A1/ja active Application Filing
- 2020-12-15 CN CN202080090621.7A patent/CN114867985A/zh active Pending
- 2020-12-15 DE DE112020006612.6T patent/DE112020006612T5/de active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003172709A (ja) * | 2001-12-06 | 2003-06-20 | Asia Electronics Inc | 検査装置 |
US20050238237A1 (en) * | 2004-04-23 | 2005-10-27 | 3D-Shape Gmbh | Method and apparatus for determining the shape and the local surface normals of specular surfaces |
JP2008216180A (ja) * | 2007-03-07 | 2008-09-18 | Omron Corp | 表面状態検査方法および表面状態検査装置 |
JP2016011857A (ja) * | 2014-06-27 | 2016-01-21 | オムロン株式会社 | 基板検査装置及びその制御方法 |
JP2018046679A (ja) * | 2016-09-15 | 2018-03-22 | トヨタ自動車株式会社 | 車載電池システムの制御方法 |
JP2019120643A (ja) * | 2018-01-10 | 2019-07-22 | オムロン株式会社 | 画像処理システム |
Also Published As
Publication number | Publication date |
---|---|
CN114867985A (zh) | 2022-08-05 |
JP7459525B2 (ja) | 2024-04-02 |
WO2021153057A1 (ja) | 2021-08-05 |
DE112020006612T5 (de) | 2022-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6507653B2 (ja) | 検査装置及び検査装置の制御方法 | |
CN105372259B (zh) | 测量装置、基板检查装置以及其控制方法、存储媒体 | |
US10796428B2 (en) | Inspection system and inspection method | |
JP6330574B2 (ja) | 基板検査装置のティーチング装置及びティーチング方法 | |
JP6791631B2 (ja) | 画像生成方法及び検査装置 | |
JP6939641B2 (ja) | 画像検査装置および画像検査方法 | |
JP2012047673A (ja) | 検査装置及び検査方法 | |
JP2016011857A (ja) | 基板検査装置及びその制御方法 | |
WO2021153057A1 (ja) | 三次元形状計測装置、三次元形状計測方法及びプログラム | |
JP5867123B2 (ja) | 3次元形状計測装置およびキャリブレーション方法 | |
WO2021153056A1 (ja) | 三次元形状計測装置、三次元形状計測方法及びプログラム | |
WO2021053852A1 (ja) | 外観検査装置、外観検査装置の較正方法及びプログラム | |
CN115809984A (zh) | 利用颜色通道的工件检查和缺陷检测系统 | |
EP3070432B1 (en) | Measurement apparatus | |
WO2019117802A1 (en) | A system for obtaining 3d images of objects and a process thereof | |
CN112815846A (zh) | 一种2d、3d复合的高精度视觉装置及测量方法 | |
KR102171773B1 (ko) | 검사 영역 결정 방법 및 이를 이용하는 외관 검사 장치 | |
CN114450579A (zh) | 图像处理系统、设定方法和程序 | |
CN214333663U (zh) | 一种2d、3d复合的高精度视觉装置 | |
KR20170124509A (ko) | 검사 시스템 및 검사 방법 | |
JP7062798B1 (ja) | 検査システム及び検査方法 | |
CN117092105A (zh) | 一种兼容光度立体法和相位偏折法的物体表面特征检测装置及检测方法 | |
CN113483892A (zh) | 一种多光谱影像测量系统和方法 | |
CN114746716A (zh) | 形状复原方法和图像测量装置 | |
JP2012117920A (ja) | 外観検査装置及び印刷半田検査装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240304 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7459525 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |