JP2009294115A

JP2009294115A - ３次元計測表示方法

Info

Publication number: JP2009294115A
Application number: JP2008148665A
Authority: JP
Inventors: Teruhisa Yotsuya; 輝久四ツ谷; Shigeki Kobayashi; 茂樹小林
Original assignee: Individual
Current assignee: Individual
Priority date: 2008-06-05
Filing date: 2008-06-05
Publication date: 2009-12-17

Abstract

【課題】立体の３次元画像計測及び３次元画像表示を実現する。
【解決手段】独自の色相光を発する複数個の環状光源を備え、各光源の円環中心をカメラの光軸延長線上に置き、かつ各光源の円環平面を同延長線に直交するように配置した照明装置によって照明された対象をカラーカメラが垂直に見下ろして撮像した対象画像のＲＧＢ画素値とそれぞれの色相光の入射傾斜角から表面パッチ（表面小領域）の傾斜角を算出し、画像の平面領域と立体領域の境界からから立体領域を横断する直線に沿って並ぶ表面パッチの傾斜角から算出される表面パッチ高さを順次加算し、次に同直線に直交する直線に沿って並ぶ表面パッチの傾斜角から算出される表面パッチ高さを順次加算することにより、平面領域からの立体各表面パッチの絶対高を算出し、計測した立体面全表面パッチの絶対高から対象全体の３次元データを作成し、立体の３次元計測とその表示ができるようにした。
【選択図】図１

Description

本発明は、立体の３次元計測方法に関するものであり、特にエレクトロニクス工場等において、カラー照明されたはんだ接合部の２次元画像から３次元計測を行い、３次元画像を表示する３次元計測表示方法に関する。

エレクトロニクス工場においては、部品組みつけおよびはんだ付後プリント基板の目視検査自動化が普及し、微小化するはんだ部の信頼性確保に貢献するようになっている。
最近はさらに、単なるアセンブリ後の不良検出のみならず、はんだ接合の形状計測が強く望まれるようになっている。それは、新しい部品や新しい工法の品質信頼性を確認する上において特に、高いニーズとなってきている。
３次元画像計測については、種々の方法が提起されている（非特許文献１）が、これらは絶対値計測を前提とした精密計測法であり、取扱いに専門的知識を必要とする高価な装置になるので、一般的な工場現場での使用にはまったく適していないものである。
普及している外観検査装置において、そのようなはんだの３次元計測機能を付加的に装備してほしいという要望が、工場担当者から強く提出されている。しかし現在までに開示されたその種検査装置技術においては、はんだ形状の良否判別機能を有するものの、３次元計測機能は装備し得なかった（特許文献１）。
井口征士・佐藤宏介著「三次元画像計測」、昭晃堂、東京、1990年特許第１８８０５８５号

解決しようとする問題点は、はんだ付後基板の外観検査装置において、３次元計測ができなかった点である。

本発明の３次元計測表示方法は、独自の色相光を発する複数個の環状光源を備え、各光源の円環中心をカメラの光軸延長線上に置き、かつ各光源の円環平面を同延長線に直交するように配置した照明装置と、立体対象を垂直に見下ろして撮像するカラーカメラと、カラーカメラが撮像した立体画像のＲＧＢ画素値とそれぞれの色相光の入射傾斜角から立体表面パッチ（表面小領域）の傾斜角を算出する、表面角度計測手段と、画像の平面領域と立体領域の境界からから立体領域を横断する直線に沿って並ぶ表面パッチの傾斜角から算出される表面パッチ高さを順次加算し、次に同直線に直交する直線に沿って並ぶ表面パッチの傾斜角から算出される表面パッチ高さを順次加算することにより、平面領域からの立体各表面パッチの絶対高を算出する高さ計測手段と、計測した立体面全表面パッチの絶対高から立体全体の３次元データを作成する３次元データ作成手段と、立体の３次元データから立体の等高線カラー表示画像データを作成する３次元画像表示データ作成手段とより成ることを主要な特徴とする。
また本発明の３次元計測表示方法は、独自の色相光を発する３個の環状光源を備え、各光源の円環中心をカメラの光軸延長線上に置き、かつ各光源の円環平面を同延長線に直交するように配置した照明装置と、はんだ付後基板を垂直に見下ろして撮像するカラーカメラと、カラーカメラが撮像したはんだ部画像のＲＧＢ画素値とそれぞれの色相光の入射傾斜角からはんだ表面パッチ（表面小領域）の傾斜角を算出する、表面角度計測手段と、画像の平面領域とはんだ領域の境界からからはんだ領域を横断する直線に沿って並ぶ表面パッチの傾斜角から算出される表面パッチ高さを順次加算し、次に同直線に直交する直線に沿って並ぶ表面パッチの傾斜角から算出される表面パッチ高さを順次加算することにより、平面領域からのはんだ各表面パッチの絶対高を算出する高さ計測手段と、計測したはんだ面全表面パッチの絶対高からはんだ部全体の３次元データを作成する３次元データ作成手段と、はんだ部の３次元データからはんだ部の等高線カラー表示画像データを作成する３次元画像表示データ作成手段とより成ることを主要な特徴とする。
また本発明の計測検査装置は、計測条件と検査条件とを教示する教示手段と、独自の色相光を発する３個の環状光源を備え、各光源の円環中心をカメラの光軸延長線上に置き、かつ各光源の円環平面を同延長線に直交するように配置した照明装置と、はんだ付後基板を垂直に見下ろして撮像するカラーカメラと、カラーカメラが撮像したはんだ部画像のＲＧＢ画素値とそれぞれの色相光の入射傾斜角からはんだ表面パッチ（表面小領域）の傾斜角を算出する、表面角度計測手段と、画像の平面領域とはんだ領域の境界からからはんだ領域を横断する直線に沿って並ぶ表面パッチの傾斜角から算出される表面パッチ高さを順次加算し、次に同直線に直交する直線に沿って並ぶ表面パッチの傾斜角から算出される表面パッチ高さを順次加算することにより、平面領域からのはんだ各表面パッチの絶対高を算出する高さ計測手段と、計測したはんだ面全表面パッチの絶対高からはんだ部全体の３次元データを作成する３次元データ作成手段と、はんだ部の３次元データからはんだ部の等高線カラー表示画像データを作成する３次元画像表示データ作成手段と、カラーカメラが撮像した画像に基づいてはんだ付品質の良否を判定する自動検査手段とより成ることを主要な特徴とする。

本発明の３次元計測表示方法は、複数個の色相光環状光源がそれぞれ既知の照射角を有する光束で照明した立体をカラーカメラで撮像し、得られた立体の表面傾斜角に応じて色づけされた立体画像のＲＧＢ画素値から表面パッチの傾斜角を算出し、それらを加算して立体面の絶対高を算出するので、立体全体の３次元データが得られ、かつ３次元カラー画像表示データが作成できるという利点がある。

立体の３次元形状計測を実現するという目的を、複数個の色相光環状光源がそれぞれ既知の照射角を有する光束で照明した立体をカラーカメラで撮像し、得られた立体表面傾斜角に応じて色づけされた立体画像のＲＧＢ値から表面パッチの傾斜角を算出し、それらを加算して立体面の絶対高を算出することによって実現した。

図１Ａは、本発明第１実施例の３次元計測表示方法を実行する装置の全体構成図であって、基板１上には対象とする立体２が搭載され、基板１はテーブル３に水平姿勢で保持されている。ここでは、はんだ接合部を例として３次元計測の対象立体を説明する。

基板１の上方には、１台のカラーイメージセンサカメラ４と照明装置の第１色相環状光源５−１と第２色相環状光源５−２と第３色相環状光源５−３が配置されている。この実施例では第１色相環状光源を青色光を発する青色光源、第２色相環状光源を緑色光を発する緑色光源、第３色相環状光源を赤色光を発する赤色光源としているが、これらは技術的便利のためであって、相互に色相が異なれば同じ効果が得られるので、ブルー光・イエロー光・マゼンタ光の組合せや、そのいずれかを白色光にするなどしても差支えはない。またそれぞれ独自の色相光を発する環状光源個数は、３個より少数でも多数でも本発明の理論上差し支えない。

カラーイメージセンサカメラ４はカラーエリアＣＣＤカメラであって、基板を垂直に見る姿勢に設置されている。

この照明・撮像の幾何光学配置は、以下の条件を満たすものでなければならない。
（１）カメラは、基板を垂直に見る姿勢であること。
（２）３光源は、それぞれ独自の色相光束を発する光源であること。
（３）３光源は、カメラの視野をそれぞれ独自の固定傾斜角で照明すること。
（４）３光源は、カメラの視野を無方位角的に照明すること。

上記は、獲得画像から立体面の傾斜角を３Ｄ計測するための条件であり、この発明は、光源を円環状とし、カメラ光軸の延長線上に円環中心を合せ、かつ円環平面を直角とすることによって、それを実現している。上記条件からすれば、図１（Ａ）の照明撮像配置は、その１例に過ぎず、同図（Ｂ）に示したドーム状配置あるいは同図（Ｃ）に示した円板上配置でも、この発明の効果が得られる。

本発明は、光源とカメラの幾何光学的位置を既知として、未知の立体面傾斜角を検出して計測する。図２の幾何光学配置模式図に示すように、カメラ光軸に対して2θの傾斜角ではんだ接合部に入射した光束は、曲面を成すはんだ表面の各パッチにおいてそれぞれの方向に正反射する。これらの多方向性反射光束のうち、カメラに入射した光束は、θの傾斜角をもつはんだ表面パッチからの反射光束だけである。即ち、この光束を受けたカメラが撮像したはんだ部の画像のうち、この光源の色相に色づけられたはんだ表面パッチの傾斜角は、θであることがわかる。この原理に従って、入射角が既知のいくつかの光源（例えば、i=1,2,3の色相光源）から独自の色相光束を投光するようにすれば、撮像したはんだ画像がそれらの色相で多重に色づけられ、はんだ表面パッチの傾斜角（θi）が判明する。これは、色相光投射による曲面傾斜角検出の原理である。

次に、本発明にかかわる計測の原理について説明する。
本発明の撮像光学配置を用いて対象表面角度の計測を行う場合には、以下のような問題があった。
まず第一に、図２の幾何光学的配置に関する模式図では、光源からの光束を１本の直線で表しているが、実際上は、光源が投射する有効な光束には傾斜角の幅（2θ±2α）がある。そのため、その光束を反射してその色相に色づいたはんだ表面パッチも数学的な点ではなく、やはり傾斜角上の幅（θ±α）を有している。従って、正確な表面各部の傾斜角はわからないことになる。

これは、ミラーに代表される完全な鏡面反射面を対象としたときは、克服し難い問題である。しかし本発明は、はんだ表面に代表される
多くの立体表面が不完全鏡面反射面であることを利用して、この問題を解決している。
不完全鏡面反射面とは、反射光束が正反射成分と拡散反射成分とを併せ有する表面である。はんだ表面は、その材料成分に応じて表面反射の性質が異なり、特に最近一般化している鉛フリーはんだは、拡散反射の比率が増大している。
図３は、一定方向からの入射光束に対する、完全鏡面反射光束と不完全鏡面反射光束の強度分布の相違を説明する模式図である。図３（Ａ）は、完全鏡面反射面からの反射光束の強度分布を示している。強度分布は矩形波の形をしている。不完全鏡面反射面からの反射光束はこれに対して、図３（Ｂ）のような正規分布曲線の形状を示す。
ここで注目すべき特徴は、不完全鏡面反射光束が、入射光束の幅よりも広い範囲に亘って分布している点であり、また、完全鏡面反射光束のように、ある範囲が一定の強度を持つのではなく、傾斜角に対応する値を持っている点である。

この実施例は、図１に示したように、３個の異なる色相光源の入射光束が異なる角度であるように配置されている。この入射光を受けた球面モデルの画像を図４（Ａ）の平面図に示す。球面モデルは、傾斜角のみから成る理想モデルであり、（Ｂ）はその断面図である。図４（Ａ）の平面図において、同心円はそれぞれの色相反射光束領域を便宜上示している。

しかしながら、実際のこれら反射光束領域は先に述べた拡散反射成分によって、図５（Ａ）のような形をもった強度分布を示す。この図において、横軸は図４（Ａ）の平面域からモデル頂点へ向う方向ベクトルの距離成分である。図５（Ｂ）の断面図からわかるように、球面モデルの傾斜角は、その中心を通る断面にある表面小領域がすべてそれぞれの傾斜角をもっている。即ち強度分布はそれぞれの傾斜角に応じた値を持つことがわかる。

図５（Ａ）からわかるように、これらの各色相反射光の強度分布は、隣接する色相反射光の強度分布と重なり合っている。つまり、ある表面小領域の反射光成分を見ると、隣合う色相反射光が一定の比率で混合した反射光である。具体的に述べると、図４（Ａ）の方向ベクトルに沿って平面域から球面モデル域に入ったところで急角度の青色成分画像が始まり、ベクトルが進むにつれて緑色成分の混色比率が増し、緑色成分比率が最大になった後に、赤色成分の混色が始まり、赤色成分比率が最高になった後、赤色成分が単色として減じて、頂点である平面に至るのである。図５（Ｂ）は、対象表面の傾斜角と色相混色比率の関係をグラフとして示したものである。

図５（Ａ）に示した強度正規分布曲線の形は、対象表面の拡散反射率によって変化する。拡散反射率がより高い場合には、正規分布関数における分散の値（σの２乗値）が大きくなり、中心強度が下降し、半波長幅が拡大する（数式１参照）。変形の度合は拡散比率に依存し、各色相光において等しいので、図５（Ｂ）に示した色相値混合比率と傾斜角との関係性は変らない。
なお、各色相光分布間の距離は、図１のカメラ４から見た環状光源５の相互間隔に対応する。この間隔を適切に設定することにより、高い表面角精度を与える色相混合比率が得られる。更にカメラ４から見た照明装置５の光源５−１、５−２、５−３の各幅も、適切な幅を設定することが、高精度計測の前提である。

次に、対象表面の絶対高算出法について述べる。図６（Ａ）は、図１の３色相光光源で照明された対象表面の例としてのはんだ接合部画像の模式図である。図において、矢印は銅箔平面とはんだ部との境界中央を基点としてはんだ部の奥行き方向に向って進むベクトルを示す。このベクトルに沿うはんだ表面パッチの反射光色相比率から、図５（Ｂ）の関係によって各表面パッチの傾斜角が算出できる。このとき、表面パッチの幅は一定であるから、傾斜角によって表面パッチの高さが直角三角形の高さとして算出される。個々の表面パッチ高を左から右に向って順次加算することにより、図６（Ｂ）の模式図に示したように、はんだ面の絶対高が算出される。図６（Ｂ）は模式図であるため表面パッチの幅を大きく取っているが、実際は画素単位の値を適宜使用することは言うまでもない。

図６（Ａ）において、中央に示した奥行き方向ベクトルに沿った表面パッチの傾斜角計測が終了したら、次に表面パッチの計測をはんだ表面全体に及ぼす。それは、奥行き方向ベクトルに直交する直線（図示せず）に沿って行う。こんどは、ベクトルの両側に向う直線に沿った下降面表面パッチの傾斜角を図５（Ｂ）の関係によって算出する。方向ベクトルの全長に直交する直線と、部品電極を超えるベクトルの延長線に直交する直線に沿って、この手順を実行する。
以上のプロセスにより、はんだ表面全体の表面パッチの傾斜角が算定され、それらの加算によってはんだ表面全体の高さが算出される。

図１の全体構成図において、基板１の上方に、カラーイメージセンサカメラ４と照明装置の第１色相環状光源５−１と第２色相環状光源５−２と第３色相環状光源５−３が配置されている。この実施例では第１色相環状光源を青色光を発する青色光源、第２色相環状光源を緑色光を発する緑色光源、第３色相環状光源を赤色光を発する赤色光源としている。カラーイメージセンサカメラ４は制御装置６に接続され、制御装置６は、撮像ユニット７、表面角度演算ユニット８、表面絶対高演算ユニット９、３次元データ作成ユニット１０、３次元表示画像作成ユニット１１、及びシステム全体を制御する統合システム制御ユニット１２を有し、各ユニット７乃至１２は、バス１７を通じてデータの交換を行う。

又、制御装置６には、教示データ等の入力を行う入力ユニット１３と、検査結果等を印字する出力ユニット１４と、外部装置との間でデータ送受を行う通信ユニット１５と、画像や検査結果等を表示する表示ユニット１６が接続されている。

次に、図７のフロー図に従って、この実施例計測表示法の手順ステップを説明する。まずはんだ付後基板１（図１）をテーブルに装填し（ＳＴ１）、基板のＩＤデータを教示し（ＳＴ２）、基板を撮像する（ＳＴ３）。次に計測領域を設定する（ＳＴ４）。計測領域の設定は基板設計データを用いて自動設定してもよいし、表示画面についてマニュアル設定してもよい。オペレータが指示をすると、図１に示した表面角度演算ユニット８、表面絶対高演算ユニット９、３次元データ作成ユニット１０、３次元画像表示画像作成ユニット１１が動作して、ＳＴ５とＳＴ６のステップが進み、指示により３次元画像データ表示あるいはデータ報告を行う（ＳＴ７）。計測表示が完了したら、基板を除去する（ＳＴ８）。

図８は、本発明第２実施例の計測検査装置の全体構成図であって、基板１上にははんだ付後部品２が搭載され、基板１はテーブル３に水平姿勢で保持されている。基板１と、カラーイメージセンサカメラ４と照明装置の第１色相環状光源５−１と第２色相環状光源５−２と第３色相環状光源５−３の配置は、第１実施例と同様であるので、その説明を省略する。

図８の全体構成図において、カラーイメージセンサカメラ４は、制御装置６に接続され、制御装置６は、撮像ユニット７、検査条件教示ユニット８、計測条件教示ユニット９、自動検査判定ユニット１０、３次元計測表示ユニット１１、及びシステム全体を制御する統合システム制御ユニット１２を有し、各ユニット７乃至１２は、バス１７を通じてデータの交換を行う。

又、制御装置６には、教示条件等の入力を行う入力ユニット１３と、検査結果等を印字する出力ユニット１４と、外部装置との間でデータ送受を行う通信ユニット１５と、３次元画像や検査結果等を表示する表示ユニット１６が接続されている。

次に、図９（Ａ）のフロー図に従って、この実施例計測検査装置の教示ステップを説明する。まず基板１（図８）をテーブルに装填し（ＳＴ２１）、基板のＩＤデータを教示し（ＳＴ２２）、基板を撮像する（ＳＴ２３）。次に検査領域や検査ソフトなどの検査条件と、計測領域などの計測条件を教示して（ＳＴ２４）、基板を除去する（ＳＴ２５）。

次に、この実施例における自動検査と計測の動作を、図９（Ｂ）のフロー図に沿って説明する。
まず、図８において検体基板１をテーブル３に装填し（ＳＴ３１）、検体基板のＩＤデータを入力するか又は読取ると（ＳＴ３２）、制御装置６の指令で検体基板１を撮像する（ＳＴ３３）。

そこで自動検査判定ユニット１０が、教示された検査領域について、自動検査を行い、はんだ付品質の良否判定を行う（ＳＴ３４）。

次に、３次元計測表示ユニット１１が、教示された計測領域について、計測と表示画像作成を行い（ＳＴ３５）、検査結果を報告し（ＳＴ３６）、３次元画像表示および３次元データ報告をする（ＳＴ３７）。その後、検体基板を除去する（ＳＴ３８）。

独自の色相光を発する複数個の環状光源を備え、各光源の円環中心をカメラの光軸延長線上に置き、かつ各光源の円環平面を同延長線に直交するように配置した照明装置によって照明された対象をカラーカメラが垂直に見下ろして撮像した対象画像のＲＧＢ画素値とそれぞれの色相光の入射傾斜角から表面パッチ（表面小領域）の傾斜角を算出し、画像の平面領域と立体領域の境界からから立体領域を横断する直線に沿って並ぶ表面パッチの傾斜角から算出される表面パッチ高さを順次加算し、次に同直線に直交する直線に沿って並ぶ表面パッチの傾斜角から算出される表面パッチ高さを順次加算することにより、平面領域からの立体各表面パッチの絶対高を算出し、計測した立体面全表面パッチの絶対高から対象全体の３次元データを作成し、立体の３次元データから立体の等高線カラー表示画像データを作成する３次元計測表示方法に適用できる。

３次元計測表示方法を実行する装置の全体構成を示した説明図である。（実施例１）照明と撮像の幾何光学的配置を説明する模式図である。（全実施例）完全鏡面反射面と不完全鏡面反射面の反射光束強度分布を説明する図である。（全実施例）本発明の幾何光学配置で照明撮像した球面モデルの画像を説明する模式図である。（全実施例）上図球面モデルの各色相反射光の強度分布と傾斜角との関係を説明する図である。（全実施例）本発明の幾何光学配置で照明撮像したはんだ接合部の画像と微小部分の高さ加算を説明する図である。（全実施例）３次元計測表示の手順を示したフロー図である。（実施例１）計測検査装置の全体構成を示した説明図である。（実施例２）計測検査装置における教示と自動検査・３次元計測表示の動作を示したフロー図である。（実施例２）

符号の説明

１基板
２計測対象
４カラーイメージセンサカメラ
５照明装置
６制御装置

Claims

独自の色相光を発する複数個の環状光源を備え、各光源の円環中心をカメラの光軸延長線上に置き、かつ各光源の円環平面を同延長線に直交するように配置した照明装置と、
立体対象を垂直に見下ろして撮像するカラーカメラと、
カラーカメラが撮像した立体画像のＲＧＢ画素値とそれぞれの色相光の入射傾斜角から立体表面パッチ（表面小領域）の傾斜角を算出する、表面角度計測手段と、
画像の平面領域と立体領域の境界からから立体領域を横断する直線に沿って並ぶ表面パッチの傾斜角から算出される表面パッチ高さを順次加算し、次に同直線に直交する直線に沿って並ぶ表面パッチの傾斜角から算出される表面パッチ高さを順次加算することにより、平面領域からの立体各表面パッチの絶対高を算出する高さ計測手段と、
計測した立体面全表面パッチの絶対高から立体全体の３次元データを作成する３次元データ作成手段と、
立体の３次元データから立体の等高線カラー表示画像データを作成する３次元画像表示データ作成手段と
より成る３次元計測表示方法。
独自の色相光を発する３個の環状光源を備え、各光源の円環中心をカメラの光軸延長線上に置き、かつ各光源の円環平面を同延長線に直交するように配置した照明装置と、
はんだ付後基板を垂直に見下ろして撮像するカラーカメラと、
カラーカメラが撮像したはんだ部画像のＲＧＢ画素値とそれぞれの色相光の入射傾斜角からはんだ表面パッチ（表面小領域）の傾斜角を算出する、表面角度計測手段と、
画像の平面領域とはんだ領域の境界からからはんだ領域を横断する直線に沿って並ぶ表面パッチの傾斜角から算出される表面パッチ高さを順次加算し、次に同直線に直交する直線に沿って並ぶ表面パッチの傾斜角から算出される表面パッチ高さを順次加算することにより、平面領域からのはんだ各表面パッチの絶対高を算出する高さ計測手段と、
計測したはんだ面全表面パッチの絶対高からはんだ部全体の３次元データを作成する３次元データ作成手段と、
はんだ部の３次元データからはんだ部の等高線カラー表示画像データを作成する３次元画像表示データ作成手段と
より成る３次元計測表示方法。
計測条件と検査条件とを教示する教示手段と、
独自の色相光を発する３個の環状光源を備え、各光源の円環中心をカメラの光軸延長線上に置き、かつ各光源の円環平面を同延長線に直交するように配置した照明装置と、
はんだ付後基板を垂直に見下ろして撮像するカラーカメラと、
カラーカメラが撮像したはんだ部画像のＲＧＢ画素値とそれぞれの色相光の入射傾斜角からはんだ表面パッチ（表面小領域）の傾斜角を算出する、表面角度計測手段と、
画像の平面領域とはんだ領域の境界からからはんだ領域を横断する直線に沿って並ぶ表面パッチの傾斜角から算出される表面パッチ高さを順次加算し、次に同直線に直交する直線に沿って並ぶ表面パッチの傾斜角から算出される表面パッチ高さを順次加算することにより、平面領域からのはんだ各表面パッチの絶対高を算出する高さ計測手段と、
計測したはんだ面全表面パッチの絶対高からはんだ部全体の３次元データを作成する３次元データ作成手段と、
はんだ部の３次元データからはんだ部の等高線カラー表示画像データを作成する３次元画像表示データ作成手段と、
カラーカメラが撮像した画像に基づいてはんだ付品質の良否を判定する自動検査手段と
より成る計測検査装置。