JP2007315818A

JP2007315818A - 画像処理による微小高さ計測方法

Info

Publication number: JP2007315818A
Application number: JP2006143392A
Authority: JP
Inventors: Yamato Koshimizu; 大和輿水; Takayuki Fujiwara; 孝幸藤原; Takashi Watanabe; 隆渡辺; Ko Kusano; 洸草野
Original assignee: Taiko Denki Co Ltd
Current assignee: Taiko Denki Co Ltd
Priority date: 2006-05-23
Filing date: 2006-05-23
Publication date: 2007-12-06

Abstract

【課題】コネクタ等の検査製品の姿勢が変化しても、被測定物である接触子の高さを正確に計測することのできる画像処理による微小高さ計測方法を提供する。
【解決手段】ブロックＢ上でワークＷを水平方向に移動させ、その前後の状態を１台のカメラＣで撮像し、特定箇所の高さｈを計測する方法であって、ブロックＢ上のマークＭ並びにワークＷの小領域画像を取り込み、各々の画像の輪郭を処理して非直線状輪郭を求め、次にその近似直線輪郭を抽出し、さらに該近似直線輪郭の交点を算出し、且つその交点間の距離に基づいて上記高さｈを算出する。
【選択図】図４

Description

本発明は微小高さ計測方法に係り、特に、コネクタの如き小さな電子部品の接触子等の高さを、画像処理を用いて計測する画像処理による微小高さ計測方法に関するものである。

パーソナルコンピュータ、デジタルカメラ、携帯電話などの電子機器にあっては、軽薄短小化を追求する一方で、次から次へと高度な機能を追加し続けており、これら製品がユーザの手元で所期の性能を発揮できるか否かはその品質管理に負う所が極めて大である。

換言すれば、上記電子機器の性能を確保するためには、そのシャシーや筐体、或いは操作部、表示部と言った個々の構成部品の品質とそれらの組立・接続状態での品質管理が重要であると同時に、そこに用いられるコネクタの如き小さな電子部品の品質管理も決して疎かにはできない。

従来、このような電子部品の品質管理は、主に、熟練した検査員が目視チェックすることでその合否判定が行なわれていたが、上記電気製品の進化に伴って該電子部品もいよいよ小型化され、同時に高密度化（例えば、コネクタの接触子の本数増加と狭ピッチ化）が益々進む昨今、もはや目視チェックで合否判定ができる状況にはない。

例えば、種々の電子機器に広く採用されているデタッチャブル式基板間コネクタは、図１に示すように、雄コネクタ１の凸部２が雌コネクタ３の凹部４に嵌合し、雄型接触子５が雌型接触子６に圧接して電気的に接続するものである（例えば、特許文献１参照）。

このコネクタにおいて、雌型接触子６は長辺の長さ２０ｍｍ程度のハウジング７に８対植設されており、また、雌型接触子６の幅は約１.５ｍｍと決して大きいものではない。このため、雌型接触子６の植設状況の品質チェックを目視で行うことは難しい。

図２は図１のＡ−Ａ線に沿った断面図であり、図３は雌形接触子６の斜視図である。図２において、雌型接触子６の先端部６Ａが、二点鎖線で示すように、異常に上方に変形して植設された場合や、逆に異常に下方に変形して植設された場合は、不良品として判定されるべきであるが、凹部４を通して雌型接触子６の先端部６Ａを覗き見るだけでは、雌型接触子６の先端部６Ａの高さｈを正確に知ることはできず、不良品か良品かの判断が難しい。

加えて、このコネクタのように製造原価が極めて低廉な電子部品にあっては、その品質検査に投じ得るコストも非常に僅かであり、大規模な検査システムを組むようなことはできない。

そこで、雌型接触子６の先端部６Ａの高さｈを画像処理を用いて計測する方法、中でも単眼ステレオ法の応用が考えられている。この単眼ステレオ法は、１台のカメラで撮像したデータをコンピュータで演算・処理することにより、三次元の精密な距離（高さ）測定を可能にするものであり、複眼ステレオ法に比べて廉価なシステムであるだけでなく、複雑なカメラ間のキャリブレーションを要しないと言う特徴を持っている。

単眼ステレオ法に関する発明として、例えば、ベルトコンベアにより搬送している検査製品を１台のカメラにより撮影して、時刻（ｔ）での画像と時刻（ｔ＋１）での画像を画像処理することにより、検査製品の三次元形状を求めるとともに、検査製品の三次元形状と良品の三次元形状を比較することにより、検査製品の三次元欠陥（凹みや出っ張り等）を検出する方法が提案されている（例えば、特許文献２参照）。
特開２００４−２８１１０９号公報特開平８−２９３５８号公報

ところで、上記特許文献２の方法では、時刻（ｔ）から時刻（ｔ＋１）の間での検査製品の各軸ｘ，ｙ，ｚ方向への移動量をＴｘ，Ｔｙ，Ｔｚとおいた上で、この検査製品はベルトコンベアに塔載されおり、速度ｖで軸ｘ方向に移動していることを根拠に、Ｔｘ＝ｖ，Ｔｙ＝０，Ｔｚ＝０で検査製品は軸ｘ方向に直進し、一切ｙ軸及びｚ軸方向へのズレはない、つまり検査製品の姿勢は変化しないとの前提に立っている。

しかしながら、実際には検査製品がその姿勢を変化させずに直進するという保証はなく、特許文献２の方法では検査製品が直進すると仮定をしているだけであり、移動量の実測は行なっていないに等しい。そのため、特許文献２の方法において得られた三次元データは確かなものであるか否か、定かでない。

本発明の課題は、コネクタ等の検査製品の姿勢が変化しても、被測定物である接触子の高さを正確に計測することのできる画像処理による微小高さ計測方法を提供することにある。

上記課題を解決するために、請求項１に記載の発明は、ステージ上にブロックが水平方向に移動可能に配置され、前記ブロック上にフィクサが取り付けられ、前記フィクサ上にワークが載置されている場合に、前記ブロックまたは前記フィクサにマークを付すか若しくは前記ブロックまたは前記フィクサの一部をマークとするとともに、前記ブロックのワーク載置面から所定距離Ｋ隔てて該ブロックの上方に１台のカメラを固定して、該カメラで前記ブロックの移動前後の前記ワーク等の状態を撮像し、その撮像画像をコンピュータ処理して前記ワークの特定箇所の微小高さｈを計測する画像処理による微小高さ計測方法であって、
前記ブロック移動前の状態を撮像してそのデータをコンピュータに取り込み（ステップ１）、その撮像画像から前記マークを抽出し、そこにエッジ生成処理を施して少なくとも２本の非直線状の輪郭線を生成し（ステップ２）、次に前記輪郭線に最小二乗近似法などを加えて前記マークの近似直線の輪郭を得（ステップ３）、続いて前記近似直線の連立方程式を解いてブロック移動前の始点座標ＯＰ₁を算出し（ステップ４）、
また、前記ブロックを移動させた後の状態を撮像してそのデータをコンピュータに取り込み（ステップ５）、その撮像画像から前記マークを抽出し、そこにエッジ生成処理を施して少なくとも２本の非直線状の輪郭線を生成し（ステップ６）、次に前記輪郭線に最小二乗近似法などを加えて前記マークの近似直線の輪郭を得（ステップ７）、続いて前記近似直線の連立方程式を解いてブロック移動後の終点座標ＯＰ₂を算出して（ステップ８）、
前記始点座標ＯＰ₁と前記終点座標ＯＰ₂とから前記ブロックの移動距離Ｄを算出する（ステップ９）一方、
前記ブロック移動前の状態の画像から前記ワークの特定箇所を含む領域を抽出し、そこにエッジ生成処理を施して少なくとも２本の非直線状の輪郭線を生成し（ステップ１１-ｂ）、次に前記輪郭線に最小二乗近似法などを加えて近似直線の輪郭を得（ステップ１１-ｃ）、続いて前記近似直線の連立方程式を解いてブロック移動前の領域始点座標ｑ₁を算出し（ステップ１１-ｄ）、さらに前記始点座標ｑ₁から所定の距離ｒだけ離れた前記非直線状の輪郭線上の点を計測始点座標Ｐ₁とし（ステップ１１-ｅ）、
また、前記ブロック移動後の画像から前記ワークの特定箇所を含む領域を抽出し、そこにエッジ生成処理を施して少なくとも２本の非直線状の輪郭線を生成し（ステップ１２-ｂ）、次に前記輪郭線に最小二乗近似法などを加えて近似直線の輪郭を得（ステップ１２-ｃ）、続いて前記近似直線の連立方程式を解いてブロック移動後の領域終点座標ｑ₂を算出し（ステップ１２-ｄ）、さらに前記終点座標ｑ₂から距離ｒだけ離れた前記非直線状の輪郭線上の点を計測終点座標Ｐ₂とし（ステップ１２-ｆ）、
さらに、前記計測始点座標Ｐ₁と前記計測終点座標Ｐ₂とから計測点間距離ＤＤを算出し（ステップ１３-ａ）、且つ前記計測点間距離ＤＤと前記所定距離Ｋとからカメラ−計測始点座標Ｐ₁−ワーク載置面のなす角度α１並びにカメラ−計測終点座標Ｐ₂−ワーク載置面のなす角度α２を算出し（ステップ１３-ｂ）、前記角度α１及び角度α２と前記移動距離Ｄとからカメラ−特定箇所間の距離Ｈを演算し（ステップ１３-ｃ）、続いて前記所定距離Ｋから前記距離Ｈを差引いて前記微小高さｈを求める（ステップ１３-ｄ）ことを特徴としている。

請求項２に記載の発明は、請求項１において、前記マークの始点座標ＯＰ₁と終点座標ＯＰ₂とからブロックの移動距離Ｄを算出する（ステップ９）際に、合わせて前記ブロックの移動前後の姿勢変化角度βを算出しておき、前記計測始点座標Ｐ₁と前記計測終点座標Ｐ₂とから計測点間距離ＤＤを算出する（ステップ１３-ａ）に当たり、前記姿勢変化角度βに基づく前記計測点間距離ＤＤの補正を行うことを特徴としている。

請求項３に記載の発明は、請求項１において、前記ブロック移動前の状態の画像からワーク中の任意の直線成分を見出して、該直線成分がｘ軸またはｙ軸となす角度θ₁を求めるとともに（ステップ１０-ａ）、前記ブロック移動後の状態の画像からワーク中の任意の直線成分を見出して、該直線成分がｘ軸またはｙ軸となす角度θ₂を求めておき（ステップ１０-ｂ）、前記角度θ₁と前記角度θ₂の差θ分、前記領域終点座標ｑ₂を回動させて領域終点補正座標ｑ₂´を得（ステップ１２-ｅ）、該領域終点補正座標ｑ₂´を基に前記計測終点座標Ｐ₂を求めることを特徴としている。

請求項４に記載の発明は、請求項１において、前記マークの始点座標ＯＰ₁と終点座標ＯＰ₂とからブロックの移動距離Ｄを算出する（ステップ９）際に、合わせて前記ブロックの移動前後の姿勢変化角度βを算出しておき、前記計測始点座標Ｐ₁と前記計測終点座標Ｐ₂とから計測点間距離ＤＤを算出する（ステップ１３-ａ）に当たり、前記姿勢変化角度βに基づく前記計測点間距離ＤＤの補正を行う一方、
前記ブロック移動前の状態の画像からワーク中の任意の直線成分を見出して、該直線成分がｘ軸またはｙ軸となす角度θ₁を求めるとともに（ステップ１０-ａ）、前記ブロック移動後の状態の画像からワーク中の任意の直線成分を見出して、該直線成分がｘ軸またはｙ軸となす角度θ₂を求めておき（ステップ１０-ｂ）、前記角度θ₁と前記角度θ₂の差θ分、前記領域終点座標ｑ₂を回動させて領域終点補正座標ｑ₂´を得（ステップ１２-ｅ）、該領域終点補正座標ｑ₂´を基に前記計測終点座標Ｐ₂を求めることを特徴としている。

請求項５に記載の発明は、請求項１において、前記ブロック移動前後の撮像画像からマークを抽出する際、或いは前記ブロック移動前後の撮像画像から前記ワークの特定箇所を含む領域を抽出する際の少なくともいずれか一つにおいて、任意の基準点から所定の距離だけ隔たった小領域を抽出した（ステップ１１-ａ及びステップ１２-ａ）後、各種演算処理を行なうようにしたことを特徴としている。

本発明によれば、コネクタ等の検査製品の姿勢が変化しても、被測定物である接触子の高さを正確に計測することができる。

また、コネクタの接触子の如き小さく且つ実測し難い部位の寸法を、精密かつ迅速に三次元計測することができ、しかもこの測定に特別なデバイスやシステムを用意する必要がないことから廉価な計測とすることもでき、さらに、これを電子部品の生産工程内に組み込んだインライン方式の品質検査システムを容易に構築することも可能である。

以下、本発明の実施例について図面に従って説明する。

先ず、本実施例においては、説明の便宜上、図２に示したコネクタにおける雌形接触子（以下、接触子という）６の先端部６Ａの高さｈを測定するものとする。但し、この高さｈとは、接触子６の湾曲した尖端の高さを言うものではなく、前述の如くそれが異常に上方に又は下方に変形していて品質不良か否かの判断に使用するものであるから、この尖端の近傍のある箇所の高さを指す（図３参照）。また、接触子６は、前述の通り、８対あって、そのいずれに異常があっても不合格であることから、これら８対の全ての上記箇所の計測を行なうものである。なお、以下の説明では、コネクタをワークと称する。

本発明の微小高さ計測方法におけるワーク撮像環境の概要を図４によって説明する。

この図４において、Ｓはほぼ水平に据え付けられたステージ、Ｂはその上を水平に移動可能に設置されたブロック、Ｗはワーク、ＦはワークＷをブロックＢ上にセットするためのフィクサ、ＣはステージＳの上方に固定されたカメラであり、またＬはカメラＣの中心線であってこの中心線はステージＳに対して垂直となっている。なお、ステージＳを水平に設置するには、これを定盤の上にセットすることが望ましいが、これに限定されるものではない。また、フィクサＦはポケットの如きもので、ワークＷがそこにセットされたとき、ワークＷに歪みが生じないように、無負荷状態で載置し得るものであることが好ましい。

上記ブロックＢをステージＳ上で的確に移動し得るようにするため、例えば公知のプッシュロッド（図５参照）の如きものを、そこに組み込むことは有効である。なお、単眼ステレオ計測法を基礎とする本発明の微小高さ計測法は、三角測量の原理を用いるものであるから、ワークＷを移動させてその前後の位置（図中、実線で示す移動前の位置に対し、移動後の位置を二点鎖線で示す）とカメラＣとの間で三角形を描く必要があり、この移動の役割を、ワークＷを塔載するブロックＢに負わせたが、直接ワークＷのみを移動させるようにしても良い。

記号Ｐで示す点が、前記接触子の先端部における計測点に相当するものである（但し、計測点Ｐは後述のステップを経てその座標が特定されるものであり、この図４における同点は理解を助ける便宜上のものである）。前述の高さｈは、ブロックＢの表面（ワーク載置面）から計測点Ｐまでの距離であるが、カメラＣからワーク載置面までの距離Ｋと、カメラＣから計測点Ｐまでの距離までの距離Ｈとの差から該高さｈを求めることができる。

また、記号Ｍで示すポイントは、ブロックＢの表面に貼付したマークで、ブロックＢの移動前後の撮像画像からその移動距離Ｄを実測したり、或いは計測点Ｐを含む小領域を取り込む際の基準座標に用いるものであるが、実際には、この図４には現れないものであるも、説明の便宜から表示した。勿論、ワークＷにこのマークＭを貼付することを妨げるものではないが、そうすると、被検査体であるワークＷを交換するたびにマークＭの貼り替え作業が必要となってしまうので、ブロックＢに貼付する方が良い。同じ理由から、フィクサＦにマークＭを貼付することを妨げない。なお、記号Ｑで示す面がカメラＣの結像面である。

より具体的に該マークについて説明するに、図５に示すように、ワークＷの計測点Ｐ近傍の被検査体幅（接触子の幅）Ｔが１.５ｍｍであるのに対し、このマークＭは０.８ｍｍ×０.８ｍｍの正方形であり、撮像照明光の照射条件等によってマークＭの画像の鮮明度が低下する場合に備えて、同一形状のマークＭを所定の間隔をおいて、複数個ブロックＢ上に貼付されている。但し、このマークＭは座標抽出のためものであるから、このような大きさで無くとも、或いは正方形で無くとも良く、若しくは複数個で無く１個だけであっても良く、更には貼付される形式のものに限られず、例えばブロックBやフィクサFの一部であって他と明確に識別可能な目印になるものであれば、それでも構わない。

そして、このマークＭを含むワークＷ全体の初期状態、即ちワーク載置状態を、カメラＣによって撮像し、その画像データをコンピュータに読み込む（ステップ１：第1撮像）。なお、マークＭを鮮明に撮像するため、白い台紙に黒いマークを貼付してブロックに取り付けることは有効である。

このようにして撮像された画像は、例えば、図６Ａの如きものである。ここで、図６Ａはブロック移動前の撮影画像を示している。図６Ａに示すように、マークＭを含むワークＷの一部が写っており、このマークＭを拡大表示したものが図７であるが、この拡大画像における輪郭は画素の濃い部分と薄い部分とがランダムに混在していて必ずしも明確ではない。本来、このマークＭのｘ軸方向とｙ軸方向の２本の輪郭線からその交点を求め、この点をマークＭの第1の特徴となる点、即ちブロック移動前の始点座標ＯＰ₁として見出したいところ、これは甚だ困難である。

そこで、先ず、図７の画像の中からマークＭの輪郭を抽出するため、エッジ生成処理によって、図８に示す如き非直線状の輪郭（横方向(ｘ軸方向)の輪郭線及び縦方向(ｙ軸方向)の輪郭線）を得るべく、例えば下記（１）式及び（２）式のガウシアンフィルタによる平滑化処理の後、例えば（３）式によるラプラシアン処理を行なう（ステップ２：非直線輪郭の生成）。

なお、ここで求めたいのは基準となる前記始点座標ＯＰ₁であり、そのために本実施例では矩形のマーク画像から縦・横２本の輪郭線を抽出し、その交点を求めんとする訳で、マークが矩形故にその輪郭線は各々ｘ軸とｙ軸に略沿ったものとして説明したが、該輪郭線は上記交点が得られるものであれば如何なるものであっても良い。即ちマークＭは矩形に限られない。

ここで、Ｇ(ｘ，ｙ)はガウシアンフィルタの設定値、σは標準偏差値(ガウシアンフィルタのパラメータ)、Ｆ(ｘ，ｙ)はガウシアン処理後の平準化画像、ｆ(ｘ，ｙ)処理前の入力画像、▽²Ｆ(ｘ，ｙ)はエッジ画像である。

なお、前記ステップ１でコンピュータに取り込まれた画像は広範なもので、この画像全体の中から上記マークを探し出し、更に上記演算などを行うとなると、その処理時間は長くなり、前記インライン方式の検査には不適格であることから、予め該マークが撮像されているであろう領域を想定しておき、マーク全体を含む周辺の小領域を切り取って上記処理をすることは、有効である。

続いて、上述のようにして得られた上記非直線状の輪郭から、図９に示すような各々の近似直線（ｘ軸方向の近似直線ｙ＝ａｘ＋ｂ、ｙ軸方向の近似直線ｙ＝ａｘ＋ｂ）を生成するべく、下記（４）式〜（６）式により最小２乗近似法の演算を行なう（ステップ３：近似直線の生成）。

ここで、ａは近似直線の傾き、ｂは切片、ｍは近似直線生成のための対象となる特徴点の個数(ｍ個)、ｉは特徴点をカウントするための変数(ｉ＝１〜ｍ)である。

さらに、上記（４）式〜（６）式から求めたｘ軸方向の近似直線ｙ＝ａｘ＋ｂとｙ軸方向の近似直線ｙ＝ａｘ＋ｂの連立方程式を解いてその交点を求め、これを前記ワーク載置初期状態、つまりブロックＢの移動前の状態の基準点、即ち始点座標ＯＰ₁とする（ステップ４：始点座標ＯＰ₁の算出）。

次に、前記ステージＳ上でブロックＢを、任意に移動させる。何となれば、その移動距離Ｄを実測するのだから、移動量及び方向とも、何ら制限されない。但し、前述のプッシュロッドの如きものをもって所定の方向に所定の距離、移動させることは有効である。また、前述の通り、コネクタの全ての接触子を測定するために、ワークＷはその長手方向に摺動させることが肝要である。

その結果、該ブロックと共にフィクサＦにセットされたワークＷも一緒に移動するから、この移動後のワークＷなどを、再度、カメラＣで撮像、そのデータをコンピュータに取り込む（ステップ５：第２撮像）。なお、図６Ｂはブロック移動後の撮影画像である。

ブロック移動後の撮像画像からも、マークＭの画像を取り込んでその終点座標ＯＰ₂を抽出する訳であるが、前述の通り、マークＭの輪郭を直接的に抽出することは叶わない故、前記エッジ生成処理を行って、ステップ２と同様、縦横２方向の非直線状の輪郭を求める（ステップ６：非直線輪郭の生成）。続いて、ステップ３と同様、最小２乗近似法を使って近似直線を生成し（ステップ７：近似直線の生成）、さらに、ステップ４と同様、その連立方程式を解いて２つの近似直線の交点を算出して、上記終点座標ＯＰ₂を求める（ステップ８：終点座標ＯＰ₂の算出）。

勿論、上記ステップ６に先立ち、前述のように、全体の画像からマークＭを含む周辺の小領域を切り取って上記演算処理をすることは、演算時間短縮に有効である。

以上のようにして、ブロックＢの移動前後における基準点、即ちマークＭの始点ＯＰ₁と終点ＯＰ₂の座標が判明したことから（図１０参照）、下記（７）式から両点の座標差を計算することによって、ブロックＢの移動距離Ｄを求める（ステップ９：移動距離Ｄの算出）。

勿論、上記ブロックが前記プッシュロッド等でｘ軸方向に送出されるような構造とすれば、図１０においてＤ＝ｔであり、始点ＯＰ₁と終点ＯＰ₂の座標差から簡単に移動距離Ｄを求めることができる。

換言するに、上記（７）式によって、移動距離Ｄを求める前提は、ブロックＢの移動前後でその姿勢が変化している、即ちｘ軸に対してある角度βをもってブロックＢが移動したことを仮定しており、この場合の角度（ブロックＢの姿勢変化角度）βは下記（８）式より求めることができる。

ここで、ｔは始点座標ＯＰ₁と終点座標ＯＰ₂間のｘ軸方向の距離、Ｕは始点座標ＯＰ₁と終点座標ＯＰ₂間のｙ軸方向の距離である。

ブロックＢの移動距離Ｄの実測のため、前記ステップ１及びステップ５で取り込んだ画像を利用した訳であるが、前記計測点Ｐの抽出にも同じ画像が用いられる。但し、ブロックＢの移動前後でそこに載置されたワークＷの姿勢が変化していないとは限られない。何故なら、前述のインライン方式の品質検査システムを前提に、ワークＷの交換の利便性を考慮し、或いはワークＷを固定することによってそこに生ずる歪みを嫌って、ワークＷは無負荷状態でフィクサＦにセットされている。そのため、ワークＷとフィクサＦとの間には０.１ｍｍ程度のクリアランスが存在し、ブロックＢの移動の際の慣性・振動などによって僅かにワークＷが動き、その姿勢を変える可能性がある。そのことを想定して同姿勢変化に対する補正を加えることによって、更に高精度の計測が可能となる。

そこで、ブロックＢの移動の前後における画像から、ワークＷの姿勢の変化（角度）θを捉える（ステップ１０：移動前後のワーク姿勢角度θの算出）。

そのために、前記ステップ１で取り込んだブロックＢ移動前の全体画像において、ワークＷ中の任意の直線成分、例えば図１１に示すように、コネクタのハウジング７とそこに植設された接触子６との境界線ｇｇと、ｘ軸とがなす角度θ₁（移動前のワーク姿勢角度）を求める。

より具体的には、先に抽出したマークＭの始点座標ＯＰ₁から、上記境界ｇｇが存在するであろう所定の距離だけ離れた小領域を抽出し、その中からハウジング７と接触子６の画素の濃淡差に基づき、図１２に示すように、第1境界点ＳＰ₁を見出し、さらに同様にしてこれから適度に離れた第２境界点ＳＰ₂を見出し、これら２点を結ぶことによって上記境界線ｇｇが得られる。そして、境界線ｇｇとｘ軸線とから下記（９）式をもって、ブロックＢの移動の前におけるワークＷの姿勢角度θ₁を求める（ステップ１０-ａ：移動前のワーク姿勢角度θ₁の算出）。

同じ様にして、マークＭの終点座標ＯＰ₂を基準点としてブロックＢ移動の後におけるワークＷの姿勢角度θ₂を求める（ステップ１０-ｂ：移動後のワーク姿勢角度θ₂の算出）。

そして、この両ワーク姿勢角度θ₁，θ₂の差から、ワークＷの姿勢の変化（角度）θを求める（θ＝θ₁−θ₂）。

ここで、Ｍｌ₁，Ｍｌ₂ は第1境界点ＳＰ₁と第２境界点ＳＰ₂間のｘ軸方向の距離、Ｍｈ₁，Ｍｈ₂は同点ＳＰ₁と点ＳＰ₂間のｙ軸方向の距離である。また、ワークＷ中の任意の直線成分としてハウジングと境界線ｇｇを抽出したが、これに限られず、様々な部位からこれを抽出可能である。

続いて、ブロックＢ移動前後の画像から各々の計測点Ｐをそれぞれ抽出する（ブロックＢ移動前の計測点（計測始点座標）Ｐ₁の抽出工程をステップ１１、ブロックＢ移動後の計測点（計測終点座標）Ｐ₂の抽出工程をステップ１２とする）訳であるが、それは次のようにして求められる。

始めに、前記ステップ１で取り込んだブロックＢ移動前の全体画像から、図１３に示すように、計測点Ｐ₁を含むと想定される接触子の先端部分の小領域Ｒの画像を抽出する（ステップ１１-ａ：小領域Ｒの抽出）。

なお、このとき、ステップ１０において述べたように、先に抽出したマークＭの始点座標ＯＰ₁を基準として、上記計測点Ｐ₁が存在するであろう所定の距離だけ離れた小領域を抽出するのが、コンピュータ処理時間短縮上、望ましい。

このようにして抽出した小領域Ｒの画像は、図１４の拡大図に示すように、マークＭの画像（図７参照）と同様に、その輪郭がはっきりしないものであるから、前記エッジ処理を行なって非直線状の輪郭を求める（ステップ１１-ｂ：非直線輪郭の生成）。この処理は、前記ステップ２及びステップ６と同じである。続いて最小２乗近似法を使って、図１５及び図１６に示すように、近似直線（ｘ軸方向の近似直線をｙ＝ａｘ＋ｂ、ｙ軸方向の近似直線をｙ＝ａｘ＋ｂ）を生成する（ステップ１１-ｃ：近似直線の生成）。この処理は、前記ステップ３及びステップ７と同じである。そして、前記近似直線の交点（領域始点）座標ｑ₁を求める（ステップ１１-ｄ：領域始点座標ｑ₁の算出）。この処理は前記ステップ４と同じである。

次に、図１７に示すように、上記領域始点座標ｑ₁を中心として所定の距離ｒを半径とする円を設定し、該円が前記ステップ１１-ｂで求めたｙ軸方向の非直線状の輪郭と交差するポイントを求め、これを計測点（計測始点座標）Ｐ₁とする（ステップ１１-ｅ：ワーク計測始点座標Ｐ₁の抽出）。

なお、上記距離ｒは、例えば図３におけるポイントｘと接触子先端６Ａまでの距離であって、図２をもって前述したように接触子６が上方または下方に異常に曲がっているような場合に、これを検出するに都合の良い距離を、予め設定しておくものである。

同様にして、ステップ５で取り込んだ画像から、ワークＷの移動後の計測点（計測終点座標）Ｐ₂の座標を求める（ステップ１２：ワーク計測終点座標Ｐ₂の抽出）。

即ち、前記ステップ１１-ａと同様なステップ１２-ａ（小領域Ｒの抽出）、前記ステップ１１-ｂと同様なステップ１２-ｂ（非直線輪郭の生成）、前記ステップ１１-ｃと同様なステップ１２-ｃ（近似直線の生成）、さらには前記ステップ１１-ｄと同様なステップ１２-ｄ（領域終点座標ｑ₂の算出）により、領域終点座標ｑ₂を求める（図１３〜図１６参照）。

続いて、前記ステップ１１-ｅ（ワーク移動前の計測始点座標Ｐ₁の抽出）と同様な工程を介してワーク移動後計測終点座標Ｐ₂を抽出するところであるが、それに先立って前記ステップ１０で求めたワーク移動前後の姿勢の変化角度θ分、前記領域終点座標ｑ₂を補正する（ステップ１２-ｅ：領域終点座標ｑ₂の補正）。補正後の領域終点座標はｑ₂´とする。

具体的には、このワークＷの姿勢の変化は、ポケット状のフィクサＦの中でワークＷが回動することによって生ずるものと仮定することができ、したがって、この姿勢の変化の中心はワークＷの長手方向の外形全長ＷＬの２等分線上にあるとみなすことができる。

そこで、図１８に示すように、ワークＷの長手方向の外形全長ＷＬを算出すべく、先に抽出したマークＭの始点座標ＯＰ₁又は終点座標ＯＰ₂から、ワークＷのｘ軸方向の両外形が認識できる所定の距離だけ離れた小領域をそれぞれ抽出し、その画像の中から同ワークの第1境界点ＷＰ₁ (座標：ｘ₁，ｙ₁)、第２境界点ＷＰ₂ (座標：ｘ₂ ，ｙ₂)、を見出し、続いて同様にして各々より離れた小領域から第３境界点ＷＰ₃ (座標：ｘ₃，ｙ₃)及び第４境界境界点ＷＰ₄ (座標：ｘ₄，ｙ₄)を見出す。そして、第1境界点ＷＰ₁ と第２境界点ＷＰ₂ 間の長さ、及び第３境界点ＷＰ₃ と第４境界点ＷＰ₄ 間の長さをそれぞれ求め、これら長さの平均値を算出することによって、該外形全長ＷＬを求めることができる。

但し、この外形全長ＷＬの求め方は、上記手法に限られず、図面値をそのまま用いることを含め、種々の手法が応用できる。

次いで、図１９に示すように、この外形長ＷＬの２等分線ＫＫと、前記ステップ１２-ｃで得たｘ軸方向の近似直線（ｙ＝ａｘ＋ｂ）との交点Ｏを回転中心とし、この中心Ｏと前記のワーク移動後の交点ｑ₂との間の距離ＷＲを半径とする円弧を描き、さらに該円弧に沿って上記領域終点座標ｑ₂を前記ワークＷの姿勢の変化角度θ分、回転させた補正終点ｑ₂´の座標（ｘ´，ｙ´）を、下記（１１）式〜（１３）式から生成する。

具体的には、この演算に先立ち、上記近似直線（ｙ＝ａｘ＋ｂ）がｘ軸とのなす角度φを、下記（１０）式から求めておき（図１９及び図２０参照）、この角度φと前記ワークＷの姿勢の変化角度θとから、補正領域終点座標ｑ₂´（ｘ´，ｙ´）を算出することになる。

ここで、△ｃは領域終点座標ｑ₂と上記補領域終点座標ｑ₂´との間のｘ軸方向変位量、△ｋは同ｙ軸方向変位量である。

続いて、前記ステップ１１-eと同様に、上記補正領域終点座標ｑ₂´を中心に、前記所定の距離ｒを半径とする円を設定し、該円が前記ステップ１２-ｂで得られたｙ軸方向の非直線状の輪郭と交差するポイントを求め、この点をワーク移動後の計測点、つまり計測終点座標Ｐ₂とする（ステップ１２-ｆ：計測終点座標Ｐ₂の抽出）。

次に、図２１に示すように、前記ステップ１１で抽出したワーク移動前の計測点Ｐ₁を、ブロックＢの表面、即ちワーク載置面まで垂直に移動させて点Ｐ₁´とするとともに、その点Ｐ₁´の座標値(ｘ₃，ｙ₃)を抽出する。同様に、上記ステップ１２によって得られたワーク移動後の計測点Ｐ₂を、同ワーク載置面まで垂直に下ろして点Ｐ₂´とするとともに、その点Ｐ₂´の座標値(ｘ₄，ｙ₄)を抽出する。

次に、（８）式にて算出したブロックＢの移動前後の姿勢変化角度β及びに上記計測点Ｐ₁´と計測点Ｐ₂´の座標とに基づき、下記（１４）式から計測点Ｐ₁´と計測点Ｐ₂´間の距離ＤＤを算出する（ステップ１３-ａ：距離ＤＤの算出）。

但し、前述のように、ブロックＢがプッシュロッド等でｘ軸方向に送出されるような構造とすれば、計測点Ｐ₁´と計測点Ｐ₂´の座標差から簡単に距離ＤＤを求めることができる。

また、図２２に示すように、予めハイトゲージ等の計測器を使用して計測したカメラＣからブロックＢのワーク載置面までの距離Ｋと、ステップ１３-ａにて算出した距離ＤＤとから、下記（１５）式及び（１６）式を用い、カメラＣ−計測点Ｐ₁´−ワーク載置面のなす角度α１、並びにカメラＣ−Ｐ₂´−ワーク載置面のなす角度α２を算出する（ステップ１３-ｂ：角度α１，α２算出）。

ここで、ｘｐは、前記カメラＣの中心線Ｌがブロックのワーク載置面と交わる点ｐｐと、前記距離ＤＤの２等分線が同ワーク載置面と交わる点ｄｄ間の距離である。

なお、計測する接触子は複数あり、カメラＣと計測点Ｐ´の位置関係は、図２２以外にも図２３〜図２８のような関係がある。つまり、上記（１５）式及び（１６）式を変形し、図２３〜図２８のパターンにも追従させるために、各々の条件に当てはめた（１７）式〜（２７）式を用いて角度α１，α２を算出する。

[１] 条件１：α１＞α２かつ α１＞９０°（図２３参照）

[２] 条件２：α１＝９０°（図２４参照）

[３] 条件３：α１＞α２かつ α１＜９０°（図２５参照）

[４] 条件４：α１＝α２（図２６参照）

[５] 条件５：α２＞α１かつ α２＜９０°（図２２参照）
（１５）式及び（１６）式にて算出する。

[６] 条件６：α２＝９０°（図２７参照）

[７] 条件７：α２＞α１かつ α２＞９０°（図２８参照）

そして、図２９に示すように、ステップ９で求めたブロックＢの移動距離Ｄと、ステップ１３-ｂにて算出した角度α１，α２の値より、下記（２８）式を用いてカメラＣから計測点Ｐまでの距離Ｈを算出する（ステップ１３-ｃ：距離Ｈの算出）。

次にステップ１３-ｃにて算出した距離Hと予め計測しておいた距離Kの値より、下記（２９）式を用いて、ブロックＢから該計測点までの高さｈを算出する（ステップ１３-ｄ：距離Kから距離Ｈを差し引いて高さｈを算出）。

本実施例によれば、図２に示したコネクタにおける接触子６の微小高さｈのように、それを覗き見ることができるだけで通常の直接計測法では測定し難い部位の寸法を、ステレオ計測法を用いて極めて精密に、且つ簡便に、三次元計測することができる。

殊に、マークＭ或いは計測点Ｐ近傍の領域を取り出し、その輪郭の非直線、さらに近似直線から交点座標を求めるようにしたので、ブロックＢの移動前後において全く同一の点を基準点をして精密に捕らえることができ、該基準点のずれによる測定誤差の発生を殆ど無視できる。

そして、上記ステレオ計測法の根幹をなすブロックＢの移動距離Ｄを、画像処理によって極めて精密に、その都度、実測するようにしたので、ワーク移動距離の変化に柔軟な、高精度単眼ステレオ計測を実現することができる。この手法の採用により、ワーク移動端での機械的または電気的な高精度位置決め機能を付加する必要がなくなり、カメラ、照明等の撮像機器の購入コストと合わせて、機構の開発コストも低減できる。

さらに、同ブロックの移動前後における該ブロックの姿勢変化角度β並びにワークの姿勢変化θを捉え、前記領域終点座標ｑ₂を補正するようにしたので、この計測精度をより高くすることができる。

また、このステレオ計測法による三次元計測に際し、使用するカメラは１台で済むから、そのキャリブレーションも不要で、廉価な取扱い易い検査システムとすることができる。

さらに、コンピュータに取り込んだ画像に対し、各種演算・処理を施すに先立ち、その対象領域を小さく切り取るようにしたので、該演算・処理時間を大幅に短縮することができ、もってインライン検査をも可能にすることができる。

なお、マークＭとして、黒色の矩形のものをブロックに貼付した例を示したが、ブロックそのものの一部、或いはフィクサそのものの一部をこれに代用することができ、またその形状も２本の近似直線の生成が可能であれば良く、矩形に限定されず、また鮮明な画像として捉えられるものであれば如何なる色であっても構わない。

また、ワークＷは、インラインでの交換の便宜上、或いはそれに歪みを与えないように、無負荷状態でフィクサ上にセットする様にしたが、これを殆ど歪みが生じない程度に固定し、前記ブロックの移動前後でその姿勢の変化が起きないように工夫することを妨げるのもではない。この場合、ワークの姿勢変化θに基づく領域終点補正座標ｑ₂の補正を省くことができる。

なお、上記実施例においては、雌形接触子の変形量計測に関する検査に適用した一例を示したが、本発明に係る微小高さ計測方法は、電子部品の端子リード部の平坦度検査用にも適用できる。例えば、上記端子リード部について高さを少なくとも２点を計測し、それら計測結果を比較することにより、端子リード部の平坦度を知ることができる。

デタッチャブル式基板間コネクタの斜視図である。図１のＡ−Ａ線に沿った断面図である。雌形接触子の斜視図である。本発明に係る微小高さ計測方法におけるワーク撮像環境の概要を説明する図である。ワークを移動させるための機構を示しており、（ａ）はその平面図、（ｂ）は側面図、（ｃ）は要部の拡大平面図である。ワーク移動前の撮影画像を示す図である。ワーク移動後の撮影画像を示す図である。マークの撮像画像を示す図である。非直線輪郭を生成する様子を示す図である。近似直線輪郭を生成する様子を示す図である。ブロックの移動距離を算出する様子を示す図である。ワーク移動時にワークに姿勢変化が生じたときの撮影画像を示す図である。ワーク移動前後におけるワークの姿勢角度の算出方法を示す図である。ワーク移動前のマーク及び接触子付近の撮影画像を示す図である。図１３において接触子付近に小領域を設定した様子を示す図である。小領域に非直線輪郭を生成する様子を示す図である。小領域に近似直線輪郭を生成する様子を示す図である。小領域の始点座標に所定の半径を有する円を設定した様子を示す図である。ワークの外形全長を算出する様子を示す図である。ワーク移動後の原点補正を説明する図である。図１９と共にワーク移動後の原点補正を説明する図である。ワークの特定箇所の微小高さを算出する原理を説明する図である。図２０に引き続き、ワークの特定箇所の微小高さを算出する原理を説明する図である。カメラとワークの位置が相対的に変化したとき、ワークの特定箇所の微小高さを算出する原理を説明する図である。カメラとワークの位置が相対的に変化したとき、ワークの特定箇所の微小高さを算出する原理を説明する図である。カメラとワークの位置が相対的に変化したとき、ワークの特定箇所の微小高さを算出する原理を説明する図である。カメラとワークの位置が相対的に変化したとき、ワークの特定箇所の微小高さを算出する原理を説明する図である。カメラとワークの位置が相対的に変化したとき、ワークの特定箇所の微小高さを算出する原理を説明する図である。カメラとワークの位置が相対的に変化したとき、ワークの特定箇所の微小高さを算出する原理を説明する図である。図２２に引き続き、ワークの特定箇所の微小高さを算出する原理を説明する図である。

符号の説明

３雌形コネクタ
６雌形接触子（接触子）
６Ａ先端部
Ｂブロック
Ｃカメラ
Ｆフィクサ
Ｍマーク
Ｐ計測点
Ｓステージ
Ｗワーク

Claims

ステージ上にブロックが水平方向に移動可能に配置され、前記ブロック上にフィクサが取り付けられ、前記フィクサ上にワークが載置されている場合に、前記ブロックまたは前記フィクサにマークを付すか若しくは前記ブロックまたは前記フィクサの一部をマークとするとともに、前記ブロックのワーク載置面から所定距離Ｋ隔てて該ブロックの上方に１台のカメラを固定して、該カメラで前記ブロックの移動前後の前記ワーク等の状態を撮像し、その撮像画像をコンピュータ処理して前記ワークの特定箇所の微小高さｈを計測する画像処理による微小高さ計測方法であって、
前記ブロック移動前の状態を撮像してそのデータをコンピュータに取り込み（ステップ１）、その撮像画像から前記マークを抽出し、そこにエッジ生成処理を施して少なくとも２本の非直線状の輪郭線を生成し（ステップ２）、次に前記輪郭線に最小二乗近似法などを加えて前記マークの近似直線の輪郭を得（ステップ３）、続いて前記近似直線の連立方程式を解いてブロック移動前の始点座標ＯＰ₁を算出し（ステップ４）、
また、前記ブロックを移動させた後の状態を撮像してそのデータをコンピュータに取り込み（ステップ５）、その撮像画像から前記マークを抽出し、そこにエッジ生成処理を施して少なくとも２本の非直線状の輪郭線を生成し（ステップ６）、次に前記輪郭線に最小二乗近似法などを加えて前記マークの近似直線の輪郭を得（ステップ７）、続いて前記近似直線の連立方程式を解いてブロック移動後の終点座標ＯＰ₂を算出して（ステップ８）、
前記始点座標ＯＰ₁と前記終点座標ＯＰ₂とから前記ブロックの移動距離Ｄを算出する（ステップ９）一方、
前記ブロック移動前の状態の画像から前記ワークの特定箇所を含む領域を抽出し、そこにエッジ生成処理を施して少なくとも２本の非直線状の輪郭線を生成し（ステップ１１-ｂ）、次に前記輪郭線に最小二乗近似法などを加えて近似直線の輪郭を得（ステップ１１-ｃ）、続いて前記近似直線の連立方程式を解いてブロック移動前の領域始点座標ｑ₁を算出し（ステップ１１-ｄ）、さらに前記始点座標ｑ₁から所定の距離ｒだけ離れた前記非直線状の輪郭線上の点を計測始点座標Ｐ₁とし（ステップ１１-ｅ）、
また、前記ブロック移動後の画像から前記ワークの特定箇所を含む領域を抽出し、そこにエッジ生成処理を施して少なくとも２本の非直線状の輪郭線を生成し（ステップ１２-ｂ）、次に前記輪郭線に最小二乗近似法などを加えて近似直線の輪郭を得（ステップ１２-ｃ）、続いて前記近似直線の連立方程式を解いてブロック移動後の領域終点座標ｑ₂を算出し（ステップ１２-ｄ）、さらに前記終点座標ｑ₂から距離ｒだけ離れた前記非直線状の輪郭線上の点を計測終点座標Ｐ₂とし（ステップ１２-ｆ）、
さらに、前記計測始点座標Ｐ₁と前記計測終点座標Ｐ₂とから計測点間距離ＤＤを算出し（ステップ１３-ａ）、且つ前記計測点間距離ＤＤと前記所定距離Ｋとからカメラ−計測始点座標Ｐ₁−ワーク載置面のなす角度α１並びにカメラ−計測終点座標Ｐ₂−ワーク載置面のなす角度α２を算出し（ステップ１３-ｂ）、前記角度α１及び角度α２と前記移動距離Ｄとからカメラ−特定箇所間の距離Ｈを演算し（ステップ１３-ｃ）、続いて前記所定距離Ｋから前記距離Ｈを差引いて前記微小高さｈを求める（ステップ１３-ｄ）ことを特徴とする画像処理による微小高さ計測方法。
前記マークの始点座標ＯＰ₁と終点座標ＯＰ₂とからブロックの移動距離Ｄを算出する（ステップ９）際に、合わせて前記ブロックの移動前後の姿勢変化角度βを算出しておき、前記計測始点座標Ｐ₁と前記計測終点座標Ｐ₂とから計測点間距離ＤＤを算出する（ステップ１３-ａ）に当たり、前記姿勢変化角度βに基づく前記計測点間距離ＤＤの補正を行うことを特徴とする請求項１に記載の画像処理による微小高さ計測方法。
前記ブロック移動前の状態の画像からワーク中の任意の直線成分を見出して、該直線成分がｘ軸またはｙ軸となす角度θ₁を求めるとともに（ステップ１０-ａ）、前記ブロック移動後の状態の画像からワーク中の任意の直線成分を見出して、該直線成分がｘ軸またはｙ軸となす角度θ₂を求めておき（ステップ１０-ｂ）、前記角度θ₁と前記角度θ₂の差θ分、前記領域終点座標ｑ₂を回動させて領域終点補正座標ｑ₂´を得（ステップ１２-ｅ）、該領域終点補正座標ｑ₂´を基に前記計測終点座標Ｐ₂を求めることを特徴とする請求項１に記載の画像処理による微小高さ計測方法。
前記マークの始点座標ＯＰ₁と終点座標ＯＰ₂とからブロックの移動距離Ｄを算出する（ステップ９）際に、合わせて前記ブロックの移動前後の姿勢変化角度βを算出しておき、前記計測始点座標Ｐ₁と前記計測終点座標Ｐ₂とから計測点間距離ＤＤを算出する（ステップ１３-ａ）に当たり、前記姿勢変化角度βに基づく前記計測点間距離ＤＤの補正を行う一方、
前記ブロック移動前の状態の画像からワーク中の任意の直線成分を見出して、該直線成分がｘ軸またはｙ軸となす角度θ₁を求めるとともに（ステップ１０-ａ）、前記ブロック移動後の状態の画像からワーク中の任意の直線成分を見出して、該直線成分がｘ軸またはｙ軸となす角度θ₂を求めておき（ステップ１０-ｂ）、前記角度θ₁と前記角度θ₂の差θ分、前記領域終点座標ｑ₂を回動させて領域終点補正座標ｑ₂´を得（ステップ１２-ｅ）、該領域終点補正座標ｑ₂´を基に前記計測終点座標Ｐ₂を求めることを特徴とする請求項１に記載の画像処理による微小高さ計測方法。
前記ブロック移動前後の撮像画像からマークを抽出する際、或いは前記ブロック移動前後の撮像画像から前記ワークの特定箇所を含む領域を抽出する際の少なくともいずれか一つにおいて、任意の基準点から所定の距離だけ隔たった小領域を抽出した（ステップ１１-ａ及びステップ１２-ａ）後、各種演算処理を行なうようにしたことを特徴とする請求項１に記載の画像処理による微小高さ計測方法。