JP2011033575A - 部材の位置認識装置、位置決め装置、接合装置および部材の接合方法 - Google Patents

Abstract

【課題】部材の角にダレや欠けが発生している箇所と発生していない箇所が混在している部材の外形線を、画像処理を用いて正確に認識する。
【解決手段】平面を有する部材４を平面に垂直な方向から撮像した画像から部材４の外形線を演算する画像処理部３は、撮像部１が撮像した画像で部材の外形線と交差する複数の認識ラインのそれぞれで、部材４の外から内への方向で輝度が明から暗に変化する暗変化端点候補を検出する暗変化端点候補検出部３Ｃ、部材４の外から内への方向で輝度が暗から明に変化する明変化端点候補を検出する明変化端点候補検出部３Ｄ、暗変化端点候補と明変化端点候補とから端点を検出する端点検出部３Ｅ、複数の認識ラインで検出された端点との誤差の和が最小になるように部材の外形線を決定する外形線決定部３Ｆを有する。
【選択図】図１

Description

本発明は、印などを付けられない微細な部材に関して高精度に部材の位置を認識する装置、位置を認識した部材を所定の位置に配置する位置決め装置、および複数の部材を所定の相対位置に配置して接合する部材の接合装置と接合方法に関するものである。

部材の位置認識方法として、部材の外形を基準に画像処理を用いて認識をする方法がある。画像処理を用いた位置認識では、撮像画像内において、認識したい外形に相当する画像を検出して認識する必要がある。
部材上にあけた穴の中心位置を認識する際に、画角のある光学系で撮像すると、穴の側面が撮像されるため、画像上での穴のエッジ認識位置にずれが発生する。これに対して、ターゲットを丸穴と限定することで、座標系を極座標系に変換し円周方向の輝度投影を用いて、エッジ候補範囲を限定する方法がある。この方法の実施例では、輝度投影の最大値よりも１０％小さい輝度の位置と、輝度の最小値よりも１０％大きい輝度の位置の間にエッジが存在すると限定している。このエッジ候補範囲内で、半径方向各ラインのエッジを微分により検出し、検出エッジから最小二乗法にて穴に対応する円を決める（特許文献１）。

また、鏡面、凹凸状の部材を画像処理によって認識するために、落射照明、拡散照明を一体化させ、それぞれの照明強度を独立に調整することのできる照明装置を用いて部材を照明することにより、部材の凸凹部も均一に照明して、画像処理可能な状態とする方法がある（特許文献２）。

特開平９−４２９１５号 特許第４１２２１８７号

特許文献１に記載の方法は丸穴を対象とするものであり、外形の直線の位置を検出することができない。特許文献２に記載の方法では、特殊な照明装置を必要とする上、凸凹の斜面方向が、カメラ光軸に対して４５度以上傾くと、部材面よりも下部から照明する必要があり、現実的に照明装置を構成することは困難である。
この発明は、印をつけられない微細な部材を、部材の外形に欠けなどがあっても外形線から部材の位置を精度よく認識することを目的とするものである。

この発明に係る部材の位置決め装置は、平面を有する部材を撮像した画像から前記部材の外形線により前記部材の位置を認識し、前記部材を所定の位置に配置する部材の位置決め装置であって、前記部材の前記平面に垂直な方向から前記部材を撮像する撮像部と、前記撮像部の光軸と平行な方向から前記部材の前記平面を照明する照明部と、前記撮像部が撮像した画像から前記部材の外形線を演算する画像処理部と、前記部材を移動させる部材配置部とを備え、前記画像処理部は、前記撮像部が撮像した画像において前記部材の外形線と交差する複数の認識ラインを設定する認識ライン設定部、それぞれの前記認識ラインで画像の輝度を検出する輝度検出部、それぞれの前記認識ラインで前記部材の外から内への方向で輝度が明から暗に変化する暗変化端点候補を検出する暗変化端点候補検出部、それぞれの前記認識ラインで前記部材の外から内への方向で輝度が暗から明に変化する明変化端点候補を検出する明変化端点候補検出部、それぞれの前記認識ラインで、前記暗変化端点候補と前記明変化端点候補とから端点を検出する端点検出部、複数の前記認識ラインで検出された前記端点との誤差の和が最小になるように前記部材の外形線を決定する外形線決定部を有することを特徴とするものである。

この発明に係る部材の位置認識装置は、平面を有する部材を撮像した画像において前記部材の外形線を認識し、外形線の位置により前記部材の位置を認識する部材の位置認識装置であって、前記部材の前記平面に垂直な方向から前記部材を撮像する撮像部と、前記撮像部の光軸と平行な方向から前記部材の前記平面を照明する照明部と、前記撮像部が撮像した画像から前記部材の外形線を演算する画像処理部とを備え、前記画像処理部は、前記撮像部が撮像した画像において前記部材の外形線と交差する複数の認識ラインを設定する認識ライン設定部、それぞれの前記認識ラインで画像の輝度を検出する輝度検出部、それぞれの前記認識ラインで前記部材の外から内への方向で輝度が明から暗に変化する暗変化端点候補を検出する暗変化端点候補検出部、それぞれの前記認識ラインで前記部材の外から内への方向で輝度が暗から明に変化する明変化端点候補を検出する明変化端点候補検出部、それぞれの前記認識ラインで、前記暗変化端点候補と前記明変化端点候補とから端点を検出する端点検出部、複数の前記認識ラインで検出された前記端点との誤差の和が最小になるように前記部材の外形線を決定する外形線決定部を有することを特徴とするものである。

この発明に係る部材の接合方法は、第１の部材と平面を有する第２の部材を接合する部材の接合方法であって、第１の部材の位置を決める座標系と第２の部材の位置を認識する第２の位置認識装置が使用する座標系とを整合させる位置認識補正ステップ、第１の部材の位置を認識する第１の位置認識ステップ、前記第２の位置認識装置により前記第２の部材の位置を認識する第２の位置認識ステップ、前記第１の部材と前記第２の部材とを接合する位置に前記第２の部材を移動させる移動ステップ、前記第１の部材と前記第２の部材とを接合する接合ステップを有し、前記第２の位置認識ステップは、位置を認識する部材を撮像する画像において前記部材の外形線と交差する複数の認識ラインを設定する認識ライン設定ステップ、照明された前記部材を撮像する撮像ステップ、それぞれの前記認識ラインで撮像された画像の輝度を検出する輝度検出ステップ、それぞれの前記認識ラインで前記部材の外から内への方向で輝度が明から暗に変化する暗変化端点候補を検出する暗変化端点候補検出ステップ、それぞれの前記認識ラインで前記部材の外から内への方向で輝度が暗から明に変化する明変化端点候補を検出する明変化端点候補検出ステップ、それぞれの前記認識ラインで、前記暗変化端点候補と前記明変化端点候補とから前記部材の端点を検出する端点検出ステップ、複数の前記認識ラインで検出された前記端点との誤差の和が最小になるように前記部材の外形線を決定する外形線決定ステップを有し、決定した前記外形線により前記部材の位置を認識することを特徴とするものである。

この発明に係る部材の位置決め装置は、平面を有する部材を撮像した画像から前記部材の外形線により前記部材の位置を認識し、前記部材を所定の位置に配置する部材の位置決め装置であって、前記部材の前記平面に垂直な方向から前記部材を撮像する撮像部と、前記撮像部の光軸と平行な方向から前記部材の前記平面を照明する照明部と、前記撮像部が撮像した画像から前記部材の外形線を演算する画像処理部と、前記部材を移動させる部材配置部とを備え、前記画像処理部は、前記撮像部が撮像した画像において前記部材の外形線と交差する複数の認識ラインを設定する認識ライン設定部、それぞれの前記認識ラインで画像の輝度を検出する輝度検出部、それぞれの前記認識ラインで前記部材の外から内への方向で輝度が明から暗に変化する暗変化端点候補を検出する暗変化端点候補検出部、それぞれの前記認識ラインで前記部材の外から内への方向で輝度が暗から明に変化する明変化端点候補を検出する明変化端点候補検出部、それぞれの前記認識ラインで、前記暗変化端点候補と前記明変化端点候補とから端点を検出する端点検出部、複数の前記認識ラインで検出された前記端点との誤差の和が最小になるように前記部材の外形線を決定する外形線決定部を有することを特徴とするものなので、印をつけられない微細な部材を、部材の外形に欠けなどがあっても外形線から部材の位置を認識して、正確に位置決めできる。

この発明に係る部材の位置認識装置は、平面を有する部材を撮像した画像において前記部材の外形線を認識し、外形線の位置により前記部材の位置を認識する部材の位置認識装置であって、前記部材の前記平面に垂直な方向から前記部材を撮像する撮像部と、前記撮像部の光軸と平行な方向から前記部材の前記平面を照明する照明部と、前記撮像部が撮像した画像から前記部材の外形線を演算する画像処理部とを備え、前記画像処理部は、前記撮像部が撮像した画像において前記部材の外形線と交差する複数の認識ラインを設定する認識ライン設定部、それぞれの前記認識ラインで画像の輝度を検出する輝度検出部、それぞれの前記認識ラインで前記部材の外から内への方向で輝度が明から暗に変化する暗変化端点候補を検出する暗変化端点候補検出部、それぞれの前記認識ラインで前記部材の外から内への方向で輝度が暗から明に変化する明変化端点候補を検出する明変化端点候補検出部、それぞれの前記認識ラインで、前記暗変化端点候補と前記明変化端点候補とから端点を検出する端点検出部、複数の前記認識ラインで検出された前記端点との誤差の和が最小になるように前記部材の外形線を決定する外形線決定部を有することを特徴とするものなので、印をつけられない微細な部材を、部材の外形に欠けなどがあっても外形線から部材の位置を正確に認識できる。

この発明に係る部材の接合方法は、第１の部材と平面を有する第２の部材を接合する部材の接合方法であって、第１の部材の位置を決める座標系と第２の部材の位置を認識する第２の位置認識装置が使用する座標系とを整合させる位置認識補正ステップ、第１の部材の位置を認識する第１の位置認識ステップ、前記第２の位置認識装置により前記第２の部材の位置を認識する第２の位置認識ステップ、前記第１の部材と前記第２の部材とを接合する位置に前記第２の部材を移動させる移動ステップ、前記第１の部材と前記第２の部材とを接合する接合ステップを有し、前記第２の位置認識ステップは、位置を認識する部材を撮像する画像において前記部材の外形線と交差する複数の認識ラインを設定する認識ライン設定ステップ、照明された前記部材を撮像する撮像ステップ、それぞれの前記認識ラインで撮像された画像の輝度を検出する輝度検出ステップ、それぞれの前記認識ラインで前記部材の外から内への方向で輝度が明から暗に変化する暗変化端点候補を検出する暗変化端点候補検出ステップ、それぞれの前記認識ラインで前記部材の外から内への方向で輝度が暗から明に変化する明変化端点候補を検出する明変化端点候補検出ステップ、それぞれの前記認識ラインで、前記暗変化端点候補と前記明変化端点候補とから前記部材の端点を検出する端点検出ステップ、複数の前記認識ラインで検出された前記端点との誤差の和が最小になるように前記部材の外形線を決定する外形線決定ステップを有し、決定した前記外形線により前記部材の位置を認識することを特徴とするものなので、印をつけられない微細な部材を、部材の外形に欠けなどがあっても外形線から部材の位置を認識して、正確に位置決めして接合できる。

この発明の実施の形態１に係る部材の位置決め装置の構成を説明する図である。 この発明の実施の形態１に係る部材の位置決め装置が撮像する画像と部材との位置関係を説明する図である。 この発明の実施の形態１に係る部材の位置決め装置での部材を撮像した画像の例を説明する図である。 部材の角に欠けもダレもない箇所での撮像部の光軸に平行な面での部材の断面図である。 部材の角に欠けがある箇所での撮像部の光軸に平行な面での部材の断面図である。 部材の角に欠けもダレもない箇所での撮像部の光軸に平行な面で部材に照射された光が反射する様子を説明する図である。 部材の角に欠けがある箇所での撮像部の光軸に平行な面で部材に照射された光が反射する様子を説明する図である。 この発明の実施の形態１に係る部材の位置決め装置で部材の位置を認識する手順を説明する図である。 この発明の実施の形態１に係る部材の位置決め装置において撮像された画像から検出された明変化端点候補を説明する図である。 この発明の実施の形態１に係る部材の位置決め装置において撮像された画像から検出された暗変化端点候補を説明する図である。 部材の角に欠けもダレもない箇所での撮像部の光軸に平行な面で部材の断面、この箇所の認識ラインでの輝度および輝度微分値を説明する図である。 部材の角に欠けがある箇所での撮像部の光軸に平行な面で部材の断面、この箇所の認識ラインでの輝度および輝度微分値を説明する図である。 部材表面が荒れている箇所での撮像部の光軸に平行な面で部材の断面、この箇所の認識ラインでの輝度および輝度微分値を説明する図である。 部材の角に欠けもダレもなく、かつ部材端でない表面に傷がある箇所での撮像部の光軸に平行な面で部材の断面、この箇所の認識ラインでの輝度および輝度微分値を説明する図である。 部材の角に欠けがあり、かつ部材端でない表面に傷がある箇所での撮像部の光軸に平行な面で部材の断面、この箇所の認識ラインでの輝度および輝度微分値を説明する図である。 この発明の実施の形態３に係る部材の接合装置の構成を説明する図である。 この発明の実施の形態３に係る部材の接合装置で部材を接合する手順を説明する図である。

実施の形態１．
以下、本発明の実施の形態について説明する。本発明は、平面を有する部材を平面に垂直な方向から見た外形により部材の位置を認識する位置認識装置と、認識した位置を使用して部材を所定の位置に配置する位置決め装置、および２つの部材の位置をそれぞれ認識してその相対位置が所定の関係になるように配置して接合する部材の接合装置と接合方法に関するものである。主に対象とする部材は、１辺が０．５ｍｍ程度から数ｍｍ程度の大きさである。誤差が５μ程度以下となるような精度で部材の位置を認識して位置決めする技術に関するものである。部材の平面と側面との角には、欠けや、欠けよりも大きく角がとれた状態であるダレなどが発生している場合がある。部材に欠けやダレがある場合でも、精度よく部材の位置を認識することを目的とする。

図１に、本発明に係る位置決め装置の装置構成を示す。位置決めの対象となる部材４は、部材台６（図示せず）の上に置載されている。部材４の上面は平面であり、上面に垂直な向きから見た外形は四角形である。側面は上面と垂直である。位置決め装置は、上面に垂直な方向から部材４の外形線を含む画像を拡大して撮像する所定個の撮像部１、撮像部１の光軸と平行な方向から部材４の上面を照明する照明部２、撮像部１から得られた部材４の外形線を含む画像を処理して部材４の位置を認識する画像処理部３、照明部２から出射される照明光を撮像部１の光軸に平行な方向に反射させ、部材４から反射された光を撮像部１へ透過させるハーフミラー５を有する。

部材４の外形線を認識する際に、図２に示すように、部材４の四辺のほぼ中央にそれぞれ１個の撮像部１の撮像領域７を設定する。各撮像部１で認識した部材４の外形線から部材４の位置を認識する。図２に示すような位置関係になるように、４個の撮像部１に対する部材４の位置を予め調整しておく。そのために、部材４の全体を撮像して、その画像から部材４の大まかな位置を認識するようにしてもよい。また、予め撮像部１の焦点は部材４の上面に合わせておく。
撮像部１は部材の外形に応じて、１個以上の必要な数を必要な位置に配置する。

図３に本発明による撮像画像の一例を示す。部材４の上面は平面であり、照明部２の光軸と撮像部１の光軸に対して垂直である。そのため、図３において、部材４の上面は、照明光がよく反射されて明るく撮像される。また、部材台６も照明部２の光軸と撮像部１の光軸に対して垂直であるが、撮像部１の結像光学系の被写界深度から外れているため、部材台６は灰色で撮像される。さらに、部材の角に発生した欠け部は、欠け部で反射された光が撮像部１に入らないので、黒く撮像される。

撮像部１で撮像される画像が上記のようになる理由を、図４から図７を用いて説明する。図４と図５は、撮像部１の光軸に平行な面での部材４の断面図である。図４は、部材にダレも欠けも無い箇所（図３においてＡ−Ａ線で示す）での断面図である。図５は、部材の端部に欠けがある箇所（図３においてＢ−Ｂ線で示す）での断面図である。図６と図７は、照明部２により照射された光が部材４または部材台６で反射される様子を説明する図である。図６が、図４に示す部材にダレも欠けも無い箇所での撮像部の光軸に平行な面で光が反射する様子を説明する図である。図７が、図５に示す部材の端部に欠けがある箇所での撮像部の光軸に平行な面で光が反射する様子を説明する図である。図７で欠けに照射された光は、撮像部１の光軸とは異なる方向に反射される。その他の光は、撮像部１の光軸と平行な方向に反射される。ただし、撮像部１の焦点は部材４の上面に合わせてあるため、部材台６は被写界深度外となり、部材４よりも暗くなる。このため、部材４の上面は白く明るく、部材台６は灰色に、部材４の欠けは黒く、撮像部１に撮像される。

画像処理部３は、撮像部１が撮像する撮像領域７に対して画像処理の対象とする領域である画像処理エリアを設定し、この画像処理エリア内に部材４の外形線と交差する複数の認識ラインを設定する認識ライン設定部３Ａ、それぞれの認識ラインで画像の輝度を検出する輝度検出部３Ｂ、それぞれの認識ラインで部材の外から内への方向で輝度が明から暗に変化する暗変化端点候補を検出する暗変化端点候補検出部３Ｃ、それぞれの認識ラインで部材の外から内への方向で輝度が暗から明に変化する明変化端点候補を検出する明変化端点候補検出部３Ｄ、それぞれの認識ラインで暗変化端点候補と明変化端点候補とから端点を検出する端点検出部３Ｅ、複数の認識ラインで検出された端点との誤差の和が最小になるように部材の外形線を決定する外形線決定部３Ｆを有する。

図８に、画像処理部３でなされる部材の位置を認識する手順を説明する図を示す。
画像処理部３は、ステップＳ０１で、撮像部１が撮像する画像に対して画像処理エリアを任意に設定する。図３では、画像処理エリアを実線の四角で示す。画像処理エリアを設定する目的は、認識対象を部材外形付近のみに限定しノイズの影響を受けないようにすること、および、処理範囲を小さくすることによる処理の高速化である。画像処理エリアは、想定する範囲内で部材４の位置のズレがあっても部材４の外形線が撮像できるような大きさに決定しておく。
ステップＳ０２で、この画像処理エリア内に、部材４の外形線と交差する方向に複数（Ｎ個）の認識ラインを設定する。図３の例では、画像処理エリアの内部に引かれた点線が認識ラインである。図３において、部材の外形線がｘ方向になり、部材の外形線と垂直なｙ方向に所定の間隔で認識ラインを設定する。また、図における画像の上側に部材が撮像されるため、各認識ラインにおいて画像を処理する方向は、ｙ座標が小さくなる方向（図３では下から上向き）に設定する。認識ラインの数Ｎは、最小二乗法で外形線が推定できるように十分な数を設定する。外形線が直線の場合には、Ｎは１０程度から２０程度の個数になる。

ステップＳ０３で、この各認識ラインで、撮像画像の輝度の変化から部材の端点候補を検出する。部材の端点候補を検出する方法は後述するが、撮像画像の輝度が暗から明へ変化する明変化端点候補を検出した画像を図９に、明から暗へ変化する暗変化端点候補を検出した画像を図１０に示す。
図９において検出された明変化端点候補を結ぶ線は、部材表面と欠け部の境界、および部材表面と部材台６の境界となる。部材表面と部材台６の境界は部材外形であるが、部材表面と欠け部の境界は部材外形ではないため、図９に示された明変化端点候補による端点に関する情報は、正誤情報が混在したものとなる。

また、図１０において検出された暗変化端点候補は部材台６と欠け部の境界となり、部材台６と部材表面の境界は検出されない、欠けなどが発生していない部材であれば暗変化端点候補が全く検出されなくなる。
このため、図１０に示される明から暗に変化する暗変化端点候補を優先して端点に採用する。明から暗に変化する暗変化端点候補が検出されていない箇所の認識ラインでは、図９に示される暗から明に変化する明変化端点候補を採用すれば、部材外形の端点を検出できる。

以下に、端点候補の検出方法について説明する。図３に示すＡ−Ａ線での部材の断面形状と、認識ラインでの輝度および輝度微分値を示す図を、図１１に示す。図１１は、欠けもダレもない箇所での認識ラインの場合である。図１２が、欠けがあるＢ−Ｂ線での部材の断面形状と、認識ラインでの輝度および輝度微分値を示す図である。輝度は所定のビット数で整数化して表現する。例えば、８ビットで表現する場合には、０から２５５までの整数になる。認識ラインのある位置での輝度微分値は、その位置の前後の所定個（例えば５個）の位置にある画素の輝度の差分により計算する。

図１２（１）に示すように欠けのある箇所の図１２では、部材台６の画像から、欠け部の画像を経て、部材表面の画像となるため、認識ラインでの輝度は、図１２（２）のように変化し、輝度微分値は図１２（３）のように変化する。ここで、暗から明への輝度変化での輝度微分値に対する閾値Th1、および明から暗への輝度変化での輝度微分値に対する閾値Th2を設定し、輝度微分値を処理する。なお、Th1は正の値で、Th2は負の値である。部材の外側から内側に向かう方向で認識ラインを移動する際に、輝度が明から暗に変化して輝度微分値が負で絶対値が|Th2|以上になる暗変化端点候補と、輝度が暗から明に変化して輝度微分値が正で絶対値が|Th1|以上になる明変化端点候補とが検出される。なお、|Th1|を明変化検出閾値と呼び、|Th2|を暗変化検出閾値と呼ぶ。

図１１（１）に示すように欠けもダレも無い箇所の図１１では、部材台６の画像から部材表面の画像に変化するため、認識ラインにおける輝度は図１１（２）のように変化し、輝度微分値は図１１（３）のように変化する。前述のTh1とTh2に対して輝度微分値を処理すると、輝度が暗から明に変化して輝度微分値が正で絶対値が|Th1|以上である明変化端点候補が検出される。

なお、図１３（１）に示すように、ある認識ラインにおける部材表面が全体的に荒れていて、部材表面での反射光が撮像部に帰ってこない場合、その輝度は図１３（２）に示すように変化し、輝度微分値が図１３（３）に示すように変化する。輝度微分値が正でその絶対値が閾値|Th1|以上になる箇所、または輝度微分値が負でその絶対値が|Th2|以上になる箇所がないので、明変化端点候補も暗変化端点候補も検出されない。

ステップＳ０４で、各認識ラインで暗変化端点候補と明変化端点候補とから端点を決定する。ここで、各認識ラインにおいて暗変化端点候補が検出された場合は、暗変化端点候補を端点とする。暗変化端点候補が検出されず明変化端点候補が検出された場合は、明変化端点候補を端点とする。暗変化端点候補も明変化端点候補も検出されない認識ラインでは端点なしとする。

この処理をすべての認識ラインに対して実施し、最大Ｎ個の部材の端点を収集する。そして、ステップＳ０５で、部材の端点を近似する直線と端点との距離の二乗和が最小となるように直線で近似することにより、部材の外形線を認識することができる。図２に示すように、部材の四辺で外形線を検出すると、部材の外形である四角形の大きさと位置と向きが認識できる。

認識された部材の位置が所定の位置で所定の向きになるように、部材配置部である部材台６を移動させる。このように、印をつけられない微細な部材を、部材の外形に欠けなどがあっても外形線から部材の位置を認識して、正確に位置決めすることができる。

部材を移動させる部材配置部を有しない部材の位置認識装置の場合には、部材の位置を精度よく認識できるという効果がある。部材の位置認識装置は部材を移動させたり、別の部材と接合させたりする装置と組合せて使用することにより、精度よく認識した位置に部材を配置したり、精度よく部材を接合することができる。

部材の外形が長方形である場合には、向き合う辺が平行になるように、向き合う辺の端点を同時に最小二乗法で処理するようにしてもよい。また、最小二乗法を適用する上で、外形線から大きく外れる端点は除いて処理するようにしてもよい。また、誤差としては二乗距離だけでなく、他の誤差を使用してもよい。
外形線は直線でなくてもよく、円、楕円、２次曲線などでもよく、何らかのパラメータを含む式で表現でき、誤差が最小になるようにパラメータを決定できる形状であれば、この方法により外形線を決定できる。部材の外形を認識する平面と側面は垂直でなくてもよい。

画像処理部は撮像部ごとに設けてもよいし、複数の撮像部で撮像した画像を１個の画像処理部で処理するようにしてもよい。
暗変化端点候補と明変化端点候補は、輝度微分値ではなく輝度で判断するようにしてもよい。例えば、明輝度閾値以上の輝度である場合に部材の平面に対応する明画像とし、暗輝度閾値未満である輝度である場合に部材の欠けまたはダレに対応する暗画像とし、輝度が明輝度閾値未満であり暗画像閾値以上である場合に部材台に対応する中間輝度画像と判断するようにしてもよい。部材の外から内に向かう方向で認識ラインの画像の輝度を調べ、中間輝度画像から明画像に変化する位置が明変化端点候補として検出され、中間輝度画像から暗画像に変化する箇所が暗変化端点候補として検出される。

部材を上から撮像して位置決めしたが、下、横、斜め下、斜め上などから撮像するようにしてもよい。位置決めされた部材は、位置決めされた別の部材に装着することもできる。この発明に係る２個の位置決め装置によりそれぞれ位置決めした２個の部材を接合することもできる。
以上のことは、他の実施の形態でもあてはまる。

実施の形態２．
この実施の形態２は、部材端でない表面に傷が発生する場合でも外形を正確に判定できるようにした場合である。図１４に、部材の角に欠けもダレもなく、かつ部材端でない表面に傷がある箇所での撮像部の光軸に平行な面で部材の断面、この箇所の認識ラインでの輝度および輝度微分値を説明する図を示す。図１５は、部材の角に欠けがあり、かつ部材端でない表面に傷がある箇所の場合である。

部材表面に傷がある場合に、図１１または図１２と同様な部材の端部での輝度の変化に加えて、図１４（２）と図１５（２）に示すように、傷がある箇所では輝度の落ち込みが発生する。この輝度の落ち込み箇所では、図１４（３）と図１５（３）に示すように、輝度微分値が負であり、その絶対値が暗変化閾値|Th2|よりも大きい値に変化する暗変化端点候補と、輝度微分値が正でその絶対値が明変化閾値|Th1|以上に変化する明変化端点候補も検出される。

暗変化端点候補を明変化端点候補よりも優先させると、図１４の場合には、部材の内部での輝度の落ち込み箇所を端点と誤認する。図１５の場合には暗変化端点候補が２個検出されるので、部材の外部に近い方を端点と判断する必要がある。何れの場合でも、暗変化端点候補または明変化端点候補の中で、最も部材の外側で検出されたものを端点とするようにすれば、部材の外形の検出精度を向上させることができる。

実施の形態３．
この実施の形態３は、２個の部材の位置を認識して、精度よく接合する場合についてのものである。図１６に、この発明の実施の形態３に係る部材の接合装置の構成を説明する図である。第１の部材４１の位置を認識する第１の位置決め装置１０、第２の部材４２の位置を認識する第２の位置決め装置２０、前記第１の位置決め装置１０が認識する位置と前記第２の位置決め装置２０が認識する位置とを一致させる位置認識補正部３０（図示せず）、第２の部材４２を第１の部材４１に接合する接合部４０（図示せず）を有する。なお、認識する位置を一致させるとは、空間上の同じ位置を２つの位置認識装置が所定の誤差以下で同じ位置であると認識することを意味する。

形状が直方体である第１の部材４１は第１の部材台６１の上に載せられている。第１の部材４１の位置を認識する第１の位置決め装置１０は、第１の部材４１の上面に垂直な方向から第１の部材４１の外形線を含む画像を拡大して撮像する所定個の第１の撮像部１１と、第１の撮像部１１の光軸と平行な方向から第１の部材４１の上面を照明する第１の照明部２１、第１の撮像部１１から得られた第１の部材４１の外形線を含む画像を処理して第１の部材４１の位置を認識する第１の画像処理部３１、第１の照明部２１から出射される照明光を第１の撮像部１１の光軸に平行な方向に反射させ、第１の部材４１から反射された光を撮像部１１へ透過させる第１のハーフミラー５１を有する。第１の画像処理部３１は、実施の形態１または実施の形態２の画像処理部３と同様な構成である。

形状が直方体であり、第１の部材よりも小さい第２の部材４２は、第２の部材保持装置６２により上側から保持される。第２の部材４２の位置を認識する第２の位置決め装置２０は、第２の部材４２の下面に垂直な方向から第２の部材４２の外形線を含む画像を拡大して撮像する所定個の第２の撮像部１２と、第２の撮像部１２の光軸と平行な方向から第２の部材４２の下面を照明する第２の照明部２２、第２の撮像部１２から得られた第２の部材４２の外形線を含む画像を処理して第２の部材４２の位置を認識する第２の画像処理部３２、第２の照明部２２から出射される照明光を第２の撮像部１２の光軸に平行な方向に反射させ、第２の部材４２から反射された光を撮像部１２へ透過させる第２のハーフミラー５２がある。第１の画像処理部３２は、実施の形態１または２の画像処理部３と同様な構成である。
なお、第１の位置決め装置１０と第２の位置決め装置２０は、位置決めにあたって、他方が邪魔にならない位置に配置しておく。

第１の位置決め装置１０と第２の位置決め装置２０は、どちらも互いに直交するＸ軸、Ｙ軸、Ｚ軸によるＸＹＺ座標系で位置を認識する。第１の位置決め装置１０と第２の位置決め装置２０とでは、それぞれが認識するＸ軸、Ｙ軸、Ｚ軸の方向が一致しており、座標原点の位置も一致している必要がある。そうでないと、第１の部材４１上の接合すべき位置に第２の部材４２を移動させたつもりでも実際の位置は異なり、第１の部材４１と第２の部材４２を精度よく接合することはできない。

位置認識補正部３０は、第１の位置決め装置１０と第２の位置決め装置２０の座標系を一致させておく。そうすることにより、第１の位置決め装置１０が認識する位置と第２の位置決め装置２０が認識する位置とを一致させることができる。第１の位置決め装置１０と第２の位置決め装置２０とでは異なる座標系を使用してもよいが、その場合には、位置認識補正部３０は、第１の位置決め装置１０と第２の位置決め装置２０とで座標系の違いを正確に把握させ、座標系の間での座標の変換を正確にできるようにする。この発明では、２つの座標系で同じ位置が同じ位置であると認識されるように、座標系を一致させるか、異なる座標系の間で座標の変換が正確にできるような状態にすることを座標系を整合させるという。
接合部４０は、第２の部材４２の下面または第１の部材４１の第２の部材４２が接合される部分に接着剤を塗布し、第２の部材４２を第１の部材４１と接合する位置に移動させて接合する。なお、接合の方法は、半田づけなど他の方法でもよい。

図１７に、この発明の実施の形態３に係る部材の接合装置で部材を接合する手順を説明する図を示す。まず、ステップＳ２１で、位置認識補正部３０により第１の位置決め装置１０と第２の位置決め装置２０の座標系を一致させる。座標系を一致させる方法は、例えば特許３５２３４８０号や特開２００５−３４０３１５号公報に記載された周知の方法による。
ステップＳ２２で、第１の位置決め装置１０の第１の部材台６１に第１の部材４１を載せる。載せられた第１の部材４１の外形線は、第１の撮像部１１の撮像範囲内にあるものとする。ステップＳ２３で、図８に示す方法により、第１の部材４１の位置を認識する。ステップＳ２４で、第２の位置決め装置２０の第２の部材保持装置６２により第２の部材４２を掴み、第２の部材４２の外形線が第２の撮像部１２の撮像範囲内に入るように第２の部材保持装置６２を移動させる。ステップＳ２５で、図８に示す方法により、第２の部材４２の位置を認識する。
ステップＳ２６で、第２の部材保持装置６２を移動させて、第２の部材４２を第１の部材４１と接合する位置に移動させる。なお、第１の部材４１も移動させてもよい。ステップＳ２７で、接合部４０により、第１の部材４１と第２の部材４２を接合する。
ステップＳ２２ないしステップＳ２５は、上記以外の順番で実施してもよい。例えば、ステップＳ２３とステップＳ２５は同時に実施してもよい。ステップＳ２３を、ステップＳ２５の後に実施してもよい。

このように、印をつけられない微細な部材を、部材の外形に欠けなどがあっても外形線から部材の位置を認識して、正確に位置決めして、接合することができる。
第１の部材は、印などをつけて位置決めしたり、突起や穴などの係合部を設け、係合部を所定の位置に係合させることにより位置決めしたりしてもよい。第１の部材の位置を認識する装置と第２の部材の位置を認識する装置では、認識する位置を一致させておく。また、第１の部材の位置が固定されており、その位置を認識する装置が存在しない場合は、第１の部材の位置を決める座標系と第２の部材の位置を認識する装置が使用する座標系とを整合させておく。

１ 撮像部
１１ 第１の撮像部
１２ 第２の撮像部
２ 照明部
２１ 第１の照明部
２２ 第２の照明部
３ 画像処理部
３Ａ 認識ライン設定部、
３Ｂ 輝度検出部、
３Ｃ 暗変化端点候補検出部、
３Ｄ 明変化端点候補検出部、
３Ｅ 端点検出部、
３Ｆ 外形線決定部
３１ 第１の画像処理部
３２ 第２の画像処理部
４ 部材
４１ 第１の部材
４２ 第２の部材
５ ハーフミラー
５１ 第１のハーフミラー
５２ 第２のハーフミラー
６ 部材台（部材配置部）
６１ 第１の部材台（第１の部材配置部）
６２ 第２の部材保持装置（第２の部材配置部）
７ 撮像部の撮像領域
１０ 第１の位置決め装置
２０ 第２の位置決め装置
３０ 位置認識補正部
４０ 接合部

Claims (18)

1. 平面を有する部材を撮像した画像から前記部材の外形線により前記部材の位置を認識し、前記部材を所定の位置に配置する部材の位置決め装置であって、
   前記部材の前記平面に垂直な方向から前記部材を撮像する撮像部と、
   前記撮像部の光軸と平行な方向から前記部材の前記平面を照明する照明部と、
   前記撮像部が撮像した画像から前記部材の外形線を演算する画像処理部と、
   前記部材を移動させる部材配置部とを備え、
   前記画像処理部は、前記撮像部が撮像した画像において前記部材の外形線と交差する複数の認識ラインを設定する認識ライン設定部、
   それぞれの前記認識ラインで画像の輝度を検出する輝度検出部、
   それぞれの前記認識ラインで前記部材の外から内への方向で輝度が明から暗に変化する暗変化端点候補を検出する暗変化端点候補検出部、
   それぞれの前記認識ラインで前記部材の外から内への方向で輝度が暗から明に変化する明変化端点候補を検出する明変化端点候補検出部、
   それぞれの前記認識ラインで、前記暗変化端点候補と前記明変化端点候補とから端点を検出する端点検出部、
   複数の前記認識ラインで検出された前記端点との誤差の和が最小になるように前記部材の外形線を決定する外形線決定部を有することを特徴とする部材の位置決め装置。
2. 前記暗変化端点候補検出部が、前記認識ラインで前記部材の外から内への方向での位置に対する輝度微分値が負でその絶対値が暗変化検出閾値未満から暗変化検出閾値以上に変化する前記認識ラインでの位置を前記暗変化端点候補として検出し、
   前記明変化端点候補検出部が、前記認識ラインで前記部材の外から内への方向での位置に対する輝度微分値が正でその絶対値が明変化検出閾値未満から明変化検出閾値以上に変化する前記認識ラインでの位置を前記明変化端点候補として検出することを特徴とする請求項１に記載の部材の位置決め装置。
3. 前記暗変化端点候補検出部が、前記認識ラインで前記部材の外から内への方向で輝度が暗検出閾値以上から暗検出閾値未満に変化する前記認識ラインでの位置を前記暗変化端点候補として検出し、
   前記明変化端点候補検出部が、前記認識ラインで前記部材の外から内への方向で輝度が暗検出閾値よりも大きい明検出閾値未満から明検出閾値以上に変化する前記認識ラインでの位置を前記明変化端点候補として検出することを特徴とする請求項１に記載の部材の位置決め装置。
4. 前記端点検出部が、検出された前記暗変化端点候補と前記明変化端点候補の中で、前記認識ラインで部材から最も遠い側にあるものを前記端点として検出することを特徴とする請求項１に記載の部材の位置決め装置。
5. 前記端点検出部が、前記暗変化端点候補が検出された場合に前記暗変化端点候補を前記端点として検出し、前記暗変化端点候補が検出されず前記明変化端点候補が検出された場合に前記明変化端点候補を前記端点として検出することを特徴とする請求項１に記載の部材の位置決め装置。
6. 前記外形線決定部が、複数の前記認識ラインで検出された前記端点と決定する前記外形線との距離の二乗の和を最小にするように前記外形線を決定することを特徴とする請求項１に記載の部材の位置決め装置。
7. 平面を有する部材を撮像した画像において前記部材の外形線を認識し、外形線の位置により前記部材の位置を認識する部材の位置認識装置であって、
   前記部材の前記平面に垂直な方向から前記部材を撮像する撮像部と、
   前記撮像部の光軸と平行な方向から前記部材の前記平面を照明する照明部と、
   前記撮像部が撮像した画像から前記部材の外形線を演算する画像処理部とを備え、
   前記画像処理部は、前記撮像部が撮像した画像において前記部材の外形線と交差する複数の認識ラインを設定する認識ライン設定部、
   それぞれの前記認識ラインで画像の輝度を検出する輝度検出部、
   それぞれの前記認識ラインで前記部材の外から内への方向で輝度が明から暗に変化する暗変化端点候補を検出する暗変化端点候補検出部、
   それぞれの前記認識ラインで前記部材の外から内への方向で輝度が暗から明に変化する明変化端点候補を検出する明変化端点候補検出部、
   それぞれの前記認識ラインで、前記暗変化端点候補と前記明変化端点候補とから端点を検出する端点検出部、
   複数の前記認識ラインで検出された前記端点との誤差の和が最小になるように前記部材の外形線を決定する外形線決定部を有することを特徴とする部材の位置認識装置。
8. 平面を有する第１の部材を所定の位置に配置する請求項１ないし請求項６の何れかに記載の第１の位置決め装置と、
   平面を有する第２の部材を前記第１の部材と接合される位置に配置する請求項１ないし請求項６の何れかに記載の第２の位置決め装置と、
   前記第１の位置決め装置が認識する位置と前記第２の位置決め装置が認識する位置とを一致させる位置認識補正部と、
   前記第１の部材と前記第２の部材とを接合する接合部とを備えた部材の接合装置。
9. 平面を有する第１の部材の位置を認識する請求項７に記載の第１の位置認識装置と、
   平面を有し、前記第１の部材に接合される第２の部材の位置を認識する請求項７に記載の第２の位置認識装置と、
   前記第１の位置認識装置が認識する位置と前記第２の位置認識装置が認識する位置とを一致させる位置認識補正部と、
   前記第２の部材を前記第１の部材と接合される位置に配置する部材配置部と、
   前記第１の部材と前記第２の部材とを接合する接合部とを備えた部材の接合装置。
10. 所定の位置に配置された第１の部材に第２の部材を接合する部材の接合装置であって、
    平面を有する前記第２の部材を前記第１の部材と接合される位置に配置する請求項１ないし請求項６の何れかに記載の位置決め装置と、
    前記位置決め装置が使用する座標系と前記第１の部材が配置される位置を決める座標系とを整合させる位置認識補正部と、
    前記第１の部材と前記第２の部材とを接合する接合部とを備えた部材の接合装置。
11. 所定の位置に配置された第１の部材に第２の部材を接合する部材の接合装置であって、
    平面を有する前記第２の部材の位置を認識する請求項７に記載の位置認識装置と、
    前記位置認識装置が使用する座標系と前記第１の部材が配置される位置を決める座標系とを整合させる位置認識補正部と、
    前記第２の部材を前記第１の部材と接合される位置に配置する部材配置部と、
    前記第１の部材と前記第２の部材とを接合する接合部とを備えた部材の接合装置。
12. 第１の部材と平面を有する第２の部材を接合する部材の接合方法であって、
    第１の部材の位置を決める座標系と第２の部材の位置を認識する第２の位置認識装置が使用する座標系とを整合させる位置認識補正ステップ、
    第１の部材の位置を認識する第１の位置認識ステップ、
    前記第２の位置認識装置により前記第２の部材の位置を認識する第２の位置認識ステップ、
    前記第１の部材と前記第２の部材とを接合する位置に前記第２の部材を移動させる移動ステップ、
    前記第１の部材と前記第２の部材とを接合する接合ステップを有し、
    前記第２の位置認識ステップは、
    位置を認識する部材を撮像する画像において前記部材の外形線と交差する複数の認識ラインを設定する認識ライン設定ステップ、
    照明された前記部材を撮像する撮像ステップ、
    それぞれの前記認識ラインで撮像された画像の輝度を検出する輝度検出ステップ、
    それぞれの前記認識ラインで前記部材の外から内への方向で輝度が明から暗に変化する暗変化端点候補を検出する暗変化端点候補検出ステップ、
    それぞれの前記認識ラインで前記部材の外から内への方向で輝度が暗から明に変化する明変化端点候補を検出する明変化端点候補検出ステップ、
    それぞれの前記認識ラインで、前記暗変化端点候補と前記明変化端点候補とから前記部材の端点を検出する端点検出ステップ、
    複数の前記認識ラインで検出された前記端点との誤差の和が最小になるように前記部材の外形線を決定する外形線決定ステップを有し、
    決定した前記外形線により前記部材の位置を認識することを特徴とする部材の接合方法。
13. 前記第１の部材が平面を有し、
    前記第１の位置認識ステップは、前記認識ライン設定ステップ、前記撮像ステップ、前記輝度検出ステップ、前記暗変化端点候補検出ステップ、前記明変化端点候補検出ステップ、前記端点検出ステップ、前記外形線決定ステップを有し、決定した前記外形線により前記部材の位置を認識することを特徴とする請求項１２に記載の部材の接合方法。
14. 前記暗変化端点候補検出ステップで、前記認識ラインで前記部材の外から内への方向での位置に対する輝度微分値が負でその絶対値が暗変化検出閾値未満から暗変化検出閾値以上に変化する前記認識ラインでの位置を前記暗変化端点候補として検出し、
    前記明変化端点候補検出ステップで、前記認識ラインで前記部材の外から内への方向での位置に対する輝度微分値が正でその絶対値が明変化検出閾値未満から明変化検出閾値以上に変化する前記認識ラインでの位置を前記明変化端点候補として検出することを特徴とする請求項１２または請求項１３に記載の部材の接合方法。
15. 前記暗変化端点候補検出ステップで、前記認識ラインで前記部材の外から内への方向で輝度が暗検出閾値以上から暗検出閾値未満に変化する前記認識ラインでの位置を前記暗変化端点候補として検出し、
    前記明変化端点候補検出ステップで、前記認識ラインで前記部材の外から内への方向で輝度が暗検出閾値よりも大きい明検出閾値未満から明検出閾値以上に変化する前記認識ラインでの位置を前記明変化端点候補として検出することを特徴とする請求項１２または請求項１３に記載の部材の接合方法。
16. 前記端点検出ステップで、検出された前記暗変化端点候補と前記明変化端点候補の中で、部材から最も遠い側にあるものを前記端点として検出することを特徴とする請求項１２または請求項１３に記載の部材の接合方法。
17. 前記端点検出ステップで、前記暗変化端点候補が検出された場合に前記暗変化端点候補を前記端点として検出し、前記暗変化端点候補が検出されず前記明変化端点候補が検出された場合に前記明変化端点候補を前記端点として検出することを特徴とする請求項１２または請求項１３に記載の部材の接合方法。
18. 前記外形線決定ステップで、複数の前記認識ラインで検出された前記端点と決定する前記外形線との距離の二乗の和を最小にするように前記外形線を決定することを特徴とする請求項１２または請求項１３に記載の部材の接合方法。

Images