JP2000097673A - 画像認識方法および検査方法 - Google Patents

Abstract

(57)【要約】 【課題】 良好な認識精度を確保することができる画像
認識方法および検査方法を提供することを目的とする。 【解決手段】 電子部品を画像認識して電子部品の傾き
方向を認識する方法において、電子部品の像をカメラに
取り込み輪郭線を抽出して輪郭線上に設定されたベクト
ルの傾きデータを求め、傾きの分布を示す角度ヒストグ
ラムを作成する。この角度ヒストグラムを、電子部品の
傾きがない状態で撮像した画像より求めたリファレンス
ヒストグラムと比較し、両ヒストグラムの最大一致度を
与える位相角を特定し、傾き角度として出力する。これ
により、撮像によって求められた角度ヒストグラムのピ
ーク形状が不明瞭となりやすい小型の電子部品について
も、両ヒストグラムの位相のずれを精度よく検出して、
認識対象物の傾き角度を良好な精度で求めることができ
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、電子部品などの認
識対象物を撮像して画像認識することにより、電子部品
の形状や方向を認識する画像認識方法および検査方法に
関するものである。

【０００２】

【従来の技術】電子部品の基板への実装に際して、搭載
ヘッドに保持された電子部品を画像認識して位置ずれを
検出し、この位置ずれを補正した上で基板に搭載するこ
とが一般的に行われている。この位置ずれ検出において
は、電子部品を撮像した画像データを画像処理すること
により電子部品の輪郭線を抽出し、この輪郭線に基づい
て電子部品の形状や水平面内での傾きの方向などを求め
る演算処理が行われる。このような画像認識による電子
部品の形状や方向の検出方法として特開平６−１１３２
６号公報に開示されている方法が知られている。この方
法は、２値化処理した画像から得られた輪郭線上に設定
されたベクトルの傾きの分布を求めることにより、電子
部品の画面上での方向を検出するものである。

【０００３】

【発明が解決しようとする課題】上記方法では、求めら
れた傾き分布から電子部品の方向を検出する方法とし
て、傾き分布を示す角度ヒストグラムのピークに対応す
る角度を検出する方法が用いられていた。ところが、電
子部品の小型化に伴い、電子部品のサイズに対する画素
サイズの相対的な割合が大きくなり、この結果画像処理
時の分解能が低下する。このため小型の電子部品を対象
とする場合には角度ヒストグラムのピークを精度よく特
定することが困難な場合が発生し、認識精度が低下する
という問題点があった。

【０００４】そこで本発明は、良好な認識精度を確保す
ることができる画像認識方法および検査方法を提供する
ことを目的とする。

【０００５】

【課題を解決するための手段】請求項１記載の画像認識
方法は、認識対象物の像をカメラに取り込み、この像の
輪郭線を抽出するステップと、上記輪郭線上のある２つ
の点に支点および終点を有するベクトルを設定し、前記
２点を前記輪郭線に沿って所定の距離づつシフトさせる
ことにより、前記輪郭線についての前記ベクトルの傾き
データを求めて傾き分布を示す角度ヒストグラムを作成
するステップと、この角度ヒストグラムを前記認識対象
物が基準状態にあるときに撮像して得られた画像の輪郭
線から求められた角度ヒストグラムであるリファレンス
ヒストグラムと比較するステップと、この比較結果に基
づいて前記認識対象物の水平面内での傾きを検出するス
テップとを含む。

【０００６】請求項２記載の検査方法は、認識対象物の
像をカメラに取り込み、この像の輪郭線を抽出するステ
ップと、上記輪郭線上のある２つの点に支点および終点
を有するベクトルを設定し、前記２点を前記輪郭線に沿
って所定の距離づつシフトさせることにより、前記輪郭
線についての前記ベクトルの傾きデータを求めて傾き分
布を示す角度ヒストグラムを作成するステップと、この
角度ヒストグラムを前記認識対象物が基準状態にあると
きに撮像して得られた画像の輪郭線から求められた角度
ヒストグラムであるリファレンスヒストグラムと比較す
るステップと、この比較結果に基づいて前記認識対象物
の形状を検査するステップとを含む。

【０００７】各請求項記載の発明によれば、認識対象物
が基準状態にあるときに撮像して得られた画像の輪郭線
上のベクトルの傾き分布を示すリファレンスプログラム
と、撮像データにより得られた角度ヒストグラムとを比
較することにより、撮像によって求められた角度ヒスト
グラムのピーク形状が不明瞭となりやすい小型の電子部
品についても、両ヒストグラムの位相のずれを精度よく
検出して、認識対象物の傾き角度を良好な精度で求める
ことができ、さらに認識対象物の形状不良をも検査する
ことができる。

【０００８】

【発明の実施の形態】次に本発明の実施の形態を図面を
参照して説明する。図１は本発明の一実施の形態の電子
部品の実装装置の斜視図、図２同角度ヒストグラム作成
方法のフロー図、図３は同電子部品の画像図、図４は同
電子部品の拡大画像図、図５（ａ）は同輪郭線の角度ヒ
ストグラムを示すグラフ、図５（ｂ）は同電子部品の画
像図、図６は同画像認識方法のフロー図である。

【０００９】まず図１を参照して、本発明の画像認識装
置が組み込まれた電子部品の実装装置について説明す
る。図１において、移載ヘッド３は移載ヘッド移動制御
手段１４によって水平方向及び垂直方向に移動するよう
になっている。移載ヘッド３の下端部には吸着ノズルＮ
が装着されており、図示しない吸引手段によって吸着ノ
ズルＮから真空吸引することにより、認識対象物である
多角形状（矩形）の電子部品４を吸着して保持する。吸
着ノズルＮは移載ヘッド３に内蔵されたモータＭにより
吸着ノズルＮの中心軸線を中心にθ方向に回転する。ま
た吸着ノズルＮには円板状の反射板３ａが同軸的に設け
られており、下方の光源２からの照明光を反射する。移
載ヘッド３の下方にはカメラ１が配設されており、反射
板３ａの下方に位置する電子部品４を透過照明光により
撮像する。

【００１０】カメラ１の側方にはパーツフィーダ１２が
配設されている。パーツフィーダ１２は電子部品４を供
給する。パーツフィーダ１２の反対側には基板保持テー
ブル１１が配設されており、基板保持テーブル１１上に
は表面に回路パターンＬが形成された基板１０が保持さ
れている。電子部品４は、パーツフィーダ１２から移載
ヘッド３によってピックアップされ、基板１０に実装さ
れる。

【００１１】Ａ／Ｄ変換器５はカメラ１の画像信号をデ
ジタル信号に変換する。フレームメモリ６は、変換され
たデジタル画像信号を記憶する。ＲＯＭ８は、各種処理
を行うためのプログラムを記憶する。ＣＰＵ７はＲＯＭ
８に記憶されたプログラムに従って画像処理などの各種
の演算や処理を行う。ＲＡＭ９には演算結果が記憶さ
れ、後述するベクトルの傾き角度分布を格納する傾き分
布格納領域９ａが設けられている。傾き分布格納領域９
ａには、−９０度から＋９０度の範囲で各角度毎に頻度
メモリＳＵＭ（−９０）〜ＳＵＭ（９０）が設定されて
おり、頻度メモリには各ベクトルの傾き角度データが角
度毎に累積格納される。

【００１２】駆動回路１３は吸着ノズルＮを回転させる
モータＭを駆動する。マシンコントローラ１５は駆動回
路１３および移載ヘッド移動制御手段１４を制御し、Ｃ
ＰＵ７によって制御される。カメラ１によって電子部品
４を撮像してその位置をＣＰＵ７によって認識し、この
位置認識結果に基づいて、駆動回路１３および移載ヘッ
ド移動制御手段１４を制御することにより、電子部品４
の位置ずれを補正して基板１０に実装することができ
る。

【００１３】次に電子部品４の画像認識に用いられる角
度ヒストグラムについて説明する。角度ヒストグラム
は、電子部品を撮像して求められた画像の輪郭線上でに
設定されるベクトルの傾き分布を示すものであり、この
傾き分布に基づいて電子部品の傾き角度が特定される。
以下、図２のフローを参照して角度ヒストグラムの作成
方法を説明する。まず図１において、カメラ１の視野に
検査対象物の電子部品４の像を取り込み、Ａ／Ｄ変換器
５により画像データをデジタル化してフレームメモリ６
に格納する（ＳＴ１）。これにより、図３に示すよう
に、電子部品４の画像が取り込まれる。電子部品４は多
角形状であり、画像上では点Ａ、Ｂ、Ｃ、Ｄを頂点とす
る矩形状の暗像として表れており、長辺ＡＢ、ＣＤの方
向はＸ軸に対して角度αだけ傾いている。

【００１４】次に、この画像データに基づいて、電子部
品４の輪郭線を抽出する（ＳＴ２）。この輪郭線抽出は
画像処理技術分野における周知技術である。次いで、こ
れらの輪郭線のデータから輪郭線上の２点に始点および
終点を有するベクトルを設定し、これらの各ベクトルの
傾きデータを求める（ＳＴ３）。このベクトルの傾きに
ついて図４を参照して説明する。

【００１５】図４において、画像内の格子で囲まれた正
方形は画素を示しており、ハッチングが施された画素
は、ＳＴ２にて求められた輪郭線に相当する。まず輪郭
線上のある画素Ｐｉに着目して、この画素Ｐｉを始点と
し、この始点から輪郭線に沿って右方向又は上方向に定
数ｎ画素分（例えばｎ＝５）だけ移動した位置にある画
素Ｐｉ＋ｎを終点とするベクトルＳｉを設定する。そし
てこのベクトルＳｉの傾きθｉをＸ軸に対して反時計方
向を正の方向とする角度として求める。

【００１６】次に輪郭線に沿ってベクトルＳｉの始点・
終点の位置をそれぞれ所定距離、すなわち所定画素数
（ここでは１画素）だけシフトさせたものをベクトルＳ
ｉ＋１とする。そしてベクトルＳｉ＋１とＸ軸との角度
θｉ＋１を求める。以下同様にして順次輪郭線に沿って
ベクトルＳの始点・終点をシフトさせることにより、ほ
ぼ同一の絶対値を有するベクトルＳが輪郭線上に設定さ
れ、各ベクトルＳの傾きθが求められる。図４から判る
ように、同一辺を示す輪郭線上のベクトルであっても、
画素を最小要素として求められた傾きθは必ずしも同一
角度とはならない。

【００１７】そしてこのようにして求められたベクトル
の傾きθに対応する頻度メモリＳＵＭ（−９０）〜ＳＵ
Ｍ（９０）の値を加算していく事により、輪郭線上で確
定される全てのベクトルの傾きの分布を示す角度ヒスト
グラムを作成する（ＳＴ４）。図５（ａ）はこのように
して求められた角度ヒストグラムを示すものである。図
５（ａ）のヒストグラムには、２つのピーク２１，２２
が現れている。ピーク２１は、図５（ｂ）に示す線分Ｃ
Ｄ上に設定された多数のベクトルによって、角度αを中
心とする位置に現れており、同様にピーク２２は線分Ｂ
Ｃ上に設定されたベクトル群を示すものであり、角度−
（９０−α）を中心とする位置に表れている。

【００１８】次に、角度ヒストグラムに基づいて電子部
品４の傾きを求める（ＳＴ５）。図５から判るように、
画像上の線分が長い程、ヒストグラム上に現れるピーク
は高くなり、また電子部品４が矩形状であることと対応
して、各ピークはそれぞれ９０度づつずれた位置に現れ
ている。すなわちヒストグラム上でピーク位置に対応す
る角度位置を、頻度メモリの数値データをＣＰＵ７で解
析して求めることにより、電子部品４の傾き、すなわち
長手方向の角度を求めることができる。

【００１９】ここで、リファレンスヒストグラムについ
て説明する。リファレンスヒストグラムは電子部品４の
傾き角度を求める際の基準となる角度ヒストグラム、す
なわち電子部品４が基準状態、例えば傾き角度０（図３
においてα＝０）でノズルＮに保持されているような状
態にあるときに撮像された画像データから求められた角
度ヒストグラムである。図６はリファレンスヒストグラ
ムを示しており、図５（ａ）においてα＝０としたもの
に相当する。

【００２０】次に電子部品４の実装時の画像認識につい
て、図６のフローを参照して説明する。まず、認識対象
となる電子部品４のリファレンスヒストグラムを作成す
る（ＳＴ１１）。このリファレンスヒストグラムはＲＯ
Ｍ８に記憶される。次に、電子部品４の実装作業が開始
され、カメラ１による電子部品４が撮像され、画像の取
り込みが行われる（ＳＴ１２）。そして前述の角度ヒス
トグラム作成のステップに従って撮像により得られた画
像データから角度ヒストグラムを作成する（ＳＴ１
３）。

【００２１】次に、以下の手順で撮像により求められた
角度ヒストグラムをリファレンスヒストグラムと比較
し、得られた比較結果に基づいて電子部品の水平面内で
の傾きを検出する。この処理は、角度ヒストグラムをリ
ファレンスヒストグラム上に重ねて、順次両ヒストグラ
ムのずれを示す位相角θを変えながら両ヒストグラムの
一致度Ｒを計算して最大一致度を与える位相角θを求め
るものであり、この処理は−９０°＜θ≦９０°の範囲
で行われる。以下、この比較処理について説明する。ま
ず、位相角θが−９０°＜θ≦９０°の範囲内であるか
否かが判断され（ＳＴ１４）、範囲内であるならば当該
位相角θだけ角度ヒストグラムを移動させる（ＳＴ１
５）。そして、両ヒストグラムの一致度Ｒを図形の近似
度演算により求める（ＳＴ１６）。そして一致度Ｒが求
められたならば、前回までに求められた一致度Ｒの最大
値である最大一致度Ｒｍａｘと比較する（ＳＴ１７）。
そしてここで求められた一致度Ｒの方が大きいならば、
一致度Ｒを新たな最大一致度Ｒｍａｘとして記憶させる
とともに、当該位相角θを最大一致度Ｒｍａｘを与える
角度θｍとして記憶させる（ＳＴ１８）。

【００２２】そして位相角θに移動ピッチ角度Δθを加
えて新たに位相角θとし（ＳＴ１９）、ＳＴ１４に戻っ
て同様の処理を繰り返す。すなわち、この新たな位相角
θだけ角度ヒストグラムを移動させた状態で再び一致度
Ｒを計算し、この新たな一致度Ｒを記憶されている最大
一致度Ｒｍａｘと比較して新たな一致度Ｒが最大一致度
Ｒｍａｘよりも大きいならば、最大一致度Ｒｍａｘおよ
び位相角θｍを更新する。この演算処理を−９０°＜θ
≦９０°の全ての範囲で実行することにより、最終的に
最大一致度Ｒｍａｘを与える角度θｍ、すなわちリファ
レンスヒストグラムと角度ヒストグラムの位相のずれ角
度が特定され、そしてこの角度θｍが、電子部品４の傾
き角度αとして最終的に出力される（ＳＴ２０）。

【００２３】このようにして、撮像によって求められた
角度ヒストグラムとリファレンスヒストグラムとの一致
度に基づいて両ヒストグラムの位相のずれを検出し、こ
の位相のずれを以て傾き角度αとすることにより、角度
ヒストグラムのピーク形状が不明瞭となりやすい小型の
電子部品についても、ピーク位置のみに依存することな
くヒストグラム全体の一致度に基づくことにより精度よ
く傾き角度αを求めることができる。

【００２４】また、本発明によれば、角度ヒストグラム
のピーク高さには認識対象物の各辺の長さが反映されて
いることから、傾き角度のみならず認識対象物の形状不
良の有無を同時に判定することができる。すなわち、角
度ヒストグラムをリファレンスヒストグラムと比較し、
比較結果である最大一致度が所定のしきい値に満たない
場合には、電子部品の寸法異常などの形状そのものの不
良と判定して形状不良の報知を出力させるようにするこ
とにより、長手方向の検出と形状の検査を兼ねさせるこ
とができる。

【００２５】

【発明の効果】本発明によれば、認識対象物が基準状態
にあるときに撮像して得られたの輪郭線上のベクトルの
傾き分布を示すリファレンスプログラムと、撮像データ
により得られた角度ヒストグラムとを比較するようにし
たので、撮像によって求められた角度ヒストグラムのピ
ーク形状が不明瞭となりやすい小型の電子部品について
も、両ヒストグラムの位相のずれを精度よく検出して、
認識対象物の傾き角度を良好な精度で求めることがで
き、さらに認識対象物の形状不良をも検査することがで
きる。

【図面の簡単な説明】

【図１】本発明の一実施の形態の電子部品の実装装置の
斜視図

【図２】本発明の一実施の形態の角度ヒストグラム作成
方法のフロー図

【図３】本発明の一実施の形態の電子部品の画像図

【図４】本発明の一実施の形態の電子部品の拡大画像図

【図５】（ａ）本発明の一実施の形態の輪郭線の角度ヒ
ストグラムを示すグラフ （ｂ）本発明の一実施の形態の電子部品の画像図

【図６】本発明の一実施の形態の画像認識方法のフロー
図

【符号の説明】

１ カメラ ３ 移載ヘッド ４ 電子部品 ７ ＣＰＵ ９ ＲＡＭ ９ａ 傾き分布格納領域

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA37 AA51 CC25 DD03 FF01 FF04 JJ03 JJ19 JJ26 LL12 PP11 QQ03 QQ17 QQ24 QQ25 QQ31 QQ43 RR06 SS04 SS11 UU05 5C054 AA01 AA06 EB05 FC14 FC15 GA04 GB01 HA05 5L096 BA03 CA02 FA06 FA35 FA67 JA11

Claims (2)

【特許請求の範囲】
1. 【請求項１】認識対象物の像をカメラに取り込み、この
   像の輪郭線を抽出するステップと、上記輪郭線上のある
   ２つの点に支点および終点を有するベクトルを設定し、
   前記２点を前記輪郭線に沿って所定の距離づつシフトさ
   せることにより、前記輪郭線についての前記ベクトルの
   傾きデータを求めて傾き分布を示す角度ヒストグラムを
   作成するステップと、この角度ヒストグラムを前記認識
   対象物が基準状態にあるときに撮像して得られた画像の
   輪郭線から求められた角度ヒストグラムであるリファレ
   ンスヒストグラムと比較するステップと、この比較結果
   に基づいて前記認識対象物の水平面内での傾きを検出す
   るステップとを含むことを特徴とする画像認識方法。
2. 【請求項２】認識対象物の像をカメラに取り込み、この
   像の輪郭線を抽出するステップと、上記輪郭線上のある
   ２つの点に支点および終点を有するベクトルを設定し、
   前記２点を前記輪郭線に沿って所定の距離づつシフトさ
   せることにより、前記輪郭線についての前記ベクトルの
   傾きデータを求めて傾き分布を示す角度ヒストグラムを
   作成するステップと、この角度ヒストグラムを前記認識
   対象物が基準状態にあるときに撮像して得られた画像の
   輪郭線から求められた角度ヒストグラムであるリファレ
   ンスヒストグラムと比較するステップと、この比較結果
   に基づいて前記認識対象物の形状を検査するステップと
   を含むことを特徴とする検査方法。