JP2005332238A - 画像認識方法、画像認識装置及び実装装置 - Google Patents

Abstract

【課題】 この発明は位置合わせマークの一部に異常があっても、この位置合わせマークを確実に認識できるように
した画像認識方法を提供することにある。
【解決手段】 検査画像と基準画像をそれぞれ対応する複数のエリアに分割する工程と、検査画像の複数のエリアを順次加算し、その検査画像のエリアをそれに対応する基準画像のエリアと比較するとともに、比較の過程で検査画像と基準画像とのエリアに不一致が生じたならば、不一致のエリアを除去し新たなエリアを加算して比較を継続する工程と、検査画像と基準画像とのエリアの比較回数に対する不一致となった回数の割合を検出し、その割合が基準値以下であるか否かによって上記検査画像が基準画像に一致するか否かを判定する工程とを具備する。
【選択図】 図１

Description

この発明はたとえば基板に電子部品を実装する場合などに好適する画像認識方法、画像認識装置及び実装装置に関する。

たとえば、基板に電子部品を実装する場合、まず、電子部品に設けられた検査画像としての位置合わせマークを、上記基板に設けられた位置合わせマークに合うようこれら両者を位置決めし、ついで上記電子部品を上記基板に実装するようにしている。

電子部品と基板に設けられた互いの位置合わせマークを位置合わせするためには、電子部品に設けられた位置合わせマークと、基板に設けられた位置合わせマークをそれぞれ撮像カメラで撮像し、各位置合わせマークの撮像信号によって電子部品と基板との位置を認識し、その認識に基いて電子部品と基板との両者を位置決めするようにしている。このような従来技術は特許文献１に示されている。

電子部品として最近ではたとえば電子機器の小型化や薄型化に伴い、ＴＣＰ（Tape Carrier Package）やＣＯＦ（Chip on Film）などが多く用いられている。これらの電子部品は、半導体チップが所定間隔でダイボンディングされた樹脂製の薄くて長尺なテープを、所定の形状に打ち抜くことで形成される。そして、上記テープの打ち抜かれる箇所には、上記位置合わせマークがたとえば金メッキなどによって形成されている。
特開平３−４６２４４号公報

ところで、長尺で、薄いテープから電子部品を打ち抜くと、その際にテープに応力が加わり、テープの打ち抜かれた部分が変形することがある。その場合、テープに形成された位置合わせマークの一部が変形したり、傷付くなどのことがある。

変形したり、傷付いた位置合わせマークを撮像カメラによって撮像すると、変形した部分で光が乱反射したり、傷付いた部分で光が反射しなかったりすることがある。その結果、撮像カメラによって上記位置合わせマークを認識することができなくなるということがあり、そのような場合には電子部品を不良品と判定してしまうことがある。

つまり、電子部品は位置合わせマークが形成された部分だけが変形したり、傷付いているだけであって、半導体チップが不良でなくても、撮像カメラによる撮像結果は不良となるから、その電子部品は廃棄されることになり、その結果、歩留まりの低下を招く一因となっていた。

この発明は、検査画像の一部が欠けたり、写らなくても、この検査画像を確実に認識できるようにした画像認識方法、画像認識装置及び実装装置を提供することにある。

この発明は、検査画像が基準画像に一致するか否かを判定する画像認識方法であって、
検査画像と基準画像をそれぞれ対応する複数のエリアに分割する工程と、
検査画像の複数のエリアを順次加算し、その検査画像のエリアをそれに対応する基準画像のエリアと比較するとともに、比較の過程で検査画像と基準画像とのエリアに不一致が生じたならば、不一致のエリアを除去し新たなエリアを加算して比較を継続する工程と、
検査画像と基準画像とのエリアの比較回数に対する不一致となった回数の割合を検出し、その割合が基準値以下であるか否かによって上記検査画像が基準画像に一致するか否かを判定する工程と
を具備したことを特徴とする画像認識方法にある。

この発明は、検査画像が基準画像に一致するか否かを判定する画像認識装置であって、
上記検査画像を撮像する撮像手段と、
この撮像手段からの撮像信号を記憶する検査画像メモリと、
予め設定された基準画像を記憶する基準画像メモリと、
各画像メモリに記憶された検査画像と基準画像をそれぞれ複数のエリアに分割して順次出力させる制御手段と、
この制御手段から出力される各画像のエリアを順次加算して比較するとともに比較の過程で検査画像と基準画像とのエリアに不一致が生じたならば、不一致のエリアを除去し新たなエリアを加算して比較を継続する比較部と、
検査画像と基準画像とのエリアの比較回数に対する不一致となった回数の割合を検出し、その割合が基準値以下であるか否かによって上記検査画像が基準画像に一致するか否かを判定する判定部と
を具備したことを特徴とする画像認識装置にある。

この発明は、検査画像が基準画像に一致するか否かを判定する画像認識方法であって、
検査画像と基準画像とをそれぞれ対応するＮ個のエリアに分割する工程と、
分割されたＮ個のエリアのうち、上記検査画像と基準画像との対応する１つのエリアを順次除去して（Ｎ−１）個のエリアを最大でＮ回比較する工程と、
この比較によって（Ｎ−１）個の各画像のエリアが一致したか否かを検出しその検出に基いて上記検査画像が基準画像に一致するか否かを判定する工程と
を具備したことを特徴とする画像認識方法にある。

この発明は、検査画像が基準画像に一致するか否かを判定する画像認識装置であって、
上記検査画像を撮像する撮像手段と、
この撮像手段からの撮像信号を記憶する検査画像メモリと、
予め設定された上記基準画像を記憶する基準画像メモリと、
各画像メモリに記憶された検査画像と基準画像をそれぞれＮ個のエリアに分割して順次出力させる制御手段と、
この制御手段から出力される各画像のＮ個のエリアから１つのエリアを順次除去して（Ｎ−１）個のエリアを最大でＮ回比較する比較部と、
この比較部で比較された各画像メモリからの対応する（Ｎ−１）個のエリアが一致したか否かを判定する判定部と
を具備したことを特徴とする画像認識装置にある。

この発明によれば、検査画像の一部が欠けたり、写らなくても、その検査画像を複数のエリアに分割して予め設定された基準画像と比較するため、検査画像の一部が異常であっても、その部分の影響を受けずにこの検査画像を認識することが可能となる。

以下、この発明の実施の形態を図面を参照して説明ずる。
図１乃至図４はこの発明の第１の実施の形態を示す。
図２は電子部品としての複数のＴＣＰ１を、基板としての液晶表示パネル２の周辺部に所定間隔で実装する状態を示す説明図である。ＴＣＰ１はキヤリアテープ３から打ち抜かれた後、図示せぬ実装装置によって上記液晶表示パネル２の周辺部に異方性導電テープ４を介して実装される。

上記ＴＣＰ１を上記液晶表示パネル２に実装する際、ＴＣＰ１に形成された位置合わせマーク６（図３に示す）を撮像手段としての撮像カメラ７（図１に示す）で撮像し、その撮像信号によってＴＣＰ１の位置が認識される。

一方、液晶表示パネル２には、ＴＣＰ１を実装する位置に図示しない位置合わせマークが設けられており、この位置合わせマークを上記撮像カメラ７或いは他の撮像カメラで撮像し、その撮像信号によって液晶表示パネル２の位置が認識される。
そして、認識されたＴＣＰ１と、液晶表示パネル２との位置情報に基いて上記ＴＣＰ１が液晶表示パネル２に対して位置決めされた後、実装されるようになっている。

上記ＴＣＰ１に形成された位置合わせマーク６は、たとえば図３に示すようにリング状であって、この位置合わせマーク６には、ＴＣＰ１をキヤリアテープ３から打ち抜く際に変形したり、傷付が付くなどした異常部６ａが生じることがある。異常部６ａが生じると、撮像カメラ７によって位置合わせマーク６を確実に認識できないことがあり、その場合にはＴＣＰ１を不良品として判定してしまうことがある。

そこで、ＴＣＰ１に形成された位置合わせマーク６の一部に異常部６ａがあっても、その位置合わせマーク６は、図１に示す画像認識装置１１によって認識できるようにしている。この画像認識装置１１は画像処理装置１２を備えている。この画像処理装置１２は上記撮像カメラ７からの撮像信号をデジタル信号に変換するＡ／Ｄ変換器１３を有する。このＡ／Ｄ変換器１３で変換されたデジタル信号、つまり撮像された位置合わせマーク６に対応する検査画像Ｘ（図４（ａ）に示す）は検査画像メモリ１４に記憶される。

上記画像処理装置１２には基準画像メモリ１５が設けられている。この基準画像メモリ１５には正常な状態、つまり異常部６ａのない位置合わせマークの形状に対応する基準画像Ｙ（図４（ｂ）に示す）がデジタル信号で記憶されている。

画像処理装置１２には制御装置１６が接続されており、この制御装置１６によって上記基準画像メモリ１５に正常な状態の位置合わせマークのデジタル信号、つまり上記基準画像メモリＹを記憶させることができるようになっている。

上記検査画像メモリ１４と基準画像メモリ１５とにデジタル信号で貯えられた検査画像Ｘと基準画像Ｙは比較部１７に出力され、ここで後述するように比較される。比較部１７での比較結果は判定部１８で判定されるとともに、モニタ１９によって表示されるようになっている。

上記比較部１７は上記制御装置１６からの指令に基いて上記検査画像Ｘと基準画像Ｙとを比較する。すなわち、検査画像Ｘと基準画像Ｙとのそれぞれの全領域は、図４（ａ），（ｂ）に示すように対応する９つのエリアである、第１乃至第９のエリアに分割される。各画像Ｘ、ＹのエリアをＸ１〜Ｘ９及びＹ１〜Ｙ９とする。なお、検査画像Ｘの第４のエリアＸ４と第８のエリアＸ８とは、位置合わせマーク６の異常部６ａが生じた部位に対応する画像であると仮定し、これらのエリアＸ４、Ｘ８をクロス線で示す。

そして、制御装置１６は、検査画像メモリ１４と基準画像メモリ１５とから分割されたエリアを順次以下のように比較部１７に入力させて比較する。まず、検査画像Ｘの第１のエリアＸ１と基準画像の第１エリアＹ１とを比較する。これらのエリアＸ１、Ｙ１が一致したことが認識されたならば、次に第１のエリアＸ１、Ｙ１に第２のエリアＸ２、Ｙ２を加算し、各画像Ｘ、Ｙの第１、第２のエリア（Ｘ１＋Ｘ２）と（Ｙ１＋Ｙ２）を比較する。これらが一致したことが認識されたならば、それに第３のエリアＸ３、Ｙ３を加算し、（Ｘ１＋Ｘ２＋Ｘ３）と（Ｙ１＋Ｙ２＋Ｙ３）を比較する。

各画像Ｘ、Ｙの第３のエリアまでの画像が一致したならば、第４のエリアＸ４、Ｙ４を加算して比較する。ここで、検査画像Ｘの第４のエリアＸ４は位置合わせマーク６の異常部６ａに対応するエリアであるから、検査画像Ｘと基準画像Ｙとの加算された第１乃至第４のエリアの加算された画像（Ｘ１＋Ｘ２＋Ｘ３＋Ｘ４）と（Ｙ１＋Ｙ２＋Ｙ３＋Ｙ４）とは不一致となる。

加算された第４のエリアまでの検査画像Ｘと基準画像Ｙとが不一致となると、第４の画像Ｘ４、Ｙ４を比較の対象から除去（マスク）し、第１乃至第３の画像に第５の画像Ｘ５、Ｙ５を加算して比較する。つまり、検査画像Ｘの加算されたエリア（Ｘ１＋Ｘ２＋Ｘ３＋Ｘ５）と基準画像Ｙの加算されたエリア（Ｙ１＋Ｙ２＋Ｙ３＋Ｙ５）とが比較される。

その比較が一致すれば、それにＸ６、Ｙ６を加算して比較し、さらにそれが一致すればＸ７、Ｙ７を加算して比較する。
つぎに、Ｘ８、Ｙ８が加算されて比較されるのだが、検査画像Ｘの第８のエリアＸ８は位置合わせマーク６の異常部６ａに対応する。そのため、検査画像Ｘの加算されたエリア（Ｘ１＋Ｘ２＋Ｘ３＋Ｘ５＋Ｘ６＋Ｘ７＋Ｘ８）と基準画像Ｙの加算されたエリア（Ｙ１＋Ｙ２＋Ｙ３＋Ｙ５＋Ｙ６＋Ｙ７＋Ｙ８）との画像が不一致となる。不一致となったならば、第８の画像Ｘ８、Ｙ８を比較の対象から除去し、つぎの第９の画像Ｘ９、Ｙ９を加算して検査画像Ｘのエリア（Ｙ１＋Ｙ２＋Ｙ３＋Ｙ５＋Ｙ６＋Ｙ７＋Ｙ９）と基準画像Ｙのエリア（Ｙ１＋Ｙ２＋Ｙ３＋Ｙ５＋Ｙ６＋Ｙ７＋Ｙ９）とを比較する。

以上の比較の結果は判定部１８に入力される。判定部１８では全比較回数に対して一致した回数と不一致になった回数との割合を算出し、その不一致の割合が所定値以下、たとえば３０％以下であるならば、検査画像Ｘが位置合わせマーク６であると判定する。

したがって、その判定結果により、撮像カメラ７で撮像された位置合わせマーク６の位置情報が実装装置に入力され、その位置情報に基いてＴＣＰ１が液晶表示パネル２に対して位置決めされて実装されることになる。

このように、撮像カメラ７からの位置合わせマーク６の撮像信号に基づく検査画像Ｘを複数のエリアに分割する一方、上記位置合わせマーク６に対応する基準画像Ｙを、検査画像Ｘと対応する複数のエリアに分割し、各画像のエリアを順次加算しながら比較する。そして、不一致が生じたならば、不一致が生じたエリアを比較の対象から除去して次のエリアを加算して比較を継続し、最終的に比較回数に対する不一致の回数の割合によって検査画像Ｘが位置合わせマーク６の画像であるか否かを判定するようにした。

そのため、位置合わせマーク６の一部に異常部６ａがあっても、その異常部６ａによって位置合わせマーク６が認識できずに、ＴＣＰ１を不良と判定するのを防止できる。しかも、検査画像Ｘと基準画像Ｙとの各エリアの比較回数に対する不一致の割合で、その検査画像Ｘが位置合わせマーク６であるか否かを判定するため、その割合に応じて判定結果の信頼性を高めることができる。

さらに、検査画像Ｘと基準画像Ｙとの分割された各エリアを１つずつ比較するのでなく、順次加算しながら比較するとともに、途中で不一致のエリアが出たならば、そのエリアを比較の対象から除去し、残りのエリアをさらに加算して比較するようにした。そのため、最終的には位置合わせマーク６に近い検査画像Ｘと基準画像Ｙとを比較することになるから、そのことによっても、認識精度を向上させることができる。

図５乃至図８はこの発明の第２の実施の形態を示す。この第２の実施の形態で用いられる画像認識装置１１と同じ構成であるが、制御装置１６による制御及び位置合わせマークの形状や分割の仕方などが第１の実施の形態と異なる。

図５に示すように、この実施の形態の位置合わせマーク６０は円形状であって、たとえば電子部品でなく、基板１Ａに設けられている。基板１Ａに設けられた位置合わせマーク６０は、ＴＣＰ１に設ける場合のように、変形するということはほとんどないが、傷が付いたり、ゴミが付着するなどして異常部６０ａが生じることがある。

上記位置合わせマーク６０に対応する検査画像Ｌと、異常部６０ａのない位置合わせマーク６０に対応する基準画像Ｍとは、図６に示すようにそれぞれ第１乃至第４の４つのエリアに分割されて比較部１７で後述するように比較される。分割された各画像Ｌ、Ｍの第１乃至第４のエリアをＬ１〜Ｌ４、Ｍ１〜Ｍ４とする。

位置合わせマーク６０に異常部６０ａがある場合、検査画像Ｌにはその異常部６０ａが対応するエリアに表示されることになる。この実施の形態では第４のエリアＬ４の画像に異常部６０ａが表示されている仮定し、そのエリアＬ４をクロス線で示す。

上記比較部１７では、制御装置１６からの指令によって検査画像メモリ１４に貯えられた検査画像Ｌと、基準画像メモリ１５に貯えられた基準画像Ｍとの４つに分割されたエリアのうち、まず第１段階では、図７（ａ）に示すように各画像Ｌ、Ｍの第１のエリアＬ１、Ｍ１を除く残りの第２乃至第４のエリアの画像（Ｌ２、Ｌ３、Ｌ４）と（Ｍ２、Ｍ３、Ｍ４）の画像が比較される。この場合、比較される画像には、検査画像Ｌの第４のエリアＬ４を含む。そのため、検査画像Ｌと基準画像Ｍとは一致しないから、検査画像Ｌを認識することができない。

第２の段階では、図７（ｂ）に示すように検査画像Ｌと基準画像Ｍのうち、第２のエリアＬ２、Ｍ２を除く３つのエリアの画像（Ｌ１、Ｌ３、Ｌ４）と（Ｍ１、Ｍ３、Ｍ４）とが比較される。この場合も、検査画像Ｌは第４のエリアＬ４を含むため、基準画像Ｍとは一致せず、したがって検査画像Ｌを認識することができない。

第３の段階では、図７（ｃ）に示すように検査画像Ｌと基準画像Ｍのうち、第３のエリアＬ３、Ｍ３を除く３つのエリアの画像（Ｌ１、Ｌ２、Ｌ４）と（Ｍ１、Ｍ２、Ｍ４）とが比較される。この場合も、検査画像Ｌの第４のエリアＬ４を含むため、検査画像Ｌは基準画像Ｍと一致せず、認識することができない。

第４の段階では、図７（ｄ）に示すように検査画像Ｌと基準画像Ｍのうち、第４のエリアＬ４、Ｍ４を除く３つのエリアの画像（Ｌ１、Ｌ２、Ｌ３）と（Ｍ１、Ｍ２、Ｍ３）とを比較する。この場合には、検査画像Ｌの異常部６０ａに対応する第４のエリアＬ４を含まないから、検査画像Ｌは基準画像Ｍと一致する。それによって、基準画像Ｌを認識することができる。

したがって、異常部６０ａ、すなわち第４のエリアＬ４とＭ４を除いた検査画像と基準画像での認識結果によって判定部１８では検査画像Ｌが位置合わせマーク６０の画像であると判定し、その判定に基き位置合わせマーク６０の位置が検出され、その位置情報によって基板が位置決めされることになる。

図８は第２の実施の形態の検査画像Ｌを認識する際のフローチャートを示す。Ｓ１では検査画像Ｌと基準画像ＭとをそれぞれＮ個のエリアに分割する。Ｓ２では、各画像Ｌ、ＭのＮ個の画像のうち、順次対応する位置の１つのエリアを除去した（Ｎ−１）個のエリアの画像を比較する。

Ｓ３では、Ｓ２で行なわれる各比較ごとに、検査画像Ｌと基準画像Ｍの（Ｎ−１）個のエリアの画像が一致したか否か、つまり検査画像Ｌが認識できたか否かが判定される。認識できたならばＳ４で示すように認識成功となり、検査画像Ｌに基いて基板１Ａの位置決めが行なわれる。

Ｓ３で検査画像Ｌの認識ができなかった場合には、Ｓ５に示すようにその比較回数がチェックされ、その回数がＮ回以下であれば、Ｓ２に戻って比較が繰り返される。比較がＮ回行なわれた場合には、Ｎ個のエリアのうち、順次１つのエリアを除いた（Ｎ−１）個のエリアの比較を全て行なっても、検査画像Ｌを認識できなかったことになるから、Ｓ６に示すように認識失敗となる。

つまり、検査画像Ｌに対応する位置合わせマーク６０の一部に異常部６０ａがある場合には、最大でＮ回の比較を行うことで、認識できることになるが、位置合わせマーク６０の異常度合が各エリアにわたる大きさであったり、検査画像Ｌが位置合わせマーク６０と異なるような場合には、認識が失敗となる。

なお、この発明は上記各実施の形態に限定されるものでなく、たとえば位置合わせマークの形状はリング状や円形に限られず、他の形状であっても差し支えない。また、第１の実施の形態では電子部品の位置決めを行なう場合について説明し、第２の実施の形態では基板の位置決めを行なう場合について説明したが、第１の実施の形態を基板の位置決めに適用したり、第２の実施の形態を電子部品の位置決めに適用することもできる。

また、検査画像と基準画像との分割する数は限定されず、複数であればよい。さらに、検査画像と基準画像との形状もリング状や円形に限定されず、矩形や十字系状など、他の形状であっても差し支えない。

また、第１の実施の形態及び第２の実施の形態において、先ず位置決めマークを一括して撮像カメラで撮像し、その結果、位置決めマークが認識できない場合、つぎにこの発明による画像認識を適用するようにしてもよい。

この発明の第１の実施の形態を示す画像認識装置のブロック図。 液晶表示パネル及びこの液晶表示パネルに実装されるＴＣＰを示す斜視図。 一部に異常部が生じた位置合わせマークを示す図。 検査画像と基準画像とをそれぞれ９つのエリアに分割した図。 この発明の第２の実施の形態を示す異常部が生じた位置合わせマークの図。 検査画像と基準画像とをそれぞれ４つのエリアに分割した図。 ４つのエリアに分割された検査画像と基準画像とを比較する順序を示す図。 検査画像と基準画像との比較の手順を示すフローチャート。

符号の説明

１…ＴＣＰ（電子部品）２…液晶表示パネル（基板）、６，６０…位置合わせマーク、７…撮像カメラ（撮像手段）、１１…画像認識装置、１２…画像処理装置、１４…検査画像メモリ、１５…基準画像メモリ、１６…制御装置、１７…比較部、１８…判定部。

Claims (5)

1. 検査画像が基準画像に一致するか否かを判定する画像認識方法であって、
   検査画像と基準画像をそれぞれ対応する複数のエリアに分割する工程と、
   検査画像の複数のエリアを順次加算し、その検査画像のエリアをそれに対応する基準画像のエリアと比較するとともに、比較の過程で検査画像と基準画像とのエリアに不一致が生じたならば、不一致のエリアを除去し新たなエリアを加算して比較を継続する工程と、
   検査画像と基準画像とのエリアの比較回数に対する不一致となった回数の割合を検出し、その割合が基準値以下であるか否かによって上記検査画像が基準画像に一致するか否かを判定する工程と
   を具備したことを特徴とする画像認識方法。
2. 検査画像が基準画像に一致するか否かを判定する画像認識装置であって、
   上記検査画像を撮像する撮像手段と、
   この撮像手段からの撮像信号を記憶する検査画像メモリと、
   予め設定された基準画像を記憶する基準画像メモリと、
   各画像メモリに記憶された検査画像と基準画像をそれぞれ複数のエリアに分割して順次出力させる制御手段と、
   この制御手段から出力される各画像のエリアを順次加算して比較するとともに比較の過程で検査画像と基準画像とのエリアに不一致が生じたならば、不一致のエリアを除去し新たなエリアを加算して比較を継続する比較部と、
   検査画像と基準画像とのエリアの比較回数に対する不一致となった回数の割合を検出し、その割合が基準値以下であるか否かによって上記検査画像が基準画像に一致するか否かを判定する判定部と
   を具備したことを特徴とする画像認識装置。
3. 検査画像が基準画像に一致するか否かを判定する画像認識方法であって、
   検査画像と基準画像とをそれぞれ対応するＮ個のエリアに分割する工程と、
   分割されたＮ個のエリアのうち、上記検査画像と基準画像との対応する１つのエリアを順次除去して（Ｎ−１）個のエリアを最大でＮ回比較する工程と、
   この比較によって（Ｎ−１）個の各画像のエリアが一致したか否かを検出しその検出に基いて上記検査画像が基準画像に一致するか否かを判定する工程と
   を具備したことを特徴とする画像認識方法。
4. 検査画像が基準画像に一致するか否かを判定する画像認識装置であって、
   上記検査画像を撮像する撮像手段と、
   この撮像手段からの撮像信号を記憶する検査画像メモリと、
   予め設定された上記基準画像を記憶する基準画像メモリと、
   各画像メモリに記憶された検査画像と基準画像をそれぞれＮ個のエリアに分割して順次出力させる制御手段と、
   この制御手段から出力される各画像のＮ個のエリアから１つのエリアを順次除去して（Ｎ−１）個のエリアを最大でＮ回比較する比較部と、
   この比較部で比較された各画像メモリからの対応する（Ｎ−１）個のエリアが一致したか否かを判定する判定部と
   を具備したことを特徴とする画像認識装置。
5. 電子部品に形成された検査画像を撮像し、その検査画像が画像認識装置に記憶された基準画像に一致するか否かを判定し、その判定結果に基いて上記電子部品を基板に実装する実装装置であって、
   上記画像認識装置は、請求項２に記載された構成であることを特徴とする実装装置。

Images