JP2007095764A - 画像認識装置および画像認識方法 - Google Patents

Abstract

【課題】画像認識用データの作成やデータ管理の作業負荷を低減させて作業効率を向上させることができる画像認識装置および画像認識方法を提供すること。
【解決手段】認識画像に画像取込枠を設定して画像取込枠内の画像を対象として認識処理を行って認識対象の輪郭を検出する輪郭検出処理を実行することにより回転方向にオフセットしたチップの位置を認識する画像認識において、チップ方向が基準方向と一致した状態における画像取込枠を基準画像取込枠データとして記憶しておき、認識処理実行に際し基準画像取込枠データと認識対象のチップの角度情報とに基づいて基準回転枠を規定オフセット角度だけ回転させた回転後画像取込枠を設定する。これにより、画像取込枠データをオフセット角度に応じて複数記憶する必要がなく、画像認識用データの作成やデータ管理の作業負荷を低減させて作業効率を向上させることができる。
【選択図】図８

Description

本発明は、認識対象を撮像して得られた認識画像において認識対象の輪郭を検出することによりこの認識対象の位置を認識する画像認識装置および画像認識方法に関するものである。

電子部品・機器の製造分野においては、位置検出や検査などの用途に画像認識が多用される。画像認識において、認識対象の特性によっては輪郭検出によって位置検出を行う方法が用いられる場合がある。この輪郭検出では、カメラにより撮像された認識画像に予め輪郭検出用の画像取込枠を複数設定しておき、取り込まれた画像を認識処理することによって認識対象の輪郭を検出する。そして検出された複数の輪郭線に基づいて、認識対象となる電子部品などの直交方向位置や回転方向位置を検出する。画像取込枠の登録は認識対象の種類毎に行われ、多数の品種を認識対象とする場合には、その都度画像取込枠のティーチングを行う。

ところで、電子部品を基板に実装する部品実装装置では、部品実装密度を向上させることなどを目的として、基板における平面位置を示す直交座標系の基準方向に対して、部品を所定のオフセット角度だけ回転させた状態で実装する場合がある。そしてこのように部品を回転方向にオフセットさせて実装する場合には、輪郭検出に用いられる画像取込枠もオフセット角度に応じたものが必要とされる。このため、このような部品実装装置には、部品のオフセット角度を入力する専用の入力装置を備えたものが提案されている（例えば特許文献１参照）。この特許文献例においては、部品の回転角度の設定を回転式のダイヤルスイッチで容易に行うことができるようになっている。
特開平１０−２４２６９９号公報

しかしながら、上述のような部品を回転方向にオフセットさせて実装する部品実装装置において位置検出や実装後検査のための画像認識を行う場合には、画像取込枠データの作成や認識装置へのティーチイングにおいて以下のような不都合があった。すなわち、輪郭検出による画像認識においては、同一品種の部品を対象とする場合にあっても、この部品が基板に実装される際のオフセット角度が異なればもはや同一の画像取込枠データを用いることができず、回転角度毎に別個の画像取込枠データを登録する必要があった。このため、認識処理に使用される画像取込枠データなどの画像認識用データの作成に労力を要するとともに、これらのデータの管理負荷が増大し、画像認識の作業効率が低下するという問題点があった。

そこで本発明は、画像認識用データの作成やデータ管理の作業負荷を低減させて作業効率を向上させることができる画像認識装置および画像認識方法を提供することを目的とする。

本発明の画像認識装置は、認識対象を撮像して得られた認識画像に画像取込枠を設定し、前記画像取込枠内の画像を対象として認識処理を行って前記認識対象の輪郭を検出する輪郭検出処理を実行することにより、前記認識対象の位置を認識する画像認識装置であって、認識面内における基準方向から回転方向にオフセットした認識対象の画像を含む前記認識画像において、前記認識対象の画像の方向が前記基準方向に一致した基準状態におけ
る前記画像取込枠を基準画像取込枠データとして記憶する基準画像取込枠記憶部と、前記認識対象を撮像して認識画像を取得する撮像手段と、認識面内における前記認識対象の規定オフセット角度を当該認識対象の角度情報として記憶する角度情報記憶部と、前記基準画像取込枠データと前記角度情報とに基づいて前記画像取込枠を回転させた回転後画像取込枠を設定する画像取込枠設定処理部と、前記回転後画像取込枠内の画像データを回転後画像データとして取込み、前記回転後画像データを前記規定オフセット角度だけ逆回転させた変換後画像データを作成する画像変換処理部と、前記変換後画像データに対して前記輪郭検出処理を実行することにより、前記基準状態における前記認識対象の直交方向位置と平面内の回転方向位置とを基準状態偏差として算出し、この基準状態偏差と前記角度情報に基づいて前記認識対象の直交方向位置と平面内の回転方向位置とを算出する位置認識処理部とを備えた。

本発明の画像認識方法は、認識対象を撮像して得られた認識画像に画像取込枠を設定し、前記画像取込枠内の画像を対象として認識処理を行って前記認識対象の輪郭を検出する輪郭検出処理を実行することにより前記認識対象の位置を認識する画像認識方法であって、認識面内における基準方向から回転方向にオフセットした認識対象の画像を含む前記認識画像において、前記認識対象の画像の方向が前記基準方向に一致した基準状態における前記画像取込枠を基準画像取込枠として記憶する基準画像取込枠記憶部から前記基準画像取込枠を読み出す基準画像取込枠読み出しステップと、前記認識対象を撮像して認識画像を取得する撮像ステップと、認識面内における前記認識対象の規定オフセット角度を当該認識対象の角度情報として記憶する角度情報記憶部から前記角度情報を読み出す角度情報読み出しステップと、前記基準画像取込枠と前記角度情報とに基づいて前記画像取込枠を回転させた回転後画像取込枠を設定する画像取込枠設定ステップと、前記回転後画像取込枠内の画像データを回転後画像データとして取込み、前記回転後画像データを前記規定オフセット角度だけ逆回転させた変換後画像データを作成する画像変換ステップと、前記変換後画像データに対して前記輪郭検出処理を実行することにより、前記基準状態における前記認識対象の直交方向位置と平面内の回転方向位置を基準状態偏差として算出し、この基準状態偏差と前記角度情報とに基づいて前記認識対象の直交方向位置と平面内の回転方向位置とを算出する位置認識処理ステップとを含む。

本発明によれば、認識対象の画像の方向が基準方向と一致した状態における画像取込枠を基準画像取込枠データとして記憶しておき、認識処理実行に際し基準画像取込枠データと撮像面内における認識対象の規定オフセット角度を示す角度情報とに基づいて認識実行用の回転後画像取込枠を作成することにより、画像取込枠データをオフセット角度に応じて複数記憶する必要がなく、画像認識用データの作成やデータ管理の作業負荷を低減させて作業効率を向上させることができる。

次に本発明の実施の形態を図面を参照して説明する。図１は本発明の一実施の形態のチップボンディング装置の構成説明図、図２は本発明の一実施の形態の画像認識装置の認識対象となる半導体チップの実装状態説明図、図３は本発明の一実施の形態の画像認識装置における記憶部の記憶内容を示す説明図、図４は本発明の一実施の形態の画像認識装置における画像認識処理機能を示す機能ブロック図、図５は本発明の一実施の形態の画像認識方法における基準画像取込枠作成処理のフロー図、図６、図７は本発明の一実施の形態の画像認識方法における基準画像取込枠作成処理の説明図、図８は本発明の一実施の形態の画像認識方法における半導体チップの認識処理のフロー図、図９，図１０は本発明の一実施の形態の画像認識方法における半導体チップの認識処理の説明図である。

まず図１を参照して、本実施の形態の画像認識装置が組み込まれたチップボンディング
装置の構成を説明する。図１において、部品供給部１にはリング状のウェハ治具２が治具ホルダ（図示省略）によって着脱自在に保持されており、ウェハ治具２にはシート３が装着されている。シート３には半導体チップ４（以下、単に「チップ４」と略記する。）が、回路形成面を上面に向けた姿勢で貼着保持されている。

シート３の下方には、部品剥離促進手段としてのエジェクタ機構５が、エジェクタ移動機構６によって昇降および水平移動自在に配設されている。エジェクタ機構５は、チップ突き上げ用のエジェクタピン（図示省略）を昇降させるピン昇降機構を備えており、部品剥離促進手段駆動部７によって駆動される。シート３からチップ４を取り出す際には、エジェクタピンによってシート３の下方からチップ４を突き上げることにより、チップ４はシート３から剥離される。部品剥離促進手段としては、エジェクタピンを用いる突き上げ方式以外にも、シート３を下面側から真空吸着することによりシート３をチップ４から剥離させる方式や、シート３の下面側から紫外光を照射してチップ４の粘着力を低減させる方式など、各種の方式を用いることができる。

部品供給部１の側方には、基板位置決め部８が配設されている。基板位置決め部８は、チップ４が実装される基板１０を基板搬送方向（紙面垂直方向）に搬送して位置決めする搬送機構９を備えており、基板位置決め部８には前工程において予め樹脂接着剤１１が塗布された基板１０が搬入される。部品供給部１および基板位置決め部８の上方には、ヘッド移動テーブル１２が水平方向に配設されており、ヘッド移動テーブル１２には第１のカメラ１３、搭載ヘッド１４および第２のカメラ１５が水平移動自在に装着されている。第１のカメラ１３は第１のカメラ駆動部１７によって移動し、シート３に貼着されたチップ４を上方から撮像する。第１のカメラ１３によって撮像された画像データは第１の画像認識部１６によって認識処理され、これにより部品供給部１におけるチップ４の位置が検出される。

搭載ヘッド１４は下端部に昇降自在な吸着ノズル１４ａを備えており、搭載ヘッド駆動部１８によって搭載ヘッド１４を駆動することにより、部品供給部１から取り出したチップ４を基板位置決め部８に位置決めされた基板１０の樹脂接着剤１１上に移送搭載する。搭載ヘッド１４が部品供給部１からチップ４を取り出す際には、第１の画像認識部１６によって検出されたチップ４の位置検出結果に基づいて搭載ヘッド１４を移動させる。そして吸着ノズル１４ａによってチップ４をシート３から剥離させる際には、エジェクタ機構５を取り出し対象のチップ４に位置合わせして、チップ４を下方からエジェクタピンによって突き上げる。

部品供給部１と基板位置決め部８の中間には、撮像面を上方に向けて第３のカメラ２１が配設されており、吸着ノズル１４ａによってチップ４を保持した搭載ヘッド１４が部品供給部１から基板位置決め部８に移動する際には、第３のカメラ２１によって搭載ヘッド１４に保持されたチップ４が下方から撮像され、これによりチップ４の位置が認識される。

第２のカメラ１５は第２のカメラ駆動部２０によって駆動されて基板位置決め部８の上方で移動し、基板位置決め部８に位置決めされた基板１０を撮像する。そして第２のカメラ１５によって撮像された画像データを第２の画像認識部１９によって認識処理することにより、基板１０における部品搭載位置が認識される。搭載ヘッド１４によってチップ４を基板１０に搭載する際には、この部品搭載位置の認識結果に基づいて搭載ヘッド１４を基板１０に対して位置合わせする。また基板１０にチップ４が搭載された状態で、第２のカメラ１５によって基板１０を撮像して得られた画像データを第２の画像認識部１９によって認識処理することにより、チップ４の搭載状態の検査が行われる。この搭載状態の検査においては、チップ４の位置ずれや樹脂接着剤１１の過不足などが検査される。

ＣＰＵ２２は演算装置であり、ＣＰＵ２２が記憶部２３に記憶されたプログラムを各種データを用いながら実行することにより、搭載状態の検査のための認識処理に使用される画像認識用データ作成が実行される。そして第２の画像認識部１９はこの画像認識用データを使用して認識処理を行う。したがって、第２のカメラ１５、第２の画像認識部１９、ＣＰＵ２２および記憶部２３は、認識対象のチップ４の位置を認識するための認識処理を行う画像認識装置を構成している。

本実施の形態においては、チップ４を撮像して得られた認識画像においてチップ４の各辺に対応する位置に画像取込枠を設定し、画像取込枠内の画像を対象として認識処理を行ってチップ４の輪郭を検出する輪郭検出処理を実行することにより、上述の認識処理を行うようにしている。輪郭検出による認識処理は、パターンマッチングによる認識処理のようにチップの形状の特徴部分を含んだ参照画像を必要とせず、直線状のエッジ部分が画像上で検出可能であればどのような形態のチップでも認識対象とすることができるという利点がある。

表示部２４はディスプレイ装置であり、第１のカメラ１３、第２のカメラ１５によって撮像された画像を表示するとともに、画像認識用データ作成時のティーチング画像など各種の操作画面の表示を行う。入力部２５はキーボード、マウス、タッチパネルなどの指示入力手段であり、表示部２４に表示された操作画面の案内により、各種データや操作指示の入力を行う。

次にこのチップボンディング装置のボンディング対象となるチップ４の実装形態について、図２を参照して説明する。基板にボンディングされるチップは一般に矩形の平面形状を有するものが多く、このような形状のチップを基板にボンディングする際には、図２（ａ）に示すように、基板における基準方向、すなわち直交座標系のＸ軸方向またはＹ軸方向に、チップ方向を合致させるように実装位置が決定される場合が多い。

しかしながら、基板や部品種類によっては、図２（ｂ）に示すように、基板１０においてＸ軸、Ｙ軸に方向を合わせて形成された電極１０ａに対し、回転方向にオフセットした状態でチップ４を実装する場合がある。このような実装形態は小型・高密度実装が求められる基板において基板面における部品配置上の制約などの理由によって採用されるものである。また図２（ｃ）に示すように、電極１０ａを予め基板１０のＸ軸、Ｙ軸に対して回転方向にオフセットして形成する場合もある。

このような回転方向にオフセットしたチップを輪郭検出による認識対象とする場合には、輪郭検出のためにチップの各辺に設定される画像取込枠を、オフセットした状態のチップに対応させて予め準備する必要がある。したがって従来は、同一品種のチップを認識対象とする場合にあっても、オフセット角度が異なれば別の画像取込枠を予め作成しておく必要があり、このためのデータ作成に手間と時間を要していた。

このため本実施の形態においては、このようなデータ作成の負荷を極力低減させることを目的として、以下に説明するように、チップ４の方向が基準方向に一致した状態における画像取込枠、すなわち基準画像取込枠を画像認識用データとして予め作成しておき、認識処理実行に際しては基準画像取込枠を認識対象となるチップ４に対応した規定オフセット角度だけ回転させて、認識実行用の画像取込枠を自動的に作成するようにしている。

次に図３を参照して、記憶部２３に記憶されるデータおよびプログラムについて説明する。データ記憶部２３ａには実装データ２６ａ、デフォルト画像取込枠データ２６ｂ、基準画像取込枠データ２６ｃ、回転後画像取込枠データ２６ｄが記憶されている。実装デー
タ２６ａは、搭載ヘッド１４によって部品供給部１から取り出したチップ４を、基板位置決め部８に位置決めされた基板１０に実装するために必要なデータであり、基板１０における搭載位置を示す座標データや、電子部品の種類・サイズなどを示す部品データ、さらにはチップ４を回転方向にオフセットした状態で実装する場合における規定オフセット角度を示す角度情報などが含まれる。

デフォルト画像取込枠データ２６ｂは、認識対象のチップ４の基本形状に対応して予め準備された画像取込枠の原型データである。この場合には矩形形状のチップ４の４辺に対応して、４つの短冊状の単位枠を配置した枠構成パターン（図６（ｂ）参照）がデフォルト画像取込枠として予め準備されている。基準画像取込枠データ２６ｃは、基準画像取込枠、すなわち認識対象のチップ４の画像の方向が基準方向（ここではＹ軸方向）に一致した状態における画像取込枠を示すデータである。基準画像取込枠は、デフォルト画像取込枠の各単位枠の位置および大きさを認識対象のチップ４の各辺の位置に合わせて調整し、さらに回転方向を基準方向に一致させて生成される。

回転後画像取込枠データ２６ｄは、回転方向にオフセットしたチップ４を認識するための輪郭検出において使用される認識実行用の画像取込枠のデータであり、前述のように基準画像取込枠をオフセット角度だけ回転させることによって設定される。上記構成において、データ記憶部２３ａは、チップ４の画像の方向が基準方向に一致した状態における画像取込枠を基準画像取込枠として記憶する基準画像取込枠記憶部であり、また認識面内における認識対象の規定オフセット角度を当該認識対象の角度情報として記憶する角度情報記憶部となっている。

次にプログラム記憶部２３ｂには、実装動作プログラム２７ａ、基準画像取込枠生成処理プログラム２７ｂ、画像取込枠設定処理プログラム２７ｃが記憶されている。実装動作プログラム２７ａは、搭載ヘッド１４によってチップ４を取り出して基板１０に実装する動作を実行するためのプログラムであり、この実装動作実行に際しては、データ記憶部２３ａに記憶された実装データ２６ａが参照される。

基準画像取込枠生成処理プログラム２７ｂは、 第２のカメラ１５によって基板１０を撮像して得られた認識画像のうち、図２（ｂ）、（ｃ）に示すように、認識面内、すなわち基板１０表面における基準方向（Ｘ軸方向またはＹ軸方向）から、回転方向にオフセットしたチップ４の画像を含む認識画像において、前述の基準画像取込枠を生成してデータ記憶部２３ａに基準画像取込枠データとして登録する処理を行うためのプログラムである。画像取込枠設定処理プログラム２７ｃは、基準画像取込枠データと実装データ２６ａに含まれる角度情報、すなわち当該チップ４の規定オフセット角度とに基づいて、認識処理実行に際し輪郭検出処理において画像取込枠として用いられる回転後画像取込枠を作成する処理を行うためのプログラムである。

次に図４を参照して、チップボンディング装置における画像認識装置の処理機能について説明する。図４に示す基準画像取込枠生成処理部３０、画像取込枠設定処理部３１は、それぞれＣＰＵ２２が基準画像取込枠生成処理プログラム２７ｂ、画像取込枠設定処理プログラム２７ｃを実行することにより実現される機能を示している。図４において第２のカメラ１５によって基板１０を撮像して得られた画像データは、第２の画像認識部１９に送られ、ここで認識処理用の認識画像が作成される。したがって、第２のカメラ１５は、認識対象を撮像して認識画像を取得する撮像手段となっている。この認識画像は、認識面内における基準方向から回転方向にオフセットした認識対象の画像を含んだものとなっている。作成された認識画像は基準画像取込枠生成処理部３０に送られ、ここでデータ記憶部２３ａに記憶されたデフォルト画像取込枠データ２６ｂと、実装データ２６ａに含まれる角度情報、すなわち当該チップ４の規定オフセット角度とを参照することにより基準画
像取込枠を生成する。

そして生成された基準画像取込枠は、データ記憶部２３ａに基準画像取込枠データ２６ｃとして記憶される。上記構成において、基準画像取込枠生成処理部３０は、認識対象を撮像して得られた認識画像と予め登録された画像取込枠とを用いて輪郭検出処理により認識対象を認識するために用いられる画像認識用データを作成する画像認識用データ作成装置としての機能を構成する。

画像取込枠設定処理部３１は、データ記憶部２３ａに記憶された基準画像取込枠データ２６ｃと実装データ２６ａに含まれる当該チップ４の規定オフセット角度とに基づいて、チップ４を認識するための輪郭検出処理において用いられる画像取込枠としての回転後画像取込枠を設定する。設定された回転後画像取込枠は、データ記憶部２３ａに回転後画像取込枠データ２６ｄとして記憶される。

そして認識処理実行に際しては、第２のカメラ１５によって認識対象のチップ４が実装された基板１０を撮像して得られた認識画像を、第２の画像認識部１９によって認識処理することにより、基板１０におけるチップ４の位置が認識される。このとき、第２の画像認識部１９は、データ記憶部２３ａに回転後画像取込枠データ２６ｄとして記憶された認識実行用の回転後画像取込枠および規定オフセット角度を用いて輪郭検出処理を実行する。

次に前述の基準画像取込枠データを認識処理実行に先立って作成する基準画像取込枠生成処理の詳細について、図５のフローに沿って、図６、図７を参照しながら説明する。まず認識対象のチップの規定オフセット角度αを入力する（ＳＴ１）。次に回転方向にオフセットしたチップを含むワークを撮像してティーチング用の認識画像（以下、「ティーチング画像」と略称する。）を取得する（ＳＴ２）。すなわち、図６（ａ）に示すように、チップ４を含むティーチング画像４０が第２の画像認識部１９によって取得される。チップ４はチップ方向を示す矢印ａがティーチング画像４０内における基準方向（ここではＹ軸方向）から時計廻りに角度αだけオフセットして実装されている。なお、ここで用いられるワークは、予めティーチング用に準備されたサンプルワークでもよく、また実物基板をティーチング用に用いてもよい。

次いで、データ記憶部２３ａから、認識対象のチップ４に対応したデフォルト画像取込枠データを読み出す（ＳＴ３）。ここでは、図６（ｂ）に示すように、矩形形状のチップに対応して、チップの短辺、長辺にそれそれに単位枠Ｗａ、Ｗｂを対応させた枠構成パターンのデフォルト画像取込枠Ｗ１が読み出される。次にティーチング画像４０において、デフォルト画像取込枠Ｗ１を規定オフセット角度αだけ回転させて、チップ４の画像に重ねる（ＳＴ４）。これにより、図６（ｃ）に示すように、単位枠Ｗａ、Ｗｂは、それぞれチップ４の短辺４ａ、長辺４ｂの外側に位置する。

次いでチップ４の各辺の位置に画像取込枠を配置して、暫定画像取込枠とする（ＳＴ５）。すなわち図７（ａ）に示すように、チップ４の短辺４ａ、長辺４ｂにそれぞれ単位枠Ｗａ、Ｗｂを重ねて配置する。このとき、短辺４ａ、長辺４ｂのうち、エッジ検出に好都合な検出可能範囲を画面上で判断し、この検出可能範囲を十分な長さでカバーするように、さらに単位枠Ｗａ、Ｗｂ内にエッジ検出の妨げとなるような画像要素を含むことのないように、単位枠Ｗａ、Ｗｂの位置や大きさを設定する。

図７（ｂ）は、このようにして設定された暫定画像取込枠Ｗ２を示している。この暫定画像取込枠Ｗ２においては、枠構成パターンの方向（矢印ｂ）は基板１０表面を撮像した認識面内における基準方向（Ｙ軸方向）から、規定オフセット角度αだけ回転した方向に
ある。そして図７（ｃ）に示すように、暫定画像取込枠Ｗ２を規定オフセット角度αだけ戻るように回転して、基準画像取込枠Ｗ３を作成し、基準画像取込枠データ２６ｃとしてデータ記憶部２３ａに登録する（ＳＴ６）。これにより、認識対象のチップ４についての画像認識用データ作成が完了し、任意のオフセット角度で実装されたチップ４を含む基板を対象とする場合においても、共通の画像認識用データを用いて認識処理を実行することが可能となる。

次に、上述のように基準方向から任意のオフセット角度で実装されたチップ４を撮像して得られた認識画像を対象とする画像認識方法について、図８のフローに沿って、図９，図１０を参照しながら説明する。この画像認識方法は、認識画像に画像取込枠を設定し、画像取込枠内の画像を対象として認識処理を行って認識対象の輪郭を検出する輪郭検出処理を実行することにより、認識対象のチップ４の位置を認識するものである。

図８において、まず回転方向にオフセットしたチップを認識対象に含むワークを撮像して、図９（ａ）に示すように、認識画像４１を取得する（ＳＴ１１）。ここではチップ４は、チップ方向（矢印ｃ）が認識画像４１内において基準方向（Ｙ軸方向）から時計廻りに規定オフセット角度βだけ回転した状態で実装されている。次いでデータ記憶部２３ａから、認識対象のチップ４の規定オフセット角度βを読み出し（ＳＴ１２）、さらに認識対象のチップ４に対応した基準画像取込枠データを読み出す（ＳＴ１３）。これにより、図９（ｂ）に示す基準画像取込枠Ｗ３が読み出される。次いでこの基準画像取込枠Ｗ３を規定オフセット角度βだけ回転させて回転後画像取込枠とする（ＳＴ１４）。この処理は画像取込枠設定処理部３１によって行われ、回転後画像取込枠は、データ記憶部２３ａに回転後画像取込枠データ２６ｄとして登録される。

次いで認識画像４１において回転後画像取込枠をチップ４の画像に重ねる（ＳＴ１５）。これにより、図９（ｃ）に示すように、認識画像４１においてオフセットした状態のチップ４の短辺４ａ、長辺４ｂに対応して、単位枠Ｗａ，Ｗｂが設定される。次いで、回転後画像取込枠内の画像データを取込み、回転後画像データとする（ＳＴ１６）。すなわち、図９（ｄ）に示すように、それぞれ２つが対向した単位枠Ｗａ、Ｗｂ内の画像データＧ１，Ｇ２およびＧ３，Ｇ４が取り込まれる。これらの画像データは、チップ４の各辺のエッジ情報を含んでいる。そして回転後画像データをアフィン変換により規定オフセット角度βだけ逆回転させて、変換後画像データとする（ＳＴ１７）。これにより図１０（ａ）に示すように、枠構成パターンの方向を示す矢印ｄが基準方向に一致した状態の画像データＧ１＊，Ｇ２＊、Ｇ３＊，Ｇ４＊が、変換後画像データとして取得される。

この後、変換後画像に対して輪郭検出処理を実行して、チップ４のエッジを検出する（ＳＴ１８）。すなわち、図１０（ｂ）に示すように、変換後画像データＧ１＊，Ｇ２＊、Ｇ３＊，Ｇ４＊に対して輪郭検出処理を実行することにより、チップ４の４辺のエッジに対応するエッジラインＥ１，Ｅ２，Ｅ３，Ｅ４が井桁状配列で検出される。このエッジ検出においては、画像取込枠を構成する単位枠Ｗａ，Ｗｂの方向を基準方向（Ｘ軸方向、Ｙ軸方向）に一致させた状態の変換後画像データＧ１＊，Ｇ２＊、Ｇ３＊，Ｇ４＊を対象としていることから、検出対象のエッジの方向はＸ軸方向、Ｙ軸方向と一致している。したがって、複数の画素が正方格子で配列された単位枠Ｗａ，Ｗｂ内での輪郭検出処理においては、画素の格子配列方向に斜交する方向で輪郭を検出することによる検出精度の低下を招くことがなく、各辺のエッジを良好な精度で検出することができる。

そして、検出されたエッジ情報に基づいて、基準状態におけるチップの直交方向位置と回転方向位置を基準状態偏差として算出する（ＳＴ１９）。すなわち、図１０（ｃ）に示すように、井桁状配列のエッジラインＥ１，Ｅ２，Ｅ３，Ｅ４が相互に交わる交点Ｐ１，Ｐ２，Ｐ３，Ｐ４が、矩形形状のチップ４のコーナ点に対応する位置として求められる。
さらにこれらの交点Ｐ１，Ｐ２，Ｐ３，Ｐ４の中心点ＰＣが、基準状態におけるチップ４の直交方向位置として求められ、またエッジラインＥ３，Ｅ４の方向より、チップ４のチップ方向（回転方向位置）を示す方向線ｅが求められる。方向線ｅとしてはエッジラインＥ３，Ｅ４の中線として求めても良く、また交点Ｐ１，Ｐ２，Ｐ３，Ｐ４の座標値から演算によって求めてもよい。

次いで基準状態偏差と規定オフセット角度に基づいて、オフセットした状態におけるチップ４の位置を算出する（ＳＴ２０）。すなわち、図１０（ｄ）に示すように、中心点ＰＣおよび方向線ｅをアフィン変換により規定オフセット角度βだけ回転させて、図９（ａ）に示す状態におけるチップ４の中心位置を示す中心点ＰＣ＊およびチップ方向を示す方向線ｅ＊を求める。

上述の認識処理において、（ＳＴ１５）〜（ＳＴ２０）に示す処理は、第２の画像認識部１９によって実行される。すなわち第２の画像認識部１９は、回転後画像取込枠内の画像データを回転後画像データとして取込み、前記回転後画像データを前記規定オフセット角度だけ逆回転させた変換後画像データを作成する画像変換処理部として機能しており、さらに変換後画像データに対して輪郭検出処理を実行することにより、基準状態におけるチップ４の直交方向位置と平面内の回転方向位置とを基準状態偏差として算出し、この基準状態偏差と規定オフセット角度に基づいて、回転方向にオフセットした状態におけるチップ４の直交方向位置と平面内の回転方向位置とを算出する位置認識処理部として機能している。

そして上述の画像認識方法は、基板１０表面における基準方向から回転方向にオフセットしたチップ４の画像を含む認識画像において、データ記憶部２３ａから基準画像取込枠を読み出す基準画像取込枠読み出しステップと、チップ４を撮像して認識画像を取得する撮像ステップと、データ記憶部２３ａから角度情報としての規定オフセット角度を読み出す角度情報読み出しステップと、基準画像取込枠と規定オフセット角度とに基づいて基準画像取込枠を回転させた回転後画像取込枠を設定する画像取込枠設定ステップと、回転後画像取込枠内の画像データを回転後画像データとして取込み、回転後画像データを規定オフセット角度だけ逆回転させた変換後画像データを作成する画像変換ステップと、変換後画像データに対して輪郭検出処理を実行することにより、基準状態におけるチップ４の直交方向位置と平面内の回転方向位置を基準状態偏差として算出し、この基準状態偏差と規定オフセット角度とに基づいて回転方向にオフセットした状態におけるチップ４の直交方向位置と平面内の回転方向位置とを算出する位置認識処理ステップとを含む形態となっている。

上記説明したように、チップを回転方向にオフセットさせて実装する部品実装において実装後のチップの認識を輪郭検出処理によって行う場合に、上述のようにチップ４の画像の方向が基準方向と一致した状態における画像取込枠を予め画像認識用データとして作成する方式を採用することにより、次のような効果を得る。すなわち、従来方法においては同一品種のチップを対象とする場合にあっても、このチップが基板に実装される際のオフセット角度が異なればもはや同一の画像取込枠データを用いることができず、オフセット角度毎に別個の画像取込枠データを登録する必要があった。

これに対し本実施の形態においては、認識処理実行に際し予め記憶された基準画像取込枠データと撮像面内における認識対象の規定オフセット角度を示す角度情報とに基づいて、認識実行用の回転後画像取込枠を作成するようにしている。これにより、認識実行用の画像取込枠データをオフセット角度に応じて複数記憶する必要がなく、画像認識用データの作成やデータ管理の作業負荷を低減させて作業効率を向上させることができる。

この効果は、複数台の装置を連結して部品実装ラインを構成し、この部品実装ラインを多品種少量生産形態で稼動させる場合において特に顕著となる。すなわち、多品種の基板を生産対象とする場合には、各装置においては、各基板品種に対応した部品種毎に画像認識用データを記憶する必要があるが、このような場合に本発明を適用することにより、データ作成、データ管理の作業負荷を低減させることが可能となる。

なお本実施の形態においては、チップボンディング装置本体の制御装置とは別個の画像認識ボードによって構成された第２の画像認識部１９を備えた例を示したが、画像認識系の制御装置の構成はこのような構成例に限られるものではなく、装置構成上の都合に応じて任意に制御系を構成することができる。すなわち図４に示す処理機能を全て第２の画像認識部のような専用の認識装置によって実行しても良く、また本実施の形態において第２の画像認識部１９の処理機能として示す範囲を、全てチップボンディング装置本体の制御装置によって行うようにしてもよい。

本発明の画像認識装置および画像認識方法は、画像認識用データの作成やデータ管理の作業負荷を低減させて作業効率を向上させることができるという効果を有し、認識面における基準方向から回転方向にオフセットした認識対象を画像認識する用途に有用である。

本発明の一実施の形態のチップボンディング装置の構成説明図 本発明の一実施の形態の画像認識装置の認識対象となる半導体チップの実装状態説明図 本発明の一実施の形態の画像認識装置における記憶部の記憶内容を示す説明図 本発明の一実施の形態の画像認識装置における画像認識処理機能を示す機能ブロック図 本発明の一実施の形態の画像認識方法における基準画像取込枠作成処理のフロー図 本発明の一実施の形態の画像認識方法における基準画像取込枠作成処理の説明図 本発明の一実施の形態の画像認識方法における基準画像取込枠作成処理の説明図 本発明の一実施の形態の画像認識方法における半導体チップの認識処理のフロー図 本発明の一実施の形態の画像認識方法における半導体チップの認識処理の説明図 本発明の一実施の形態の画像認識方法における半導体チップの認識処理の説明図

符号の説明

１ 部品供給部
４ チップ
１０ 基板
１４ 搭載ヘッド
１５ 第２のカメラ
４０ ティーチング画像
４１ 認識画像
Ｗ１ デフォルト画像取込枠
Ｗ３ 基準画像取込枠
Ｗａ、Ｗｂ 単位枠

Claims (2)

1. 認識対象を撮像して得られた認識画像に画像取込枠を設定し、前記画像取込枠内の画像を対象として認識処理を行って前記認識対象の輪郭を検出する輪郭検出処理を実行することにより、前記認識対象の位置を認識する画像認識装置であって、
   認識面内における基準方向から回転方向にオフセットした認識対象の画像を含む前記認識画像において、前記認識対象の画像の方向が前記基準方向に一致した基準状態における前記画像取込枠を基準画像取込枠データとして記憶する基準画像取込枠記憶部と、前記認識対象を撮像して認識画像を取得する撮像手段と、認識面内における前記認識対象の規定オフセット角度を当該認識対象の角度情報として記憶する角度情報記憶部と、前記基準画像取込枠データと前記角度情報とに基づいて前記画像取込枠を回転させた回転後画像取込枠を設定する画像取込枠設定処理部と、前記回転後画像取込枠内の画像データを回転後画像データとして取込み、前記回転後画像データを前記規定オフセット角度だけ逆回転させた変換後画像データを作成する画像変換処理部と、前記変換後画像データに対して前記輪郭検出処理を実行することにより、前記基準状態における前記認識対象の直交方向位置と平面内の回転方向位置とを基準状態偏差として算出し、この基準状態偏差と前記角度情報に基づいて前記認識対象の直交方向位置と平面内の回転方向位置とを算出する位置認識処理部とを備えたことを特徴とする画像認識装置。
2. 認識対象を撮像して得られた認識画像に画像取込枠を設定し、前記画像取込枠内の画像を対象として認識処理を行って前記認識対象の輪郭を検出する輪郭検出処理を実行することにより前記認識対象の位置を認識する画像認識方法であって、
   認識面内における基準方向から回転方向にオフセットした認識対象の画像を含む前記認識画像において、前記認識対象の画像の方向が前記基準方向に一致した基準状態における前記画像取込枠を基準画像取込枠として記憶する基準画像取込枠記憶部から前記基準画像取込枠を読み出す基準画像取込枠読み出しステップと、前記認識対象を撮像して認識画像を取得する撮像ステップと、認識面内における前記認識対象の規定オフセット角度を当該認識対象の角度情報として記憶する角度情報記憶部から前記角度情報を読み出す角度情報読み出しステップと、前記基準画像取込枠と前記角度情報とに基づいて前記画像取込枠を回転させた回転後画像取込枠を設定する画像取込枠設定ステップと、前記回転後画像取込枠内の画像データを回転後画像データとして取込み、前記回転後画像データを前記規定オフセット角度だけ逆回転させた変換後画像データを作成する画像変換ステップと、前記変換後画像データに対して前記輪郭検出処理を実行することにより、前記基準状態における前記認識対象の直交方向位置と平面内の回転方向位置を基準状態偏差として算出し、この基準状態偏差と前記角度情報とに基づいて前記認識対象の直交方向位置と平面内の回転方向位置とを算出する位置認識処理ステップとを含むことを特徴とする画像認識方法。
   

Images