本発明の第1実施形態の基板生産支援システム1について、図1〜図5を参考にして説明する。図1は、第1実施形態の基板生産支援システム1の構成を示すシステム構成図である。図示されるように、基板生産支援システム1は、基板生産装置2の一部と、拡張現実端末装置とにより構成されている。第1実施形形態では、拡張現実端末装置の一例としてメガネ型拡張現実端末装置3を使用する。図2は、メガネ型拡張現実端末装置3の構造を模式的に説明する図である。
基板生産装置2は、はんだ印刷装置、電子部品実装装置、リフロー装置、および基板検査装置などのいずれかであってもよいし、これらを連結した基板生産ラインの全体であってもよい。基板生産装置2は、基板生産支援システム1が認識する本発明の認識対象に相当する。基板生産装置2は、制御部21および無線通信部22を有している。制御部21は、基板生産装置2自身が行う基板生産作業を制御する部位であり、かつ基板生産作業に係わる生産情報を管理する部位である。したがって、制御部21は、認識対象の生産情報を管理する本発明の生産情報管理装置に相当する。無線通信部22は、制御部21が管理している生産情報を無線通信で外部に伝送可能とする部位である。
基板生産装置2には、識別マーカー23が付設されている。一般的に基板の生産工場には複数台の基板生産装置が並設されており、識別マーカー23は、基板生産装置2を特定するための固有のマーカーである。識別マーカー23には、一次元バーコード、二次元バーコード、および文字記号などを用いることができる。本第1実施形態および以降の各実施形態において、識別マーカー23には二次元バーコードの一種であるARマーカー(Augmented Reality マーカー)を用いる。識別マーカー23の付設位置は、作業者から見えやすい位置、例えば、基板生産装置2の側面や前面とする。これにより、作業者が特別に付設位置を意識しなくとも、識別マーカー23は自然に作業者の視野に入り込む。なお、識別マーカー23は、付設されたシールなどの実体物に限定されず、基板生産装置2に設けられたモニタ装置の画面上にソフトウェアで表示される画像であってもよい。
メガネ型拡張現実端末装置3は、図2に示されるように、カメラ31、演算処理部32、表示部33、スピーカー34、無線通信部35、左フレーム36、および右フレーム37で構成されている。
表示部33は、横長の略8字形状の前フレーム331の左右に並んだ窓にそれぞれ透光部332、333をもっている。透光部332、333は作業者の両方の目と対向する位置に配置されるので、作業者は透光部332、333を通して基板生産装置2や他の物体などの現実環境を見ることになる。透光部332、333は、作業者の視野の少なくとも一部に認識対象の生産情報を重ねて表示可能となっており、換言すれば、拡張現実表示機能を有している。拡張現実表示機能を実現する光学的な技術としてホログラム技術を例示でき、これに限定されない。拡張現実表示機能を実現するための電子回路などは、前フレーム331に組み込まれている。表示部33は、本発明の透過型拡張現実表示部に相当する。
前フレーム331の左右両端から後方に向けて、左フレーム36および右フレーム37が延設されている。左フレーム36および右フレーム37は、図2では角棒状に描かれているが、実際には適当に曲げられており、かつ面取りの丸みが設けられている。左フレーム36および右フレーム37の後部を耳に掛けることで、作業者はメガネ型拡張現実端末装置3を装身できる。
カメラ31は、本発明のカメラ型撮像部に相当しており、左フレーム36の前側位置に前向きに配設されている。カメラ31は、透光部332、333を通して見る作業者の視野に入る基板生産装置2を撮像して視野画像を取得する。さらに、カメラ31は、取得した視野画像のデータを演算処理部32に送出する。
演算処理部32は、左フレーム36の外側の側面の前寄り位置に配設されている。演算処理部32は、CPUおよびメモリを有してソフトウェアで作動する。演算処理部32は、カメラ31から受け取った視野画像のデータに画像処理を施して、基板生産装置2の識別マーカー23を認識する。つまり、演算処理部32は、本発明のマーカー認識部の機能を含んでいる。さらに、演算処理部32は、表示部33の透光部332、333を用いた拡張現実表示の表示内容を制御する。
スピーカー34は、生産情報を音声で出力する本発明の音声出力部に相当しており、右フレーム37の内側の側面の前寄りに配設されている。スピーカー34は、演算処理部32からの制御にしたがい、警告音や案内音声などを作業者の右耳に向かって出力できるようになっている。スピーカー34は、音量を調整できるボリューム調整ねじを付属していてもよい。
無線通信部35は、演算処理部32と一体的に設けられている。無線通信部35は、演算処理部32からの制御にしたがい、基板生産装置2の無線通信部22との間で無線通信を用いて双方向に情報を伝送する。したがって、メガネ型拡張現実端末装置3の無線通信部35ならびに基板生産装置2の無線通信部22は、本発明の情報伝送装置に相当し、かつ双方向無線情報伝送装置に相当する。
上記したメガネ型拡張現実端末装置3には、市販の汎用製品を応用することができる。汎用製品として、非特許文献1に紹介されているメガネ型の拡張現実表示装置を例示でき、これに限定されない。また、メガネ型拡張現実端末装置3に、専用のカスタム製品を使用するようにしてもよい。
次に、第1実施形態の基板生産支援システム1の作動および作用について説明する。図3は、第1実施形態の基板生産支援システム1の作動を説明するフローチャートである。まず、メガネ型拡張現実端末装置3を装身した作業者が基板生産装置2の方向を向くと、図3に示される作動が始まる。図3のステップS1で、メガネ型拡張現実端末装置3は、カメラ31で作業者の視野を撮像して視野画像を取得する。ステップS1は、例えば、演算処理部32からの制御により一定時間間隔で行うようにする。次にステップS2で、メガネ型拡張現実端末装置3は、演算処理部32で視野画像のデータを受け取って画像処理を施し、視野画像中にある基板生産装置2の識別マーカー23を認識する。識別マーカー23を認識しなかった場合は、ステップS3以降の処理は行わない。
識別マーカー23を認識できた場合にはステップS3に進み、メガネ型拡張現実端末装置3は、演算処理部32で識別マーカー23をデコードして基板生産装置2の識別IDを読み取る。そして、ステップS4で、デコード結果の識別IDから認識対象である基板生産装置2を特定する。これにより、メガネ型拡張現実端末装置3の無線通信部35と基板生産装置2の無線通信部22との間で双方向無線通信が可能になり、メガネ型拡張現実端末装置3は基板生産装置2から生産情報を取得する。次にステップS5で、メガネ型拡張現実端末装置3は、取得した生産情報を表示部33の透光部332、333に表示する。換言すれば、メガネ型拡張現実端末装置3は、透光部332、333を通して見る作業者の視野に重ねて生産情報を拡張現実表示する。生産情報は、基板生産装置2の稼動情報を含んでおり、図4及び図5を用いて例示説明する。
図4は、メガネ型拡張現実端末装置3の透光部332、333を通して見る作業者の視野に基板生産装置2の稼動情報を重ねて拡張現実表示した例を示した図である。図示されるように、作業者の視野には、基板生産装置2の一例である電子部品実装装置が複数台入っており、最も手前の電子部品実装装置29の側面の上部寄りに識別マーカー23が付設されている。メガネ型拡張現実端末装置3のカメラ31は、作業者の視野範囲に概ね一致した視野画像を得られるので、演算処理部32は視野画像中の識別マーカー23を認識できる。そして、メガネ型拡張現実端末装置3は、透光部332、333を通して見る作業者の視野中のマーカー位置を基準とした所定の位置に、角丸長方形状の拡張現実表示内容3Pを重ねて表示する。図4の例で、拡張現実表示内容3Pは、「予定生産枚数: 100」、「完了生産枚数: 50」、および「残り時間: 1:30」という基板生産装置2の3種類の稼動情報である。この拡張現実表示内容3Pは、例えば白黒で表示して、現実の電子部品実装装置にオーバーラップ表示できる。
また、図5は、図4と同じ作業者の視野であって拡張現実表示内容3Qが異なる例を示した図である。図5の例で、角丸長方形状の拡張現実表示内容3Qは、「部品切れエラー 部品を補給してください」という基板生産装置2の稼動情報である。部品切れエラーのように作業者が緊急に対応すべき稼動情報では、拡張現実表示内容3Qを目立つ赤色などで表示して、作業者の注意を促すことができる。さらに、メガネ型拡張現実端末装置3は、スピーカー34から警告音を出すなどして、表示に加えて音声情報による拡張現実を行い、作業者の注意をさらに一層強く促すことができる。
第1実施形態の基板生産支援システム1は、基板を生産する基板生産装置2を認識対象とし、基板の生産管理を行う作業者に認識対象の生産情報を提供する基板生産支援システム1であって、認識対象の生産情報を管理する生産情報管理装置(制御部21)と、作業者の視野に入る認識対象を撮像して視野画像を取得する撮像部(カメラ31)、視野画像中にある識別マーカー23であって認識対象に設けられた固有の識別マーカー23を認識するマーカー認識部(演算処理部32)、および、視野画像中にある識別マーカー23によって特定された認識対象の生産情報を作業者の視野に重ねて表示する拡張現実表示部(表示部33)を有するメガネ型拡張現実端末装置3と、を備えた。
これによれば、次の効果a)が発生する。
効果a)メガネ型拡張現実端末装置3は、識別マーカー23によって特定された認識対象の生産情報を拡張現実表示部(表示部33)で表示する。このため、作業者は、現実の認識対象とこれに係わる生産情報とを同じ視野中に視認して対応関係を迅速かつ誤りなく把握できるようになる。したがって、認識対象とは別にモニタ装置や入出力装置で生産情報を把握する従来技術と比較して、本発明では生産性が向上する。
また、第1実施形態の基板生産支援システム1は、メガネ型拡張現実端末装置3のマーカー認識部(演算処理部32)で認識した識別マーカー23の情報を生産情報管理装置(制御部21)に伝送し、伝送された識別マーカー23によって特定された認識対象の生産情報を生産情報管理装置(制御部21)からメガネ型拡張現実端末装置3に伝送する情報伝送装置(無線通信部22、無線通信部35)をさらに備えた。
これによれば、次の効果b)が発生する。
効果b)メガネ型拡張現実端末装置3は、生産情報管理装置(制御部21)で一元的に管理している生産情報を受け取り、拡張現実表示部(表示部33)で自動的に表示する。したがって従来技術と異なり、作業者は、生産情報管理装置(制御部21)までの移動や入力操作を行う必要がなくなって迅速に生産情報を把握でき、従来よりも生産性を向上できる。
また、第1実施形態の基板生産支援システム1で、拡張現実端末装置は、作業者の目と対向する位置に透光部332、333をもち、透光部332、333を通して見る作業者の視野の少なくとも一部に認識対象の生産情報を重ねて表示可能な透過型拡張現実表示部(表示部33)と、透過型拡張現実表示部に一体的に設けられ、作業者が透光部332、333を通して見る視野に入る認識対象を撮像して視野画像を取得するカメラ型撮像部(カメラ31)と、を有して作業者が装身可能なメガネ型拡張現実端末装置3であり、情報伝送装置は、メガネ型拡張現実端末装置3と生産情報管理装置(制御部21)との間で無線通信を用いて双方向に情報を伝送する双方向無線情報伝送装置(無線通信部22、無線通信部35)である。
これによれば、次の効果c)が発生する。
効果c)作業者はメガネ型拡張現実端末装置3を装身して透過型拡張現実表示部(表示部33)を視認すると認識対象の生産情報を確認でき、かつ認識対象の生産情報は無線通信を用いて伝送される。したがって、作業者は、別の作業を行って手が塞がっている状態でも移動や入力操作などが不要で作業性を低下させずに生産情報を確認でき、従来よりもさらに一層顕著に生産性を向上できる。
また、第1実施形態の基板生産支援システム1は、認識対象に基板生産装置2を含み、生産情報に基板生産装置2の稼動情報を含む。
これによれば、次の効果d)が発生する。
効果d)作業者は、基板生産装置2の稼動情報を確認するために、当該の基板生産装置2まで移動する必要がなくなり、従来よりも生産性を向上できる。
また、第1実施形態の基板生産支援システム1で、メガネ型拡張現実端末装置3は、生産情報を音声で出力する音声出力部(スピーカー34)をさらに有する。
これによれば、次の効果e)が発生する。
効果e)拡張現実表示部(表示部33)での表示に加えて音声出力を併用した拡張現実により作業者に生産情報を提供でき、メガネ型拡張現実端末装置3の利便性が高まり、従来よりもさらに一層生産性を向上できる。
次に、第2実施形態の基板生産支援システム1Aについて、図6〜図11を参考にして、第1実施形態と異なる点を主に説明する。第2実施形態において、第1実施形態と同様の構造および機能を有する部位には同じ符号を付して詳細な説明は省略する。図6は、第2実施形態の基板生産支援システム1Aの構成を示すシステム構成図である。図示されるように、第2実施形態で使用するメガネ型拡張現実端末装置3は第1実施形態と同じである。一方、基板生産装置2Aの生産情報は、別体の管理サーバ4により管理されている。
基板生産装置2Aは、はんだ印刷装置、電子部品実装装置、リフロー装置、および基板検査装置などのいずれか1装置または複数装置である。基板生産装置2Aは、基板生産支援システム1Aが認識する本発明の認識対象に相当する。基板生産装置2Aは、制御部21および有線通信部24を有しており、第1実施形態と同様の識別マーカー23が付設されている。有線通信部24は、制御部21が管理している生産情報を有線通信で外部に伝送可能とする部位である。
管理サーバ4は、図6に示されるように、有線通信部41、生産情報管理部42、および無線通信部43を有している。管理サーバ4の有線通信部41と基板生産装置2Aの有線通信部24とは通信線で接続されており、有線通信で双方向に情報を伝送する。生産情報管理部42は、基板生産装置2Aから受け取った生産情報を管理する。管理サーバ4は、本発明の生産情報管理装置に相当する。
管理サーバ4は、基板生産装置2Aだけでなく、図示されない他の基板生産装置の生産情報を併せて管理していてもよい。管理サーバ4の無線通信部43は、メガネ型拡張現実端末装置3の無線通信部35との間で無線通信により双方向に情報を伝送する。したがって、メガネ型拡張現実端末装置3の無線通信部35ならびに管理サーバ4の無線通信部43は、本発明の情報伝送装置に相当し、かつ双方向無線情報伝送装置に相当する。
次に、第2実施形態の基板生産支援システム1Aの作動および作用について、例示説明する。図7は、第2実施形態の基板生産支援システム1Aで、基板生産装置2Aの基板生産計画に関する稼動情報を拡張現実表示する場合の作動を説明する図である。図7で、J1〜J6は作動の順序を示している。
基板生産装置2Aは、生産の完了した基板の枚数、すなわち完了生産枚数を管理サーバ4に有線通信で逐次報告する(J1)。管理サーバ4は、内部に保持している予定生産枚数に対して完了生産枚数が不足しているときに、生産の完了までに要する残り時間を推定する。推定方法としては、例えば、予定生産枚数から完了生産枚数を減算して残り枚数を求め、生産済みの基板1枚に要した平均的な生産実績時間を乗算して残り時間とする。さらに、管理サーバ4は、基板の実際の生産完了が予め設定された生産完了時刻を超過すると予測される場合に、超過予測時間を演算する。
ここで、メガネ型拡張現実端末装置3を装身した作業者が基板生産装置2Aの方向を向くと、メガネ型拡張現実端末装置3はカメラ31で基板生産装置2Aの識別マーカー23を撮像して認識する(J2)。次に、メガネ型拡張現実端末装置3は、演算処理部32で識別マーカー23をデコードして基板生産装置2Aの識別IDを読み取る(J3)。さらに、メガネ型拡張現実端末装置3は、識別IDを管理サーバ4に無線通信で伝送する(J4)。管理サーバ4は、受け取った識別IDに対応する基板生産装置2Aの稼動情報として、前記の予定生産枚数、完了生産枚数、残り時間、および超過予測時間の情報をメガネ型拡張現実端末装置3に返送する(J5)。これにより、メガネ型拡張現実端末装置3は、基板生産装置2Aの稼動情報を透光部332、333の作業者の視野に重ねて拡張現実表示する(J6)。
図8および図9は、メガネ型拡張現実端末装置3の透光部332、333を通して見る作業者の視野に、基板生産装置2Aの基板生産計画に関する稼動情報を拡張現実表示した例を示す図である。図8および図9では、透光部332、333を通して見る現実の基板生産装置2Aなどは省略され、拡張現実表示内容3R、3Sのみが示されている。また、図8は超過予測時間が無い場合を例示し、図9は超過予測時間が有る場合を例示している。図8の例で、長方形状の拡張現実表示内容3Rは、「予定生産枚数: 100」、「完了生産枚数: 50」、および「残り時間: 1:30」という基板生産装置2Aの3種類の稼動情報である。この拡張現実表示内容3Rは、例えば、白黒で表示できる。
図9の例で、長方形状の拡張現実表示内容3Sは、「予定生産枚数: 100」、「完了生産枚数: 50」、「残り時間: 1:30」、および「超過予測時間: 0:45」という基板生産装置2Aの4種類の稼動情報である。4番目の稼動情報は、基板の実際の生産完了が予め設定された生産完了時刻を45分超過すると予測されることを意味している。超過予測のように問題点を含んだ稼動情報では、拡張現実表示内容3Sを目立つ赤色などで表示して、作業者の注意を促すことができる。さらに、メガネ型拡張現実端末装置3は、スピーカー34から警告音を出すなどして、表示に加えて音声情報による拡張現実を行い、作業者の注意をさらに一層強く促すことができる。
次に、第2実施形態の基板生産支援システム1Aの作動および作用について、別の例を説明する。図10は、第2実施形態の基板生産支援システム1Aで基板生産装置2Aの停止時間の稼動情報を拡張現実表示する場合の作動を説明する図である。図10で、K1〜K6は作動の順序を示している。
基板生産装置2Aは、生産を停止した情報、および生産を開始した情報を管理サーバ4に有線通信で逐次報告する(K1)。管理サーバ4は、受け取った情報に基づいて、生産が中断している停止時間を演算する。ここで、メガネ型拡張現実端末装置3を装身した作業者が基板生産装置2Aの方向を向くと、メガネ型拡張現実端末装置3はカメラ31で基板生産装置2Aの識別マーカー23を撮像して認識する(K2)。次に、メガネ型拡張現実端末装置3は、演算処理部32で識別マーカー23をデコードして基板生産装置2Aの識別IDを読み取る(K3)。さらに、メガネ型拡張現実端末装置3は、識別IDを管理サーバ4に無線通信で伝送する(K4)。管理サーバ4は、受け取った識別IDに対応する基板生産装置2Aの稼動情報として、停止時間の情報をメガネ型拡張現実端末装置3に返送する(K5)。これにより、メガネ型拡張現実端末装置3は、表示部33の透光部332、333を通して見る作業者の視野に停止時間を重ねて拡張現実表示する(K6)。
図11は、メガネ型拡張現実端末装置3の透光部332、333を通して見る作業者の視野に停止時間を拡張現実表示した例を示す図である。図11では、透光部332、333を通して見る現実の基板生産装置2Aなどは省略され、拡張現実表示内容のみが示されている。図11の例で、長方形状の拡張現実表示内容3Tは、「停止時間: 0:45」という稼動情報である。この稼動情報は、基板生産装置2Aが45分間にわたって停止しており、基板の生産が中断されていることを意味している。このように基板生産装置2Aの好ましくない状態を表す稼動情報では、拡張現実表示内容3Tを目立つ赤色などで表示して、作業者の注意を促すことができる。さらに、メガネ型拡張現実端末装置3は、スピーカー34から警告音を出すなどして、表示に加えて音声情報による拡張現実を行い、作業者の注意をさらに一層強く促すことができる。
第2実施形態の基板生産支援システム1Aでは、第1実施形態と比較して生産情報管理装置の構成が異なるが、第1実施形態と同様に効果a)〜効果e)が生じる。
なお、基板生産装置2、2Aの稼動情報として、第1および第2実施形態で説明した以外にも下記の各項目を適宜選択して拡張現実表示することができる。
(1)エラー内容の表示
(基板搬送エラー、部品切れ、画像処理エラー、外観検査エラーなど)
(2)部品切れ予告の表示
(3)はんだ補給予告の表示
(4)部品吸着率を始めとする作業の良好度合いを示す指標の表示
(5)メンテナンス予告の表示
(6)サクセスレート(部品認識などの特定作業に要する時間)低下の警告表示
(7)サイクルタイム(繰返し作業における繰返し周期)低下の警告表示
(8)ショット数(部品実装の累積個数)の表示
(9)基板生産ジョブ名の表示
(10)基板生産装置の管理者名の表示
(11)デュアル生産ラインにおける生産モードの表示
次に、第3実施形態の基板生産支援システム1Bについて、図12〜図18を参考にして説明する。第3実施形態において、第1および第2実施形態と同様の構造および機能を有する部位には同じ符号を付して詳細な説明は省略する。第3実施形態では、基板生産装置に交換可能に搭載される機能ユニットを認識対象としており、システムの構成も第1および第2実施形態とは異なる。認識対象となる機能ユニットとして、図12に示されるノズルユニット51や、図13に示される部品供給ユニット58を例示でき、これらに限定されない。
図12は、第3実施形態の基板生産支援システム1Bの認識対象となるノズルユニット51を説明する図である。図12の例で、12個のノズルユニット51が段取り台52の上面に、3×4の配置に規則正しく並べられている。ノズルユニット51は、基板生産装置の一機種である電子部品実装装置の部品移載装置の実装ヘッドに交換可能に取り付けられる。取り付けられたノズルユニット51は、部品供給装置の上方に移動し負圧を利用して電子部品を吸着採取し、基板の上方に移動して基板に電子部品を実装する。各ノズルユニット51の見えやすい位置には、互いに異なる識別マーカー53が付設されている。しかしながら、作業者がノズルユニット51の外観や識別マーカー53を見ても個体識別することは難しく、個体識別には識別マーカー53のデコードが必要である。
また、図13は、第3実施形態の基板生産支援システム1Bの認識対象となる部品供給ユニット58を説明する図である。図13に示される部品供給ユニット58は、電子部品実装装置に交換可能に搭載される。詳述すると、部品供給ユニット58は、フィーダーを複数個有しており、各フィーダーは、多数の電子部品を保持したテープを巻回したリールをもっている。部品供給ユニット58は、作業者によって電子部品実装装置に組み付けられる。部品供給ユニット58は、テープを引き出しながら電子部品を順次ノズルユニット51に供給する。フィーダー単位でなく部品供給ユニット58の全体を交換することで、電子部品の補充を効率的に実施できる。部品供給ユニット58の見えやすい上面には、識別マーカー59が付設されている。識別マーカー59をデコードすることで、各部品供給ユニット58を個体識別できるようになっている。
図14は、第3実施形態の基板生産支援システム1Bの構成を示すシステム構成図である。図中のL1〜L4は、後でフローチャートを用いて説明する作動の順序を示している。図14に示されるように、第3実施形態の基板生産支援システム1Bは、データ管理部6と、メガネ型拡張現実端末装置3Bとにより構成されている。また、以降では、第3実施形態における認識対象としてノズルユニット51を例にして説明する。
認識対象となるノズルユニット51には、前述したように識別マーカー53が付設されている。また、各ノズルユニット51は、無線通信部54を有している。無線通信部54は、各ノズルユニット51を特定するID情報や、稼動履歴に関する状態情報および作業者によって行われたメンテナンスに関する状態情報などを無線で伝送できるようになっている。稼動履歴やメンテナンスに関する状態情報は、ノズルユニット51の使用の可否、使用の優先順位、およびメンテナンスの必要性などに関係する生産情報である。
データ管理部6は、図14に示されるように、無線通信部61およびデータベース62を有している。データ管理部6の無線通信部61とノズルユニット51の無線通信部54とは、無線通信で双方向に情報を伝送する。データ管理部6は、多数のノズルユニット51から受け取った状態情報をデータベース62に保存して管理する。つまり、データ管理部6は、本発明の生産情報管理装置に相当する。データ管理部6の無線通信部61は、メガネ型拡張現実端末装置3Bの無線通信部35との間でも無線通信により双方向に情報を伝送する。したがって、メガネ型拡張現実端末装置3Bの無線通信部35ならびにデータ管理部6の無線通信部61は、本発明の情報伝送装置に相当し、かつ双方向無線情報伝送装置に相当する。
第3実施形態で使用するメガネ型拡張現実端末装置3Bは、第1および第2実施形態とは構造および機能の一部が異なる。図15は、第3実施形態で使用するメガネ型拡張現実端末装置3Bの構造を模式的に説明する図である。図示されるように、メガネ型拡張現実端末装置3Bは、カメラ31、演算処理部32、表示部33、無線通信部35、マイク38、情報切替ボタン39、左フレーム36、および右フレーム37で構成されている。つまり、第1および第2実施形態と比較して、スピーカー34が省略され、マイク38および情報切替ボタン39が追加されている。
第3実施形態で、演算処理部32Bは、ノズルユニット51の使用の可否、使用の優先順位、およびメンテナンスの必要性などを判定するための判定基準321を内包している。判定基準321は、ノズルユニット51の稼動履歴に関する状態情報に対して、予め設定することができる。状態情報およびその判定基準321として、例えば、前回使用時の稼動時間の上限値や前回使用時の部品吸着エラー率の上限値、前回使用時の部品吸着エラーの発生回数などを採用でき、これらに限定されない。
マイク38は、右フレーム37の内側の側面の前寄り(概ね第1実施形態のスピーカー34の配設位置に一致)に配設されている。マイク38は、作業者が音声入力を行うための部位であり、音声入力の内容は演算処理部32によって認識される。マイク38は、拡張現実表示部(表示部33)で表示する生産情報の表示内容を切り替える本発明の音声入力部に相当する。
情報切替ボタン39は、作業者が押動操作または回動操作する部位である。情報切替ボタン39は、拡張現実表示部(表示部33)で表示する生産情報の表示内容を切り替える。第3実施形態で、情報切替ボタン39は、ノズルユニット51の稼動履歴に関する状態情報を切り替えて拡張現実表示することができる。また、情報切替ボタン39は、これらの状態情報を判定基準321と比較して判定した結果を選択することもできる。判定結果は、例えば、ノズルユニット51の使用の可否を表す2値情報(「OK」と「NG」)を採用でき、これに限定されない。
次に、第3実施形態の基板生産支援システム1Bの作動および作用について説明する。図16は、第3実施形態の基板生産支援システム1Bの作動を説明するフローチャートである。ノズルユニット51の状態情報は、予め無線通信でデータ管理部6に伝送され、データベース62で管理されている。(図14のL1参照)。ここで、メガネ型拡張現実端末装置3Bを装身した作業者が段取り台52の方向を向くと、図16に示される作動が始まる。図16のステップS11で、メガネ型拡張現実端末装置3Bは、カメラ31でノズルユニット51の識別マーカー53を撮像する(L2参照)。このとき、カメラ31の撮像視野中に入った全ての識別マーカー53が認識対象になる。
次にステップS12で、メガネ型拡張現実端末装置3Bは、演算処理部32Bで全ての識別マーカー53を認識し、デコードしてノズルユニット51を特定する(L3)。このとき、演算処理部32Bで各識別マーカー53の位置を認識して、識別マーカー53ごとに表示する近傍位置を予め設定しておく、次にステップS13で、作業者は情報切替ボタン39を操作して、状態情報の表示内容を選択する。選択する状態情報は、前述した稼動時間や部品吸着エラーの有無、部品吸着エラー率などのうちの1項目である。また、情報切替ボタン39の操作に代えて、マイク38の音声入力機能を使用しても、同じ選択操作を行える。
次にステップS14で、メガネ型拡張現実端末装置3Bは、特定したノズルユニット51の状態情報をデータ管理部6から取得する(L4)。次にステップS15で、メガネ型拡張現実端末装置3Bは、演算処理部32Bで判定基準321に基づき状態情報に対して使用可否判定の演算処理を行う。次にステップS16で、メガネ型拡張現実端末装置3は、表示部33でノズルユニット51の使用可否判定の演算結果を各識別マーカー53の近傍位置に拡張現実表示する。
図17および図18は、第3実施形態でメガネ型拡張現実端末装置3Bの透光部332、333を通して見る作業者の視野に、ノズルユニット51の使用の可否の判定結果を拡張現実表示した例を示す図である。図17および図18において、メガネ型拡張現実端末装置3Bの透光部332、333を通して見る作業者の視野に対し、カメラ31の撮像視野311がわずかに狭くなっている。このため、12個のノズルユニット51のうち図の左方寄りの2個については、識別マーカー53Xの全体がカメラ31で撮像されず、認識対象になっていない。仮に、作業者が少しだけ視野を左方に移動させるかまたは少しだけ後退すれば、12個の識別マーカー53の全部が撮像視野311に入って認識対象になる。
そして、左方寄りの2個を除いた10個のノズルユニット51に対して、使用可とする「OK」または使用不可とする「NG」の判定結果が拡張現実表示されている。つまり、「OK」または「NG」の文字が作業者の視野に重ねて表示されている。かつ、判定結果は、現実の10個のノズルユニット51の各識別マーカー53の近傍位置(図の例では各識別マーカー53の上側位置)に一対一に対応付けて表示されている。
また、図17では或る作業者によって前回使用時の稼動時間による判定、例えば、稼動時間24時間以上を使用不可とする判定が行われている。一方、図18では別の作業者によって前回使用時に部品吸着エラーが有ったノズルユニット51を使用不可とする判定が行われている。このため、図17で使用不可と判定された2個のノズルユニット51と、図18で使用不可と判定された3個のノズルユニット51とが異なっている。図17および図18のいずれにおいても、作業者は、拡張現実表示にしたがい使用可のノズルユニット51を正しく選択して、電子部品実装装置に搭載することができる。したがって、不特定の複数のノズルユニット51に対し、一括して瞬時に使用の可否が判定され、判定結果も一目瞭然となるため、生産性は大きく向上する。また、従来は複数の作業者が順番作業でノズルユニット51を選択していたが、本第3実施形態では複数の作業者の平行作業でノズルユニット51を選択することが容易になる。
なお、ノズルユニット51の使用可否の判定をデータ管理部6で行い、判定結果をメガネ型拡張現実端末装置3Bに無線伝送して拡張現実表示させるようにしてもよい。また、拡張現実表示内容は「OK」または「NG」の2値情報に限定されない。例えば、複数の「OK」に代えて、ノズルユニット51の使用の優先順位を番号で拡張現実表示することができる。また例えば、「NG」に代えて必要なメンテナンス項目を符号で拡張現実表示することができる。さらには、前回使用時の稼動時間や部品吸着エラーの発生回数、部品吸着エラー率などをそのまま拡張現実表示して、作業者の選択を支援するようにしてもよい。また、図13で説明した部品供給ユニット58を認識対象として、稼動時間や電子部品の消費数などを拡張現実表示するようにしてもよい。
第3実施形態の基板生産支援システム1Bにおいて、第1および第2実施形態と比較して認識対象やメガネ型拡張現実端末装置3Bの構造などが異なるが、第1および第2実施形態と同様に効果a)〜効果c)が生じる。
さらに、第3実施形態の基板生産支援システム1Bで、マーカー認識部(演算処理部32B)は、視野画像中にある複数の識別マーカー53を認識でき、拡張現実表示部(表示部33)は、マーカー認識部が複数の識別マーカー53を認識した場合に、複数の識別マーカー53によって特定された複数の認識対象(ノズルユニット51)の生産情報(使用可否の判定演算結果)を作業者の視野中の識別マーカー53の近傍位置に一対一に対応付けて表示する。
これによれば、次の効果f)が発生する。
効果f)作業者の視野中に複数の認識対象(ノズルユニット51)が有る場合に、拡張現実表示部(表示部33)は、複数の認識対象(ノズルユニット51)の生産情報(使用の可否)を一対一に対応付けて表示する。したがって、作業者は、視野中の複数の認識対象(ノズルユニット51)を取り違えることなく明瞭に生産情報(使用可否の判定演算結果)を把握できる。
また、第3実施形態の基板生産支援システム1Bは、認識対象に機能ユニット(ノズルユニット51)を含み、生産情報に機能ユニットの状態情報(使用可否の判定演算結果)を含む。
これによれば、次の効果g)が発生する。
効果g)メガネ型拡張現実端末装置3Bは、識別マーカー53によって機能ユニット(ノズルユニット51)を個体識別し、拡張現実表示部(表示部33)で当該の機能ユニット(ノズルユニット51)の生産情報(使用可否の判定演算結果)を自動的に表示する。したがって、作業者は、外見だけでは確認することが困難な機能ユニット(ノズルユニット51)の個体識別を行う必要がなくなり、個体識別を誤ることなく迅速に生産情報を確認でき、従来よりも生産性を向上できる。
また、第3実施形態の基板生産支援システム1Bで、機能ユニット(ノズルユニット51)の状態情報は、使用の可否を含む。
これによれば、次の効果h)が発生する。
効果h)作業者は、基板生産装置(電子部品実装装置)に搭載する機能ユニット(ノズルユニット51)を迅速かつ適正に選択でき、加えて、機能ユニットのメンテナンス業務を効率的に行える。
また、第3実施形態の基板生産支援システム1Bは、拡張現実表示部(表示部33)で表示する生産情報(使用可否の判定演算結果)の表示内容を音声で切り替える音声入力部(マイク38)をさらに有する。
これによれば、次の効果i)が発生する。
効果i)音声入力によって生産情報の表示内容を切り替えることができ、メガネ型拡張現実端末装置3Bの利便性が高まり、従来よりもさらに一層生産性を向上できる。
次に、第4実施形態の基板生産支援システム1Cについて、図19〜図22を参考にして説明する。第4実施形態において、第1〜第3実施形態と同様の構造および機能を有する部位には同じ符号を付して詳細な説明は省略する。第4実施形態では、基板生産装置の一機種である電子部品実装装置に交換可能に搭載されるノズルステーションユニット55を認識対象とし、作業者がノズルステーションユニット55に複数のノズルユニット51をセットするセット作業(段取り作業)を支援する。
図19は、第4実施形態の基板生産支援システム1Cの構成、ならびに認識対象となるノズルステーションユニット55を示す図である。図中のM1〜M3は、後でフローチャートを用いて説明する作動の順序を示している。図19に示されるように、ノズルステーションユニット55は、概ね矩形板状であり、3×4の配置に規則正しく12箇所のノズル保持孔を有している。ノズルステーションユニット55は、各ノズル保持孔にそれぞれノズルユニット51を保持することができる。ノズル保持孔に保持されるノズルユニット51には、第3実施形態と同様の識別マーカー53が付設されている。
図19の例で、ノズルステーションユニット55は、10個のノズルユニット51を保持しており、2箇所のノズル保持孔は空いている。また、ノズルステーションユニット55の上面の左手前には、識別マーカー56が付設されている。識別マーカー56は、ノズルステーションユニット55を個体識別するためのものである。ノズルステーションユニット55は、複数のノズルユニット51を保持した状態で電子部品実装装置に交換可能に取り付けられる。電子部品実装装置は、実装ヘッドを駆動して指定されたノズルユニット51の交換作業を自動で行う。
第4実施形態の基板生産支援システム1Cは、情報管理部6Cと、メガネ型拡張現実端末装置3Cとにより構成されている。第4実施形形態では、少なくともカメラ31、演算処理部32C、表示部33、および無線通信部35を含んで構成されたメガネ型拡張現実端末装置3Cを使用する。第4実施形形態のメガネ型拡張現実端末装置3Cには、第1〜第3実施形態で使用するメガネ型拡張現実端末装置3、3Bを準用してもよい(図2および図15参照)。
情報管理部6Cは、図19に示されるように、無線通信部61およびノズルセット情報部63を有している。ノズルセット情報部63は、多数のノズルセット情報を管理するデータベースの一種である。ノズルセット情報は、生産する基板の種類に応じて、ノズルステーションユニット55のID情報とこれにセットすべき複数のノズルユニット51のID情報および配置位置とを対応付けた情報である。情報管理部6Cは、生産する基板の種類に応じて生産プログラムを作成するときに、ノズルセット情報を最適化決定する。その後、情報管理部6Cは、生産プログラムごとのノズルセット情報をノズルセット情報部63で管理する。ノズルセット情報は、機能ユニットの状態情報に相当し、基板生産装置に搭載する以前に行う段取り作業の実施内容を含んでいる。情報管理部6Cは、本発明の生産情報管理装置に相当する。
また、情報管理部6Cの無線通信部61は、メガネ型拡張現実端末装置3Cの無線通信部35との間で無線通信により双方向に情報を伝送する。したがって、メガネ型拡張現実端末装置3Cの無線通信部35ならび情報管理部6Cの無線通信部61は、本発明の情報伝送装置に相当し、かつ双方向無線情報伝送装置に相当する。
次に、第4実施形態の基板生産支援システム1Cの作動および作用について説明する。図20は、第4実施形態の基板生産支援システム1Cの作動を説明するフローチャートである。図20のステップS21で、情報管理部6Cは、生産する基板の種類に応じてノズルセット情報を最適化決定する。次にステップS22で、メガネ型拡張現実端末装置3Cは、情報管理部6Cから無線通信で次に生産する基板に係わるノズルセット情報を予め取得する(図19のM1参照)。
ここで、メガネ型拡張現実端末装置3Cを装身した作業者がノズルステーションユニット55の方向を向くと、ノズルステーションユニット55の識別マーカー56が作業者の視野に入る。すると、ステップS23で、メガネ型拡張現実端末装置3Cは、カメラ31で視野画像を撮像し、ノズルステーションユニット55の識別マーカー56およびノズルユニット51の識別マーカー53を撮像する(M2参照)。このとき、カメラ31の撮像視野に入った全ての識別マーカー53および識別マーカー56が認識対象になる。これにより、メガネ型拡張現実端末装置3Cは、現実のノズルステーションユニット55にセットされているノズルユニット51を特定し、かつ各ノズルユニット51の配置位置を認識する(M3参照)。
次にステップS24で、メガネ型拡張現実端末装置3Cは、視野画像中の現実のノズルユニット51のセット状態と、情報管理部6Cから取得したノズルセット情報とを演算処理部32Cで照合する。次にステップS25で、メガネ型拡張現実端末装置3Bは照合結果を調査し、不一致であればステップS26に進む。ステップS26で、メガネ型拡張現実端末装置3Bは、照合結果の不一致を解消できるようにノズルユニット51の修正指示を表示部33で拡張現実表示する。
図21は、メガネ型拡張現実端末装置3Cの透光部332、333を通して見る作業者の視野に、ノズルユニット51の修正指示を重ねて拡張現実表示した例を示した図である。図示される例では、作業者の視野中に合計5個の吹き出しテロップ3U1、3U2が拡張現実表示されている。すなわち、現実のノズルステーションユニット55の奥側の空いたノズル保持孔にそれぞれ向かう3個の吹き出しテロップ3U1には、それぞれセットすべきノズルユニット51の識別IDが拡張現実表示されている。また、ノズルステーションユニット55の手前右側の誤ったノズルユニット51Wにそれぞれ向かう2個の吹き出しテロップ3U2には、「交換!!」という作業指示および正しいノズルユニット51の識別IDが拡張現実表示されている。このような修正指示は、目立つ赤色などで表示して、作業者の注意を促すことができる。
したがって、作業者は、図20のステップS27で、正しいノズルユニット51Rをノズルステーションユニット55にセットして保持させることができる(図21の白抜き矢印参照)。ただし、メガネ型拡張現実端末装置3Cは、作業者のセット作業の進捗に関わりなく、ステップS23〜S27を一定時間間隔で繰り返す。そして、作業者が修正指示のとおりにノズルユニット51をセットし終わると、ステップS25で照合結果が一致してステップS28に抜け出る。ステップS28で、メガネ型拡張現実端末装置3Cは、全てのノズルユニット51のセットが完了した旨を表示部33で拡張現実表示する。
図22は、メガネ型拡張現実端末装置3Cの透光部332、333を通して見る作業者の視野に、ノズルユニット51のセット作業が完了した旨を重ねて拡張現実表示した例を示した図である。図示される例では、作業者の視野中の左上部に拡張現実表示内容3U3が表示されており、拡張現実表示内容3U3は「セット:OK」というノズルステーションユニット55の状態情報である。この拡張現実表示内容3U3は、例えば青色で表示できる。作業者が別の方向を向いてノズルユニット51およびノズルステーションユニット55の識別マーカー53、56が作業者の視野から外れると、拡張現実表示内容3U3は一旦消える。作業者が再びノズルステーションユニット55を見れば、拡張現実表示内容3U3は復帰する。このように、作業者は、拡張現実表示内容3U3によりノズルユニット51のセット作業の完了を明瞭に把握して、ノズルステーションユニット55を電子部品実装装置に搭載できる。
第4実施形態の基板生産支援システム1Cにおいて、認識対象および拡張現実表示の表示内容は第1〜第3実施形態と異なるが、第1および第2実施形態と同様の効果a)〜効果c)、ならびに第3実施形態と同様の効果f)および効果g)が生じる。
また、ノズルユニット51のセット作業の従来技術では、例えば、図23に示される専用モニタ装置91を使用する。図23は、第4実施形態で支援するノズルユニット51のセット作業を従来技術で行う場合に使用する専用モニタ装置91を模式的に示した図である。図示されるように、従来技術では、専用モニタ装置91にノズルセット情報を表示させる。すなわち、専用モニタ装置91の9個のID表示部92には、ノズルユニット51の識別IDを表示させる。さらに、9個の色表示部93には、各ノズルユニット51に付与された色マークを表示させる。色マークは、多数のノズルユニット51をグループ化して、グループごとに異なる色を割り当てたマークである。
作業者は、専用モニタ装置91に表示された識別IDおよび色マークと、現実のノズルユニット51に印字された識別IDおよび付与された色マークとを照合しながら、セット作業を進める。しかしながら、ノズルユニット51に印字された識別IDは小さくて読み取りにくい場合があり、また、ノズルユニット51の種類が増えると色マークだけでは識別できなくなる。従来技術では、現実のノズルユニット51と専用モニタ装置91のノズルセット情報とが作業者の視野中で対応付けられておらず、セット作業が正規に行われたか否かを把握しにくい。仮に、セット作業に誤りが有った場合には、ノズルステーションユニット55を電子部品実装装置に搭載して基板の生産を開始してから初めて誤りが判明する。この場合、電子部品実装装置から一旦ノズルステーションユニット55を取り外し、誤ったノズルユニット51を取り外して正しいノズルユニット51をセットする後戻り作業に手間がかかり、生産性が大きく低下していた。
これに対して、第4実施形態の基板生産支援システム1Cでは、機能ユニット(ノズルユニット51およびノズルステーションユニット55)の状態情報は、基板生産装置に搭載する以前に行う段取り作業(ノズルユニット51のセット作業)の実施内容を含む。
これによれば、次の効果j)が発生する。
効果j)作業者は、段取り作業の実施内容を迅速かつ正確に把握して効率的に行うことができ、段取り作業の実施内容を誤って後戻り作業を行うことがなくなる。したがって、従来よりも段取り時間を短縮できる。
次に、第5実施形態の基板生産支援システム1Dについて、図24、図25、および図27〜図29を参考にして説明する。第5実施形態において、第1〜第4実施形態と同様の構造および機能を有する部位には同じ符号を付して詳細な説明は省略する。第5実施形態では、基板生産ライン7で生産される基板8を認識対象としている。より詳細には、第5実施形態の基板生産支援システム1Dは、基板生産ライン7中の基板外観検査装置73で異常有りと判定された基板8を認識対象として、作業者の検査異常への対応を支援する。当該の基板8の検査異常情報は本発明の生産情報に相当している。
まず、基板生産ライン7の構成、および基板生産支援システム1Dの配置について説明する。図24は、基板生産ライン7の一構成例を模式的に説明する図である。基板生産ライン7は、図には省略された複数の上流側装置、2台の電子部品実装装置71、72、基板外観検査装置73、リフロー装置74が記載順に列設されて構成されている。これらの装置71〜74の間は、符号略の基板搬送装置で連結されており、基板8は、順番に搬送される。また、これらの装置71〜74の稼動を管理するために、データサーバ75が設けられている。データサーバ75は、各装置71〜74に係わる生産情報を管理するデータベース751、ならびに各装置71〜74との間で生産情報を伝送する通信部752を有している(図25参照)。
基板外観検査装置73は、撮像部、画像処理部、表示部731、検査結果保持部732、および通信部733などで構成されている。撮像部は、電子部品実装装置71、72で電子部品が実装された基板8の外観を撮像して基板画像81を取得する。画像処理部は、基板画像81に所定の画像処理を施して検査を行う。表示部731は、基板画像81や検査結果を作業者に向けて表示する。検査結果保持部732は、検査結果を保持して管理する(図25参照)。異常有りと判定された基板8の検査結果には検査異常情報が含まれており、検査異常情報は当該の基板8の異常発生箇所および異常種類の情報を含んでいる。通信部733は、検査結果などの情報を外部に伝送可能としている。
基板外観検査装置73の下流側のリフロー装置74との間に、リペアエリア76が設けられている。リペアエリア76は、基板搬送装置の一部にあってもよく、基板搬送装置から外れて設けられていてもよい。図24で、リペアエリア76に基板8が有り、かつ基板8の基板画像81が基板外観検査装置73の表示部731に表示されている。基板8が基板外観検査装置73で異常と判定された場合、作業者は、リペアエリア76で現実の基板8を見て、表示部731の基板画像81と照合しながら異常を確認する。また、作業者は、リペアエリア76で基板8を再検査したり、リペア(修復)したりする場合もある。
基板8の異常の確認や再検査アおよびリペアを行う場合の従来技術で、作業者は、リペアエリア76の基板8と、離れた位置にある基板外観検査装置73の基板画像81とを照合する必要があった。したがって、作業者は、検査異常情報を現実の基板8上の異常発生箇所と対応付けすることが繁雑であり、かつ難しかった。これにより確認作業やリペア作業に時間を要し、生産性が低下していた。そこで、第5実施形態では、リペアエリア76に拡張現実端末装置を配置して、検査異常情報を拡張現実表示させる。
図25は、第5実施形態の基板生産支援システム1Dの構成を示すシステム構成図である。図示されるように、第5実施形態の基板生産支援システム1Dは、基板外観検査装置73の一部と、拡張現実端末装置とにより構成されている。前述したように、基板外観検査装置73は、検査結果保持部732および通信部733を有している。検査結果保持部732は、検査結果および検査異常情報を管理し、本発明の生産情報管理装置に相当する。また、認識対象となる基板8には、識別マーカー82が付設されている。識別マーカー82は、基板8を個体認識するためのものである。
第5実施形形態では、拡張現実端末装置として、透過型ヘッドマウント装置3Dを使用する。透過型ヘッドマウント装置3Dは、カメラ31D、演算処理部32D、表示部33D、通信部35D、および切替指示部39Dなどで構成されている。なお、図25で、カメラ31Dおよび表示部33Dは、機能ブロックと現実の形状の両方で描かれている。また、透過型ヘッドマウント装置3Dは、必ずしも一体品である必要はない。すなわち、透過型ヘッドマウント装置3Dの各構成部材が分散配置されていても、機能的に結合されていればよい。
表示部33Dは、略矩形のシースルータイプ(透過型)のディスプレイであり、基板8の上方に配設される。作業者は、表示部33Dの上方から、表示部33Dを通して基板8を見ることができる。表示部33Dは、少なくとも一部に認識対象の生産情報を重ねて表示可能となっており、換言すれば、拡張現実表示機能を有している。表示部33Dは、本発明の拡張現実表示部に相当する。また、表示部33Dは、拡大レンズの機能を兼ね備えていてもよい。
カメラ31Dは、基板8の上方に配設される。カメラ31Dは、表示部33Dの下方に配置された基板8を撮像して視野画像を取得する。つまり、カメラ31Dは、作業者が表示部33Dを通して見る視野に入る基板8を撮像して視野画像を取得する。さらに、カメラ31Dは、取得した視野画像のデータを演算処理部32Dに送出する。この視野画像は、基板外観検査装置73の基板画像81とは異なるものである。カメラ31Dは、本発明の撮像部に相当する。
演算処理部32Dは、CPUおよびメモリを有してソフトウェアで作動する。演算処理部32Dは、カメラ31Dから受け取った視野画像のデータに画像処理を施して、基板8の識別マーカー82を認識する。つまり、演算処理部32Dは、本発明のマーカー認識部の機能を含んでいる。さらに、演算処理部32Dは、表示部33Dで拡張現実表示する検査異常情報の表示内容を制御する。
通信部35Dは、演算処理部32Dからの制御にしたがい、基板外観検査装置73の通信部733との間で双方向に情報を伝送する。したがって、透過型ヘッドマウント装置3Dの通信部35Dならびに基板外観検査装置73の通信部733は、本発明の情報伝送装置に相当する。さらに、通信部35Dは、データサーバ75の通信部752との間で双方向に情報を伝送する。3つの通信部35D、733、752の相互間の通信方式は限定されず、一般的な有線通信や無線通信、光通信などを適宜用いることができる。なお、基板外観検査装置73の検査結果および検査異常情報は、データサーバ75に伝送されていてもよい。
切替指示部39Dは、作業者が操作するものであり、表示部33Dの拡張現実表示の表示内容を切り替える部位である。
第5実施形態で使用する透過型ヘッドマウント装置3Dは、第3実施形態で使用するメガネ型拡張現実端末装置3Bに置き換えることができる。図26は、第6実施形態の基板生産支援システム1Eの構成を示すシステム構成図である。図示されるように、第6実施形態の基板生産支援システム1Eは、基板外観検査装置73の一部と、メガネ型拡張現実端末装置3Bとにより構成されている。第6実施形態でも、第5実施形態と同様に、作業者の検査異常への対応を支援することができる。ただし、メガネ型拡張現実端末装置3Bを使用するシステム構成では、基板外観検査装置73およびデータサーバ75の通信部は無線通信部735、755に限定される。
次に、第5および第6実施形態の基板生産支援システム1D、1Eの作動および作用は概ね同じなのでで、一括して説明する。図27は、第5および第6実施形態の基板生産支援システム1D、1Eの作動を説明するフローチャートである。基板外観検査装置73は、基板8の検査異常が発生すると、当該の基板8の検査異常情報を検査結果保持部732で保持して管理する。検査異常の発生は、基板外観検査装置73からデータサーバ75に伝送され、作業者に報知される。すると、作業者がリペアエリア76に移動して、透過型ヘッドマウント装置3Dを起動しあるいはメガネ型拡張現実端末装置3Bを装身し、図27に示される作動が始まる。
図27のステップS31で、カメラ31D、31により、基板8を撮像して視野画像を取得する。この視野画像の領域は、作業者が基板8を見る視野と概ね一致している。次にステップS32で、演算処理部32D、32により、視野画像中にある基板8の識別マーカー82を認識し、基板8を特定する。識別マーカー82を認識しなかった場合は、ステップS33以降の処理は行わない。
識別マーカー82を認識できた場合にはステップS33に進み、通信部35Dまたは無線通信部35により、当該の基板8の検査結果および検査異常情報を取得する。なお、通信部35Dまたは無線通信部35のアクセス先は、基板外観検査装置73またはデータサーバ75である。当該の基板8の検査結果が良好であるとき、ステップS34以降の処理は行わない。
当該の基板8の検査結果が異常有りのとき、ステップS34で、演算処理部32D、32により、基板8の位置認識処理を実行する。位置認識処理は、視野画像中で基板8が位置する領域範囲を特定する処理である。この処理を実行することにより、基板8に実装された全ての電子部品について視野画像中の位置を特定できるようになる。位置認識処理は、例えば、基板8に付設された識別マーカー82およびフィデューシャルマークの位置を基準点として実行することができ、他の基準点を用いてもよい。また、位置認識処理は、識別マーカー82の位置、向き、およびサイズに基づいて実行してもよい。
次のステップS35で、演算処理部32D、32により、検査異常情報の異常発生個所を視野画像中で特定する。つまり、異常発生箇所の情報は、基板外観検査装置73では基板上の座標値または部品番号で表されておりこの情報を視野画像中の現実の電子部品に対応付ける。最後にステップS36で、表示部33D、33により、検査異常情報を表示する。換言すれば、表示部33D、33を通して見る作業者の視野に重ねて検査異常情報を拡張現実表示する。
図28は、表示部33D、33を通して見る作業者の視野に基板8の検査異常情報を重ねて拡張現実表示した例を示した図である。図示されるように、作業者の視野には、基板8の全体が入っており、検査異常情報が二等辺三角形のシンボルで表示されている。ここで、二等辺三角形のシンボルの尖った頂点は、異常発生個所をピンポイントで示している。したがって、作業者は、極めて正確に異常発生個所を把握できる。
また、シンボルの色は異常の種類を表している。すなわち、図中の右側の凡例に示されるように、黒色のシンボルは電子部品の実装座標値のズレを示し、白色のシンボルは電子部品の未実装を示し、灰色のシンボルは異物の混入を示している。したがって、作業者は容易に異常の種類を把握できる。実際には、シンボルはカラー表示できるので、作業者は、さらに一層容易に異常の種類を把握できる。
なお、表示部33D、33に検査異常情報が拡張現実表示されない場合、作業者は、当該の基板8の検査結果が良好であったことを直ちに把握できる。また、拡張現実表示する表示内容は、上記した異常発生箇所と異常の種類に限定されない。例えば、異常と判定された電子部品の部品名称や、異常の発生率、リペアの可否やリペア方法などを拡張現実表示してもよい。
さらに、検査結果が良好な基板8Dであっても、参考情報を拡張現実表示することができる。図29は、表示部33D、33を通して見る作業者の視野に基板8Dの参考情報を重ねて拡張現実表示した例を示した図である。図示される例では、表示部33D、33の中央やや下寄りに、特定の電子部品の実装座標値の2軸方向の各誤差(X、Y)ならびに電子部品の向きが回転した角度誤差(θ)が拡張現実表示されている。参考情報として他に、全体的な実装座標値のズレや、はんだの印刷傾向などを拡張現実表示することも可能である。
また、拡張現実表示の表示内容が膨大で作業者の視野が繁雑になる場合には、透過型ヘッドマウント装置3Dの切替指示部39Dや、メガネ型拡張現実端末装置3Bの情報切替ボタン39またはマイク38により、拡張現実表示の表示内容を変更できるようにしてもよい。具体的には、表示内容を簡略化したり、表示内容を複数回に分割して表示させたり、シンボル表示を小形化したりできる。また、基板8と表示部33D、33との位置合わせが困難な場合や位置関係の安定化を図りたい場合には、例えば、基板8を所定位置に固定する治具を併用してもよい。
第5および第6実施形態の基板生産支援システム1D、1Eにおいて、認識対象および拡張現実表示の表示内容は第1〜第4実施形態と異なるが、各実施形態と同様の効果a)が生じる。
さらに、第5および第6実施形態の基板生産支援システム1D、1Eは、認識対象に基板8を含み、生産情報に基板8の検査異常情報を含む。
これによれば、次の効果k)が発生する。
効果k)作業者は、現実の基板8と検査異常情報とを対応付けて把握できるので、異常発生箇所の異常状況の確認作業やリペア作業を効率的に行え、従来よりも生産性を向上できる。
また、第5および第6実施形態の基板生産支援システム1D、1Eで、基板8の検査異常情報は、当該の基板の異常発生箇所および異常種類の情報を含み、拡張現実表示部(表示部33D、33)は、作業者の視野中の当該の基板の異常発生箇所の近傍位置に異常種類の情報を重ねて表示する(二等辺三角形のシンボルによるピンポイント表示)。
これによれば、次の効果l)が発生する。
効果l)作業者は、現実の基板8上で異常発生箇所を把握でき、かつ異常種類も把握できる。したがって、異常発生箇所の異常状況の確認作業やリペア作業をさらに一層効率的に行えて、従来よりもさらに一層顕著に生産性を向上できる。
次に、第7実施形態の基板生産支援システム1Fについて、第1〜第6実施形態と異なる点を主に説明する。第7実施形態において、拡張現実端末装置は、作業者の違いに応じて拡張現実表示部で表示する生産情報の表示内容をパーソナライズする。第7実施形態の基板生産支援システム1Fは、第1〜第6実施形態のいずれのシステム構成を採用してもよく、以下では第2実施形態のシステム構成を応用した例について説明する。図30は、第7実施形態の基板生産支援システム1Fの構成を示すシステム構成図である。図示されるように、第2実施形態(図6)と比較して、第7実施形態ではメガネ型拡張現実端末装置3Fに言語切替ボタン39Fが追加されている。
メガネ型拡張現実端末装置3Fの言語切替ボタン39Fは、作業者が操作するものであり、表示部33で表示する生産情報の表示内容の使用言語を切り替える。使用言語として日本語、英語、および中国語を例示でき、これらに限定されない。さらに、言語切替ボタン39Fで4言語以上を切り替えるようにしてもよい。演算処理部32Fは、言語切替ボタン39Fの操作に基づいて、表示部33の拡張現実表示の表示内容を制御する。さらに、言語切替ボタン39Fは、スピーカー34から出力される案内音声の使用言語も切り替えるようになっている。言語切替ボタン39Fは、本発明の表示切替え部に相当する。なお、言語切替ボタン39Fに代えて、後述の第8実施例に記載の作業者識別手段を設けてもよい。
メガネ型拡張現実端末装置3Fを装身した作業者が認識対象である基板生産装置2Aの方向を向くと、例えば図4のように見える。前掲した図4は、言語切替ボタン39Fにより使用言語が日本語に切り替えられたときに、作業者が視野中に見る拡張現実表示内容3Pを例示した図でもある。図示されるように、拡張現実表示内容3Pは、「予定生産枚数: 100」、「完了生産枚数: 50」、および「残り時間: 1:30」という基板生産装置2の3種類の稼動情報である。
ここで、作業者が言語切替ボタン39Fにより使用言語を例えば英語に切り替えると、図31のように見える。図31は、言語切替ボタン39Fにより使用言語が英語に切り替えられたときに、作業者が視野中に見る拡張現実表示内容3Vを示した図である。図示されるように、拡張現実表示内容3Vは英語に切り替えられて、「Scheduled Panels: 100」、「Completed Panels: 50」、および「Time Remaining: 1:30」となっている。
これにより、使用言語の異なる複数の作業者が同時に生産管理業務に携わっても、作業性が低下しない。なお、切り替える表示内容は使用言語に限定されない。例えば、文字表示とシンボル表示とを切り替えてもよく、あるいは、表示サイズを切り替えるようにしてもよい。
第7実施形態の基板生産支援システム1Fでは、第2実施形態と同様に効果a)〜効果e)が生じる。
さらに、第7実施形態の基板生産支援システム1Fで、メガネ型拡張現実端末装置3Fは、作業者の違いに応じて拡張現実表示部(表示部33)で表示する生産情報の表示内容(使用言語)をパーソナライズする。
これによれば、次の効果m)が発生する。
効果m)作業者の違いに応じて拡張現実表示部(表示部33)で表示される生産情報の表示内容(使用言語)がパーソナライズされて最適化される。したがって、作業者は、生産情報を迅速かつ正確に確認でき、従来よりも生産性を向上できる。
また、第7実施形態の基板生産支援システム1Fで、メガネ型拡張現実端末装置3Fは、拡張現実表示部(表示部33)の表示内容(使用言語)を切り替える表示切替え部(言語切替ボタン39F)をさらに有する。
これによれば、次の効果n)が発生する。
効果n)作業者は、自ら表示切替え部(言語切替ボタン39F)を操作してパーソナライズすることにより、生産情報を所望する表示内容(使用言語)に切り替えて最適化できる。
次に、第8実施形態の基板生産支援システム1Gについて、第1〜第7実施形態と異なる点を主に説明する。第8実施形態において、拡張現実端末装置は、作業者の権限レベルあるいは作業者が行う生産管理の業務内容に応じて表示内容を規制しあるいは切り替える。第8実施形態の基板生産支援システム1Gは、第1〜第7実施形態のいずれのシステム構成を採用してもよく、以下では第7実施形態のシステム構成を応用し、認識対象を電子部品実装装置2Gとした例について説明する。図32は、第8実施形態の基板生産支援システム1Gの構成を示すシステム構成図である。
第8実施形態で認識対象となる電子部品実装装置2Gは、制御部21、無線通信部22およびタッチパネル部25を有している。タッチパネル部25は、電子部品実装装置2Gの前面の適当な高さ位置に配設されている。タッチパネル部25は、識別マーカー23を画像表示する機能、ならびに作業者のタッチ操作を受け付ける機能を兼備している。この例のように、識別マーカー23は、付設されたシールなどの実体物に限定されず、画像であってもよい。制御部21は、タッチパネル部25での表示を制御し、かつタッチパネル部25への入力操作を認識する。
一方、メガネ型拡張現実端末装置3Gの演算処理部32Gは、電子部品実装装置2Gの制御部21と協働して、後述する作業者認証を行う。そして、演算処理部32Gは、作業者認証の結果に基づいて、拡張現実表示の表示内容を規制しあるいは切り替える。作業者認証の前提として、演算処理部32Gは、メガネ型拡張現実端末装置3Gを装身している作業者の権限レベルあるいは作業者が行う生産管理の業務内容を予め識別している必要がある。
ここで、不特定の作業者がメガネ型拡張現実端末装置3Gを使用する場合には、メガネ型拡張現実端末装置3Gに図略の作業者識別手段を設ける。作業者識別手段として、例えば、メガネ型拡張現実端末装置3Gの使用開始時に、作業者コードとパスワードを用いたログイン処理を行うようにすればよい。また、複数の作業者に対応して使用するメガネ型拡張現実端末装置3Gが予め固定的に決められている場合には、メガネ型拡張現実端末装置3Gの内部に図略の装置識別情報を設定する。これにより、装置識別情報と作業者との対応関係を予め登録しておけば、演算処理部32Gは作業者を識別できる。
図33は、第8実施形態において、電子部品実装装置2Gとメガネ型拡張現実端末装置3Gのとの間で行う作業者認証の手順を示すフローチャートである。また、図34は、第8実施形態において、作業者認証の進捗状況を説明する図である。図34の(A)は作業者が電子部品実装装置2Gの前側に立ってタッチパネル部25が視野に入った状況を示し、(B)は作業者の視野に重ねて操作ボタン3Wが拡張現実表示された状況を示し、(C)はタッチパネル部25に作業者認証マーカー26が表示された状況を示している。
作業者認証の手順の多くはメガネ型拡張現実端末装置3Gの演算処理部32Gが行い、手順の一部では作業者の操作および電子部品実装装置2Gの作動を必要とする。以降では、作業者の権限レベル、例えば管理者と一般作業者とを区別して認証する場合について例示説明する。まず、メガネ型拡張現実端末装置3Gを装身した作業者が電子部品実装装置2Gの前側に立つと、タッチパネル部25が視野に入り、図33の手順が開始される。
図33のステップS41で、メガネ型拡張現実端末装置3Gは、カメラ31により電子部品実装装置2Gのタッチパネル部25を撮像して視野画像を取得する。このとき、図34の(A)に示されるように、タッチパネル部25の中央上寄りに識別マーカー23の画像が表示されている。したがって、視野画像には識別マーカー23の画像が含まれる。次にステップS42で、メガネ型拡張現実端末装置3Gは、演算処理部32Gにより、視野画像中の識別マーカー23の位置を確認する。次にステップS43で、識別マーカー23をデコードして電子部品実装装置2Gを特定する。
次にステップS44で、メガネ型拡張現実端末装置3Gは、演算処理部32Gにより、当該の電子部品実装装置2Gに対する作業者の権限レベルを確認する。作業者が電子部品実装装置2Gにアクセスする権限を有している場合にステップS45に進み、そうでない場合に以降の手順は行われない。ステップS45で、メガネ型拡張現実端末装置3Gは、作業者の視野に重ねて操作ボタン3W(図中のOK)を拡張現実表示する。このとき、図34の(B)に示されるように、ステップS42で確認したタッチパネル部25の識別マーカー23の画像の位置の下側にあたかも実在するかのように操作ボタン3Wを表示する。操作ボタン3Wは、現実のタッチパネル部25には表示されない仮想的なものであり、メガネ型拡張現実端末装置3Gを装身した作業者だけに見えている。
次に、ステップS46で、作業者が操作ボタン3Wを操作し、現実にはタッチパネル部25の操作ボタン3Wに相当する位置をタッチ操作する。すると、ステップS47で、タッチ操作が行われている間だけ、電子部品実装装置2Gの制御部21はタッチパネル部25に作業者認証マーカー26の画像を表示する。なお、作業者認証マーカー26には、権限レベルの情報が含まれている。次に、ステップS48で、メガネ型拡張現実端末装置3Gは、カメラ31によりタッチパネル部25を撮像して視野画像を取得し、換言すれば作業者認証マーカー26を撮像する。さらに、ステップS49で、メガネ型拡張現実端末装置3Gは、演算処理部32Gにより、視野画像中の作業者認証マーカー26をデコードして作業者の正当性およびその権限レベルを認証する。最後に、ステップS50で、メガネ型拡張現実端末装置3Gは、無線通信部35により、作業者認証の結果を電子部品実装装置2Gに無線伝送する。
上記の作業者認証が正規に終了すると、以降は、作業者の権限レベルに応じて、メガネ型拡張現実端末装置3Gで電子部品実装装置2Gの稼動情報が拡張現実表示されるようになる。また、作業者の権限レベルに代え、作業者が行う生産管理の業務内容に応じて拡張現実表示する稼動情報の表示内容を切り替える場合も同様の手順でよい。この場合には、管理者、装置オペレータ、部材準備者、およびメンテナンス作業者などを区別して認証し、それぞれの業務内容に必要とされる稼動情報だけを拡張現実表示できる。
次に、作業者の権限レベルあるいは作業者が行う生産管理の業務内容に応じて、メガネ型拡張現実端末装置3Gでの拡張現実表示の表示内容を規制しあるいは切り替える具体例について説明する。第2実施形態で図8および図9に示した基板生産計画に関する稼動情報の拡張現実表示は、作業者の権限レベルや業務内容を考慮しない場合の例である。これに対し、作業者の権限レベルに応じて、拡張現実表示の表示内容を規制することができる。例えば、生産計画の日程を管理する管理者に対して図9の4種類の稼動情報の全てを表示させ、一般作業者に対して予定生産枚数と完了生産枚数の2種類のみを表示させることができる。
また、図11に例示した停止時間の稼動情報は、管理者に対して表示させ、一般作業者に対しては表示させないようにすることができる。さらに、停止時間の稼動情報は、作業者の業務内容に応じて、例えば、管理者および装置オペレータに対して表示させ、部材準備者およびメンテナンス作業者に対して表示させないようにすることができる。
さらに、電子部品実装装置2Gの部品切れや部品切れ予告の拡張現実表示についても、同様に、拡張現実表示の表示内容を切り替えることができる。図35は、メガネ型拡張現実端末装置3Gの透光部332、333を通して見る作業者の視野に、電子部品実装装置2Gの部品切れに関する稼動情報を拡張現実表示した例を示す図である。また、図36は、メガネ型拡張現実端末装置3Gの透光部332、333を通して見る作業者の視野に、電子部品実装装置2Gの部品切れ予告に関する稼動情報を拡張現実表示した例を示す図である。図35および図36に示される拡張現実表示は、作業者認証を行う第1手順に続いて、基板生産装置の稼動情報を拡張現実表示する第2手順を行うことで実現される。第2手順については、第2実施形態で基板生産計画に関する稼動情報を拡張現実表示する手順と同様であるので説明は省略する(図7および図10参照)。
図35および図36で、現実の電子部品実装装置2Gは省略され、拡張現実表示内容のみが示されている。図35の部品切れで表示される長方形状の拡張現実表示内容3X1は、ラインNo(基板生産ラインの番号)、モジュールNo(電子部品実装装置2Gの装置番号)、スロットNo(部品供給フィーダーの番号)、およびパートナンバー(電子部品の種類を特定する番号)である。また、図36の部品切れ予告で表示される長方形状の拡張現実表示内容3X2は、モジュールNo、スロットNo、パートナンバー、および部品切れ残り時間である。
上記した部品切れや部品切れ予告の拡張現実表示は、例えば、管理者に対して行わず、一般作業者に対して行うことができる。また、部品切れや部品切れ予告の拡張現実表示は、作業者の業務内容に応じて部材準備者のみに行い、装置オペレータおよびメンテナンス作業者に対して行わないようにできる。
さらに、作業者認証の結果により、電子部品実装装置2Gでの設定変更などの操作の可否を制御することも可能である。その例として、電子部品実装装置2Gの画像処理エラー発生率の拡張現実表示を切り替え、エラー発生率改善のための編集操作の可否を切り替える場合について説明する。電子部品実装装置2Gでは、電子部品を撮像し画像処理データを用いて部品認識を行いながら実装作業を進める。ここで、予め設定した画像処理データが不適切であると、画像処理エラー発生率が増加して生産性の低下や不必要な部品廃棄が発生する。このため、画像処理エラー発生率は、管理者が把握すべき重要な稼動情報となっている。図37は、メガネ型拡張現実端末装置3Gの透光部332、333を通して見る作業者の視野に、電子部品実装装置2Gの画像処理エラー発生率を拡張現実表示した例を示す図である。図37に示される拡張現実表示は、作業者認証を行う第1手順に続いて、基板生産装置の稼動情報を拡張現実表示する第2手順を行うことで実現される。
図37で、現実の電子部品実装装置2Gは省略され、拡張現実表示内容のみが示されている。図37に示される長方形状の拡張現実表示内容3Y1は、2台の電子部品実装装置(モジュール3、1)の形式と画像処理エラー発生率である。この拡張現実表示内容3Y1は、管理者に対してのみ行い、一般作業者に対して行わないようにできる。
また、高い画像処理エラー発生率を改善するために、画像処理データを編集する場合がある。ただし、むやみに画像処理データを編集してはいけないので、編集操作は管理者のみに規制されている。図38は、電子部品実装装置2Gの画像処理データの編集操作を管理者のみに規制する方法を説明する図である。
図38で、現実の電子部品実装装置2Gのタッチパネル部25に対して、拡張現実表示が行われている。詳述すると、タッチパネル部25には、電子部品実装装置2Gを特定する識別マーカー23の画像、ならびにメガネ型拡張現実端末装置3Gを装身した作業者を管理者のみに規制する作業者認証マーカー27の画像が表示されている。一方、メガネ型拡張現実端末装置3Gの長方形状の拡張現実表示内容3Y2は、電子部品実装装置(装置形式0603R)の画像処理エラー発生率、および編集ボタン3Zである。
メガネ型拡張現実端末装置3Gの演算処理部32Gは、装身している作業者を管理者と認証できたときだけ編集ボタン3Zを拡張現実表示する。編集ボタン3Zは、現実のタッチパネル部25には表示されない仮想的なものであり、メガネ型拡張現実端末装置3Gを装身した管理者だけに見えている。そして、管理者が編集ボタン3Zを操作し、現実にはタッチパネル部25の編集ボタン3Zに相当する位置をタッチ操作すると、始めて現実の電子部品実装装置2Gで画像処理データの編集が許可される。
ここで、仮にメガネ型拡張現実端末装置3Gを装身した一般作業者が管理者と同じようタッチパネル部25を見ても、編集ボタン3Zは表示されない。なぜなら、作業者認証で管理者と認証されていないからである。また、仮に、一般作業者が偶然にタッチパネル部25の編集ボタン3Zに相当する位置をタッチ操作しても、管理者と認証されていないので画像処理データの編集は許可されない。
なお、作業者認証によって特定の作業者のみに許可する電子部品実装装置2Gの操作として、上記した画像処理データの編集以外にも下記の各項目を適宜採用することができる。
(1)生産プログラムの切り替え
(2)生産プログラムの編集
(3)生産モードの変更
第8実施形態の基板生産支援システム1Gでは、第2実施形態と同様に効果a)〜効果e)が生じる。
さらに、第8実施形態の基板生産支援システム1Gで、メガネ型拡張現実端末装置3Gは、作業者の権限レベルあるいは作業者が行う生産管理の業務内容に応じて、拡張現実表示の表示内容を規制しあるいは切り替える作業者識別手段をさらに有することができる。
これによれば、次の効果o)が発生する。
効果o)作業者の権限レベルに応じて表示内容を規制できるので、セキュリティ機能が従来よりも向上する。また、作業者が行う生産管理の業務内容に応じて表示内容を切り替えることができるので、不要な生産情報が過多とならず、作業者は効率的に生産管理業務を実施でき、従来よりも生産性を向上できる。
また、第8実施形態の基板生産支援システム1Gで、メガネ型拡張現実端末装置3Gは、内部に設定された装置識別情報に基づいて前記表示内容を切り替える装置識別手段をさらに有することができる。
これによれば、次の効果p)が発生する。
効果p)メガネ型拡張現実端末装置3Gの装置個体別にパーソナライズすることができるので、表示内容の最適化やセキュリティ機能の向上が可能になる。
なお、各実施形態で、拡張現実表示装置は生産情報を作業者の視野に重ねて拡張現実表示しているが、これに限定されない。すなわち、拡張現実表示装置は、カメラで取得した視野画像に重ねて生産情報を拡張現実表示してもよい。換言すると、拡張現実表示装置として例えばカメラを備えたタブレット型コンピュータや、カメラを備えたハンドヘルド端末を使用することもできる。また、各実施形態で例示説明した以外の生産情報を拡張現実表示してもよい。本発明は、その他にも様々な変形や応用が可能である。