JP2014235704A - 基板生産支援システム - Google Patents

基板生産支援システム Download PDF

Info

Publication number
JP2014235704A
JP2014235704A JP2013118927A JP2013118927A JP2014235704A JP 2014235704 A JP2014235704 A JP 2014235704A JP 2013118927 A JP2013118927 A JP 2013118927A JP 2013118927 A JP2013118927 A JP 2013118927A JP 2014235704 A JP2014235704 A JP 2014235704A
Authority
JP
Japan
Prior art keywords
augmented reality
production
information
unit
substrate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013118927A
Other languages
English (en)
Other versions
JP6211808B2 (ja
Inventor
一也 小谷
Kazuya Kotani
一也 小谷
幹雄 中島
Mikio Nakajima
幹雄 中島
芳行 深谷
Yoshiyuki Fukaya
芳行 深谷
杉山 健二
Kenji Sugiyama
健二 杉山
雅史 天野
Masafumi Amano
雅史 天野
郁夫 鈴木
Ikuo Suzuki
郁夫 鈴木
博史 大池
Hiroshi Oike
博史 大池
健 森上
Takeshi Morikami
健 森上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Corp
Original Assignee
Fuji Machine Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Machine Manufacturing Co Ltd filed Critical Fuji Machine Manufacturing Co Ltd
Priority to JP2013118927A priority Critical patent/JP6211808B2/ja
Publication of JP2014235704A publication Critical patent/JP2014235704A/ja
Application granted granted Critical
Publication of JP6211808B2 publication Critical patent/JP6211808B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】拡張現実の技術を基板生産の分野に適用することで、現実の認識対象と生産情報との対応関係を作業者が迅速かつ誤りなく把握できるように支援して、従来よりも生産性を向上した基板生産支援システムを提供する。
【解決手段】基板、基板生産装置2A、および機能ユニットの少なくとも一部を認識対象2Aとし、作業者に認識対象の生産情報を提供する基板生産支援システム1Aであって、認識対象の生産情報を管理する生産情報管理装置(管理サーバ4)と、作業者の視野に入る認識対象を撮像して視野画像を取得する撮像部31、視野画像中にあって認識対象に設けられた固有の識別マーカー23を認識するマーカー認識部(演算処理部32)、および、識別マーカー23によって特定された認識対象の生産情報を視野画像または作業者の視野に重ねて表示する拡張現実表示部33を有する拡張現実端末装置(メガネ型拡張現実端末装置3)と、を備えた。
【選択図】図6

Description

本発明は、基板生産装置を用いて電子部品が実装された基板を生産するときに、生産管理を行う作業者を支援する基板生産支援システムに関する。
多数の電子部品が実装された基板を生産する装置として、はんだ印刷装置、電子部品実装装置、リフロー装置、基板検査装置などがあり、これらを基板搬送装置で連結して基板生産ラインを構築する場合が多い。基板生産装置や基板生産ラインの各種生産情報はコンピュータで管理されるのが一般的であるが、現状では完全な無人化は達成されておらず、生産管理を行う作業者が必要とされている。作業者は、生産情報をコンピュータに入力設定して生産管理を行わせるとともに、生産の進捗に伴って変化する生産情報を確認しつつ生産管理業務を実施する。このような観点で見ると、基板生産装置や基板生産ラインを管理するコンピュータおよびその周辺装置は、生産管理を行う作業者を支援する基板生産支援システムを構成していると言える。
上記した生産情報には、さまざまな種類の情報が含まれる。例えば、生産する基板の種類と予定生産枚数、予定生産時間などの生産計画情報や、基板の回路パターンの形状、実装する電子部品の種類や大きさなどの設計情報は生産情報に含まれる。また、生産した基板の枚数すなわち完了生産枚数や、予定した生産枚数の基板を生産し終える予定時刻すなわち完了予定時刻、生産を中断している停止時間などは基板生産装置の稼動情報であり、これらも生産情報に含まれる。さらに、基板生産装置に交換可能に搭載される機能ユニットは、ユニットを特定するID情報や、稼動およびメンテナンスの履歴を含んだ状態情報を生産情報としてもつのが一般的である。作業者は、多くの場合に機能ユニットの生産情報を確認してから交換作業を行う。
例えば、電子部品実装装置では、電子部品を吸着して基板上に実装するノズルユニットが交換可能に搭載される。作業者は、生産情報により当該のノズルユニットが適正なものでかつ使用可能な状態にあることを確認する必要がある。また例えば、電子部品実装装置では、電子部品を順次供給する部品供給ユニットが交換可能に搭載される。作業者は、部品切れが近づいた部品供給ユニットを予め把握してタイムリーにユニット交換するために、各部品供給ユニットの生産情報を把握することが必要になる。さらには、基板検査装置で基板の検査を行った結果としての検査異常情報も生産情報に含まれる。作業者は、検査異常情報に基づいて基板上の異常発生箇所の異常状況を確認することで、判定結果を訂正したり、リペア作業を行ったり、廃棄処理を行ったりする。
このような生産情報をコンピュータと作業者との間でやりとりするために、従来から表示部および入力部をもつモニタ装置が基板生産装置に付設されていた。また、基板生産ラインの複数の基板生産装置を管理する管理サーバでは、生産情報の設定、変更、および確認を行うために入出力装置が用いられる。さらに、基板生産装置に異常が発生しているときなどに、その旨を作業者に警報ランプや警報ブザーや無線情報端末で報知するアラーム装置が併用される場合も多い。モニタ装置や入出力装置、アラーム装置などは、生産情報を提供することで作業者の生産管理を支援している。
近年、コンピュータから人に情報を提供するシステムに拡張現実の技術を応用することが提案されている。拡張現実とは、人が知覚する現実環境の中にコンピュータを用いて情報を付加することにより、環境を拡張して知覚できるようにする技術である。拡張現実の技術は、IT関連企業や大学などで開発されており、実用化が進んでいる。例えば、非特許文献1には、拡張現実表示装置としてシースルーARヘッドマウントディスプレイSTAR1200XL−D(商品名)やビデオシースルーARヘッドマウントディスプレイWrap1200AR(商品名)が紹介されている。これらの装置は、メガネ型で人が装身して使用するようになっている。拡張現実の技術は、幅広い分野への適用および応用が期待されており、基板生産支援システムへの適用も可能と考えられる。この種の拡張現実の技術を保守業務の支援に応用したシステムの一例が特許文献1に開示されている。
特許文献1の拡張現実感による情報提示システムは、保守対象機器に発光型RFIDタグを装着し、発光要求信号の受信と識別情報の一致とを条件としてタグを発光させ、撮像画像から保守対象機器の位置と方向を検出している。さらに、保守対象機器に関連する表示情報をコンピュータグラフィックスに変換して、拡張現実感もつ表示を行っている。これにより、作業者の位置や姿勢の変化によって刻々と変化する撮像画像から保守対象機器の位置と方向を高速に特定でき、物と情報の関係を可視化する拡張現実感を実現できる、とされている。
特開2007−18188号公報
Vuzix Corporation(ビュージックス コーポレーション)のインターネットのホームページ、ページアドレス:www.vuzix.jp
ところで、特許文献1の情報提示システムは、保守業務の支援を対象としたものであり、基板生産に携わる作業者の生産管理を支援するためのシステムにはなっていない。つまり、拡張現実を基板生産の分野に適用する技術は、未だ確立されていないし、具体的な提案もなされていない。したがって、拡張現実の技術を基板生産の分野に特化して適用する場合に、好ましいシステム構成、扱う生産情報の種類や形態、適切な表示方法や表示内容、作業者の操作方法などを検討して技術確立する必要があり、以下に示す問題点を解決できることが好ましい。
第1の問題点として、従来技術で基板生産装置の稼動情報の確認は、各基板生産装置のモニタ装置または管理サーバの入出力装置で行う必要があった。この場合、それらの設置場所まで作業者が移動する時間が必要となり、また、必要な生産情報を表示するためにキーボードなどの入力部を多数回操作する煩わしさがあって、生産性が低かった。
第2の問題点として、基板生産装置に交換可能に搭載される機能ユニットの個体識別に手間がかかり、あるいは個体識別を誤るおそれがあった。詳述すると、基板生産装置に搭載される機能ユニットは、交換可能なものが多く、基板生産装置から取り外されて保管される。機能ユニットは、取り外すときに個体識別が行われ、使用実績情報がデータベースにアップデートされるようになっている。また、使用実績情報に基づいて作業者が機能ユニットに修理や手入れなどのメンテナンスを実施したときには、メンテナンス情報もアップデートされるようになっている。使用実績情報およびメンテナンス情報は、次の生産時の機能ユニットの使用の可否、使用の優先順位などの判断に利用される。ところが、このように生産情報がアップデートされていても、各機能ユニットの状態は外観からだけでは簡単に判断できない。また、種類の多いノズルユニットでは、色ラベルや印字を付与して個体識別しているが、外観だけで個体識別することが難しい場合もある。
したがって、基板生産装置に搭載する機能ユニットを決める際に、多数の機能ユニットを暫定的に搭載して順次確認を行うか、専用読み取り装置を用いて各機能ユニットに設けられた識別マーカーを読み取る必要があった。そのため、例えば、生産する基板の種類を切り替えたときのノズルユニットの交換作業や、部品切れが生じたときの部品供給ユニットの交換作業に多くの時間が必要となり、生産性が低下していた。
また、複数のノズルを交換可能に保持するノズルステーションユニットを電子部品実装装置に搭載する場合に、1個でもノズルの選択ミスがあると、基板の生産を開始してから初めて選択ミスが判明する。この場合、電子部品実装装置から一旦ノズルステーションユニットを取り外し、誤ったノズルを取り外して正しいノズルを保持させる後戻り作業に手間がかかり、生産性が大きく低下していた。
第3の問題点として、基板検査装置で検査異常情報が発生したときに、作業者が必ずしも効率的に対応できない場合があった。例えば、検査異常情報はモニタ装置などに表示されるが、実際の基板上の異常発生箇所と対応付けするのが難しかった。また、モニタ装置に異常状況の画像データを表示することはできるが、上方のカメラから撮像した画像に限定されるため、部品の高さ方向の細部などの確認は実際の基板で行う必要があった。このような理由で、作業者は異常状況の確認作業やリペア作業に時間を要し、生産性が低下していた。
第4の問題点として、従来のモニタ装置では、作業者の違いに対応した適切な生産情報の提供方法が実現されていなかった。例えば、メーカーの海外進出や外国人労働者の国内への流入により、使用言語の異なる複数の作業者が共通のモニタ装置を使用する機会が増加している。この場合、表示内容や音声案内の使用言語が障壁となって、生産管理を効率的に実施することが難しくなっていた。また、生産情報のセキュリティが万全ではないため、閲覧権限を持たない作業者が機密情報を閲覧することや、管理者のみに許可された操作を一般作業者が行うことが比較的容易であった。さらには、複数の作業者で生産管理の業務内容を分担して担当している場合に、担当業務に関係しない余分な生産情報まで提供されて情報過多となり、業務効率が低下する場合も生じ得る。このような観点から考えると、作業者の違いに対応して生産情報の提供方法を最適にパーソナライズすることが好ましい。
本発明は、上記背景技術の問題点に鑑みてなされたものであり、拡張現実の技術を基板生産の分野に適用することで、現実の基板や基板生産装置や機能ユニットなどの認識対象とこれに係わる生産情報との対応関係を作業者が迅速かつ誤りなく把握できるように支援して、従来よりも生産性を向上した基板生産支援システムを提供することを解決すべき課題とする。
上記課題を解決する請求項1に係る基板生産支援システムの発明は、電子部品が実装される基板、前記基板を生産する基板生産装置、および前記基板生産装置に交換可能に搭載される機能ユニットの少なくとも一部を認識対象とし、前記基板の生産管理を行う作業者に前記認識対象の生産情報を提供する基板生産支援システムであって、各前記認識対象の前記生産情報を管理する生産情報管理装置と、前記作業者の視野に入る認識対象を撮像して視野画像を取得する撮像部、前記視野画像中にある識別マーカーであって前記認識対象に設けられた固有の識別マーカーを認識するマーカー認識部、および、前記視野画像中にある識別マーカーによって特定された認識対象の生産情報を前記視野画像または前記作業者の視野に重ねて表示する拡張現実表示部を有する拡張現実端末装置と、を備えた。
これによれば、拡張現実端末装置は、識別マーカーによって特定された認識対象の生産情報を拡張現実表示部で表示する。このため、作業者は、現実の認識対象とこれに係わる生産情報とを同じ視野中に視認して対応関係を迅速かつ誤りなく把握できるようになる。したがって、認識対象とは別にモニタ装置や入出力装置で生産情報を確認する従来技術と比較して、本発明では生産性が向上する。
請求項2に係る発明は、請求項1において、前記拡張現実端末装置の前記マーカー認識部で認識した識別マーカーの情報を前記生産情報管理装置に伝送し、伝送された識別マーカーによって特定された認識対象の生産情報を前記生産情報管理装置から前記拡張現実端末装置に伝送する情報伝送装置をさらに備えた。
これによれば、拡張現実端末装置は、生産情報管理装置で一元的に管理している生産情報を受け取り、拡張現実表示部で自動的に表示する。したがって従来技術と異なり、作業者は、生産情報管理装置までの移動や入力操作を行う必要がなくなって迅速に生産情報を把握でき、従来よりも生産性を向上できる。
請求項3に係る発明は、請求項1または2において、前記マーカー認識部は、前記視野画像中にある複数の識別マーカーを認識でき、前記拡張現実表示部は、前記マーカー認識部が前記複数の識別マーカーを認識した場合に、前記複数の識別マーカーによって特定された複数の認識対象の生産情報を前記視野画像中または前記作業者の視野中の識別マーカーの近傍位置に一対一に対応付けて表示する。
これによれば、作業者の視野中に複数の認識対象が有る場合に、拡張現実表示部は、複数の認識対象の生産情報を一対一に対応付けて表示する。したがって、作業者は、視野中の複数の認識対象を取り違えることなく明瞭に生産情報を把握できる。
請求項4に係る発明は、請求項2または3において、前記拡張現実端末装置は、前記作業者の目と対向する位置に透光部をもち、前記透光部を通して見る作業者の視野の少なくとも一部に前記認識対象の生産情報を重ねて表示可能な透過型拡張現実表示部と、前記透過型拡張現実表示部に一体的に設けられ、前記作業者が前記透光部を通して見る視野に入る認識対象を撮像して前記視野画像を取得するカメラ型撮像部と、を有して前記作業者が装身可能なメガネ型拡張現実端末装置であり、前記情報伝送装置は、前記メガネ型拡張現実端末装置と前記生産情報管理装置との間で無線通信を用いて双方向に情報を伝送する双方向無線情報伝送装置である。
これによれば、作業者はメガネ型拡張現実端末装置を装身して透過型拡張現実表示部を視認すると認識対象の生産情報を確認でき、かつ認識対象の生産情報は無線通信を用いて伝送される。したがって、作業者は、別の作業を行って手が塞がっている状態でも移動や入力操作などが不要で作業性を低下させずに生産情報を確認でき、従来よりもさらに一層顕著に生産性を向上できる。
請求項5に係る発明は、請求項1〜4のいずれか一項において、前記認識対象に前記基板生産装置を含み、前記生産情報に前記基板生産装置の稼動情報を含む。
これによれば、作業者は、基板生産装置の稼動情報を確認するために、当該の基板生産装置まで移動する必要がなくなり、従来よりも生産性を向上できる。
請求項6に係る発明は、請求項1〜5のいずれか一項において、前記認識対象に前記機能ユニットを含み、前記生産情報に前記機能ユニットの状態情報を含む。
これによれば、拡張現実端末装置は、識別マーカーによって機能ユニットを個体識別し、拡張現実表示部で当該の機能ユニットの状態情報を自動的に表示する。したがって、作業者は、外見だけでは確認することが困難な機能ユニットの個体識別を行う必要がなくなり、個体識別を誤ることなく迅速に状態情報を確認でき、従来よりも生産性を向上できる。
請求項7に係る発明は、請求項6において、前記機能ユニットの状態情報は、使用の可否、使用の優先順位、およびメンテナンスの必要性のいずれかを含む。
これによれば、作業者は、基板生産装置に搭載する機能ユニットを迅速かつ適正に選択でき、加えて、機能ユニットのメンテナンス業務を効率的に行える。
請求項8に係る発明は、請求項6または7において、前記機能ユニットの状態情報は、前記基板生産装置に搭載する以前に行う段取り作業の実施内容を含む。
これによれば、作業者は、段取り作業の実施内容を迅速かつ正確に把握して効率的に行うことができ、段取り作業の実施内容を誤って後戻り作業を行うことがなくなる。したがって、従来よりも段取り時間を短縮できる。
請求項9に係る発明は、請求項1〜8のいずれか一項において、前記認識対象に前記基板を含み、前記生産情報に前記基板の検査異常情報を含む。
これによれば、作業者は、現実の基板と検査異常情報とを対応付けて把握できるので、異常発生箇所の異常状況の確認作業やリペア作業を効率的に行え、従来よりも生産性を向上できる。
請求項10に係る発明は、請求項9において、前記基板の検査異常情報は、当該の基板の異常発生箇所および異常種類の情報を含み、前記拡張現実表示部は、前記視野画像中または前記作業者の視野中の前記当該の基板の前記異常発生箇所の近傍位置に前記異常種類の情報を重ねて表示する。
これによれば、作業者は、現実の基板上で異常発生箇所を把握でき、かつ異常種類も把握できる。したがって、異常発生箇所の異常状況の確認作業やリペア作業をさらに一層効率的に行えて、従来よりもさらに一層顕著に生産性を向上できる。
請求項11に係る発明は、請求項1〜10のいずれか一項において、前記拡張現実端末装置は、前記作業者の違いに応じて前記拡張現実表示部で表示する生産情報の表示内容をパーソナライズする。
これによれば、作業者の違いに応じて拡張現実表示部で表示される生産情報の表示内容がパーソナライズされて最適化される。したがって、作業者は、生産情報を迅速かつ正確に確認でき、従来よりも生産性を向上できる。
請求項12に係る発明は、請求項11において、前記拡張現実端末装置は、前記拡張現実表示部の前記表示内容を切り替える表示切替え部をさらに有する。
これによれば、作業者は、自ら表示切替え部を操作してパーソナライズすることにより、生産情報を所望する表示内容に切り替えて最適化できる。
請求項13に係る発明は、請求項11または12において、前記拡張現実端末装置は、前記作業者の権限レベルあるいは前記作業者が行う生産管理の業務内容に応じて前記表示内容を規制しあるいは切り替える作業者識別手段をさらに有する。
これによれば、作業者の権限レベルに応じて表示内容を規制できるので、セキュリティ機能が従来よりも向上する。また、作業者が行う生産管理の業務内容に応じて表示内容を切り替えることができるので、不要な生産情報が過多とならず、作業者は効率的に生産管理業務を実施でき、従来よりも生産性を向上できる。
請求項14に係る発明は、請求項11〜13のいずれか一項において、前記拡張現実端末装置は、内部に設定された装置識別情報に基づいて前記表示内容を切り替える装置識別手段をさらに有する。
これによれば、拡張現実端末装置の装置個体別にパーソナライズすることができるので、表示内容の最適化やセキュリティ機能の向上が可能になる。
請求項15に係る発明は、請求項1〜14のいずれか一項において、前記拡張現実端末装置は、前記生産情報を音声で出力する音声出力部、および、前記拡張現実表示部で表示する生産情報の表示内容を音声で切り替える音声入力部の少なくとも一方をさらに有する。
これによれば、拡張現実表示部での表示に加えて音声出力を併用した拡張現実により作業者に生産情報を提供でき、あるいは、音声入力によって生産情報の表示内容を切り替えることができる。したがって、拡張現実端末装置の利便性が高まり、従来よりもさらに一層生産性を向上できる。
第1実施形態の基板生産支援システムの構成を示すシステム構成図である。 メガネ型拡張現実端末装置の構造を模式的に説明する図である。 第1実施形態の基板生産支援システムの作動を説明するフローチャートである。 メガネ型拡張現実端末装置の透光部を通して見る作業者の視野に基板生産装置の稼動情報を重ねて拡張現実表示した例を示した図である。 図4と同じ作業者の視野であって拡張現実表示内容が異なる例を示した図である。 第2実施形態の基板生産支援システムの構成を示すシステム構成図である。 第2実施形態の基板生産支援システムで、基板生産装置の基板生産計画に関する稼動情報を拡張現実表示する場合の作動を説明する図である。 メガネ型拡張現実端末装置の透光部を通して見る作業者の視野に、基板生産装置の基板生産計画に関する稼動情報を拡張現実表示した例を示す図であり、超過予測時間が無い場合を例示している。 、メガネ型拡張現実端末装置の透光部を通して見る作業者の視野に、基板生産装置の基板生産計画に関する稼動情報を拡張現実表示した例を示す図であり、超過予測時間が有る場合を例示している。 第2実施形態の基板生産支援システムで基板生産装置の停止時間の稼動情報を拡張現実表示する場合の作動を説明する図である。 メガネ型拡張現実端末装置の透光部を通して見る作業者の視野に停止時間を拡張現実表示した例を示す図である。 第3実施形態の基板生産支援システムの認識対象となるノズルユニットを説明する図である。 第3実施形態の基板生産支援システムの認識対象となる部品供給ユニットを説明する図である。 第3実施形態の基板生産支援システムの構成を示すシステム構成図である。 第3実施形態で使用するメガネ型拡張現実端末装置の構造を模式的に説明する図である。 第3実施形態の基板生産支援システムの作動を説明するフローチャートである。 第3実施形態でメガネ型拡張現実端末装置の透光部を通して見る作業者の視野に、ノズルユニットの使用の可否の判定結果を拡張現実表示した例を示す図である。 第3実施形態でメガネ型拡張現実端末装置の透光部を通して見る作業者の視野に、ノズルユニットの使用の可否の判定結果を拡張現実表示した例を示す図であり、図17とは別の作業者によって判定が行われている。 第4実施形態の基板生産支援システムの構成、ならびに認識対象となるノズルステーションユニットを示す図である。 第4実施形態の基板生産支援システムの作動を説明するフローチャートである。 メガネ型拡張現実端末装置の透光部を通して見る作業者の視野に、ノズルユニットの修正指示を重ねて拡張現実表示した例を示した図である。 メガネ型拡張現実端末装置の透光部を通して見る作業者の視野に、ノズルユニットのセット作業が完了した旨を重ねて拡張現実表示した例を示した図である。 第4実施形態で支援するノズルユニットのセット作業を従来技術で行う場合に使用する専用モニタ装置を模式的に示した図である。 基板生産ラインの一構成例を模式的に説明する図である。 第5実施形態の基板生産支援システムの構成を示すシステム構成図である。 第6実施形態の基板生産支援システムの構成を示すシステム構成図である。 第5および第6実施形態の基板生産支援システムの作動を説明するフローチャートである。 表示部を通して見る作業者の視野に基板の検査異常情報を重ねて拡張現実表示した例を示した図である。 表示部を通して見る作業者の視野に基板の参考情報を重ねて拡張現実表示した例を示した図である。 第7実施形態の基板生産支援システムの構成を示すシステム構成図である。 言語切替ボタンにより使用言語が英語に切り替えられたときに、作業者が視野中に見る拡張現実表示内容を示した図である。 第8実施形態の基板生産支援システムの構成を示すシステム構成図である。 第8実施形態において、電子部品実装装置とメガネ型拡張現実端末装置のとの間で行う作業者認証の手順を示すフローチャートである。 第8実施形態において、作業者認証の進捗状況を説明する図である。(A)は作業者が電子部品実装装置の前側に立ってタッチパネル部が視野に入った状況を示し、(B)は作業者の視野に重ねて操作ボタンが拡張現実表示された状況を示し、(C)はタッチパネル部に作業者認証マーカーが表示された状況を示している。 メガネ型拡張現実端末装置の透光部を通して見る作業者の視野に、電子部品実装装置の部品切れに関する稼動情報を拡張現実表示した例を示す図である。 メガネ型拡張現実端末装置の透光部を通して見る作業者の視野に、電子部品実装装置の部品切れ予告に関する稼動情報を拡張現実表示した例を示す図である。 メガネ型拡張現実端末装置の透光部を通して見る作業者の視野に、電子部品実装装置の画像処理エラー発生率を拡張現実表示した例を示す図である。 電子部品実装装置の画像処理データの編集操作を管理者のみに規制する方法を説明する図である。
本発明の第1実施形態の基板生産支援システムについて、図1〜図5を参考にして説明する。図1は、第1実施形態の基板生産支援システム1の構成を示すシステム構成図である。図示されるように、基板生産支援システム1は、基板生産装置2の一部と、拡張現実端末装置とにより構成されている。第1実施形形態では、拡張現実端末装置の一例としてメガネ型拡張現実端末装置3を使用する。図2は、メガネ型拡張現実端末装置3の構造を模式的に説明する図である。
基板生産装置2は、はんだ印刷装置、電子部品実装装置、リフロー装置、および基板検査装置などのいずれかであってもよいし、これらを連結した基板生産ラインの全体であってもよい。基板生産装置2は、基板生産支援システム1が認識する本発明の認識対象に相当する。基板生産装置2は、制御部21および無線通信部22を有している。制御部21は、基板生産装置2自身が行う基板生産作業を制御する部位であり、かつ基板生産作業に係わる生産情報を管理する部位である。したがって、制御部21は、認識対象の生産情報を管理する本発明の生産情報管理装置に相当する。無線通信部22は、制御部21が管理している生産情報を無線通信で外部に伝送可能とする部位である。
基板生産装置2には、識別マーカー23が付設されている。一般的に基板の生産工場には複数台の基板生産装置が並設されており、識別マーカー23は、基板生産装置2を特定するための固有のマーカーである。識別マーカー23には、一次元バーコード、二次元バーコード、および文字記号などを用いることができる。本第1実施形態および以降の各実施形態において、識別マーカー23には二次元バーコードの一種であるARマーカー(Augmented Reality マーカー)を用いる。識別マーカー23の付設位置は、作業者から見えやすい位置、例えば、基板生産装置2の側面や前面とする。これにより、作業者が特別に付設位置を意識しなくとも、識別マーカー23は自然に作業者の視野に入り込む。なお、識別マーカー23は、付設されたシールなどの実体物に限定されず、基板生産装置2に設けられたモニタ装置の画面上にソフトウェアで表示される画像であってもよい。
メガネ型拡張現実端末装置3は、図2に示されるように、カメラ31、演算処理部32、表示部33、スピーカー34、無線通信部35、左フレーム36、および右フレーム37で構成されている。
表示部33は、横長の略8字形状の前フレーム331の左右に並んだ窓にそれぞれ透光部332、333をもっている。透光部332、333は作業者の両方の目と対向する位置に配置されるので、作業者は透光部332、333を通して基板生産装置2や他の物体などの現実環境を見ることになる。透光部332、333は、作業者の視野の少なくとも一部に認識対象の生産情報を重ねて表示可能となっており、換言すれば、拡張現実表示機能を有している。拡張現実表示機能を実現する光学的な技術としてホログラム技術を例示でき、これに限定されない。拡張現実表示機能を実現するための電子回路などは、前フレーム331に組み込まれている。表示部33は、本発明の透過型拡張現実表示部に相当する。
前フレーム331の左右両端から後方に向けて、左フレーム36および右フレーム37が延設されている。左フレーム36および右フレーム37は、図2では角棒状に描かれているが、実際には適当に曲げられており、かつ面取りの丸みが設けられている。左フレーム36および右フレーム37の後部を耳に掛けることで、作業者はメガネ型拡張現実端末装置3を装身できる。
カメラ31は、本発明のカメラ型撮像部に相当しており、左フレーム36の前側位置に前向きに配設されている。カメラ31は、透光部332、333を通して見る作業者の視野に入る基板生産装置2を撮像して視野画像を取得する。さらに、カメラ31は、取得した視野画像のデータを演算処理部32に送出する。
演算処理部32は、左フレーム36の外側の側面の前寄り位置に配設されている。演算処理部32は、CPUおよびメモリを有してソフトウェアで作動する。演算処理部32は、カメラ31から受け取った視野画像のデータに画像処理を施して、基板生産装置2の識別マーカー23を認識する。つまり、演算処理部32は、本発明のマーカー認識部の機能を含んでいる。さらに、演算処理部32は、表示部33の透光部332、333を用いた拡張現実表示の表示内容を制御する。
スピーカー34は、生産情報を音声で出力する本発明の音声出力部に相当しており、右フレーム37の内側の側面の前寄りに配設されている。スピーカー34は、演算処理部32からの制御にしたがい、警告音や案内音声などを作業者の右耳に向かって出力できるようになっている。スピーカー34は、音量を調整できるボリューム調整ねじを付属していてもよい。
無線通信部35は、演算処理部32と一体的に設けられている。無線通信部35は、演算処理部32からの制御にしたがい、基板生産装置2の無線通信部22との間で無線通信を用いて双方向に情報を伝送する。したがって、メガネ型拡張現実端末装置3の無線通信部35ならびに基板生産装置2の無線通信部22は、本発明の情報伝送装置に相当し、かつ双方向無線情報伝送装置に相当する。
上記したメガネ型拡張現実端末装置3には、市販の汎用製品を応用することができる。汎用製品として、非特許文献1に紹介されているメガネ型の拡張現実表示装置を例示でき、これに限定されない。また、メガネ型拡張現実端末装置3に、専用のカスタム製品を使用するようにしてもよい。
次に、第1実施形態の基板生産支援システム1の作動および作用について説明する。図3は、第1実施形態の基板生産支援システム1の作動を説明するフローチャートである。まず、メガネ型拡張現実端末装置3を装身した作業者が基板生産装置2の方向を向くと、図3に示される作動が始まる。図3のステップS1で、メガネ型拡張現実端末装置3は、カメラ31で作業者の視野を撮像して視野画像を取得する。ステップS1は、例えば、演算処理部32からの制御により一定時間間隔で行うようにする。次にステップS2で、メガネ型拡張現実端末装置3は、演算処理部32で視野画像のデータを受け取って画像処理を施し、視野画像中にある基板生産装置2の識別マーカー23を認識する。識別マーカー23を認識しなかった場合は、ステップS3以降の処理は行わない。
識別マーカー23を認識できた場合にはステップS3に進み、メガネ型拡張現実端末装置3は、演算処理部32で識別マーカー23をデコードして基板生産装置2の識別IDを読み取る。そして、ステップS4で、デコード結果の識別IDから認識対象である基板生産装置2を特定する。これにより、メガネ型拡張現実端末装置3の無線通信部35と基板生産装置2の無線通信部22との間で双方向無線通信が可能になり、メガネ型拡張現実端末装置3は基板生産装置2から生産情報を取得する。次にステップS5で、メガネ型拡張現実端末装置3は、取得した生産情報を表示部33の透光部332、333に表示する。換言すれば、メガネ型拡張現実端末装置3は、透光部332、333を通して見る作業者の視野に重ねて生産情報を拡張現実表示する。生産情報は、基板生産装置2の稼動情報を含んでおり、図4及び図5を用いて例示説明する。
図4は、メガネ型拡張現実端末装置3の透光部332、333を通して見る作業者の視野に基板生産装置2の稼動情報を重ねて拡張現実表示した例を示した図である。図示されるように、作業者の視野には、基板生産装置2の一例である電子部品実装装置が複数台入っており、最も手前の電子部品実装装置29の側面の上部寄りに識別マーカー23が付設されている。メガネ型拡張現実端末装置3のカメラ31は、作業者の視野範囲に概ね一致した視野画像を得られるので、演算処理部32は視野画像中の識別マーカー23を認識できる。そして、メガネ型拡張現実端末装置3は、透光部332、333を通して見る作業者の視野中のマーカー位置を基準とした所定の位置に、角丸長方形状の拡張現実表示内容3Pを重ねて表示する。図4の例で、拡張現実表示内容3Pは、「予定生産枚数: 100」、「完了生産枚数: 50」、および「残り時間: 1:30」という基板生産装置2の3種類の稼動情報である。この拡張現実表示内容3Pは、例えば白黒で表示して、現実の電子部品実装装置にオーバーラップ表示できる。
また、図5は、図4と同じ作業者の視野であって拡張現実表示内容3Qが異なる例を示した図である。図5の例で、角丸長方形状の拡張現実表示内容3Qは、「部品切れエラー 部品を補給してください」という基板生産装置2の稼動情報である。部品切れエラーのように作業者が緊急に対応すべき稼動情報では、拡張現実表示内容3Qを目立つ赤色などで表示して、作業者の注意を促すことができる。さらに、メガネ型拡張現実端末装置3は、スピーカー34から警告音を出すなどして、表示に加えて音声情報による拡張現実を行い、作業者の注意をさらに一層強く促すことができる。
第1実施形態の基板生産支援システム1は、基板を生産する基板生産装置2を認識対象とし、基板の生産管理を行う作業者に認識対象の生産情報を提供する基板生産支援システム1であって、認識対象の生産情報を管理する生産情報管理装置(制御部21)と、作業者の視野に入る認識対象を撮像して視野画像を取得する撮像部(カメラ31)、視野画像中にある識別マーカー23であって認識対象に設けられた固有の識別マーカー23を認識するマーカー認識部(演算処理部32)、および、視野画像中にある識別マーカー23によって特定された認識対象の生産情報を作業者の視野に重ねて表示する拡張現実表示部(表示部33)を有するメガネ型拡張現実端末装置3と、を備えた。
これによれば、次の効果a)が発生する。
効果a)メガネ型拡張現実端末装置3は、識別マーカー23によって特定された認識対象の生産情報を拡張現実表示部(表示部33)で表示する。このため、作業者は、現実の認識対象とこれに係わる生産情報とを同じ視野中に視認して対応関係を迅速かつ誤りなく把握できるようになる。したがって、認識対象とは別にモニタ装置や入出力装置で生産情報を把握する従来技術と比較して、本発明では生産性が向上する。
また、第1実施形態の基板生産支援システム1は、メガネ型拡張現実端末装置3のマーカー認識部(演算処理部32)で認識した識別マーカー23の情報を生産情報管理装置(制御部21)に伝送し、伝送された識別マーカー23によって特定された認識対象の生産情報を生産情報管理装置(制御部21)からメガネ型拡張現実端末装置3に伝送する情報伝送装置(無線通信部22、無線通信部35)をさらに備えた。
これによれば、次の効果b)が発生する。
効果b)メガネ型拡張現実端末装置3は、生産情報管理装置(制御部21)で一元的に管理している生産情報を受け取り、拡張現実表示部(表示部33)で自動的に表示する。したがって従来技術と異なり、作業者は、生産情報管理装置(制御部21)までの移動や入力操作を行う必要がなくなって迅速に生産情報を把握でき、従来よりも生産性を向上できる。
また、第1実施形態の基板生産支援システム1で、拡張現実端末装置は、作業者の目と対向する位置に透光部332、333をもち、透光部332、333を通して見る作業者の視野の少なくとも一部に認識対象の生産情報を重ねて表示可能な透過型拡張現実表示部(表示部33)と、透過型拡張現実表示部に一体的に設けられ、作業者が透光部332、333を通して見る視野に入る認識対象を撮像して視野画像を取得するカメラ型撮像部(カメラ31)と、を有して作業者が装身可能なメガネ型拡張現実端末装置3であり、情報伝送装置は、メガネ型拡張現実端末装置3と生産情報管理装置(制御部21)との間で無線通信を用いて双方向に情報を伝送する双方向無線情報伝送装置(無線通信部22、無線通信部35)である。
これによれば、次の効果c)が発生する。
効果c)作業者はメガネ型拡張現実端末装置3を装身して透過型拡張現実表示部(表示部33)を視認すると認識対象の生産情報を確認でき、かつ認識対象の生産情報は無線通信を用いて伝送される。したがって、作業者は、別の作業を行って手が塞がっている状態でも移動や入力操作などが不要で作業性を低下させずに生産情報を確認でき、従来よりもさらに一層顕著に生産性を向上できる。
また、第1実施形態の基板生産支援システム1は、認識対象に基板生産装置2を含み、生産情報に基板生産装置2の稼動情報を含む。
これによれば、次の効果d)が発生する。
効果d)作業者は、基板生産装置2の稼動情報を確認するために、当該の基板生産装置2まで移動する必要がなくなり、従来よりも生産性を向上できる。
また、第1実施形態の基板生産支援システム1で、メガネ型拡張現実端末装置3は、生産情報を音声で出力する音声出力部(スピーカー34)をさらに有する。
これによれば、次の効果e)が発生する。
効果e)拡張現実表示部(表示部33)での表示に加えて音声出力を併用した拡張現実により作業者に生産情報を提供でき、メガネ型拡張現実端末装置3の利便性が高まり、従来よりもさらに一層生産性を向上できる。
次に、第2実施形態の基板生産支援システム1Aについて、図6〜図11を参考にして、第1実施形態と異なる点を主に説明する。第2実施形態において、第1実施形態と同様の構造および機能を有する部位には同じ符号を付して詳細な説明は省略する。図6は、第2実施形態の基板生産支援システム1Aの構成を示すシステム構成図である。図示されるように、第2実施形態で使用するメガネ型拡張現実端末装置3は第1実施形態と同じである。一方、基板生産装置2Aの生産情報は、別体の管理サーバ4により管理されている。
基板生産装置2Aは、はんだ印刷装置、電子部品実装装置、リフロー装置、および基板検査装置などのいずれか1装置または複数装置である。基板生産装置2Aは、基板生産支援システム1Aが認識する本発明の認識対象に相当する。基板生産装置2Aは、制御部21および有線通信部24を有しており、第1実施形態と同様の識別マーカー23が付設されている。有線通信部24は、制御部21が管理している生産情報を有線通信で外部に伝送可能とする部位である。
管理サーバ4は、図6に示されるように、有線通信部41、生産情報管理部42、および無線通信部43を有している。管理サーバ4の有線通信部41と基板生産装置2Aの有線通信部24とは通信線で接続されており、有線通信で双方向に情報を伝送する。生産情報管理部42は、基板生産装置2Aから受け取った生産情報を管理する。管理サーバ4は、本発明の生産情報管理装置に相当する。
管理サーバ4は、基板生産装置2Aだけでなく、図示されない他の基板生産装置の生産情報を併せて管理していてもよい。管理サーバ4の無線信部43は、メガネ型拡張現実端末装置3の無線通信部35との間で無線通信により双方向に情報を伝送する。したがって、メガネ型拡張現実端末装置3の無線通信部35ならびに管理サーバ4の無線通信部43は、本発明の情報伝送装置に相当し、かつ双方向無線情報伝送装置に相当する。
次に、第2実施形態の基板生産支援システム1Aの作動および作用について、例示説明する。図7は、第2実施形態の基板生産支援システム1Aで、基板生産装置2Aの基板生産計画に関する稼動情報を拡張現実表示する場合の作動を説明する図である。図7で、J1〜J6は作動の順序を示している。
基板生産装置2Aは、生産の完了した基板の枚数、すなわち完了生産枚数を管理サーバ4に有線通信で逐次報告する(J1)。管理サーバ4は、内部に保持している予定生産枚数に対して完了生産枚数が不足しているときに、生産の完了までに要する残り時間を推定する。推定方法としては、例えば、予定生産枚数から完了生産枚数を減算して残り枚数を求め、生産済みの基板1枚に要した平均的な生産実績時間を乗算して残り時間とする。さらに、管理サーバ4は、基板の実際の生産完了が予め設定された生産完了時刻を超過すると予測される場合に、超過予測時間を演算する。
ここで、メガネ型拡張現実端末装置3を装身した作業者が基板生産装置2Aの方向を向くと、メガネ型拡張現実端末装置3はカメラ31で基板生産装置2Aの識別マーカー23を撮像して認識する(J2)。次に、メガネ型拡張現実端末装置3は、演算処理部32で識別マーカー23をデコードして基板生産装置2Aの識別IDを読み取る(J3)。さらに、メガネ型拡張現実端末装置3は、識別IDを管理サーバ4に無線通信で伝送する(J4)。管理サーバ4は、受け取った識別IDに対応する基板生産装置2Aの稼動情報として、前記の予定生産枚数、完了生産枚数、残り時間、および超過予測時間の情報をメガネ型拡張現実端末装置3に返送する(J5)。これにより、メガネ型拡張現実端末装置3は、基板生産装置2Aの稼動情報を透光部332、333の作業者の視野に重ねて拡張現実表示する(J6)。
図8および図9は、メガネ型拡張現実端末装置3の透光部332、333を通して見る作業者の視野に、基板生産装置2Aの基板生産計画に関する稼動情報を拡張現実表示した例を示す図である。図8および図9では、透光部332、333を通して見る現実の基板生産装置2Aなどは省略され、拡張現実表示内容3R、3Sのみが示されている。また、図8は超過予測時間が無い場合を例示し、図9は超過予測時間が有る場合を例示している。図8の例で、長方形状の拡張現実表示内容3Rは、「予定生産枚数: 100」、「完了生産枚数: 50」、および「残り時間: 1:30」という基板生産装置2Aの3種類の稼動情報である。この拡張現実表示内容3Rは、例えば、白黒で表示できる。
図9の例で、長方形状の拡張現実表示内容3Sは、「予定生産枚数: 100」、「完了生産枚数: 50」、「残り時間: 1:30」、および「超過予測時間: 0:45」という基板生産装置2Aの4種類の稼動情報である。4番目の稼動情報は、基板の実際の生産完了が予め設定された生産完了時刻を45分超過すると予測されることを意味している。超過予測のように問題点を含んだ稼動情報では、拡張現実表示内容3Sを目立つ赤色などで表示して、作業者の注意を促すことができる。さらに、メガネ型拡張現実端末装置3は、スピーカー34から警告音を出すなどして、表示に加えて音声情報による拡張現実を行い、作業者の注意をさらに一層強く促すことができる。
次に、第2実施形態の基板生産支援システム1Aの作動および作用について、別の例を説明する。図10は、第2実施形態の基板生産支援システム1Aで基板生産装置2Aの停止時間の稼動情報を拡張現実表示する場合の作動を説明する図である。図10で、K1〜K6は作動の順序を示している。
基板生産装置2Aは、生産を停止した情報、および生産を開始した情報を管理サーバ4に有線通信で逐次報告する(K1)。管理サーバ4は、受け取った情報に基づいて、生産が中断している停止時間を演算する。ここで、メガネ型拡張現実端末装置3を装身した作業者が基板生産装置2Aの方向を向くと、メガネ型拡張現実端末装置3はカメラ31で基板生産装置2Aの識別マーカー23を撮像して認識する(K2)。次に、メガネ型拡張現実端末装置3は、演算処理部32で識別マーカー23をデコードして基板生産装置2Aの識別IDを読み取る(K3)。さらに、メガネ型拡張現実端末装置3は、識別IDを管理サーバ4に無線通信で伝送する(K4)。管理サーバ4は、受け取った識別IDに対応する基板生産装置2Aの稼動情報として、停止時間の情報をメガネ型拡張現実端末装置3に返送する(K5)。これにより、メガネ型拡張現実端末装置3は、表示部33の透光部332、333を通して見る作業者の視野に停止時間を重ねて拡張現実表示する(K6)。
図11は、メガネ型拡張現実端末装置3の透光部332、333を通して見る作業者の視野に停止時間を拡張現実表示した例を示す図である。図11では、透光部332、333を通して見る現実の基板生産装置2Aなどは省略され、拡張現実表示内容のみが示されている。図11の例で、長方形状の拡張現実表示内容3Tは、「停止時間: 0:45」という稼動情報である。この稼動情報は、基板生産装置2Aが45分間にわたって停止しており、基板の生産が中断されていることを意味している。このように基板生産装置2Aの好ましくない状態を表す稼動情報では、拡張現実表示内容3Tを目立つ赤色などで表示して、作業者の注意を促すことができる。さらに、メガネ型拡張現実端末装置3は、スピーカー34から警告音を出すなどして、表示に加えて音声情報による拡張現実を行い、作業者の注意をさらに一層強く促すことができる。
第2実施形態の基板生産支援システム1Aでは、第1実施形態と比較して生産情報管理装置の構成が異なるが、第1実施形態と同様に効果a)〜効果e)が生じる。
なお、基板生産装置2、2Aの稼動情報として、第1および第2実施形態で説明した以外にも下記の各項目を適宜選択して拡張現実表示することができる。
(1)エラー内容の表示
(基板搬送エラー、部品切れ、画像処理エラー、外観検査エラーなど)
(2)部品切れ予告の表示
(3)はんだ補給予告の表示
(4)部品吸着率を始めとする作業の良好度合いを示す指標の表示
(5)メンテナンス予告の表示
(6)サクセスレート(部品認識などの特定作業に要する時間)低下の警告表示
(7)サイクルタイム(繰返し作業における繰返し周期)低下の警告表示
(8)ショット数(部品実装の累積個数)の表示
(9)基板生産ジョブ名の表示
(10)基板生産装置の管理者名の表示
(11)デュアル生産ラインにおける生産モードの表示
次に、第3実施形態の基板生産支援システム1Bについて、図12〜図18を参考にして説明する。第3実施形態において、第1および第2実施形態と同様の構造および機能を有する部位には同じ符号を付して詳細な説明は省略する。第3実施形態では、基板生産装置に交換可能に搭載される機能ユニットを認識対象としており、システムの構成も第1および第2実施形態とは異なる。認識対象となる機能ユニットとして、図12に示されるノズルユニット51や、図13に示される部品供給ユニット58を例示でき、これらに限定されない。
図12は、第3実施形態の基板生産支援システム1Bの認識対象となるノズルユニット51を説明する図である。図12の例で、12個のノズルユニット51が段取り台52の上面に、3×4の配置に規則正しく並べられている。ノズルユニット51は、基板生産装置の一機種である電子部品実装装置の部品移載装置の実装ヘッドに交換可能に取り付けられる。取り付けられたノズルユニット51は、部品供給装置の上方に移動し負圧を利用して電子部品を吸着採取し、基板の上方に移動して基板に電子部品を実装する。各ノズルユニット51の見えやすい位置には、互いに異なる識別マーカー53が付設されている。しかしながら、作業者がノズルユニット51の外観や識別マーカー53を見ても個体識別することは難しく、個体識別には識別マーカー53のデコードが必要である。
また、図13は、第3実施形態の基板生産支援システム1Bの認識対象となる部品供給ユニット58を説明する図である。図13に示される部品供給ユニット58は、電子部品実装装置に交換可能に搭載される。詳述すると、部品供給ユニット58は、フィーダーを複数個有しており、各フィーダーは、多数の電子部品を保持したテープを巻回したリールをもっている。部品供給ユニット58は、作業者によって電子部品実装装置に組み付けられる。部品供給ユニット58は、テープを引き出しながら電子部品を順次ノズルユニット51に供給する。フィーダー単位でなく部品供給ユニット58の全体を交換することで、電子部品の補充を効率的に実施できる。部品供給ユニット58の見えやすい上面には、識別マーカー59が付設されている。識別マーカー59をデコードすることで、各部品供給ユニット58を個体識別できるようになっている。
図14は、第3実施形態の基板生産支援システム1Bの構成を示すシステム構成図である。図中のL1〜L4は、後でフローチャートを用いて説明する作動の順序を示している。図14に示されるように、第3実施形態の基板生産支援システム1Bは、データ管理部6と、メガネ型拡張現実端末装置3Bとにより構成されている。また、以降では、第3実施形態における認識対象としてノズルユニット51を例にして説明する。
認識対象となるノズルユニット51には、前述したように識別マーカー53が付設されている。また、各ノズルユニット51は、無線通信部54を有している。無線通信部54は、各ノズルユニット51を特定するID情報や、稼動履歴に関する状態情報および作業者によって行われたメンテナンスに関する状態情報などを無線で伝送できるようになっている。稼動履歴やメンテナンスに関する状態情報は、ノズルユニット51の使用の可否、使用の優先順位、およびメンテナンスの必要性などに関係する生産情報である。
データ管理部6は、図14に示されるように、無線通信部61およびデータベース62を有している。データ管理部6の無線通信部61とノズルユニット51の無線通信部54とは、無線通信で双方向に情報を伝送する。データ管理部6は、多数のノズルユニット51から受け取った状態情報をデータベース62に保存して管理する。つまり、データ管理部6は、本発明の生産情報管理装置に相当する。データ管理部6の無線通信部61は、メガネ型拡張現実端末装置3Bの無線通信部35との間でも無線通信により双方向に情報を伝送する。したがって、メガネ型拡張現実端末装置3Bの無線通信部35ならびにデータ管理部6の無線通信部61は、本発明の情報伝送装置に相当し、かつ双方向無線情報伝送装置に相当する。
第3実施形態で使用するメガネ型拡張現実端末装置3Bは、第1および第2実施形態とは構造および機能の一部が異なる。図15は、第3実施形態で使用するメガネ型拡張現実端末装置3Bの構造を模式的に説明する図である。図示されるように、メガネ型拡張現実端末装置3Bは、カメラ31、演算処理部32、表示部33、無線通信部35、マイク38、情報切替ボタン39、左フレーム36、および右フレーム37で構成されている。つまり、第1および第2実施形態と比較して、スピーカー34が省略され、マイク38および情報切替ボタン39が追加されている。
第3実施形態で、演算処理部32Bは、ノズルユニット51の使用の可否、使用の優先順位、およびメンテナンスの必要性などを判定するための判定基準321を内包している。判定基準321は、ノズルユニット51の稼動履歴に関する状態情報に対して、予め設定することができる。状態情報およびその判定基準321として、例えば、前回使用時の稼動時間の上限値や前回使用時の部品吸着エラー率の上限値、前回使用時の部品吸着エラーの発生回数などを採用でき、これらに限定されない。
マイク38は、右フレーム36の内側の側面の前寄り(概ね第1実施形態のスピーカー34の配設位置に一致)に配設されている。マイク38は、作業者が音声入力を行うための部位であり、音声入力の内容は演算処理部32によって認識される。マイク38は、拡張現実表示部(表示部33)で表示する生産情報の表示内容を切り替える本発明の音声入力部に相当する。
情報切替ボタン39は、作業者が押動操作または回動操作する部位である。情報切替ボタン39は、拡張現実表示部(表示部33)で表示する生産情報の表示内容を切り替える。第3実施形態で、情報切替ボタン39は、ノズルユニット51の稼動履歴に関する状態情報を切り替えて拡張現実表示することができる。また、情報切替ボタン39は、これらの状態情報を判定基準321と比較して判定した結果を選択することもできる。判定結果は、例えば、ノズルユニット51の使用の可否を表す2値情報(「OK」と「NG」)を採用でき、これに限定されない。
次に、第3実施形態の基板生産支援システム1Bの作動および作用について説明する。図16は、第3実施形態の基板生産支援システム1Bの作動を説明するフローチャートである。ノズルユニット51の状態情報は、予め無線通信でデータ管理部6に伝送され、データベース62で管理されている。(図14のL1参照)。ここで、メガネ型拡張現実端末装置3Bを装身した作業者が段取り台52の方向を向くと、図16に示される作動が始まる。図16のステップS11で、メガネ型拡張現実端末装置3Bは、カメラ31でノズルユニット51の識別マーカー53を撮像する(L2参照)。このとき、カメラ31の撮像視野中に入った全ての識別マーカー53が認識対象になる。
次にステップS12で、メガネ型拡張現実端末装置3Bは、演算処理部32Bで全ての識別マーカー53を認識し、デコードしてノズルユニット51を特定する(L3)。このとき、演算処理部32Bで各識別マーカー53の位置を認識して、識別マーカー53ごとに表示する近傍位置を予め設定しておく、次にステップS13で、作業者は情報切替ボタン39を操作して、状態情報の表示内容を選択する。選択する状態情報は、前述した稼動時間や部品吸着エラーの有無、部品吸着エラー率などのうちの1項目である。また、情報切替ボタン39の操作に代えて、マイク38の音声入力機能を使用しても、同じ選択操作を行える。
次にステップS14で、メガネ型拡張現実端末装置3Bは、特定したノズルユニット51の状態情報をデータ管理部6から取得する(L4)。次にステップS15で、メガネ型拡張現実端末装置3Bは、演算処理部32Bで判定基準321に基づき状態情報に対して使用可否判定の演算処理を行う。次にステップS16で、メガネ型拡張現実端末装置3は、表示部33でノズルユニット51の使用可否判定の演算結果を各識別マーカー53の近傍位置に拡張現実表示する。
図17および図18は、第3実施形態でメガネ型拡張現実端末装置3Bの透光部332、333を通して見る作業者の視野に、ノズルユニット51の使用の可否の判定結果を拡張現実表示した例を示す図である。図17および図18において、メガネ型拡張現実端末装置3Bの透光部332、333を通して見る作業者の視野に対し、カメラ31の撮像視野311がわずかに狭くなっている。このため、12個のノズルユニット51のうち図の左方寄りの2個については、識別マーカー53Xの全体がカメラ31で撮像されず、認識対象になっていない。仮に、作業者が少しだけ視野を左方に移動させるかまたは少しだけ後退すれば、12個の識別マーカー53の全部が撮像視野311に入って認識対象になる。
そして、左方寄りの2個を除いた10個のノズルユニット51に対して、使用可とする「OK」または使用不可とする「NG」の判定結果が拡張現実表示されている。つまり、「OK」または「NG」の文字が作業者の視野に重ねて表示されている。かつ、判定結果は、現実の10個のノズルユニット51の各識別マーカー53の近傍位置(図の例では各識別マーカー53の上側位置)に一対一に対応付けて表示されている。
また、図17では或る作業者によって前回使用時の稼動時間による判定、例えば、稼動時間24時間以上を使用不可とする判定が行われている。一方、図18では別の作業者によって前回使用時に部品吸着エラーが有ったノズルユニット51を使用不可とする判定が行われている。このため、図17で使用不可と判定された2個のノズルユニット51と、図18で使用不可と判定された3個のノズルユニット51とが異なっている。図17および図18のいずれにおいても、作業者は、拡張現実表示にしたがい使用可のノズルユニット51を正しく選択して、電子部品実装装置に搭載することができる。したがって、不特定の複数のノズルユニット51に対し、一括して瞬時に使用の可否が判定され、判定結果も一目瞭然となるため、生産性は大きく向上する。また、従来は複数の作業者が順番作業でノズルユニット51を選択していたが、本第3実施形態では複数の作業者の平行作業でノズルユニット51を選択することが容易になる。
なお、ノズルユニット51の使用可否の判定をデータ管理部6で行い、判定結果をメガネ型拡張現実端末装置3Bに無線伝送して拡張現実表示させるようにしてもよい。また、拡張現実表示内容は「OK」または「NG」の2値情報に限定されない。例えば、複数の「OK」に代えて、ノズルユニット51の使用の優先順位を番号で拡張現実表示することができる。また例えば、「NG」に代えて必要なメンテナンス項目を符号で拡張現実表示することができる。さらには、前回使用時の稼動時間や部品吸着エラーの発生回数、部品吸着エラー率などをそのまま拡張現実表示して、作業者の選択を支援するようにしてもよい。また、図13で説明した部品供給ユニット58を認識対象として、稼動時間や電子部品の消費数などを拡張現実表示するようにしてもよい。
第3実施形態の基板生産支援システム1Bにおいて、第1および第2実施形態と比較して認識対象やメガネ型拡張現実端末装置3Bの構造などが異なるが、第1および第2実施形態と同様に効果a)〜効果c)が生じる。
さらに、第3実施形態の基板生産支援システム1Bで、マーカー認識部(演算処理部32B)は、視野画像中にある複数の識別マーカー53を認識でき、拡張現実表示部(表示部33)は、マーカー認識部が複数の識別マーカー53を認識した場合に、複数の識別マーカー53によって特定された複数の認識対象(ノズルユニット51)の生産情報(使用可否の判定演算結果)を作業者の視野中の識別マーカー53の近傍位置に一対一に対応付けて表示する。
これによれば、次の効果f)が発生する。
効果f)作業者の視野中に複数の認識対象(ノズルユニット51)が有る場合に、拡張現実表示部(表示部33)は、複数の認識対象(ノズルユニット51)の生産情報(使用の可否)を一対一に対応付けて表示する。したがって、作業者は、視野中の複数の認識対象(ノズルユニット51)を取り違えることなく明瞭に生産情報(使用可否の判定演算結果)を把握できる。
また、第3実施形態の基板生産支援システム1Bは、認識対象に機能ユニット(ノズルユニット51)を含み、生産情報に機能ユニットの状態情報(使用可否の判定演算結果)を含む。
これによれば、次の効果g)が発生する。
効果g)メガネ型拡張現実端末装置3Bは、識別マーカー53によって機能ユニット(ノズルユニット51)を個体識別し、拡張現実表示部(表示部33)で当該の機能ユニット(ノズルユニット51)の生産情報(使用可否の判定演算結果)を自動的に表示する。したがって、作業者は、外見だけでは確認することが困難な機能ユニット(ノズルユニット51)の個体識別を行う必要がなくなり、個体識別を誤ることなく迅速に生産情報を確認でき、従来よりも生産性を向上できる。
また、第3実施形態の基板生産支援システム1Bで、機能ユニット(ノズルユニット51)の状態情報は、使用の可否を含む。
これによれば、次の効果h)が発生する。
効果h)作業者は、基板生産装置(電子部品実装装置)に搭載する機能ユニット(ノズルユニット51)を迅速かつ適正に選択でき、加えて、機能ユニットのメンテナンス業務を効率的に行える。
また、第3実施形態の基板生産支援システム1Bは、拡張現実表示部(表示部33)で表示する生産情報(使用可否の判定演算結果)の表示内容を音声で切り替える音声入力部(マイク39)をさらに有する。
これによれば、次の効果i)が発生する。
効果i)音声入力によって生産情報の表示内容を切り替えることができ、メガネ型拡張現実端末装置3Bの利便性が高まり、従来よりもさらに一層生産性を向上できる。
次に、第4実施形態の基板生産支援システム1Cについて、図19〜図22を参考にして説明する。第4実施形態において、第1〜第3実施形態と同様の構造および機能を有する部位には同じ符号を付して詳細な説明は省略する。第4実施形態では、基板生産装置の一機種である電子部品実装装置に交換可能に搭載されるノズルステーションユニット55を認識対象とし、作業者がノズルステーションユニット55に複数のノズルユニット51をセットするセット作業(段取り作業)を支援する。
図19は、第4実施形態の基板生産支援システム1Cの構成、ならびに認識対象となるノズルステーションユニット55を示す図である。図中のM1〜M3は、後でフローチャートを用いて説明する作動の順序を示している。図19に示されるように、ノズルステーションユニット55は、概ね矩形板状であり、3×4の配置に規則正しく12箇所のノズル保持孔を有している。ノズルステーションユニット55は、各ノズル保持孔にそれぞれノズルユニット51を保持することができる。ノズル保持孔に保持されるノズルユニット51には、第3実施形態と同様の識別マーカー53が付設されている。
図19の例で、ノズルステーションユニット55は、10個のノズルユニット51を保持しており、2箇所のノズル保持孔は空いている。また、ノズルステーションユニット55の上面の左手前には、識別マーカー56が付設されている。識別マーカー56は、ノズルステーションユニット55を個体識別するためのものである。ノズルステーションユニット55は、複数のノズルユニット51を保持した状態で電子部品実装装置に交換可能に取り付けられる。電子部品実装装置は、実装ヘッドを駆動して指定されたノズルユニット51の交換作業を自動で行う。
第4実施形態の基板生産支援システム1Cは、情報管理部6Cと、メガネ型拡張現実端末装置3Cとにより構成されている。第4実施形形態では、少なくともカメラ31、演算処理部32C、表示部33、および無線通信部35を含んで構成されたメガネ型拡張現実端末装置3Cを使用する。第4実施形形態のメガネ型拡張現実端末装置3Cには、第1〜第3実施形態で使用するメガネ型拡張現実端末装置3、3Bを準用してもよい(図2および図15参照)。
情報管理部6Cは、図19に示されるように、無線通信部61およびノズルセット情報部63を有している。ノズルセット情報部63は、多数のノズルセット情報を管理するデータベースの一種である。ノズルセット情報は、生産する基板の種類に応じて、ノズルステーションユニット55のID情報とこれにセットすべき複数のノズルユニット51のID情報および配置位置とを対応付けた情報である。情報管理部6Cは、生産する基板の種類に応じて生産プログラムを作成するときに、ノズルセット情報を最適化決定する。その後、情報管理部6Cは、生産プログラムごとのノズルセット情報をノズルセット情報部63で管理する。ノズルセット情報は、機能ユニットの状態情報に相当し、基板生産装置に搭載する以前に行う段取り作業の実施内容を含んでいる。情報管理部6Cは、本発明の生産情報管理装置に相当する。
また、情報管理部6Cの無線通信部61は、メガネ型拡張現実端末装置3Cの無線通信部35との間で無線通信により双方向に情報を伝送する。したがって、メガネ型拡張現実端末装置3Cの無線通信部35ならび情報管理部6Cの無線信部61は、本発明の情報伝送装置に相当し、かつ双方向無線情報伝送装置に相当する。
次に、第4実施形態の基板生産支援システム1Cの作動および作用について説明する。図20は、第4実施形態の基板生産支援システム1Cの作動を説明するフローチャートである。図20のステップS21で、情報管理部6Cは、生産する基板の種類に応じてノズルセット情報を最適化決定する。次にステップS22で、メガネ型拡張現実端末装置3Cは、情報管理部6Cから無線通信で次に生産する基板に係わるノズルセット情報を予め取得する(図19のM1参照)。
ここで、メガネ型拡張現実端末装置3Cを装身した作業者がノズルステーションユニット55の方向を向くと、ノズルステーションユニット55の識別マーカー56が作業者の視野に入る。すると、ステップS23で、メガネ型拡張現実端末装置3Cは、カメラ31で視野画像を撮像し、ノズルステーションユニット55の識別マーカー56およびノズルユニット51の識別マーカー53を撮像する(M2参照)。このとき、カメラ31の撮像視野に入った全ての識別マーカー53、55が認識対象になる。これにより、メガネ型拡張現実端末装置3Cは、現実のノズルステーションユニット55にセットされているノズルユニット51を特定し、かつ各ノズルユニット51の配置位置を認識する(M3参照)。
次にステップS24で、メガネ型拡張現実端末装置3Cは、視野画像中の現実のノズルユニット51のセット状態と、情報管理部6Cから取得したノズルセット情報とを演算処理部32Cで照合する。次にステップS25で、メガネ型拡張現実端末装置3Bは照合結果を調査し、不一致であればステップS26に進む。ステップS26で、メガネ型拡張現実端末装置3Bは、照合結果の不一致を解消できるようにノズルユニット51の修正指示を表示部33で拡張現実表示する。
図21は、メガネ型拡張現実端末装置3Cの透光部332、333を通して見る作業者の視野に、ノズルユニット51の修正指示を重ねて拡張現実表示した例を示した図である。図示される例では、作業者の視野中に合計5個の吹き出しテロップ3U1、3U2が拡張現実表示されている。すなわち、現実のノズルステーションユニット55の奥側の空いたノズル保持孔にそれぞれ向かう3個の吹き出しテロップ3U1には、それぞれセットすべきノズルユニット51の識別IDが拡張現実表示されている。また、ノズルステーションユニット55の手前右側の誤ったノズルユニット51Wにそれぞれ向かう2個の吹き出しテロップ3U2には、「交換!!」という作業指示および正しいノズルユニット51の識別IDが拡張現実表示されている。このような修正指示は、目立つ赤色などで表示して、作業者の注意を促すことができる。
したがって、作業者は、図20のステップS27で、正しいノズルユニット51Rをノズルステーションユニット55にセットして保持させることができる(図21の白抜き矢印参照)。ただし、メガネ型拡張現実端末装置3Cは、作業者のセット作業の進捗に関わりなく、ステップS23〜S27を一定時間間隔で繰り返す。そして、作業者が修正指示のとおりにノズルユニット51をセットし終わると、ステップS25で照合結果が一致してステップS28に抜け出る。ステップS28で、メガネ型拡張現実端末装置3Cは、全てのノズルユニット51のセットが完了した旨を表示部33で拡張現実表示する。
図22は、メガネ型拡張現実端末装置3Cの透光部332、333を通して見る作業者の視野に、ノズルユニット51のセット作業が完了した旨を重ねて拡張現実表示した例を示した図である。図示される例では、作業者の視野中の左上部に拡張現実表示内容3U3が表示されており、拡張現実表示内容3U3は「セット:OK」というノズルステーションユニット55の状態情報である。この拡張現実表示内容3U3は、例えば青色で表示できる。作業者が別の方向を向いてノズルユニット51およびノズルステーションユニット55の識別マーカー53、56が作業者の視野から外れると、拡張現実表示内容3U3は一旦消える。作業者が再びノズルステーションユニット55を見れば、拡張現実表示内容3U3は復帰する。このように、作業者は、拡張現実表示内容3U3によりノズルユニット51のセット作業の完了を明瞭に把握して、ノズルステーションユニット55を電子部品実装装置に搭載できる。
第4実施形態の基板生産支援システム1Cにおいて、認識対象および拡張現実表示の表示内容は第1〜第3実施形態と異なるが、第1および第2実施形態と同様の効果a)〜効果c)、ならびに第3実施形態と同様の効果f)および効果g)が生じる。
また、ノズルユニット51のセット作業の従来技術では、例えば、図23に示される専用モニタ装置91を使用する。図23は、第4実施形態で支援するノズルユニット51のセット作業を従来技術で行う場合に使用する専用モニタ装置91を模式的に示した図である。図示されるように、従来技術では、専用モニタ装置91にノズルセット情報を表示させる。すなわち、専用モニタ装置91の9個のID表示部92には、ノズルユニット51の識別IDを表示させる。さらに、9個の色表示部93には、各ノズルユニット51に付与された色マークを表示させる。色マークは、多数のノズルユニット51をグループ化して、グループごとに異なる色を割り当てたマークである。
作業者は、専用モニタ装置91に表示された識別IDおよび色マークと、現実のノズルユニット51に印字された識別IDおよび付与された色マークとを照合しながら、セット作業を進める。しかしながら、ノズルユニット51に印字された識別IDは小さくて読み取りにくい場合があり、また、ノズルユニット5の種類が増えると色マークだけでは識別できなくなる。従来技術では、現実のノズルユニット51と専用モニタ装置91のノズルセット情報とが作業者の視野中で対応付けられておらず、セット作業が正規に行われたか否かを把握しにくい。仮に、セット作業に誤りが有った場合には、ノズルステーションユニット55を電子部品実装装置に搭載して基板の生産を開始してから初めて誤りが判明する。この場合、電子部品実装装置から一旦ノズルステーションユニット55を取り外し、誤ったノズルユニット51を取り外して正しいノズルユニット51をセットする後戻り作業に手間がかかり、生産性が大きく低下していた。
これに対して、第4実施形態の基板生産支援システム1Cでは、機能ユニット(ノズルユニット51およびノズルステーションユニット55)の状態情報は、基板生産装置に搭載する以前に行う段取り作業(ノズルユニット51のセット作業)の実施内容を含む。
これによれば、次の効果j)が発生する。
効果j)作業者は、段取り作業の実施内容を迅速かつ正確に把握して効率的に行うことができ、段取り作業の実施内容を誤って後戻り作業を行うことがなくなる。したがって、従来よりも段取り時間を短縮できる。
次に、第5実施形態の基板生産支援システム1Dについて、図24、図25、および図27〜図29を参考にして説明する。第5実施形態において、第1〜第4実施形態と同様の構造および機能を有する部位には同じ符号を付して詳細な説明は省略する。第5実施形態では、基板生産ライン7で生産される基板8を認識対象としている。より詳細には、第5実施形態の基板生産支援システム1Dは、基板生産ライン7中の基板外観検査装置73で異常有りと判定された基板8を認識対象として、作業者の検査異常への対応を支援する。当該の基板8の検査異常情報は本発明の生産情報に相当している。
まず、基板生産ライン7の構成、および基板生産支援システム1Dの配置について説明する。図24は、基板生産ライン7の一構成例を模式的に説明する図である。基板生産ライン7は、図には省略された複数の上流側装置、2台の電子部品実装装置71、72、基板外観検査装置73、リフロー装置74が記載順に列設されて構成されている。これらの装置71〜74の間は、符号略の基板搬送装置で連結されており、基板98は、順番に搬送される。また、これらの装置71〜74の稼動を管理するために、データサーバ75が設けられている。データサーバ75は、各装置71〜74に係わる生産情報を管理するデータベース751、ならびに各装置71〜74との間で生産情報を伝送する通信部752を有している(図25参照)。
基板外観検査装置73は、撮像部、画像処理部、表示部731、検査結果保持部732、および通信部733などで構成されている。撮像部は、電子部品実装装置71、72で電子部品が実装された基板8の外観を撮像して基板画像81を取得する。画像処理部は、基板画像81に所定の画像処理を施して検査を行う。表示部731は、基板画像81や検査結果を作業者に向けて表示する。検査結果保持部732は、検査結果を保持して管理する(図25参照)。異常有りと判定された基板8の検査結果には検査異常情報が含まれており、検査異常情報は当該の基板8の異常発生箇所および異常種類の情報を含んでいる。通信部733は、検査結果などの情報を外部に伝送可能としている。
基板外観検査装置73の下流側のリフロー装置74との間に、リペアエリア76が設けられている。リペアエリア76は、基板搬送装置の一部にあってもよく、基板搬送装置から外れて設けられていてもよい。図24で、リペアエリア76に基板8が有り、かつ基板8の基板画像81が基板外観検査装置73の表示部731に表示されている。基板8が基板外観検査装置73で異常と判定された場合、作業者は、リペアエリア76で現実の基板8を見て、表示部731の基板画像81と照合しながら異常を確認する。また、作業者は、リペアエリア76で基板8を再検査したり、リペア(修復)したりする場合もある。
基板8の異常の確認や再検査アおよびリペアを行う場合の従来技術で、作業者は、リペアエリア76の基板8と、離れた位置にある基板外観検査装置73の基板画像81とを照合する必要があった。したがって、作業者は、検査異常情報を現実の基板8上の異常発生箇所と対応付けすることが繁雑であり、かつ難しかった。これにより確認作業やリペア作業に時間を要し、生産性が低下していた。そこで、第5実施形態では、リペアエリア76に拡張現実端末装置を配置して、検査異常情報を拡張現実表示させる。
図25は、第5実施形態の基板生産支援システム1Dの構成を示すシステム構成図である。図示されるように、第5実施形態の基板生産支援システム1Dは、基板外観検査装置73の一部と、拡張現実端末装置とにより構成されている。前述したように、基板外観検査装置73は、検査結果保持部732および通信部733を有している。検査結果保持部732は、検査結果および検査異常情報を管理し、本発明の生産情報管理装置に相当する。また、認識対象となる基板8には、識別マーカー82が付設されている。識別マーカー82は、基板8を個体認識するためのものである。
第5実施形形態では、拡張現実端末装置として、透過型ヘッドマウント装置3Dを使用する。透過型ヘッドマウント装置3Dは、カメラ31D、演算処理部32D、表示部33D、通信部35D、および切替指示部39Dなどで構成されている。なお、図25で、カメラ31Dおよび表示部33Dは、機能ブロックと現実の形状の両方で描かれている。また、透過型ヘッドマウント装置3Dは、必ずしも一体品である必要はない。すなわち、透過型ヘッドマウント装置3Dの各構成部材31D、32D、33D、35D、39Dが分散配置されていても、機能的に結合されていればよい。
表示部33Dは、略矩形のシースルータイプ(透過型)のディスプレイであり、基板8の上方に配設される。作業者は、表示部33Dの上方から、表示部33Dを通して基板8を見ることができる。表示部33Dは、少なくとも一部に認識対象の生産情報を重ねて表示可能となっており、換言すれば、拡張現実表示機能を有している。表示部33Dは、本発明の拡張現実表示部に相当する。また、表示部33Dは、拡大レンズの機能を兼ね備えていてもよい。
カメラ31Dは、基板8の上方に配設される。カメラ31Dは、表示部33Dの下方に配置された基板8を撮像して視野画像を取得する。つまり、カメラ31Dは、作業者が表示部33Dを通して見る視野に入る基板8を撮像して視野画像を取得する。さらに、カメラ31Dは、取得した視野画像のデータを演算処理部32Dに送出する。この視野画像は、基板外観検査装置73の基板画像81とは異なるものである。カメラ31Dは、本発明の撮像部に相当する。
演算処理部32Dは、CPUおよびメモリを有してソフトウェアで作動する。演算処理部32Dは、カメラ31Dから受け取った視野画像のデータに画像処理を施して、基板8の識別マーカー82を認識する。つまり、演算処理部32Dは、本発明のマーカー認識部の機能を含んでいる。さらに、演算処理部32Dは、表示部33Dで拡張現実表示する検査異常情報の表示内容を制御する。
通信部35Dは、演算処理部32Dからの制御にしたがい、基板外観検査装置73の通信部733との間で双方向に情報を伝送する。したがって、透過型ヘッドマウント装置3Dの通信部35Dならびに基板外観検査装置73の通信部733は、本発明の情報伝送装置に相当する。さらに、通信部35Dは、データサーバ75の通信部752との間で双方向に情報を伝送する。3つの通信部35D、732、752の相互間の通信方式は限定されず、一般的な有線通信や無線通信、光通信などを適宜用いることができる。なお、基板外観検査装置73の検査結果および検査異常情報は、データサーバ75に伝送されていてもよい。
切替指示部39Dは、作業者が操作するものであり、表示部33Dの拡張現実表示の表示内容を切り替える部位である。
第5実施形態で使用する透過型ヘッドマウント装置3Dは、第3実施形態で使用するメガネ型拡張現実端末装置3Bに置き換えることができる。図26は、第6実施形態の基板生産支援システム1Eの構成を示すシステム構成図である。図示されるように、第6実施形態の基板生産支援システム1Eは、基板外観検査装置73の一部と、メガネ型拡張現実端末装置3Bとにより構成されている。第6実施形態でも、第5実施形態と同様に、作業者の検査異常への対応を支援することができる。ただし、メガネ型拡張現実端末装置3Bを使用するシステム構成では、基板外観検査装置73およびデータサーバ75の通信部は無線通信部735、755に限定される。
次に、第5および第6実施形態の基板生産支援システム1D、1Eの作動および作用は概ね同じなのでで、一括して説明する。図27は、第5および第6実施形態の基板生産支援システム1D、1Eの作動を説明するフローチャートである。基板外観検査装置73は、基板8の検査異常が発生すると、当該の基板8の検査異常情報を検査結果保持部732で保持して管理する。検査異常の発生は、基板外観検査装置73からデータサーバ75に伝送され、作業者に報知される。すると、作業者がリペアエリア76に移動して、透過型ヘッドマウント装置3Dを起動しあるいはメガネ型拡張現実端末装置3Bを装身し、図27に示される作動が始まる。
図27のステップS31で、カメラ31D、31により、基板8を撮像して視野画像を取得する。この視野画像の領域は、作業者が基板8を見る視野と概ね一致している。次にステップS32で、演算処理部32D、32により、視野画像中にある基板8の識別マーカー82を認識し、基板8を特定する。識別マーカー82を認識しなかった場合は、ステップS33以降の処理は行わない。
識別マーカー82を認識できた場合にはステップS33に進み、通信部35Dまたは無線通信部35により、当該の基板8の検査結果および検査異常情報を取得する。なお、通信部35Dまたは無線通信部35のアクセス先は、基板外観検査装置73またはデータサーバ75である。当該の基板8の検査結果が良好であるとき、ステップS34以降の処理は行わない。
当該の基板8の検査結果が異常有りのとき、ステップS34で、演算処理部32D、32により、基板8の位置認識処理を実行する。位置認識処理は、視野画像中で基板8が位置する領域範囲を特定する処理である。この処理を実行することにより、基板8に実装された全ての電子部品について視野画像中の位置を特定できるようになる。位置認識処理は、例えば、基板8に付設された識別マーカー82およびフィデューシャルマークの位置を基準点として実行することができ、他の基準点を用いてもよい。また、位置認識処理は、識別マーカー82の位置、向き、およびサイズに基づいて実行してもよい。
次のステップS35で、演算処理部32D、32により、検査異常情報の異常発生個所を視野画像中で特定する。つまり、異常発生箇所の情報は、基板外観検査装置73では基板上の座標値または部品番号で表されておりこの情報を視野画像中の現実の電子部品に対応付ける。最後にステップS36で、表示部33D、33により、検査異常情報を表示する。換言すれば、表示部33D、33を通して見る作業者の視野に重ねて検査異常情報を拡張現実表示する。
図28は、表示部33D、33を通して見る作業者の視野に基板8の検査異常情報を重ねて拡張現実表示した例を示した図である。図示されるように、作業者の視野には、基板8の全体が入っており、検査異常情報が二等辺三角形のシンボルで表示されている。ここで、二等辺三角形のシンボルの尖った頂点は、異常発生個所をピンポイントで示している。したがって、作業者は、極めて正確に異常発生個所を把握できる。
また、シンボルの色は異常の種類を表している。すなわち、図中の右側の凡例に示されるように、黒色のシンボルは電子部品の実装座標値のズレを示し、白色のシンボルは電子部品の未実装を示し、灰色のシンボルは異物の混入を示している。したがって、作業者は容易に異常の種類を把握できる。実際には、シンボルはカラー表示できるので、作業者は、さらに一層容易に異常の種類を把握できる。
なお、表示部33D、33に検査異常情報が拡張現実表示されない場合、作業者は、当該の基板8の検査結果が良好であったことを直ちに把握できる。また、拡張現実表示する表示内容は、上記した異常発生箇所と異常の種類に限定されない。例えば、異常と判定された電子部品の部品名称や、異常の発生率、リペアの可否やリペア方法などを拡張現実表示してもよい。
さらに、検査結果が良好な基板8Dであっても、参考情報を拡張現実表示することができる。図29は、表示部33D、33を通して見る作業者の視野に基板8Dの参考情報を重ねて拡張現実表示した例を示した図である。図示される例では、表示部33D、33の中央やや下寄りに、特定の電子部品の実装座標値の2軸方向の各誤差(X、Y)ならびに電子部品の向きが回転した角度誤差(θ)が拡張現実表示されている。参考情報として他に、全体的な実装座標値のズレや、はんだの印刷傾向などを拡張現実表示することも可能である。
また、拡張現実表示の表示内容が膨大で作業者の視野が繁雑になる場合には、透過型ヘッドマウント装置3Dの切替指示部39Dや、メガネ型拡張現実端末装置3Bの情報切替ボタン39またはマイク38により、拡張現実表示の表示内容を変更できるようにしてもよい。具体的には、表示内容を簡略化したり、表示内容を複数回に分割して表示させたり、シンボル表示を小形化したりできる。また、基板8と表示部33D、33との位置合わせが困難な場合や位置関係の安定化を図りたい場合には、例えば、基板8を所定位置に固定する治具を併用してもよい。
第5および第6実施形態の基板生産支援システム1D、1Eにおいて、認識対象および拡張現実表示の表示内容は第1〜第4実施形態と異なるが、各実施形態と同様の効果a)が生じる。
さらに、第5および第6実施形態の基板生産支援システム1D、1Eは、認識対象に基板8を含み、生産情報に基板8の検査異常情報を含む。
これによれば、次の効果k)が発生する。
効果k)作業者は、現実の基板8と検査異常情報とを対応付けて把握できるので、異常発生箇所の異常状況の確認作業やリペア作業を効率的に行え、従来よりも生産性を向上できる。
また、第5および第6実施形態の基板生産支援システム1D、1Eで、基板8の検査異常情報は、当該の基板の異常発生箇所および異常種類の情報を含み、拡張現実表示部(表示部33D、33)は、作業者の視野中の当該の基板の異常発生箇所の近傍位置に異常種類の情報を重ねて表示する(二等辺三角形のシンボルによるピンポイント表示)。
これによれば、次の効果l)が発生する。
効果l)作業者は、現実の基板8上で異常発生箇所を把握でき、かつ異常種類も把握できる。したがって、異常発生箇所の異常状況の確認作業やリペア作業をさらに一層効率的に行えて、従来よりもさらに一層顕著に生産性を向上できる。
次に、第7実施形態の基板生産支援システム1Fについて、第1〜第6実施形態と異なる点を主に説明する。第7実施形態において、拡張現実端末装置は、作業者の違いに応じて拡張現実表示部で表示する生産情報の表示内容をパーソナライズする。第7実施形態の基板生産支援システム1Fは、第1〜第6実施形態のいずれのシステム構成を採用してもよく、以下では第2実施形態のシステム構成を応用した例について説明する。図30は、第7実施形態の基板生産支援システム1Fの構成を示すシステム構成図である。図示されるように、第2実施形態(図6)と比較して、第7実施形態ではメガネ型拡張現実端末装置3Fに言語切替ボタン39Fが追加されている。
メガネ型拡張現実端末装置3Fの言語切替ボタン39Fは、作業者が操作するものであり、表示部33で表示する生産情報の表示内容の使用言語を切り替える。使用言語として日本語、英語、および中国語を例示でき、これらに限定されない。さらに、言語切替ボタン39Fで4言語以上を切り替えるようにしてもよい。演算処理部32Fは、言語切替ボタン39Fの操作に基づいて、表示部33の拡張現実表示の表示内容を制御する。さらに、言語切替ボタン39Fは、スピーカー34から出力される案内音声の使用言語も切り替えるようになっている。言語切替ボタン39Fは、本発明の表示切替え部に相当する。なお、言語切替ボタン39Fに代えて、後述の第8実施例に記載の作業者識別手段を設けてもよい。
メガネ型拡張現実端末装置3Fを装身した作業者が認識対象である基板生産装置2Aの方向を向くと、例えば図4のように見える。前掲した図4は、言語切替ボタン39Fにより使用言語が日本語に切り替えられたときに、作業者が視野中に見る拡張現実表示内容3Pを例示した図でもある。図示されるように、拡張現実表示内容3Pは、「予定生産枚数: 100」、「完了生産枚数: 50」、および「残り時間: 1:30」という基板生産装置2の3種類の稼動情報である。
ここで、作業者が言語切替ボタン39Fにより使用言語を例えば英語に切り替えると、図31のように見える。図31は、言語切替ボタン39Fにより使用言語が英語に切り替えられたときに、作業者が視野中に見る拡張現実表示内容3Vを示した図である。図示されるように、拡張現実表示内容3Vは英語に切り替えられて、「Scheduled Panels: 100」、「Completed Panels: 50」、および「Time Remaining: 1:30」となっている。
これにより、使用言語の異なる複数の作業者が同時に生産管理業務に携わっても、作業性が低下しない。なお、切り替える表示内容は使用言語に限定されない。例えば、文字表示とシンボル表示とを切り替えてもよく、あるいは、表示サイズを切り替えるようにしてもよい。
第7実施形態の基板生産支援システム1Fでは、第2実施形態と同様に効果a)〜効果e)が生じる。
さらに、第7実施形態の基板生産支援システム1Fで、メガネ型拡張現実端末装置3Fは、作業者の違いに応じて拡張現実表示部(表示部33)で表示する生産情報の表示内容(使用言語)をパーソナライズする。
これによれば、次の効果m)が発生する。
効果m)作業者の違いに応じて拡張現実表示部(表示部33)で表示される生産情報の表示内容(使用言語)がパーソナライズされて最適化される。したがって、作業者は、生産情報を迅速かつ正確に確認でき、従来よりも生産性を向上できる。
また、第7実施形態の基板生産支援システム1Fで、メガネ型拡張現実端末装置3Fは、拡張現実表示部(表示部33)の表示内容(使用言語)を切り替える表示切替え部(言語切替ボタン39F)をさらに有する。
これによれば、次の効果n)が発生する。
効果n)作業者は、自ら表示切替え部(言語切替ボタン39F)を操作してパーソナライズすることにより、生産情報を所望する表示内容(使用言語)に切り替えて最適化できる。
次に、第8実施形態の基板生産支援システム1Gについて、第1〜第7実施形態と異なる点を主に説明する。第8実施形態において、拡張現実端末装置は、作業者の権限レベルあるいは作業者が行う生産管理の業務内容に応じて表示内容を規制しあるいは切り替える。第8実施形態の基板生産支援システム1Gは、第1〜第7実施形態のいずれのシステム構成を採用してもよく、以下では第7実施形態のシステム構成を応用し、認識対象を電子部品実装装置2Gとした例について説明する。図32は、第8実施形態の基板生産支援システム1Gの構成を示すシステム構成図である。
第8実施形態で認識対象となる電子部品実装装置2Gは、制御部21、無線通信部22およびタッチパネル部25を有している。タッチパネル部25は、電子部品実装装置2Gの前面の適当な高さ位置に配設されている。タッチパネル部25は、識別マーカー23を画像表示する機能、ならびに作業者のタッチ操作を受け付ける機能を兼備している。この例のように、識別マーカー23は、付設されたシールなどの実体物に限定されず、画像であってもよい。制御部21は、タッチパネル部25での表示を制御し、かつタッチパネル部25への入力操作を認識する。
一方、メガネ型拡張現実端末装置3Gの演算処理部32Gは、電子部品実装装置2Gの制御部21と協働して、後述する作業者認証を行う。そして、演算処理部32Gは、作業者認証の結果に基づいて、拡張現実表示の表示内容を規制しあるいは切り替える。作業者認証の前提として、演算処理部32Gは、メガネ型拡張現実端末装置3Gを装身している作業者の権限レベルあるいは作業者が行う生産管理の業務内容を予め識別している必要がある。
ここで、不特定の作業者がメガネ型拡張現実端末装置3Gを使用する場合には、メガネ型拡張現実端末装置3Gに図略の作業者識別手段を設ける。作業者識別手段として、例えば、メガネ型拡張現実端末装置3Gの使用開始時に、作業者コードとパスワードを用いたログイン処理を行うようにすればよい。また、複数の作業者に対応して使用するメガネ型拡張現実端末装置3Gが予め固定的に決められている場合には、メガネ型拡張現実端末装置3Gの内部に図略の装置識別情報を設定する。これにより、装置識別情報と作業者との対応関係を予め登録しておけば、演算処理部32Gは作業者を識別できる。
図33は、第8実施形態において、電子部品実装装置2Gとメガネ型拡張現実端末装置3Gのとの間で行う作業者認証の手順を示すフローチャートである。また、図34は、第8実施形態において、作業者認証の進捗状況を説明する図である。図34の(A)は作業者が電子部品実装装置2Gの前側に立ってタッチパネル部25が視野に入った状況を示し、(B)は作業者の視野に重ねて操作ボタン3Wが拡張現実表示された状況を示し、(C)はタッチパネル部25に作業者認証マーカー26が表示された状況を示している。
作業者認証の手順の多くはメガネ型拡張現実端末装置3Gの演算処理部32Gが行い、手順の一部では作業者の操作および電子部品実装装置2Gの作動を必要とする。以降では、作業者の権限レベル、例えば管理者と一般作業者とを区別して認証する場合について例示説明する。まず、メガネ型拡張現実端末装置3Gを装身した作業者が電子部品実装装置2Gの前側に立つと、タッチパネル部25が視野に入り、図33の手順が開始される。
図33のステップS41で、メガネ型拡張現実端末装置3Gは、カメラ31により電子部品実装装置2Gのタッチパネル部25を撮像して視野画像を取得する。このとき、図34の(A)に示されるように、タッチパネル部25の中央上寄りに識別マーカー23の画像が表示されている。したがって、視野画像には識別マーカー23の画像が含まれる。次にステップS42で、メガネ型拡張現実端末装置3Gは、演算処理部32Gにより、視野画像中の識別マーカー23の位置を確認する。次にステップS43で、識別マーカー23をデコードして電子部品実装装置2Gを特定する。
次にステップS44で、メガネ型拡張現実端末装置3Gは、演算処理部32Gにより、当該の電子部品実装装置2Gに対する作業者の権限レベルを確認する。作業者が電子部品実装装置2Gにアクセスする権限を有している場合にステップS45に進み、そうでない場合に以降の手順は行われない。ステップS45で、メガネ型拡張現実端末装置3Gは、作業者の視野に重ねて操作ボタン3W(図中のOK)を拡張現実表示する。このとき、図34の(B)に示されるように、ステップS42で確認したタッチパネル部25の識別マーカー23の画像の位置の下側にあたかも実在するかのように操作ボタン3Wを表示する。操作ボタン3Wは、現実のタッチパネル部25には表示されない仮想的なものであり、メガネ型拡張現実端末装置3Gを装身した作業者だけに見えている。
次に、ステップS46で、作業者が操作ボタン3Wを操作し、現実にはタッチパネル部25の操作ボタン3Wに相当する位置をタッチ操作する。すると、ステップS47で、タッチ操作が行われている間だけ、電子部品実装装置2Gの制御部21はタッチパネル部25に作業者認識マーカー26の画像を表示する。なお、作業者認識マーカー26には、権限レベルの情報が含まれている。次に、ステップS48で、メガネ型拡張現実端末装置3Gは、カメラ31によりタッチパネル部25を撮像して視野画像を取得し、換言すれば作業者認識マーカー26を撮像する。さらに、ステップS49で、メガネ型拡張現実端末装置3Gは、演算処理部32Gにより、視野画像中の作業者認識マーカー26をデコードして作業者の正当性およびその権限レベルを認証する。最後に、ステップS50で、メガネ型拡張現実端末装置3Gは、無線通信部35により、作業者認証の結果を電子部品実装装置2Gに無線伝送する。
上記の作業者認証が正規に終了すると、以降は、作業者の権限レベルに応じて、メガネ型拡張現実端末装置3Gで電子部品実装装置2Gの稼動情報が拡張現実表示されるようになる。また、作業者の権限レベルに代え、作業者が行う生産管理の業務内容に応じて拡張現実表示する稼動情報の表示内容を切り替える場合も同様の手順でよい。この場合には、管理者、装置オペレータ、部材準備者、およびメンテナンス作業者などを区別して認証し、それぞれの業務内容に必要とされる稼動情報だけを拡張現実表示できる。
次に、作業者の権限レベルあるいは作業者が行う生産管理の業務内容に応じて、メガネ型拡張現実端末装置3Gでの拡張現実表示の表示内容を規制しあるいは切り替える具体例について説明する。第2実施形態で図8および図9に示した基板生産計画に関する稼動情報の拡張現実表示は、作業者の権限レベルや業務内容を考慮しない場合の例である。これに対し、作業者の権限レベルに応じて、拡張現実表示の表示内容を規制することができる。例えば、生産計画の日程を管理する管理者に対して図9の4種類の稼動情報の全てを表示させ、一般作業者に対して予定生産枚数と完了生産枚数の2種類のみを表示させることができる。
また、図11に例示した停止時間の稼動情報は、管理者に対して表示させ、一般作業者に対しては表示させないようにすることができる。さらに、停止時間の稼動情報は、作業者の業務内容に応じて、例えば、管理者および装置オペレータに対して表示させ、部材準備者およびメンテナンス作業者に対して表示させないようにすることができる。
さらに、電子部品実装装置2Gの部品切れや部品切れ予告の拡張現実表示についても、同様に、拡張現実表示の表示内容を切り替えることができる。図35は、メガネ型拡張現実端末装置3Gの透光部332、333を通して見る作業者の視野に、電子部品実装装置2Gの部品切れに関する稼動情報を拡張現実表示した例を示す図である。また、図36は、メガネ型拡張現実端末装置3Gの透光部332、333を通して見る作業者の視野に、電子部品実装装置2Gの部品切れ予告に関する稼動情報を拡張現実表示した例を示す図である。図35および図36に示される拡張現実表示は、作業者認証を行う第1手順に続いて、基板生産装置の稼動情報を拡張現実表示する第2手順を行うことで実現される。第2手順については、第2実施形態で基板生産計画に関する稼動情報を拡張現実表示する手順と同様であるので説明は省略する(図7および図10参照)。
図35および図36で、現実の電子部品実装装置2Gは省略され、拡張現実表示内容のみが示されている。図35の部品切れで表示される長方形状の拡張現実表示内容3X1は、ラインNo(基板生産ラインの番号)、モジュールNo(電子部品実装装置2Gの装置番号)、スロットNo(部品供給フィーダーの番号)、およびパートナンバー(電子部品の種類を特定する番号)である。また、図36の部品切れ予告で表示される長方形状の拡張現実表示内容3X2は、モジュールNo、スロットNo、パートナンバー、および部品切れ残り時間である。
上記した部品切れや部品切れ予告の拡張現実表示は、例えば、管理者に対して行わず、一般作業者に対して行うことができる。また、部品切れや部品切れ予告の拡張現実表示は、作業者の業務内容に応じて部材準備者のみに行い、装置オペレータおよびメンテナンス作業者に対して行わないようにできる。
さらに、作業者認証の結果により、電子部品実装装置2Gでの設定変更などの操作の可否を制御することも可能である。その例として、電子部品実装装置2Gの画像処理エラー発生率の拡張現実表示を切り替え、エラー発生率改善のための編集操作の可否を切り替える場合について説明する。電子部品実装装置2Gでは、電子部品を撮像し画像処理データを用いて部品認識を行いながら実装作業を進める。ここで、予め設定した画像処理データが不適切であると、画像処理エラー発生率が増加して生産性の低下や不必要な部品廃棄が発生する。このため、画像処理エラー発生率は、管理者が把握すべき重要な稼動情報となっている。図37は、メガネ型拡張現実端末装置3Gの透光部332、333を通して見る作業者の視野に、電子部品実装装置2Gの画像処理エラー発生率を拡張現実表示した例を示す図である。図37に示される拡張現実表示は、作業者認証を行う第1手順に続いて、基板生産装置の稼動情報を拡張現実表示する第2手順を行うことで実現される。
図37で、現実の電子部品実装装置2Gは省略され、拡張現実表示内容のみが示されている。図37に示される長方形状の拡張現実表示内容3Y1は、2台の電子部品実装装置(モジュール3、1)の形式と画像処理エラー発生率である。この拡張現実表示内容3Y1は、管理者に対してのみ行い、一般作業者に対して行わないようにできる。
また、高い画像処理エラー発生率を改善するために、画像処理データを編集する場合がある。ただし、むやみに画像処理データを編集してはいけないので、編集操作は管理者のみに規制されている。図38は、電子部品実装装置2Gの画像処理データの編集操作を管理者のみに規制する方法を説明する図である。
図38で、現実の電子部品実装装置2Gのタッチパネル部25に対して、拡張現実表示が行われている。詳述すると、タッチパネル部25には、電子部品実装装置2Gを特定する識別マーカー23の画像、ならびにメガネ型拡張現実端末装置3Gを装身した作業者を管理者のみに規制する作業者認証マーカー27の画像が表示されている。一方、メガネ型拡張現実端末装置3Gの長方形状の拡張現実表示内容3Y2は、電子部品実装装置(装置形式0603R)の画像処理エラー発生率、および編集ボタン3Zである。
メガネ型拡張現実端末装置3Gの演算処理部32Gは、装身している作業者を管理者と認証できたときだけ編集ボタン3Zを拡張現実表示する。編集ボタン3Zは、現実のタッチパネル部25には表示されない仮想的なものであり、メガネ型拡張現実端末装置3Gを装身した管理者だけに見えている。そして、管理者が編集ボタン3Zを操作し、現実にはタッチパネル部25の編集ボタン3Zに相当する位置をタッチ操作すると、始めて現実の電子部品実装装置2Gで画像処理データの編集が許可される。
ここで、仮にメガネ型拡張現実端末装置3Gを装身した一般作業者が管理者と同じようタッチパネル部25を見ても、編集ボタン3Zは表示されない。なぜなら、作業者認証で管理者と認証されていないからである。また、仮に、一般作業者が偶然にタッチパネル部25の編集ボタン3Zに相当する位置をタッチ操作しても、管理者と認証されていないので画像処理データの編集は許可されない。
なお、作業者認証によって特定の作業者のみに許可する電子部品実装装置2Gの操作として、上記した画像処理データの編集以外にも下記の各項目を適宜採用することができる。
(1)生産プログラムの切り替え
(2)生産プログラムの編集
(3)生産モードの変更
第8実施形態の基板生産支援システム1Gでは、第2実施形態と同様に効果a)〜効果e)が生じる。
さらに、第8実施形態の基板生産支援システム1Gで、メガネ型拡張現実端末装置3Gは、作業者の権限レベルあるいは作業者が行う生産管理の業務内容に応じて、拡張現実表示の表示内容を規制しあるいは切り替える作業者識別手段をさらに有することができる。
これによれば、次の効果o)が発生する。
効果o)作業者の権限レベルに応じて表示内容を規制できるので、セキュリティ機能が従来よりも向上する。また、作業者が行う生産管理の業務内容に応じて表示内容を切り替えることができるので、不要な生産情報が過多とならず、作業者は効率的に生産管理業務を実施でき、従来よりも生産性を向上できる。
また、第8実施形態の基板生産支援システム1Gで、メガネ型拡張現実端末装置3Gは、内部に設定された装置識別情報に基づいて前記表示内容を切り替える装置識別手段をさらに有することができる。
これによれば、次の効果p)が発生する。
効果p)メガネ型拡張現実端末装置3Gの装置個体別にパーソナライズすることができるので、表示内容の最適化やセキュリティ機能の向上が可能になる。
なお、各実施形態で、拡張現実表示装置は生産情報を作業者の視野に重ねて拡張現実表示しているが、これに限定されない。すなわち、拡張現実表示装置は、カメラで取得した視野画像に重ねて生産情報を拡張現実表示してもよい。換言すると、拡張現実表示装置として例えばカメラを備えたタブレット型コンピュータや、カメラを備えたハンドヘルド端末を使用することもできる。また、各実施形態で例示説明した以外の生産情報を拡張現実表示してもよい。本発明は、その他にも様々な変形や応用が可能である。
1、1A〜1G:基板生産支援システム
2、2A:基板生産装置 29、2G:電子部品実装装置
21:制御部 22:無線通信部 23:識別マーカー
24:有線通信部 25:タッチパネル部 26、27:作業者認証マーカー
3、3B、3C、3F、3G:メガネ型拡張現実端末装置
31:カメラ 32、32B、32F、32G:演算処理部 321:判定基準
33:表示部 331:前フレーム 332、333:透光部
34:スピーカー 35:無線通信部 36:左フレーム 37:右フレーム
38:マイク 39:情報切替ボタン 39F:言語切替ボタン
3D:透過型ヘッドマウント装置 31D:カメラ 32D:演算処理部
33D:表示部 35D:通信部 39D:切替指示部
3P〜3T、3U3、3V、3X1、3X2、3Y1、3Y2:拡張現実表示内容
3U1、3U2:吹き出しテロップ 3W:操作ボタン 3Z:編集ボタン
4:管理サーバ
41:有線通信部 42:生産情報管理部 43:無線通信部
51:ノズルユニット 52:段取り台 53:識別マーカー
54:無線通信部 55:ノズルステーションユニット 56:識別マーカー
58:部品供給ユニット 59:識別マーカー
6:データ管理部 6C:情報管理部
61:無線通信部 62:データベース 63:ノズルセット情報部
7:基板生産ライン
71、72:電子部品実装装置
73:基板外観検査装置 731:表示部 732:検査結果保持部
733:通信部 735:無線通信部 74:リフロー装置
75:データサーバ 751:データベース 752:通信部
755:無線通信部 76:リペアエリア
8:基板 81:基板画像 82:識別マーカー
91:従来技術で使用する専用モニタ装置

Claims (15)

  1. 電子部品が実装される基板、前記基板を生産する基板生産装置、および前記基板生産装置に交換可能に搭載される機能ユニットの少なくとも一部を認識対象とし、前記基板の生産管理を行う作業者に前記認識対象の生産情報を提供する基板生産支援システムであって、
    各前記認識対象の前記生産情報を管理する生産情報管理装置と、
    前記作業者の視野に入る認識対象を撮像して視野画像を取得する撮像部、前記視野画像中にある識別マーカーであって前記認識対象に設けられた固有の識別マーカーを認識するマーカー認識部、および、前記視野画像中にある識別マーカーによって特定された認識対象の生産情報を前記視野画像または前記作業者の視野に重ねて表示する拡張現実表示部を有する拡張現実端末装置と、を備えた基板生産支援システム。
  2. 請求項1において、前記拡張現実端末装置の前記マーカー認識部で認識した識別マーカーの情報を前記生産情報管理装置に伝送し、伝送された識別マーカーによって特定された認識対象の生産情報を前記生産情報管理装置から前記拡張現実端末装置に伝送する情報伝送装置をさらに備えた基板生産支援システム。
  3. 請求項1または2において、
    前記マーカー認識部は、前記視野画像中にある複数の識別マーカーを認識でき、
    前記拡張現実表示部は、前記マーカー認識部が前記複数の識別マーカーを認識した場合に、前記複数の識別マーカーによって特定された複数の認識対象の生産情報を前記視野画像中または前記作業者の視野中の識別マーカーの近傍位置に一対一に対応付けて表示する基板生産支援システム。
  4. 請求項2または3において、前記拡張現実端末装置は、
    前記作業者の目と対向する位置に透光部をもち、前記透光部を通して見る作業者の視野の少なくとも一部に前記認識対象の生産情報を重ねて表示可能な透過型拡張現実表示部と、
    前記透過型拡張現実表示部に一体的に設けられ、前記作業者が前記透光部を通して見る視野に入る認識対象を撮像して前記視野画像を取得するカメラ型撮像部と、を有して前記作業者が装身可能なメガネ型拡張現実端末装置であり、
    前記情報伝送装置は、前記メガネ型拡張現実端末装置と前記生産情報管理装置との間で無線通信を用いて双方向に情報を伝送する双方向無線情報伝送装置である基板生産支援システム。
  5. 請求項1〜4のいずれか一項において、前記認識対象に前記基板生産装置を含み、前記生産情報に前記基板生産装置の稼動情報を含む基板生産支援システム。
  6. 請求項1〜5のいずれか一項において、前記認識対象に前記機能ユニットを含み、前記生産情報に前記機能ユニットの状態情報を含む基板生産支援システム。
  7. 請求項6において、前記機能ユニットの状態情報は、使用の可否、使用の優先順位、およびメンテナンスの必要性のいずれかを含む基板生産支援システム。
  8. 請求項6または7において、前記機能ユニットの状態情報は、前記基板生産装置に搭載する以前に行う段取り作業の実施内容を含む基板生産支援システム。
  9. 請求項1〜8のいずれか一項において、前記認識対象に前記基板を含み、前記生産情報に前記基板の検査異常情報を含む基板生産支援システム。
  10. 請求項9において、
    前記基板の検査異常情報は、当該の基板の異常発生箇所および異常種類の情報を含み、
    前記拡張現実表示部は、前記視野画像中または前記作業者の視野中の前記当該の基板の前記異常発生箇所の近傍位置に前記異常種類の情報を重ねて表示する基板生産支援システム。
  11. 請求項1〜10のいずれか一項において、前記拡張現実端末装置は、前記作業者の違いに応じて前記拡張現実表示部で表示する生産情報の表示内容をパーソナライズする基板生産支援システム。
  12. 請求項11において、前記拡張現実端末装置は、前記拡張現実表示部の前記表示内容を切り替える表示切替え部をさらに有する基板生産支援システム。
  13. 請求項11または12において、前記拡張現実端末装置は、前記作業者の権限レベルあるいは前記作業者が行う生産管理の業務内容に応じて前記表示内容を規制しあるいは切り替える作業者識別手段をさらに有する基板生産支援システム。
  14. 請求項11〜13のいずれか一項において、前記拡張現実端末装置は、内部に設定された装置識別情報に基づいて前記表示内容を切り替える装置識別手段をさらに有する基板生産支援システム。
  15. 請求項1〜14のいずれか一項において、前記拡張現実端末装置は、前記生産情報を音声で出力する音声出力部、および、前記拡張現実表示部で表示する生産情報の表示内容を音声で切り替える音声入力部の少なくとも一方をさらに有する基板生産支援システム。
JP2013118927A 2013-06-05 2013-06-05 基板生産支援システム Active JP6211808B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013118927A JP6211808B2 (ja) 2013-06-05 2013-06-05 基板生産支援システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013118927A JP6211808B2 (ja) 2013-06-05 2013-06-05 基板生産支援システム

Publications (2)

Publication Number Publication Date
JP2014235704A true JP2014235704A (ja) 2014-12-15
JP6211808B2 JP6211808B2 (ja) 2017-10-11

Family

ID=52138323

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013118927A Active JP6211808B2 (ja) 2013-06-05 2013-06-05 基板生産支援システム

Country Status (1)

Country Link
JP (1) JP6211808B2 (ja)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016218597A (ja) * 2015-05-18 2016-12-22 富士通株式会社 ウェアラブルデバイス、表示制御プログラム、及び表示制御方法
JP2017007830A (ja) * 2015-06-23 2017-01-12 東芝エレベータ株式会社 保守作業支援装置
KR20170030249A (ko) * 2015-09-09 2017-03-17 한화테크윈 주식회사 노즐 정보 등록 시스템
CN106561079A (zh) * 2015-10-05 2017-04-12 松下知识产权经营株式会社 电子部件安装系统中的维护支援系统以及维护支援方法
JP2017167902A (ja) * 2016-03-17 2017-09-21 富士電機株式会社 作業支援装置、作業支援システムおよび作業支援プログラム
JP2018116343A (ja) * 2017-01-16 2018-07-26 オムロン株式会社 センサ支援システム、端末、センサおよびセンサ支援方法
CN108732756A (zh) * 2017-04-21 2018-11-02 发那科株式会社 工厂设备的维护辅助装置以及维护辅助系统
JP2018181256A (ja) * 2017-04-21 2018-11-15 株式会社ミクシィ 頭部装着ディスプレイ装置、認証方法、及び認証プログラム
JP2019160171A (ja) * 2018-03-16 2019-09-19 株式会社リコー 表示装置および表示方法
JP2020008479A (ja) * 2018-07-11 2020-01-16 アンリツインフィビス株式会社 物品検査装置及び物品検査システム
JP2020510198A (ja) * 2017-03-07 2020-04-02 ザ・チャールズ・スターク・ドレイパ・ラボラトリー・インコーポレイテッド パイプ検査のための拡張現実可視化
JP2020063994A (ja) * 2018-10-18 2020-04-23 Ckd株式会社 良否確認システム及びブリスタ包装システム
JP2020123284A (ja) * 2019-01-31 2020-08-13 三菱重工機械システム株式会社 検査支援装置及び方法
JP2020149279A (ja) * 2019-03-13 2020-09-17 パナソニックIpマネジメント株式会社 保持部表示システムおよび保持部表示方法
JP2020150183A (ja) * 2019-03-14 2020-09-17 パナソニックIpマネジメント株式会社 端末装置、管理システム、管理方法、およびプログラム
CN112368659A (zh) * 2018-06-26 2021-02-12 发纳科美国公司 具有增强现实的自动动态诊断指导
JP2021044416A (ja) * 2019-09-12 2021-03-18 株式会社Fuji 作業支援システム
US11003911B2 (en) 2017-02-28 2021-05-11 Nec Corporation Inspection assistance device, inspection assistance method, and recording medium
WO2021106812A1 (ja) * 2019-11-25 2021-06-03 株式会社NejiLaw 個体識別システム
JP2021106315A (ja) * 2019-12-26 2021-07-26 ファナック株式会社 I/o信号情報表示システム
JP2021134659A (ja) * 2020-02-21 2021-09-13 株式会社荏原製作所 ポンプ装置の状態を表示する表示方法、ポンプ装置、ポンプシステム、コンピュータプログラム、および表示器
JP2021174420A (ja) * 2020-04-30 2021-11-01 株式会社Fuji はんだ補給位置教示システム
US11232530B2 (en) 2017-02-28 2022-01-25 Nec Corporation Inspection assistance device, inspection assistance method, and recording medium
US11380140B2 (en) 2017-02-28 2022-07-05 Nec Corporation Inspection assistance device, inspection assistance method, and recording medium
CN114747308A (zh) * 2019-12-11 2022-07-12 松下知识产权经营株式会社 部件拍摄装置以及部件安装装置
WO2024024008A1 (ja) * 2022-07-28 2024-02-01 ヤマハ発動機株式会社 表示システム
DE112021008141T5 (de) 2021-08-25 2024-09-12 Fuji Corporation Transportvorrichtungsinformationen-Lehrsystem und Transportvorrichtungsinformationen-Lehrverfahren
JP7574785B2 (ja) 2021-11-22 2024-10-29 トヨタ自動車株式会社 画像表示システムおよび画像コントローラ

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163383A (ja) * 2004-11-15 2006-06-22 Canon Inc 情報処理装置、情報処理方法
JP2007018188A (ja) * 2005-07-06 2007-01-25 Hitachi Ltd 拡張現実感による情報提示システム、情報提示方法、情報提示装置およびコンピュータプログラム
WO2007085303A1 (en) * 2006-01-30 2007-08-02 Verigy (Singapore) Pte. Ltd. Information overlay system
JP2007249464A (ja) * 2006-03-15 2007-09-27 Matsushita Electric Ind Co Ltd 生産支援方法
JP2012018605A (ja) * 2010-07-09 2012-01-26 Hitachi Systems Ltd 拡張現実技術を利用した保守・監視システム
JP2012155678A (ja) * 2011-01-28 2012-08-16 Konica Minolta Holdings Inc 表示システム、表示処理装置、表示方法、および表示プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163383A (ja) * 2004-11-15 2006-06-22 Canon Inc 情報処理装置、情報処理方法
JP2007018188A (ja) * 2005-07-06 2007-01-25 Hitachi Ltd 拡張現実感による情報提示システム、情報提示方法、情報提示装置およびコンピュータプログラム
WO2007085303A1 (en) * 2006-01-30 2007-08-02 Verigy (Singapore) Pte. Ltd. Information overlay system
JP2007249464A (ja) * 2006-03-15 2007-09-27 Matsushita Electric Ind Co Ltd 生産支援方法
JP2012018605A (ja) * 2010-07-09 2012-01-26 Hitachi Systems Ltd 拡張現実技術を利用した保守・監視システム
JP2012155678A (ja) * 2011-01-28 2012-08-16 Konica Minolta Holdings Inc 表示システム、表示処理装置、表示方法、および表示プログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
""スマートデバイスによる現場作業の高度化"", 富士通フォーラム2012, JPN6017018746, 17 May 2012 (2012-05-17), ISSN: 0003564146 *
""スマートデバイスによる現場作業の高度化"", 富士通フォーラム2012, JPN6017030813, 17 May 2012 (2012-05-17), ISSN: 0003621751 *
伴好弘, 外3名: ""強調現実感による電子部品検査の作業支援環境"", 日本バーチャルリアリティ学会論文誌, vol. 第3巻, 第3号, JPN6017018748, 30 September 1998 (1998-09-30), JP, pages 185 - 191, ISSN: 0003621752 *

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016218597A (ja) * 2015-05-18 2016-12-22 富士通株式会社 ウェアラブルデバイス、表示制御プログラム、及び表示制御方法
JP2017007830A (ja) * 2015-06-23 2017-01-12 東芝エレベータ株式会社 保守作業支援装置
KR20170030249A (ko) * 2015-09-09 2017-03-17 한화테크윈 주식회사 노즐 정보 등록 시스템
KR102074964B1 (ko) * 2015-09-09 2020-02-10 한화정밀기계 주식회사 노즐 정보 등록 시스템
CN106561079A (zh) * 2015-10-05 2017-04-12 松下知识产权经营株式会社 电子部件安装系统中的维护支援系统以及维护支援方法
JP2017073408A (ja) * 2015-10-05 2017-04-13 パナソニックIpマネジメント株式会社 電子部品実装システムにおけるメンテナンス支援システムおよびメンテナンス支援方法
CN111050540B (zh) * 2015-10-05 2020-12-15 松下知识产权经营株式会社 电子部件安装系统中的维护支援系统以及维护支援方法
CN111050540A (zh) * 2015-10-05 2020-04-21 松下知识产权经营株式会社 电子部件安装系统中的维护支援系统以及维护支援方法
JP2017167902A (ja) * 2016-03-17 2017-09-21 富士電機株式会社 作業支援装置、作業支援システムおよび作業支援プログラム
JP2018116343A (ja) * 2017-01-16 2018-07-26 オムロン株式会社 センサ支援システム、端末、センサおよびセンサ支援方法
US11380140B2 (en) 2017-02-28 2022-07-05 Nec Corporation Inspection assistance device, inspection assistance method, and recording medium
US11003911B2 (en) 2017-02-28 2021-05-11 Nec Corporation Inspection assistance device, inspection assistance method, and recording medium
US11232530B2 (en) 2017-02-28 2022-01-25 Nec Corporation Inspection assistance device, inspection assistance method, and recording medium
JP2020510198A (ja) * 2017-03-07 2020-04-02 ザ・チャールズ・スターク・ドレイパ・ラボラトリー・インコーポレイテッド パイプ検査のための拡張現実可視化
US10838211B2 (en) 2017-04-21 2020-11-17 Fanuc Corporation Maintenance support device and maintenance support system for factory equipment
CN108732756A (zh) * 2017-04-21 2018-11-02 发那科株式会社 工厂设备的维护辅助装置以及维护辅助系统
JP2018181256A (ja) * 2017-04-21 2018-11-15 株式会社ミクシィ 頭部装着ディスプレイ装置、認証方法、及び認証プログラム
JP2018181232A (ja) * 2017-04-21 2018-11-15 ファナック株式会社 工場設備の保守支援装置及び保守支援システム
CN108732756B (zh) * 2017-04-21 2021-11-09 发那科株式会社 工厂设备的维护辅助装置以及维护辅助系统
JP7095332B2 (ja) 2018-03-16 2022-07-05 株式会社リコー 表示装置および表示方法
JP2019160171A (ja) * 2018-03-16 2019-09-19 株式会社リコー 表示装置および表示方法
CN112368659B (zh) * 2018-06-26 2024-06-18 发纳科美国公司 具有增强现实的自动动态诊断指导
JP7425756B2 (ja) 2018-06-26 2024-01-31 ファナック アメリカ コーポレイション 拡張現実を用いた自動動的診断ガイド
JP2021528777A (ja) * 2018-06-26 2021-10-21 ファナック アメリカ コーポレイション 拡張現実を用いた自動動的診断ガイド
CN112368659A (zh) * 2018-06-26 2021-02-12 发纳科美国公司 具有增强现实的自动动态诊断指导
JP2020008479A (ja) * 2018-07-11 2020-01-16 アンリツインフィビス株式会社 物品検査装置及び物品検査システム
JP7059137B2 (ja) 2018-07-11 2022-04-25 アンリツ株式会社 物品検査装置及び物品検査システム
JP2020063994A (ja) * 2018-10-18 2020-04-23 Ckd株式会社 良否確認システム及びブリスタ包装システム
JP2020123284A (ja) * 2019-01-31 2020-08-13 三菱重工機械システム株式会社 検査支援装置及び方法
JP2020149279A (ja) * 2019-03-13 2020-09-17 パナソニックIpマネジメント株式会社 保持部表示システムおよび保持部表示方法
JP7403040B2 (ja) 2019-03-13 2023-12-22 パナソニックIpマネジメント株式会社 保持部表示システムおよび保持部表示方法
JP2020150183A (ja) * 2019-03-14 2020-09-17 パナソニックIpマネジメント株式会社 端末装置、管理システム、管理方法、およびプログラム
JP7261707B2 (ja) 2019-09-12 2023-04-20 株式会社Fuji 作業支援システム
JP2021044416A (ja) * 2019-09-12 2021-03-18 株式会社Fuji 作業支援システム
WO2021106812A1 (ja) * 2019-11-25 2021-06-03 株式会社NejiLaw 個体識別システム
JP7563719B2 (ja) 2019-11-25 2024-10-08 株式会社NejiLaw 個体識別システム
CN114747308A (zh) * 2019-12-11 2022-07-12 松下知识产权经营株式会社 部件拍摄装置以及部件安装装置
JP2021106315A (ja) * 2019-12-26 2021-07-26 ファナック株式会社 I/o信号情報表示システム
JP7424825B2 (ja) 2019-12-26 2024-01-30 ファナック株式会社 I/o信号情報表示システム
JP7028903B2 (ja) 2020-02-21 2022-03-02 株式会社荏原製作所 ポンプ装置の状態を表示する表示方法、ポンプ装置、ポンプシステム、コンピュータプログラム、および表示器
JP2021134659A (ja) * 2020-02-21 2021-09-13 株式会社荏原製作所 ポンプ装置の状態を表示する表示方法、ポンプ装置、ポンプシステム、コンピュータプログラム、および表示器
JP7492851B2 (ja) 2020-04-30 2024-05-30 株式会社Fuji はんだ補給位置教示システム
JP2021174420A (ja) * 2020-04-30 2021-11-01 株式会社Fuji はんだ補給位置教示システム
DE112021008141T5 (de) 2021-08-25 2024-09-12 Fuji Corporation Transportvorrichtungsinformationen-Lehrsystem und Transportvorrichtungsinformationen-Lehrverfahren
JP7574785B2 (ja) 2021-11-22 2024-10-29 トヨタ自動車株式会社 画像表示システムおよび画像コントローラ
WO2024024008A1 (ja) * 2022-07-28 2024-02-01 ヤマハ発動機株式会社 表示システム

Also Published As

Publication number Publication date
JP6211808B2 (ja) 2017-10-11

Similar Documents

Publication Publication Date Title
JP6211808B2 (ja) 基板生産支援システム
US7818086B2 (en) Component mounter, warning notification apparatus, and warning notification method
US20160125757A1 (en) Operator support system, operator support method and component mounting apparatus
JP2011171482A (ja) 部品掛違いのチェック方法、および、部品掛違いのチェックシステム
US10684615B2 (en) Production activity support system
JP6231188B2 (ja) 部品実装ラインのトレーサビリティ情報管理システム及びトレーサビリティ情報管理方法
US10712729B2 (en) Setting support system for setting operational parameter
US20180089860A1 (en) Component management support system and method for supporting component management
CN110168458A (zh) 管理装置、安装关联装置及安装系统
JP2011076229A (ja) 作業支援システムおよび作業支援方法
CN106561079B (zh) 电子部件安装系统中的维护支援系统以及维护支援方法
JP6060171B2 (ja) テープフィーダ部品照合システム
JP6678298B2 (ja) フィーダ配置支援システムおよびフィーダ配置支援方法
JP2024074825A (ja) 作業装置
JP6030911B2 (ja) 電子部品実装装置及び電子部品実装方法
US20150286975A1 (en) Process support system and method
US10929970B2 (en) Component mounting system and trace data acquisition method
JP6684044B2 (ja) ワイヤーハーネス製造装置
JP6739904B2 (ja) ワイヤーハーネスの投影画像データの作成方法及びワイヤーハーネス製造装置
JP2014150176A (ja) 生産プログラム適否判断装置
EP3065146A1 (en) Method and equipment for manufacturing wire harness
TWI680363B (zh) 半導體製造裝置的管理系統、方法及電腦程式
JP2021044416A (ja) 作業支援システム
JP6500503B2 (ja) ワイヤーハーネス組立品の製造方法
JP6540855B2 (ja) ワイヤーハーネス製造装置及びワイヤーハーネス製造方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170914

R150 Certificate of patent or registration of utility model

Ref document number: 6211808

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250