JP2020149279A - 保持部表示システムおよび保持部表示方法 - Google Patents

保持部表示システムおよび保持部表示方法 Download PDF

Info

Publication number
JP2020149279A
JP2020149279A JP2019045524A JP2019045524A JP2020149279A JP 2020149279 A JP2020149279 A JP 2020149279A JP 2019045524 A JP2019045524 A JP 2019045524A JP 2019045524 A JP2019045524 A JP 2019045524A JP 2020149279 A JP2020149279 A JP 2020149279A
Authority
JP
Japan
Prior art keywords
unit
display
dimensional image
component
holding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019045524A
Other languages
English (en)
Other versions
JP7403040B2 (ja
Inventor
敬明 横井
Takaaki Yokoi
敬明 横井
隕林 譚
Inrin Tan
隕林 譚
直史 生田
Tadashi Ikuta
直史 生田
栄滋 志垣
Eiji Shigaki
栄滋 志垣
維里 岩田
Isato Iwata
維里 岩田
山口 達也
Tatsuya Yamaguchi
達也 山口
俊二 雜賀
Shunji Saiga
俊二 雜賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2019045524A priority Critical patent/JP7403040B2/ja
Publication of JP2020149279A publication Critical patent/JP2020149279A/ja
Application granted granted Critical
Publication of JP7403040B2 publication Critical patent/JP7403040B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Abstract

【課題】保持部が部品に適合しているか否かを容易に確認することができる保持部表示システムおよび保持部表示方法を提供する。【解決手段】部品を基板に実装する部品実装装置が備える部品を保持する保持部(吸着ノズル)を表示する保持部表示方法は、保持部のサイズ情報に基づいて(ST1)、保持部の3次元画像を生成する3次元画像生成工程(ST4)と、撮像部で撮像した撮像画像に基づいて、3次元画像生成工程(ST4)において生成された3次元画像を表示部に表示させる表示処理工程(ST6、ST7)と、を含む。【選択図】図14

Description

本発明は、部品実装装置において部品を保持する保持部を表示する保持部表示システムおよび保持部表示方法に関する。
部品を吸着ノズルなどの保持部で保持して基板に実装する部品実装装置では、部品種類に適合する保持部を使用して部品が実装される。新たな部品を実装する際には、新たな部品に適合する保持部が選択されて使用される。また、新たな部品が複雑な形状をした特殊部品などで適合する保持部がない場合には、新たに保持部が作成される。特許文献1に記載のノズル作成装置は、吸着ノズルが保持する部品の形状、吸着ノズルが係合される実装ヘッドの装着部分の形状などに基づいて決定された、吸着ノズルの係合部分の形状、ノズル開口の面積、先端部分の長さなどのパラメータを使用して、吸着ノズルを作成することが記載されている。
特開2017−069332号公報
しかしながら、特許文献1を含む従来技術では、部品の形状を記述した設計データは部品の形状を忠実に再現したものではないため、部品の設計データに基づいて作成された保持部であっても実際の部品を保持できないことがある。このような場合は保持部を再設計して再作成することになるが、保持部の作成には時間を要するため、作成される保持部が実際に部品を保持できるか否かを保持部の作成前に確認できることが望まれていた。
そこで本発明は、保持部が部品に適合しているか否かを容易に確認することができる保持部表示システムおよび保持部表示方法を提供することを目的とする。
本発明の保持部表示システムは、部品を基板に実装する部品実装装置が備える前記部品を保持する保持部を表示する保持部表示システムであって、撮像部と、表示部と、前記保持部のサイズ情報に基づいて、前記保持部の3次元画像を生成する3次元画像生成部と、前記撮像部で撮像した撮像画像に基づいて、前記3次元画像生成部によって生成された3次元画像を前記表示部に表示させる表示処理部と、を備える。
本発明の保持部表示方法は、部品を基板に実装する部品実装装置が備える前記部品を保持する保持部を表示する保持部表示方法であって、前記保持部のサイズ情報に基づいて、前記保持部の3次元画像を生成する3次元画像生成工程と、撮像部で撮像した撮像画像に基づいて、前記3次元画像生成工程において生成された3次元画像を表示部に表示させる表示処理工程と、を含む。
本発明によれば、保持部が部品に適合しているか否かを容易に確認することができる。
本発明の一実施の形態の部品実装システムの構成説明図 本発明の一実施の形態の部品実装装置の構成説明図 本発明の一実施の形態の部品実装システムが備える管理コンピュータの処理系の構成を示すブロック図 本発明の一実施の形態の情報端末(保持部表示システム)の処理系の構成を示すブロック図 本発明の一実施の形態の情報端末(保持部表示システム)の表示部に表示された待機モードにおける表示映像の一例の説明図 本発明の一実施の形態の情報端末(保持部表示システム)の表示部に表示された原点位置設置モードにおける表示映像の一例の説明図 本発明の一実施の形態の情報端末(保持部表示システム)の表示部に表示された吸着ノズル表示モードにおける表示映像の一例の説明図 本発明の一実施の形態の情報端末(保持部表示システム)の表示部に表示された吸着ノズル移動表示モードにおける表示映像の一例の説明図 本発明の一実施の形態の情報端末(保持部表示システム)の表示部に表示された追従表示モードにおける表示映像の一例の説明図 本発明の一実施の形態の情報端末(保持部表示システム)の表示部に表示された判定結果表示モードにおける表示映像の一例の説明図 本発明の一実施の形態の情報端末(保持部表示システム)の表示部に表示された吸着ノズル抽出表示モードにおける表示映像の一例の説明図 本発明の一実施の形態の情報端末(保持部表示システム)の表示部に表示された追従表示モードにおける表示映像の一例の説明図 本発明の一実施の形態の情報端末(保持部表示システム)の表示部に表示された部品表示モードにおける表示映像の一例の説明図 本発明の一実施の形態の保持部表示方法のフロー図
以下に図面を用いて、本発明の一実施の形態を詳細に説明する。以下で述べる構成、形状等は説明のための例示であって、部品実装システム、部品実装装置、情報端末の仕様に応じ、適宜変更が可能である。以下では、全ての図面において対応する要素には同一符号を付し、重複する説明を省略する。図2では、水平面内で互いに直交する2軸方向として、基板搬送方向のX方向(図2における紙面に左右方向)、基板搬送方向に直交するY方向が示される。図2では、水平面と直交する高さ方向としてZ方向(図2における上下方向)が示される。Z方向は、部品実装装置が水平面上に設置された場合の上下方向または直交方向である。
まず図1を参照して、部品実装システム1の構成を説明する。部品実装システム1は、基板に部品を実装して実装基板を製造する機能を有している。部品実装システム1は、複数の部品実装装置M1,M2を連結して構成されている。部品実装装置M1,M2は、通信ネットワーク2を介して管理コンピュータ3に接続されている。部品実装システム1は、管理コンピュータ3と無線通信する情報端末Tを備えている。管理コンピュータ3は、情報端末Tと無線通信する管理側通信部3aを備えている。管理コンピュータ3は、部品実装システム1による実装基板の製造を統合管理する他、情報端末Tに表示させる画像データなどを作成する。なお、情報端末Tは、管理コンピュータ3と有線通信してもよいし、メモリ媒体を介してデータのやり取りをしてもよい。
ここで図2を参照して、部品実装装置M1,M2の構成を説明する。部品実装装置M1、部品実装装置M2は同様の構成であり、ここでは部品実装装置M1について説明する。部品実装装置M1は、上流側の装置から基板Bを受け取ってX方向に搬送し、基板Bを実装作業領域Wに位置決めし、また基板Bを下流側の装置に搬出する搬送コンベア4を備えている。搬送コンベア4の上方には、搭載ヘッド5が配置されている。搭載ヘッド5は、
下端に設けられたノズルホルダ6を上下方向(Z方向)に昇降させるホルダ昇降機構7を備えている。
ノズルホルダ6の下端には、真空吸引によって下端に部品Pを保持する吸着ノズル8が着脱自在に装着されている。搭載ヘッド5は、搭載ヘッド移動機構9によって部品供給部(図示省略)と実装作業領域Wに保持された基板Bの上方との間を往復移動して、部品供給部が供給する部品Pを保持した吸着ノズル8を下降させて基板Bの実装位置に部品Pを実装する。このように、部品実装装置M1は、部品Pを基板Bに実装する。吸着ノズル8は、ノズルホルダ6の下端に着脱自在に装着されて部品Pを保持する保持部である。なお、保持部は、チャックで部品Pを把持する構成であってもよい。
図1において、情報端末Tは、メガネ型ウェアラブル端末や頭部装着ディスプレイ、スマートフォンやタブレットPCなどである。図1では、メガネ型ウェアラブル端末を例示している。情報端末Tは、表示部11、カメラ12、端末側通信部13、入力部14を備えている。表示部11は、ハーフミラーと投影装置を含んで構成されている。作業者は、情報端末Tを装着した状態で、ハーフミラーを透した情報端末Tの外の様子と、投影装置によってハーフミラーに投影された各種情報などを同時に見ることができる。
すなわち、表示部11は、作業者の視野に各種情報を重ねて表示する。なお、表示部11は、作業者の視野に各種情報を重ねて表示できるものであればよく、例えば、作業者の眼球に直接各種情報を投影するものであってもよい。また、表示部11は、作業者の片目にのみ装着するものであってもよい。カメラ12は、動画や静止画を撮影する撮像部である。カメラ12のレンズは、情報端末Tを装着した作業者の視線の方向を撮影するように設けられている。これにより、カメラ12は、情報端末Tを装着した作業者が顔を向けた方向を撮影する。
端末側通信部13は、管理コンピュータ3と無線で通信する。入力部14は、ボタン、タッチセンサ、振動センサなどの入力装置であり、作業者による指示の入力に用いられる。なお、入力部14は、作業者からの指示を入力できるものであればよく、例えばマイク(図示省略)を通じた音声入力装置であっても、カメラ12が撮像する作業者の手や指先の動きを認識して入力するモーション入力装置であってもよい。また、入力部14は、これらを組み合わせて情報を入力するようにしてもよい。
次に図3を参照して、管理コンピュータ3の構成について説明する。ここでは、管理コンピュータ3が有する複数の機能のうち、情報端末Tが撮像画像に3次元画像を重ね合わせて表示する処理を支援する機能について説明する。管理コンピュータ3は、管理処理部20、記憶装置である管理記憶部23、管理入力部24、管理表示部25、管理側通信部3aを備えている。なお、管理コンピュータ3は、ひとつのコンピュータで構成する必要はなく、複数のデバイスで構成してもよい。例えば、管理記憶部23の全てもしくは一部をサーバを介してクラウドに備えてもよい。
管理入力部24は、キーボード、タッチパネル、マウスなどの入力装置であり、操作コマンドやデータ入力時などに用いられる。管理表示部25は液晶パネルなどの表示装置であり、管理記憶部23が記憶する各種データを表示する他、管理入力部24による操作のための操作画面などの各種情報を表示する。管理側通信部3aは通信インターフェースであり、情報端末Tが備える端末側通信部13と無線によりデータの送受信を行う。
図3において、管理記憶部23には、保持部データベース23a、部品データベース23bなどが記憶されている。保持部データベース23aには、部品実装装置M1,M2で使用される吸着ノズル8を特定するノズルID(ノズル番号)毎に、吸着ノズル8の形状
を規定する保持部のサイズ情報、吸着ノズル8が保持可能な部品Pの条件である部品の保持条件、吸着ノズル8の3次元表示データなどが記憶されている。
保持部のサイズ情報(以下「保持部サイズ情報」と称する。)には、ノズル長さ、ノズル外径、ノズル内径、ノズル本数、ノズル間隔などが含まれる。部品の保持条件(以下「部品保持条件」と称する。)には、保持可能な部品Pの部品ID(部品番号)の他、最大部品重量、最大部品高さ、最小部品サイズなどが含まれる。吸着ノズル8の3次元表示データ(以下「保持部3次元データ」と称する。)は、吸着ノズル8の3次元画像を描画するために必要な3次元表示モデルなどのデータである。
部品データベース23bには、基板Bに実装される部品Pを特定する部品ID(部品番号)毎に、部品Pの電気特性、部品Pの形状を規定する部品のサイズ情報、部品Pの3次元表示データなどが記憶されている。部品のサイズ情報(以下「部品サイズ情報」と称する。)には、部品長さ、部品幅、部品高さ、切り欠き形状、部品重量などが含まれる。部品Pの3次元表示データ(以下「部品3次元データ」と称する。)は、部品Pの3次元画像を描画するために必要な3次元表示モデルなどのデータである。
図3において、管理処理部20はCPUなどの情報処理部であり、内部処理部としてデータ選択部21、管理通信処理部22を備えている。管理通信処理部22は、管理側通信部3aを介して各種データを情報端末Tとの間で送受信する。データ選択部21は、情報端末Tから送信(要求)される吸着ノズル8または部品Pに関する情報に基づいて、保持部データベース23aまたは部品データベース23bから要求に合致する情報(データ)を抽出する。データ選択部21が抽出した情報は、管理通信処理部22によって情報端末Tに送信(返信)される。
次に図4を参照して、情報端末Tの構成について説明する。ここでは、情報端末Tが有する複数の機能のうち、表示部11に撮像画像と3次元画像を重ね合わせて表示する機能について説明する。情報端末Tは、端末処理部30、記憶装置である端末記憶部36、表示部11、カメラ12、端末側通信部13、入力部14を備えている。端末記憶部36には、保持部情報36a、部品情報36bなどが記憶されている。なお、端末記憶部36は情報端末Tに備えていなくてもよく、サーバから対象情報を都度取得してもよい。
保持部情報36aには、管理記憶部23に記憶されている保持部データベース23aのうち一部のデータが記憶されている。すなわち、保持部情報36aには、部品実装装置M1,M2で使用される一部の吸着ノズル8について、ノズルID(ノズル番号)毎に、保持部サイズ情報、部品保持条件、保持部3次元データなどが記憶されている。部品情報36bには、管理記憶部23に記憶されている部品データベース23bのうち一部のデータが記憶されている。すなわち、部品情報36bには、基板Bに実装される一部の部品Pについて、部品サイズ情報、部品3次元データなどが記憶されている。
保持部情報36aに含まれる保持部サイズ情報と部品情報36bに含まれる部品サイズ情報は、保持部情報36aに含まれる部品保持条件の保持可能な部品Pの部品IDや保持可能な部品のサイズなどによって関連付けられている。すなわち、端末記憶部36は、保持部サイズ情報(保持部のサイズ情報)を部品サイズ情報(部品のサイズ情報)と関連付けて記憶する記憶部である。
図4において、端末処理部30はCPUなどの情報処理部であり、内部処理部として端末通信処理部31、表示処理部32、設定部33、判定部34、抽出部35を備えている。端末通信処理部31は、端末側通信部13を介して各種データを管理コンピュータ3との間で送受信する。表示処理部32は、表示部11に表示させる各種データを作成して、
表示部11に表示させる表示処理を実行する。表示処理部32は、内部処理部として3次元画像生成部32a、設定情報生成部32b、情報表示生成部32c、入力欄生成部32dを備えている。
ここで、図5を参照して、情報端末Tであるメガネ型ウェアラブル端末を装着した作業者に見える映像(以下、「表示映像11a」と称する。)について説明する。作業者には、表示部11が備えるハーフミラーを通して見える外の様子と、表示処理部32が表示部11が備える投影装置を使用してハーフミラーに投影させた画像が重なって見える。図5では、外の様子として作業者の前にある台40の上面に載置された部品P1が見えている。部品P1は、大型の異形部品である。表示映像11aの上部には、表示処理部32が表示させた情報端末Tの処理状況41が文字で表示されている。図5では、情報端末Tは次の操作入力を待機している「待機モード」である。
図4において、設定部33は、カメラ12で撮像した撮像画像に基づいて、表示処理部32がデータや画像を表示部11に表示させる際の原点位置を設定する(「原点位置設定モード」)。設定部33は、作業者による入力部14の操作、カメラ12が撮像する作業者の指先の動き、または作業者の視線の方向と連動して原点位置を設定する。
ここで図6を参照して、「原点位置設定モード」における表示映像11aについて説明する。ここでは、作業者の指先の動きと入力部14の操作で台40上の部品P1に原点位置Sを設定する例を説明する。なお、図6では、作業者の指先などの表示は省略されている。まず作業者は、吸着ノズル8が部品P1を保持する際に吸着ノズル8の基点が位置する部品P1の上面の保持中心位置Rを指先で設定する。例えば、指先で保持中心位置Rを示した後に入力部14を操作すると保持中心位置Rが設定される。保持中心位置Rが設定されると、設定情報生成部32bが保持中心位置Rの図形を生成し、表示処理部32が表示映像11aに保持中心位置Rの図形を表示させる。
次いで作業者が指先を保持中心位置Rから鉛直方向に移動させると、設定情報生成部32bが指先の動きを表す矢印付き点線42の図形を生成し、表示処理部32が表示映像11aに矢印付き点線42の図形を表示させる。次いで作業者が原点位置Sにおいて指先を止めて入力部14を操作すると原点位置Sが設定され、設定情報生成部32bが原点位置Sの図形を生成し、表示処理部32が表示映像11aに原点位置Sの図形を表示させる。このように、設定情報生成部32bは、表示部11に表示させる原点位置Sの設定に関係する設定画像43を生成する。
なお、情報端末TがタブレットPCなどタッチパネルで入力する装置の場合は、タッチパネルに表示されているカメラ12(撮像部)で撮像した部品P1の撮像画像に対して、作業者が指先でタップやスライドなどの操作を行うことにより保持中心位置Rや原点位置Sが設定される。そして、表示処理部32は、設定情報生成部32bが生成した設定画像43をカメラ12が撮像した撮像画像に重ね合わせて表示部11に表示させる。
図4において、3次元画像生成部32aは、保持部情報36aに含まれる保持部サイズ情報(保持部のサイズ情報)に基づいて、表示部11に表示させる吸着ノズル8(保持部)の3次元画像を生成する。その際、3次元画像生成部32aは、カメラ12(撮像部)によって撮像された部品Pの大きさ、部品Pの姿勢に基づいて、カメラ12を視点とする吸着ノズル8の3次元画像を生成する。そして、表示処理部32は、原点位置Sに吸着ノズル8の3次元画像の基点を合わせて表示部11に表示させる。
より正確に吸着ノズル8の3次元画像を表示部11で表示させるには、カメラ12(撮像部)によって撮像された部品Pの大きさと部品Pの姿勢に加えて、撮像位置から部品P
までの距離にも基づいて、カメラ12を視点とする吸着ノズル8の3次元画像を生成する。すなわち、表示処理部32は、カメラ12で撮像した撮像位置から部品Pまでの距離と部品情報36b(もしくは、部品データベース23b)で記憶される基準撮像距離とを比較して、その比率に基づいて、部品Pの大きさを変更させる。また、その他の方法として、推奨視認位置をあらかじめ設定しておくことでも正確な吸着ノズル8の3次元画像を表示部11に表示させることができる。
情報表示生成部32cは、3次元画像生成部32aが3次元画像を生成した吸着ノズル8の所定の情報を保持部情報36aから抽出して、表示部11に表示させる情報表示画像を生成する。表示処理部32は、表示部11に情報表示画像を表示させる。すなわち、表示処理部32は、保持部情報36aに記憶される保持部サイズ情報に含まれる少なくとも1つの情報を表示部11に表示させる。
ここで、図7を参照して、「吸着ノズル表示モード」における表示映像11aについて説明する。表示処理部32は、基点Qを「原点位置設定モード」において部品P1の上方に設定された原点位置Sに合わせ、吸着ノズル8Aの軸Cが保持中心位置Rと原点位置Sを結ぶ直線と一致する姿勢となるように吸着ノズル8Aの3次元画像44を表示部11に表示させている。吸着ノズル8Aは、2本のノズルを有しており、大型部品の部品P1に適合している。
さらに、表示処理部32は、情報表示画像45を吸着ノズル8Aの3次元画像44に重ならないように表示部11に表示させている。情報表示画像45には、保持部情報36aに含まれる情報のうち、吸着ノズル8AのノズルID(N024)、最大部品重量(80g)、最大部品高さ(18mm)、ノズル長さ(35mm)が表示されている。すなわち、情報表示画像45には、保持部情報36aに含まれる部品保持条件(最大部品重量、最大部品高さ)、保持部サイズ情報(ノズル長さ)が表示されている。
このように、情報端末Tは、部品P1を基板Bに実装する部品実装装置M1,M2が備える部品P1を保持する吸着ノズル8A(保持部)を表示する保持部表示システムである。作業者の前にある現実の部品P1と、情報端末Tが生成した吸着ノズル8Aの3次元画像44、吸着ノズル8Aのサイズに関する情報(情報表示画像45)を同時に表示部11に表示することで、吸着ノズル8Aが部品P1に適合しているか否かを容易に確認することができる。
図8は、「吸着ノズル表示モード」において吸着ノズル8Aを表示部11に表示させた後に移行した、「吸着ノズル移動表示モード」における表示映像11aを示している。「吸着ノズル移動表示モード」では、作業者の操作によって表示されている吸着ノズル8Aの位置と軸Cを回転軸とする回転角度を変更することができる。図8では、「原点位置設定モード」において原点位置Sが部品P1の保持中心位置Rに設定され、「吸着ノズル表示モード」において吸着ノズル8Aの2本のノズルが部品P1の上面に当接している2点鎖線で示す状態で吸着ノズル8Aの3次元画像44が表示されていたとして説明する。
「吸着ノズル移動表示モード」において、作業者が入力部14を操作して吸着ノズル8Aの回転角度を変更すると(矢印a)、3次元画像生成部32aは軸Cを中心に回転した吸着ノズル8Aの3次元画像を再生成する。そして、表示処理部32は、原点位置Sに再生成された吸着ノズル8Aの3次元画像の基点Qを合わせて表示部11に表示させる。
また、作業者が入力部14を操作して原点位置Sを移動させると(矢印b)、表示処理部32は、移動した原点位置Sに吸着ノズル8Aの3次元画像44の基点Qを合わせるように移動させて表示部11に表示させる。このように、現実の部品P1と、部品P1に対
する回転角度と高さ位置を変更させながら生成した吸着ノズル8Aの3次元画像を同時に表示部11に表示することで、吸着ノズル8Aが部品P1に適合しているか否かを容易に確認することができる。
図4において、情報端末Tは、「吸着ノズル表示モード」において吸着ノズル8Aを表示部11に表示させた後に、「追従表示モード」に移行することができる。「追従表示モード」では、3次元画像生成部32aは、カメラ12(撮像部)が撮像している撮像画像に基づいて、吸着ノズル8Aの3次元画像を変化させて生成する。具体的には、3次元画像生成部32aは、撮像されている部品P1の位置や姿勢に合わせて原点位置Sを移動させ、部品P1の姿勢と吸着ノズル8Aの軸Cの方向、部品P1と吸着ノズル8Aの回転角度との相対的な関係を維持させた状態で吸着ノズル8Aの3次元画像を再生成する。そして、表示処理部32は、移動した原点位置Sに吸着ノズル8Aの3次元画像の基点Qを合わせて表示部11に表示させる。
ここで、図9を参照して、「追従表示モード」における表示映像11aについて説明する。図9では、作業者が部品P1を保持して持ち上げて、カメラ12(撮像部)からの視線が部品P1を斜め下方から見上げるように移動させている。なお、図9では、作業者の指先などの表示を省略している。3次元画像生成部32aは部品P1の姿勢に合わせて吸着ノズル8Aの軸Cが傾いた3次元画像46を生成し、表示処理部32は、移動した原点位置Sに吸着ノズル8Aの基点Qを合わせて表示部11に表示させている。3次元画像生成部32aと表示処理部32は、部品P1の姿勢の変化に合わせて、3次元画像の生成と表示部11への表示を繰り返し実行する。これにより、部品P1の姿勢の変化に追従して吸着ノズル8Aの3次元画像が表示部11に表示される。
図9では、吸着ノズル8Aが有する2本のノズルの間隔(ノズル間隔)、ノズルの内径(ノズル内径)を容易に確認できる位置と姿勢で部品P1が静止している。このように、現実の部品P1と、カメラ12を視点とする部品P1の姿勢に合わせた吸着ノズル8Aの3次元画像46を同時に表示部11に表示することで、吸着ノズル8Aが部品P1に適合しているか否かを容易に確認することができる。例えば、作成した吸着ノズル8Aの保持部情報36aに関連付けられている部品情報36b以外の部品情報36bを関連付けたい場合に、実際の部品P1と吸着ノズル8A確認しながら、適合するか否かを確認することができる。適合する場合は、保持部情報36aと部品情報36bが関連付けられる。
図4において、判定部34は、保持部情報36aに含まれる保持部サイズ情報(保持部のサイズ情報)と部品情報36bに含まれる部品サイズ情報(部品サイズ情報)に基づいて、吸着ノズル8(保持部)と部品Pの組合せが保持部情報36aに含まれる部品保持条件(部品の保持条件)を満たすか否かを判定する。判定部34によって部品保持条件を満たさないと判定された場合、表示処理部32は、吸着ノズル8(保持部)の3次元画像の該当する箇所(部品保持条件に違反する箇所)を点滅させたり他の箇所と色を変えたりするなど視覚的に変化させて表示部11に表示させる。
ここで、図10を参照して、「判定結果表示モード」における表示映像11aについて説明する。ここでは、台40の上面に載置されている小型の部品P2と、大型の部品P1に適合する2本のノズル48を有する吸着ノズル8Aの適合性が判定されている。吸着ノズル8Aは2本のノズル48の間隔が部品P2の長さより広くて部品P2を保持することができず、判定部34によって部品保持条件を満たさないと判定されている。表示処理部32は、吸着ノズル8Aの3次元画像47を部品P2の上方に表示させて、部品保持条件(ここでは「最小部品長さ」)に違反する2本のノズル48を視覚的に変化させて(図面上は点線)表示部11に表示させている。
また、表示処理部32は、情報表示画像49を表示部11に表示させている。情報表示画像49には、違反している部品保持部条件である最小部品長さ(60mm)が視覚的に変化する状態で(図面上は斜め線でハッチング)表示されている。このように、現実の部品P2と、吸着ノズル8Aの3次元画像47を部品保持条件に違反する箇所を視覚的に変化させて同時に表示部11に表示することで、吸着ノズル8Aが部品P2に適合しているか否かを容易に確認することができる。
図4において、入力欄生成部32dは、部品Pのサイズを入力するための入力欄画像を生成する。作業者は、入力部14を操作して表示部11に表示された入力欄画像に部品サイズ情報に含まれる部品Pのサイズを入力する。すなわち、入力部14は、部品サイズ情報(部品のサイズ情報)のうち少なくとも一部の情報を入力欄画像に入力する。抽出部35は、入力された情報から適合する吸着ノズル8(保持部)を抽出する。3次元画像生成部32aは、抽出された吸着ノズル8の3次元画像を生成する。すなわち、3次元画像生成部32aは、部品サイズ情報に基づいて、吸着ノズル8の3次元画像を生成する。そして、表示処理部32は、抽出された吸着ノズル8の3次元画像を表示部11に表示させる。なお、入力された情報に適合する吸着ノズル8がない場合は、その旨を表示部11に表示する。
ここで、図11を参照して、「吸着ノズル抽出表示モード」における表示映像11aについて説明する。表示処理部32は、入力欄生成部32dによって生成された入力欄画像50を表示部11に表示させている。作業者は、入力部14を操作して、入力欄画像50に部品のサイズを入力する。ここでは、長さ(4.0mm)、幅(2.0mm)、高さ(0.8mm)が入力されている。なお、部品のサイズは、カメラ12が撮像した部品P2の撮像画像を画像処理して自動的に入力するようにしてもよい。表示処理部32は、抽出部35が抽出して3次元画像生成部32aが生成させた小型部品用の吸着ノズル8Bの3次元画像51を、吸着ノズル8Bの基点Qを台40の上面に載置された部品P2の上面の保持中心位置Rに合わせて表示させている。
また、表示処理部32は、情報表示生成部32cが生成した吸着ノズル8Bの情報表示画像52を表示部11に表示させている。情報表示画像52には、保持部情報36aに含まれる情報のうち、吸着ノズル8BのノズルID(N005)、最大部品重量(15g)、最大部品高さ(2mm)、ノズル長さ(50mm)が表示されている。このように、現実の部品P2と、入力された部品のサイズに基づいて抽出した吸着ノズル8Bの3次元画像51を同時に表示部11に表示することで、吸着ノズル8Bが部品P2に適合しているか否かを容易に確認することができる。
図4において、情報端末Tは、「吸着ノズル抽出表示モード」において吸着ノズル8Bを表示部11に表示させた後に「追従表示モード」に移行することができる。「追従表示モード」では、3次元画像生成部32aは、カメラ12のズーム機能によって表示部11に表示される部品Pが拡大、縮小されると、表示されている部品Pの大きさに基づいて、吸着ノズル8を拡大、縮小させた3次元画像を生成する。すなわち、3次元画像生成部32aは、カメラ12(撮像部)によって撮像された部品Pの大きさに基づいて、吸着ノズル8(保持部)の3次元画像を生成する。
ここで、図12を参照して、「追従表示モード」においてカメラ12のズーム機能によって部品P2を拡大させた後の表示映像11aについて説明する。図12では、「吸着ノズル抽出表示モード」で台40上の現実の部品P2の上面に接するように吸着ノズル8Bの3次元画像51を表示させた後に(図11参照)、ズーム機能によって部品P2と吸着ノズル8Bの先端付近を拡大させている。3次元画像生成部32aは、拡大された部品P2の大きさに基づいて、吸着ノズル8Bの3次元画像53を拡大して生成している。この
ように、微小なサイズの部品P2であってもズーム機能で拡大させて表示部11に表示することで、吸着ノズル8Bが部品P2に適合しているか否かを容易に確認することができる。
図4において、3次元画像生成部32aは、部品Pの部品情報36bに含まれる部品サイズ情報(部品のサイズ情報)に基づいて、部品Pの3次元画像を生成する。表示処理部32は、カメラ12(撮像部)で撮像した撮像画像に基づいて、吸着ノズル8などと縮尺を合わせて部品Pの3次元画像を表示部11に表示させる。
ここで、図13を参照して、「部品表示モード」において部品P3の3次元画像57を表示させた表示映像11aについて説明する。カメラ12は、台40の上面に載置されている部品P1を撮像している。表示処理部32は、入力欄生成部32dが生成した入力欄画像54と、3次元画像生成部32aが生成した吸着ノズル8Bの3次元画像55と、情報表示生成部32cが生成した吸着ノズル8Bの情報表示画像56を表示部11に表示させている。
さらに、入力欄画像54の入力欄に入力された部品のサイズに基づいて、3次元画像生成部32aが生成した部品P3の3次元画像57が表示されている。このように、現実の部品P1と、入力された部品のサイズに基づいて作成した部品P3の3次元画像57を同時に表示部11に表示することで、作業者が入力した部品のサイズが正しいか否かを容易に確認することができる。
次に図14のフローに沿って、図6〜図11、図13を参照しながら、情報端末T(保持部表示システム)によって部品Pを基板Bに実装する部品実装装置M1,M2が備える部品Pを保持する吸着ノズル8(保持部)を表示する保持部表示方法について説明する。まず、作業者は、表示部11に表示された入力欄画像50,54(図11,図13参照)に入力部14を使用して部品Pのサイズを入力する(ST1:入力工程)。これにより、吸着ノズル8の保持部サイズ情報(保持部のサイズ情報)と関連付けられた部品サイズ情報(部品のサイズ情報)のうち少なくとも一部の情報が入力される。
次いで抽出部35は、入力された情報から適合する吸着ノズル8(保持部)を抽出する(ST2:抽出工程)。なお、吸着ノズル8は、作業者がノズルIDを入力して指定するようにしてもよい。次いで作業者は、情報端末Tが「原点位置設置モード」にある状態で、カメラ12(撮像部)で撮像された撮像画像に基づいて、原点位置Sを設定する(ST3:原点位置設定工程)(図6参照)。次いで3次元画像生成部32aは、抽出工程(ST2)において抽出された吸着ノズル8の保持部サイズ情報(保持部のサイズ情報)に基づいて、吸着ノズル8の3次元画像を生成する(ST4:3次元画像生成工程)。
3次元画像生成工程(ST4)において、3次元画像生成部32aは、部品サイズ情報(部品のサイズ情報)とカメラ12(撮像部)によって撮像された部品Pの大きさ、部品Pの姿勢に基づいて、カメラ12を視点とする吸着ノズル8(保持部)の3次元画像を生成する。また、3次元画像生成工程(ST4)において、3次元画像生成部32aは、部品サイズ情報に基づいて、部品Pの3次元画像を生成する。
図14において、次いで判定部34は、保持部サイズ情報(保持部のサイズ情報)と部品サイズ情報(部品のサイズ情報)とに基づいて、抽出された吸着ノズル8の部品保持条件(部品の保持条件)がカメラ12(撮像部)によって撮像されている部品Pの形状(サイズ)を満たすかを判定する(ST5:判定工程)。部品保持条件を満たすと判定された場合(ST5においてYes)、表示処理部32は、カメラ12で撮像した撮像画像に基づいて、3次元画像生成工程(ST4)において生成された3次元画像44,46を設定
された原点位置Sに基点Qを合わせて表示部11に表示させる(ST6:通常表示処理工程)(図7〜図9参照)。
また、通常表示処理工程(ST6)において、表示処理部32は、保持部サイズ情報(保持部のサイズ情報)に含まれる少なくとも1つの情報を情報表示画像45として表示させる(図7参照)。また、通常表示処理工程(ST6)において、表示処理部32は、カメラ12(撮像部)で撮像した撮像画像に基づいて、部品P3の3次元画像を表示部11に表示させる(図13参照)。
図14において、判定工程(ST5)において部品保持条件(部品の保持条件)を満たさないと判定された場合(No)、表示処理部32は、吸着ノズル8A(保持部)の3次元画像47の該当する箇所(2本のノズル48)を視覚的に変化させて表示部11に表示させる(ST7:視覚的変化表示処理工程)(図10参照)。このように、通常表示処理工程(ST6)と視覚的変化表示処理工程(ST7)は、3次元画像生成工程(ST4)において生成された3次元画像を表示部11に表示させる表示処理工程である。現実の部品Pと、生成した吸着ノズル8の3次元画像を同時に表示部11に表示することで、吸着ノズル8が部品Pに適合しているか否かを容易に確認することができる。なお、吸着ノズル8が部品Pに適合しているか否かを確認した後、修正が必要な箇所を入力部を通して入力してもよい。
上記説明したように、本実施の形態の情報端末Tは、撮像部(カメラ12)と、表示部11と、保持部サイズ情報(保持部のサイズ情報)に基づいて、保持部の3次元画像を生成する3次元画像生成部32aと、撮像部で撮像した撮像画像に基づいて、3次元画像生成部32aによって生成された3次元画像を表示部11に表示させる表示処理部32と、を備え、部品実装装置M1,M2が備える保持部を表示する保持部表示システムである。これによって、保持部が部品Pに適合しているか否かを容易に確認することができる。
なお、部品Pは、上述した本実施の形態以外に吸着面が曲面形状、半曲面形状、および凸凹面形状等であっても本発明が適用でき、吸着ノズル8が部品Pに適合しているか否かを容易に確認することができる。また、本実施の形態では保持部の3次元画像を生成した
が、保持部以外にも交換可能に構成されるエンドエフェクタであれば、例えばワークに材料を塗布する塗布部やワークに載置される部品を締結部等に適用可能である。
本発明の保持部表示システムおよび保持部表示方法は、保持部が部品に適合しているか否かを容易に確認することができるという効果を有し、部品を基板に実装する分野において有用である。
8、8A、8B 吸着ノズル(保持部)
11 表示部
12 カメラ(撮像部)
14 入力部
44、46、47、51、53、55 吸着ノズルの3次元画像(保持部の3次元画像)
57 部品の3次元画像
B 基板
M1、M2 部品実装装置
P、P1、P2、P3 部品
Q 基点
S 原点位置
T 情報端末(保持部表示システム)

Claims (18)

  1. 部品を基板に実装する部品実装装置が備える前記部品を保持する保持部を表示する保持部表示システムであって、
    撮像部と、
    表示部と、
    前記保持部のサイズ情報に基づいて、前記保持部の3次元画像を生成する3次元画像生成部と、
    前記撮像部で撮像した撮像画像に基づいて、前記3次元画像生成部によって生成された3次元画像を前記表示部に表示させる表示処理部と、を備える、保持部表示システム。
  2. 前記3次元画像生成部は、前記撮像部を視点とする前記保持部の3次元画像を生成する、請求項1に記載の保持部表示システム。
  3. 前記3次元画像生成部は、前記撮像部によって撮像された部品の大きさに基づいて、前記保持部の3次元画像を生成する、請求項1または2に記載の保持部表示システム。
  4. 前記撮像画像に基づいて、原点位置を設定する設定部をさらに備え、
    前記表示処理部は、前記原点位置に前記保持部の3次元画像の基点を合わせて前記表示部に表示させる、請求項1から3のいずれかに記載の保持部表示システム。
  5. 前記表示処理部は、前記保持部のサイズ情報に含まれる少なくとも1つの情報を前記表示部に表示させる、請求項1から4のいずれかに記載の保持部表示システム。
  6. 前記保持部のサイズ情報を部品のサイズ情報と関連付けて記憶する記憶部と、
    前記部品のサイズ情報のうち少なくとも一部の情報を入力する入力部と、
    入力された前記情報から適合する前記保持部を抽出する抽出部と、をさらに備え、
    前記表示処理部は、抽出された前記保持部の3次元画像を前記表示部に表示させる、請求項1から5のいずれかに記載の保持部表示システム。
  7. 前記3次元画像生成部は、部品のサイズ情報に基づいて、前記保持部の3次元画像を生成する、請求項1から6のいずれかに記載の保持部表示システム。
  8. 前記保持部のサイズ情報と部品のサイズ情報とに基づいて、部品の保持条件を満たすかを判定する判定部をさらに備え、
    前記表示処理部は、前記部品の保持条件を満たさないと判定された場合、前記保持部の3次元画像の該当する箇所を視覚的に変化させて前記表示部に表示させる、請求項1から7のいずれかに記載の保持部表示システム。
  9. 前記3次元画像生成部は、部品のサイズ情報に基づいて、前記部品の3次元画像を生成し、
    前記表示処理部は、前記撮像画像に基づいて、前記部品の3次元画像を前記表示部に表示させる、請求項1から8のいずれかに記載の保持部表示システム。
  10. 部品を基板に実装する部品実装装置が備える前記部品を保持する保持部を表示する保持部表示方法であって、
    前記保持部のサイズ情報に基づいて、前記保持部の3次元画像を生成する3次元画像生成工程と、
    撮像部で撮像した撮像画像に基づいて、前記3次元画像生成工程において生成された3次元画像を表示部に表示させる表示処理工程と、を含む、保持部表示方法。
  11. 前記3次元画像生成工程において、前記撮像部を視点とする前記保持部の3次元画像を生成する、請求項10に記載の保持部表示方法。
  12. 前記3次元画像生成工程において、前記撮像部によって撮像された部品の大きさに基づいて、前記保持部の3次元画像を生成する、請求項10または11に記載の保持部表示方法。
  13. 前記撮像画像に基づいて、原点位置を設定する原点位置設定工程を、さらに含み、
    前記表示処理工程において、前記原点位置に前記保持部の3次元画像の基点を合わせて前記表示部に表示させる、請求項10から12のいずれかに記載の保持部表示方法。
  14. 前記表示処理工程において、前記保持部のサイズ情報に含まれる少なくとも1つの情報を前記表示部に表示させる、請求項10から13のいずれかに記載の保持部表示方法。
  15. 前記保持部のサイズ情報と関連付けられた前記部品のサイズ情報のうち少なくとも一部の情報を入力する入力工程と、
    入力された前記情報から適合する前記保持部を抽出する抽出工程と、をさらに含み、
    前記表示処理工程において、抽出された前記保持部の3次元画像を前記表示部に表示させる、請求項10から14のいずれかに記載の保持部表示方法。
  16. 前記3次元画像生成工程において、部品のサイズ情報に基づいて、前記保持部の3次元画像を生成する、請求項10から15のいずれかに記載の保持部表示方法。
  17. 前記保持部のサイズ情報と部品のサイズ情報とに基づいて、部品の保持条件を満たすかを判定する判定工程と、
    前記判定工程において前記部品の保持条件を満たさないと判定された場合、前記表示処理工程において、前記保持部の3次元画像の該当する箇所を視覚的に変化させて前記表示部に表示させる、請求項10から16のいずれかに記載の保持部表示方法。
  18. 前記3次元画像生成工程において、部品のサイズ情報に基づいて、前記部品の3次元画像を生成し、
    前記表示処理工程において、前記撮像画像に基づいて、前記部品の3次元画像を前記表示部に表示させる、請求項10から17のいずれかに記載の保持部表示方法。
JP2019045524A 2019-03-13 2019-03-13 保持部表示システムおよび保持部表示方法 Active JP7403040B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019045524A JP7403040B2 (ja) 2019-03-13 2019-03-13 保持部表示システムおよび保持部表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019045524A JP7403040B2 (ja) 2019-03-13 2019-03-13 保持部表示システムおよび保持部表示方法

Publications (2)

Publication Number Publication Date
JP2020149279A true JP2020149279A (ja) 2020-09-17
JP7403040B2 JP7403040B2 (ja) 2023-12-22

Family

ID=72429893

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019045524A Active JP7403040B2 (ja) 2019-03-13 2019-03-13 保持部表示システムおよび保持部表示方法

Country Status (1)

Country Link
JP (1) JP7403040B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002288256A (ja) * 2001-03-28 2002-10-04 Matsushita Electric Ind Co Ltd 回路基板の実装状態表示方法及びその装置
JP2006261205A (ja) * 2005-03-15 2006-09-28 Yamaha Motor Co Ltd 干渉検知方法および同装置
JP2006339531A (ja) * 2005-06-03 2006-12-14 Matsushita Electric Ind Co Ltd 吸着ノズル決定方法
JP2014235704A (ja) * 2013-06-05 2014-12-15 富士機械製造株式会社 基板生産支援システム
JP2017167902A (ja) * 2016-03-17 2017-09-21 富士電機株式会社 作業支援装置、作業支援システムおよび作業支援プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018056253A (ja) 2016-09-28 2018-04-05 パナソニックIpマネジメント株式会社 部品管理支援システムおよび部品管理支援方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002288256A (ja) * 2001-03-28 2002-10-04 Matsushita Electric Ind Co Ltd 回路基板の実装状態表示方法及びその装置
JP2006261205A (ja) * 2005-03-15 2006-09-28 Yamaha Motor Co Ltd 干渉検知方法および同装置
JP2006339531A (ja) * 2005-06-03 2006-12-14 Matsushita Electric Ind Co Ltd 吸着ノズル決定方法
JP2014235704A (ja) * 2013-06-05 2014-12-15 富士機械製造株式会社 基板生産支援システム
JP2017167902A (ja) * 2016-03-17 2017-09-21 富士電機株式会社 作業支援装置、作業支援システムおよび作業支援プログラム

Also Published As

Publication number Publication date
JP7403040B2 (ja) 2023-12-22

Similar Documents

Publication Publication Date Title
US20200319455A1 (en) System for virtual display and method of use
US10339382B2 (en) Feedback based remote maintenance operations
JP6748961B2 (ja) 投写画像調整システム及び投写画像調整方法
US10950057B2 (en) Virtual spatially registered video overlay display
JP2017187667A (ja) 頭部装着型表示装置およびコンピュータープログラム
JP7058798B2 (ja) 保守支援システム、保守支援方法及びプログラム
JP2018009836A (ja) プログラム、頭部装着型表示装置、キャリブレーション方法
JP2017191490A (ja) 技能伝承システム及び方法
US20180089860A1 (en) Component management support system and method for supporting component management
JP2009269134A (ja) 視覚検査装置のシミュレーション装置
JP2017192040A (ja) 3次元的な投影対象のための投影方法及び装置
JP7403040B2 (ja) 保持部表示システムおよび保持部表示方法
KR20170116773A (ko) 스마트 글라스를 이용한 증강현실 가공기 관리 시스템
US20130346871A1 (en) Graphical user interface apparatus, system, method and computer program product
JP6540426B2 (ja) 表示システム、表示装置、情報表示方法、及び、プログラム
JP2018056252A (ja) フィーダ配置支援システムおよびフィーダ配置支援方法
JP6374203B2 (ja) 表示システム及びプログラム
JP6800599B2 (ja) 情報処理装置、方法及びプログラム
EP3502836B1 (en) Method for operating an augmented interactive reality system
US11216151B2 (en) Information processing device and information processing method
KR20160014759A (ko) 휴대 단말을 이용한 영상 화면 제어 방법 및 장치
JP6837152B2 (ja) シェイプデータ類比判定装置
JPWO2020095784A1 (ja) 表示制御装置、プレゼンテーションシステム、表示制御方法、及びプログラム
JP6124863B2 (ja) ポインティング・ジェスチャ位置を認識する方法、コンピュータ、およびコンピュータ・プログラム
CN107272565B (zh) 一种用于控制光纤进入指定槽的对齐信息处理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220111

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20221020

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231113

R151 Written notification of patent or utility model registration

Ref document number: 7403040

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151