JP2019101603A - 製造補助装置 - Google Patents

製造補助装置 Download PDF

Info

Publication number
JP2019101603A
JP2019101603A JP2017229970A JP2017229970A JP2019101603A JP 2019101603 A JP2019101603 A JP 2019101603A JP 2017229970 A JP2017229970 A JP 2017229970A JP 2017229970 A JP2017229970 A JP 2017229970A JP 2019101603 A JP2019101603 A JP 2019101603A
Authority
JP
Japan
Prior art keywords
work
projection
display
work process
projector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017229970A
Other languages
English (en)
Other versions
JP6709206B2 (ja
Inventor
裕規 芝尾
Hironori Shibao
裕規 芝尾
永井 祐一
Yuichi Nagai
祐一 永井
巌 村田
Iwao Murata
巌 村田
麿介 菊池
Marosuke Kikuchi
麿介 菊池
啓 鈴木
Hiroshi Suzuki
啓 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2017229970A priority Critical patent/JP6709206B2/ja
Priority to CN201811208571.9A priority patent/CN109862333B/zh
Priority to US16/174,562 priority patent/US10732915B2/en
Priority to EP18204238.2A priority patent/EP3493003B1/en
Publication of JP2019101603A publication Critical patent/JP2019101603A/ja
Application granted granted Critical
Publication of JP6709206B2 publication Critical patent/JP6709206B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/048Monitoring; Safety
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41805Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by assembly
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/31From computer integrated manufacturing till monitoring
    • G05B2219/31027Computer assisted manual assembly CAA, display operation, tool, result
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/31From computer integrated manufacturing till monitoring
    • G05B2219/31048Project on workpiece, image of finished workpiece, info or a spot
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Factory Administration (AREA)
  • Automatic Assembly (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)

Abstract

【課題】作業効率を向上する。【解決手段】製造補助装置100は、ワークWの作業工程に関する作業情報を表示するプロジェクタ120(表示装置)と、ワークWを撮像する撮像装置110と、撮像装置110から出力された画像データに基づいて、作業工程の完了を判定する完了判定部と、作業工程が完了したと判定されると、次の作業工程に関する作業情報をプロジェクタ120に表示させる表示制御部と、を備える。次の作業工程に移ったとき、プロジェクタ120の表示内容を切り換える操作入力が不要となる。【選択図】図1

Description

本発明は、製品製造の作業を補助する製造補助装置に関する。
例えば、特許文献1に示すように、航空機を製造する際には、第1の部材と第2の部材を締結するといった作業が行われる。第1の部材と第2の部材に貫通孔を形成した後、第1の部材と第2の部材にファスナ部材が挿通される。
特許第5931458号公報
航空機に限らず、製品を製造する際には、1の作業工程を終えた後、次の作業工程に取り掛かるといったように、段階的に作業が進められる。このとき、各作業工程に関する作業情報を、表示装置に表示させれば作業効率の向上が図られる。しかし、1の作業工程を終えた後、次の作業工程に移ったとき、表示装置の表示内容を切り換える操作入力を強いられると、作業効率が低下してしまう。
そこで、本発明は、作業効率を向上することが可能な製造補助装置を提供することを目的とする。
上記課題を解決するために、本発明の製造補助装置は、ワークの作業工程に関する作業情報を表示する表示装置と、ワークを撮像する撮像装置と、撮像装置から出力された画像データに基づいて、作業工程の完了を判定する完了判定部と、作業工程が完了したと判定されると、次の作業工程に関する作業情報を表示装置に表示させる表示制御部と、を備える。
表示装置は、ワークに作業情報を投影させるプロジェクタであってもよい。
表示装置は、作業情報として、作業工程が完了したときのワークに関する投影画像をワークに投影してもよい。
表示装置は、作業工程における作業内容の種別に応じて、投影画像の表示態様を異ならせてもよい。
表示装置は、作業工程における作業内容の種別ごとに、順次、投影画像の投影を開始させてもよい。
表示装置は、表示内容を次の作業工程に関する作業情報に切り換える次工程切換ボタンを投影させてもよい。
表示装置は、表示内容を前の作業工程に関する作業情報に切り換える前工程切換ボタンを投影させてもよい。
完了判定部は、ワークにおける作業領域の撮像画像データに基づいて、作業工程におけるエラーを検出してもよい。
完了判定部は、ワークにおける作業領域外の撮像画像データに基づいて、作業工程におけるエラーを検出してもよい。
作業工程が完了したと判定されたときの時刻情報を記憶する記憶部を備えてもよい。
本発明によれば、作業効率を向上することができる。
ワークの作業工程の概略を説明するための図である。 ワークを示す図である。 製造補助装置の構成を示すブロック図である。 投影制御装置による投影処理を説明するための第1の図である。 投影制御装置による投影処理を説明するための第2の図である。 表示制御部による表示内容の切り換え処理の流れを示すフローチャートである。 第1変形例および第2変形例を説明するための図である。 第3変形例を説明するための図である。
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易にするための例示に過ぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
図1は、ワークWの作業工程の概略を説明するための図である。図2は、ワークWを示す図である。ここでは、図2に示すように、作業対象のワークWが翼部品である場合について説明する。初めに、ワークWへの作業工程に関する事項について簡単に説明する。
図1に示すように、ワークWは、支持体10に取り付けられる。具体的に、支持体10は、土台11に2本の支柱12が立設されており、2本の支柱12の内側にそれぞれ縦枠13が設けられる。2つの縦枠13の上端側および下端側にそれぞれ横枠14が架け渡される。ワークWは、2つの横枠14に支持されており、横枠14に設けられた位置決めピン15によって位置決めされる。
縦枠13には、治具Jが取り付けられる。治具Jは、穿孔板であって、複数の貫通孔Jaが形成された板状の本体部Jbの両端部から、縦枠13に向って脚部Jcが延在する。脚部Jcは、縦枠13に形成された不図示の係止部に係止される。こうして、治具Jが縦枠13に取り付けられる。
ここでは、1つの治具Jを示したが、治具Jは、複数設けられる。ワークWには、2列ずつ、例えば、5セットの貫通孔Waが形成される。2列の貫通孔Waは、例えば、間に設けられる梁部材とワークWとの締結に用いられる。治具Jは、セットごとに別個に設けられる。縦枠13には、ワークWの貫通孔Waのセットに対応する位置に、上記係止部が設けられる。作業者は、貫通孔Waを穿孔する作業工程において、セットごとに治具Jを付け替える。穿孔装置Bの工具を、治具Jの貫通孔Jaに挿通させた状態で、ワークWの貫通孔Waを形成する。こうして、ワークWの貫通孔Waが設計された位置に形成される。
以下では、上記のようなワークWに対する作業を補助する製造補助装置100について詳述する。ただし、上記の作業工程は一例であって、製造補助装置100は、他の様々な作業工程に適用可能である。
図3は、製造補助装置100の構成を示すブロック図である。図3中、データの流れを実線の矢印で示す。製造補助装置100は、撮像装置110、プロジェクタ120(表示装置)、投影制御装置130を含んで構成される。製造補助装置100では、平面に限らない立体物の表面に画像を投影するプロジェクションマッピング技術が用いられている。
撮像装置110は、ワークWを撮像して撮像画像データを生成する。撮像装置110は、投影制御装置130と有線通信、または、無線通信が可能であり、生成された撮像画像データは、投影制御装置130に送信される。図1では、撮像装置110の撮像範囲がワークWの一部である場合を示しているが、撮像装置110の撮像範囲は、ワークW全体であってもよい。また、撮像装置110の撮像範囲に、ワークWのうち、少なくとも作業領域が含まれるように、撮像装置110の向きが自動調整される機構が設けられてもよい。
プロジェクタ120は、例えば、DLP(Digital Light Processing)プロジェクタや液晶プロジェクタなどである。プロジェクタ120は、投影制御装置130の制御の下、ワークWに画像を投影する。なお、図1では、1個のプロジェクタ120が図示されているが、プロジェクタ120の数は、複数であってもよい。プロジェクタ120についても、撮像装置110と同様、図1では、プロジェクタ120の投影範囲がワークWの一部である場合を示しているが、プロジェクタ120の投影範囲は、ワークW全体であってもよい。また、プロジェクタ120の投影範囲に、ワークWのうち、少なくとも作業領域が含まれるように、プロジェクタ120の向きが自動調整される機構が設けられてもよい。
投影制御装置130は、例えば、パーソナルコンピュータである。投影制御装置130は、プロジェクタ120に画像を投影させる。投影制御装置130は、入力インターフェース140、記憶部150、中央制御部160を含んで構成される。なお、投影制御装置130は、パーソナルコンピュータに限らず、例えば、専用装置として構成されてもよいし、プロジェクタ120に内蔵されてもよいし、タブレットコンピュータのような持ち運び可能なデバイスに組み込まれてもよい。
入力インターフェース140は、例えば、マウス、キーボード、タッチパネルなどである。入力インターフェース140は、ユーザによる操作を受け付け、操作結果を示す入力情報を中央制御部160に送信する。
記憶部150は、例えば、ハードディスクドライブなどである。記憶部150には、プロジェクタ120によって投影される投影画像の元となる画像データが格納されている。
中央制御部160は、中央処理装置(CPU)、プログラム等が格納されたROM、ワークエリアとしてのRAM等を含むマイクロコンピュータから構成される。中央制御部160は、投影制御装置130全体を統括制御する。
中央制御部160は、プログラムを実行することで投影データ生成部162、完了判定部164、表示制御部166として機能する。投影データ生成部162は、記憶部150に格納されている画像データに基づいて、ワークWに投影する投影画像を示す投影データを生成する。生成された投影データは、プロジェクタ120に送信される。
投影画像が投影されるワークWは曲面形状を有している。投影画像は曲面に投影される。これにより、製造補助装置100では、作業者が所定の定点から見たときに、ワークWに投影された画像が歪んで見えないように、投影画像の校正が行われる。例えば、真円を湾曲したワークWに表示させる場合、そのままでは、作業者から見たとき、ワークWには楕円が投影されてしまう。この場合、投影データ生成部162は、校正前の画像データを、投影面(ワークWの表面)の形状データと、プロジェクタ120の位置とに基づいて、楕円の画像データに加工してプロジェクタ120に送信する。なお、校正後の画像データでは、校正前の画像データが投影された楕円に対して、長辺と短辺が入れ替わった向きの楕円となっている。その結果、作業者には、真円が視認される。また、投影画像の校正では、投影画像を格子状に区分して投影し、実際に対象物の曲面に表示された画像において格子の形状が歪んで見えないように、投影データの生成についての調整を行ってもよい。
図4は、投影制御装置130による投影処理を説明するための第1の図である。図4(a)に示すように、ワークWには、例えば、穿孔装置B、治具Jを用いて貫通孔Waが形成されている。次の作業工程では、貫通孔Waの縁を環状に面取り加工する皿モミが行われる。投影データ生成部162は、図4(b)に示すように、作業情報として、作業工程が完了したときのワークWに関する投影画像を生成する。
具体的には、記憶部150には、ワークWの作業工程ごとに、ワークWのどの位置にどのような投影画像を投影するのか(例えば、後述する輪形状の内外径など)を示す投影情報が記憶されている。投影情報は、例えば、入力インターフェース140などを介して、作業者が予め設定している。
投影データ生成部162は、投影情報を読み出し、現在の作業工程に対応する投影画像の形状や位置を特定する。投影データ生成部162は、特定された投影画像の形状に基づいて、輪形状の投影画像Paの画像データを生成する。投影画像Paの内径は、貫通孔Waのうち、面取り加工前の内径である。投影画像Paの外径は、貫通孔Waのうち、面取り加工された後の外径である。
また、投影データ生成部162は、投影情報に基づいて、皿モミ径を文字で示す投影画像Pb、次工程切換ボタンを示す投影画像Pc、前工程切換ボタンを示す投影画像Pdを示す画像データをそれぞれ生成する。次工程切換ボタンは、表示(投影)内容を次の作業工程に関する作業情報に切り換えるボタンである。前工程切換ボタンは、表示(投影)内容を前の作業工程に関する作業情報に切り換えるボタンである。
表示制御部166は、プロジェクタ120を制御し、投影データ生成部162によって生成された画像データ、すなわち、ワークWの作業工程に関する作業情報を、ワークWに投影(表示)させる。
作業者は、投影画像Paによって、面取り加工の対象や、面取り加工の皿モミ径を把握できる。また、文字情報として皿モミ径が明示されていることから、皿モミ径を誤る可能性が低減される。
そして、図4(c)に示すように、面取り加工が進む(テーパ面Wb)。完了判定部164は、皿モミの作業工程の開始時から、撮像装置110から送信された撮像画像データに基づいて、貫通孔Waの面取り加工が完了したか否かを判定している。完了判定部164は、例えば、撮像画像データから面取り加工完了後の輪郭線が検出されると、その貫通孔Waの面取り加工が完了したと判定する。表示制御部166は、面取り加工が完了したと判定された貫通孔Waについて、順次、投影画像Paの投影を停止する。
また、完了判定部164は、皿モミの作業工程の開始時から、対象となる貫通孔Waすべての面取り加工が完了したか否かを判定している。図4(d)に示すように、対象となる貫通孔Waすべての面取り加工が完了すると、完了判定部164によって作業工程が完了したと判定される。
完了判定部164によって作業工程が完了したと判定されると、投影データ生成部162は、投影情報を読み出し、次の作業工程に対応する投影画像の形状や位置を特定する。投影データ生成部162は、特定された投影画像の形状に基づいて、画像データを生成する。表示制御部166は、投影データ生成部162が生成した画像データを、次の作業工程に関する作業情報としてプロジェクタ120に表示させる。
図5は、投影制御装置130による投影処理を説明するための第2の図である。次の作業工程では、貫通孔Waにファスナ(例えば、ボルトなど)を挿入する締結作業が行われる。投影データ生成部162は、図5(b)に示すように、作業情報として、作業工程が完了したときのワークWに関する投影画像を生成する。
具体的には、投影データ生成部162は、投影情報を読み出し、特定された投影画像の形状に基づいて、ファスナの投影画像Peの画像データを生成する。投影画像Peの外径は、例えば、ファスナの頭部の外径である。
また、投影データ生成部162は、投影情報に基づいて、ファスナの名称(種別)や締付トルクを文字で示す投影画像Pb、次工程切換ボタンを示す投影画像Pc、前工程切換ボタンを示す投影画像Pdを示す画像データをそれぞれ生成する。
表示制御部166は、プロジェクタ120を制御し、投影データ生成部162によって生成された画像データをワークWに投影(表示)させる。作業者は、ファスナの画像によって、締結対象の貫通孔Waやファスナ頭部の外径を把握できる。また、文字情報としてファスナ名称や締付トルクが明示されていることから、ファスナの種類や締付トルクを誤る可能性が低減される。
そして、図5(c)に示すように、ファスナWcの挿入作業が進む。完了判定部164は、ファスナWcの挿入作業工程の開始時から、撮像装置110から送信された撮像画像データに基づいて、貫通孔Waそれぞれについて、ファスナWcの挿入作業が完了したか否かを判定している。完了判定部164は、例えば、撮像画像データからファスナWc頭部の輪郭線が検出されると、その貫通孔WaへのファスナWc挿入作業が完了したと判定する。表示制御部166は、ファスナWc挿入作業が完了したと判定された貫通孔Waについて、順次、投影画像Peの投影を停止する。
また、完了判定部164は、ファスナWc挿入の作業工程の開始時から、対象となる貫通孔WaすべてのファスナWc挿入作業が完了したか否かを判定している。対象となる貫通孔WaすべてのファスナWc挿入作業が完了すると、完了判定部164によって作業工程が完了したと判定される。
次の作業工程では、図面通りに作業が行われたか否かを検査する検査作業が行われる。投影データ生成部162は、図5(d)に示すように、作業情報として、チェック項目を文字で示す投影画像Pfを示す画像データを生成する。表示制御部166は、プロジェクタ120を制御し、投影データ生成部162によって生成された画像データ(次工程切換ボタンを示す投影画像Pc、前工程切換ボタンを示す投影画像Pdを示す画像データを含む)をワークWに投影させる。
作業者は、チェック項目のチェックが完了し、図面通りに作業が行われていた場合には、次工程切換ボタンを示す投影画像Pcとプロジェクタ120の間に手をかざす。表示制御部166は、撮像装置110によって生成された撮像画像データに対して、例えば、投影画像Pcの形状のパターンマッチング処理を行うことで、投影画像Pcの一部が消失した(手の影になった)ことを識別する。表示制御部166は、次工程切換ボタンが操作されたと判断し、次の作業工程に関する作業情報をプロジェクタ120に表示させる。
また、作業者は、図面通りに作業が行われていなかった場合には、前工程切換ボタンを示す投影画像Pdとプロジェクタ120の間に手をかざす。表示制御部166は、投影画像Pcの場合と同様、投影画像Pdの一部が消失したことで、前工程切換ボタンが操作されたと判断し、前の作業工程に関する作業情報をプロジェクタ120に表示させる。作業者は、前工程切換ボタンを操作して、図面通りに作業が行われていなかった作業工程まで表示内容を戻し、必要な作業を行う。
また、完了判定部164は、それぞれの作業工程が完了したと判定されたときの時刻情報(タイムスタンプ)を、記憶部150に記憶させる。そのため、例えば、検査作業などが作業工程の合間に行われたことを示すエビデンスとして、時刻情報を利用可能となる。
ここでは、作業者が、次工程切換ボタンや前工程切換ボタンと、プロジェクタ120との間に手をかざすことで、次工程切換ボタンや前工程切換ボタンを操作する場合について説明した。ただし、次工程切換ボタンや前工程切換ボタンへの操作を確実に検出するため、作業者が、LEDライトを次工程切換ボタンや前工程切換ボタンにかざしてもよい。また、作業者が、予め形状が登録されたマーカが設けられた指示棒などを、次工程切換ボタンや前工程切換ボタンと、プロジェクタ120との間にかざしてもよい。
図6は、表示制御部166による表示内容の切り換え処理の流れを示すフローチャートである。図6に示す処理は、所定の周期で繰り返し実行される。
(S200)
撮像装置110は、ワークWを撮像して撮像画像データを生成する。生成された撮像画像データは、投影制御装置130に送信される。
(S202)
完了判定部164は、撮像装置110から送信された撮像画像データに基づいて、次の作業工程に遷移するか否かを判定している。次の作業工程に遷移するのは、上記のように、作業工程における作業が完了した場合、および、次工程切換ボタンが操作された場合である。次の作業工程に遷移する場合、S204に処理を移し、次の作業工程に遷移しない場合、S206に処理を移す。
(S204)
投影データ生成部162は、次の作業工程の投影情報を読み出し、投影する投影画像の画像データを生成する。表示制御部166は、プロジェクタ120を制御し、投影データ生成部162によって生成された画像データをワークWに投影させる。
(S206)
完了判定部164は、撮像装置110から送信された撮像画像データに基づいて、前の作業工程に遷移するか否かを判定している。前の作業工程に遷移するのは、上記のように、前工程切換ボタンが操作された場合である。前の作業工程に遷移する場合、S208に処理を移し、前の作業工程に遷移しない場合、当該表示内容の切り換え処理を終了する。
(S208)
投影データ生成部162は、前の作業工程の投影情報を読み出し、投影する投影画像の画像データを生成する。表示制御部166は、プロジェクタ120を制御し、投影データ生成部162によって生成された画像データをワークWに投影させる。
図7は、第1変形例および第2変形例を説明するための図である。図7(a)に示すように、第1変形例では、1セット2列の貫通孔Waが、図7(a)中、左右2つの作業領域Aa、Abに分けられている。図7(a)中、左側の作業領域Aaには、4つの貫通孔Waが位置し、図7(a)中、右側の作業領域Abには、6つの貫通孔Waが位置する。
作業領域Aaの4つの貫通孔Waと作業領域Abの6つの貫通孔Waとでは、内径が異なり、皿モミ径が異なる面取り加工が行われる。作業領域Aaの4つの貫通孔Waと、作業領域Abの6つの貫通孔Waは、作業内容の種別(ここでは、皿モミ径)が異なる。
投影データ生成部162は、皿モミ径ごとに分類された貫通孔Waが含まれる領域を、それぞれ作業領域Aa、Abに区分けする。そして、作業領域Aaの貫通孔Waに投影する投影画像Pgと、作業領域Abの貫通孔Waに投影する投影画像Phは、貫通孔Waの内径や皿モミ径に合わせて、内外径が異なる。また、投影データ生成部162は、投影画像Pgと投影画像Phで表示態様(例えば、色)を異ならせた画像データを生成する。表示制御部166は、投影画像Pg、投影画像Phをプロジェクタ120に投影させる。
こうして、プロジェクタ120は、作業工程における作業内容の種別に応じて、投影画像Pg、Phの表示態様を異ならせる。そのため、作業者は、投影画像Pg、投影画像Phの表示態様の違いから、作業領域Aa、Abの作業を混同し難くなる。また、皿モミ径を文字で示す投影画像Pbも、作業領域Aa、Abごとに設けられることから、作業領域Aa、Abの作業の混同の可能性がさらに低減する。
ここで、作業内容の種別としては、例えば、挿入対象となる部材であるファスナの長さ、種類、径などが挙げられる。また、挿入作業の違い(冷やし嵌め、隙間嵌め、接着剤を用いたウェットインストール)も、作業内容の種別に含まれる。
図7(b)、図7(c)に示すように、第2変形例では、第1変形例と同様、皿モミ径ごとに分類された貫通孔Waが含まれる領域が、2つの作業領域Aa、Abに区分けされる。ただし、第2変形例では、第1変形例と異なり、図7(b)に示すように、まず、作業領域Abの投影画像Phのみが投影され、作業領域Aaの投影画像Pgは投影されない。
そして、完了判定部164は、作業工程の開始時から、撮像装置110から送信された撮像画像データに基づいて、作業領域Abの貫通孔Waすべての面取り加工が完了したか否かを判定している。完了判定部164が、作業領域Abの貫通孔Waすべての面取り加工が完了したと判定すると、表示制御部166は、作業領域Aaの投影画像Pgを投影させる。
その後、完了判定部164は、撮像装置110から送信された撮像画像データに基づいて、作業領域Aaの貫通孔Waすべての面取り加工が完了したか否かを判定する。完了判定部164が、作業領域Aaの貫通孔Waすべての面取り加工が完了したと判定すると、次の作業工程に遷移する。
このように、第2変形例では、プロジェクタ120は、作業工程における作業内容の種別ごとに、順次、投影画像Pg、Phの投影を開始させる。そのため、作業領域Aa、Abの作業の混同の可能性がさらに低減する。
図8は、第3変形例を説明するための図である。第3変形例では、完了判定部164は、ワークWにおける作業領域Acの撮像画像データに基づいて、作業工程におけるエラーを検出する。例えば、面取り加工後の皿モミ径が設計値よりも小さかった場合、完了判定部164は、撮像画像データによって「面取り加工後の皿モミ径が設計値よりも小さい」というエラーを検出する。具体的には、完了判定部164は、例えば、撮像画像データから貫通孔Waの皿モミ径を導出し、設計値と比較して許容誤差以上の差異があれば、エラーと判定する。
ここで、完了判定部164が検出できる作業領域Acにおける作業のエラーは、例えば、以下の例が挙げられる。すなわち、ファスナの径や貫通孔Waの径が許容誤差を超えていること、設計箇所以外への貫通孔Waの形成、設計箇所に貫通孔Waが形成されていないことなどである。
また、完了判定部164は、ワークWにおける作業領域Acの外部の撮像画像データに基づいて、作業工程におけるエラーを検出する。例えば、作業工程の作業対象が作業領域Acの内部の貫通孔Waであるにもかかわらず、作業者が誤って作業領域Acの外部の貫通孔Waに対して、面取り加工を行ってしまったとする。完了判定部164は、撮像画像データによって、「作業対象外の貫通孔Waに対して作業を行っている」というエラーを検出する。具体的には、完了判定部164は、例えば、撮像画像データから、作業領域Acの外部の貫通孔Waの径を導出し、面取り加工前の設計値と比較して許容誤差以上の差異があれば、エラーと判定する。
エラーが検出されると、完了判定部164は、投影画像としてエラーメッセージを投影させたり、不図示のスピーカから警告音を発生させたりする。
このように、完了判定部164がエラー検出を行うことで、作業者の誤った作業の発生が抑制される。特に、作業領域Ac内のエラー検出により、作業内容の誤りが検出される。作業領域Acの外部のエラー検出により、作業手順の誤りが検出される。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、上述した実施形態および変形例では、1セットの貫通孔Waについて、面取り加工作業、ファスナ挿入作業、検査作業が進められる場合について説明した。しかし、すべてのセットの貫通孔Waについて、セットごとに面取り加工作業が行われてもよい。その後、すべてのセットの貫通孔Waについて、セットごとにファスナ挿入作業が行われ、検査作業が進められてもよい。
また、上述した実施形態および変形例では、ワークWに貫通孔Waを形成する穿孔作業において投影画像が用いられない場合について説明した。ただし、穿孔作業やそのほかの作業工程においても、投影画像による作業補助が行われてもよい。
また、完了判定部164は、穿孔作業の前の作業工程として、支持体10へのワークWの取付位置や、支持体10への治具Jの取付位置が適切であるか否かを、位置決めピン15や係止部近傍を撮像した撮像画像データに基づいて判定してもよい。この場合、完了判定部164は、取付位置が適切でないと判定すると、投影画像としてエラーメッセージを投影させたり、不図示のスピーカから警告音を発生させたりする。
また、上述した実施形態および変形例では、プロジェクタ120が設けられる場合について説明した。プロジェクタ120を用いる場合、作業情報をワークWに投影することができるため、作業内容が直観的に把握されやすい。ただし、プロジェクタ120は、必須構成ではない。プロジェクタ120の代わりに例えば、タブレット端末など、他の表示装置が用いられてもよい。
また、上述した実施形態および変形例では、プロジェクタ120は、作業情報として、作業工程が完了したときのワークWに関する投影画像をワークWに投影する場合について説明した。ただし、作業情報の内容は、作業工程が完了したときのワークWに関するものに限定されない。
また、上述した実施形態および変形例では、プロジェクタ120は、次工程切換ボタン、前工程切換ボタンを投影させる場合について説明したが、次工程切換ボタン、前工程切換ボタンの投影は必須構成ではない。ただし、次工程切換ボタン、前工程切換ボタンの投影により、投影制御装置130の操作性が向上する。
また、上述した実施形態および変形例では、記憶部150は、作業工程が完了したと判定されたときの時刻情報を記憶する場合について説明した。ただし、作業工程が完了したと判定されたときの時刻情報の記憶部150への記憶処理は必須ではない。
本発明は、製品製造の作業を補助する製造補助装置に利用できる。
100 製造補助装置
110 撮像装置
120 プロジェクタ
150 記憶部
164 完了判定部
166 表示制御部
Aa、Ab、Ac 作業領域
Pa、Pb、Pc、Pd、Pe、Pf、Pg、Ph 投影画像
W ワーク

Claims (10)

  1. ワークの作業工程に関する作業情報を表示する表示装置と、
    前記ワークを撮像する撮像装置と、
    前記撮像装置から出力された画像データに基づいて、前記作業工程の完了を判定する完了判定部と、
    前記作業工程が完了したと判定されると、次の作業工程に関する作業情報を前記表示装置に表示させる表示制御部と、
    を備える製造補助装置。
  2. 前記表示装置は、前記ワークに前記作業情報を投影させるプロジェクタである請求項1に記載の製造補助装置。
  3. 前記表示装置は、前記作業情報として、前記作業工程が完了したときの前記ワークに関する投影画像を前記ワークに投影する請求項2に記載の製造補助装置。
  4. 前記表示装置は、前記作業工程における作業内容の種別に応じて、前記投影画像の表示態様を異ならせる請求項3に記載の製造補助装置。
  5. 前記表示装置は、前記作業工程における作業内容の種別ごとに、順次、前記投影画像の投影を開始させる請求項3または4に記載の製造補助装置。
  6. 前記表示装置は、表示内容を前記次の作業工程に関する作業情報に切り換える次工程切換ボタンを投影させる請求項2から5のいずれか1項に記載の製造補助装置。
  7. 前記表示装置は、表示内容を前の前記作業工程に関する作業情報に切り換える前工程切換ボタンを投影させる請求項2から6のいずれか1項に記載の製造補助装置。
  8. 前記完了判定部は、前記ワークにおける作業領域の前記撮像画像データに基づいて、前記作業工程におけるエラーを検出する請求項1から7のいずれか1項に記載の製造補助装置。
  9. 前記完了判定部は、前記ワークにおける作業領域外の前記撮像画像データに基づいて、前記作業工程におけるエラーを検出する請求項1から8のいずれか1項に記載の製造補助装置。
  10. 前記作業工程が完了したと判定されたときの時刻情報を記憶する記憶部を備える請求項1から9のいずれか1項に記載の製造補助装置。
JP2017229970A 2017-11-30 2017-11-30 製造補助装置 Active JP6709206B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017229970A JP6709206B2 (ja) 2017-11-30 2017-11-30 製造補助装置
CN201811208571.9A CN109862333B (zh) 2017-11-30 2018-10-17 制造辅助装置
US16/174,562 US10732915B2 (en) 2017-11-30 2018-10-30 Manufacturing assistance apparatus
EP18204238.2A EP3493003B1 (en) 2017-11-30 2018-11-05 Manufacturing assistance apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017229970A JP6709206B2 (ja) 2017-11-30 2017-11-30 製造補助装置

Publications (2)

Publication Number Publication Date
JP2019101603A true JP2019101603A (ja) 2019-06-24
JP6709206B2 JP6709206B2 (ja) 2020-06-10

Family

ID=64362317

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017229970A Active JP6709206B2 (ja) 2017-11-30 2017-11-30 製造補助装置

Country Status (4)

Country Link
US (1) US10732915B2 (ja)
EP (1) EP3493003B1 (ja)
JP (1) JP6709206B2 (ja)
CN (1) CN109862333B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021039425A1 (ja) * 2019-08-28 2021-03-04
JP7470578B2 (ja) 2020-06-19 2024-04-18 株式会社Subaru 作業支援システム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3961327B1 (en) 2020-08-27 2023-11-01 Omron Europe B.V. Assembly assistance device and method
USD984910S1 (en) * 2021-02-24 2023-05-02 Autel Intelligent Technology Corp., Ltd. Calibration apparatus
US11762367B2 (en) 2021-05-07 2023-09-19 Rockwell Collins, Inc. Benchtop visual prototyping and assembly system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013257861A (ja) * 2012-05-18 2013-12-26 Ricoh Co Ltd 画像処理装置、画像処理プログラム、画像処理方法
WO2016132731A1 (ja) * 2015-02-16 2016-08-25 日本電気株式会社 作業支援装置、作業支援システム、作業支援方法及び作業支援プログラムを記憶する記録媒体

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5931458B2 (ja) 1977-09-02 1984-08-02 エヌオーケー株式会社 摺動材料
DE3176016D1 (en) * 1980-12-30 1987-04-23 Ibm System for remotely displaying and sensing information using shadow parallax
US5957559A (en) * 1997-04-29 1999-09-28 Virtek Vision Corporation Laser scanned menu
DE19810045C1 (de) * 1998-03-09 1999-09-02 Siemens Ag Verfahren und Vorrichtung zur Verarbeitung von anwenderspezifisch in verschiedenen Datenspeichern hinterlegten Daten einer technischen Anlage
IL126866A (en) * 1998-11-02 2003-02-12 Orbotech Ltd Apparatus and method for fabricating flat workpieces
DE10260305A1 (de) * 2002-12-20 2004-07-15 Siemens Ag HMI Einrichtung mit einem optischem Touch Screen
US7433796B2 (en) * 2004-11-16 2008-10-07 The Boeing Company Methods, systems, and formats for data, such as data used in laser projection of fasteners used in manufacturing
US8010218B2 (en) * 2008-09-30 2011-08-30 Rockwell Automation Technologies, Inc. Industrial automation interfaces integrated with enterprise manufacturing intelligence (EMI) systems
WO2012109593A1 (en) * 2011-02-11 2012-08-16 OPS Solutions, LLC Light guided assembly system and method
JP5931458B2 (ja) * 2012-01-17 2016-06-08 三菱航空機株式会社 耐雷ファスナ、耐雷ファスナの装着方法
DE102013114707A1 (de) * 2013-12-20 2015-06-25 EXTEND3D GmbH Verfahren zur Durchführung und Kontrolle eines Bearbeitungsschritts an einem Werkstück
WO2015185211A2 (en) * 2014-06-05 2015-12-10 Ingo Stork Genannt Wersborg Heat treatment monitoring system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013257861A (ja) * 2012-05-18 2013-12-26 Ricoh Co Ltd 画像処理装置、画像処理プログラム、画像処理方法
WO2016132731A1 (ja) * 2015-02-16 2016-08-25 日本電気株式会社 作業支援装置、作業支援システム、作業支援方法及び作業支援プログラムを記憶する記録媒体

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021039425A1 (ja) * 2019-08-28 2021-03-04
WO2021039425A1 (ja) * 2019-08-28 2021-03-04 パナソニックIpマネジメント株式会社 投影システム及び投影方法
JP7262022B2 (ja) 2019-08-28 2023-04-21 パナソニックIpマネジメント株式会社 投影システム及び投影方法
US11812203B2 (en) 2019-08-28 2023-11-07 Panasonic Intellectual Property Management Co., Ltd. Projection system and projection method
JP7470578B2 (ja) 2020-06-19 2024-04-18 株式会社Subaru 作業支援システム

Also Published As

Publication number Publication date
JP6709206B2 (ja) 2020-06-10
CN109862333B (zh) 2022-04-15
US20190163428A1 (en) 2019-05-30
US10732915B2 (en) 2020-08-04
CN109862333A (zh) 2019-06-07
EP3493003A1 (en) 2019-06-05
EP3493003B1 (en) 2022-04-20

Similar Documents

Publication Publication Date Title
JP2019101603A (ja) 製造補助装置
JP4724211B2 (ja) 締め付け作業支援装置
CN110653496B (zh) 激光打标设备的控制方法、激光打标设备及存储介质
US20140172151A1 (en) Numerical control device
JP2010079834A (ja) 座標検出装置の取り付け位置判断装置及び電子ボードシステム
US20180232139A1 (en) Window control method, information processing apparatus, and control method and control program of information processing apparatus
JP5468981B2 (ja) 画像測定機、プログラム、及び画像測定機のティーチング方法
WO2016084151A1 (ja) 作業支援システム、作業支援装置及び作業支援方法
JP2019076980A (ja) 識別プレート、トルクレンチ及びトルクレンチセット
JP6427332B2 (ja) 画像測定機
CN109963130B (zh) 图像投影装置
JP2009122972A (ja) 形状検査装置および形状検査プログラム
JP2011171388A (ja) プリント基板用コネクタ圧入装置、及び電子部品の製造方法
JP5500485B2 (ja) 三次元計測方法、三次元計測装置及び三次元計測プログラム
JP3214130U (ja) 長さ測定装置
CN108984411A (zh) 一种用于显示产品生产测试的方法
JP2006078314A (ja) 波形表示装置
JP2005309938A (ja) スケジュール生成装置
JP2022127012A (ja) 3次元図面展開システム、3次元図面出力方法、コンピュータプログラム
JP6718429B2 (ja) 画像投影装置
US20240193806A1 (en) Information processing system, information processing method, and information processing program
JP2005274370A (ja) 波形判定装置および表示画面への波形判定情報の表示方法
JP2005267404A (ja) ワーク加工システム及びワーク加工方法
WO2012046835A1 (ja) カッティングプログラム、カッティングシステム及びカッティング方法
EP2937546A1 (en) Engine output display controller and method for displaying engine output mode thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200428

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200522

R150 Certificate of patent or registration of utility model

Ref document number: 6709206

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250