JP2009289046A - ３次元データを用いた作業支援装置及び方法 - Google Patents

Abstract

【課題】作業内容をわかり易く作業者に伝えて誤作業を減らして作業能率を向上させる３次元データを用いた作業支援装置及び方法を提供することを目的とする。
【解決手段】作業指示装置７の制御部は組立対象物４の３次元設計データを内部記憶装置の所定のデータ領域に設定し、画像処理装置６に対して組立対象物の輪郭データを設定し、撮像装置５に組立対象物４を撮像させ、その画像データを画像処理装置６に転送させ、画像処理装置６に画像データと一致する輪郭データを検出させ、撮像装置５の視点位置を作業者の視点位置に変換させ、変換した視点位置情報に基づいて輪郭データを表示装置に表示させる。
【選択図】 図１

Description

本発明は、３次元データを用いた作業支援装置及び方法に係わり、更に詳しくは手作業による組立作業を支援する３次元データを用いた作業支援装置及び方法に関する。

従来、作業者による組立作業において、作業内容をわかり易く伝えるために、組立内容を図示したものや写真等を用いて作業内容を指示する方法が一般的に行われている。しかし、そのためには作業単位ごとに作業指示内容を作成しなければならないので多くの時間が必要とされる。

この作業内容を正確にかつ短時間で作成する方法として、３次元設計データを利用して組み立て作業の指示内容を自動生成する方法がある。例えば、特許文献１には、部品の属性に応じた表示コマンドを生成し、そのコマンドに基づいて３次元設計データを表示する方法が開示されている。

ところで、特許文献１の方法は、作業の指示内容として表示する３次元データの位置や向きは、予め設定された固定的な位置である。
したがって、作業者が、例えば組立中に組立対象物の複数の部位に対して他の部品を組み付ける際に、参照したい３次元設計データの裏側など、作業の指示内容として表示装置に表示されている面以外の例えば裏側の面などについての情報も得たいと思っても得ることができない。

それだけではなく、予め設定された固定的な位置からの視点で表示される作業指示内容の部品形状は、作業者が作業台に向かって立っている位置からの目線での視点とは異なる場合が多いから、作業者は目の前にある部品を手にとって一通り全体の形状を確認してから相手側部品に組み付けるという手数をかけなければならない。
特開２００７−２２６２７８号公報

本発明は、上記の課題を解決するために、組立対象を作業者の視点から見た状態の３次元データで表示装置に表示することにより作業内容をわかり易く作業者に伝えて誤作業を減らして作業能率を向上させる３次元データを用いた作業支援装置及び方法を提供することを目的とする。

先ず、第１の発明の作業支援装置は、作業者が組立作業を行う組立対象物を撮影する撮像手段と、３次元座標における撮像手段のレンズ位置と作業者の目の位置との差分を算出する差分算出手段と、撮像手段により撮影された画像データから組立対象物の３次元設計データを特定する特定手段と、該特定手段により特定された組立対象物の３次元設計データを、差分算出手段により算出されている差分に基づき、作業者の目の位置から見た３次元設計データに変換する変換手段と、該変換手段により変換された３次元設計データを表示装置に表示する表示手段と、を有することを特徴とする。

先ず、第２の発明の作業支援方法は、作業者が組立作業を行う組立対象物を撮影する撮像工程と、３次元座標における前記撮像工程のレンズ位置と前記作業者の目の位置との差分を算出する差分算出工程と、前記撮像工程により撮影された画像データから前記組立対象物の３次元設計データを特定する特定工程と、該特定工程により特定された前記組立対象物の３次元設計データを、前記差分算出工程により算出されている差分に基づき、前記作業者の目の位置から見た３次元設計データに変換する変換工程と、該変換工程により変換された３次元設計データを表示装置に表示する表示工程と、を含むことを特徴とする。

本発明によれば、作業者が実際に組み立てている組立対象物が作業者の視点から見た状態で画面上に表示されるので、組み付ける方向などを間違えることがなく、これにより不良品の発生が低減して歩留まりが向上すると共に組み立て作業の能率も向上する。

以下、図面を参照して本発明の実施形態について詳細に説明する。
（第１の実施の形態）
図１は、第１の実施の形態における作業支援装置の全体構成を示す図である。

図１に示すように、作業支援装置１は、作業台２の上に載置された又は作業者３の手に持たれた組立対象物４を撮影するための撮像装置５と、撮像した画像から組立対象物４の位置と向きを解析して、作業者３の視点から見た位置と向きを求める画像処理装置６と、指定された視点位置における組立対象物の３次元設計データの表示を行う作業指示装置７とから構成される。

なお、上記の撮像装置５及び作業指示装置７は、それぞれ通信線８及び９により画像処理装置６に接続されている。
撮像装置５は、ＴＶカメラ等の撮像部を有する装置（撮像手段）であり、作業者による作業範囲を映す位置に設置され、組み立て作業の対象となる部品等の組立対象物の形状が認識可能な解像力を有し、撮像した画像データを画像処理装置６に出力する。

画像処理装置６は、特には図示しないが、少なくとも制御部と、内部記憶装置と、外部記憶装置と、入出力装置とを備えている。内部記憶装置には各種の画像処理プログラムが格納されており、外部記憶装置には、各種の組立対象物４の３次元設計データが格納されている。

画像処理装置６の制御部（特定手段、差分算出手段、変換手段）は、 撮像装置５により撮像された組立対象物の画像データに基づいて、予め登録（外部記憶装置に記憶）されている組立対象物の３次元設計データから撮像装置５の対物レンズの位置から見た組立対象物の輪郭を抽出して特定する機能と、その輪郭から、その組立対象物の位置と向きを算出する機能と、撮像装置５の対物レンズの位置から見た組立対象物の輪郭に対して、予め固定された位置に設定された作業者３の目の位置と撮像装置５の対物レンズの位置関係（差分関係）により、作業者の視点で見たときの組立対象物の輪郭の位置と向を求める機能を有している。

作業指示装置７は、これも特には図示しないが、少なくとも制御部と、内部記憶装置と、外部記憶装置と、表示装置とを備えている。作業指示装置７の表示装置（表示手段）は、指定された視点位置に応じた組立対象物４の３次元設計データを表示するための機能を備えており、例えば工程単位で組立対象物を切り替えて表示することが可能である。

ここで工程単位とは、一つの完成品に対する各構成部品ごとの組み立て工程や、個々の完成品ごとの組み立て工程を指している。
図２及び図３は、上記構成の作業支援装置１における組み立て作業支援の動作を説明するフローチャートである。なお、この処理は、作業指示装置７の制御部からの制御に基づいて行われる処理である。

先ず、図２において、作業が開始されると、作業指示装置７の制御部は、複数の組立対象物Ｗ（不図示）の３次元設計データを内部記憶装置の所定のデータ領域に設定する（ステップＳ１１）。

次に、作業指示装置７は、画像処理装置６に対して、いま内部記憶装置の所定のデータ領域に設定した３次元設計データから成る複数の組立対象物Ｗの輪郭データを設定する(ステップＳ１２)。この輪郭データは、輪郭線のみからなるイメージデータである。

続いて、作業指示装置７の制御部は、撮像装置（撮像手段）５を駆動して組立対象物４を撮像し、その撮像した画像を画像データとして適宜の記憶装置に記録した後、その画像データを画像処理装置６に転送する（ステップＳ１３）。

画像処理装置６では、詳しくは後述する複数の組立対象物Ｗから、撮像装置５で撮像した組立対象物４を検出する処理を行い、その処理結果を出力する（ステップＳ１４）。
この処理では、組立対象物４が検出されていれば、画像処理装置６により作業指示装置７に対して、組立対象物４の作業者から見た視点位置情報が送られる。検出されていなければＮＧデータが送られる。

作業指示装置７の制御部は、画像処理装置６により送られる検出処理の結果が、組立対象物４の検出を示しているか否かを判別し（ステップＳ１５）、組立対象物４が検出されていないときは（Ｓ１５がＮｏ）、ステップＳ１３の処理に戻って、ステップＳ１３〜Ｓ１５の処理を繰り返す。

そして、組立対象物４が検出されたときは（Ｓ１５がＹｅｓ）、その場合は、作業指示装置７は、画像処理装置６から送られてきた視点位置情報に基づく３次元設計データを、作業指示装置７の表示装置に表示する（ステップＳ１６）。

これにより、作業者の位置（目線）から見た組立対象物４の輪郭線データからなる画像が作業指示装置７の表示装置に表示される。
最後に、次の工程が残っているかを判別する（ステップＳ１７）。そして、次の工程が無ければ（Ｓ１７がＮｏ）、処理を終了するが、次の工程が有れば（Ｓ１７がＹｅｓ）、次の工程に使用する組立対象物４が何であるかを不図示の組立表データから取得して（ステップＳ１８）、ステップＳ１１の処理に戻る。

次に、図３において、上記ステップＳ１４の画像処理装置６における組立対象物４の検出処理について更に説明する。先ず、画像処理装置６の制御部は、組立対象物４の各頂点を画像処理によって検出し、各頂点間の相対位置関係をＸＹＺ座標で求める（ステップＳ２１）。

次に、画像処理装置６の制御部は、予め画像処理装置６の外部記憶装置に設定された複数の組立対象物Ｗのそれぞれの３次元設計データに対し、それぞれの３次元設計データの中心位置を球芯とする球面上のある一点の視点位置から見たときの頂点間の相対位置関係を求める（ステップＳ２２）。

この処理では、上記の球面は、少なくともそれぞれの組立対象物Ｗの３次元設計データの全座標値を内部に包含できる球面であればよい。
続いて、画像処理装置６の制御部は、ステップＳ２１の処理で求めた組立対象物４の頂点間の相対位置関係とステップＳ２２の処理で求めた複数の組立対象物Ｗにおける頂点間の相対位置関係とを対比してそれぞれ一致しているか否かを判別する（ステップＳ２３）。

そして、画像処理装置６の制御部により相対位置関係がそれぞれ一致している組立対象物４とＷ１（不図示）とを検出できた（即ち特定できた）ときは、作業指示装置７の制御部は、ステップＳ２２の処理で求めたときの視点位置を、予め設定されている作業者の視点位置と撮像装置の撮像位置との位置関係に基づいて算出される差分関係に従って、作業者の視点位置に変換して（ステップＳ２４）、図２の処理に戻る。

他方、一致していないときは、ステップＳ２２における球面上からの視点位置を球面内で一定間隔ずらす（ステップＳ２５）。
続いて、全球面上について一定間隔ずらした検出処理を全部の視点について行ったか否かを調べる（ステップＳ２６）。

そして、未だ検出していない視点位置があればステップＳ２２の処理に戻って、ステップＳ２２〜Ｓ２４、又はステップＳ２２、Ｓ２３、Ｓ２５、Ｓ２６の処理を繰り返す。
ステップＳ２６の処理で、全球面上について一定間隔ずらした検出処理を全部の視点について行ったことが判別されたときは（Ｓ２６がＹｅｓ）、検出不能のＮＧ信号を所定のフラグ領域に設定して、図２の処理に戻る。

以上の処理により、作業者は、目前の組立対象物の、目には見えない例えば反対側の面がどのような形状になっているものかを、組立対象物を動かすことなく容易に知ることが出来るので、例えば２つの組立対象物を組み立てる際の対応関係を容易に知ることができる。
（第２の実施の形態）
図４は、第２の実施の形態における作業支援装置１の組み立て作業支援の動作を説明するフローチャートである。なお、この処理も作業指示装置７の制御部からの制御に基づいて行われる処理である。

図４において、作業が開始されると、先ず、作業指示装置７の制御部は、組立対象物４の３次元設計データと、正常な視点位置範囲とを内部記憶装置の所定のデータ領域に設定する（ステップＳ３１）。

この処理では、組立対象物４を例えば天地を逆にした視点で見る状態にしては、正常な組立作業が出来ない場合に、天地を逆にした視点を除外した視点位置範囲が、正常な視点位置範囲として設定される。

続くステップＳ３２〜Ｓ３５の処理は、図２に示したステップＳ１２〜Ｓ１５の処理と同一である。したがって、ステップＳ３４の処理では、図３に示した一連の処理が実行される。

そして、図４において、ステップＳ３５の処理に続いて、作業指示装置７の制御部は、画像処理装置６から出力された作業者から見た視点位置情報が、ステップＳ３１の処理で予め設定されている正常な視点位置範囲にあるかを比較する（ステップＳ３６）。

そして、画像処理装置６から出力された作業者から見た視点位置情報が、正常な範囲内にあるときは（Ｓ３６がＹｅｓ）、その視点位置情報に基づく３次元設計データの作業指示装置への表示を、作業工程に合わせて続行する（ステップＳ３８、Ｓ３９、Ｓ４０、Ｓ３１）。

他方、作業指示装置７の制御部は、画像処理装置６から出力された作業者から見た視点位置情報が、正常な範囲外であるときは（Ｓ３６がＮｏ）、作業者に対して、組立対象物４を異常な位置で組み付けようとしていることを警告する作業指示装置による表示を行って（ステップＳ３７）、ステップＳ３３の処理に戻り、再びステップＳ３３〜Ｓ３６の処理を繰り返す。

本実施の形態によれば、この場合も、作業者は、目前の組立対象物の、目には見えない例えば反対側の面がどのような形状になっているものかを、組立対象物を動かすことなく容易に知ることが出来るので、例えば２つの組立対象物を組み立てる際の対応関係を容易に知ることができる。

また、それだけでなく、作業者は、自分が組み立てようとしている組立対象物が正しい姿勢で作業台上に置かれているか又は組立対象物を自分が正しい角度で手に持っているかを容易に知ることができ、間違っているときには間違いに容易に気づくことができる。
（第３の実施の形態）
ここで、先ず、従来の組立部品の組み立てに用いられてきた組立手順書の例について説明する。

図５(a) は従来の作業手順書または作業標準書の例を示す図であり、図５(b) はその作業手順書または作業標準書に基づいて行われる作業手順を示すフローチャートである。
従来、作業者が決められた作業を行う際には、図５(a) に示すような作業手順書または作業標準書が準備され、この作業手順書または作業標準書によって指示された作業手順に従って作業が行われる。

図５(a) に示す例は、部品Ａに部品Ｂを組み付ける組み立て作業を示している。この場合、作業手順は、図５(b) に示すように、先ず、作業手順書に示す部品Ａを取り出し（ステップＳ４１）、次に作業手順書に示された組み付ける部品Ｂを取り出し（ステップＳ４２）、さらに組み付け方法について作業手順書に画かれた絵を見ながら組み立て作業を行う（ステップＳ４３）。

このように、従来は、作業手順書を解読しながら行う作業となって効率が上がらないという問題を有していた。
第３の実施の形態では上記の問題を解決する。

図６は、第３の実施の形態の作業支援装置における組み立て作業支援の動作を説明するフローチャートである。
図７は、第３の実施の形態の作業支援装置における組み立て作業支援の表示画面の表示例を示す図である。

先ず、図６において、ステップＳ５１〜Ｓ５５の処理は、図２に示したステップＳ１１〜Ｓ１５の処理と同一である。したがって、ステップＳ５４の処理では、図３に示した一連の処理が実行される。

そして、図６において、ステップＳ５５の処理に続いて、画像処理装置６から出力された作業者から見た視点位置情報に基づいて、作業指示装置７の制御部は、３次元設計データの輪郭線イメージを作業指示装置７の表示装置に表示すると共に、組み付け位置とその組み付け方向も同時に表示する（ステップＳ５６）。

これにより、図７に示すように、作業指示装置７の表示画面には、部品Ａとこの部品Ａに組み付けられる部品Ｂの表示と共に、三角柱状の部品Ｂが、部品Ａの一面に設けられた断面が三角形の孔１０に、矢印１１で示すように組み付けられるべきものであることが表示される。

このように本例によれば、作業者は、作業指示装置７の表示画面に表示された組み付け部品の形状を見ながら、例えば作業台上に部品Ａを表示画面の表示通りに姿勢の正しい状態で載置し、自分が手に持っている部品Ｂを表示画面の表示通りに姿勢の正しい状態で持つだけで、それをどのように部品Ａに組み付けるのかを容易に知ることができ、作業能率を格段に向上させることが出来る。

なお、本発明は、上記実施の形態に限定されるものでなく、実施段階では、その要旨を変更しない範囲で種々変形することが可能である。

第１の実施の形態における作業支援装置の全体構成を示す図である。 第１の実施の形態の作業支援装置における組み立て作業支援の動作を説明するフローチャート（その１）である。 第１の実施の形態の作業支援装置における組み立て作業支援の動作を説明するフローチャート（その２）である。 第２の実施の形態の作業支援装置における組み立て作業支援の動作を説明するフローチャートである。 (a) は従来の作業手順書または作業標準書の例を示す図、(b) はその作業手順書または作業標準書に基づいて行われる作業手順を示すフローチャートである。 第３の実施の形態の作業支援装置における組み立て作業支援の動作を説明するフローチャートである。 第３の実施の形態の作業支援装置における組み立て作業支援の表示画面の表示例を示す図である。

符号の説明

１ 作業支援装置
２ 作業台
３ 作業者
４ 組立対象物
５ 撮像装置
６ 画像処理装置
７ 作業指示表示装置
８、９ 通信線
１０ 三角状の孔
１１ 組み付け方向

Claims (6)

1. 作業者が組立作業を行う組立対象物を撮影する撮像手段と、
   ３次元座標における前記撮像手段のレンズ位置と前記作業者の目の位置との差分を算出する差分算出手段と、
   前記撮像手段により撮影された画像データから前記組立対象物の３次元設計データを特定する特定手段と、
   該特定手段により特定された前記組立対象物の３次元設計データを、前記差分算出手段により算出されている差分に基づき、前記作業者の目の位置から見た３次元設計データに変換する変換手段と、
   該変換手段により変換された３次元設計データを表示装置に表示する表示手段と、
   を有することを特徴とする作業支援装置。
2. 前記作業者が前記組立対象物を組み立てる作業を行っているとき、前記撮像手段により撮像された前記組立対象物の画像データと、前記撮像手段のレンズ位置から見た前記特定されている３次元設計データとが一致するか否かを判別する判別手段と、
   該判別手段による判別が不一致を示したとき前記表示装置に作業誤りの警告を報知する報知手段と、
   を更に備えたことを特徴とする請求項１記載の作業支援装置。
3. 前記組み立て作業の組み立て手順に応じて、前記組立対象物間の組合せ方法を順次前記表示装置に３次元データで表示する作業指示手段、
   を更に有することを特徴とする請求項１又は２のいずれかに記載の作業支援装置。
4. 作業者が組立作業を行う組立対象物を撮影する撮像工程と、
   ３次元座標における前記撮像工程のレンズ位置と前記作業者の目の位置との差分を算出する差分算出工程と、
   前記撮像工程により撮影された画像データから前記組立対象物の３次元設計データを特定する特定工程と、
   該特定工程により特定された前記組立対象物の３次元設計データを、前記差分算出工程により算出されている差分に基づき、前記作業者の目の位置から見た３次元設計データに変換する変換工程と、
   該変換工程により変換された３次元設計データを表示装置に表示する表示工程と、
   を含むことを特徴とする作業支援方法。
5. 前記作業者が前記組立対象物を組み立てる作業を行っているとき、前記撮像工程により撮像された前記組立対象物の画像データと、前記撮像工程のレンズ位置から見た前記特定されている３次元設計データとが一致するか否かを判別する判別工程と、
   該判別工程による判別が不一致を示したとき前記表示装置に作業誤りの警告を報知する報知工程と、
   を更に含むことを特徴とする請求項４記載の作業支援方法。
6. 前記組み立て作業の組み立て手順に応じて、前記組立対象物間の組合せ方法を順次前記表示装置に３次元データで表示する作業指示工程、
   を更に含むことを特徴とする請求項４又は５のいずれかに記載の作業支援方法。