JP2014229057A - 部品組立作業支援システムおよび部品組立方法 - Google Patents

Abstract

【課題】複合現実感技術を利用して、部品の組立作業の効率を大幅に向上させること。
【解決手段】本システムは、作業者の視点位置でその視線方向における作業空間を、一方の部品を組み付けるべき他方の部品と共に撮像する撮像手段3と、作業者の視点と、作業空間中の他方の部品との相対的な位置姿勢関係を示す位置姿勢情報を取得する位置姿勢情報取得手段14,15と、位置姿勢情報に基づいて、作業者の視点位置およびその視線方向における一方の部品の実物形状の仮想画像を生成する仮想画像生成手段16と、撮像手段5により撮像された作業空間の現実画像に仮想画像を重畳させて合成画像を生成する画像合成手段17と、合成画像を表示する表示手段6と、を備える。
【選択図】図１

Description

本発明は、複合現実感技術を用いて部品の組立作業を支援するための部品組立作業支援システムおよび同システムを用いた部品組立方法に関する。

従来より、構造物等を製造するための部品の組立作業においては、組み合わせる部品(ワーク）同士を、組立作業に先立って事前に突き合わせるなどして、組立に支障がないか、或いは組立て易いかなど、組立性を確認している。

しかしながら、部品が大きすぎて容易には動かせない場合や、或いは組み合わせる部品がそれぞれ別の場所で製作・保存されている場合には、組立作業に先立って組立性を確認することが極めて困難もしくは不可能である。

そのため、実際の組立作業を始めてから問題点が見つかり、組立作業を一旦中止して部品の修正作業を行う必要があった。このように組立作業を一旦中止して部品の修正作業を行うことにより、工程に遅れが生じてしまう。

このような事態を回避するためには、例えば、別の工場にて製作された部品を受け入れる際の受入れ検査の条件（検査項目の数など）を今よりも厳しくして、部品の受入れ時点で問題点を発見するようにすることも考えられる。或いはまた、他の工場における出荷時点の検査条件を今よりも厳しくすることも考えられる。

しかしながら、出荷時点や受入れ時点での検査条件をあまり厳しくすると、検査のためのコストが増加してしまうという問題があり、また、当該別の工場にはそもそも検査設備（寸法計測手段など）が設置されていない場合もある。

また、一般に組立作業には、組立要領書や作業指示書などが用いられる。これは紙ベースで図面や文章で説明されていることが多い。また最近は、ＰＣやタブレット端末を利用して立体図や動画などを使ったインタラクティブな理解しやすいコンテンツを使うことも取り組まれている。

しかしながら、作業者は組立要領書や作業指示書を側に置き、その内容を確認しながら作業に対応しているため、作業者の視線移動距離が大きくなり、無駄な動作を行うことになる。

また、コンテンツを工夫しても、やはり指示内容と現物を見比べながら作業を行うことになり、コンテンツの理解のために図や文章の理解が必要になる。

その結果、作業者の肉体的、或いは精神的な負担が大きくなってしまうという問題がある。

ところで近年、任意視点における現実空間の画像に、仮想空間の画像を重畳し、これにより得られた合成画像を観察者に提示する複合現実感（ＭＲ：Mixed Reality）技術が、現実世界と仮想世界をシームレスに、リアルタイムで融合させる画像技術として注目されている（特許文献１−４）。

特開２００５−１０７９６８号公報 特開２００５−２９３１４１号公報 特開２００３−３０３３５６号公報 特開２００８−２９３２０９号公報

そこで、本発明は、複合現実感技術を利用して、部品の組立作業における上述の問題を解決し、作業効率の大幅な向上を図ることができる部品組立作業支援システムおよび同システムを用いた部品組立方法を提供することを目的とする。

上記課題を解決するために、本発明は、部品の組立作業を支援するための部品組立作業支援システムであって、作業者の視点位置でその視線方向における作業空間を、一方の部品を組み付けるべき他方の部品と共に撮像するための撮像手段と、前記作業者の視点と、前記作業空間中の前記他方の部品との相対的な位置姿勢関係を示す位置姿勢情報を取得するための位置姿勢情報取得手段と、前記位置姿勢情報に基づいて、前記作業者の前記視点位置およびその視線方向における前記一方の部品の実物形状の仮想画像を生成するための仮想画像生成手段と、前記撮像手段により撮像された前記作業空間の現実画像に前記仮想画像を重畳させて合成画像を生成するための画像合成手段と、前記合成画像を表示するための表示手段と、を備える。

また、好ましくは、前記仮想画像生成手段は、３次元スキャナによって得られた前記一方の部品の３次元実物形状データに基づいて前記仮想画像を生成する。

また、好ましくは、前記位置姿勢情報取得手段は、前記他方の部品上の基準点に対する所定の相対位置に暫定的に設置される複合現実感用マーカーを有する。

また、好ましくは、前記位置姿勢情報取得手段は、前記作業者の視点位置およびその視線方向、並びに前記ワークの位置を計測するための位置方向計測装置を有する。

また、好ましくは、前記部品の組立手順に関する組立手順情報を生成するための組立手順情報生成部をさらに備え、前記組立手順情報生成部において生成された前記組立手順情報が前記画像合成手段により生成される前記合成画像の中に組み込まれる。

上記課題を解決するために、本発明は、部品の組立作業を支援するための部品組立作業支援システムを用いた部品組立方法であって、作業者の視点位置でその視線方向における作業空間を、一方の部品を組み付けるべき他方の部品と共に撮像する撮像工程と、前記作業者の視点と、前記作業空間中の前記他方の部品との相対的な位置姿勢関係を示す位置姿勢情報を取得する位置姿勢情報取得工程と、前記位置姿勢情報に基づいて、前記作業者の前記視点位置およびその視線方向における前記一方の部品の実物形状の仮想画像を生成する仮想画像生成工程と、前記撮像工程において撮像された前記作業空間の現実画像に前記仮想画像を重畳させて合成画像を生成する画像合成工程と、前記合成画像を表示する表示工程と、を備える。

また、好ましくは、前記位置姿勢情報取得工程は、前記他方の部品上の基準点に対する所定の相対位置に複合現実感用マーカーを暫定的に設置するマーカー設置工程を含む。

また、好ましくは、前記一方の部品と前記他方の部品との組立性の良否を判断するために、前記表示工程にて映し出された前記合成画像において、前記一方の部品の実物形状の仮想画像を前記他方の部品の現実画像に突き合わせる。

また、好ましくは、前記部品の組立手順に関する組立手順情報を生成する組立手順情報生成工程をさらに備え、前記組立手順情報生成工程にて生成された前記組立手順情報を、前記画像合成工程にて生成される前記合成画像の中に組み込む。

本発明による部品組立作業支援システムおよび同システムを用いた部品組立方法によれば、複合現実感技術を利用することにより、実際の部品同士を突き合わせることなく組立性を確認することができるので、部品組立の作業効率を大幅に向上させることができる。

本発明の一実施形態による部品組立作業支援システムの概略構成を示したブロック図。 図１に示した部品組立作業支援システムの概略構成を示した模式図。 図１に示した部品組立作業支援システムのマーカー部材を拡大して示した斜視図。 図１に示した部品組立作業支援システムを用いて、部品を検査し、必要に応じて修正し、組み付ける、一連の組立工程を示した模式図。 図１に示した部品組立作業支援システムの一変形例の概略構成を示した模式図。 図１に示した部品組立作業支援システムの他の変形例の概略構成を示したブロック図。 図７に示した部品組立作業支援システムの更に他の変形例の概略構成を示した模式図。 従来の部品組立作業を説明するための模式図。 従来の部品組立作業を説明するための他の模式図。

以下、本発明の一実施形態による部品組立作業支援システムおよび同システムを用いた部品組立方法について説明する。

なお、本システムによる支援の対象となる部品組立作業は、典型的には、ボイラその他の大型構造物を製造する際の部品組立作業であるが、それ以外にも、複数の部品を組立てて完成品を製造するための各種の部品組立作業を支援することができる。

本実施形態による部品組立作業支援システムは、複合現実感技術を用いるものであるので、まず初めに複合現実感技術について概説する。

既に述べたように複合現実感技術とは、任意視点における現実空間の画像に、仮想空間の画像を重畳し、これにより得られた合成画像を観察者に提示して、現実世界と仮想世界をシームレスに、リアルタイムで融合させる映像技術である。

すなわち、この複合現実感技術は、現実空間画像と、観察者の視点位置、視線方向に応じて生成される仮想空間画像とを合成することにより得られる合成画像を、観察者に提供するものである。そして、仮想物体のスケールを観察者に実寸感覚で捉えさせ、仮想物体が現実世界に本当に存在しているように感じさせることができる。

この複合現実感技術によれば、コンピュータ・グラフィック（ＣＧ）をマウスやキーボードで操作するのではなく、観察者が実際に移動して任意の位置や角度から見ることができる。すなわち、画像位置合わせ技術によってＣＧを指定の場所に置き、例えばシースルー型のヘッド・マウント・ディスプレイ（ＨＭＤ：Head Mount Display）を使って、そのＣＧを様々な角度から見ることが可能である。

複合現実感空間（ＭＲ空間）を表現するためには、現実空間中に定義した基準座標系、すなわち、現実空間に重畳しようとする仮想物体の位置姿勢を決定する基準となる現実空間中の座標系と、撮像部の座標系（カメラ座標系）との間の、相対的な位置姿勢関係を取得することが必要である。

そのための適切な画像位置合わせ技術としては、例えば、磁気センサー、光学式センサー、または超音波センサーを利用するものや、マーカー、ジャイロを利用するもの等があげられる。

ここで、マーカー（「ランドマーク」とも呼ばれる。）とは、画像の位置合わせのために使う指標のことであり、現実空間内に配置されたマーカーを、ＨＭＤに装着されたカメラ（撮像装置）で撮像することにより、カメラの位置姿勢を画像処理によって推定することができるというものである。

すなわち、現実空間中の既知の３次元座標に所定の視覚的特徴を有するマーカーを配置し、現実画像中に含まれるマーカーを検出し、検出したマーカーの構成要素（マーカーの中心や頂点など）の２次元画像位置と、既知の３次元座標とからカメラ（撮像装置）の位置姿勢が算出される。

本実施形態による部品組立作業支援システムは、上述した複合現実感技術を利用したものであり、以下にその構成について、図１乃至図４を参照して説明する。

図１および図２に示したように、本実施形態による部品組立作業支援システム１は、システム本体２と、このシステム本体２との間でデータ通信を行うヘッド・マウント・ディスプレイ（ＨＭＤ）３と、マーカー部材４と、を備えている。

部品組立作業支援システム１のシステム本体２は、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置、記憶媒体ドライブ装置、表示装置、入力デバイスなどを備えたコンピュータによって構成されている。

図２に示したようにＨＭＤ３は、作業者４の頭部に装着されており、撮像部５および表示部６を備えている。撮像部５および表示部６は、それぞれ２つずつ設けられており、撮像部５Ｒおよび表示部６Ｒは右目用、撮像部５Ｌおよび表示部６Ｌは左目用である。この構成により、ＨＭＤ３を頭部に装着した作業者４の右目と左目に対して視差画像を提示することができ、ＭＲ画像（合成画像）を３次元表示することができる。

ＨＭＤ３の撮像部５は、マーカー設置工程において、第１の部品(ワーク）７Ａの上に暫定的に設置されたＭＲ用マーカー部材８と共に、当該第１の部品７Ａを撮像する（撮像工程）。マーカー部材８は、第１の部品７Ａ上の基準点に対する所定の相対位置に設置されるものである。

図３に示したように、本実施形態によるマーカー部材８は、三角形の枠部９と、三角形の枠部材９の各頂点の下面に設けられた各支持部１０と、三角形の枠部材９の各頂点の上面に設けられた各複合現実感用マーカー１１とを備えている。

図１に示したように、ＨＭＤ３の撮像部５によって取得された現実空間の現実画像は、システム本体２の現実画像取得部１２に入力される。この現実画像取得部１２は、入力された現実画像のデータを、システム本体２の記憶部１３に出力する。

記憶部１３は、ＭＲ画像（合成画像）の提示処理のために必要な情報を保持し、処理に応じて情報の読み出しや更新を行うものである。

また、システム本体２は、記憶部１３が保持している現実画像の中から、マーカー部材８に設けられたマーカー１１を検出するためのマーカー検出部１４を備えている。

そして、現実物体である第１の部品７Ａの上に配置したマーカー部材８のマーカー１１の検出結果が、マーカー検出部１４から記憶部１３を介して撮像部位置姿勢推定部１５に送られる。この撮像部位置姿勢推定部１５は、マーカー１１の検出結果に基づいて、第１の部品７Ａ自身の物体座標系を基準座標系としたＨＭＤ３の撮像部５の位置姿勢を推定する（位置姿勢情報取得工程）。

ここで、マーカー部材８、マーカー検出部１４、および撮像部位置姿勢推定部１５が、部品組立作業支援システム１における位置姿勢情報取得手段を構成している。

撮像部位置姿勢推定部１５により推定されたＨＭＤ３の撮像部５の位置姿勢は、仮想画像生成部１６に送られる。仮想画像生成部１６は、撮像部位置姿勢推定部１５から送られた撮像部５の位置姿勢、すなわち、作業者４の視点位置およびその視線方向に基づいて、撮像部５の位置姿勢から見える他方の部品（ワーク）７Ｂの３次元の仮想画像を生成する（仮想画像生成工程）。

ここで、本実施形態による部品組立作業支援システム１では、この仮想画像生成部１６において、３次元スキャナ１８からのデータに基づいて、第１の部品７Ａに組み付けられるべき第２の部品の仮想画像３０Ｖが生成される。

より具体的には、図４に示したように、３次元スキャナ１８によって第２の部品７Ｂを３次元計測し、第２の部品７Ｂの３次元実物形状データを取得する。このとき、第２の部品７Ｂは、その組み付け対象である第１の部品７Ａを製造する工場とは別の工場に保管されていても良い。

次に、３次元スキャナ１８によって取得された第２の部品７Ｂの３次元実物形状データは、システム本体２の記憶部１３に送られて、そこに保存される。そして、仮想画像生成部１６は、記憶部１３に保存された第２の部品７Ｂの３次元実物形状データに基づいて、第２の部品７Ｂの仮想画像１９を生成する。

即ち、仮想画像生成部１６において生成される第２の部品７Ｂの仮想画像１９は、第２の部品７Ｂの理想形状に関する仮想画像ではなく、実際の第２の部品７Ｂの実物形状に関する仮想画像である。従って、この第２の部品７Ｂの仮想画像は、加工誤差、取付誤差、ひずみ、変形、加工処理の影響などを受けた実際の形状を示すものである。

仮想画像生成部１６において生成された第２の部品７Ｂの仮想画像１９は、システム本体２の画像合成部１７に送られる。画像合成部１７は、記憶部１３が保持している第１の部品７Ａの現実画像に、仮想画像生成部１６から送られる第２の部品７Ｂの仮想画像１９を重畳し、ＭＲ画像（合成画像）を生成する（画像合成工程）。

画像合成部１７で生成されたＭＲ画像（合成画像）は、ＨＭＤ３の表示部６に出力される（表示工程）。これにより、ＨＭＤ３の表示部６には、ＨＭＤ３の撮像部５の位置姿勢に応じた現実空間の画像と、仮想空間の画像とが重畳されたＭＲ画像が表示され、このＨＭＤ３を頭部に装着した作業者４に、複合現実空間を体験させることができる。

そして、作業者４は、図４に示したように、ＭＲ画像に表示された第２の部品７Ｂの実物形状に関する仮想画像１９を、同じくＭＲ画像に表示された第１の部品７Ａの現実画像２０に突き合わせて、それらの部品同士の組立性の良否を判断する。

作業者４は、第２の部品７Ｂの実物形状に関する仮想画像１９を、第１の部品７Ａの現実画像２０に突き合わせた結果、両部品間の組立性に問題があると判断した場合には、第１の部品７Ａおよび第２の部品７Ｂのいずれか一方、或いは両方を修正して、両部品間の組立性を担保する。

この組立性を担保するための作業は、第１の部品７Ａと第２の部品７Ｂとが同じ場所（工場）になくても、それぞれが別の場所（工場）にある場合でも実施することができる。

第１の部品７Ａと第２の部品７Ｂとの組立性が担保できたら、第２の部品７Ｂを、第１の部品７Ａが保管されている工場に搬入し、ここで両部品を組立てる。このとき、上述したように両部品の組立性は既に担保されている。

これに対して、図９に示した従来の組立方法においては、まず最初に、他の工場で製作された第２の部品７Ｂを、第１の部品７Ａが保管されている工場に搬入し、そこで両部品の現物同士を突き合わせる。

そして、両部品の組立性に問題がある場合には、第１の部品７Ａおよび第２の部品７Ｂのいずれか一方、或いは両方を修正して、組立性を担保し、しかる後に両部品を組立てる。

このように従来の組立方法では、実際の組立作業において部品の現物同士を突き合わせることで組立性を確認していたので、組立性に問題がある場合には組立作業を中断しなければならず、作業効率が低下してしまう。

一方、本実施形態による部品組立作業支援システム１によれば、第２の部品７Ｂの実物形状に関する仮想画像１９を、第１の部品７Ａの現実画像２０に突き合わせることにより、両部品の組立性を確認することができる。

このため、第１の部品７Ａと第２の部品７Ｂとが互いに別の場所にある場合でも両部品の組立性を確認することが可能である。或いはまた、部品が大きすぎて容易には動かせない場合でも、部品を動かすことなく、部品同士の組立性を確認することができる。

これに対して、本実施形態による部品組立作業支援システム１によれば、第２の部品７Ｂの実物形状に関する仮想画像１９を、第１の部品７Ａの現実画像２０に突き合わせるようにしたので、両部品の組立性をその全体にわたって検証することができる。

以上より、本実施形態による部品組立作業支援システム１においては、実際に両部品を組立てる前に組立性が担保され、その結果、組立作業を途中で中断することなく、円滑に短時間で完了することが可能であり、部品組立の作業効率を大幅に向上させることができる。

なお、上記実施形態においては、第２の部品７Ｂの全体を３次元スキャナ１８で計測して、第２の部品７Ｂの全体形状に関する仮想画像１９を生成するようにしたが、例えば、第２の部品７Ｂ全体のうちの、組立性の検証に必要な部位のみを３次元スキャナ１８で計測して、当該部位についてのみの仮想画像を生成しても良い。要するに、基準位置さえ合わせれば、仮想画像を生成する部位の範囲を適宜選択することができる。

図５は、上記実施形態の一変形例を示している。上述した実施形態においては、部品組立作業支援システム１における位置姿勢情報取得手段を、マーカー部材８、マーカー検出部１４、および撮像部位置姿勢推定部１５によって構成するようにした。

本変形例では、これに代えて、あるいはこれと併せて、図５に示したように、作業者４の視点位置およびその視線方向、並びに第１の部品７Ａの位置を計測するための位置方向計測装置２１を設けた。この種の位置方向計測装置２１としては、例えば、超音波センサーや磁気式・光学式位置計測センサーを用いることができる。

また、上述したような別途用意する複合現実感用マーカー１１に代えて、第１の部品７Ａ自身の一部（例えば、幾何学的特徴点である角部）を位置合わせ用の基準点（一種のマーカー）として利用することもできる。

図６は、上記実施形態の他の変形例を示しており、本変形例による部品組立作業支援システム１は、図１に示した上記実施形態の構成に対して、さらに、部品の組立手順に関する組立手順情報を生成するための組立手順情報生成部２２が追加されている。

この組立手順情報生成工程において生成された組立手順情報が、画像合成手段１７により生成される合成画像の中に組み込まれ、ＨＭＤ３の表示部６に表示される。

組立手順情報のタイプとしては、作業手順を文章で示すテキスト情報、組立手順を動画で示すアニメーション情報、或いは、次の部品を点灯して指示するなどのナビゲーション情報を用いることができる。

例えば、図７に示したように、本体部品２３に筒状部品２４を組み付ける作業を行う際には、ＨＭＤ３の表示部６に、テキスト情報として「組み付ける」の文字が表示されると共に、筒状部品２４の移動軌跡（矢印）が、組み付け後の筒状部品の仮想画像２５と共にナビゲーションまたはアニメーション情報として表示される。

ここで、ＨＭＤ３の表示部６に表示される筒状部品２４の仮想画像２５は、３次元スキャナ１８で予め取得した筒状部品２４の３次元実物形状データに基づいて仮想画像生成部１６で生成した筒状部品２４の実物形状の仮想画像を用いることができる。

作業者４は、組立手順情報生成部２２において生成され、ＨＭＤ３の表示部６に表示された組立手順情報を見ながら、筒状部品２４を本体部品２３に組み付ける。

これに対して従来の組立方法においては、作業者４は、図８に示したように、タブレット端末２６等に表示された作業手順と、本体部品２３・筒状部品２４とを交互に見比べなら組立作業を行う。このため、作業者４の肉体的、或いは精神的な負担が大きくなってしまう。

一方、本変形例による部品組立作業支援システム１においては、上述したように、作業者４は、ＨＭＤ３の表示部６に表示された組立手順情報を見ながら組立作業を行うので、作業指示と組立部品とを同じ目線で確認すること可能である。これにより、作業中の視線移動が最小限に抑えられ、作業者４の肉体的・精神的負担を軽減することができる。

また、作業者４にとって直感的に理解し易い各種の組立手順情報を、ＨＭＤ３の表示部６に表示させることができるので、作業者４の負担軽減が図られるばかりでなく、組立ミスを防止して作業の確実性を高めることができる。これにより、手戻り作業が不要となって、組立作業の効率を大幅に高めることができる。

１ 部品組立作業支援システム
２ システム本体
３ ヘッド・マウント・ディスプレイ（ＨＭＤ）
４ 作業者
５、５Ｒ、５Ｌ ＨＭＤの撮像部
６、６Ｒ、６Ｌ ＨＭＤの表示部
７Ａ 第１の部品（一方の部品）
７Ｂ 第２の部品（他方の部品）
８ マーカー部材（位置姿勢情報取得手段）
９ マーカー部材の枠部材
１０ マーカー部材の支持部
１１ マーカー
１２ 現実画像取得部
１３ 記憶部
１４ マーカー検出部（位置姿勢情報取得手段）
１５ 撮像部位置姿勢推定部（位置姿勢情報取得手段）
１６ 仮想画像生成部（仮想画像生成手段）
１７ 画像合成部（画像合成手段）
１８ ３次元スキャナ
１９ 第２の部品の仮想画像
２０ 第１の部品の現実画像
２１ 位置方向計測装置
２２ 組立手順情報生成部
２３ 本体部品
２４ 筒状部品
２５ 筒状部品の仮想画像
２６ タブレット端末

Claims (9)

1. 部品の組立作業を支援するための部品組立作業支援システムであって、
   作業者の視点位置でその視線方向における作業空間を、一方の部品を組み付けるべき他方の部品と共に撮像するための撮像手段と、
   前記作業者の視点と、前記作業空間中の前記他方の部品との相対的な位置姿勢関係を示す位置姿勢情報を取得するための位置姿勢情報取得手段と、
   前記位置姿勢情報に基づいて、前記作業者の前記視点位置およびその視線方向における前記一方の部品の実物形状の仮想画像を生成するための仮想画像生成手段と、
   前記撮像手段により撮像された前記作業空間の現実画像に前記仮想画像を重畳させて合成画像を生成するための画像合成手段と、
   前記合成画像を表示するための表示手段と、を備えた部品組立作業支援システム。
2. 前記仮想画像生成手段は、３次元スキャナによって得られた前記一方の部品の３次元実物形状データに基づいて前記仮想画像を生成する、請求項１記載の部品組立作業支援システム。
3. 前記位置姿勢情報取得手段は、前記他方の部品上の基準点に対する所定の相対位置に暫定的に設置される複合現実感用マーカーを有する、請求項１または２に記載の部品組立作業支援システム。
4. 前記位置姿勢情報取得手段は、前記作業者の視点位置およびその視線方向、並びに前記ワークの位置を計測するための位置方向計測装置を有する、請求項１乃至３のいずれか一項に記載の部品組立作業支援システム。
5. 前記部品の組立手順に関する組立手順情報を生成するための組立手順情報生成部をさらに備え、前記組立手順情報生成部において生成された前記組立手順情報が前記画像合成手段により生成される前記合成画像の中に組み込まれる、請求項１乃至４のいずれか一項に記載の部品組立作業支援システム。
6. 部品の組立作業を支援するための部品組立作業支援システムを用いた部品組立方法であって、
   作業者の視点位置でその視線方向における作業空間を、一方の部品を組み付けるべき他方の部品と共に撮像する撮像工程と、
   前記作業者の視点と、前記作業空間中の前記他方の部品との相対的な位置姿勢関係を示す位置姿勢情報を取得する位置姿勢情報取得工程と、
   前記位置姿勢情報に基づいて、前記作業者の前記視点位置およびその視線方向における前記一方の部品の実物形状の仮想画像を生成する仮想画像生成工程と、
   前記撮像工程において撮像された前記作業空間の現実画像に前記仮想画像を重畳させて合成画像を生成する画像合成工程と、
   前記合成画像を表示する表示工程と、を備えた部品組立方法。
7. 前記位置姿勢情報取得工程は、前記他方の部品上の基準点に対する所定の相対位置に複合現実感用マーカーを暫定的に設置するマーカー設置工程を含む、請求項６記載の部品組立方法。
8. 前記一方の部品と前記他方の部品との組立性の良否を判断するために、前記表示工程にて映し出された前記合成画像において、前記一方の部品の実物形状の仮想画像を前記他方の部品の現実画像に突き合わせる、請求項６または７に記載の部品組立方法。
9. 前記部品の組立手順に関する組立手順情報を生成する組立手順情報生成工程をさらに備え、前記組立手順情報生成工程にて生成された前記組立手順情報を、前記画像合成工程にて生成される前記合成画像の中に組み込む、請求項６乃至８のいずれか一項に記載の部品組立方法。
   

Images