JP2017044496A - 溶接検査方法 - Google Patents

Abstract

【課題】ビードの検査を容易に行うことができる溶接検査方法を提供する。
【解決手段】本発明は、ＭＲ画像を提示する情報処理装置１０１を用いた溶接検査方法であって、情報処理装置１０１が、現実空間の金属加工品Ｚと仮想空間の３次元モデルとを位置合わせする第１工程Ｓ１と、情報処理装置１０１が、設定された順番に基づきユーザの操作により検査対象のビードのみを表示する第２工程Ｓ２と、情報処理装置１０１が、ユーザの操作に応じて、ＨＭＤ１０２への送信データを、重畳画像データと現実空間を表示する第一画像データとの間で切り替える第３工程Ｓ３と、情報処理装置１０１が、ユーザの操作に応じて、ビードの検査結果を記録する第４工程Ｓ４と、情報処理装置１０１が、ユーザの操作及び順番に応じて、重畳画像データに表示されるビードを次のビードに切り替える第５工程Ｓ５と、を含む。
【選択図】図５

Description

本発明は、金属加工品の溶接のビードを検査するための溶接検査方法に関する。

金属加工品等の製造では、例えば金属同士の接合等において、溶接技術が多く用いられている。例えば車両で用いられる金属加工品では、１つの加工品に１００個所以上の溶接加工部位が存在するものもある。溶接加工部位には、ビードが形成されている。ビードは、１回のパスによって作られた溶接金属である。パスとは、各種の溶接継手に沿って行う１回の溶接操作である。金属加工品の品質チェックの１つには、想定した位置に想定した形状のビードが形成されているかを検査する工程がある。多数のビードを有する金属加工品の検査は、ビードの位置や大きさ等について、紙面やタブレットに表示された設計図と完成品とを比較して行われている。ビードの良否（合否）を判定する方法としては、例えば特開２０１４−０２４０６９号公報に記載されている。

特開２０１４−０２４０６９号公報 特開２０１５−１２５６４１号公報

発明者は、上記現状に着目し、これまでのビードの検査はユーザ（作業者）に大きな負担となっており、負担を軽減することで検査精度の面でも改善の余地があると考え、このことを新たな課題として見出した。特に車両の部品として用いられる金属加工品では、曲面形状が多い上、ビードが多数（例えば１００個以上）で且つ様々な位置に形成されているため、あらゆる方向から検査する必要があるなど、検査作業の煩雑さが大きく負担も大きい。ビードの位置と形状（大きさや長さ）の関係について、現物と設計図等とを見比べて判断することは、ユーザの相当の集中力を必要とした。ビードの位置・形状は、溶接技術によるため、様々な態様となり易い。

本発明は、このような事情に鑑みて為されたものであり、ビードの検査を容易に行うことができる溶接検査方法を提供することを目的とする。

本発明の溶接検査方法は、ヘッドマウントディスプレイを介してユーザに重畳画像である複合現実感を提示する情報処理装置を用いて、複数のビード及び曲面形状を有する金属加工品の前記ビードを検査する溶接検査方法であって、前記情報処理装置が、現実空間の前記金属加工品と仮想空間の３次元モデルとを位置合わせし、現実空間の前記金属加工品上に前記３次元モデルが重ねて表示される重畳画像データを前記ヘッドマウントディスプレイに送信する第１工程と、前記情報処理装置が、設定された順番に基づき、前記重畳画像データ上で検査対象のビードのみを表示する第２工程と、前記情報処理装置が、ユーザの操作に応じて、前記ヘッドマウントディスプレイを介してユーザに提示される画像を、前記重畳画像データと現実空間を表示する第一画像データとの間で切り替える第３工程と、前記情報処理装置が、ユーザの操作に応じて、検査対象として前記ヘッドマウントディスプレイに表示されている前記ビードの検査結果を記録する第４工程と、前記情報処理装置が、ユーザの操作及び前記順番に応じて、前記重畳画像データに表示される検査対象のビードを次のビードに切り替える第５工程と、を含む。

昨今、特開２０１５−１２５６４１号公報に記載のように、ヘッドマウントディスプレイ（以下、ＨＭＤ）を用いた複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）（以下、ＭＲとも称する）技術が発展している。特開２０１５−１２５６４１号公報から引用すると、ＭＲ技術は、ＨＭＤで撮像した現実の世界（現実空間）の画像に、コンピュータで生成された仮想の世界（仮想空間）の画像を重畳させて、ＨＭＤの画面に表示する技術である。ＭＲ技術を利用することで、実際に模型を製作することなく、完成品について、大きさ、又は部品の取り外し（取り付け）の作業性などのチェックが可能となる。

発明者は、上記の課題に対して、このＭＲ技術を溶接検査に応用することを見出し、新たな方法及びシステムを開発した。製造された完成品（金属加工品）に対してＭＲ技術を用いる上、検査に特化することで、多数形成される溶接のビードの検査を容易にすることが可能となった。

本発明の溶接検査方法によれば、検査順に応じた「１つの検査対象のビードのモデル」と「金属加工品のモデル」を含む３次元モデルが現実空間に重畳された重畳画像データが、ＨＭＤを介してユーザの視界に提供される。ユーザの視界において、現実のビード（以下、現実ビードとも称する）と３次元モデルの検査ビード（以下、仮想ビードとも称する）が重なり、仮想ビードが手前側に表示されている。

ユーザは、例えば自由に移動しながら、例えばコントローラの操作により、視界において、複合現実感空間と現実空間とを切り替えることができる。つまり、ユーザは、比較において、視点を変えずに又は様々な視線角度から仮想ビートと現実ビードを交互に見ることができ、位置と形状（大きさ・長さ・深さ等）を容易且つ直感的に比較することができる。ユーザは合否を判断し、対象（ビード）と判断結果（合否）が正確に対応した状態で、判断結果が情報処理装置に記録される。そして、ユーザは、コントローラの操作により、次の検査対象である仮想ビードを視界に表示させることができ、容易且つ直感的に次のビードを発見することができ、多数のビードを順番に沿って検査することができる。このように、本発明によれば、ビードの検査を容易に行うことができる。

本実施形態の溶接検査方法を実施するための装置（溶接検査システム）の構成を示す概念図である。 本実施形態の溶接検査方法を説明するためのフローチャートである。 本実施形態の３次元モデルの例を示す説明図である。 本実施形態の金属加工品の例を示す説明図である。 本実施形態の溶接検査方法における表示の切り替えを説明するための説明図である。 本実施形態の溶接検査方法を説明するためのフローチャートである。 参考例におけるＭＲシステムのシステム構成の一例を示す図である。 参考例の情報処理装置のハードウェア構成の一例を示す図である。 参考例の情報処理装置の機能構成の一例を示す図である。 参考例における現実空間の状況を示す図である。 参考例における一連の処理の流れを示すフローチャートである。 参考例のデプスセンサが取得する座標の座標系を示す図である。 参考例における、第１の３次元モデルと第２の３次元モデルとを表示する仮想空間を示す図である。 参考例における、第１の３次元モデルと第２の３次元モデルとを表示する仮想空間を示す図である。

以下、本発明の実施形態について図に基づいて説明する。本実施形態の溶接検査方法及び溶接検査システムは、従来のＭＲ技術を利用しているため、詳細な説明は省略し、後ほどＭＲシステムに関しては特開２０１５−１２５６４１号公報の記載を引用して添付する。

ＭＲシステムは、図１に示すように、現実空間を撮像するビデオカメラ２２１（現実空間撮像部）を有するＨＭＤ（ヘッドマウンドディスプレイ）１０２と、ＨＭＤ１０２と通信可能に接続される情報処理装置１０１と、複数のビード及び曲面形状を有する金属加工品Ｚに対して配置された３つの立体マーカＭ１，Ｍ２，Ｍ３を含むマーカセットＭと、情報処理装置１０１と通信可能に接続されたコントローラ９と、を備えている。
コントローラ９は、持ち運び式のコントローラであり、本実施形態ではゲーム用コントローラである。ゲームで用いられるコントローラを利用することで、ユーザは視点をコントローラに向けることなく各種操作が可能となる。本実施形態の金属加工品Ｚは、例えば車両用金属フレーム等の車両部品である。各通信は、有線又は無線により実現される。ＭＲシステムについては後述する。

本実施形態の溶接検査方法は、ＭＲシステム（複合現実感システム）を用いて金属加工品Ｚのビードの検査をするための溶接検査方法であって、図２に示すように、３次元モデル記録工程Ｓ１０１と、基準設定工程Ｓ１０２と、対象設定工程Ｓ１０３と、順番設定工程Ｓ１０４と、検査モデル生成工程Ｓ１０５と、現在空間撮像工程Ｓ１０６と、座標取得工程Ｓ１０７と、仮想空間生成工程Ｓ１０８と、位置姿勢取得工程Ｓ１０９と、仮想空間撮像工程Ｓ１１０と、重畳画像生成工程Ｓ１１１と、画像データ送信工程Ｓ１１２と、表示切替工程Ｓ１１３と、合否記録工程Ｓ１１４と、表示維持工程Ｓ１１５と、検査ビード変更工程Ｓ１１６と、を含む。工程の順序は、可能な工程に関しては適宜入れ替え可能である。

３次元モデル記録工程Ｓ１０１は、ユーザが情報処理装置１０１に、複数のビードが形成された金属加工品Ｚの完成品（完成モデル）を示す３次元モデルを記録する工程である。ユーザは、予め作成した３次元モデル（例えばＣＧ又は３Ｄ ＣＡＤ）を、情報処理装置１０１の記録手段に記録する。本実施例において、金属加工品の完成品（理想形態）には、設計上、ビードがＮｚ個（Ｎｚ≧１００）形成されているため、３次元モデルにもＮｚ個のビードが作成されている。本実施例の金属加工品のビード数は、３桁オーダー（２桁オーダー以上）といえる。

基準設定工程Ｓ１０２は、ユーザが情報処理装置１０１に、３次元モデルにおけるマーカセットＭに対応する位置として、例えば図３に示すように、第１立体マーカＭ１に対応する第１基準位置、第２立体マーカＭ２に対応する第２基準位置、及び第３立体マーカＭ３に対応する第３基準位置を含む基準位置を設定する。

マーカセットＭは、第１立体マーカＭ１と、第２立体マーカＭ２と、第３立体マーカＭ３と、を備えている。立体マーカＭ１〜Ｍ３は、図４に示すように、根元から突出する複数の棒状部と、当該棒状部に配置された複数の球状部と、を備える立体的なマーカ（例えばオプティカルマーカ）である。立体マーカＭ１〜Ｍ３は、金属加工品Ｚに、三角形の頂点に位置するように互いに離間して取り付けられている。マーカに立体的なマーカを用いることで、曲面形状を有し且つ様々な面にビードが形成されている金属加工品の検査において、検査中にユーザが金属加工品Ｚの姿勢を変更させた場合でも、情報処理装置１０１がその位置・姿勢を精度良く検出することができる。立体マーカＭ１〜Ｍ３の根元の位置が原点位置に設定されている。つまり、情報処理装置１０１が立体マーカＭ１〜Ｍ３から読み取る位置（座標）は、立体マーカＭ１〜Ｍ３の根元の位置（座標）である。

対象設定工程Ｓ１０３は、ユーザが情報処理装置１０１に、３次元モデルにおける検査対象のビードである検査ビードを設定する工程である。ユーザは、データ上において、これから検査するビードを選択する。ユーザは、例えば、全選択や、２００個のビードうち１００個のビードを選択することもできる。また、ユーザは、検査ビードのグループを設定し、グループごとに検査することもできる。

順番設定工程Ｓ１０４は、ユーザが情報処理装置１０１に、検査ビードの検査の順番（検査順）を設定する工程である。検査モデル生成工程Ｓ１０５は、情報処理装置１０１が、記録された３次元モデルのビードのうち、順番決定工程で決定されたｎ番目（ｎは自然数）の検査ビードのみを表示した検査用３次元モデル（表示用３次元モデル）を生成する工程である。現実空間撮像工程Ｓ１０６は、ビデオカメラ２２１が現実空間を撮像する工程である。座標取得工程Ｓ１０７は、情報処理装置１０１が、ＨＭＤ１０２から受信したマーカセットＭに関する検知データに基づいて金属加工品Ｚの座標を取得する工程である。

仮想空間生成工程Ｓ１０８は、情報処理装置１０１が、第１基準位置、第２基準位置、第３基準位置、及び座標取得工程Ｓ１０７で取得した金属加工品Ｚの座標を用いて、検査用３次元モデルを当該金属加工品Ｚの位置に表示可能な仮想空間を生成する工程である。情報処理装置１０１は、第１基準位置と第１立体マーカの根元（原点）とを一致させ、第２基準位置と第２立体マーカの根元（原点）とを一致させ、第３基準位置と第３立体マーカの根元（原点）とを一致させる。ユーザによる位置合わせの微調整は可能である。

位置姿勢取得工程Ｓ１０９は、情報処理装置１０１が、ＨＭＤ１０２を装着するユーザの位置及び姿勢を取得する工程である。この工程は、情報処理装置１０１が、ＨＭＤ１０２に取り付けられた立体マーカ（オプティカルマーカ）１０３の位置情報を、周囲に複数配置された赤外線カメラ１０４を用いて取得することで実行されている。

仮想空間撮像工程Ｓ１１０は、情報処理装置１０１が、位置姿勢取得工程Ｓ１０９で取得した位置及び姿勢を用いて、仮想空間生成工程Ｓ１０７で生成された仮想空間を撮像する工程である。

重畳画像生成工程Ｓ１１１は、情報処理装置１０１が、現実空間撮像工程Ｓ１０６で撮像することにより生成された第一画像データと、仮想空間撮像工程Ｓ１１０で撮像することにより生成された第二画像データとを重畳した重畳画像データを生成する工程である。画像データ送信工程Ｓ１１２は、重畳画像データをユーザに提示するよう、情報処理装置１０１が、当該重畳画像データをＨＭＤ１０２に送信する工程である。

表示切替工程Ｓ１１３は、図５に示すように、情報処理装置１０１が、ユーザによるコントローラ９の操作に応じて、ＨＭＤ１０２でユーザに提示される画像を、重畳画像データと第一画像データとで切り替える工程である。これにより、ユーザは、コントローラ９を操作することにより、理想のビード位置・形状が表示された検査用３次元モデルと、現実のビードとを、視点を動かさずに又は自由な視線角度から、交互に見比べることができる。ユーザは、両画面を繰り返し切り替えることができる。なお、図５は、説明のために外観を概念的に描いた概念図である。

合否記録工程Ｓ１１４は、情報処理装置１０１が、ユーザによるコントローラ９の操作に応じて、ｎ番目の検査ビードの合否を記録する工程である。これにより、対象（１つのビード）毎に合否が記録され、記録（合否）とビード（対象）とを正確に対応させることができ、誤記録を防止することができる。判定の種類は、合格に関する判定と、不合格に関する判定を含んでいれば良く、保留や判定不能に関する判定を含んでも良い。

表示維持工程Ｓ１１５は、合否記録工程Ｓ１１４においてｎ番目の検査ビードに対する不合格に関する検査結果（判定結果）が記録された場合に、情報処理装置１０１が、検査用３次元モデルにおけるｎ番目の検査ビードの表示状態（例えば色、透明度、又は形状等）を変更し且つその表示が維持されるように検査用３次元モデルを補正する工程である。

本実施形態の表示維持工程Ｓ１１５では、図５の重畳画像データ２．２に示すように、不合格と判定された検査ビードは、表示上（ユーザの視界上）、元の３次元モデルとは別の色（例えば赤色：図５では点線で示す）に変色され、且つ検査ビード変更工程Ｓ１１６によってもその表示（変色された検査ビード）が維持される。つまり、不合格と判定された検査ビードは、検査が終了・中断されるまで、ＨＭＤ１０２で、変色されて表示され続ける。これにより、ユーザは、不合格と判定したビードの位置を容易に見つけることができ、効率良く再検査することが可能となる。

なお、この例では、合格に関する判定がなされた場合、情報処理装置１０１は、その検査ビードを、不合格判定とは異なる表示状態（例えば青色）に変更し、検査ビード変更工程Ｓ１１６で次の検査ビード（ｎ＋１番目）が表示された際に、その表示（ｎ番目）を削除するように設定されている（図５の重畳画像データ２．１参照）。ただし、ユーザがコントローラ９の操作により、後ほど再度ｎ番目の検査ビードを表示させた場合、合格に関する表示状態（上記の場合、青色）で表示される。

検査ビード変更工程Ｓ１１６は、情報処理装置１０１が、ユーザによるコントローラ９の操作に応じて、検査用３次元モデルにおける表示対象の検査ビードを、ｎ番目の検査ビードからｎ＋１番目（又はｎ−１番目）の検査ビードに変更する工程である。つまり、検査ビード変更工程Ｓ１１６では、ＨＭＤ１０２に表示される表示用の３次元モデルにおいて、コントローラ９の操作に応じて、表示される検査ビードを検査順に即して変更していく工程である。

検査ビード変更工程Ｓ１１６では、図５に示すように、表示画像が、重畳画像データ１又は第一画像データ１から、重畳画像データ２．１（合格に関する判定時）又は重畳画像データ２．２（不合格に関する判定時）に切り替えられる。これにより、ユーザは、表示されたビードに応じて、１つずつ順番にビードを検査することができる。なお、情報処理装置１０１は、合否記録工程Ｓ１１４で何らかの判定がなされた後にしか検査ビードの表示を変更できないように設定されても良い。

このように、本実施形態の溶接検査方法によれば、現実の金属加工品Ｚと重なった「（検査順に応じた）１つの検査ビードモデル」が、重畳画像データ（ＭＲ画像）としてＨＭＤ１０２を介してユーザの視界に提供される。そして、本実施形態によれば、ユーザは、例えば自由に移動しながら、コントローラ９の操作により、視界において、ＭＲ空間と現実空間とを切り替えることができる。つまり、ユーザは、比較において、視点を変えずに又は様々な視線角度から、仮想ビートと現実ビードを交互に見ることができ、位置と形状（大きさ・長さ・深さ等）を容易且つ直感的に比較することができる。そして、ユーザは、その検査ビードに対して合否を判断し、検査ビードと判断結果が１対１で対応する形で、検査結果が情報処理装置１０１に記録される。そして、ユーザは、コントローラ９の操作により、次の検査対象である検査ビードを視界に表示させることができ、容易且つ直感的に次の順番のビードを発見することができる、つまり、本実施形態によれば、容易に多数のビードを順番に沿って検査することができる。このように、本実施形態によれば、曲面形状を有し且つ多数のビードがあらゆる面に形成された金属加工品Ｚのビードの検査を容易に行うことができ、ひいては検査精度を向上させることができる。

なお、表示維持工程Ｓ１１５では、合否記録工程Ｓ１１４においてｎ番目の検査ビードに対する合格に関する検査結果が記録された場合に、情報処理装置１０１が、検査用３次元モデルにおけるｎ番目の検査ビードの表示状態を不合格の場合とは異なる表示状態（元の表示状態とも異なる）に変更し且つその表示が維持されるように検査用３次元モデルを補正しても良い。これによれば、ユーザは、判定済みのビード、ひいては合格したビードと不合格したビードを容易に確認することができる。本実施形態の溶接検査方法は、例えば既存のＭＲシステムに対するプログラムの一部変更、既存機能の利用、機能の追加、及び／又は装置（例えばコントローラ９）の追加などにより、実行することが可能である。

（まとめ）
本実施形態の溶接検査方法は、下記のように記載することができる。すなわち、本実施形態の溶接検査方法は、図６に示すように、ヘッドマウントディスプレイ１０２を介してユーザに重畳画像である複合現実感を提示する情報処理装置１０１を用いて、複数のビード及び曲面形状を有する金属加工品Ｚのビードを検査する溶接検査方法であって、情報処理装置１０１が、現実空間の金属加工品Ｚと仮想空間の３次元モデルとを位置合わせし、現実空間の金属加工品Ｚ上に３次元モデルが重ねて表示される重畳画像データをＨＭＤ１０２に送信する第１工程Ｓ１と、情報処理装置１０１が、設定された順番に基づき、重畳画像データ上で検査対象のビードのみを表示する第２工程Ｓ２と、情報処理装置１０１が、ユーザの操作に応じて、ＨＭＤ１０１を介してユーザに提示される画像を、重畳画像データと現実空間を表示する第一画像データとの間で切り替える第３工程Ｓ３と、情報処理装置１０１が、ユーザの操作に応じて、検査対象としてＨＭＤ１０２に表示されているビードの検査結果を記録する第４工程Ｓ４と、情報処理装置１０１が、ユーザの操作及び順番に応じて、重畳画像データに表示される検査対象のビードを次のビード（今表示のビードから別のビード）に切り替える第５工程Ｓ５と、を含む。
また、第５工程Ｓ５では、第４工程Ｓ４で不合格に関する検査結果が記録された場合、情報処理装置１０１が、当該不合格と判定されたビードの重畳画像データ上の表示を、表示状態を変更し且つ以降のビードの表示の切り替え後も維持する。これにより、上記の効果が発揮される。

第１工程Ｓ１、第２工程Ｓ２、第３工程Ｓ３、第４工程Ｓ４、及び第５工程Ｓ５は、３次元モデル記録工程Ｓ１０１と、基準設定工程Ｓ１０２と、対象設定工程Ｓ１０３と、順番設定工程Ｓ１０４と、検査モデル生成工程Ｓ１０５と、現在空間撮像工程Ｓ１０６と、座標取得工程Ｓ１０７と、仮想空間生成工程Ｓ１０８と、位置姿勢取得工程Ｓ１０９と、仮想空間撮像工程Ｓ１１０と、重畳画像生成工程Ｓ１１１と、画像データ送信工程Ｓ１１２と、表示切替工程Ｓ１１３と、合否記録工程Ｓ１１４と、表示維持工程Ｓ１１５と、検査ビード変更工程Ｓ１１６と、を含んでいる。これらの工程を繰り返すことで、設定された順番にそって容易且つ漏れなくビードを検査することができる。

（その他）
なお、本発明において、「金属加工品」を「検査対象物」に置き換え、「ビード」を「加工部（加工された部位）」に置き換えて考えることも可能である。ただし、本発明は、上述のように、曲面形状を有する金属加工品の多数のビード（様々な態様となり易い部位）を検査することに対して極めて有効である。
また、本発明は、溶接検査システムとして記載することもできる。例えば、本発明の溶接検査システムは、
現実空間を撮像する現実空間撮像部を有するヘッドマウントディスプレイと、前記ヘッドマウントディスプレイと通信可能に接続される情報処理装置と、複数のビード及び曲面形状を有する金属加工品に対して配置されたマーカセットと、を備え、前記金属加工品のビードを検査するための溶接検査システムであって、
ユーザの操作に応じて信号を前記情報処理装置に送信する持ち運び式のコントローラを備え、
前記情報処理装置は、
前記ヘッドマウントディスプレイから受信した前記マーカセットに関するデータに基づいて前記金属加工品の座標を取得する座標取得部と、
前記複数のビードが形成された前記金属加工品の完成品を示す３次元モデルが予め記録された３次元モデル記録部と、
ユーザの操作に応じて前記３次元モデルに少なくとも第１基準位置、第２基準位置、および第３基準位置を設定する基準設定部と、
ユーザの選択に応じて検査対象の前記ビードである検査ビードを決定する対象決定部と、
ユーザの操作に応じて前記検査ビードの検査の順番を決定する順番決定部と、
前記検査ビードの検査結果を記録するための検査結果記録部と、
前記座標取得部で取得した前記金属加工品の座標を用いて、前記３次元モデルを当該金属加工品の位置に表示可能な仮想空間を生成する仮想空間生成部と、
前記ヘッドマウントディスプレイを装着するユーザの位置及び姿勢を取得する位置姿勢取得部と、
前記位置姿勢取得部で取得した位置及び姿勢を用いて、前記仮想空間生成部で生成された仮想空間を撮像する仮想空間撮像部と、
前記現実空間撮像部で撮像することにより生成された第一画像データと、前記仮想空間撮像部で撮像することにより生成された第二画像データとを重畳した重畳画像データを生成する重畳画像生成部と、
前記重畳画像データをユーザに提示するよう、当該重畳画像データを前記ヘッドマウントディスプレイに送信する画像データ送信部と、
前記ヘッドマウントディスプレイでユーザに提示される画像を、前記重畳画像データと前記現実空間とで切り替える第一表示制御部と、
前記ヘッドマウントディスプレイでユーザに提示される画像において、前記第二画像データの前記ビードの表示を、前記順番決定部で決定されたｎ番目（ｎは自然数）の前記検査ビードのみに制御する第二表示制御部と、
を備え、
前記マーカセットは、それぞれが複数の棒状部と複数の球状部を有し且つ三角形の頂点に位置するように互いに離間して配置された、第１マーカ、第２マーカ、及び第３マーカを有し、
前記重畳画像生成手段は、前記第１マーカの基部と前記第１基準位置が一致し、前記第２マーカの基部と前記第２基準位置が一致し、前記第３マーカの基部と前記第３基準位置が一致するように、前記重畳画像データを生成し、
前記コントローラは、画像切替信号、対象切替信号、及び合否判定信号を送信可能に構成され、
前記第一表示制御部は、前記画像切替信号の受信に応じて、前記ヘッドマウントディスプレイでユーザに提示される画像を、前記重畳画像データと前記現実空間とで切り替え、
前記第二表示制御部は、前記対象切替信号の受信及び前記順番決定部で決定された順番に応じて、前記第二画像データにおける前記ビードの表示をｎ番目の前記検査ビードからｎ＋１番目又はｎ−１番目の前記検査ビードに切り替え、
前記検査結果記録部は、合否判定信号の受信に応じて、ｎ番目の前記検査ビードの検査結果を記録する。
また、前記第二表示制御部は、ｎ番目の前記検査ビードに対して不合格に関する前記合否判定信号を受信した場合、当該ｎ番目の前記検査ビードの表示状態を変更して検査終了まで表示を維持し、以後、前記対象切替信号を受信した場合、前記順番に応じた前記検査ビードとともにｎ番目の前記検査ビードを表示しても良い。

（参考：特開２０１５−１２５６４１号公報から引用）
例えば特開２０１５−１２５６４１号公報に記載のように、ＭＲシステムは、複合現実感（ＭＲ）をユーザに提供するシステムである。ＭＲシステムは、情報処理装置１０１、ＨＭＤ１０２、赤外線カメラ１０４、デプスセンサ１０５と、を含む。情報処理装置１０１には、ＨＭＤ１０２と、赤外線カメラ１０４と、デプスセンサ１０５とが接続されており、情報処理装置１０１はこれらと相互にデータ通信可能に有線または無線で接続されている。なお、ＭＲシステムにおいて、デプスセンサ１０５は必ずしも必要でなく、ＨＭＤを介して取得したマーカの座標と三角測量に基づき対象位置が特定されても良い。また、下記のマーカ４０２は、マーカセットＭに対応するものである。また、図７のシステム上に接続される各種端末の構成は一例であり、用途や目的に応じて様々な構成例がある。

情報処理装置１０１は、パーソナルコンピュータのような装置である。情報処理装置１０１は、ＨＭＤ１０２で撮像された現実空間の画像（以下、現実空間画像）（「第一画像データ」に相当する）と、情報処理装置１０１で生成された仮想空間の画像（以下、仮想空間画像）（「第二画像データ」に相当する）とを重畳した画像（以下、複合現実画像）（「重畳画像データ」に相当する）を生成し、ＨＭＤ１０２に送信する。ＭＲの技術に関しては従来技術を用いるため、詳細な説明は省略する。

ＨＭＤ１０２は、いわゆるヘッドマウントディスプレイである。ＨＭＤ１０２は、ユーザの頭部に装着するディスプレイ装置であり、右目用と左目用のビデオカメラと、右目用と左目用のディスプレイを備えている。ＨＭＤ１０２は、ＨＭＤ１０２のビデオカメラで撮像された現実空間画像を情報処理装置１０１に送信する。そして、情報処理装置１０１から送信されてきた複合現実画像を受信し、ディスプレイに表示する。更に、右目用と左目用のビデオカメラとディスプレイを設けているので、視差によって立体感を得ることができる。尚、ＨＭＤ１０２で撮像する現実空間画像、及び表示する複合現実画像は、動画形式が望ましいが、所定の間隔で撮像された画像であってもよい。

赤外線カメラ１０４は、赤外線を照射することで現実空間を撮像する装置である。本参考形態では、赤外線カメラ１０４はＨＭＤ１０２が備えるオプティカルマーカ１０３を検出し、ＨＭＤ１０２の位置や姿勢を検出する。どのような状況下でもオプティカルマーカ１０３を検出できるように、赤外線カメラ１０４を複数設置することが望ましい。尚、本参考形態では赤外線カメラ１０４とＨＭＤ１０２が備えるオプティカルマーカ１０３を用いてＨＭＤ１０２の位置・姿勢を取得するが、ＨＭＤ１０２の位置・姿勢が検出できればどのような形態でも構わない。例えば、磁気センサを用いてもよいし、ＨＭＤ１０２で撮像された映像を解析して位置・姿勢を特定してもよい。デプスセンサ１０５は、現実空間の物体の位置を検出するためのセンサである。デプスセンサ１０５はＨＭＤ１０２に備えられており、ＨＭＤ１０２を装着するユーザの視線方向に存在する現実空間の物体の位置を示す座標を取得する。そのため、デプスセンサ１０５はＨＭＤ１０２を装着するユーザの視線方向と同様の方向に向けてＨＭＤ１０２に固定されている。

図８は、情報処理装置１０１のハードウェア構成を示す図である。尚、図８の情報処理装置１０１のハードウェアの構成は一例であり、用途や目的に応じて様々な構成例がある。ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムや、各種装置の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。

ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。また、入力コントローラ（入力Ｃ）２０５は、キーボードやマウス等のポインティングデバイス（入力デバイス２１０）からの入力を制御する。ビデオコントローラ（ＶＣ）２０６は、ＨＭＤ１０２が備える右目・左目ディスプレイ２２２等の表示器への表示を制御する。右目・左目ディスプレイ２２２に対しては、例えば外部出力端子（例えば、Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）を用いて出力される。また、右目・左目ディスプレイ２２２は、右目用のディスプレイと左目用のディスプレイとから構成されている。

メモリコントローラ（ＭＣ）２０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）やフレキシブルディスク（ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ２１１へのアクセスを制御する。通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）２０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。また、通信Ｉ／Ｆコントローラ２０８は、赤外線カメラ１０４、デプスセンサ１０５との通信も制御する。汎用バス２０９は、ＨＭＤ１０２の右目・左目ビデオカメラ２２１（現実空間撮像部）からの映像を貼り込むために使用される。右目・左目ビデオカメラ２２１からは、外部入力端子（例えば、ＩＥＥＥ１３９４端子）を用いて入力される。右目・左目ビデオカメラ２２１は、右目用のビデオカメラと左目用のビデオカメラとから構成されている。尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ上の不図示のマウスカーソル等でのユーザ指示を可能とする。

情報処理装置１０１が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、本参考例に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ２１１に格納されている。

図９は、情報処理装置１０１の機能構成を示す機能構成図である。尚、図９の情報処理装置１０１の機能構成は一例であり、用途や目的に応じて様々な構成例がある。情報処理装置１０１は、通信制御部３０１、３次元モデル管理部３０２、現実空間画像取得部３０３、マーカ検出部３０４、仮想空間生成部３０５、位置姿勢取得部３０６、物体座標取得部３０７、複合現実画像生成部３０８を備える。

通信制御部３０１は、ＨＭＤ１０２、赤外線カメラ１０４、デプスセンサ１０５等の装置と情報の送受信を行うための機能部である。３次元モデル管理部３０２は、外部メモリ２１１等に記憶され、仮想空間に表示可能な３次元モデルを管理する機能部である。現実空間画像取得部３０３は、ＨＭＤ１０２の右目・左目ビデオカメラ２２１の撮像により生成される現実空間画像を取得するための機能部である。

マーカ検出部３０４は、現実空間画像取得部３０３で取得した現実空間画像に含まれるマーカを検出するための機能部である。マーカとは、情報処理装置１０１が現実空間の物体の位置・姿勢を認識するための二次元コードである。このマーカの例を図１０のマーカ４０２に示す。図１０は本参考形態のＭＲシステムを利用するユーザとそのユーザの周辺の様子を示す図である。ユーザはデプスセンサ１０５を備えるＨＭＤ１０２を装着しており、更にマーカ４０２が複数貼り付けられた作業対象物４０１が存在している。情報処理装置１０１のマーカ検出部３０４は現実空間画像に所定の画像処理を実行し、このマーカ４０２を検出する。マーカ４０２を検出することで、複雑な画像処理を行うことなく、現実空間の物体の位置・姿勢を認識することができる。

仮想空間生成部３０５は、現実空間に重畳させて表示するための仮想空間を生成する機能部である。仮想空間生成部３０５は、３次元モデルを３次元モデル管理部３０２から取得し、所定の座標位置と向きで当該３次元モデルを配置することで、仮想空間を生成する。位置姿勢取得部３０６は、赤外線カメラ１０４から送信されるＨＭＤ１０２の位置・姿勢を取得するための機能部である。赤外線カメラ１０４から送信される位置・姿勢は、現実空間における位置・姿勢であるので、これを当該現実空間に対して位置合わせされた仮想空間における位置・姿勢として変換し、取得する機能も有する。物体座標取得部３０７は、ＨＭＤ１０２が備えるデプスセンサ１０５が計測した現実空間の物体の位置座標を取得する。デプスセンサ１０５は、計測用の画素ごとに現実空間の物体に対して位置座標を計測するので、この複数の位置座標を物体座標取得部３０７が取得することになる。複合現実画像生成部３０８は、現実空間画像取得部３０３で取得した現実空間画像と、仮想空間生成部３０５で生成した仮想空間を撮像した仮想空間画像とを重畳して、複合現実画像を生成するための機能部である。

次に、本参考例における情報処理装置１０１によって行われる一連の処理について、図１１に示すフローチャートを用いて説明する。図１１の説明の前に図１０を参照して本参考例の概要について説明する。図１０は、前述した通り、本参考形態のＭＲシステムを利用するユーザとそのユーザの周辺の様子を示す図である。ユーザはデプスセンサ１０５を備えるＨＭＤ１０２を装着しており、更にマーカ４０２が複数貼り付けられた金属加工品４０１が存在している。ＭＲシステムは、この加工をする際の基準となる３次元モデルである基準モデル（第２の３次元モデル）を、マーカ４０２を用いて金属加工品４０１の位置に表示する。更には、デプスセンサ１０５で計測した結果生成される、現実空間の物体（金属加工品４０１や床や壁等）を示す３次元モデルである計測モデル（第１の３次元モデル）を現実空間の当該物体の位置に表示する。

ユーザは、こうして表示された計測モデルの形を基準モデルの形に合わせるように工具を用いて加工していく。ユーザが金属加工品４０１を加工すると当該金属加工品４０１の形状が変化する。そしてこの形状が変化した金属加工品４０１をデプスセンサ１０５が計測し、計測モデルを再生成するため、リアルタイムに加工の結果が正しいか否かを確認することができる。従来はこうした計測モデルを生成するときにＨＭＤ１０２から取得する現実空間画像を用いていたが、画像処理のロジックによって計測モデルを表示する位置が変わってきてしまう。そのため、本参考例ではデプスセンサ１０５をＨＭＤ１０２に備え、当該デプスセンサ１０５の計測結果を用いることで、より精度のよい位置で計測モデルを表示することができる。以下、これらの詳細な処理について図１１のフローチャートを用いて説明する。

まずステップＳ５０１では、情報処理装置１０１のＣＰＵ２０１は、情報処理装置１０１の赤外線カメラ１０４から送信される現実空間におけるＨＭＤ１０２の位置・姿勢、すなわちＨＭＤ１０２を装着するユーザの位置・姿勢を取得する（位置姿勢取得部）。そして、取得した位置・姿勢に対応する仮想空間における位置・姿勢を取得する。現実空間と仮想空間とはあらかじめ位置合わせがなされている。そのため、現実空間における位置・姿勢がわかれば、それに対応する仮想空間の位置・姿勢も取得できる。ステップＳ５０２では、情報処理装置１０１のＣＰＵ２０１は、ＨＭＤ１０２に備えられたデプスセンサ１０５から送信される現実空間の物体（金属加工品４０１や床や壁等）の深度座標を取得する（座標取得部）。ここでいう深度座標とは、デプスセンサ１０５が計測した座標である。デプスセンサ１０５は情報処理装置１０１が把握する仮想空間や現実空間とは異なる独自の座標系を持っている。本参考形態ではこの座標系に基づいた座標を深度座標と呼ぶ。

より具体的には、図１２の座標系イメージ６００と座標系イメージ６１０に示す通りである。座標系イメージ６００に示す通り、デプスセンサ１０５を原点とし、デプスセンサ１０５の視線方向６０２をＺ軸とし、当該Ｚ軸に対して直交する上下方向６０１をＹ軸としている。更には、座標系イメージ６１０に示すとおり、Ｙ軸とＺ軸に直交する左右方向６１１をＸ座標としている。この３軸の座標系に基づいて、デプスセンサ１０５が現実空間の物体の深度座標を取得する。

ステップＳ５０３では、情報処理装置１０１のＣＰＵ２０１は、ＨＭＤ１０２の右目・左目ビデオカメラ２２１から送信された現実空間画像を取得する。そして、ステップＳ５０４では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０３で取得した現実空間画像から金属加工品４０１に付されたマーカ４０２を検出する。現実空間画像からマーカ４０２を検出する技術については、従来技術を用いるため説明は省略する。ステップＳ５０５では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０４で現実空間画像から金属加工品４０１に付されたマーカ４０２を検出したか否かを判定する。マーカ４０２を検出したと判定した場合には、ステップＳ５０６に処理を進める。マーカ４０２を検出していないと判定した場合には、本一連の処理を終了する。

ステップＳ５０６では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０４で検出したマーカ４０２に対応する基準モデルを外部メモリ２１１等から取得する。当該基準モデルはマーカ４０２が付された金属加工品４０１を加工した結果の完成形を示す３次元モデルである。基準モデルはあらかじめ作成し、情報処理装置１０１の外部メモリ２１１等にマーカ４０２と対応付けて記憶しておく。

ステップＳ５０７では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０４で検出したマーカ４０２に基づいて、ステップＳ５０６で取得した基準モデルを表示する仮想空間上の座標と向きを特定する（位置特定部）。外部メモリ２１１等では、金属加工品４０１に付されるマーカ４０２ごとに、仮想空間において基準モデルをどのような向きで表示するべきかを記憶している。更に、ステップＳ５０１で取得したＨＭＤ１０２の仮想空間における位置・姿勢と、現実空間画像から取得可能なマーカ４０２の向きや形状とを用いて、ＨＭＤ１０２とマーカ４０２との位置関係を特定できる。よって、この位置関係に基づいて基準モデルを表示する仮想空間上の座標を特定する。

ステップＳ５０８では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０７で特定した座標と向きで、ステップＳ５０６で取得した基準モデル（第２の３次元モデル）を配置する。すなわち、この配置された位置は、現実空間の金属加工品４０１に対応する位置である。ステップＳ５０９では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０２で取得した現実空間の物体の深度座標を、ステップＳ５０１で取得したＨＭＤ１０２の位置・姿勢に応じて、仮想空間の座標に変換する。すなわち、デプスセンサ１０５で取得した座標の座標系を仮想空間の座標系に変換するということである。デプスセンサ１０５はＨＭＤ１０２に備えられているので、デプスセンサ１０５の位置・姿勢は、ＨＭＤ１０２の位置・姿勢と同等である。これを利用して、深度座標をＨＭＤ１０２の位置・姿勢に応じて仮想空間上の座標に変換する。尚、デプスセンサ１０５の設置位置に応じて座標の補正を行うことが望ましい。

ステップＳ５１０では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０９で変換した仮想空間の座標が示す点同士を線分で接続し、金属加工品４０１を示す格子状の計測モデル（第１の３次元モデル）を仮想空間上に生成する（３次元モデル生成部）。情報処理装置１０１がデプスセンサ１０５から取得するのは、現実空間の物体を示す点の座標群である。よって、この点を線で結ぶことでユーザが視認しやすい形態としている。ステップＳ５１１では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０１で取得したＨＭＤ１０２の位置・姿勢に応じて仮想空間上に仮想的なカメラを設置し、当該カメラから撮像した仮想空間画像を生成する（仮想空間撮像部）。そして、ステップＳ５１２では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５１１で取得した仮想空間画像とステップＳ５０３で取得した現実空間画像とを重畳し、複合現実画像を生成する（重畳画像生成部）。

ステップＳ５１３では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５１２で生成した複合現実画像をＨＭＤ１０２に送信し、ＨＭＤ１０２の右目・左目ディスプレイ２２２を通じて複合現実画像をユーザに提示する（画像データ送信部）。

以上のステップＳ５０１乃至ステップＳ５１３の処理をユーザから終了の指示があるまで、繰り返し実行する。例えば、図１１のフローチャートを実行した結果として図１３に示すような複合現実画像が右目・左目ディスプレイ２２２に表示される。図１３にはステップＳ５１０で生成した計測モデル７００と、ステップＳ５０８で配置した基準モデル７１０とが表示されている。図１３では図示していないが、これらは金属加工品４０１の位置に重ねて表示されている。ユーザはこの複合現実画像を見ながら、基準モデル７１０に合うように金属加工品４０１を加工していく。金属加工品４０１の位置に重ねて表示されているため、計測モデル７００に対して加工を施すイメージで作業が行える。そして、図１１のフローチャートを繰り返し実行するため、加工に応じて変化する金属加工品４０１の形状が計測モデル７００に反映される。

計測モデル７００と基準モデル７１０とが一致するように加工を行っていくと、図１４に示すような複合現実画像となる。つまり、計測モデル７００と基準モデル７１０とが一致したということは、金属加工品４０１が基準モデル７１０と同じ形状になったということである。このようにして、金属加工品４０１の加工作業を支援する。

以上説明したように、本参考形態によれば、複合現実感を提示する仕組みにおいて、ユーザの装着するヘッドマウントディスプレイが備えるデプスセンサを用いて、金属加工品の位置に当該金属加工品を示す３次元モデルを表示することの可能な効果を奏する。本参考例は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

なお、本参考例は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本参考例に含まれる。したがって、本参考例の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本参考例を実現するものである。つまり、本参考例は、本参考例の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本参考例のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本参考例のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本参考例の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本参考例に含まれるものである。

また、本参考例のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

２２１：ビデオカメラ（現実空間撮像部）、１０２：ヘッドマウントディスプレイ、
１０１：情報処理装置、Ｚ：金属加工品、Ｍ１、Ｍ２、Ｍ３：立体マーカ、
Ｍ：マーカセット、９：コントローラ

Claims (5)

1. ヘッドマウントディスプレイを介してユーザに重畳画像である複合現実感を提示する情報処理装置を用いて、複数のビード及び曲面形状を有する金属加工品の前記ビードを検査する溶接検査方法であって、
   前記情報処理装置が、現実空間の前記金属加工品と仮想空間の３次元モデルとを位置合わせし、現実空間の前記金属加工品上に前記３次元モデルが重ねて表示される重畳画像データを前記ヘッドマウントディスプレイに送信する第１工程と、
   前記情報処理装置が、設定された順番に基づき、前記重畳画像データ上で検査対象のビードのみを表示する第２工程と、
   前記情報処理装置が、ユーザの操作に応じて、前記ヘッドマウントディスプレイを介してユーザに提示される画像を、前記重畳画像データと現実空間を表示する第一画像データとの間で切り替える第３工程と、
   前記情報処理装置が、ユーザの操作に応じて、検査対象として前記ヘッドマウントディスプレイに表示されている前記ビードの検査結果を記録する第４工程と、
   前記情報処理装置が、ユーザの操作及び前記順番に応じて、前記重畳画像データに表示される検査対象のビードを次のビードに切り替える第５工程と、
   を含む溶接検査方法。
2. 前記第５工程では、前記第４工程で不合格に関する検査結果が記録された場合、前記情報処理装置が、当該不合格と判定されたビードの前記重畳画像データ上の表示を、表示状態を変更し且つ以降のビードの表示の切り替えの後にも維持する請求項１に記載の溶接検査方法。
3. 現実空間を撮像する現実空間撮像部を有するヘッドマウントディスプレイと、前記ヘッドマウントディスプレイと通信可能に接続される情報処理装置と、複数のビード及び曲面形状を有する金属加工品に対して配置された３つの立体マーカを含むマーカセットと、前記情報処理装置と通信可能に接続されたコントローラと、を備えた複合現実感システムを用いて、前記金属加工品の前記ビードの検査をするための溶接検査方法であって、
   ユーザが前記情報処理装置に、前記複数のビードが形成された前記金属加工品の完成品を示す３次元モデルを記録する３次元モデル記録工程と、
   ユーザが前記情報処理装置に、前記３次元モデルにおける前記マーカセットに対応する位置として、第１立体マーカに対応する第１基準位置、第２立体マーカに対応する第２基準位置、及び第３立体マーカに対応する第３基準位置を含む基準位置を設定する基準設定工程と、
   ユーザが前記情報処理装置に、前記３次元モデルにおける検査対象の前記ビードである検査ビードを設定する対象設定工程と、
   ユーザが前記情報処理装置に、前記検査ビードの検査の順番を設定する順番設定工程と、
   前記情報処理装置が、前記３次元モデルの前記ビードのうち、前記順番決定工程で決定されたｎ番目（ｎは自然数）の前記検査ビードのみを表示した検査用３次元モデルを生成する検査モデル生成工程と、
   前記情報処理装置が、前記ヘッドマウントディスプレイから受信した前記マーカセットに関する検知データに基づいて前記金属加工品の座標を取得する座標取得工程と、
   前記情報処理装置が、前記基準位置及び前記座標取得工程で取得した前記金属加工品の座標を用いて、前記検査用３次元モデルを当該金属加工品の位置に表示可能な仮想空間を生成する仮想空間生成工程と、
   前記情報処理装置が、前記ヘッドマウントディスプレイを装着するユーザの位置及び姿勢を取得する位置姿勢取得工程と、
   前記情報処理装置が、前記位置姿勢取得工程で取得した位置及び姿勢を用いて、前記仮想空間生成工程で生成された仮想空間を撮像する仮想空間撮像工程と、
   前記情報処理装置が、前記現実空間撮像工程で撮像することにより生成された第一画像データと、前記仮想空間撮像工程で撮像することにより生成された第二画像データとを重畳した重畳画像データを生成する重畳画像生成工程と、
   前記重畳画像データをユーザに提示するよう、前記情報処理装置が、当該重畳画像データを前記ヘッドマウントディスプレイに送信する画像データ送信工程と、
   前記情報処理装置が、ユーザによる前記コントローラの操作に応じて、前記ヘッドマウントディスプレイでユーザに提示される画像を、前記重畳画像データと前記第一画像データとで切り替える表示切替工程と、
   前記情報処理装置が、ユーザによる前記コントローラの操作に応じて、ｎ番目の前記検査ビードの合否を記録する合否記録工程と、
   前記情報処理装置が、ユーザによる前記コントローラの操作に応じて、前記検査用３次元モデルにおける表示対象の前記検査ビードを、ｎ番目の前記検査ビードからｎ＋１番目又はｎ−１番目の前記検査ビードに変更する検査ビード変更工程と、
   を含む溶接検査方法。
4. 前記合否記録工程においてｎ番目の前記検査ビードに対する不合格に関する検査結果が記録された場合に、前記情報処理装置が、前記検査用３次元モデルにおけるｎ番目の前記検査ビードの表示状態を変更し且つその表示が維持されるように前記検査用３次元モデルを補正する表示維持工程を含む請求項３に記載の溶接検査方法。
5. 前記合否記録工程においてｎ番目の前記検査ビードに対する合格に関する検査結果が記録された場合に、前記情報処理装置が、前記検査用３次元モデルにおけるｎ番目の前記検査ビードの表示状態を前記不合格の場合とは異なる表示状態に変更し且つその表示が維持されるように前記検査用３次元モデルを補正する表示維持工程を含む請求項４に記載の溶接検査方法。