JP2018181288A - 仮想作業表示方法、仮想作業データ作成方法、及び３次元空間けがきデータ作成方法 - Google Patents

Abstract

【課題】作業の検証対象とは別の場所で、精度の良い作業体験及び検証をすることができる仮想作業表示方法を提供する。【解決手段】本発明は、計測対象の３次元スキャンデータである３次元の点群データに基づくデータを読み込む工程Ｓ１と、モーションキャプチャ装置の出力データを読み込む工程Ｓ２と、両データを共通の３次元座標上に配置する工程Ｓ３と、仮想カメラの位置と向きを設定する工程Ｓ４と、画面上に、仮想カメラを介して見える、点群データに基づく表示と、モーションキャプチャ装置から取得している現在の作業体験者の動きに連動した動作データに基づく表示を表示する表示工程Ｓ５と、を含む。【選択図】図２

Description

本発明は、モーションキャプチャ装置を用いた仮想作業表示方法及び仮想作業データ作成方法と、３次元空間けがきデータ作成方法に関する。

モーションキャプチャ装置では、複数のカメラにより形成された撮像対象スペース内において、カメラから照射された赤外線（光）を、人間の関節等に取り付けられた球状の反射マーカが反射し、その反射した画像がカメラで撮像される。そして、少なくとも２つの撮像データに基づいて、三角測量の原理により反射マーカの３次元座標上の位置が測定される。モーションキャプチャに関する技術としては、例えば特開２０１７−５３７３９号公報に記載されている。

特開２０１７−５３７３９号公報

ここで、発明者は、モーションキャプチャ装置を利用して、例えば工場等の施設での作業を当該施設とは別の場所で精度良く体験し検証するための方法を新たに開発した。本発明は、作業の検証対象とは別の場所で、精度の良い作業体験及び検証をすることができる仮想作業表示方法及び仮想作業データ作成方法を提供することを目的とする。

また、従来から、例えば工場等の施設に機械や配管等の設備を設置するにあたり、３ＤＣＡＤ等により設計図やレイアウト図面を作成するのが一般的である。３ＤＣＡＤを用いたデータ作成方法は、例えば特開２００３−２４２１８５号公報に記載されている。しかしながら、３ＤＣＡＤの作成には多大な時間と労力がかかる。また、施設における設置スペースの情報がない場合、３Ｄ ＣＡＤでの設計・シミュレーションは困難である。本発明者は、より容易で且つ精度の良い３次元での設計、シミュレーション、モデリング、及びエンジニアリングを可能にすべく、新たな視点・着想により新たな方法を発明した。

本発明は、このような事情に鑑みて為されたものであり、容易に且つ精度良く、３次元での設計、シミュレーション、モデリング、及び／又はエンジニアリングを実行することができる３次元空間けがきデータ作成方法を提供することを目的とする。

本発明の仮想作業表示方法は、読み込んだデータに基づき画面上に３次元形状を表示することができるソフトウェアを備えるコンピュータを用いた仮想作業表示方法であって、前記コンピュータが、ユーザの操作に応じて、計測対象の３次元スキャンデータである３次元の点群データ及び前記点群データに基づく３次元形状データの少なくとも一方を読み込む工程と、前記コンピュータが、ユーザの操作に応じて、モーションキャプチャ装置で取得された作業体験者の動きに関する動作データ及び前記動作データに基づく人体形状データの少なくとも一方を読み込む工程と、前記コンピュータが、ユーザの操作に応じて、前記点群データ及び前記３次元形状データの少なくとも一方と、前記動作データ及び前記人体形状データの少なくとも一方とを共通の３次元座標上に配置する工程と、前記コンピュータが、ユーザの操作に応じて、前記３次元座標上に仮想的に設置される仮想カメラの位置と向きを設定する工程と、前記コンピュータが、前記画面上に、前記仮想カメラを介して見える、前記点群データ及び前記３次元形状データの少なくとも一方と、前記モーションキャプチャ装置から取得している現在の前記作業体験者の動きに連動した前記動作データ及び前記人体形状データの少なくとも一方とを表示する表示工程と、を含む。

また、本発明の３次元空間けがきデータ作成方法は、読み込んだデータに基づき３次元形状を編集することができるソフトウェアを備えるコンピュータを用いた３次元空間けがきデータ作成方法であって、前記コンピュータが、ユーザの操作に応じて、計測対象の３次元スキャンデータである３次元の点群データ及び前記点群データに基づく３次元形状データの少なくとも一方を読み込む工程と、前記コンピュータが、ユーザの操作に応じて、前記計測対象に関連し且つ線で表示される図面を含む２次元図面データを読み込む工程と、前記コンピュータが、ユーザの操作に応じて、前記２次元図面データの少なくとも一部を、画面上において一体で移動及び回転させることができる一体領域としてグルーピングする工程と、前記コンピュータが、ユーザの操作に応じて、前記一体領域に対して座標軸を追加し、前記一体領域を３次元座標上の一平面上に配置された３次元図面データに変換する変換工程と、前記コンピュータが、ユーザの操作に応じて、前記点群データ及び前記３次元形状データの少なくとも一方と、前記３次元図面データとを、共通の３次元座標上に重ねて配置する配置工程と、前記変換工程と前記配置工程との間に、及び／又は前記配置工程の後に、前記コンピュータが、ユーザの操作に応じて、前記点群データ及び前記３次元形状データの少なくとも一方に対応するように、前記３次元図面データを追加した座標が変化する方向に回転させる調整工程と、を含む。

モーションキャプチャ装置で表示される画像と、３次元スキャンデータである点群データに基づく画像とを同座標上で組み合わせて表示することで、実際の計測対象（例えば工場内など）に近似した精度の良い仮想空間を画面上に再現でき、且つモーションキャプチャ技術による当該仮想空間での作業体験及び画面を通した客観的な検証が可能となる。モーションキャプチャで人体が表示される空間（背景等）に点群データに基づく画像を組み込むことで、特に工場や生産ライン等、計測対象の規模が大きい場合であっても、精度良く疑似体験及び動作検証（シミュレーション）をすることができる。このように、本発明の仮想作業表示方法によれば、作業の検証対象とは別の場所で、精度の良い作業体験及び検証をすることができる。

また、本発明の３次元空間けがきデータ作成方法によれば、２次元の図面データを回転させ、例えば設備の側面図（線データ）を立たせて、３次元スキャンデータに基づくデータに重ねて表示することができる。つまり、データ上（仮想）の３次元空間において、点群データ又はその３次元形状データ上に正確なけがきを付すことができる。３次元スキャンデータに基づくデータと２次元図面データとを融合させることにより、容易に且つ精度良く、３次元での設計、シミュレーション、モデリング、及び／又はエンジニアリングを実行することができる。

本実施形態のコンピュータを示す構成図である。 本実施形態の仮想作業表示方法の流れを示すフローチャートである。 本実施形態の表示画面の一例を示す図である。 本実施形態の表示画面の一例を示す図である。 本実施形態の表示画面（一例）と対応する作業体験者を示す図である。 本実施形態の表示切り替えを説明するための説明図である。 本実施形態の表示画面の一例を示す図である。 本実施形態の表示画面（一例）と対応する作業体験者を示す図である。 本実施形態の表示画面の一例を示す図である。 動作データ又は人体形状データの一例を示す図である。 第二実施形態の流れを示すフローチャートである。 ２次元図面データの例を示す図である。 ２次元図面データの例を示す図である。 ３次元図面データの例を示す図である。 回転後の３次元図面データの例を示す図である。 共通の３次元座標上に３次元形状データと３次元図面データとを配置した例を示す図である。 共通の３次元座標上に３次元形状データと３次元図面データとを配置した例を示す図である。 共通の３次元座標上に３次元形状データと３次元図面データとを配置した例を示す図である。 ３次元空間けがきデータ作成方法を実行する装置の構成図である。 本実施形態に係る３次元空間けがきデータ作成方法の流れを示すフローチャートである。 ３次元形状データの例を示す図である。 ３次元形状データの例を示す図である。 共通の３次元座標上に３次元形状データと３次元図面データとを配置した例を示す図である。 共通の３次元座標上に３次元形状データと３次元図面データとを配置した例を示す図である。

＜第一実施形態＞
以下、本発明の実施形態について図に基づいて説明する。本実施形態の仮想作業表示方法では、読み込んだデータに基づき画面上に３次元形状を表示することができるソフトウェア１１（例えば「ＸＶＬ」、ラティス・テクノロジー株式会社製）を備えるコンピュータＡを用いている。図１に示すように、シミュレーションシステム１は、ＣＰＵ等をもつ処理部１０と、ソフトウェア１１と、ディスプレイ（「画面」に相当する）１２と、操作部材１３と、ヘッドマウントディスプレイ（以下、ＨＭＤとする）１４と、モーションキャプチャ用の複数のマーカ１５と、複数のカメラ１６と、を備えている。なお、ＨＭＤ１４にもマーカが設置されている。また図１では、ＨＭＤ１４やマーカ１５など、一部接続配線を省略している。また、処理部１０は、例えば、ＣＰＵやメモリ等の各装置が収納されたパーソナルコンピュータのケース部分である。また、操作部材１３は、例えば、キーボードやマウスである。つまり、処理部１０、ソフトウェア１１、ディスプレイ１２、及び操作部材１３は、コンピュータＡを構成している。

シミュレーションシステム１は、モーションキャプチャ装置の機能及び複合現実感装置の機能も備えている。つまり、シミュレーションシステム１は、カメラ１６から取得したマーカ１５の位置情報に基づいてモーションキャプチャする機能と、カメラ１６から取得したＨＭＤ１４の位置情報及びＨＭＤ１４が撮影した画像データに基づく画像処理機能とを備えている。シミュレーションシステム１には、モーションキャプチャ、複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）（以下、ＭＲとも称する）、及び３次元形状の表示のそれぞれに関する公知のソフトウェアがインストールされている。
まとめると、本方法を実行するシミュレーションシステム１は、コンピュータＡと、モーションキャプチャ用ソフトウェア１１ａがインストールされたコンピュータＡ、マーカ１５、及びカメラ１６で構成されたモーションキャプチャ装置Ｂと、複合現実感装置用ソフトウェア１１ｂがインストールされたコンピュータＡ、カメラ１６、及びＨＭＤ１４で構成された複合現実感装置Ｃと、を備えている。コンピュータＡは、ソフトウェア１１ａ、１１ｂも備えているといえる。

本実施形態の仮想作業表示方法は、図２に示すように、第一読み込み工程Ｓ１と、第二読み込み工程Ｓ２と、座標設定工程Ｓ３と、視点設定工程Ｓ４と、表示工程Ｓ５と、を含んでいる。第一読み込み工程Ｓ１は、コンピュータＡが、ユーザの操作に応じて、計測対象の３次元スキャンデータである３次元の点群データ及び点群データに基づく３次元形状データの少なくとも一方を読み込む工程である。ユーザは主に設定者であるが、作業体験者と同一人物であっても良い。点群データを用いた画面上での３次元表示技術は、例えば特開２０１５−１１８６２４号公報、特開２０１７−０５４４６７号公報、及び特開２０１７−０５４４６８号公報に記載されている。点群データに基づく３次元形状の表示は公知であるため説明は省略する。

第二読み込み工程Ｓ２は、コンピュータＡが、ユーザの操作に応じて、モーションキャプチャ装置（ここではマーカ１５、カメラ１６、及びコンピュータＡの機能の一部で構成される）で取得された作業体験者の動きに関する動作データ及び動作データに基づく人体形状データの少なくとも一方を読み込む工程である。本実施形態では、人体形状データとしてコンピュータグラフィックス（以下「ＣＧ」とする）を用いている。モーションキャプチャ装置についても公知であるため説明は省略する。

座標設定工程Ｓ３は、コンピュータＡが、ユーザの操作に応じて、点群データ及び３次元形状データの少なくとも一方と、動作データ及び人体形状データの少なくとも一方とを共通の３次元座標上に配置する工程である。つまり、ここでは、１つの座標系に、上記異なるデータを適用させている。この工程は、ユーザの操作により、何れか一方のデータの３次元座標に、他方のデータの基準位置を設定し且つ大きさを適合させる工程ともいえる。これにより、点群データを含む仮想空間内に、作業体験者の動作に応じて動くＣＧが表示されるようになる。

視点設定工程Ｓ４は、コンピュータＡが、ユーザの操作に応じて、３次元座標上に仮想的に設置される仮想カメラ（視点）の位置と向きを設定する工程である。仮想カメラ（視点）の設定は、コンピュータＡにインストールされたソフトウェアの何れかで実行できる。仮想カメラを介して見える画像では、各データの座標に応じて、重なる部分は手前のデータのみを表示できる。例えば点群データに基づく３次元形状（例えば各種機械等）は、ＣＧの背景となる。

表示工程Ｓ５は、コンピュータＡが、ディスプレイ１２に、仮想カメラを介して見える、点群データ及び３次元形状データの少なくとも一方と、モーションキャプチャ装置から取得している現在の作業体験者の動きに連動した動作データ及び人体形状データの少なくとも一方とを表示する工程である。つまり、表示工程Ｓ５では、点群データに基づく３次元形状を含む仮想空間及び当該仮想空間内で動作するＣＧを、設定された視点によりディスプレイ１２に表示される。

例えば、図３〜図５に示すように、本実施形態では、点群データに基づく３次元形状を背景として、作業体験者と連動するＣＧがディスプレイ１２に表示される。つまり、位置が互い適合された、精度の良い３次元オブジェクトとＣＧとが同時に表示される。これにより、施設等での作業を体験し、客観的に検証することができる。図３及び図４のように高所作業や頻繁に行わない作業も、精度良く容易にシミュレーションすることができる。ＣＧ（人体モデル）は、作業体験者の動作に応じてリアルタイムに動作する。作業体験者の動きは、３次元キャプチャに基づくＣＧより忠実に再現される。本実施形態によれば、点群データに基づく３次元オブジェクトに対して人の動作検証が可能となる。このように、本実施形態によれば、作業の検証対象とは別の場所で、精度の良い作業体験及び検証をすることができる。点群データに基づく３次元形状データは、ポリゴンであり、工場の内観（内部）又は外観（外部）を表している。

また、表示工程Ｓ５において、コンピュータＡは、ユーザの操作に応じて、動作データ及び人体形状データの少なくとも一方と点群データ及び３次元形状データの少なくとも一方とが読み込まれ且つ同一座標に設定された複合現実感装置（ここではＨＭＤ１４、カメラ１６、及びコンピュータＡの機能の一部で構成される）のデータを用いて、作業体験者が装着した複合現実感装置のＨＭＤ１４を介して見える主観画像と、仮想カメラを介して見える客観画像とを切り替える。

例えば、図６に示すように、本実施形態では、ディスプレイ１２に表示する画像を、ＨＭＤ１４を介した主観画像（体験者目線）と、仮想カメラを介した客観画像（第３者目線）とで切り替えることができる。これにより、作業体験者を含む複数人での検証において、２つの視点により作業体験及び人の動的検証等の各種検証を精度良く実行することができる。本実施形態によれば、作業体験者の位置や姿勢を第３者の視点で確認することができる。図７に客観画像の例であり、図８は主観画像の例である。

また、図９に示すように、表示工程Ｓ５において、コンピュータＡは、ディスプレイ１２に、ＣＧ及び３次元形状データを表示するとともに、３次元座標上において、ＣＧの外縁が３次元形状データの外縁と重なった場合に、当該重なり部分に接触マーク（例えば×マークや○マーク等）を表示する。これにより、人の動的検証等の各種検証が精度良く且つ分かりやすく実行できる。本実施形態によれば、物体との接触を精度良くシミュレートすることができる。なお、図９は主観画像の例であるが、客観画像においても接触マークを表示することができる。

（その他）
本発明は、上記実施形態に限られない。例えば図１０に示すように、動作データ又は人体形状データ（人体モデル）は、骨格データのような単純な表示モデルであっても良い。また、第一読み込み工程Ｓ１と第二読み込み工程Ｓ２は順番が反対でも良い。また、第一読み込み工程Ｓ１は点群データに基づくデータを読み込む工程といえ、第二読み込み工程Ｓ２はモーションキャプチャ装置の出力データを読み込む工程ともいえる。また、本発明は、標準作業検証から特殊作業検証まで幅広く利用することができる。また、本発明の仮想作業表示方法は、作業シミュレーション方法又は検証画像製造方法ともいえる。

また、本発明は、計測対象の３次元スキャンデータである３次元の点群データに基づくデータを読み込む工程Ｓ１と、モーションキャプチャ装置の出力データを読み込む工程Ｓ２と、両データを共通の３次元座標上に配置する工程Ｓ３と、仮想カメラの位置と向きを設定する工程Ｓ４と、画面上に、仮想カメラを介して見える、点群データに基づく表示と、モーションキャプチャ装置から取得している現在の作業体験者の動きに連動した動作データに基づく表示を表示する表示工程Ｓ５と、を含むともいえる。

本発明の有用な点（本発明により可能になる点）については、例えば、第三者目線のカメラの設定、作業性の検証確認の精度向上、作業姿勢の動的評価の動的データ化、ＭＲ技術との連携、従来為されていなかった計測点群データとモーションキャプチャ装置及び／又はＭＲ装置との融合、人体モデルによる正確な寸法計測、ＭＲ画像の破たんレス、高所作業や実行しにくい作業等の事前シミュレーション、実機レスでのシミュレーション、データだけでは表現できない作業要領（カンやコツ）のデータ化、作業オペレータの作業のデータ化、作業者の差による作業比較、及び、体型の差による作業のやりやすさの検証などが挙げられる。

また、３次元ＣＡＤ等のソフトウェア、ＣＧを用いたモーションキャプチャ技術、複合現実感装置、視点設定、及び点群データに基づくリバースモデルの構築等は、公知の技術を利用できる。例えば特開２０１５−１２５６４１号公報や特開２００４−３５５１３１号公報に記載のように、ＭＲ技術は、ＨＭＤで撮像した現実の世界（現実空間）の画像に、コンピュータで生成された仮想の世界（仮想空間）の画像を重畳させて、ＨＭＤの画面に表示する技術である。ＭＲ技術を利用することで、実際に模型を製作することなく、完成品について、大きさ、又は部品の取り外し（取り付け）の作業性などのチェックが可能となる。ＭＲ技術を用いた複合現実感装置としては、例えば、ＨＭＤ（１４）と、ＨＭＤを介してユーザに重畳画像である複合現実感を提示する情報処理部（１０）と、を備えている。

＜第二実施形態＞
第二実施形態の仮想作業表示方法は、第一実施形態に対して、主にディスプレイ１２に表示される画像に図面データ（設計図等）を付加することができる点で異なっている。したがって、異なっている部分について説明する。第二実施形態の説明において、第一実施形態の説明及び図面を参照することができる。

第二実施形態の仮想作業表示方法は、図１１に示すように、第一読み込み工程Ｓ２０１と、第二読み込み工程Ｓ２０２と、座標設定工程Ｓ２０３と、視点設定工程Ｓ２０４と、第三読み込み工程Ｓ２０５と、グルーピング工程Ｓ２０６と、変換工程Ｓ２０７と、調整工程Ｓ２０８と、配置工程Ｓ２０９と、表示工程Ｓ２１０と、を含んでいる。工程Ｓ２０１〜Ｓ２０４は、第一実施形態と同様である。

第三読み込み工程Ｓ２０５は、コンピュータＡが、ユーザの操作に応じて、計測対象に関連し且つ線で表示される図面を含む２次元図面データを読み込む工程である。２次元図面データは、例えば工場等の施設内に設置される設備（例えば機械、配管、及び／又は配線等を含むもの）の設計図である。２次元図面データは、ソフトウェア１１上で（ディスプレイ１２に）線で表示可能に構成されている。第二実施形態の２次元図面データは、図１２に示すように、線データで構成された設備の設計図データである。２次元図面データは、設備を表す六面図（正面図、背面図、右側面図、左側面図、平面図、底面図）のうちの少なくとも１つといえる。図１２の２次元図面データは、中央部分を正面図とすると、上方部分が平面図、下方部分が底面図、右側部分が右側面図となる。

グルーピング工程Ｓ２０６は、コンピュータＡが、ユーザの操作に応じて、２次元図面データの少なくとも一部を、ソフトウェア１１（ディスプレイ１２上）において一体で移動及び回転させることができる一体領域としてグルーピングする工程である。第二実施形態では、ユーザがマウス等によりグループ範囲を選択し、例えば図１３に示すように、正面図を含むグループ２１、平面図を含むグループ２２、底面図を含むグループ２３、及び右側面図を含むグループ２４にグルーピングする。

変換工程Ｓ２０７は、コンピュータＡが、ユーザの操作に応じて、一体領域２１〜２４に対して座標軸を追加し、一体領域２１〜２４を３次元座標上の一平面上に配置された３次元図面データに変換する工程である。つまり、変換工程Ｓ２０７は、グルーピングされた２次元の一体領域２１〜２４に、ソフトウェア１１上でもう１つの座標情報を追加し、一体領域２１〜２４を３次元上の情報に変換する工程である。変換工程Ｓ２０７では、一体領域２１〜２４の位置情報が、Ｘ軸とＹ軸による２次元座標系（Ｘ、Ｙ）の座標情報から、Ｚ軸を加えた３次元の直交座標系（Ｘ、Ｙ、Ｚ）の座標情報に変換される。図１４は、２次元図面データから変換された３次元座標上の図面データ、すなわち（一体領域２１〜２４を含む）３次元図面データの一例である。

調整工程Ｓ２０８は、コンピュータＡが、ユーザの操作に応じて、点群データ及び３次元形状データの少なくとも一方に対応するように、３次元図面データを移動及び／又は回転させる工程である。例えば図１５に示すように、一体領域２２〜２４を立たせるように回転させる。この例によれば、平面図を含むグループ２２では、図１２における下辺（直線）を中心軸とした回転により、当該中心軸を除いて、少なくともＺ座標（追加された座標軸の座標）が変化している。つまり、調整工程Ｓ２０８では、コンピュータＡがユーザの操作に応じて、３次元図面データを、追加された座標軸の座標が変化する方向に回転させる。同様に、底面図を含むグループ２３は、図１２における上辺を中心軸として回転されている。同様に、右側面図を含むグループ２４は、図１２における右辺を中心軸として回転されている。３次元図面データ調整工程Ｓ２０８は、変換工程Ｓ２０７と配置工程Ｓ２０９との間に、及び／又は配置工程Ｓ２０９の後に行われる工程である。

配置工程Ｓ２０９は、コンピュータＡが、ユーザの操作に応じて、点群データ及び３次元形状データの少なくとも一方と、３次元図面データとを、共通の３次元座標上に重ねて配置する工程である。図１６及び図１７に示すように、調整工程Ｓ２０８にて回転され且つ線データで構成された３次元図面データが、点群データに基づく３次元形状データと重ねて配置されている。重なる位置（例えば設備の配置予定位置）の調整は、所望のタイミングで調整工程Ｓ２０８を行うことで、実行できる。ソフトウェア１１（ディスプレイ１２）上で、３次元図面データが３次元形状データよりも手前に表示され、設計図の後ろに、すなわち線データの間（線データ以外の部分）に設備設置対象の施設内の状況（３次元形状データ）が表示される。

表示工程Ｓ２１０は、コンピュータＡが、ディスプレイ１２上に、仮想カメラを介して見える、点群データ及び３次元形状データの少なくとも一方と、動作データ及び人体形状データの少なくとも一方と、３次元図面データと、を表示する工程である。つまり、表示工程Ｓ２１０では、第一実施形態の表示項目に３次元図面データが加えられる。さらに表示工程Ｓ２１０では、コンピュータＡがユーザの操作に応じて、３次元図面データの表示と非表示とを切り替える。つまり、コンピュータＡは、ユーザの操作に応じて、主観画像、主観画像に３次元図面データを重ねた画像、客観画像、及び客観画像に３次元図面データを重ねた画像の４つの表示モードを切り替えることができる。図１８に、主観画像に３次元図面データを重ねた画像例を示す。図１８では、床部分の３次元形状データ（ポリゴン）を切り取り、当該床部分に３次元図面データを貼り付けてある。また図１８では、２次元図面データを立たせて（回転させて）表示した３次元図面データが、３次元形状データの対応する位置に３次元形状データの手前に（重ねて）配置されている。

第二実施形態によれば、３次元スキャンデータに基づく３次元のデータ上の適切な場所に２次元図面を配置することができるため（すなわち３次元の計測データと２次元の図面データとの融合ができるため）、設備等を現地に設置することを容易且つ精度良く検証・シミュレーションすることができる。換言すると、３次元空間に２次元図面をけがきすること、すなわち設計図と同一のけがき線を容易に付すことができる。第二実施形態では、これまで交わることがなかったデータ（計測点群、ＣＡＤ、２次元図面、及びポリゴン）を共通の３次元座標上に表示することができ、容易で且つ精度の良い新たなエンジニアリング手法を実現することができる。

本方法は、現地の設置（据え付け）スペースの情報がない場合や、３ＤＣＡＤのデータがない場合にも有効である。また、本方法によれば、３次元設計に着手する前に、現地設置場所の整合性を確認することができる。本方法によれば、３ＤＣＡＤを必要としないため、検証時間の大幅な短縮が可能となる。また、点群データに基づく３次元データと２次元図面でしか表せない部位、すなわち設備干渉部分の表現（検証）、正面投影確認、及び空間かげきによる検証等が可能となる。設備干渉部分は、例えば図１７に示すように、３次元形状データと３次元図面データとの重なりにより把握することができる。

なお、対象データの読み込みが行われていれば、工程の順番は適宜変更可能である。また、対象データの読み込みの順番、すなわち第一〜第三読み込み工程の順番も入れ替え可能である。また、例えば、点群データに関する処理、モーションキャプチャ装置のデータに関する処理、及び２次元図面データに関する処理をそれぞれ１セットとして、実行するセットの順番を入れ替えても良い。例えば、工程Ｓ２０４〜Ｓ２０９を１セットとして、当該セットを別の工程の前後に配置しても良い。また、適宜書くデータの処理を行っても良い。また、設計図は、レイアウト図や回路配線図を含む概念である。また、データ全体をグルーピングすると、一体領域は当該データ上で１つとなる。

また、上記第一及び第二実施形態の仮想作業表示方法を用いた仮想作業データ作成方法は、コンピュータＡが、ユーザの操作に応じて、ディスプレイ１２に表示される画像（動画を含む）を記憶媒体に記憶する工程を含んでも良い。これによれば、仮想作業の様子をデータとして保管又はクライアントに提供することができる。記憶媒体は、例えば、コンピュータＡ内のハードディスク、外付けハードディスク、フラッシュメモリ、又はＤＶＤ−ＲＯＭ等である。また表示画面例としては、図２４も参照できる。

＜３次元空間かげきデータ作成方法に係る実施形態＞
本実施形態の３次元空間かげきデータ作成方法は、図１９に示すように、読み込んだデータに基づき３次元形状を編集することができるソフトウェア４１を備えるコンピュータ４を用いた方法である。なお、本実施形態の説明において、上記の第一及び第二実施形態の説明及び図面を参照することができる。重複する説明については適宜省略するが、上記第一及び第二実施形態を参照することができる。

コンピュータ４は、ＣＰＵやメモリを有する処理部４０と、処理部４０にインストールされたソフトウェア４１（例えば「ＸＶＬ」、ラティス・テクノロジー株式会社製）と、ディスプレイ４２と、操作部材４３と、を備えている。本方法は、３次元データ読み込み工程Ｓ３０１と、２次元図面読み込み工程Ｓ３０２と、グルーピング工程Ｓ３０３と、変換工程Ｓ３０４と、第一調整工程Ｓ３０５、配置工程Ｓ３０６と、第二調整工程Ｓ３０７と、記憶工程Ｓ３０８と、を含んでいる。

３次元データ読み込み工程Ｓ３０１は、コンピュータ４が、ユーザの操作に応じて、計測対象の３次元スキャンデータである３次元の点群データ及び点群データに基づく３次元形状データの少なくとも一方を読み込む工程である。２次元データ読み込み工程Ｓ３０２は、コンピュータが、ユーザの操作に応じて、前記計測対象に関連し且つ線で表示される図面を含む２次元図面データを読み込む工程である。図１２に示すように、本実施形態の２次元図面データは、線データで構成されている。２次元図面データは、第二実施形態同様、設計図データである。

グルーピング工程Ｓ３０３は、コンピュータ４が、ユーザの操作に応じて、２次元図面データの少なくとも一部を、ソフトウェア４１において一体で移動及び回転させることができる一体領域としてグルーピングする工程である。グルーピング工程Ｓ３０３は、一体で配置の編集する領域を選択する工程ともいえる。グルーピング工程Ｓ３０３では、図１３に示すように、例えば１シートに複数の図面が配置されている場合、正面図や側面図と図面単位でグルーピングすることが好ましい。

変換工程Ｓ３０４は、コンピュータ４が、ユーザの操作に応じて、一体領域に対して座標軸を追加し、一体領域を３次元座標上の一平面上に配置された３次元図面データに変換する工程である。変換工程Ｓ３０４では、図１４に示すように、グルーピングされたＸＹ座標上の２次元図面データに、Ｚ座標軸（Ｚ座標情報）を追加して、３次元座標（Ｘ、Ｙ、Ｚ）上の図面データ（一平面上の図面）に変換する。

第一調整工程Ｓ３０５は、コンピュータ４が、ユーザの操作に応じて、点群データ及び３次元形状データの少なくとも一方に対応するように、３次元図面データを移動及び／又は回転させる工程である。第一調整工程Ｓ３０５では、例えば図１５に示すように、側面図等を３次元空間に合わせて立たせる（回転させる）。この例では、グルーピングされた２次元図面データを、Ｘ軸又はＹ軸に平行な直線を回転軸として９０°回転させている。このように第一調整工程Ｓ３０５において、コンピュータ４は、ユーザの操作に応じて、３次元図面データを、追加された座標軸（Ｚ軸）の座標が変化する方向に回転させる。

配置工程Ｓ３０６は、コンピュータ４が、ユーザの操作に応じて、点群データ及び３次元形状データの少なくとも一方と、３次元図面データとを、共通の３次元座標上に重ねて配置する工程である。本実施形態の配置工程Ｓ３０６では、コンピュータ４が、ユーザの操作に応じて、３次元座標上において、例えば、図２１に示すように３次元形状データ（設備が配置された工場の内観）を配置し、図２２に示すように当該３次元形状データの一部（床部分）を切り取っている（例えばグルーピング後に削除する）。つまり、本方法には、３次元形状データの編集工程が含まれている。図２３に示すように、本実施形態の配置工程Ｓ３０６では、ソフトウェア４１の共通の３次元座標上において、３次元形状データの切り取られた床部分に３次元図面データが重ねて配置されている。さらに、図１８及び図２４に示すように、側面図等の回転させた（立たせた）図面データを共通の３次元座標上に配置させる。

第二調整工程Ｓ３０７は、第一調整工程Ｓ３０５と同様、ユーザの操作に応じて、点群データ及び３次元形状データの少なくとも一方に対応するように、３次元図面データを移動及び／又は回転させる工程である。本実施形態の第二調整工程Ｓ３０７では、３次元図面データが３次元形状データの対応する位置に配置されるように、３次元図面データの位置を調整（相対移動ともいえる）している。３次元空間けがきデータの例としては、図１６〜図１８及び図２４が参照できる。記憶工程Ｓ３０８では、作成されたデータ（３次元空間けがきデータ）を記憶媒体（例えば、フラッシュメモリ、ＤＶＤ−ＲＯＭ、及びハードディスク等の不揮発性メモリ）に保存する。記憶媒体への保存は、保管やクライアントへの提供に適している。

本実施形態によれば、３次元空間に容易且つ精度良くかげきする（かげき線を付す）ことができ、各種検証が容易且つ精度良く実行できるなど、第二実施形態と同様の効果が発揮される（第二実施形態の記載を参照）。さらに、本方法は、少ない設備（例えばレーザースキャン装置とソフトウェアがインストールされたパーソナルコンピュータ）で実行することができる。なお、本方法は、上記のように、点群データ及び／又は３次元形状データを編集（例えばグルーピング、移動、回転、切り取り等）する編集工程を含んでも良い。

上記の本発明に係る各種方法は、プラント（例えば工場、設備、機械、又は発電所等）の設計や建築において特に有効である。つまり、計測対象が大きく、機械等のレイアウトのシミュレーション（検証）に時間と労力がかかる業務において、本発明によればシミュレーションを容易に行うことができ、極めて有効である。したがって、計測対象が建物（例えば工場）の内観（内部）又は外観（外部）を含む場合、建物の内観又は外観を含む３次元スキャンデータを用いることになり、本発明に係る方法は極めて有効となる。建物の内観又は外観には、すでに建物内部又は外部に１又は複数の設備や機械が設置されている場合、当該設備や機械も含まれる。本方法は、家屋や施設の設計にも応用できる。点群データに基づく３次元形状データは、ポリゴンであり、例えば施設や工場の内観（内部）又は外観（外部）を表す。特に建物のような大きなものに設備や機械を設置する場合、そのレイアウトや作業のしやすさ等の検証を精度良く行おうとすると、３ＤＣＡＤを用いる等、多大な時間と労力がかかってしまう。しかし、本発明に係る方法によれば、建物の内観又は外観を含む３次元スキャンデータと他種のデータとを組み合わせて用いることで、容易且つ精度良く画面上で各種検証をすることができる。

また、本発明に係る方法によれば、現状の設備と設置予定の設備とが干渉するか否かを検証でき、干渉部分がある場合、画面上で明確に確認することができる。つまり、点群データに基づく画像に現地の現状が３次元空間に現れており、設置予定の設備や機械の図面が当該３次元空間にけがきされるため、どの部分が干渉するか等、干渉部分が明確となる。例えば、３次元空間内（座標上）で、設備等を含む建物内観又は外観の３次元形状データに、３次元図面データを配置（けがき）することが、容易且つ精度良く検証するために極めて有効となる。例えば２次元図面データが設備等のレイアウト図面である場合、容易且つ精度良く設備の配置や設備同士の干渉等を検証することができる。また、図２４において、床部分（３次元形状データの一部）を切り取ることなく、床部分の３次元形状データ上に床部分の３次元図面データを配置しても良い。３次元形状データの一部の上に、当該一部に対応する図面である３次元図面データを配置することができる。

１…シミュレーションシステム、Ａ、４…コンピュータ、１１、４１…ソフトウェア、１２、４２…ディスプレイ、１４…ヘッドマウントディスプレイ

本発明の仮想作業表示方法は、読み込んだデータに基づき画面上に３次元形状を表示することができるソフトウェアを備えるコンピュータを用いた仮想作業表示方法であって、前記コンピュータが、ユーザの操作に応じて、計測対象の３次元スキャンデータである３次元の点群データ及び前記点群データに基づく３次元形状データの少なくとも一方を読み込む工程と、前記コンピュータが、ユーザの操作に応じて、モーションキャプチャ装置で取得された作業体験者の動きに関する動作データ及び前記動作データに基づく人体形状データの少なくとも一方を読み込む工程と、前記コンピュータが、ユーザの操作に応じて、前記点群データ及び前記３次元形状データの少なくとも一方と、前記動作データ及び前記人体形状データの少なくとも一方とを共通の３次元座標上に配置する工程と、前記コンピュータが、ユーザの操作に応じて、前記３次元座標上に仮想的に設置される仮想カメラの位置と向きを設定する工程と、前記コンピュータが、前記画面上に、前記仮想カメラを介して見える、前記点群データ及び前記３次元形状データの少なくとも一方と、前記モーションキャプチャ装置から取得している現在の前記作業体験者の動きに連動した前記動作データ及び前記人体形状データの少なくとも一方とを表示する表示工程と、前記コンピュータが、ユーザの操作に応じて、前記計測対象に関連し且つ線で表示される図面を含む２次元図面データを読み込む工程と、前記コンピュータが、ユーザの操作に応じて、前記２次元図面データの少なくとも一部を、前記画面上において一体で移動及び回転させることができる一体領域としてグルーピングする工程と、前記コンピュータが、ユーザの操作に応じて、前記一体領域に対して座標軸を追加し、前記一体領域を３次元座標上の一平面上に配置された３次元図面データに変換する変換工程と、前記コンピュータが、ユーザの操作に応じて、前記点群データ及び前記３次元形状データの少なくとも一方と、前記３次元図面データとを、前記共通の３次元座標上に重ねて配置する配置工程と、前記変換工程と前記配置工程との間に、及び／又は前記配置工程の後に、前記コンピュータが、ユーザの操作に応じて、前記点群データ及び前記３次元形状データの少なくとも一方に対応するように、前記３次元図面データを移動及び／又は回転させる調整工程と、を含み、前記表示工程において、前記コンピュータは、前記画面上に、前記仮想カメラを介して見える前記３次元図面データをさらに表示し、前記調整工程において、前記コンピュータは、ユーザの操作に応じて、前記３次元図面データを、追加された前記座標軸の座標が変化する方向に回転させる。

また、本発明の３次元空間けがきデータ作成方法は、読み込んだデータに基づき３次元形状を編集することができるソフトウェアを備えるコンピュータを用いた３次元空間けがきデータ作成方法であって、前記コンピュータが、ユーザの操作に応じて、計測対象の３次元スキャンデータである３次元の点群データ及び前記点群データに基づく３次元形状データの少なくとも一方を読み込む工程と、前記コンピュータが、ユーザの操作に応じて、前記計測対象に関連し且つ線で表示される図面を含む２次元図面データを読み込む工程と、前記コンピュータが、ユーザの操作に応じて、前記２次元図面データの少なくとも一部を、画面上において一体で移動及び回転させることができる一体領域としてグルーピングする工程と、前記コンピュータが、ユーザの操作に応じて、前記一体領域に対して座標軸を追加し、前記一体領域を３次元座標上の一平面上に配置された３次元図面データに変換する変換工程と、前記コンピュータが、ユーザの操作に応じて、前記点群データ及び前記３次元形状データの少なくとも一方と、前記３次元図面データとを、共通の３次元座標上に重ねて配置する配置工程と、前記変換工程と前記配置工程との間に、及び／又は前記配置工程の後に、前記コンピュータが、ユーザの操作に応じて、前記点群データ及び前記３次元形状データの少なくとも一方に対応するように、前記３次元図面データを追加した座標が変化する方向に回転させる調整工程と、を含み、前記調整工程において、前記コンピュータは、ユーザの操作に応じて、前記３次元図面データを、追加された前記座標軸の座標が変化する方向に回転させる。

Claims (14)

1. 読み込んだデータに基づき画面上に３次元形状を表示することができるソフトウェアを備えるコンピュータを用いた仮想作業表示方法であって、
   前記コンピュータが、ユーザの操作に応じて、計測対象の３次元スキャンデータである３次元の点群データ及び前記点群データに基づく３次元形状データの少なくとも一方を読み込む工程と、
   前記コンピュータが、ユーザの操作に応じて、モーションキャプチャ装置で取得された作業体験者の動きに関する動作データ及び前記動作データに基づく人体形状データの少なくとも一方を読み込む工程と、
   前記コンピュータが、ユーザの操作に応じて、前記点群データ及び前記３次元形状データの少なくとも一方と、前記動作データ及び前記人体形状データの少なくとも一方とを共通の３次元座標上に配置する工程と、
   前記コンピュータが、ユーザの操作に応じて、前記共通の３次元座標上に仮想的に設置される仮想カメラの位置と向きを設定する工程と、
   前記コンピュータが、前記画面上に、前記仮想カメラを介して見える、前記点群データ及び前記３次元形状データの少なくとも一方と、前記モーションキャプチャ装置から取得している現在の前記作業体験者の動きに連動した前記動作データ及び前記人体形状データの少なくとも一方とを表示する表示工程と、
   を含む仮想作業表示方法。
2. 前記表示工程において、前記コンピュータは、ユーザの操作に応じて、前記動作データ及び前記人体形状データの少なくとも一方と前記点群データ及び前記３次元形状データの少なくとも一方とが読み込まれ且つ同一座標に設定された複合現実感装置のデータを用いて、前記作業体験者が装着した前記複合現実感装置のヘッドマウントディスプレイを介して見える主観画像と、前記仮想カメラを介して見える客観画像とを切り替える請求項１に記載の仮想作業表示方法。
3. 前記人体形状データは、コンピュータグラフィックスであり、
   前記表示工程において、前記コンピュータは、前記画面上に、前記コンピュータグラフィックス及び前記３次元形状データを表示するとともに、前記共通の３次元座標上において、前記コンピュータグラフィックスの外縁が前記３次元形状データの外縁と重なった場合に、当該重なり部分に接触マークを表示する請求項１又は２に記載の仮想作業表示方法。
4. 前記コンピュータが、ユーザの操作に応じて、前記計測対象に関連し且つ線で表示される図面を含む２次元図面データを読み込む工程と、
   前記コンピュータが、ユーザの操作に応じて、前記２次元図面データの少なくとも一部を、前記画面上において一体で移動及び回転させることができる一体領域としてグルーピングする工程と、
   前記コンピュータが、ユーザの操作に応じて、前記一体領域に対して座標軸を追加し、前記一体領域を３次元座標上の一平面上に配置された３次元図面データに変換する変換工程と、
   前記コンピュータが、ユーザの操作に応じて、前記点群データ及び前記３次元形状データの少なくとも一方と、前記３次元図面データとを、前記共通の３次元座標上に重ねて配置する配置工程と、
   前記変換工程と前記配置工程との間に、及び／又は前記配置工程の後に、前記コンピュータが、ユーザの操作に応じて、前記点群データ及び前記３次元形状データの少なくとも一方に対応するように、前記３次元図面データを移動及び／又は回転させる調整工程と、
   を含み、
   前記表示工程において、前記コンピュータは、前記画面上に、前記仮想カメラを介して見える前記３次元図面データをさらに表示する請求項１〜３の何れか一項に記載の仮想作業表示方法。
5. 前記調整工程において、前記コンピュータは、ユーザの操作に応じて、前記３次元図面データを、追加された前記座標軸の座標が変化する方向に回転させる請求項４に記載の仮想作業表示方法。
6. 前記表示工程において、前記コンピュータは、ユーザの操作に応じて、前記３次元図面データの表示と非表示を切り替える請求項４又は５に記載の仮想作業表示方法。
7. 前記３次元図面データは、線で表示される設備の設計図データである請求項４〜６の何れか一項に記載の仮想作業表示方法。
8. 前記計測対象は、建物の内観又は外観を含む請求項１〜７の何れか一項に記載の仮想作業表示方法。
9. 請求項１〜８の何れか一項に記載の仮想作業表示方法により表示される画像データを記憶媒体に記憶する工程を含む仮想作業データ作成方法。
10. 読み込んだデータに基づき３次元形状を編集することができるソフトウェアを備えるコンピュータを用いた３次元空間けがきデータ作成方法であって、
    前記コンピュータが、ユーザの操作に応じて、計測対象の３次元スキャンデータである３次元の点群データ及び前記点群データに基づく３次元形状データの少なくとも一方を読み込む工程と、
    前記コンピュータが、ユーザの操作に応じて、前記計測対象に関連し且つ線で表示される図面を含む２次元図面データを読み込む工程と、
    前記コンピュータが、ユーザの操作に応じて、前記２次元図面データの少なくとも一部を、前記ソフトウェアにおいて一体で移動及び回転させることができる一体領域としてグルーピングする工程と、
    前記コンピュータが、ユーザの操作に応じて、前記一体領域に対して座標軸を追加し、前記一体領域を３次元座標上の一平面上に配置された３次元図面データに変換する変換工程と、
    前記コンピュータが、ユーザの操作に応じて、前記点群データ及び前記３次元形状データの少なくとも一方と、前記３次元図面データとを、共通の３次元座標上に重ねて配置する配置工程と、
    前記変換工程と前記配置工程との間に、及び／又は前記配置工程の後に、前記コンピュータが、ユーザの操作に応じて、前記点群データ及び前記３次元形状データの少なくとも一方に対応するように、前記３次元図面データを移動及び／又は回転させる調整工程と、
    を含む３次元空間けがきデータ作成方法。
11. 前記調整工程において、前記コンピュータは、ユーザの操作に応じて、前記３次元図面データを、追加された前記座標軸の座標が変化する方向に回転させる請求項１０に記載の３次元空間けがきデータ作成方法。
12. 前記３次元図面データは、線で表示される設備の設計図データである請求項１０又は１１に記載の３次元空間けがきデータ作成方法。
13. 前記配置工程及び前記調整工程の後の前記共通の３次元座標上のデータを記憶媒体に記憶する工程を含む請求項１０〜１２の何れか一項に記載の３次元空間けがきデータ作成方法。
14. 前記計測対象は、建物の内観又は外観を含む請求項１０〜１３の何れか一項に記載の３次元空間けがきデータ作成方法。