JP2011519438A - 仮想環境のもとで会議を開くための方法およびシステム - Google Patents

Abstract

バーチュアル環境において複数の人の間で会議をおこなうシステムと方法を提供する。複数の人の各人用ディスプレイは仮想会議室を表示する。仮想会議室は複数の人のそれぞれを表すアバターと、製造設備の３次元モデルを表示するバーチュアルディスプレイとを含む。３次元モデルのオブジェクトの選択が受け取られるとバーチュアルディスプレイは前記選択された３次元モデルオブジェクトに関する情報を表示する。複数の人の各人用ディスプレイは、バーチュアル会議室と、選択された３次元モデルオブジェクトに関する情報を示すバーチュアルディスプレイとを表示する。

Description

（関連出願に関する相互参照）
本明細書は、２００８年２月２８日に出願された米国仮特許出願第６１／０３２，２７６について、米国法典第３５編第１１９条に基づく優先権を主張し、その仮出願を参照することによりその開示内容全体を本明細書に取り込む。

本発明は、仮想環境のもとで会議を開くための方法およびシステムに関し、特に製造設備や資産運用、保守およびトレーニングの改善のために使用するものである。

今日の製造に関わる企業は、その活動、専門家および施設を世界中に分散させている場合がある。トレーニング、知識共有あるいはトラブル解決のために適切な人材全員を一度に一つの場所に集めることは、困難であり、費用がかかり、緊急を要する問題に取組むには最適なタイミングを失することがしばしばである。ところが遠隔会議やウェブ会議でさえ、参加者の相互会話は制約されており、議論の対象であるプラントの装置について真に可視的に参照する機能を提供してはいない。また、トレーニングや保守のために高価な製造装置の運転を停止することはコストがかかり製造プロセスを中断させることになる。作業員が前もって十分な訓練を受けていない場合、修理やメインテナンスのための装置停止時間は長引くことになる。さらに、装置の運転を継続した状態の工場で、作業員の作業時間が長引けばその作業員がけがをする危険性が増す。

従来の方法やシステムについて上記に特定したものやその他の短所に鑑みて、意味あるコンピュータに基づく訓練や運転の管理をおこなうためには、製造設備に関連してリアルタイムの現実の資産データが必要であると認識されていた。したがって、現存システムにおける上記の必要事項に対処して欠点を克服する方法とシステムが有用である。

バーチュアル環境において複数の人の間で会合を開くシステムと方法を提供する。一つの方法としては、たとえば複数の人のそれぞれを表すアバターと、製造設備の３次元モデルを示すバーチュアルディスプレイとを複数の人の各人用ディスプレイ上に出力する。３次元モデルのオブジェクトの選択が受け取られたらバーチュアルディスプレイは選択された３次元モデルオブジェクトに関する情報を表示する。複数の人の各人用ディスプレイはバーチュアル会議室と、選択された３次元モデルオブジェクトに関する情報を示すバーチュアルディスプレイとを出力する。

オブジェクトに関する情報は、典型的な操作および保守作業手順の実施に関する協調的な更新、編集および訓練の原資を提供することになる。

製造設備が石油精製設備である場合、前記選択されたオブジェクトは、容器、回転機械、分離装置と容器、ミキシング装置と容器、反応装置と容器、関連バルブ、配管、計器および／または構造物の一つとすることができる。

選択されたオブジェクトに関する情報は例えば、選択されたオブジェクトに関する保守データ、運転データ、検査データまたは文書とすることができる。別の方法として、あるいは追加的に、選択されたオブジェクトに関する情報は複数のサブオブジェクトとすることができる。

この方法はさらにサブオブジェクトの一つの選択を受け取り、選択された３次元モデルのサブオブジェクトに関する情報をバーチュアルディスプレイ上に表示する。複数の人の各人用ディスプレイは、バーチュアル会議室と、選択された３次元モデルのサブオブジェクトに関する情報を示すバーチュアルディスプレイとを出力する。

選択されたサブオブジェクトに関する情報は例えば、選択されたオブジェクトに関する保守データ、運転データ、検査データまたは文書とすることができる。

この方法はさらにリアルタイムデータを使って、製造設備の３次元モデルを更新するステップを含む。リアルタイムデータは例えば保守データ、運転データ、検査データまたは文書とすることができる。
一例としてシステムは、バーチュアル環境を作り出すコンピュータプログラムを実行するサーバを含む。このバーチュアル環境はバーチュアル会議室と、ネットワークを介してサーバに接続された、複数の人の各人用ユーザ端末とを含む。このシステムはまたサーバに接続された製造設備情報記憶装置を含む。サーバは複数のユーザ端末用の各ディスプレイにバーチュアル会議室を出力するためのディスプレイロジック回路を含み、そのバーチュアル会議室は複数の人のそれぞれを表すアバターと、製造設備の３次元モデルを表示するバーチュアルディスプレイとを含む。サーバは３次元モデルのオブジェクトの選択を受け取り、その選択に応じてディスプレイロジック回路は選択された３次元モデルオブジェクトに関する情報を示すバーチュアルディスプレイを複数の人の各人用ディスプレイに出力する。

本発明によるシステムの一例を示すブロック図である。 本発明による方法の一例を示すフロー図である。 本発明による、仮想環境を作り出すコンピュータプログラムを実行するサーバの一例を示すブロック図である。 本発明による、仮想会議室の一例を示すブロック図である。 本発明による、仮想会議室の一例を示すブロック図である。 本発明による、仮想会議室の一例を示すブロック図である。 本発明による、仮想会議室の一例を示すブロック図である。 本発明による方法の別の例を示すフロー図である。

図１Ａは本発明によるシステムの一例を示すブロック図である。システムには仮想環境１３０に接続された複数のユーザ端末１３５_１−１３５_ｎが含まれる。ユーザ端末１３５_１−１３５_ｎは、デスクトップコンピュータ、ラップトップコンピュータ、携帯情報端末（ＰＤＡ）、ワイアレス電話、スマートフォンなどいかなるタイプのユーザ端末でもよい。図２に関連して以下にもっと詳しく説明するが、仮想環境１３０はサーバ上で実行される。

位置を特定されたインテリジェントな製造設備１２５の３次元モデルもまた仮想環境１３０につながっている。インテリジェントな３次元モデル１２５はインテリジェントな３次元モデルビルダー１２０に接続されており、３次元モデルビルダー１２０は３次元モデルデータ用データベース１０５およびリアルタイムデータ用データベース１１０につながっている。リアルタイムデータ用データベースには、プラント保守データ用データベース１１２、運転データ用データベース１１４、検査データ用データベース１１６およびドキュメント管理システムデータ用データベース１１８が含まれる。図１Ａに示したものに加えて、あるいはそれらの代わりに、ほかのタイプのリアルタイムデータを用いることもできる。図１Ａの構成要素のいずれかを何らかのネットワーク、例えばインターネット、を介して相互に接続することができる。

図１Ｂのフロー図を参照して本システム全体の動作を説明する。まず、位置を特定された１つまたは複数の製造設備３次元モデルを制作し、データベース１０５に取り込む（ステップ１５０）。３次元モデルはレーザ走査技術、例えばＩｒｖｉｎｅ ＣａｌｉｆｏｒｎｉａのＩＮＯＶｘが提供する技法、を用いて制作することができる。これに加えて、あるいはこれに代わるものとして、対象モデルは２次元または３次元コンピュータ支援設計（ＣＡＤ）ファイルの変換によっても作成することができる。３次元モデルはいかなる公差、例えば５ｍｍ、でも設計できる。したがって、配管が完全に垂直に設計されていても、この３次元モデルは水平方向におけるいかなる変化でも反映することができる。

リアルタイムデータで更新される３次元モデルの各種要素はタグが付けられる（ステップ１５５）。これらの要素はいかなる要素でもよい。例えば、対象物、２次的対象物、コンポーネント、構造物、回路、サブシステムなどが挙げられる。インテリジェントな３次元モデルビルダー１２０は、タグを使って３次元モデルデータとリアルタイムデータを組み合わせてインテリジェントな３次元モデルを作成する（ステップ１６０）。３次元モデルが「インテリジェント」であるというのは、それが構造情報と運転情報の両方に基づいており、リアルタイムデータに基づいて更新されるという意味においてである。インテリジェント３次元モデルはデータベース１２５内に保存され、このデータベースはその３次元モデルを仮想環境１３０に提供する（ステップ１６５）。以下にさらに詳しく説明するが、３次元モデルを使用して作成した仮想環境１３０において、３次元モデルと端末１３５_１−１３５_ｎのユーザを表すアバターとの間で対話が可能となる（ステップ１７０）。図には示されていないが、３次元モデル自体を更新して、新しい要素や再構成された要素など、構造変更を反映することができる。

仮想環境の作成の概要を説明してきたが、図２から図４を参照して仮想環境の動作を以下に説明する。図２はコンピュータプログラムを実行することによって本発明による仮想環境を作り出すサーバの一例を示すブロック図である。サーバ２５０にはネットワークインターフェース２５５が含まれる。これはユーザ端末１３５_１−１３５_ｎおよびインテリジェント３次元モデルデータベース１２５と情報を交換するものである。ネットワークインターフェース２５５はプロセサー２６０に接続され、そのプロセサーはメモリ２７０につながっている。プロセサー２６０はロジック回路２６２−２６８を含む。これらロジック回路については以下に詳しく説明する。プロセサー２６０は、マイクロプロセサー、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ＡＳＩＣなど、いかなるタイプのプロセサーでもよい。プロセサーがマイクロプロセサーである場合、ロジック回路２６２−２６８はメモリ２７０から読み込まれプロセサーによって実行可能なコードとすることができる。

図３Ａと図４を参照すると、ロジック回路２６２は初めにバーチュアル環境を表示する（ステップ４０５）。バーチュアル環境には、アバター３０５_１−３０５_ｎと、３次元オブジェクト３１５_１−３１５_ｎからなるインテリジェント３次元モデルを含むバーチュアルディスプレイ３１０とが含まれる。インテリジェント３次元モデルによって表される製造設備のタイプによって、オブジェクトは例えば、容器、回転装置、分離装置と容器、ミキシング装置と容器、反応装置と容器、関連するバルブ、配管、計器要素および／または他の構造物などとすることができる。バーチュアルディスプレイは追加情報、例えばオブジェクトの保守データ、も表示することができる。

図３Ａでは特定の人数のアバターおよび３次元モデルを構成する特定の数のオブジェクトが示されているが、本発明はアバターの人数および／または３次元モデルを構成するオブジェクトの数を増やしたり減らしたりすることもできる。さらに、３次元モデルのオブジェクトの配置は単に例示的なものであり、これらオブジェクトは異なる様式に配置することができる。さらに、複数のディスプレイを使うことも可能である。図示してはいないが、バーチュアル環境には複数のバーチュアル会議室および／またはバーチュアルディスプレイを含めることができる。さらに、バーチュアル会議室にはバーチュアルホワイトボードや、アバターのメモやコメントを記録するための要素、例えばフリップチャート、添付テキストあるいは音声コメントなども含めることができる。

ロジック回路２６４は、サーバ２５０がアバターまたは３次元モデルの更新を受け取ったかどうかを確かめる（ステップ４１０）。アバターの更新には、ユーザ端末または会議がバーチュアル環境に参加したりそれから離れる際にアバターを追加したり除外すること、および／またはバーチュアル環境内でアバターを動かすことが含まれる。３次元モデル更新はリアルタイムデータ１１０に基づく更新を含むことができる。ロジック回路２６４がそのような更新が受け取られた（判定ステップ４１０の「Ｙｅｓ」が選ばれた）と判断した場合、ロジック回路２６４はバーチュアル環境を更新し（ステップ４１５）、ロジック回路２６２は更新情報で更新されたバーチュアル環境を表示する（ステップ４０５）。

アバターまたは３次元モデル更新が受け取られていない（判定ステップ４１０の「Ｎｏ」が選ばれた）と判断した場合、ロジック回路２６６は３次元オブジェクト選択が受領されたかどうかを判定する（ステップ４２０）。３次元オブジェクト選択はユーザ端末１３５_１−１３５_ｎの一つの入力装置およびバーチュアル環境内のアバターの動きをを使って、オブジェクトなどを選択するすることができる。入力装置はキーボード、キーパッド、マウス、ペン入力装置、トラックパッド、トラックボールなどに限定されずいかなるタイプの入力装置を用いてもよい。オブジェクト選択が受領されていない（ステップ４２０の「Ｎｏ」が選ばれた）場合、ロジック回路２６２はバーチュアル環境を引き続き表示する（ステップ４０５）。

ところがオブジェクト選択が受領された（判定ステップ４２０の「Ｙｅｓ」が選ばれた）と判断した場合、ロジック回路２６８はその選択が選択されたオブジェクトに関する情報を表示するのかまたは選択されたオブジェクトのサブオブジェクトを表示するのかを確かめる（ステップ４２５）。その情報は選択されたオブジェクトに関する保守データ、運転データ、検査データまたは文書とすることができる。その選択が選択されたオブジェクトに関する情報の表示である（ステップ４２５の「Ｎｏ」が選ばれた）とロジック回路２６８が判断した場合、図３Ｂに示されるように、ロジック回路２６２はオブジェクト情報をディスプレイ２１０に表示する（ステップ４３０）。ディスプレイ３１０を３次元オブジェクトからなる３次元モデルを表示する状態に戻すというユーザ要求の一つを受け取る（判定ステップ４３５において「Ｙｅｓ」が選ばれる）まで、ユーザはユーザ端末の入力装置および／またはアバターを使ってデータと対話することことができる。

オブジェクト選択が選択されたオブジェクトのサブオブジェクトを表示する（判定ステップ４２５の「Ｙｅｓ」が選ばれた）場合、図３Ｃに示すように、ロジック回路２６２は３次元サブオブジェクト３２５_１−３２５_ｎを表示する（ステップ４４０）。サブオブジェクト選択を受け取った（判定ステップ４４５の「Ｙｅｓ」）場合、図３Ｄに示すようにロジック回路２６２は、サブオブジェクト表示に戻る要求（判定ステップ４５５の「Ｙｅｓ」）またはオブジェクト表示に戻る要求（判定ステップ４６０の「Ｙｅｓ」）をユーザおよび／またはアバターの一人から受け取るまで、バーチュアル環境内でサブオブジェクト情報を表示する（ステップ４５０）。

上記の図では特定情報がディスプレイ上に表示されているが、本発明はそれに限定されることはない。例えば、ディスプレイは視野を広げるために様々なビューを組み合わせた「情報ビュー」を提供することができる。例えば、構造スチールと配管ビューを組み合わせて適切なアクセスおよびルーティングを計画し、定期点検スタッフに通知することができる。足場の図面をそれらビューに重ねて足場が適切であることを確かめることができる。同様に、本発明は特定の環境をよりよく理解できるようにビューを除去することも可能である。情報ビューを含むビューは左右に動かしたり、ズームしたり、あるいはナビゲートすることによって全視野を見ることができる。

また本発明は問い合わせ機能を提供できる。例えば、腐食ガスを含み、年４ｍｍを越える腐食速度と５００度を越える運転温度を有するすべての配管について問い合わせを実行して、そのようなパイプのインテリジェント３次元モデルを作成することができる。これは各種データベースからデータを取り出してそのようなパイプを特定することによって行われる。

さらに、本発明はシナリオと出来事の動きを伴った描写を作成するためにシミュレーションと再生機能を提供できる。この機能は不具合と回復手順に関するトレーニング、学習および検討を支援する。この機能には、説明描写を見る人の間で手順を開発したり最良の処置法を提案する上で役に立つ注釈を加える機能も含めることができる。

本発明は様々な状況で使用することができる。例えば、電動バルブの更新プロジェクトを計画する場合、バルブに電力供給する電力線、電柱およびジャンクションボックスは容易にそれらの場所を特定することができる。本発明はまた最適な構成、行動手順、逆フラッシング量などの決定にも使用できる。同様に、インテリジェント３次元モデルによって、実際の工場を訪れる前に、足場の必要性、通路の制約および安全のための要件を調べることができる。データベースにはまたクレーンなど工場に一時的に配置する動的資産の情報を含めることもできる。

本発明は例えば修理に利用できる。インテリジェント３次元モデルを一時的な修理データベースと組み合わせることにより、運転停止を含む定期点検や作業手順の範囲内でおこなえる恒久的修理のすべての機会を確定することができる。これには既に説明した問い合わせ機能を使うことができる。さらに、作業手順をターゲット設備やシステムに正確にリンクさせて現在の資産を提示することができる。本発明はまた作業手順をフォークリフトや足場など予定された必要な支援にリンクさせることができる。

上記したように、本発明は製造設備のインテリジェント３次元モデルを使ったバーチュアル環境において会議をおこなうために使用する。これは特に製造設備さらに資産運用、保守および訓練を改善するために利用するのが特に効果的である。例えば、ある製造設備の運転および／または保守問題を評価するために何人もの人がその設備まで出かけて行くかわりに、遠隔地にいる一人または複数の人によってこれらの問題に対処することができる。さらに、人を特定の設備まで行かせて設備の部品（例えば機械）の操作について訓練をする代わりに、本発明を使ってこれらの人を遠隔に訓練することができる。インテリジェント３次元モデル内のリアルタイムデータを使用することにより、旅費の削減が可能となり、すべての関係者が参加することができ、また訓練や保守のために高価な製造設備を停止する必要がなくなる。製造設備の運転停止は高い費用がかかるだけでなく製造工程を狂わせてしまう。さらに、バーチュアル環境は、稼働中の工場環境内で作業員が費やす時間を低減するので大きな安全上の効果を生む。

インテリジェント３次元モデルの使用は、従来の２次元図面よりも大きな利点を提供する。２次元図面（例えば、等角図）は誤解を生みやすいけれども、本発明の３次元モデルはモデル化された要素の理解を容易にする。さらに、２次元図面はシステムの設計のみを反映するのが普通であるが、本発明のインテリジェント３次元モデルは実際に構築されたものを表すだけでなく、後日の改良やその他の開発も反映する。さらに、典型的な３次元モデルは静的であり製造設備が変更されても更新されないが、本発明のインテリジェント３次元モデルはそれらの変更を反映する。

本発明の他の実施例および個々のコンポーネントは、上記の詳細な説明から当業者にとって容易に想起されるであろう。本発明は、その精神と範囲から逸脱することなく、ほかの異なる実施例を提供できるだけでなく、そのいくつかの詳細は様々な点で変更が可能である。図面や詳細な説明は本質的に一例として示したものであり、本発明を制限するものではないと見なすべきである。すなわち、クレームに示されたもの以外に本発明を制限するものはない。

Claims (14)

1. 複数の人の間で会議を開く方法であって、
   各人を表すアバターと製造設備の３次元モデルを表示するバーチュアルディスプレイを含むバーチュアル会議室を複数の人の各人用ディスプレイ上に出力するステップと、
   ３次元モデルのオブジェクトの選択を受け取るステップと、
   選択された３次元モデルオブジェクトに関する情報を前記バーチュアルディスプレイ上に表示するステップと、
   複数の人の各人用ディスプレイ上に、バーチュアル会議室と、選択された３次元モデルオブジェクトに関する情報を示すバーチュアルディスプレイとを出力するステップと、からなる会議を開く方法。
2. 前記製造設備が石油精製設備である請求項１に記載の方法。
3. 前記選択されたオブジェクトが容器、回転機械、分離装置と容器、ミキシング装置と容器、反応装置と容器、関連するバルブ、配管計器要素および他の構造物の一つである、請求項２に記載の方法。
4. 前記選択されたオブジェクトに関する情報が、前記選択されたオブジェクトに関する保守データ、運転データ、検査データまたは文書である請求項１に記載の方法。
5. 前記選択されたオブジェクトに関する情報が複数のサブオブジェクトである、請求項１に記載の方法。
6. 前記サブオブジェクトの１つの選択を受け取るステップと、
   前記選択された３次元モデルのサブオブジェクトを前記バーチュアルディスプレイ上に表示するステップと、
   複数の人の各人用ディスプレイ上に、バーチュアル会議室と、選択された３次元モデルのサブオブジェクトに関する情報を示すバーチュアルディスプレイとを出力するステップと、からなる請求項５に記載の方法。
7. 上記選択されたサブオブジェクトに関する情報が、前記選択されたオブジェクトに関する保守データ、運転データ、検査データまたは文書である請求項６に記載の方法。
8. 複数の人の間で会議を開くシステムであって、
   コンピュータプログラムを実行して、バーチュアル会議室を含むバーチュアル環境を作り出すサーバと、
   ネットワークによってサーバに接続された前記複数の人の各人用ユーザ端末と、
   前記サーバに接続された製造設備情報記憶装置と、からなり
   前記サーバは、前記複数のユーザ端末用のディスプレイに前記バーチュアル会議室を出力するディスプレイロジック回路を含み、前記バーチュアル会議室は、
   前記複数の人の各人を表すアバターと
   製造設備の３次元モデルを表示するバーチュアルディスプレイと
   を含み、
   前記サーバは、前記３次元モデルのオブジェクトの選択を受け取る選択ロジック回路を含み、この選択に応じてディスプレイロジック回路は複数の人の各人用ディスプレイに前記選択された３次元モデルオブジェクトに関する情報を示すバーチュアルディスプレイを出力する、システム。
9. 前記製造設備が石油精製設備である請求項８のシステム。
10. 前記選択されたオブジェクトが容器、回転機械、分離機械と容器、ミキシング装置と容器、反応装置と容器、関連バルブ、配管計器要素および他の構造物の一つである、請求項９に記載のシステム。
11. 前記選択されたオブジェクトに関する情報が、前記選択されたオブジェクトの関する保守データ、運転データ、検査データまたは文書である、請求項８に記載のシステム。
12. 前記選択されたオブジェクトに関する情報が複数のサブオブジェクトである請求項８に記載のシステム。
13. 前記選択ロジック回路が前記サブオブジェクトの一つの選択を受け取ったときに、前記ディスプレイロジック回路は前記複数の人の各人用ディスプレイに前記バーチュアル会議室と前記選択された３次元モデルのサブオブジェクトに関する情報を示す前記バーチュアルディスプレイとを出力する、請求項１２に記載のシステム。
14. 前記選択されたサブオブジェクトに関する情報が、前記選択されたオブジェクトに関する保守データ、運転データ、検査データまたは文書である、請求項１３に記載のシステム。

Images